WO2020218452A1 - ショベル、作業現場の安全装備確認システム - Google Patents

ショベル、作業現場の安全装備確認システム Download PDF

Info

Publication number
WO2020218452A1
WO2020218452A1 PCT/JP2020/017572 JP2020017572W WO2020218452A1 WO 2020218452 A1 WO2020218452 A1 WO 2020218452A1 JP 2020017572 W JP2020017572 W JP 2020017572W WO 2020218452 A1 WO2020218452 A1 WO 2020218452A1
Authority
WO
WIPO (PCT)
Prior art keywords
excavator
detection unit
image
safety
function
Prior art date
Application number
PCT/JP2020/017572
Other languages
English (en)
French (fr)
Inventor
篤史 中山
泉川 岳哉
崇昭 守本
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to JP2021516220A priority Critical patent/JP7463354B2/ja
Priority to CN202080031403.6A priority patent/CN113748247B/zh
Priority to EP20796040.2A priority patent/EP3960937A4/en
Priority to KR1020217034923A priority patent/KR20210152493A/ko
Publication of WO2020218452A1 publication Critical patent/WO2020218452A1/ja
Priority to US17/452,112 priority patent/US20220042282A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/144Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using light grids
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/16Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine with feeling members moved by the machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to excavators, etc.
  • a shovel is known that detects a person around the own machine and activates a safety function (for example, an alarm output) based on an image acquired by an imaging device that images the surroundings of the own machine (Patent Document 1). reference).
  • a safety function for example, an alarm output
  • the purpose is to provide a technology that can encourage workers to wear safety equipment.
  • the detection unit includes a first person who wears both a helmet and clothing with a reflective material, a second person who wears only one of the helmet and the clothing with a reflective material, and a second person.
  • the first person is detected with a relatively high probability
  • the second person is more than the first person.
  • a shovel is provided.
  • An identification device that detects workers at the work site based on the outputs of the plurality of sensors and identifies the wearing status of each of the plurality of safety devices recommended or obligatory to be worn at the work site. And with A safety equipment confirmation system at the work site is provided.
  • FIG. 1 is a diagram showing an example of the excavator management system 1000 according to the present embodiment.
  • a side view of the excavator 100 is shown.
  • FIG. 2 is a top view of the excavator 100.
  • the excavator management system 1000 includes an excavator 100, a management device 200, and a terminal device 300.
  • the excavator management system 1000 monitors (manages) the operating status, operating status, etc. of the excavator 100 by using, for example, the management device 200 or the terminal device 300.
  • the excavator 100 included in the excavator management system 1000 may be one unit or a plurality of excavators 100. Further, the number of management devices 200 included in the excavator management system 1000 may be one or a plurality. Further, the number of terminal devices 300 included in the excavator management system 1000 may be one or a plurality.
  • the excavator 100 includes a lower traveling body 1, an upper swivel body 3 mounted on the lower traveling body 1 so as to be swivelable via a swivel mechanism 2, a boom 4, an arm 5, a bucket 6 as attachments, and a cabin 10. And.
  • the excavator 100 has driven elements such as a lower traveling body 1 (a pair of left and right crawlers 1C), an upper swivel body 3, a boom 4, an arm 5, and a bucket 6 according to an operation of an operator boarding the cabin 10. Make it work.
  • the excavator 100 may be configured to be operable by an operator boarding the cabin 10, or may be configured to be remotely controlled (remote operation) from the outside of the excavator 100.
  • the inside of the cabin 10 may be unmanned.
  • the description will proceed on the premise that the operator's operation includes at least one of the operation of the cabin 10 with respect to the operation device 26 and the remote control of the external operator.
  • the remote control includes, for example, a mode in which the excavator 100 is operated by an operation input related to the actuator of the excavator 100 performed by a predetermined external device.
  • the predetermined external device may be, for example, a management device 200 or a terminal device 300.
  • the excavator 100 externally outputs image information (captured image) output by, for example, a front camera that images the front of the upper swivel body 3 for remote operation or an image pickup device 40 described later through a communication device 70 described later. It may be sent to the device.
  • the external device may display the image information (captured image) received by the display device (hereinafter, “remote control display device”) provided in the own device.
  • various information images (information screens) displayed on the display device 50 inside the cabin 10 of the excavator 100 may be similarly displayed on the remote control display device of the external device.
  • the operator of the external device can remotely control the excavator 100 while checking the display contents such as the captured image and the information screen showing the surrounding state of the excavator 100 displayed on the remote control display device, for example. it can.
  • the excavator 100 operates the actuator in response to the remote control signal indicating the content of the remote control received from the external device by the communication device 70, and causes the lower traveling body 1 (left and right crawlers 1C) and the upper turning body 3 to operate.
  • Boom 4, arm 5, bucket 6, and other driven elements may be driven.
  • the remote control may include a mode in which the excavator 100 is operated by, for example, an external voice input or a gesture input to the excavator 100 by a person (for example, a worker) around the excavator 100.
  • the excavator 100 is a voice uttered by a surrounding worker or the like through a voice input device (for example, a microphone) or a gesture input device (for example, an image pickup device) mounted on the excavator 100 (own machine). Recognize gestures performed by workers and workers.
  • the excavator 100 operates an actuator according to the recognized voice, gesture, or the like, and causes the lower traveling body 1 (left and right crawlers 1C), the upper rotating body 3, the boom 4, the arm 5, the bucket 6, and the like.
  • the driven element may be driven.
  • the excavator 100 may automatically operate the actuator regardless of the content of the operator's operation.
  • the excavator 100 has a function of automatically operating at least a part of driven elements such as the lower traveling body 1 (left and right crawlers 1C), the upper rotating body 3, the boom 4, the arm 5, and the bucket 6 (so-called “" Realize “automatic driving function” or “machine control function”).
  • the automatic driving function is a function (so-called “semi-automatic luck function") in which a driven element (actuator) other than the driven element (actuator) to be operated is automatically operated in response to an operator's operation on the operating device 26 or a remote control. ) May be included.
  • the automatic driving function is a function that automatically operates at least a part of a plurality of driven elements (actuators) on the premise that there is no operation or remote control of the operator's operating device 26 (so-called “fully automatic driving function”). May be included.
  • the fully automatic driving function is enabled in the excavator 100, the inside of the cabin 10 may be unmanned.
  • the semi-automatic driving function, the fully automatic driving function, and the like may include a mode in which the operation content of the driven element (actuator) to be automatically driven is automatically determined according to a predetermined rule. Further, for the semi-automatic driving function, the fully automatic driving function, etc., the excavator 100 autonomously makes various judgments, and the operation contents of the driven element (actuator) to be automatically operated according to the judgment results.
  • the mode in which is determined may be included.
  • the lower traveling body 1 includes, for example, a pair of left and right crawlers 1C (left crawler 1CL and right crawler 1CR), and the crawlers 1CL and 1CR are hydraulically driven by the corresponding traveling hydraulic motors 1M to self-propell. To do.
  • the upper swivel body 3 swivels with respect to the lower traveling body 1 by hydraulically driving the swivel mechanism 2 with the swivel hydraulic motor 2A.
  • the image pickup device 40 and the surrounding information acquisition device 45 are mounted on the upper surface of the upper swing body 3.
  • the power source of the excavator 100 is mounted on the upper swing body 3.
  • the power source of the excavator 100 includes, for example, an engine 11 (for example, a diesel engine) that operates on a predetermined fuel (for example, light oil).
  • the power source of the excavator 100 is operated by electric power supplied from an external power source connected by a power storage device (for example, a capacitor, a lithium ion battery, etc.) or a cable in place of or in addition to the engine 11.
  • a power storage device for example, a capacitor, a lithium ion battery, etc.
  • An electric motor or the like may be included.
  • various hydraulic devices such as a main pump 14, a pilot pump 15, and a control valve 17 are mounted on the upper swing body 3.
  • the main pump 14 is driven by a power source such as an engine 11 or an electric motor, and supplies hydraulic oil to various hydraulic actuators under the control of the controller 30.
  • the hydraulic actuator includes a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, and the like, which will be described later, in addition to the traveling hydraulic motor 1M and the swing hydraulic motor 2A described above.
  • the pilot pump 15 is driven by a power source such as an engine 11 or an electric motor, and supplies hydraulic oil to various hydraulic pilot type hydraulic devices (for example, an operating device 26, a control valve 17, etc.).
  • a power source such as an engine 11 or an electric motor, and supplies hydraulic oil to various hydraulic pilot type hydraulic devices (for example, an operating device 26, a control valve 17, etc.).
  • the control valve 17 selectively supplies hydraulic oil discharged from the main pump 14 to each hydraulic actuator according to the operating state of the driven element (that is, the corresponding hydraulic actuator), and is supplied to the hydraulic actuator. Adjust the flow rate and flow direction of hydraulic oil.
  • the control valve 17 may be composed of a plurality of control valves (direction switching valves) that control the direction and flow rate of the hydraulic oil supplied to each hydraulic actuator.
  • the control valve 17 is, for example, a hydraulic drive type (hydraulic pilot type), and a pilot pressure corresponding to an operation content corresponding to an operation content or an automatic operation function of each hydraulic actuator is input. As a result, the control valve (direction switching valve) corresponding to each hydraulic actuator is driven according to the input pilot pressure.
  • control valve 17 may be of an electrically driven type such as an electromagnetic solenoid type, and an electric signal corresponding to an operation content corresponding to the operation content of the operation device 26 or the automatic operation function is input. As a result, the control valve (direction switching valve) corresponding to each hydraulic actuator is driven according to the input electric signal.
  • an electrically driven type such as an electromagnetic solenoid type
  • the boom 4 is vertically mounted (centered) on the center of the front portion of the upper swing body 3, and an arm 5 is vertically rotatably mounted (centered) on the tip of the boom 4.
  • a bucket 6 is attached (centered) to the tip so as to be vertically rotatable.
  • the bucket 6 is an example of an end attachment, and is attached to the tip of the arm 5 in a manner that can be appropriately replaced according to the work content of the excavator 100. That is, instead of the bucket 6, a bucket of a type different from that of the bucket 6, for example, a relatively large large bucket, a slope bucket, a dredging bucket, or the like may be attached to the tip of the arm 5. Further, an end attachment of a type other than the bucket, for example, a stirrer, a breaker, a crusher, or the like may be attached to the tip of the arm 5. Further, a spare attachment such as a quick coupling or a tilt rotator may be interposed between the arm 5 and the end attachment.
  • the boom 4, arm 5, and bucket 6 are hydraulically driven by the boom cylinder 7, arm cylinder 8, and bucket cylinder 9, respectively.
  • the cabin 10 is a cockpit for the operator to board and operate the excavator 100, and is mounted on the front left side of the upper swivel body 3, for example.
  • an operation device 26, a controller 30, a display device 50, an input device 52, a sound output device 54, and the like are provided inside the cabin 10. Further, for example, a communication device 70 is provided on the upper surface of the cabin 10.
  • the operating device 26 operates a driven element driven by an actuator (specifically, a hydraulic actuator) such as a lower traveling body 1, an upper swing body 3, and attachments (boom 4, arm 5, and bucket 6). Used for.
  • the operating device 26 is a traveling hydraulic motor 1M, a swing hydraulic motor 2A, a boom cylinder 7, an arm cylinder 8, and a bucket cylinder corresponding to each of the hydraulic actuators (crawler 1CL, 1CR) for driving the driven element. 9 etc.) is used to operate.
  • the operating device 26 includes, for example, each driven element, that is, a lever device, a pedal device, and the like corresponding to each hydraulic actuator.
  • the operating device 26 is, for example, a hydraulic pilot type.
  • the operating device 26 uses the hydraulic oil supplied from the pilot pump 15 to control the operation content (for example, the operating direction and the operating amount) related to each driven element (that is, each corresponding hydraulic actuator).
  • the corresponding pilot pressure is output to the control valve 17.
  • the control valve 17 can realize the operation of each driven element (that is, each corresponding hydraulic actuator) according to the operation content of the operating device 26.
  • the operating device 26 may be, for example, an electric type.
  • the operation device 26 outputs an electric signal (hereinafter, “operation signal”) corresponding to the operation content of each driven element (that is, each corresponding hydraulic actuator) to the controller 30.
  • the controller 30 controls the hydraulic control valve for operation (for example, the hydraulic control valve 56 described later) provided in the oil passage (pilot line) between the pilot pump 15 and the control valve 17 in response to the operation signal. Output the command.
  • the hydraulic control valve for operation uses the hydraulic oil supplied from the pilot pump 15, and the pilot pressure according to the operation signal, that is, each driven element in the operating device 26 (that is, each hydraulic actuator). ) Can be applied to the control valve 17 according to the operation content. Therefore, the control valve 17 can realize the operation of each driven element (that is, each corresponding hydraulic actuator) according to the operation content of the operating device 26.
  • the driven element of the excavator 100 may be remotely controlled as described above.
  • a signal (remote control signal) indicating the content of remote control is transmitted from a predetermined external device to the excavator 100, and the controller 30 receives the remote control signal through the communication device 70.
  • the controller 30 responds to the hydraulic control valve for operation according to the content of remote control defined by the remote control signal (for example, the driven element or hydraulic actuator to be operated, the operation direction, the operation amount, etc.). Outputs the control command.
  • the hydraulic control valve for operation can apply the pilot pressure according to the content of the remote control to the hydraulically driven control valve 17 by using the hydraulic oil supplied from the pilot pump 15. Therefore, the control valve 17 can realize the operation of each driven element (that is, each corresponding hydraulic actuator) according to the content of remote control.
  • the excavator 100 a part or all of various hydraulic actuators may be replaced with electric actuators. That is, the excavator 100 may be a hybrid excavator or an electric excavator.
  • the controller 30 drives the electric actuator or the electric actuator by issuing a control command according to the operation content of the operation device 26, the content of the remote control defined by the remote control signal, the content of the operation command corresponding to the automatic operation function, and the like. It may be output to a driver or the like.
  • the operation commands corresponding to the operation, remote control, and automatic operation functions for the operation device 26 are invalidated, and the excavator 100 is activated. Do not work.
  • the gate lock lever is in the lowered state (hereinafter, “released state"), the operation command corresponding to the operation, the remote control, and the automatic operation function for the operation device 26 becomes effective, and the excavator 100 operates.
  • the operator when the operator gets into the cockpit or gets out of the cabin 10 from the cockpit with the gate lock lever upright, the operator's body touches the operating device 26 and the shovel 100 Can be avoided from the situation where Further, for example, by setting the gate lock lever in the lowered state, the operator can start the operation of the excavator 100.
  • the operating state of the gate lock lever and the most upstream gate lock valve of the pilot line that supplies pilot pressure from the pilot pump 15 to various hydraulic devices (for example, the hydraulic pilot type operating device 26 and the hydraulic control valve for operation). It is linked with the open / closed state of. Specifically, when the gate lock lever is in the released state, the gate lock valve is maintained in the open state (communication state), and the pilot pressure is supplied from the pilot pump 15 to the operating device 26 and the hydraulic control valve for operation. .. Therefore, the operating device 26 and the hydraulic control valve for operation can supply the pilot pressure according to the operator's operation to the control valve 17 to operate the hydraulic actuator.
  • various hydraulic devices for example, the hydraulic pilot type operating device 26 and the hydraulic control valve for operation.
  • the gate lock lever when the gate lock lever is in the locked state, the gate lock valve is maintained in the closed state (stopped state), and the supply of pilot pressure from the pilot pump 15 to the operating device 26 and the hydraulic control valve for operation is cut off. .. Therefore, the operating device 26 and the hydraulic control valve for operation cannot supply the pilot pressure corresponding to the operator's operation to the control valve 17, and invalidate the operation command corresponding to the operator's operation and the automatic operation function. be able to.
  • a part or all of the hydraulic actuator may be replaced with the electric actuator.
  • the controller 30 may not output a control command corresponding to an operator's operation or an operation command of the automatic operation function to the electric actuator, the driver, or the like. As a result, it is possible to invalidate the operator's operation and the operation command corresponding to the automatic operation function according to the locked state of the gate lock lever.
  • the communication device 70 communicates with the outside of the excavator 100 (for example, the management device 200 or the terminal device 300) through the communication line NW.
  • the communication line NW includes, for example, a wide area network (WAN: Wide Area Network).
  • the wide area network may include, for example, a mobile communication network having a base station as an end.
  • the wide area network may include, for example, a satellite communication network that uses a communication satellite.
  • the wide area network may include, for example, an Internet network.
  • the communication line NW includes, for example, an internal local network (LAN: Local Area Network) such as a facility where the management device 200 is installed.
  • the local network may be wired, wireless, or both.
  • the communication line NW may include, for example, a wireless short-range communication line such as WiFi or Bluetooth (registered trademark).
  • the excavator 100 communicates with the management device 200 by using, for example, the communication device 70.
  • the excavator 100 can transmit data related to the excavator 100 (own machine) to the management device 200 and receive data related to the control of the excavator 100 (own machine).
  • the excavator 100 may communicate with the terminal device 300 by using, for example, the communication device 70.
  • the excavator 100 may indirectly communicate with the terminal device 300 or directly communicate with the terminal device 300 via the management device 200.
  • the management device 200 is provided outside the excavator 100, and manages, for example, the operating state and the operating state of the excavator 100. Further, the management device 200 may support the remote control of the excavator 100.
  • the management device 200 is, for example, a cloud server installed in a management center or the like outside the work site of the excavator 100. Further, the management device 200 may be, for example, an edge server installed in a temporary office in the work site of the excavator 100, a station building near the work site, a base station, or the like. Further, the management device 200 may be, for example, a stationary terminal device (stationary terminal) or a portable terminal device (portable terminal) arranged in a temporary office or the like in the work site of the excavator 100. The stationary terminal may include, for example, a desktop computer terminal. In addition, the mobile terminal may include, for example, a mobile phone, a smartphone, a tablet terminal, a laptop computer terminal, or the like.
  • the management device 200 includes a control device 210, a communication device 220, an output device 230, and an input device 240.
  • the control device 210 controls the management device 200.
  • the function of the control device 210 may be realized by any hardware, or a combination of any hardware and software.
  • the control device 210 includes, for example, a memory device such as a CPU (Central Processing Unit) and a RAM (Random Access Memory), an auxiliary storage device such as a ROM (Read Only Memory), and an interface device for input / output to / from the outside. It consists mainly of a computer.
  • the control device 310 described later may have the same configuration.
  • the communication device 220 communicates with the outside of the management device 200 (for example, the excavator 100 or the terminal device 300) through the communication line NW.
  • the output device 230 outputs information to users such as the administrator and workers of the management device 200 (hereinafter, "management device user").
  • the output device 230 may include, for example, a display device, a lighting device, or the like that outputs visual information.
  • the display device includes, for example, a liquid crystal display that outputs image information, an organic EL (Electroluminescence) display, and the like. Further, the display device may include the above-mentioned remote control display device. Further, the output device 230 may include, for example, a sound output device that outputs auditory information.
  • the sound output device includes, for example, a speaker, a buzzer, and the like.
  • the input device 240 receives various inputs from the management device user, and the signals corresponding to the input contents are taken into the control device 210.
  • the input device 240 includes, for example, an operation input device that receives an operation input from a management device user.
  • the operation input device may include, for example, a mouse, a keyboard, a touch panel, a button, a toggle, a lever, and the like.
  • the input device 240 may include, for example, a voice input device or a gesture input device that accepts voice input or gesture input from the management device user.
  • the voice input device includes, for example, a microphone that acquires voice data spoken by the management device user.
  • the gesture input device includes, for example, an image pickup device (camera) that captures the state of the gesture of the management device user.
  • the input device 240 may include, for example, a remote control operation device.
  • the control device 210 communicates with each other of the excavator 100 and the terminal device 300 by using the communication device 220.
  • the management device 200 can receive, for example, various data transmitted (uploaded) from the excavator 100 and collect various data related to the excavator 100.
  • the control device 210 may use, for example, the communication device 220 to transmit data relating to the control of the excavator 100 to the excavator 100 and control the excavator 100 from the outside.
  • the control device 210 may use, for example, the communication device 220 to provide various data to the terminal device 300 in a form corresponding to a request from the terminal device 300.
  • control device 210 uses, for example, the communication device 220 to send a signal (remote control signal) indicating the content of the remote control received from the input device 240 (remote control operation device) to the excavator 100 to be remotely controlled. You may send it.
  • the management device 200 can support the remote control of the excavator 100.
  • the terminal device 300 is, for example, a terminal device (user terminal) used by a user who receives information in the excavator management system 1000. Further, the terminal device 300 may support the remote control of the excavator 100.
  • the terminal device 300 is, for example, a general-purpose mobile terminal such as a laptop-type computer terminal, a tablet terminal, or a smartphone owned by the user. Further, the terminal device 300 may be a general-purpose stationary terminal such as a desktop computer. Further, the terminal device 300 may be a dedicated terminal device (portable terminal or stationary terminal) for receiving data (information) about the shovel 100 and supporting remote operation.
  • a general-purpose mobile terminal such as a laptop-type computer terminal, a tablet terminal, or a smartphone owned by the user.
  • the terminal device 300 may be a general-purpose stationary terminal such as a desktop computer.
  • the terminal device 300 may be a dedicated terminal device (portable terminal or stationary terminal) for receiving data (information) about the shovel 100 and supporting remote operation.
  • the terminal device 300 includes a control device 310, a communication device 320, an output device 330, and an input device 340.
  • the control device 310 controls the terminal device 300.
  • the communication device 320 communicates with the outside of the terminal device 300 (for example, the excavator 100 or the management device 200) through the communication line NW.
  • the output device 330 outputs information to users such as the administrator and workers of the terminal device 300 (hereinafter, "terminal device user").
  • the output device 330 may include, for example, a display device, a lighting device, or the like that outputs visual information.
  • the display device includes, for example, a liquid crystal display or an organic EL display that outputs image information. Further, the display device may include the above-mentioned remote control display device. Further, the output device 330 may include, for example, a sound output device that outputs auditory information.
  • the sound output device includes, for example, a speaker, a buzzer, and the like.
  • the input device 340 receives various inputs from the terminal device user, and the signals corresponding to the input contents are taken into the control device 310.
  • the input device 340 includes, for example, an operation input device that receives an operation input from a terminal device user.
  • the operation input device may include, for example, a mouse, a keyboard, a touch panel, a button, a toggle, a lever, and the like.
  • the input device 340 may include, for example, a voice input device or a gesture input device that accepts voice input or gesture input from the terminal device user.
  • the voice input device includes, for example, a microphone that acquires voice data spoken by the terminal device user.
  • the gesture input device includes, for example, an imaging device (camera) that captures the state of the gesture of the terminal device user.
  • the input device 340 may include, for example, a remote control operation device.
  • the control device 310 uses the communication device 320 to communicate with the management device 200.
  • the terminal device 300 can request the management device 200 to provide data or the like related to the excavator 100.
  • the terminal device 300 may receive the data related to the excavator 100 transmitted from the management device 200 and provide the information about the excavator 100 to the user through the output device 330 (display device).
  • control device 310 may communicate with the excavator 100 by using the communication device 320.
  • the terminal device 300 may indirectly communicate with the excavator 100 or directly communicate with the excavator 100 via the management device 200.
  • the control device 310 uses the communication device 320 to transmit a signal (remote control signal) representing the content of the remote control received from the input device 340 (remote control control device) to the excavator 100 to be remotely controlled. You can.
  • the terminal device 300 can support the remote control of the excavator 100.
  • FIG. 3 to 5 are diagrams for explaining the configuration of the peripheral monitoring device 150 according to the present embodiment.
  • FIG. 3 is a block diagram showing an example of the configuration of the peripheral monitoring device 150 according to the present embodiment.
  • FIG. 4 is a diagram showing an example of a circuit configuration for causing the horn 54a to sound.
  • FIG. 5 is a diagram showing an example of a circuit configuration for sounding the traveling alarm 54b.
  • the peripheral monitoring device 150 monitors the entry of a predetermined object (hereinafter, simply “monitored target”) to be monitored into a predetermined range around the excavator 100. Then, when the peripheral monitoring device 150 detects the monitoring target within a predetermined range around the excavator 100, the peripheral monitoring device 150 operates a safety function for ensuring the safety around the excavator 100.
  • a predetermined object hereinafter, simply “monitored target”
  • the safety function includes, for example, an alarm function for notifying the detection of the monitoring target by outputting an alarm to at least one of the inside of the cabin 10, the outside of the cabin 10, and a remote operator, administrator, etc. of the excavator 100.
  • An example of a first safety function may be included.
  • the notification function to the outside of the cabin 10, that is, to the workers around the excavator 100, etc. may be referred to as an "external notification function".
  • a notification function for a remote operator, administrator, or the like of the cabin 10 may be referred to as a "remote notification function”.
  • the safety function may include, for example, an operation limiting function (an example of a second safety function) that limits the operation of the excavator 100 with respect to the operation of the operating device 26 or remote control.
  • the operation limiting function includes an operation deceleration function for slowing the operation speed of the excavator 100 for an operation command corresponding to the operation of the operation device 26, remote control, or the automatic operation function, and operation, remote control of the operation device 26.
  • at least one of the operation stop function for stopping the operation of the excavator 100 and maintaining the stopped state is included regardless of the operation command corresponding to the automatic operation function.
  • the monitoring target may include a worker who works around the excavator 100, a supervisor of the work site, and the like.
  • objects other than humans can be monitored, such as materials temporarily placed at the work site, fixed non-moving obstacles such as temporary offices at the work site, and moving obstacles such as vehicles including trucks. (Ie, obstacles) can be included.
  • the description will be continued focusing on the case where the monitoring target is a person.
  • the peripheral monitoring device 150 includes a controller 30, an operation information output device 29, an image pickup device 40, an ambient information acquisition device 45, a display device 50, an input device 52, and a sound output device 54. And the hydraulic control valve 56 and the communication device 70.
  • the controller 30 is a control device that controls the functions of the peripheral monitoring device 150.
  • the controller 30 is mounted in the cabin 10, for example.
  • the function of the controller 30 may be realized by any hardware, or a combination of any hardware and software.
  • the controller 30 is mainly composed of a computer including, for example, a memory device (main storage device) such as a CPU and RAM, an auxiliary storage device such as a ROM, and an interface device for input / output to / from the outside.
  • the controller 30 has, for example, a display processing unit 301, a setting unit 302, a detection unit 304, and a safety function as functional units realized by executing one or more programs installed in the auxiliary storage device on the CPU. Includes control unit 305.
  • the controller 30 uses the storage unit 303.
  • the storage unit 303 can be realized by, for example, an auxiliary storage device, an external storage device communicably connected to the controller 30, or the like.
  • a part or all of the functions of the controller 30 may be realized by another controller. That is, the function of the peripheral monitoring device 150 may be realized by being shared by a plurality of controllers. Further, the controller 30 may control the excavator 100 other than the function of the peripheral monitoring device 150. That is, the controller 30 may be a dedicated control device specialized for the function of the peripheral monitoring device 150, or is a general-purpose control device that controls various functions of the excavator 100 including the function of the peripheral monitoring device 150. You may. Further, a part or all of the functions of the controller 30 may be transferred to the outside of the excavator 100 (for example, the management device 200).
  • the operation of the excavator 100 may be controlled in real time in response to a control command from an external device such as the management device 200.
  • an external device such as the management device 200.
  • a control command from an external device such as the management device 200.
  • an external device such as the management device 200.
  • a mobile communication network 5G 5 th Generation
  • control mode for successively transmitting a control instruction from the management apparatus 200 to the excavator 100 This is because it is possible to realize the operation control of the excavator 100 without delay.
  • the operation information output device 29 relates to the operation content of the operation device 26, the content of remote control, or the content of the operation command corresponding to the automatic operation function, that is, each driven element (that is, each corresponding hydraulic actuator). Outputs information related to the operation content (hereinafter, "operation information").
  • the operation information output device 29 may be, for example, a sensor (hereinafter, “operation information acquisition sensor”) that acquires information regarding the operation content of the operation device 26.
  • the operation information acquisition sensor is, for example, a linear encoder that senses the operation direction and operation amount of the lever, pedal, or the like of the operation device 26.
  • the operation information acquisition sensor is, for example, a pressure sensor that senses the pilot pressure on the secondary side of the hydraulic pilot type operation device 26.
  • the operation information output device 29 may be, for example, an electric operation device 26. This is because the operation signal output from the electric operation device 26 corresponds to the operation information.
  • the operation information output device 29 is, for example, a communication device 70 that receives a remote control signal from an external device. Further, when the excavator 100 is operated by the automatic operation function, the operation information output device 29 may be, for example, an arithmetic device that outputs an operation command.
  • the image pickup device 40 is attached to the upper part of the upper swivel body 3 and captures the surroundings of the excavator 100 extending from a region relatively close to the excavator 100 to a region relatively far from the excavator 100 and outputs an captured image.
  • the image pickup apparatus 40 includes cameras 40B, 40L, and 40R.
  • the cameras 40B, 40L, and 40R may be comprehensively referred to as "camera 40X".
  • the camera 40B, the camera 40L, and the camera 40R are attached to the upper rear end, the upper left end, and the upper right end of the upper swivel body 3, respectively, and image the rear, left side, and right side of the upper swivel body 3. .
  • the camera 40X is a monocular camera (that is, a wide-angle camera) having a very wide angle of view.
  • the camera 40X may be a stereo camera, a depth camera, or the like.
  • the camera 40B captures an imaging range behind the upper swing body 3, for example, an imaging range in the horizontal direction (that is, the circumferential direction as seen from the excavator 100) extending from the left rear to the right rear.
  • the camera 40L captures, for example, an imaging range on the left side of the upper rotating body 3, for example, an imaging range in the horizontal direction (circumferential direction seen from the excavator 100) extending from the left front to the left rear of the upper rotating body 3. .
  • the camera 40R captures, for example, an imaging range on the right side of the upper rotating body 3, for example, an imaging range in the horizontal direction (circumferential direction seen from the excavator 100) extending from the front right to the rear right of the upper rotating body 3. .
  • the camera 40X is attached to the upper part of the upper swivel body 3 so that the optical axis faces diagonally downward, and images an imaging range in the vertical direction including the distance from the ground near the excavator 100 to the distance of the excavator 100.
  • the camera 40X outputs an captured image at predetermined intervals (for example, 1/30 second) from the start (that is, the key switch ON) to the stop (that is, the key switch OFF) of the excavator 100, for example.
  • the captured image output from the camera 40X is captured by the controller 30.
  • the above-mentioned front camera for remote control acquires an image for the operator performing the remote control to confirm the state in front of the excavator 100. It may be provided.
  • the surrounding information acquisition device 45 (an example of a sensor) is attached to the upper part of the upper swing body 3 and acquires information on the surrounding conditions of the excavator 100.
  • the surrounding information acquisition device 45 includes sensors 45BL, 45BR, 45L, 45R.
  • the sensors 45BL, 45BR, 45L, and 45R may be comprehensively referred to as "sensor 45X”.
  • the sensor 45BL, the sensor 45BR, the sensor 45L, and the sensor 45R are attached to the upper left rear end, the upper right rear end, the upper left end, and the upper right end of the upper swing body 3, respectively, and are attached to the left side of the upper swing body 3. Get information about the rear, right rear, left side, and right side situations.
  • the sensor 45X is a LIDAR (Light Detection and Ringing).
  • the sensor 45X may be, for example, a millimeter wave radar, an ultrasonic sensor, or the like.
  • the description will be made mainly on the case where the sensor 45X is a lidar.
  • the sensor 45X irradiates infrared rays in a certain direction and receives reflected light (infrared rays) from an object in that direction, so that information indicating the surrounding situation of the excavator 100, specifically, is received. Acquires information on reflected light (hereinafter, "light receiving information").
  • the sensor 45X is, for example, a scanning type LIDAR, which is a three-dimensional laser scanner capable of scanning the irradiation direction of the infrared laser in the vertical direction and the horizontal direction.
  • the senor 45X may be a so-called flash type LIDAR that irradiates infrared rays from a light emitting module over a wide range in three dimensions and captures reflected light (infrared rays) with a three-dimensional distance image sensor.
  • the light receiving information includes information on the time from infrared irradiation to light reception (TOF: Time Of Flight) (hereinafter, “TOF information”) for each infrared irradiation direction, and light reception for each infrared irradiation direction.
  • TOF information information on the time from infrared irradiation to light reception
  • light receiving intensity information Information on the intensity of the reflected light to be received
  • the sensor 45BL can irradiate the irradiation range on the left rear side of the upper swivel body 3, for example, the irradiation range in the horizontal direction (that is, the circumferential direction seen from the excavator 100) from the left rear side to the rear side of the upper swivel body 3. It is composed. Further, the sensor 45BR can irradiate the irradiation range on the right rear side of the upper swivel body 3, for example, the irradiation range in the horizontal direction (circumferential direction seen from the excavator 100) from the right rear side to the rear side of the upper swivel body 3. It is composed.
  • the sensor 45L can irradiate the irradiation range on the left side of the upper swing body 3, for example, the irradiation range in the horizontal direction (circumferential direction seen from the excavator 100) from the left front to the left rear of the upper swing body 3. It is composed of.
  • the sensor 45R can irradiate the irradiation range on the right side of the upper swing body 3, for example, the irradiation range in the horizontal direction (circumferential direction seen from the shovel) from the front right to the rear right of the upper swing body 3. It is composed.
  • the senor 45X is attached to the upper part of the upper swivel body 3 so that the optical axis (that is, the reference axis in the infrared irradiation direction) faces diagonally downward, and is centered on a portion of the ground relatively close to the excavator 100. It has an infrared irradiation range in the vertical direction.
  • the sensor 45X outputs light receiving information at predetermined intervals from the start to the stop of the excavator 100, respectively.
  • the light receiving information output from the sensor 45X is taken into the controller 30.
  • the display device 50 is provided around the driver's seat in the cabin 10, specifically, at a position easily visible to the operator sitting in the driver's seat, and displays various image information to be notified to the operator.
  • the display device 50 is, for example, a liquid crystal display or an organic EL display, and may be a touch panel type that also serves as an input device 52.
  • the display device 50 is an image showing the surroundings of the excavator 100 (own machine) under the control of the controller 30 (display processing unit 301), for example, based on the image captured by the image pickup device 40 (hereinafter, “the display device 50”. Surveillance image ”) is displayed.
  • the input device 52 receives various inputs related to the functions of the peripheral monitoring device 150 from the operator and outputs them to the controller 30.
  • the input device 52 includes, for example, an operation input device for any hardware such as a touch panel, a touch pad, a button, a toggle, and a rotary knob.
  • the input device 52 may include software operation input means that can be operated through hardware operation means, such as a virtual button icon on the operation screen displayed on the display device 50.
  • the input device 52 may include a voice input device or a gesture input device that accepts voice input or gesture input of a user such as an operator.
  • the sound output device 54 outputs sound toward at least one of the inside and the outside of the cabin 10.
  • the sound output device 54 may include, for example, a speaker or a buzzer provided inside the cabin 10, and may output sound to the operator. Further, the sound output device 54 may include, for example, a horn 54a, a traveling alarm 54b, or the like, and may output sound toward the outside of the cabin 10, specifically, the periphery of the excavator 100.
  • the horn 54a is mounted on the front portion of the upper swing body 3, for example.
  • the horn 54a is formed by closing the relay 62 provided in the power path between the horn 54a and the battery 60 in response to the ON operation of the knob switch 64 provided in the cabin 10. , Blow.
  • the operator or the like can notify the surroundings of the excavator 100 that the excavator 100 (lower traveling body 1) starts traveling by turning on the knob switch 64 and blowing the horn 54a at the start of traveling.
  • the travel alarm 54b is mounted on the rear part of the upper swing body 3, for example.
  • the travel alarm 54b has a predetermined sound (for example, a predetermined sound) in a predetermined pattern when the lower traveling body 1 is traveling, that is, when the crawler 1C is operated under the control of the controller 30. Outputs a beep sound that repeatedly sounds "pee, pee, pee, ##).
  • the hydraulic control valve 56 is provided in the pilot line connecting the pilot pump 15 and the control valve 17 (specifically, the pilot port of the control valve corresponding to each hydraulic actuator).
  • the hydraulic control valve 56 can be operated by a control command from the controller 30, and adjusts the pilot pressure acting on the control valve 17.
  • the hydraulic control valve 56 may be provided, for example, in the pilot line between the pilot pump 15 and the hydraulic pilot type operating device 26, that is, the pilot line on the primary side of the operating device 26. Further, the hydraulic control valve 56 may be provided, for example, in the pilot line between the operating device 26 and the control valve 17, that is, the pilot line on the secondary side of the operating device 26.
  • the hydraulic control valve 56 may be, for example, the hydraulic control valve for the above-mentioned operation in the case of the electric operation device 26, the case of remote control, the case of the automatic operation function, and the like.
  • the hydraulic control valve 56 is, for example, an electromagnetic proportional valve.
  • the hydraulic control valve 56 can adjust the pilot pressure acting on the control valve 17 under the control of the controller 30, regardless of the operation content of the operating device 26 or the content of remote control. ..
  • the controller 30 can use the hydraulic control valve 56 to automatically control the operation of the excavator 100 and realize the automatic operation function regardless of the operation content of the operation device 26 or the content of remote control.
  • the display processing unit 301 causes the display device 50 to display a monitoring image (surrounding image) showing the surrounding state (situation) of the excavator 100 based on the captured image of the imaging device 40.
  • the display processing unit 301 causes the display device 50 to display at least one captured image of the cameras 40B, 40L, and 40R as a monitoring image in response to a predetermined operation on the input device 52. That is, the display processing unit 301 may display all the captured images of the cameras 40B, 40L, and 40R or the captured images of the two cameras side by side on the display device 50, or display the captured images of any one camera. It may be displayed on the display device 50.
  • the captured image displayed on the display device 50 may be referred to as a “through image”.
  • the display processing unit 301 may switch which of the captured images of the cameras 40B, 40L, and 40R is displayed on the display device 50 according to a predetermined operation on the input device 52. As a result, the operator can display the through image in the direction he / she wants to see on the display device 50 by operating the input device 52.
  • the display processing unit 301 generates and synthesizes a composite image obtained by synthesizing the captured images of a plurality of cameras (at least two cameras of the cameras 40B, 40L, and 40R) based on the captured image of the imaging device 40.
  • the monitoring image including the image is displayed on the display device 50.
  • the display processing unit 301 performs known viewpoint conversion processing, composition processing, and the like based on the captured images of the cameras 40B, 40L, and 40R as the composite image to obtain the viewpoint conversion image viewed from the virtual viewpoint. It is generated and displayed on the display device 50. Further, when displaying the composite image on the display device 50, the display processing unit 301 also includes an excavator image schematically representing the excavator 100 in order to clarify the relative positional relationship between the image pickup range of the image pickup device 40 and the excavator 100. Display on the display device 50.
  • the display processing unit 301 generates a monitoring image including the excavator image and the viewpoint conversion image arranged around the excavator image according to the relative positional relationship between the excavator 100 and the imaging range of the imaging device 40. Display on the display device 50.
  • the function of the display processing unit 301 may be built into the display device 50.
  • FIGS. 6 and 7 are diagrams showing specific examples of the monitoring image displayed on the display device 50.
  • FIG. 6 is a diagram showing an example of a surveillance image displayed on the display device 50 (surveillance image MP1 including a through image)
  • FIG. 7 is a diagram showing another surveillance image displayed on the display device 50. It is a figure which shows the example (monitoring image MP2 including a viewpoint conversion image).
  • the image captured by the camera 40B (through image) is displayed on the display device 50 as the monitoring image MP1.
  • the operator can grasp the situation around the excavator 100 (in this example, behind the upper swivel body 3) (for example, the presence or absence of a monitoring target such as a person around the excavator 100).
  • the display device 50 displays the surveillance image MP2 including the excavator image CG and the viewpoint conversion image EP arranged around the excavator image CG.
  • the operator can appropriately grasp the positional relationship between the excavator 100 and the surrounding objects shown in the viewpoint conversion image EP.
  • the line LN1 at a certain distance from the excavator 100 is superimposed and displayed on the viewpoint conversion image EP of the monitoring image MP2.
  • the line LN1 may represent, for example, the outer edge of the monitoring area to be monitored by the peripheral monitoring device 150 (detection unit 304).
  • the operator can appropriately grasp the distance relationship between the excavator 100 and the surrounding objects shown in the viewpoint conversion image EP.
  • the viewpoint conversion image EP is a bird's-eye view image BVP of the peripheral area adjacent to the excavator 100 viewed from directly above, and the peripheral area viewed horizontally from the excavator 100 arranged around the bird's-eye view image BVP. It is composed of a combination with a horizontal image HVP.
  • the viewpoint conversion image EP is obtained by projecting the captured images of the cameras 40B, 40L, and 40R onto a spatial model, and then reprojecting the projected image projected on the spatial model onto another two-dimensional plane.
  • the spatial model is a projection target of the captured image in the virtual space, and is composed of one or a plurality of planes or curved surfaces including a plane or a curved surface other than the plane on which the captured image is located.
  • the display processing unit 301 may transmit a monitoring image generated based on the image captured by the image pickup device 40 to the management device 200 or the terminal device 300 through the communication device 70.
  • the management device 200 can receive the surveillance image from the excavator 100 and display the surveillance image on the output device 230 (for example, a display device for remote control).
  • the terminal device 300 can receive the surveillance image from the excavator 100 and display the surveillance image on the output device 330 (for example, a display device for remote control). Therefore, the operator of the excavator 100 using the management device 200 or the terminal device 300 can remotely control the excavator 100 while checking the monitoring image displayed on the output device 230 or the output device 330. Further, the manager of the excavator 100 using the management device 200 or the terminal device 300 performs work with the automatic operation function while checking the monitoring image displayed on the output device 230 or the output device 330. Each work status can be monitored remotely.
  • the setting unit 302 makes various settings related to the peripheral monitoring device 150 in response to a request from the operator or the like, that is, an operation by the operator or the like through the input device 52.
  • the setting unit 302 sets the detection conditions related to the detection unit 304, the operating conditions of the safety function related to the safety function control unit 305, and the like.
  • the setting contents set by the setting unit 302 are saved (registered) in the storage unit 303.
  • the storage unit 303 stores (registers) various information related to the peripheral monitoring device 150.
  • the detection unit 304 detects the monitoring target around the excavator 100 (upper swivel body 3) based on the outputs of the image pickup device 40 and the surrounding information acquisition device 45.
  • the detection unit 304 includes a detection unit 304A and a detection unit 304B.
  • the detection unit 304A is based on the output of the image pickup device 40, that is, the captured image captured by the image pickup device 40, and the detection unit 304A has a predetermined monitoring area around the excavator 100 (upper swivel body 3) (hereinafter, “first monitoring” for convenience. In the area "), the monitoring target is detected.
  • first monitoring for convenience.
  • the description of the detection unit 304 will be performed under the assumption that the excavator 100 is located on the horizontal plane.
  • the detection unit 304A is, for example, in the horizontal direction (hereinafter, simply “horizontal direction”) as seen from the excavator 100, that is, the plane on which the excavator 100 is working (the lower traveling body 1 is in contact with the ground) (hereinafter, for convenience).
  • the monitoring target is detected in the first monitoring area extending in the direction along the "work plane").
  • the detection unit 304A detects the monitoring target within the first monitoring area where the horizontal distance D from the excavator 100 (upper swivel body 3) is within the predetermined distance Dth1 (for example, 5 meters). Good.
  • the detection unit 304A recognizes the monitoring target in the captured image by arbitrarily applying various known image processing methods, a machine learning-based classifier including artificial intelligence (AI), and the like.
  • AI artificial intelligence
  • the detection unit 304A corresponds to any of a plurality of registered workers (hereinafter, "registered worker") in which the recognized person is registered in advance. May be specified.
  • the detection unit 304A is a position (for example, a foot position) (hereinafter, a foot position) in which the recognized monitoring target (person) is reflected in the image captured by the monocular imaging device 40. , "Existing position”) can be determined (estimated).
  • the detection unit 304A is positioned in the horizontal direction as seen from the excavator 100 (hereinafter, "horizontal") based on the recognized size of the monitored object on the captured image (for example, the size in the height direction on the captured image).
  • Position is estimated. This is because the size of the recognized monitoring target on the captured image has a correlation that becomes smaller as the monitoring target moves away from the excavator 100.
  • the monitoring target has a range of an assumed size (for example, a range of the expected height of a person), from the excavator 100 of the monitoring target included in the range of the assumed size.
  • the correlation between the viewed horizontal position and the size on the captured image can be defined in advance.
  • the detection unit 304A uses, for example, a map or conversion that represents the correlation between the size of the monitored object on the captured image and the horizontal position as seen from the shovel 100, which is stored in advance in the internal memory of the auxiliary storage device of the controller 30 or the like.
  • the actual position (horizontal position from the excavator 100) of the recognized monitoring target can be estimated based on the formula or the like.
  • the detection unit 304A performs a projective transformation (homography) of the captured image onto the plane on the premise that the monitoring target is on the same plane as the excavator 100 (specifically, the lower traveling body 1).
  • the actual position for example, the foot position
  • a certain part (a certain point) constituting the captured image is associated with a certain position on the same plane as the excavator 100.
  • the detection unit 304B is in a predetermined monitoring area (hereinafter, “second monitoring area” for convenience) around the excavator 100 (upper swivel body 3) based on the output (that is, light receiving information) of the surrounding information acquisition device 45. , Detect the monitoring target.
  • the first monitoring area and the second monitoring area may be comprehensively referred to as a "monitoring area”.
  • the detection unit 304B detects the monitoring target in the second monitoring area extending in the horizontal direction, that is, in the direction along the work plane, for example. Specifically, the detection unit 304B may detect the monitoring target within the second monitoring area where the horizontal distance D from the excavator 100 (upper swivel body 3) is within the predetermined distance Dth2.
  • the predetermined distances Dth1 and Dth2 may be the same or different. That is, the first monitoring area and the second monitoring area may be the same or different.
  • the detection unit 304A monitors the monitoring target of the first monitoring area including the range relatively far from the excavator 100, and the detection unit 304B is limited to the range relatively closer to the excavator 100 than the first monitoring area. It may be an aspect of monitoring the monitoring target of the second monitoring area.
  • the detection unit 304B recognizes the existence and position of surrounding objects based on the TOF information among the received light information captured from the surrounding information acquisition device 45. Further, the detection unit 304B recognizes the shape of the object, the size of the object, and the like based on the light receiving information (TOF information) corresponding to the reflected light received from the plurality of irradiation directions, and thereby, the type of the surrounding object. May be recognized and it may be determined whether or not the object corresponds to the monitoring target. Further, the detection unit 304B recognizes the type of the object by recognizing the retroreflective property and the reflectance of the surrounding object based on the light receiving intensity information in the light receiving information, and whether the object corresponds to the monitoring target. You may determine whether or not.
  • the functions of the detection units 304A and 304B may be switched between ON (valid) and OFF (invalid) according to a predetermined operation by an operator or the like on the input device 52.
  • the operation of turning the other function OFF (invalid) may be invalid. That is, only one of the functions of the detection units 304A and 304B may be switched to OFF (invalid).
  • the detection unit 304 uses the outputs of both the imaging device 40 and the surrounding information acquisition device 45 in an integrated manner instead of outputting two detection results related to the monitoring target, and monitors the monitoring target. It may be an aspect which outputs one detection result about. Further, the detection unit 304 may detect the monitoring target based on only one of the outputs of the image pickup device 40 and the surrounding information acquisition device 45. Further, a part or all of the functions of the detection unit 304A may be built in the image pickup apparatus 40 (camera 40X). Further, the function of the detection unit 304B may be built in the surrounding information acquisition device 45 (sensor 45X).
  • the function of detecting an object based on the light receiving information is built in the sensor 45X, and whether the object detected by the sensor 45X corresponds to the monitoring target.
  • the controller 30 may have a mode in which only the function of determining whether or not the controller 30 is realized.
  • the safety function control unit 305 controls the safety function and activates the safety function when the monitoring target is detected by the detection unit 304.
  • the safety function control unit 305 activates the notification function when, for example, the detection unit 304 detects a monitoring target within a predetermined range included in the monitoring area (hereinafter, "notification range").
  • the notification range may be the same as the monitoring area, or the outer edge thereof may be set to be relatively closer to the excavator 100 than the monitoring area.
  • the safety function control unit 305 operates, for example, a sound output device 54 to activate a sound (that is, auditory method) notification function to at least one of the inside and the outside of the cabin 10. At this time, the safety function control unit 305 may change the pitch, sound pressure, timbre, sound cycle when the sound is periodically blown, the content of the sound, etc. according to various conditions. Good.
  • the safety function control unit 305 activates, for example, a notification function for the inside of the cabin 10 by a visual method. Specifically, the safety function control unit 305 controls the display device 50 through the display processing unit 301 to indicate that the monitoring target is detected on the monitoring image displayed on the display device 50. May be displayed (see, for example, FIGS. 20 to 22). Further, the safety function control unit 305 is displayed on the monitoring image corresponding to the monitoring target displayed on the monitoring image displayed on the display device 50 and the position of the detected monitoring target excavator 100 through the display processing unit 301. The position of may be emphasized.
  • the safety function control unit 305 superimposes and displays a frame surrounding the monitoring target displayed on the monitoring image through the display processing unit 301, and corresponds to the actual position of the detected monitoring target.
  • a marker may be superimposed and displayed at a position on the surveillance image (see, for example, FIGS. 10, 21, and 22).
  • the display device 50 can realize a visual notification function for the operator.
  • the safety function control unit 305 may use a warning light or a lighting device inside the cabin 10 to notify the operator or the like inside the cabin 10 that the monitoring target has been detected.
  • the safety function control unit 305 controls a lighting device such as a headlight or an external display device provided in the house portion of the upper swing body 3, for example, to supervise the workers around the excavator 100.
  • a person or the like may activate the notification function by a visual method.
  • the safety function control unit 305 may operate the notification function for the operator in the cabin 10 by a tactile method, for example, by controlling a vibration generator that vibrates the cockpit in which the operator sits.
  • the peripheral monitoring device 150 causes the operator, the workers around the excavator 100, the supervisor, and the like to recognize that there is a monitoring target (for example, a person such as a worker) around the excavator 100. Can be done. Therefore, the peripheral monitoring device 150 can urge the operator to confirm the safety status around the excavator 100, and can urge the workers and the like in the monitoring area to evacuate from the monitoring area. ..
  • the safety function control unit 305 may activate the remote notification function by, for example, transmitting a command signal indicating the operation of the notification function to the management device 200 or the terminal device 300 through the communication device 70.
  • the management device 200 (control device 210) receives the command signal from the excavator 100 by the communication device 220
  • the management device 200 may output an alarm by a visual method or an auditory method through the output device 230.
  • the manager and the operator of the management device 200, the operator who remotely controls the excavator 100 through the management device 200, and the like can grasp that the monitoring target has entered the notification range around the excavator 100.
  • the terminal device 300 may output an alarm by a visual method or an auditory method through the output device 330.
  • the remote notification function of the safety function control unit 305 may be transferred to the management device 200 or the terminal device 300.
  • the management device 200 receives information on the detection status of the monitoring target by the detection unit 304 from the excavator 100, determines whether or not the monitoring target has entered the notification range based on the received information, and is within the notification range. Activates the external notification function when there is a monitoring target in. The same may be applied to the terminal device 300.
  • the safety function control unit 305 may change the notification mode (that is, the notification method) according to the positional relationship between the monitoring target detected within the notification range and the excavator 100.
  • the safety function control unit 305 is relative to the extent that when the monitoring target detected within the notification range by the detection unit 304 exists at a position relatively far from the excavator 100, the operator or the like is alerted to the monitoring target.
  • An alarm with a low degree of urgency (hereinafter, "attention level alarm”) may be output.
  • the range of the notification range that is relatively far from the excavator 100 that is, the range corresponding to the caution level alarm may be referred to as the "attention notification range" for convenience.
  • the safety function control unit 305 when the monitoring target detected within the notification range by the detection unit 304 exists at a position relatively close to the excavator 100, the monitoring target approaches the excavator 100 and the risk is increased.
  • An alarm with a relatively high degree of urgency (hereinafter, "alert of alert level”) may be output to inform that.
  • the range in which the distance from the excavator 100 is relatively short that is, the range corresponding to the warning of the warning level may be referred to as the “warning notification range”.
  • the safety function control unit 305 may make the pitch, sound pressure, timbre, sounding cycle, etc. of the sound output from the sound output device 54 different between the caution level alarm and the alert level alarm. .. Further, the safety function control unit 305 includes an image indicating that the monitoring target displayed on the monitoring image displayed on the display device 50 is detected between the caution level alarm and the alert level alarm. The color, shape, size, presence / absence of blinking, blinking cycle, etc. of the monitored object or the image that emphasizes the position of the monitored object (for example, a frame or a marker) may be different.
  • the peripheral monitoring device 150 determines the urgency of the operator or the like, in other words, the monitoring target, due to the difference between the notification sound (alarm sound) output from the sound output device 54 and the notification image displayed on the display device 50.
  • the degree of approach to the excavator 100 can be grasped.
  • the safety function control unit 305 cancels the operation of the notification function when the monitoring target detected by the detection unit 304 is no longer detected in the monitoring area or through the input device 52.
  • the notification function may be stopped.
  • the safety function control unit 305 activates the operation restriction function when, for example, the detection unit 304 detects a monitoring target within a predetermined range included in the monitoring area (hereinafter, "operation restriction range").
  • the operation restriction range may be the same as the monitoring area, or the outer edge thereof may be set to be relatively closer to the excavator 100 than the monitoring area.
  • the operation limit range includes an operation deceleration range in which the operation speed of the excavator 100 is slower than usual for an operation command corresponding to the operation of the operation device 26, remote control, and the automatic operation function, and operation and remote control of the operation device 26.
  • the operation stop range is, for example, a range close to the excavator 100 in the operation limit range, and the operation deceleration range is the operation limit range. It is a range set outside the operation stop range of.
  • the safety function control unit 305 operates the operation limiting function that limits the operation of the excavator 100 by controlling the hydraulic control valve 56.
  • the safety function control unit 305 may limit the operation of all the driven elements (that is, the corresponding hydraulic actuators), or may limit the operation of some driven elements (hydraulic actuators). Good.
  • the peripheral monitoring device 150 can slow down or stop the operation of the excavator 100 when there is a monitoring target around the excavator 100. Therefore, the peripheral monitoring device 150 can suppress the occurrence of contact between the monitoring target around the excavator 100 and the excavator 100.
  • the safety function control unit 305 determines that the operation of the operation restriction function is canceled when the monitoring target detected by the detection unit 304 is no longer detected after the operation of the operation restriction function is started, or through the input device 52. When the operation of is accepted, the operation restriction function is stopped.
  • the operation for canceling the operation of the notification function for the input device 52 and the operation for canceling the operation of the operation limiting function may be the same or different.
  • the safety function control unit 305 may activate the safety function according to the establishment of other predetermined conditions (hereinafter, "other operating conditions") different from the detection of the monitored object by the detection unit 304.
  • the safety function control unit 305 has, for example, an operation limiting function in which the internal notification function is activated or the operation of the excavator 100 is prohibited (stopped) when the operator inside the cabin 10 is not wearing a seatbelt. It may be activated. As a result, the operator of the cabin 10 can be urged to fasten the seat belt. Therefore, the safety of the excavator 100 can be improved.
  • the safety function control unit 305 has, for example, an operation limiting function in which the internal notification function is activated or the operation of the excavator 100 is prohibited (stopped) when the openable / closable window of the cabin 10 is opened. It may be activated. This is because if the excavator 100 falls or the like occurs while the window of the cabin 10 is open, the operator may be released to the outside of the cabin 10. As a result, the operator of the cabin 10 can be urged to close the window of the cabin 10. Therefore, the safety of the excavator 100 can be improved.
  • the displayable area and the detectable area in the circumferential direction (turning direction) seen from the excavator 100 will be mainly described. That is, in this example, the displayable area is the range in the angular direction that the display device 50 and the like can display based on the image captured by the image pickup device 40 in the range in the horizontal direction of 360 degrees as seen from the excavator 100. Means. Similarly, in this example, the detectable area means an angular range in which the detection unit 304 can detect the monitoring target in the horizontal 360-degree angular range seen from the excavator 100.
  • the circumferential range that is, the horizontal angular range
  • the range in the radial direction (perspective direction) and the vertical direction is excluded from the comparison target.
  • FIG. 8 is a diagram showing an example of a displayable area on the display device 50 and the like based on the captured image of the image pickup device 40 when the excavator 100 is viewed from above and a detectable area of the detection unit 304A.
  • the horizontal imaging range (angle of view) of the camera 40X is represented by the angle range between the two alternate long and short dash lines extending from the camera 40X. Therefore, the displayable area is represented by a range corresponding to the union of all the horizontal imaging ranges of the cameras 40B, 40L, and 40R.
  • the detectable area of the detection unit 304A based on the captured image of the imaging device 40 corresponds to the satin-finished portion in the drawing.
  • the detectable area of the detection unit 304A is the excavator 100 within the angular range between the two solid lines (the portion close to the excavator 100 is the dotted line) extending from each of the cameras 40B, 40L, and 40R. It is represented by the range excluding the adjacent range.
  • the upper surface of the upper swivel body 3 on which the camera 40X is installed is located relatively high from the ground, and only a part of the monitoring target near the ground in the range close to the upper swivel body 3 is reflected in the captured image, or the upper part. This is because the vehicle body of the rotating body 3 may appear in the captured image and the ground in a range close to the upper rotating body 3 may become a blind spot of the vehicle body.
  • the angle range between the two solid lines extending from each of the cameras 40B, 40L, and 40R corresponding to the detectable area of the detection unit 304A is the actual angle of view corresponding to the imaging range of the cameras 40B, 40L, and 40R. It is narrower than (angle range between two alternate long and short dash lines).
  • the detection unit 304A is the monitoring target from the captured image. This is because it may not be possible to recognize (detect).
  • the worker 401 is located on the left front of the upper swivel body 3. A part of the operator 401 is included in the angle range between the two alternate long and short dash lines corresponding to the horizontal imaging range of the camera 40L. Therefore, the display device 50 and the like can display a monitoring image including a part of the worker 401 based on the captured image of the camera 40L under the control of the controller 30 (display processing unit 301).
  • the worker 401 is located at the front end of the horizontal imaging range of the camera 40L. Therefore, the position of the worker 401 is not included in the detectable area of the detection unit 304A, and the detection unit 304A cannot detect the worker 401 whose only part is shown in the captured image of the camera 40L.
  • the worker 402 is located on the right front side of the upper swivel body 3. A part of the worker 402 is included in the angular range between the two alternate long and short dash lines corresponding to the horizontal imaging range of the camera 40R. Therefore, the display device 50 and the like can display a monitoring image including a part of the worker 402 based on the captured image of the camera 40R under the control of the controller 30 (display processing unit 301).
  • the worker 402 is located at the front end of the horizontal imaging range of the camera 40R. Therefore, the position of the worker 402 is not included in the detection area of the detection unit 304A, and the detection unit 304A cannot detect the worker 402 whose only part is shown in the image captured by the camera 40R.
  • the monitoring target located at the end of the front angle of view of the cameras 40L and 40R in the displayable area may not be detected by the detection unit 304A. Therefore, when the monitoring target around the excavator 100 is detected using only the imaging device 40 (camera 40X), there is a monitoring target that is not detected even though it is reflected on the display device 50 or the like, and the excavator 100 It may give a sense of discomfort to operators and managers.
  • FIG. 9 is a diagram showing a first example of a detectable area of the detection unit 304A using the image pickup device 40 and a detectable area of the detection unit 304B using the surrounding information acquisition device 45 when the excavator 100 is viewed from above. ..
  • the detectable area of the detection unit 304A corresponds to the satin-finished portion in the drawing as described above. Therefore, as described above, the end of the front angle of view of the cameras 40L and 40R in the displayable area defined by the angle range between the two alternate long and short dash lines extending from the camera 40X can be detected by the detection unit 304A. It is out of the area.
  • the detectable area of the detection unit 304B is defined by the horizontal angle range (that is, the range of the horizontal detection angle) between the two thick lines extending from each of the sensors 45X.
  • the detectable area of the detection unit 304B is represented as a union of the ranges of the detection angles of the sensors 45BL, 45BR, 45L, and 45R in the horizontal direction.
  • the range of the horizontal detection angle defined by the two thick lines corresponds to, for example, the horizontal irradiation range of the infrared rays of LIDAR.
  • the range of the horizontal detection angle of the sensor 45L includes all the front ends of the angle of view of the camera 40L in the displayable area including the position of the worker 401 (that is, the occupied range). Further, the range of the detection angle in the horizontal direction of the sensor 45R includes all the front ends of the angle of view of the camera 40R in the displayable area including the position of the operator 402 (that is, the range occupied). .. That is, the detectable area of the detection unit 304B includes almost all the detectable area of the detection unit 304A.
  • the detection unit 304B can detect the monitoring target in the range corresponding to the outside of the detection area of the detection unit 304A in the displayable area in the left front and the right front of the upper swivel body 3. Therefore, a monitoring target (for example, workers 401 and 402) in which only a part is included in the front end of the displayable area corresponding to the cameras 40L and 40R, that is, the right end and the left end of each captured image. Can be detected.
  • a monitoring target for example, workers 401 and 402 in which only a part is included in the front end of the displayable area corresponding to the cameras 40L and 40R, that is, the right end and the left end of each captured image.
  • FIG. 10 is a diagram showing a specific example (monitoring image 500) of a monitoring image displayed when a monitoring target is detected by the detection unit 304.
  • FIG. 10 is a diagram showing a captured image (through image) of the camera 40L in the situation of FIG. 9, which is displayed on the display device 50 as a monitoring image 500.
  • the monitoring image 500 may be displayed in place of the display device 50 of the excavator 100, or in addition to the output device 230 (display device) of the management device 200 or the output device 330 (display device) of the terminal device 300. Good.
  • the operator of the excavator 100 can remotely control the excavator 100 while checking the surveillance image 500.
  • the manager or the like of the excavator 100 can remotely monitor the working status of each of the plurality of excavators 100 in which the work is performed by the automatic operation function, for example, through the monitoring image 500.
  • the front end of the displayable area of the camera 40L includes a part of the range where the worker 401 is located. Therefore, as shown in FIG. 10, a part of the worker 510 corresponding to the worker 401 is located at the right end of the surveillance image 500 (image captured by the camera 40L) corresponding to the front end of the displayable area. It is displayed (reflected).
  • the detection unit 304 (detection unit 304B) is located at the front end of the displayable area of the camera 40L, and only a part of the detection unit 304 is reflected in the captured image (through image).
  • the worker 510) can be detected. Therefore, the monitoring image 500 is displayed with a frame 520 indicating that the projected worker 510 is detected by the detection unit 304 (detection unit 304B).
  • users such as operators and managers of the excavator 100 can detect even a monitoring target (worker 510) that is only partially reflected in the monitoring image 500 by the detection unit 304 (detection unit 304B). You can figure out that.
  • the workers 401 and 402 are located at the left front and right front ends of the viewpoint conversion image EP as viewed from the excavator image CG.
  • the detection unit 304B can detect the workers 401 and 402 even if only the unit is displayed. Therefore, the workers 401 and 402 shown in the monitoring image MP2 including the viewpoint conversion image EP may be displayed so as to be surrounded by a frame indicating that the detection is detected by the detection unit 304.
  • a user such as an operator or an administrator of the excavator 100 can use the detection unit 304 even if the monitoring target is only partially reflected in the viewpoint conversion image EP (surveillance image MP2). It can be grasped that it can be detected.
  • viewpoint conversion image EP surveillance image MP2
  • the image indicating that the monitoring target whose part is partially reflected in the monitoring image (surrounding image such as the through image or the viewpoint conversion image EP) is detected is in a mode different from that of the frame (for example, frame 520). You may.
  • the image indicating that the monitoring target whose part is partially reflected in the monitoring image (surrounding image) is detected is the instruction image (for example, instruction image 913 or instruction image 934, 935) of FIGS. 20 and 22 described later. ) May be used.
  • the detection unit 304 uses the surrounding information acquisition device 45 (sensor 45X) to supplement the range in which the monitoring target cannot be detected only by using the captured image of the image pickup device 40, and the range thereof. It is possible to detect the monitoring target of. Therefore, the detection unit 304 monitors the entire peripheral range as seen from the excavator 100 in the monitoring image displayed on the display device 50, that is, the entire monitoring target in a relatively close range around the excavator 100. Can be detected. That is, the detection unit 304B is all the monitoring targets included in the imaging range of the cameras 40B, 40L, 40R in the circumferential direction seen from the excavator 100, that is, all the monitoring images displayed on the display device 50. The monitoring target can be detected.
  • the detection unit 304B can detect the monitoring target even when only a part of the monitoring target is displayed on the left and right ends of the captured image of the imaging device 40. Therefore, it is possible to suppress a situation in which the user is given a sense of discomfort due to the discrepancy between the display content of the display device 50 (the monitoring target is displayed) and the detection result (not detected of the monitoring target).
  • the excavator 100 may perform the work in a state where the straight direction (extending direction) of the lower traveling body 1 and the direction of the upper turning body 3 are substantially aligned.
  • the workers 401 and 402 even if the workers 401 and 402 are relatively close to the left front and the right front of the upper swing body 3, the workers 401 and 402 come into contact with the excavator 100 and the like. The risk of occurrence is not so high.
  • the excavator 100 can travel only in the front-rear direction of the upper swivel body 3, and even if the lower traveling body 1 travels, there is a possibility that the excavator 100 will come into contact with the workers 401 and 402 on the left front and the right front of the upper swivel body 3. Is considered low. Further, since the front end portion of the upper swivel body 3 is relatively close to the turning center, even if the upper swivel body 3 turns, the distance between the front end portion of the upper swivel body 3 and the workers 401 and 402 is large. This is because it is unlikely that a situation such as shortening will occur.
  • the upper swivel body 3 may perform the work while turning at a relatively high frequency. Therefore, for example, as in the case of the crawler 1CL, 1CR of the dotted line in FIG. 9, the turning angle of the upper turning body 3 with respect to the straight direction (extending direction) of the lower traveling body 1 is relatively large. The work may be performed with a turning angle of approximately 90 degrees). In this case, as shown in FIG. 9, the workers 401 and 402 at positions relatively close to the left front and the right front of the upper swivel body 3 proceed to the front crawler 1C (crawler 1CL) seen from the upper swivel body 3. It may be facing in the direction.
  • the crawler 1C crawler 1C
  • the space facing the crawler 1C (crawler 1CL) on the front side as seen from the upper swivel body 3 tends to be a blind spot when viewed from the cabin 10, and may not be visible to the operator of the cabin 10.
  • At least a part of the workers 401 and 402 facing the crawler 1CL is included in the displayable area. Specifically, a part of the worker 401 facing the crawler 1CL is included in the front end of the horizontal imaging range of the camera 40L. Further, a worker 402 facing the crawler 1CL is included in the front end of the horizontal imaging range of the camera 40R. Therefore, the operator of the cabin 10 can see the workers 401 and 402 through the monitoring image of the display device 50 even when the workers 401 and 402 facing the crawler 1CL are blind spots when viewed from the cabin 10. Can grasp the existence of.
  • the remote operators and managers of the excavator 100 using the management device 200 and the terminal device 300 can also grasp the existence of the workers 401 and 402 through the monitoring images of the output device 230 and the output device 330. .. Therefore, the safety of the excavator 100 can be improved.
  • the workers 401 and 402 at positions facing the crawler 1C (crawler 1CL) on the front side as seen from the upper swivel body 3 are partially reflected on the left and right edges of the captured images of the cameras 40L and 40R, and the monitoring image is displayed. May be displayed on the display device 50 or the like.
  • the detection unit 304A cannot recognize (detect) the workers 401 and 402 as monitoring targets, which are only partially reflected in the captured images of the cameras 40L and 40R.
  • the detectable area of the detection unit 304B is the infrared irradiation range of the sensors 45BL, 45BR, 45L, and 45R in the horizontal direction (between the two thick lines in the figure) as described above. Angle range).
  • the monitored object is recognized from the shape and size of the object based on the received light information, the received intensity of the reflected light, etc. as described above. This is because it can be (detected).
  • the detectable area of the detection unit 304B corresponding to the sensor 45L from the upper swivel body 3 when the swivel angle of the upper swivel body 3 with respect to the straight direction of the lower traveling body 1 is approximately 90 degrees.
  • the worker 401 at the left end of the crawler 1C (crawler 1CL) on the front side and the position facing the left side in the straight-ahead direction is included.
  • the front side as seen from the upper swivel body 3 when the swivel angle of the upper swivel body 3 with respect to the straight direction of the lower traveling body 1 is approximately 90 degrees.
  • the worker 402 is located at the right end of the crawler 1C (crawler 1CL) and at a position facing the right side in the straight-ahead direction.
  • the detection unit 304B is the crawler 1C on the front side as seen from the upper swivel body 3 when the swivel angle of the upper swivel body 3 with respect to the straight direction of the lower traveling body 1 is approximately 90 degrees. It is possible to detect the monitoring target of the space facing the straight direction of. Therefore, the peripheral monitoring device 150 can activate safety functions such as a notification function and an operation restriction function based on the detection of the workers 401 and 402. Therefore, the safety of the excavator 100 can be further improved.
  • the space facing the straight direction of the crawler 1C on the front side of the upper swing body 3 is included in the displayable area on the display device 50 or the like as a monitoring image. Further, in this example, when the direction of the upper swing body 3 deviates from the reference state which is aligned with the straight direction of the crawler 1C, the space facing the straight direction of the crawler 1C on the front side of the upper swing body 3 is detected. It is included in the detectable area of the monitoring target by unit 304.
  • the camera 40X, the sensor 45X, or the like can be mounted on the lower traveling body 1, the monitoring target of a specific place seen from the lower traveling body 1 (crawler 1C) is detected regardless of the turning state of the upper rotating body 3. It is relatively easy to display the image on the display device 50 or the like.
  • the camera 40X, the sensor 45X, etc. provide information on the positional relationship of the lower traveling body 1 with surrounding objects during traveling. It may not be obtained properly.
  • the operator of the cabin 10 is the crawler 1C. Workers facing the front can be directly visually recognized.
  • the image captured by the front camera for remote control is displayed on the display device for remote control, so the operator facing the front of the crawler 1C can be identified from the displayed contents. You can check.
  • the operator, the manager, etc. of the excavator 100 can see the image captured by the camera 40B displayed on the display device 50 or the like behind the crawler 1C. You can check the workers facing the camera.
  • the lower traveling body 1 may be moved depending on the number and arrangement of the cameras 40X and the sensors 45X. It may not be possible to properly obtain information on the facing space. For example, since a relatively wide range between the left side and the right side centering on the rear of the upper swing body 3 becomes a blind spot from the operator of the cabin 10, the cameras 40X and the sensor 45X corresponding to this range are relative. There is a possibility that many will be installed.
  • the front of the upper swivel body 3 can be directly visually recognized by an operator, an administrator, or the like, or can be confirmed by a display image of the front camera.
  • Corresponding cameras 40X and sensors 45X may be installed relatively few. Therefore, if the traveling direction of the lower traveling body 1 and the direction of the upper turning body 3 are not aligned with each other, there is a space facing the crawler 1C on the left front or the right front of the upper turning body 3. , The camera 40X and the sensor 45X may not be able to properly acquire information in this space.
  • the space facing the straight-ahead direction of the crawler 1C on the front side of the upper swivel body 3 is provided. It can be included in the displayable area on the display device 50 or the like as a monitoring image. Further, when the direction of the upper swing body 3 is not aligned with the straight direction of the crawler 1C, the space facing the straight direction of the crawler 1C on the front side of the upper swing body 3 is monitored by the detection unit 304. Can be included in the detectable area of. Therefore, it is possible to improve the safety of the lower traveling body 1 of the excavator 100 during traveling.
  • the displayable area and the detectable area may include a space facing the crawler 1C on the front side of the upper swing body 3 in the straight-ahead direction.
  • the number of sensors 45X may be arbitrary as long as the detectable area of the detection unit 304B in the circumferential direction seen from the excavator 100 includes the entire displayable area in the circumferential direction around the excavator 100. The same applies to the arrangement of the sensor 45X.
  • the outputs of both the imaging device 40 and the surrounding information acquisition device 45 are used in an integrated manner to monitor the monitoring target.
  • a configuration may be adopted in which one detection result is output. In this case as well, the same action / effect is obtained.
  • FIG. 11 is a diagram showing a second example of the detectable area of the detection unit 304A using the imaging device 40 and the detectable area of the detecting unit 304B using the surrounding information acquisition device 45 when the excavator 100 is viewed from above. ..
  • the sensors 45LF and 45LR are provided in place of the sensor 45L, and the sensors 45RF and 45RR are provided in place of the sensor 45R on the upper surface of the upper swing body 3. That is, in this example, the ambient information acquisition device 45 includes the sensors 45BL, 45BR, 45LF, 45LR, 45RF, 45RR.
  • the description will be focused on the portion different from the above-mentioned first example, and the description of the same portion and the corresponding portion may be omitted.
  • the sensors 45BL, 45BR, 45LF, 45LR, 45RF, 45RR may be comprehensively referred to as "sensor 45X".
  • the excavator 100 is in a state in which the upper swivel body 3 is swiveled relatively large in a range where the swivel angle with respect to the straight direction of the crawler 1C (the front-rear axis of the crawler 1C) is smaller than 90 degrees (the dotted crawler in FIG. 11). Work may be performed in the state of 1CL and 1CR). Specifically, in this example, the excavator 100 is in a state in which the upper swivel body 3 is swiveled 75 degrees to the right with respect to the straight-ahead direction of the crawler 1C.
  • the worker 403 is located at a position facing the straight-ahead direction at the front end of the crawler 1C (crawler 1CR) on the front side as seen from the upper swivel body 3.
  • a remote operator or administrator of the excavator 100 can display an image of the front camera for remote control displayed on the output device 230 (display device) of the management device 200 or the output device 330 (display device) of the terminal device 300.
  • the worker 403 cannot be confirmed.
  • the space facing the straight-ahead direction at the front end of the crawler 1CR is far from the detectable area (pear-skinned portion in the figure) of the detection unit 304A, and the imaging range of the camera 40L (two in the figure). It is not included in the angular range between the alternate long and short dash lines in the book.
  • two sensors 45X in charge of the range on the left side of the upper swing body 3 are provided.
  • the sensor 45LF is installed at the front of the left end portion of the upper surface of the upper swing body 3 so that the optical axis faces slightly to the left front in the top view.
  • the sensor 45LR is installed at the rear side of the left end portion of the upper surface of the upper swing body 3 so that the optical axis faces slightly to the left rear in the upper view.
  • the sensor 45LR is used to hold the left side of the upper swing body 3 from the left front to the left rear as an infrared irradiation range
  • the sensor 45LF is used to face the front end portion of the crawler 1CR and the straight direction. Space can be included in the irradiation range. Therefore, the detection unit 304B faces the straight-ahead direction at the front end of the crawler 1CR in a state where the upper swivel body 3 turns relatively large in a range where the turning angle with respect to the straight-ahead direction of the crawler 1C is smaller than 90 degrees. The worker 403 existing at the position can be detected.
  • two sensors 45X in charge of the range on the right side of the upper swing body 3 are provided.
  • the sensor 45RF is installed near the front of the right end portion of the upper surface of the upper swing body 3 so that the optical axis faces slightly forward to the right in the top view.
  • the sensor 45RR is installed at the rear side of the right end portion of the upper surface of the upper swing body 3 so that the optical axis faces slightly to the right rear in the upper view.
  • the sensor 45RR is used to the right front of the upper swivel body 3 in the state where the front-rear axis of the crawler 1C is rising to the right.
  • the sensor 45RF the rear end of the crawler 1CR and the space facing the straight direction can be included in the irradiation range while maintaining the right side extending from the right rear to the right as the infrared irradiation range. Therefore, in this state, the detection unit 304B can detect an operator existing at a position facing the straight direction at the rear end portion of the crawler 1CR.
  • the detection unit 304 In the state where the upper swivel body 3 is swirling relatively large with respect to the straight-ahead direction of the crawler 1C, the space facing the straight-ahead direction of the crawler 1C is monitored by the detection unit 304. It is included in the detectable range (detectable area). Specifically, the number and arrangement of the sensors 45X were appropriately devised, and the detection unit 304B swiveled the upper swivel body 3 relatively large in a range where the swivel angle with respect to the straight direction of the crawler 1C was smaller than 90 degrees.
  • the monitoring images may be included in the displayable range (displayable area) on the display device 50 or the like. As a result, the operator or the like can grasp the state of the space facing the crawler 1C in the straight-ahead direction through the monitoring image of the display device 50 or the like.
  • FIG. 12 is a diagram showing a first example of a worker (worker W1).
  • FIG. 13 is a diagram showing a second example of a worker (worker W2).
  • FIG. 14 is a diagram showing a third example of a worker (worker W3).
  • FIG. 15 is a diagram showing a fourth example of a worker (worker W4).
  • the worker W1 wears a helmet HMT and a vest with a reflective material (hereinafter, “reflective vest”) RV (an example of clothing with a reflective material).
  • the reflective material is a member having extremely high retroreflective property (performance of reflecting irradiation light toward a light source).
  • the worker W2 wears the helmet HMT, but does not wear the reflective vest RV.
  • the worker W3 wears a reflective vest RV, but does not wear a helmet HMT.
  • the worker W4 (an example of a third person) does not wear either the helmet HMT or the reflective vest RV.
  • the detection unit 304A detects a person (worker) as a monitoring target
  • the detection unit 304A recognizes the entire person (worker) and the helmet from the images captured by the imaging device 40. Try both.
  • the detection unit 304A can recognize the helmet with a certainty exceeding a predetermined standard even if the entire person cannot be recognized with a certainty exceeding a predetermined standard due to the orientation or posture of the person or the like.
  • the worker can be detected. That is, the detection unit 304A can detect W1 and W2 wearing the helmet HMT among the workers W1 to W4 with a relatively higher probability than the other workers W3 and W4.
  • the detection unit 304B detects a person (worker) as a monitoring target
  • the light reception intensity of the reflected light (infrared ray) received is relative based on the light reception information. Attempts to recognize (detect) an object that is extremely high (specifically, higher than a predetermined standard).
  • the light receiving intensity of the reflected light is acquired based on the light receiving intensity information. Further, the light receiving intensity of the reflected light from the object increases as the retroreflective property of the surface of the object increases, while it decreases as the distance from the object to the sensor 45X increases.
  • the detection unit 304B corrects the light receiving intensity based on the light receiving intensity information to, for example, the light receiving intensity when the object is assumed to be at a predetermined distance in consideration of the distance to the object based on the TOF information. Good.
  • the predetermined reference is set in advance in such a manner that the reflective material and other objects can be distinguished.
  • Reflective clothing includes reflective vests, as well as any clothing to which reflective material is attached, such as jackets with reflective material and pants with reflective material. That is, the detection unit 304B can detect W1 and W3 wearing the reflection vest RV among the workers W1 to W4 with a relatively higher probability than the other workers W2 and W4.
  • the detection unit 304B can recognize the shape and size of the object from the light receiving information corresponding to the reflected light received from the plurality of irradiation directions. Therefore, when detecting a person (worker) as a monitoring target, the detection unit 304B may recognize the person (worker) by using the shape and size of the object based on the received light information.
  • the detection unit 304 detects the monitoring target by using both the detection units 304A and 304B. As a result, the detection unit 304 has the highest probability of detecting an operator (for example, an operator W1) wearing both a helmet and clothing with a reflective material. Further, the detection unit 304 is a case where a worker wearing either a helmet or clothing with a reflective material (for example, workers W2 and W3) is a worker who wears both a helmet and clothing with a reflective material. It can be detected with a certain probability, which is lower than that. Further, the detection unit 304 detects a worker who has not worn both the helmet and the clothing with the reflective material (for example, the worker W4) with the lowest probability.
  • an operator for example, an operator W1 wearing both a helmet and clothing with a reflective material.
  • the detection unit 304 is a case where a worker wearing either a helmet or clothing with a reflective material (for example, workers W2 and W3) is a worker who wears both a helmet and clothing with a reflective material
  • the detection unit 304 is most likely to detect a person wearing both a helmet and a clothing with a reflective material, and is most likely to detect a person wearing either a helmet or a clothing with a reflective material next.
  • Both the helmet and the clothing with reflectors are configured in a manner that makes it most difficult to detect a person who is not wearing it.
  • a person as a monitoring target when a person as a monitoring target is recognized (detected) using only the captured image of the image pickup device 40, it may not be recognized as a person depending on the orientation or posture of the person, or an object other than the person may be a person. There is a possibility that it will be recognized.
  • the peripheral monitoring device 150 can use not only the detection result of the detection unit 304A but also the detection result of the detection unit 304B. Therefore, even if the peripheral monitoring device 150 does not detect a person to be detected by the detection unit 304A or a non-human object is detected as a person, the peripheral monitoring device 150 uses the detection result of the detection unit 304B to not detect the person. And false detection can be suppressed.
  • the detection unit 304 can detect an operator wearing a helmet as safety equipment and clothing with a reflective material with relatively high accuracy. Therefore, the peripheral monitoring device 150 can encourage the worker to wear a helmet or clothing with a reflective material from the viewpoint of ensuring the safety of the worker himself / herself, and by extension, ensuring the safety of the work site.
  • the detection unit 304 is configured to be able to identify the helmet and clothing with the reflective material worn by the worker, but the person (work) as a monitoring target in a manner of identifying other safety equipment. Person) may be detected (recognized).
  • Safety equipment to be identified includes, for example, safety belts, earplugs at noise sites, safety shoes, gloves for arc welding and vibration isolation, dustproof and poisonproof masks, dustproof and light-shielding glasses, etc.
  • An ID (Identifier) tag that outputs an alarm when a welding surface, a work machine, or the like approaches may be included.
  • the peripheral monitoring device 150 can urge the operator to wear more safety equipment.
  • the detection unit 304A determines the position of the worker (for example, the foot position) as seen from the excavator 100, based on the size and position of the entire recognized person (worker) in the captured image and the partial image corresponding to the helmet. Identify. This is because the size of the worker on the captured image changes depending on the distance from the camera 40X of the worker. In addition, the position of the image on the captured image changes depending on the distance and direction of the operator from the camera 40X.
  • the detection unit 304B identifies the position of the operator as seen from the excavator 100 based on the TOF information in the received light information.
  • the TOF information includes the irradiation direction of the light seen from the sensor 45X and the time from the irradiation of the light in the irradiation direction to the reception of the reflected light, and the direction of the object from the sensor 45X is specified based on the former. This is because the distance between the sensor 45X and the object can be specified based on the latter.
  • the light receiving intensity of reflected light (infrared rays) from an object decreases as the distance between the object and the sensor 45X increases, as described above. Therefore, by utilizing this property, it is possible to specify the position (distance) of the monitoring target from the light receiving intensity information.
  • the light receiving intensity of the reflected light from the object also changes depending on the surface properties of the object, specifically, the retroreflective property and the reflectance. Therefore, when the position of the monitoring target is specified using only the light receiving intensity information, the accuracy of the specified position is relatively lowered, and the peripheral monitoring device 150 accurately grasps the position of the surrounding monitoring target. You may not be able to.
  • the range of the received light intensity of the reflected light becomes relatively wide, and the accuracy of distance information based on the received light intensity information deteriorates. there is a possibility. Therefore, when the safety functions such as the notification function and the operation restriction function are operated according to the position of the monitoring target, the operating conditions of the notification function and the operation restriction function may vary.
  • the detection unit 304B recognizes (detects) the monitoring target based on the light receiving intensity information and the TOF information, and identifies the position of the monitoring target. Then, the safety function control unit 305 monitors that the intensity of the reflected light received by the detection unit 304B is relatively high and the distance to the excavator 100 is relatively short (that is, within the notification range and the operation restriction range). When the target is detected, at least one of the notification function and the operation restriction function is activated. That is, the safety function control unit 305 outputs an alarm and limits the operation of the excavator 100 based on the output of the sensor 45X (light receiving intensity information and TOF information).
  • the peripheral monitoring device 150 can use the TOF information, it is possible to specify the position of the monitoring target around the excavator 100 with relatively higher accuracy than when only the light receiving intensity information is used. Therefore, when the peripheral monitoring device 150 operates the safety functions such as the notification function and the operation restriction function according to the position of the monitoring target, it is possible to suppress the variation in the operating conditions of the notification function and the operation restriction function. Therefore, the peripheral monitoring device 150 can improve the safety of the excavator 100.
  • the detection unit 304B may specify the position of the monitoring target by using other information regarding the distance to the object around the excavator 100 instead of or in addition to the TOF information.
  • the detection unit 304B may specify the position of the monitoring target by using the information regarding the distance to the surrounding object acquired based on the image captured by the stereo camera as the image pickup device 40 (camera 40X).
  • the safety function control unit 305 differs in the operation mode of the safety function depending on whether the monitoring target is detected by the detection unit 304A or the monitoring target by the detection unit 304B.
  • the safety function control unit 305 operates only the notification function among the safety functions. That is, when the monitoring target is detected by the detection unit 304A, the safety function control unit 305 does not operate the operation limiting function regardless of the distance between the monitoring target and the excavator 100 or the like. Specifically, the safety function control unit 305 activates the notification function when the monitoring target is detected within the notification range (hereinafter, “first notification range” for convenience) by the detection unit 304A, and the detection unit 304A The operation limit range corresponding to the detection of the monitoring target by (hereinafter, “first operation limit range” for convenience) is not set.
  • the safety function control unit 305 activates the operation restriction function when the detection unit 304B detects the monitoring target in the operation restriction range (hereinafter, “second operation restriction range” for convenience). Further, the safety function control unit 305 may activate the notification function when the detection unit 304B detects the monitoring target in the notification range (hereinafter, “second notification range” for convenience).
  • the first notification range and the second notification range may be the same or different.
  • the operation restriction function is activated based on the detection result even though the detection accuracy of the monitored object is relatively low, the operator may feel uncomfortable or the work efficiency of the excavator 100 may be higher than when the notification function is activated. Is more likely to decrease.
  • the peripheral monitoring device 150 allows the operation of the operation limiting function only when the monitoring target is detected by the detection unit 304B among the detection units 304A and 304B.
  • the detection accuracy tends to be relatively higher when the monitoring target is detected based on the received information of the surrounding information acquisition device 45 than when the monitoring target is detected by image recognition of the captured image of the image pickup device 40. Because. That is, the detection unit 304B tends to have higher detection accuracy for the monitored object than the detection unit 304A.
  • the peripheral monitoring device 150 can improve the safety of the excavator 100 while suppressing the discomfort given to the operator and the decrease in the work efficiency of the excavator 100.
  • the tone color and volume of the sound output from the sound output device 54 may be determined depending on whether the detection target is detected by the detection unit 304A or the monitoring target is detected by the detection unit 304B.
  • the pattern, sounding cycle, sound content, etc. may be different. The same may be applied to the case where the output device 230 (sound output device) of the management device 200 and the output device 330 (sound output device) of the terminal device 300 are operated by the remote notification function.
  • the safety function control unit 305 has a tone color indicating that when the monitoring target is detected by the detection unit 304B, the urgency (risk level) is higher than when the monitoring target is detected by the detection unit 304A. Volume, pattern, timbre cycle, audio content, etc. may be adopted. This is because, as described above, the detection unit 304B tends to have higher detection accuracy regarding the monitoring target than the detection unit 304A.
  • the safety function control unit 305 displays the notification function displayed on the display device 50 or the like depending on whether the detection target is detected by the detection unit 304A or the monitoring target is detected by the detection unit 304B.
  • the mode may be different (see, for example, FIG. 20).
  • FIG. 16 is a diagram illustrating an operation restriction range when the optional equipment is installed.
  • the excavator 100 is provided with a blade 90 as an optional equipment on the front side of the lower traveling body 1.
  • the blade 90 is attached so as to protrude forward in the straight-ahead direction of the lower traveling body 1 (crawler 1CL, 1CR) (white arrow in the figure). Therefore, when the lower traveling body 1 travels in the direction in which the blade 90 is mounted (to the right in the drawing) (for example, straight running or slow turning), the surrounding workers 610 are more than in the state where the blade 90 is not mounted. And the excavator 100 (blade 90) get closer.
  • the blade 90 when the lower traveling body 1 makes a pivot turn, a spin turn, or the like, the blade 90 also makes a turning motion toward the periphery of the excavator 100 along with the operation of the lower traveling body 1, so that the blade 90 is the lower traveling body 1.
  • the turning radius becomes wider by the amount that jumps out to the front side. Therefore, there is a possibility that the distance between the surrounding worker 610 and the excavator 100 (blade 90) is closer than in the state where the blade 90 is not attached to the excavator 100.
  • the safety function control unit 305 when the blade 90 moves toward the periphery of the excavator 100 due to the operation of the excavator 100 (that is, the traveling operation of the lower traveling body 1), the safety function control unit 305 is more than in other cases. Make the safety function easier to operate. In other cases, for example, the lower traveling body 1 travels to the rear where the blade 90 is not mounted, and the blade 90 separates from the periphery of the excavator 100.
  • the blade 90 is mounted on the lower traveling body 1 and the blade 90 is attached to the lower traveling body 1 in the direction in which the blade 90 is directed toward the periphery of the excavator 100, that is, the outer edge of the operation limiting range in front of the lower traveling body 1. It is set to be farther from the excavator 100 than when it is not attached (for example, the dotted line 620 in the figure) (for example, the dotted line 630 in the figure).
  • the setting (change) is executed by the setting unit 302, and the setting content may be registered in the storage unit 303. Further, the same may be applied to the outer edge of the notification range corresponding to the notification function.
  • the safety function control unit 305 responds to the detection of the operator 610 by the detection unit 304 when the excavator 100 travels toward the front side (right side in the drawing) of the lower traveling body 1 on which the blade 90 is mounted. Therefore, the safety function (alarm function and operation restriction function) can be activated more quickly. Therefore, the safety function control unit 305 can operate the safety function more appropriately according to the installation of the optional equipment. Therefore, the peripheral monitoring device 150 can further improve the safety of the excavator 100. In other words, the safety function control unit 305 provides a safety function when the optional equipment (blade 90) is installed, in which the safety of the excavator 100 is relatively higher than when the optional equipment is not installed. Can be activated.
  • the safety function is set so as to be easy to operate by relaxing other conditions for operating the safety function. May be done.
  • the operating condition of the safety function includes a condition relating to the degree of certainty of the monitoring target detected by the detection unit 304 (hereinafter, “probability of the monitoring target”)
  • the condition may be relaxed.
  • Information on the accuracy of the monitoring target is output from the detection unit 304.
  • the setting unit 302 sets a relative threshold value corresponding to the condition of accuracy of the monitored object as compared with other cases.
  • the setting unit 302 may set the threshold value corresponding to the condition of the accuracy of the monitoring target to be relatively lower than when the blade 90 is not mounted.
  • the safety function control unit 305 can operate the safety function more appropriately according to the installation of the optional equipment.
  • the operating safety function may be switched to a specification with relatively high safety.
  • the setting unit 302 sets the notification function and the operation restriction function as safety functions when the blade 90 moves toward the periphery of the excavator 100 with the operation of the excavator 100, and notifies in other cases. Only the function may be set to be operable. Further, the setting unit 302 sets the notification function and the operation restriction function as a safety function when the blade 90 is attached, and can operate only the notification function as a safety function when the blade 90 is not attached. It may be set. This is because the operation restriction function is relatively safer than the notification function in that the operation of the excavator 100 can be forcibly restricted regardless of the intention of the operator or the like.
  • the setting unit 302 sets the operation limiting function to be operable with a relatively high degree of limitation when the blade 90 moves toward the periphery of the shovel 100 with the operation of the shovel 100, and in other cases,
  • the operation restriction function may be set to be operable with a relatively low degree of restriction.
  • the setting unit 302 sets the operation limiting function to be operable with a relatively high limit when the blade 90 is mounted, and operates with a relatively low limit when the blade 90 is not mounted.
  • the function may be set to be operable.
  • the setting unit 302 sets the notification function to be operable in a manner indicating a relatively high degree of urgency (risk degree) when the blade 90 moves toward the periphery of the excavator 100 with the operation of the excavator 100.
  • the notification function may be set to be operable in a manner indicating a relatively low degree of urgency (risk degree).
  • the setting unit 302 sets the notification function to be operable in a manner indicating a relatively high degree of urgency (risk degree) when the blade 90 is attached, and relatively when the blade 90 is not attached.
  • the notification function may be set to be operable in a manner indicating a low degree of urgency (risk degree).
  • the safety function control unit 305 can operate the safety function more appropriately according to the installation of the optional equipment.
  • the safety function may be similarly operated in a manner in which the safety is relatively high.
  • Other types of optional equipment may include, for example, an additional counterweight mounted at the rear of the upper swing body 3 or a large counterweight that is heavier than the standard counterweight.
  • other types of optional equipment may include a relatively long long arm that is worn in place of the arm 5.
  • other types of optional equipment include, for example, a spare attachment (for example, a breaker, a stirrer, etc.) as an end attachment attached instead of the bucket 6, or a spare attachment (for example, a spare attachment) attached between the end attachment and the arm 5.
  • Quick coupling, tilt rotator, etc. may be included.
  • the safety function control unit 305 determines the presence or absence of the optional equipment for each type of the optional equipment, and according to the determination result, as described above, the operation mode of the safety function. May be changed.
  • the setting unit 302 sets the mounting state of the optional equipment (for example, whether or not the optional equipment is mounted for each type) in response to a predetermined input by the operator or the like through the input device 52. Then, the safety function control unit 305 may determine the presence or absence of the optional equipment based on the setting contents registered in the storage unit 303.
  • the safety function control unit 305 is based on the output of a sensor (for example, a switch provided in the image pickup device 40 or the mounting portion of the optional equipment) capable of acquiring information on the mounting status of the optional equipment, and is based on the type of the optional equipment. It may be automatically determined whether or not the optional equipment is installed for each case.
  • a sensor for example, a switch provided in the image pickup device 40 or the mounting portion of the optional equipment
  • the display processing unit 301 issues a notification regarding a change in the operation mode of the safety function (hereinafter, simply "change notification") when the state in which the optional equipment is not installed is changed to the state in which the optional equipment is installed. It may be displayed on a display device 50 or the like.
  • the change notification includes a notification that the operation target of the safety function is automatically changed.
  • the peripheral monitoring device 150 can make the operator, the manager, or the like know that the operation mode of the safety function is automatically changed by installing the optional equipment.
  • the change notification may be a notification urging permission or disapproval of the change in the operation mode of the safety function.
  • the change notification when the change notification is displayed on the display device 50 or the like, the user such as the operator or the administrator permits or rejects the change of the operation mode of the safety function through the input devices 52, 240, 340. Can be done. Therefore, it is possible to reflect the intentions of users such as operators and managers with respect to changes in the operating mode of the safety function according to the mounting status of the optional equipment.
  • the change notification may be a notification prompting a manual change of the operation mode of the safety function.
  • the user can manually change the operation mode of the safety function in response to the change notification. That is, the setting unit 302 can change the operation mode of the safety function according to the manual setting operation by the operator, the administrator, or the like through the input devices 52, 240, 340. Therefore, it is possible to reflect the intention of the user such as the operator for the change of the operation mode of the safety function according to the mounting state of the optional equipment.
  • the safety function control unit 305 is configured to be able to operate the external notification function when the monitoring target is detected by the detection unit 304.
  • the change in the positional relationship between the excavator 100 and the surrounding workers due to the movement of the worker as the monitoring target is relatively gradual, and it is considered unlikely that the safety will suddenly decrease. Therefore, in a situation where the safety is not so lowered, the need to activate the external notification function is relatively low, and conversely, when the external notification function is activated, for example, the operator is surprised and induces a work error. There is also the possibility of doing. Therefore, in this example, when the safety function control unit 305 detects the monitoring target (within the notification range) by the detection unit 304, the safety function control unit 305 operates the external notification function and does not operate the external notification function. is there.
  • the safety of the excavator 100 may suddenly decrease due to its operation depending on its operation status and terrain conditions. Therefore, even in a situation where the safety is not so reduced, it is highly necessary to notify the operator inside the cabin 10 and the operator of the remote control of the existence of the monitoring target such as the surrounding workers. Be done.
  • the manager of the excavator 100 and the like for example, while looking at the monitoring image displayed on the output device 230 (display device) of the management device 200, respectively. In some cases, the work status of the excavator 100 is monitored. Similarly, the manager or the like of the excavator 100 may monitor the work status by using the terminal device 300.
  • the safety function control unit 305 may operate the internal notification function and the remote notification function even when the external notification function is not performed when the monitoring target is detected within the notification range by the detection unit 304.
  • the safety function control unit 305 may switch between when the external notification function is activated and when it is not activated, depending on whether the monitoring target is detected by the detection unit 304A or the detection unit 304B. Specifically, the safety function control unit 305 cannot operate the external notification function when the monitoring target is detected by the detection unit 304A, while the external notification function is notified when the monitoring target is detected by the detection unit 304B.
  • the function may be configured to be operable. For example, when the external notification function is activated, the work of workers around the excavator 100 may be stopped, and if it is a false alarm, the work efficiency may be lowered due to the operation of the unnecessary external notification function. There is.
  • the external notification function can be activated only when the monitoring target is detected by the detection unit 304B, which tends to have a relatively high detection accuracy among the detection units 304A and 304B. , The safety around the excavator 100 and the work efficiency can be balanced.
  • the safety function control unit 305 when the safety function control unit 305 detects the monitoring target by the detection unit 304, the safety function control unit 305 activates the external notification function and does not activate it by interlocking with the operation status of the operation restriction function. You may switch. Specifically, the safety function control unit 305 does not operate the operation limiting function (for example, the operation deceleration function) even when the monitoring target is detected in the notification range by the detection unit 304 (for example, described later). As described above, when there is no possibility of contact between the monitoring target and the excavator 100, etc.), the external notification function may not be activated.
  • the operation limiting function for example, the operation deceleration function
  • the safety function control unit 305 may activate the external notification function when the monitoring target is detected in the notification range by the detection unit 304 and the operation limiting function (for example, the operation deceleration function) is operating. ..
  • the peripheral monitoring device 150 operates the external notification function in a situation where the possibility of contact between the surrounding monitoring target and the excavator 100 is low while ensuring the safety of the excavator 100, and the work around the excavator 100 is performed. It is possible to suppress the occurrence of a situation in which the work of a person or the like is stopped. Therefore, it is possible to suppress a decrease in work efficiency at the work site while considering the safety of the excavator 100.
  • the safety function control unit 305 has an external notification function depending on whether or not the monitoring target exists in the direction in which the excavator 100 operates. It may be switched between when it is activated and when it is not activated. Specifically, the safety function control unit 305 determines the direction in which the excavator 100 operates in accordance with the operation of the driven element (for example, the lower traveling body 1, the upper swivel body 3, the attachment, etc.) based on the operation information of the excavator 100. Judging, when there is no monitoring target in the direction in which the excavator 100 operates, the external notification function may not be activated.
  • the driven element for example, the lower traveling body 1, the upper swivel body 3, the attachment, etc.
  • the safety function control unit 305 determines the operating direction of the excavator 100 accompanying the operation of the driven element based on the operation information of the excavator 100, and when the monitoring target exists in the operating direction of the excavator 100, the external The notification function may be activated.
  • the peripheral monitoring device 150 operates the external notification function in a situation where the possibility of contact between the surrounding monitoring target and the excavator 100 is low while ensuring the safety of the excavator 100, and the work around the excavator 100 is performed. It is possible to suppress the occurrence of a situation in which the work of a person or the like is stopped. Therefore, it is possible to suppress a decrease in work efficiency at the work site while considering the safety of the excavator 100.
  • the safety function control unit 305 when the safety function control unit 305 detects the monitoring target in the notification range by the detection unit 304, the safety function control unit 305 performs external notification according to the degree of risk based on the positional relationship between the excavator 100 and the monitoring target. You may switch between when the function is activated and when it is not activated. Specifically, the safety function control unit 305 activates the external notification function when the risk level (for example, the possibility of contact) based on the positional relationship between the excavator 100 and the monitored object is relatively high. , When the risk level based on the positional relationship between the excavator 100 and the monitoring target is relatively low, the external notification function may not be activated.
  • the risk level for example, the possibility of contact
  • the degree of risk may be acquired (calculated) based on, for example, the distance between the monitoring target and the excavator 100. Further, the degree of danger is determined by, for example, the operating direction of the monitored element and the driven element corresponding to the operation of the excavator 100 (for example, the traveling direction of the lower traveling body 1, the turning direction of the upper turning body 3, the moving direction of the attachment, etc. ) May be acquired (calculated).
  • the peripheral monitoring device 150 operates the external notification function in a situation where the possibility of contact between the surrounding monitoring target and the excavator 100 is low while ensuring the safety of the excavator 100, and the work around the excavator 100 is performed. It is possible to suppress the occurrence of a situation in which the work of a person or the like is stopped. Therefore, it is possible to suppress a decrease in work efficiency at the work site while considering the safety of the excavator 100.
  • the safety function control unit 305 may or may not operate the external notification function according to the operating state of the gate lock lever. May be switched. Specifically, the safety function control unit 305 may activate the external notification function when the gate lock lever is in the released state. This is because when the gate lock lever is in the released state, there is a high possibility that the excavator 100 will operate in response to an operator's operation or an operation command corresponding to the automatic operation function. On the other hand, the safety function control unit 305 may prevent the external notification function from being activated when the gate lock lever is in the locked state.
  • the safety function control unit 305 externally determines whether or not the operation of the excavator 100 is stopped due to the satisfaction of other operating conditions. You may switch between when the notification function is activated and when it is not activated. Specifically, the safety function control unit 305 may operate the external notification function when the operation of the excavator 100 is not stopped (prohibited) in response to the establishment of other operating conditions. This is because the excavator 100 may operate in response to an operator's operation or an operation command corresponding to the automatic operation function.
  • the safety function control unit 305 may not operate the external notification function when the operation of the excavator 100 is stopped (prohibited) in response to the establishment of other operating conditions. This is because the excavator 100 is stopped regardless of the operation of the operator or the operation command corresponding to the automatic operation function. As a result, it is possible to suppress a decrease in work efficiency at the work site while considering the safety of the excavator 100.
  • the safety function control unit 305 when the safety function control unit 305 activates the external notification function according to the length of the duration of the stopped state of the excavator 100 when the monitoring target is detected in the notification range by the detection unit 304, You may switch between when it is not activated and when it is not activated. Specifically, the safety function control unit 305 may activate the external notification function when the duration of the excavator 100 being stopped is longer than a predetermined threshold value. If the duration of the excavator 100 being stopped becomes relatively long, the workers around the excavator 100 may become more aware that the excavator 100 will not move, and the awareness of safety may decrease. Because there is.
  • the safety function control unit 305 may not activate the external notification function when the duration of the excavator 100 being stopped is equal to or less than a predetermined threshold value (including when the excavator 100 is not stopped).
  • a predetermined threshold value including when the excavator 100 is not stopped.
  • the safety function control unit 305 activates the external notification function in response to the sign of the start of operation of the excavator 100 in the stopped state when the monitoring target is detected in the notification range by the detection unit 304. You may switch between when it is not activated and when it is not activated. Specifically, the safety function control unit 305 may activate the external notification function when the excavator 100 is stopped and there is a sign that the excavator 100 starts operating. Further, the safety function control unit 305 may activate the external notification function when the duration of the excavator 100 being stopped is equal to or longer than a predetermined threshold value and there is a sign that the excavator 100 starts operating. This is because there is a high possibility that the excavator 100 will start operation.
  • the safety function control unit 305 may not activate the external notification function when the excavator 100 is not stopped or when there is no sign that the stopped excavator 100 starts operating. Further, the safety function control unit 305 starts the operation when the duration of the excavator 100 being stopped is equal to or less than a predetermined threshold value (including when the excavator 100 is not stopped) or when the excavator 100 is stopped.
  • the external notification function may not be activated when there is no sign. This is because, as described above, in the situation where the excavator 100 is moving, the worker's attention to the excavator 100 is easy to work, and it is considered that the worker's awareness of safety is relatively high. Further, in a situation where the excavator 100 is unlikely to start operation, the necessity of the external notification function is relatively reduced. As a result, it is possible to suppress a decrease in work efficiency at the work site while considering the safety of the excavator 100.
  • Whether or not there is a sign of the start of operation of the excavator 100 may be determined based on, for example, the operating state of the gate lock lever. When the gate lock lever is in the locked state, the excavator 100 is unlikely to start operating, while when the gate lock lever is operated from the locked state to the released state, the excavator 100 is likely to start operating. Is. Further, the presence or absence of a sign of the start of operation of the excavator 100 may be determined by, for example, the presence or absence of a sign of the start of operation of the operator.
  • the presence or absence of a sign of the start of the operator's operation may be recognized based on, for example, an image captured by a camera installed in the cabin 10 or a camera that captures the remote-controlled operator.
  • a camera that captures a remote-controlled operator is installed in, for example, a management device 200 or a terminal device 300.
  • the presence or absence of a sign of the start of the operator's operation may be recognized based on, for example, the contact state (grasping state) of the operator with the operation device 26 or the remote control operation device. For example, when the operating device 26 or the remote control operating device is not grasped by the operator, its output is stable in a state corresponding to zero.
  • the output of the operation device 26 or the remote control operation device shifts to a state showing a minute operation amount before the start of the operation. Therefore, by monitoring the output (pressure signal or electric signal) of the operation device 26 or the remote control operation device, the contact state of the operator's hand with the operation device or the remote control operation device can be grasped, and the operator's operation can be started.
  • the presence or absence of signs can be recognized.
  • the presence or absence of a sign of the start of operation of the excavator 100 may be determined based on the operation pattern of the excavator 100.
  • the operation pattern of the excavator 100 may be recognized, for example, based on the history of the operation contents of the operator and the contents of the operation command corresponding to the automatic operation function.
  • the setting unit 302 may be set to switch ON (valid) and OFF (disable) of the external notification function according to a predetermined operation by an operator or the like through the input device 52.
  • the safety function control unit 305 may or may not operate the external notification function depending on the setting status regarding whether or not the external notification function is activated. You may switch between times.
  • the safety function control unit 305 activates the external notification function when the detection unit 304 detects the monitoring target in the notification range and the external notification function is set to ON (enabled).
  • the external notification function may not be activated when the external notification function is set to OFF (disabled).
  • the peripheral monitoring device 150 can reflect the intention of the operator or the like in determining whether or not to activate the external notification function.
  • the safety function control unit 305 may operate the external notification function through the sound output device 54 as described above.
  • the sound output device 54 includes, for example, a horn 54a, a traveling alarm 54b, and the like.
  • the safety function control unit 305 can realize the external notification function by using the existing horn 54a and the traveling alarm 54b. Therefore, the cost for realizing the external notification function can be suppressed.
  • the coil is energized and the relay 62 is closed in response to a control command (control current) corresponding to the operation of the external notification function from the controller 30, regardless of the ON operation of the knob switch 64.
  • control current control current
  • the controller 30 can output sound from the horn 54a in a predetermined sounding pattern by appropriately controlling the opening / closing pattern of the horn relay.
  • the sounding pattern of the horn 54a corresponding to the external notification function may be set to a mode different from the sounding pattern when the operator or the like normally makes the horn 54a sound at the start of traveling.
  • the peripheral monitoring device 150 can make the workers around the excavator 100 distinguish between the notification (signal) of the start of traveling of the excavator 100 and the operation of the external notification function.
  • the travel alarm 54b outputs a sound in a predetermined sounding pattern in response to a control command corresponding to the operation of the external notification function of the controller 30.
  • the sounding pattern of the traveling alarm corresponding to the external notification function is different from the normal traveling state of the lower traveling body 1 (for example, a beep sound that repeatedly sounds "beep, beep, beep, ##). May be set to.
  • the peripheral monitoring device 150 can make the workers around the excavator 100 distinguish between the notification when the excavator 100 is running and the operation of the external notification function, as in the case of the horn 54a.
  • the safety function control unit 305 may operate the external notification function by using a lighting device such as a headlight or an external display device provided in the house portion or the like of the upper swing body 3. ..
  • the lighting device turns on or turns on and off repeatedly in a predetermined pattern according to a control command corresponding to the operation of the external notification function of the controller 30.
  • the external display device is a character that urges workers and supervisors around the excavator 100 to evacuate from the surroundings of the excavator 100 in response to a control command corresponding to the operation of the external notification function of the controller 30. Display information.
  • FIG. 17 is a diagram illustrating a method of determining whether or not there is contact with a monitored object around the excavator 100.
  • FIG. 17 shows a lower traveling body 1 (crawler 1CL, 1CR) of the excavator 100. It shows the work situation 700 running straight in the right direction.
  • 18 and 19 are diagrams for explaining an operation control method of the operation restriction function.
  • FIGS. 18 and 19 are diagrams showing an operation control method of the operation limiting function in the working conditions 810 and 820 of the excavator 100, respectively.
  • the safety function control unit 305 corresponds to the operation of the excavator 100 (that is, the operation of the operation device 26 or the remote control) and the automatic operation function when the monitoring target is detected in the operation restriction range by the detection unit 304. It is determined whether or not the operation of the excavator 100 in response to the operation command causes contact between the monitored object and the excavator 100. Then, when the safety function control unit 305 determines that the monitoring target and the excavator 100 come into contact with each other, the safety function control unit 305 activates the operation stop function and stops the operation of the excavator 100 with respect to the operation of the excavator 100.
  • the safety function control unit 305 may determine the operating direction of the driven element based on the operation information of the driven element to be operated. Then, the safety function control unit 305 monitors the excavator 100 and the excavator 100 based on the information regarding the positional relationship between the outer surface of the excavator 100 and the monitoring target (detected by the detection unit 304) and the determined operating direction of the excavator 100. The presence or absence of contact with the target may be predicted.
  • the information regarding the positional relationship between the outer surface of the excavator 100 and the monitored object may include, for example, output information of the imaging device 40 (camera 40X) and the surrounding information acquisition device 45 (sensor 45X), detection results of the detection unit 304, and the like. ..
  • the information regarding the positional relationship between the outer surface of the excavator 100 and the monitoring target may include, for example, information regarding the installation position of the camera 40X and the sensor 45X on the excavator 100 (upper swivel body 3). This is because it is possible to determine which part of the outer surface of the excavator 100 is close to the monitoring target from the installation location of the camera 40X and the sensor 45X that have acquired the information regarding the monitoring target.
  • the information regarding the positional relationship between the outer surface of the excavator 100 and the monitoring target may include information regarding the physique (for example, specifications such as width and shape) of the excavator 100 with respect to the direction in which the excavator 100 operates. This is because the positional relationship between the outer surface of the excavator 100 and the monitored object may change depending on the physique (occupied width) of the excavator 100 with respect to the direction in which the excavator 100 operates.
  • the safety function control unit 305 determines the operating direction of the excavator 100 accompanying the operation of the driven element at predetermined cycles based on the operation information of the driven element. to decide. As a result, the determination result of the operating direction of the excavator 100 is updated according to the change in the operation information of the driven element.
  • the detection unit 304 performs a process of detecting the monitoring target around the excavator 100 at predetermined intervals, and outputs the position information of the detected monitoring target. As a result, the position information relative to the excavator 100 to be monitored, which is continuously detected by the detection unit 304, is continuously updated.
  • the safety function control unit 305 is based on the operating direction of the excavator 100 determined by itself and the position information of the monitoring target output from the detection unit 304, and the excavator is until a predetermined time elapses in the future. It may be determined whether or not contact between 100 and the monitored object occurs. As a result, the safety function control unit 305 sequentially adjusts the operating direction of the excavator 100, which is sequentially updated, to the position of the monitored object as seen from the excavator 100, and sequentially makes contact between the excavator 100 and the surrounding monitored object. The presence / absence judgment result can be updated.
  • the safety function control unit 305 sets a predetermined range (that is, an operation stop range) set based on the information on the positional relationship between the outer surface of the excavator 100 and the monitored object and the determined operating direction of the excavator 100. It may be used to determine the presence or absence of contact between the excavator 100 and the monitored object.
  • the operation stop range may be set by the setting unit 302 at predetermined cycles as a range in which contact between the excavator 100 and the monitoring target can occur.
  • solid excavator 100 in which the upper swivel body 3 and the attachment are shown by solid lines (hereinafter, “solid excavator 100” for convenience) is in the straight direction of the lower traveling body 1 (in the figure).
  • the upper swivel body 3 (attachment) is swiveled 90 degrees to the left with respect to (to the right) and faces upward in the figure.
  • the excavator 100 in which the upper rotating body 3 and the attachment are indicated by the alternate long and short dash line (hereinafter, “excavator 100 of the alternate long and short dash line”) is relative to the straight direction (right direction in the drawing) of the lower traveling body 1.
  • the upper swivel body 3 turns to the left and faces diagonally upward to the right in the figure.
  • the safety function control unit 305 monitors the left end (outer end) of the crawler 1CL, the rear end of the upper swivel body 3, and the surroundings when the lower traveling body 1 is traveling.
  • Whether or not there is contact between the monitored object and the excavator 100 (airframe) can be determined based on the positional relationship with the object (for example, the worker 730). Further, the safety function control unit 305 depends on the physique (width between the dotted lines 710) of the excavator 100 with respect to the straight direction (right direction in the figure) of the excavator 100 and the relative position of the monitored object around the excavator 100. It is also possible to determine whether or not there is contact between the monitored object and the excavator 100 (airframe). For example, the safety function control unit 305 monitors the monitoring target within the operation stop range defined by the width defined by adding a predetermined margin (for example, 1 meter to 1.5 meters) to the width between the dotted lines 710. If it is detected, it may be determined that contact between the excavator 100 and the monitored object occurs.
  • a predetermined margin for example, 1 meter to 1.5 meters
  • the safety function control unit 305 monitors the corners of the left front end and the right rear end of the upper swing body 3 and the surroundings when the lower traveling body 1 travels.
  • Whether or not there is contact between the monitored object and the excavator 100 (airframe) can be determined based on the positional relationship with (for example, worker 730). Further, the safety function control unit 305 determines the physique (width between the alternate long and short dash lines 720) of the excavator 100 with respect to the straight direction (right direction in the figure) of the excavator 100 and the relative position of the monitoring target around the excavator 100. It is also possible to determine whether or not there is contact between the monitored object and the excavator 100 (airframe).
  • the safety function control unit 305 monitors the excavator 100 and the shovel 100 when the monitoring target is detected within the operation stop range defined by the width defined by adding a predetermined margin to the width between the alternate long and short dash lines 720. It may be determined that contact with the subject will occur.
  • the operation stop range corresponds to the range between the dotted lines 710, and in the case of the alternate long and short dash line excavator 100, the operation stop range is the range between the alternate long and short dash lines 720.
  • the setting unit 302 may change the operation stop range according to the turning angle of the upper turning body 3 with respect to the lower traveling body 1. As a result, the setting unit 302 can set the operation stop range more appropriately according to the turning angle of the upper turning body 3.
  • Information on the turning angle of the upper turning body 3 may be acquired based on, for example, an image captured by the camera 40X.
  • the turning angle of the upper swivel body 3 can be determined according to the appearance of the crawler reflected in the image captured by the camera 40X, which camera 40X the crawler is reflected in, and the like.
  • a sensor capable of acquiring information on the turning angle of the upper swivel body 3 for example, a rotary encoder, an acceleration sensor, an angular velocity sensor, a six-axis sensor, an IMU (Inertial Measurement Unit, etc.) mounted on the upper swivel body 3 is an excavator. It may be provided in 100.
  • the safety function control unit 305 is a running operation corresponding to the straight running of the lower traveling body 1 or a running operation corresponding to the slow turning running based on the operation information input from the operation information output device 29. , It may be determined whether the turning operation corresponds to the pivot turn or the turning operation corresponding to the spin turn.
  • the operation information regarding the lower traveling body 1 includes information indicating a traveling operation corresponding to straight traveling, information representing a traveling operation corresponding to slow turning traveling, information representing a traveling operation corresponding to a pivot turn, and a spin turn. At least one piece of information representing the corresponding travel operation may be included.
  • the safety function control unit 305 considers the physique (occupied width) of the aircraft or the like with respect to the operating direction of the driven element of the excavator 100, so that the excavator 100 and the surrounding monitoring target detected by the detection unit 304 can be used. It is possible to determine the presence or absence of contact between the two. Specifically, the safety function control unit 305 monitors the driven element as it operates, based on the operation information about the driven element of the excavator 100 and the information about the positional relationship between the outer surface of the excavator 100 and the monitored target. It may be determined whether or not contact with the excavator 100 occurs.
  • the information regarding the traveling operation of the lower traveling body 1 includes information indicating the traveling operation corresponding to the straight running, the information representing the traveling operation corresponding to the slow turning traveling, and the pivot turn. It includes at least one piece of information representing the corresponding running operation and information representing the corresponding running operation corresponding to the spin turn.
  • the safety function control unit 305 can grasp the traveling direction of the lower traveling body 1 in more detail and more appropriately determine whether or not there is contact between the excavator 100 and the monitored object.
  • the excavator 100 is in a state where the turning angle with respect to the straight direction (right direction in the figure) of the lower traveling body 1 is 90 degrees to the left. Further, in front of the lower traveling body 1 (to the right in the drawing), there is a worker 811 detected by the detection unit 304.
  • the safety function control unit 305 allows the lower traveling body 1 to move backward (to the left in the figure) in response to the traveling operation of the lower traveling body 1. This is because the excavator 100 moves away from the operator 811 so that contact between the excavator 100 and the operator 811 cannot occur.
  • the safety function control unit 305 prohibits the lower traveling body 1 from advancing (forwarding) in front of the lower traveling body 1 (to the right in the figure) in response to the traveling operation of the lower traveling body 1, and activates the operation stop function. .. This is because the worker 811 exists in front of the excavator 100 in the traveling direction, and if the excavator 100 proceeds as it is, the excavator 100 approaches the worker 811 and contact occurs between the excavator 100 and the worker 811.
  • the excavator 100 has a turning angle of 90 degrees to the left with respect to the straight direction (right direction in the figure) of the lower traveling body 1, as in the work situation 810 of FIG. It is in a state. Further, an operator 821 detected by the detection unit 304 exists diagonally to the right rear of the lower traveling body 1 and diagonally to the right front of the crawler 1CR.
  • the safety function control unit 305 allows the lower traveling body 1 to move backward (to the left in the figure) in response to the traveling operation of the lower traveling body 1. This is because the excavator 100 moves away from the operator 811 so that contact between the excavator 100 and the operator 811 cannot occur. Further, the safety function control unit 305 also allows the lower traveling body 1 to advance (forward) in front of the lower traveling body 1 (to the right in the drawing) in response to the traveling operation of the lower traveling body 1.
  • the excavator 100 approaches the operator 812 as the lower traveling body 1 travels, it is separated from the end of the occupied width of the excavator 100 (one-dot chain line 822) to some extent, so that the excavator 100 can proceed as it is (straight ahead). This is because no contact occurs between the operator and the worker 811.
  • the safety function control unit 305 may prohibit the excavator 100 from advancing and activate the operation stop function when the traveling operation of the lower traveling body 1 is a gentle turning traveling to the right. As a result, the safety function control unit 305 can operate the operation stop function more appropriately according to the content of the traveling operation of the lower traveling body 1.
  • the safety function control unit 305 activates the operation stop function when the excavator 100 is likely to come into contact with the monitoring target detected by the detection unit 304 in response to the operation of the excavator 100, and the excavator 100 responds to the operation. Stop the operation.
  • the safety function control unit 305 if the safety function control unit 305 approaches the monitoring target detected by the detection unit 304 in response to the operation of the excavator 100, but the monitoring target does not come into contact with the excavator 100, the safety function control unit 305 is concerned. Allows the excavator 100 to operate relative to the operation.
  • the safety function control unit 305 determines whether or not the excavator 100 of the driven element and the monitoring target detected by the detection unit 304 come into contact with each other, and the contact between the excavator 100 and the monitoring target is determined. When it is determined that the occurrence does not occur, the operation of the excavator 100 with respect to the operation of the excavator 100 is allowed. At this time, the safety function control unit 305 may allow the excavator 100 to operate while activating the operation deceleration function and decelerating the operation speed of the excavator 100, or may not operate the excavator 100 operation limiting function itself. In addition, the operation of the excavator 100 may be allowed.
  • the peripheral monitoring device 150 allows the excavator 100 to operate when there is no contact between the excavator 100 and the monitoring target, and can balance the safety and work efficiency of the excavator 100. .. Therefore, the peripheral monitoring device 150 can more appropriately stop the operation of the excavator 100 according to the presence of an obstacle (monitoring target) around the excavator 100.
  • FIGS. 20 to 22 are diagrams showing specific examples of the monitoring image when the monitoring target is detected by the detection unit 304. Specifically, FIGS. 20 to 22 show first to third examples (monitoring images 910 to 930) of the monitoring images displayed on the display device 50 when the monitoring target is detected by the detection unit 304, respectively. It is a figure.
  • the display device 50 displays a captured image (through image) of the camera 40B as a monitoring image 910 under the control of the display processing unit 301.
  • the surveillance image 910 shows the worker 911 wearing a helmet and a reflective vest.
  • the worker 911 wears both a helmet and a reflective vest, it is detected by both the detection unit 304A and the detection unit 304B.
  • a frame 912 indicating that the worker 911 is detected by the detection unit 304A is superimposed and displayed.
  • the operator or the like can easily recognize the existence and the position of the worker 911 detected by the detection unit 304A.
  • the display mode of the frame 912 may be changed according to the distance from the excavator 100 of the monitoring target (worker 911) detected by the detection unit 304 (detection unit 304A). For example, the frame 912 is displayed in yellow when the distance between the monitoring target detected by the detection unit 304A and the excavator 100 is relatively large, and the distance between the monitoring target and the excavator 100 is displayed. If they are relatively close, they may be displayed in red. As a result, the operator or the like can grasp the positional relationship (distance) between the excavator 100 and the monitoring target through the display mode of the frame 912. The same may apply to the frame 520 of FIG. 10 described above and the frame 932 of FIG. 22 described later.
  • an instruction image 913 indicating that the monitoring target (worker 911) detected by the detection unit 304B exists in the monitoring image 910 is superimposed and displayed.
  • the operator or the like can recognize that the monitoring target detected by the detection unit 304B is in the currently displayed monitoring image 910.
  • the instruction image 913 has an arrow head (arrowhead) shape and is displayed at the lower end of the surveillance image 910, that is, at the end of the surveillance image 910 in the vertical direction closer to the body (upper swing body 3) of the excavator 100. Will be done.
  • the instruction image 913 points inward of the surveillance image 910 from the lower end corresponding to the body side of the excavator 100 of the surveillance image 910, that is, upward corresponding to the inside of the surveillance image 910. Thereby, the instruction image 913 can specifically indicate that the monitoring target (worker 911) detected by the detection unit 304B exists in the monitoring image 910.
  • the instruction image 913 has an arrow head shape composed of a plurality of circular images (specifically, 14 circular images), and the monitoring image 910 is formed from a gap between the circular images. Is exposed.
  • the surveillance image 910 image captured by the camera 40X
  • the surroundings of the excavator 100 corresponding to the portion of the surveillance image 910 on which the instruction image 913 is displayed are displayed. The situation can be appropriately grasped by the operator or the like. Further, even when the instruction image 913 is superimposed and displayed on the image portion corresponding to the monitoring target, the image portion corresponding to the monitoring target and the image portion corresponding to the background can be seen through the gap portion of the instruction image 913.
  • the instruction image 913 may be configured with a continuous arrow head shape without gaps.
  • the instruction image 913 (continuous arrow head shape) may be displayed in a manner that can be visually recognized through the superimposed image portion on the back side.
  • the surveillance image 910 image captured by the camera 40X
  • the surroundings of the excavator 100 corresponding to the portion of the surveillance image 910 on which the instruction image 913 is displayed are displayed. The situation can be appropriately grasped by the operator or the like.
  • the display mode of the instruction image 913 may change according to the distance from the excavator 100 of the monitoring target (worker 911) detected by the detection unit 304 (detection unit 304B). For example, the instruction image 913 is displayed in yellow when the distance between the monitoring target detected by the detection unit 304B and the excavator 100 is relatively large, and the distance between the monitoring target and the excavator 100 is displayed. If are relatively close, they may be displayed in red. As a result, the operator or the like can grasp the positional relationship (distance) between the excavator 100 and the monitoring target through the display mode of the instruction image 913.
  • the same may apply to the instruction images 921 and 922 of FIG. 21 and the instruction images 933 to 935 of FIG. 22, which will be described later.
  • the monitoring image 910 is displayed in the entire display area of the display device 50, but the monitoring image 910 may be displayed in a manner of leaving a margin in the display area of the display device 50.
  • the instruction image 913 may be displayed in the margin portion.
  • the instruction image 913 may be displayed not only when the monitoring target is detected by the detection unit 304B but also when the monitoring target is detected by the detection unit 304A.
  • the same may apply to the instruction images 921 and 922 of FIG. 21 and the instruction images 933 to 935 of FIG. 22, which will be described later.
  • the monitoring image 910 may display an instruction image of another aspect capable of instructing the existence of the monitoring target detected by the detection unit 304B.
  • an instruction image having an upward arrow shape may be superimposed and displayed on the captured image of the camera 40B at the lower end of the surveillance image 910.
  • an instruction image of an isosceles triangle (or an equilateral triangle) having an upward apex may be superimposed and displayed on the captured image of the camera 40B at the lower end of the surveillance image 910.
  • the instruction image such as the arrow shape or the isosceles triangle may have a gap portion in which the superimposed image portion on the back side is exposed as it is, or is superimposed, as in the instruction image 913. It may be a mode in which the image portion on the back side can be seen through.
  • the instruction image 913 even when the instruction image is superimposed on the monitoring image 910, the surrounding state of the excavator 100 corresponding to the portion of the monitoring image 910 on which the instruction image is displayed. Can be properly grasped by an operator or the like.
  • the same may apply to the instruction images 921 and 922 of FIG. 21 and the instruction images 933 to 935 of FIG. 22, which will be described later.
  • the monitoring target (worker 911) detected by the detection unit 304B when the range displayed in the captured image is viewed from the shovel 100 (upper swivel body 3). ) Is displayed.
  • the instruction image 913 showing the direction in which the) exists is displayed.
  • the display device 50 displays the captured image (through image) of the camera 40B as the monitoring image 920.
  • the monitoring target (worker) is detected by the detection unit 304B outside the range around the excavator 100 corresponding to the monitoring image 920.
  • the monitoring image 920 is superposed with instruction images 921 and 922 indicating that the monitoring target is detected by the detection unit 304B outside the range around the excavator 100 corresponding to the monitoring image 920.
  • the operator or the like can recognize that the monitoring target is detected outside the range around the excavator 100 corresponding to the monitoring image 920.
  • the instruction image 921 has an arrow head (arrow) shape similar to the instruction image 913 in FIG. 20, and is superimposed and displayed near the center of the left end of the monitoring image 920 in the vertical direction.
  • the instruction image 921 points outward to the surveillance image 920, that is, to the left corresponding to the outside of the surveillance image 920.
  • the instruction image 921 has a monitoring target detected by the detection unit 304B in a range on the left side (for example, the imaging range of the camera 40R) in the circumferential direction with respect to the range around the excavator 100 corresponding to the surveillance image 920. Can express what you are doing.
  • the instruction image 921 points in the direction in which the monitoring target detected by the detection unit 304B exists, with reference to the monitoring image 920.
  • the operator or the like can intuitively grasp in which direction the monitoring target exists with reference to the monitoring image 920 currently displayed on the display device 50. Therefore, the operator or the like performs an operation of switching the display content of the display device 50 through the input device 52, and displays the captured image of the camera 40R including the monitoring target detected by the detection unit 304B as the monitoring image as the monitoring image. Can be displayed on.
  • the instruction image 922 has an arrow head shape like the instruction image 921, and is superimposed and displayed near the center of the right end of the monitoring image 920 in the vertical direction.
  • the instruction image 922 points outward of the surveillance image 920, that is, to the right corresponding to the outside of the surveillance image 920.
  • the instruction image 922 has a monitoring target detected by the detection unit 304B in a range on the right side (for example, the imaging range of the camera 40L) in the circumferential direction with respect to the range around the excavator 100 corresponding to the surveillance image 920. Can express what you are doing. That is, the instruction image 922 points in the direction in which the monitoring target detected by the detection unit 304B exists, with reference to the monitoring image 920.
  • the operator or the like can intuitively grasp in which direction the monitoring target exists with reference to the monitoring image 920 currently displayed on the display device 50. Therefore, the operator or the like performs an operation of switching the display contents of the display device 50 through the input device 52, and displays the captured image of the camera 40L including the monitoring target detected by the detection unit 304B as the monitoring image as the monitoring image. Can be displayed on.
  • the display processing unit 301 displays the display content through the input device 52.
  • the display device 50 may maintain the state of displaying the monitoring image. This is because, through the instruction images 921 and 922, the operator and the like can grasp the position where the detected monitoring target exists. As a result, the peripheral monitoring device 150 can prioritize the user's will regarding the display content of the display device 50. Further, in the cabin 10, another display device may be provided in addition to the display device 50.
  • the display processing unit 301 is the position where the monitoring target exists when the detection target 304 detects the monitoring target outside the range around the excavator 100 corresponding to the monitoring image displayed on the display device 50.
  • the captured image of the camera 40X corresponding to the above may be automatically displayed on another display device.
  • the controller 30 teaches that fact through the display device 50.
  • the operator or the like may be instructed to that effect by another method.
  • the controller 30 outputs a predetermined sound or sound through the sound output device 54 when the monitoring target is detected outside the range around the excavator 100 corresponding to the monitoring image displayed on the display device 50. By letting them know, the operator or the like may be instructed to that effect.
  • the monitoring image 920 (through image), the direction in which the monitoring target is detected by the detection unit 304B when the range displayed in the captured image is viewed from the excavator 100 (upper swivel body 3).
  • the instruction images 921 and 922 representing the above are displayed.
  • the operator has a monitoring target detected by the detection unit 304B in which direction with reference to the range around the excavator 100 displayed in the captured image of the display device 50 through the instruction images 921 and 922. Can be easily grasped.
  • the display device 50 displays the surveillance image 930 including the viewpoint conversion image EP and the excavator image CG based on the captured images of the cameras 40B, 40L, and 40R.
  • the monitoring image 930 shows a worker 931 wearing a helmet and a reflective vest at a position corresponding to the rear of the upper swivel body 3.
  • the worker 931 wears both a helmet and a reflective vest, it is detected by both the detection unit 304A and the detection unit 304B.
  • a frame 932 indicating that the worker 931 is detected by the detection unit 304A is superimposed and displayed.
  • the operator or the like can easily recognize the existence and the position of the worker 931 detected by the detection unit 304A.
  • an instruction image 933 indicating that the monitoring target (worker 931) detected by the detection unit 304B exists in the monitoring image 910 is displayed.
  • the operator or the like can recognize that the monitoring target detected by the detection unit 304B is in the currently displayed monitoring image 930.
  • the instruction image 933 is displayed superimposed on the outer edge portion behind the excavator 100 (excavator image CG) in the viewpoint conversion image EP, that is, the portion of the horizontal image HVP.
  • the instruction image 933 points inward from the outer edge of the viewpoint-converted image EP (the portion of the horizontal image HVP), that is, upward from the outer edge of the viewpoint-converted image EP toward the excavator 100 (excavator image CG).
  • the instruction image 933 can specifically indicate that the monitoring target (worker 931) detected by the detection unit 304B exists in the monitoring image 930.
  • the instruction image 933 is arranged so as to be superimposed on the portion of the viewpoint conversion image EP (horizontal image HVP) corresponding to the rear of the upper swivel body 3.
  • the monitoring target worker 931 detected by the detection unit 304B exists behind the excavator 100 (upper swivel body 3).
  • the left side of the upper swivel body 3 (for example, the image pickup range of the camera 40L) by the detection unit 304B, the left side of the upper swivel body 3
  • the instruction image 934 (dotted line) is displayed in the portion of the viewpoint conversion image EP (horizontal image HVP) corresponding to.
  • the instruction image 934 is displayed superimposed on the outer edge portion in the left direction when viewed from the excavator 100 (excavator image CG) in the viewpoint conversion image EP, that is, the portion of the horizontal image HVP.
  • the instruction image 934 points inward from the outer edge of the viewpoint-converted image EP (the portion of the horizontal image HVP), that is, to the right from the outer edge of the viewpoint-converted image EP toward the excavator 100 (excavator image CG). Thereby, the instruction image 934 can specifically indicate that the monitoring target detected by the detection unit 304B exists in the monitoring image 930. Further, the instruction image 934 is superposed on the portion of the viewpoint conversion image EP (horizontal image HVP) corresponding to the left direction of the upper swivel body 3. As a result, it can be indicated that the monitoring target detected by the detection unit 304B exists in the left direction of the excavator 100 (upper swivel body 3).
  • the detection unit 304B detects the monitoring target on the right side of the upper swivel body 3 (for example, the image pickup range of the camera 40R), the upper swivel body 3 is swiveled upward.
  • the instruction image 935 (dotted line) is displayed in the portion of the viewpoint conversion image EP (horizontal image HVP) corresponding to the right side of the body 3.
  • the instruction image 935 is displayed superimposed on the outer edge portion in the right direction when viewed from the excavator 100 (excavator image CG) in the viewpoint conversion image EP, that is, the portion of the horizontal image HVP.
  • the instruction image 935 points inward from the outer edge of the viewpoint conversion image EP (the portion of the horizontal image HVP), that is, toward the left from the outer edge of the viewpoint conversion image EP toward the excavator 100 (excavator image CG). Thereby, the instruction image 935 can specifically indicate that the monitoring target detected by the detection unit 304B exists in the monitoring image 930. Further, the instruction image 935 is superposed on the portion of the viewpoint conversion image EP (horizontal image HVP) corresponding to the right direction of the upper swivel body 3. As a result, it can be indicated that the monitoring target detected by the detection unit 304B exists in the right direction of the excavator 100 (upper swivel body 3).
  • instruction images 933 to 935 may be displayed in the margin portion around the viewpoint conversion image EP in the monitoring image 930.
  • the same monitoring image as the monitoring images 910, 920, 930 of this example may be displayed on the output device 230 (display device) of the management device 200 or the output device 330 (display device) of the terminal device 300.
  • the operator can remotely control the excavator 100 while checking the same monitoring image displayed on the display device of the management device 200 or the terminal device 300.
  • the manager or the like of the excavator 100 may view a plurality of similar monitoring images displayed on the output device 230 (display device) of the management device 200.
  • the working status of each of the excavators 100 can be monitored.
  • the manager or the like of the excavator 100 can monitor the working status of each excavator 100 while looking at a similar monitoring image displayed on the output device 330 (display device) of the terminal device 300, for example.
  • the detection unit 304 detects people around the excavator 100. Then, the detection unit 304 includes a first person wearing both a helmet and clothing with a reflective material, a second person wearing only one of the helmet and clothing with a reflective material, and a second person. Of the third person wearing neither a helmet nor reflective clothing, the first person is detected with a relatively high probability, and the second person is detected with a lower probability than the first person. Then, the third person is detected with a lower probability than the second person.
  • the peripheral monitoring device 150 can detect a person wearing a helmet or clothing with a reflective material with a relatively higher probability than a person not wearing it. Therefore, the peripheral monitoring device 150 can encourage the worker to wear the safety equipment from the viewpoint of ensuring the safety of the worker and from the viewpoint of ensuring the safety of the entire work site.
  • the excavator 100 includes an image pickup device 40 that images the surroundings of the excavator 100, and a sensor 45X (ambient information acquisition device 45) that acquires information regarding the intensity of reflected light received from an object around the excavator 100.
  • the detection unit 304 may include a detection unit 304A that detects a person based on the captured image of the image pickup device 40, and a detection unit 304B that detects a person based on the output of the sensor 45X.
  • the peripheral monitoring device 150 specifically recognizes the helmet from the captured image of the image pickup device 40 to identify the worker wearing the helmet, and from the information regarding the intensity of the reflected light received by the sensor 45X. It is possible to identify the worker who wears the clothing with the reflective material.
  • the safety function control unit 305 when a person is detected by the detection unit 304, notifies at least one of the inside and the outside of the cabin 10. Then, the safety function control unit 305 notifies in the first aspect when a person is detected by the detection unit 304A, and when a person is detected by the detection unit 304B, the second aspect different from the first aspect.
  • the notification may be performed in the mode of.
  • the peripheral monitoring device 150 can have a different notification mode depending on the wearing status of the safety equipment. Therefore, the peripheral monitoring device 150 can encourage the operator to wear the respective safety equipment. Further, the peripheral monitoring device 150 can have different notification modes depending on the level of detection accuracy (detection probability) of the detection units 304A and 304B.
  • the peripheral monitoring device 150 activates the first safety function related to ensuring the safety of the excavator 100, and the detection unit 304B detects the person.
  • the second safety function related to ensuring the safety of the excavator 100 in a mode in which the safety is relatively higher than the first safety function may be activated.
  • the peripheral monitoring device 150 can operate, for example, a safety function having a higher safety, that is, a higher force. it can.
  • the peripheral monitoring device 150 can activate a safety function that promotes ensuring safety, for example, when a person is detected by the detection unit 304A having a relatively low detection accuracy. Therefore, the peripheral monitoring device 150 can balance the safety of the excavator 100 with the work efficiency.
  • the first safety function is a notification function that notifies at least one of the inside and the outside of the cabin 10
  • the second safety function is an operation restriction function that limits the operation of the excavator 100. It may be there.
  • the peripheral monitoring device 150 specifically activates a safety function having a higher safety, that is, a higher force, when a person is detected by the detection unit 304B having a relatively high detection accuracy. be able to.
  • the peripheral monitoring device 150 can specifically activate a safety function that promotes ensuring safety when a person is detected by the detection unit 304A having a relatively low detection accuracy. Therefore, the peripheral monitoring device 150 can specifically balance the safety of the excavator 100 with the work efficiency.
  • the peripheral monitoring device 150 may be mounted on any work machine other than the excavator 100.
  • the peripheral monitoring device 150 may be mounted on a lift mug machine, a bulldozer, a wheel loader, an asphalt finisher, a forestry machine, or the like to which a lifting magnet is attached as an end attachment.
  • the function of the detection unit 304 of the above-described embodiment and the modified example, that is, the detection device (identification device) capable of identifying the wearing state of the safety equipment is replaced with or in addition to the excavator 100, the structure of the work site. It may be provided on an object, another work machine, a work vehicle, a building, or the like.
  • Worksite structures include, for example, entrance gates and the like.
  • Other work machines on the work site include, for example, bulldozers, cranes and the like.
  • Work vehicles at the work site include, for example, trucks and the like.
  • the building at the work site includes, for example, a temporary office.
  • the manager of the work site can grasp the wearing status of the safety equipment of the worker at the work site in a wide range at the work site by using the detection result of the detection device. Therefore, the manager or the like can perform safety management at the work site by using the detection result of the detection device. Further, the information regarding the detection result of the detection device may be recorded in the storage unit.
  • the detection device and the hardware for example, the terminal device or the server device
  • the configuration of the storage unit, the recording unit, or the like may be provided in the same place, and can communicate via wire or wireless. It may be provided in different places depending on the embodiment.
  • FIG. 23 is a block diagram showing an example of the configuration of the work site safety management system 2000.
  • the work site safety management system 2000 (an example of the safety equipment confirmation system) includes a control device 2100, a camera 2200, a sensor 2300, an input device 2400, an output device 2500, and a communication device 2600. including.
  • the control device 2100 controls the work site safety management system 2000.
  • the control device 2100 may be installed in the same place as or relatively close to the place where the camera 2200 and the sensor 2300 are installed in the work site, or may be installed in a place different from the place where the camera 2200 and the sensor 2300 are installed. ..
  • the control device 2100 may be installed, for example, in a structure or a building at a work site. Further, the control device 2100 may be installed, for example, in a work machine, a work vehicle, or the like including the excavator 100 at the work site. When installed on the excavator 100, the control device 2100 corresponds to the controller 30 of the above-described embodiment.
  • the function of the control device 2100 may be realized by any hardware, or a combination of any hardware and software.
  • the control device 2100 may be configured around a computer including, for example, a memory device such as a CPU and RAM, an auxiliary storage device such as a ROM, and an interface device for input / output with the outside.
  • the control device 2100 includes, for example, a detection unit 2110, a setting unit 2120, and a log output unit 2150 as functional units realized by loading a program installed in the auxiliary storage device into the memory device and executing the program on the CPU. including. Further, the control device 2100 uses, for example, storage units 2130 and 2140 realized by an internal memory such as an auxiliary storage device of the control device 2100 and a storage area defined by an external storage device capable of communicating with the control device 2100.
  • Camera 2200 (an example of a sensor) captures the state of the work site.
  • the camera 2200 is communicably connected to the control device 2100, and its output (captured image) is captured by the control device 2100.
  • the camera 2200 may be installed, for example, in a structure or a building at a work site. Further, the camera 2200 may be installed, for example, in a work machine, a work vehicle, or the like including the excavator 100 at the work site. When installed on the excavator 100, the camera 2200 corresponds to the image pickup apparatus 40 (camera 40X) of the above-described embodiment.
  • the sensor 2300 acquires information on the situation at the work site.
  • the sensor 2300 is communicably connected to the control device 2100, and its output is taken into the control device 2100.
  • the sensor 2300 may be, for example, a lidar like the surrounding information acquisition device 45 (sensor 45X). Further, the sensor 2300 may be, for example, a millimeter wave radar, an ultrasonic sensor, or the like, like the ambient information acquisition device 45 (sensor 45X).
  • the case where the sensor 2300 is a lidar will be mainly described.
  • the imaging range of the camera 2200 and the information acquisition range of the sensor 2300 are set so that at least a part of them overlap. Thereby, both when using the output of the camera 2200 and when using the output of the sensor 2300, the detection unit 2110 can detect the same monitoring target (worker) existing in the overlapping range.
  • the input device 2400 accepts various inputs from users such as managers, supervisors, and workers at the work site.
  • the input device 2400 is communicably connected to the control device 2100, and signals corresponding to various received inputs are taken into the control device 2100.
  • the input device 2400 includes, for example, an operation input device that receives an operation input from a user. Further, the input device 2400 may include, for example, a voice input device or a gesture input device that accepts voice input or gesture input from the user.
  • the output device 2500 is communicably connected to the control device 2100, and outputs information to users such as managers, supervisors, and workers at the work site based on the data input from the control device 2100.
  • the output device 2500 includes, for example, a display device, a lighting device, and the like that output visual information. Further, the output device 2500 includes, for example, a sound output device that outputs auditory information.
  • the communication device 2600 is installed in the same place as the control device 2100, and communicates with the outside of the place where the control device 2100 is installed (for example, the management device 200, the terminal device 300, etc.).
  • the detection unit 2110 detects the worker at the work site based on the output of the camera 2200 and the sensor 2300.
  • the detection unit 2110 includes detection units 2110A and 2110B.
  • the detection unit 2110A detects a person (worker) in a predetermined monitoring area of the work site based on the output (captured image) of the camera 2200 in the same manner as the detection unit 304A of the above-described embodiment. As a result, the detection unit 2110A detects the worker in the monitoring area, identifies the position of the worker, and which of the plurality of registered workers to which the detected worker is registered in advance corresponds to. Can be identified. Further, the detection unit 2110A can detect the operator wearing the helmet with a relatively high probability (detection accuracy) by recognizing the helmet on the captured image of the camera 2200. That is, the detection unit 2110A can identify whether or not a worker who is detected based on a feature other than the helmet or a worker who is detected by the detection unit 2110B is wearing a helmet.
  • the detection unit 2110B detects a person (worker) in the same monitoring area as in the case of the detection unit 2110A at the work site based on the output of the sensor 2300 in the same manner as the detection unit 304B of the above-described embodiment. As a result, the detection unit 2110B can detect the worker in the monitoring area and identify the position of the worker. Further, the detection unit 2110B can detect an operator wearing a clothing with a reflective material with a relatively high probability (detection accuracy) by using the light receiving intensity information. That is, the detection unit 2110B can identify whether or not the worker who is detected based on the features other than the clothing with the reflective material and the worker who is detected by the detection unit 2110A are wearing the clothing of the reflective material.
  • the detection unit 2110 may determine the wearing status of a plurality of (types) of safety equipment of the detected worker.
  • the plurality of safety devices are, for example, safety devices that are obliged to be installed or recommended at the work site managed by the work site safety management system 2000.
  • the plurality of safety devices may include, for example, a helmet and clothing with a reflective material, as described above.
  • the plurality of safety devices may include, for example, a safety belt, earplugs at a noise site, safety shoes, and the like, as described above.
  • a plurality of safety equipment includes, for example, gloves for arc welding and vibration isolation (an example of predetermined gloves), dustproof and poisonproof masks (an example of a predetermined mask), dustproof and light shielding, etc. Glasses (an example of predetermined glasses), a welding surface (an example of a predetermined surface), and the like may be included.
  • the plurality of safety devices may include, for example, an ID tag (an example of a portable alarm device) that outputs an alarm when a work machine (an example of a predetermined object) approaches.
  • the detection unit 2110 may determine whether or not a helmet and clothing with a reflective material are worn based on the detection results of the detection unit 2110A and the detection unit 2110B.
  • the detection unit 2110 detects an operator, for example, the output of the camera 2200 (captured image) and the output of the sensor 2300 (light receiving information) are comprehensively considered, and the mounting status of a plurality of safety equipment is taken into consideration. May be judged. Specifically, the detection unit 2110 determines whether or not each of the plurality of safety devices is worn based on the image feature amount of the captured image of the camera 2200 and the three-dimensional shape of the worker's wear based on the received light information. You can.
  • the storage unit 2130 is constructed with a database (hereinafter, "database for determining the wearing status") regarding the amount of image features and light receiving information for determining whether or not the safety equipment is attached for each of the plurality of safety equipments.
  • the wearing status determination database may be constructed in advance by, for example, machine learning (reinforcement learning) using the results of experiments and simulations.
  • the detection unit 2110 compares the image feature amount of the image captured by the camera 2200 and the received information of the sensor 2300 with the contents of the mounting status determination database, and mounts the detected operator for each of the plurality of safety devices. You may judge the presence or absence.
  • the detection unit 2110 may output information on the determination result of the wearing status of the plurality of safety equipment of the detected worker to the user including the detected worker through the output device 2500.
  • the detection unit 2110 may output an alarm (warning) indicating that the safety equipment is not installed through the output device 2500, for example, when it is determined that any of the plurality of safety equipment is not installed. Further, for example, when a plurality of safety equipments are all installed, the detection unit 2110 outputs a notification to the operator through the output device 2500 indicating that the installation of all the safety equipments is completed. You may. As a result, the work site safety management system 2000 can encourage the worker to wear a plurality of safety devices that are obliged to be worn or recommended to be worn at the work site.
  • the setting unit 2120 sets the work site safety management system 2000 in response to a predetermined input from the user received by the input device 2400. As a result, the user can cause the control device 2100 to make settings related to the work site safety management system 2000 in a desired manner through the input device 2400.
  • the setting unit 2120 may make settings such as addition or deletion of safety equipment to be identified according to a predetermined input through the input device 2400, for example. Further, the setting unit 2120 may make settings related to the mounting status determination database, that is, newly register or update the mounting status determination database, for example, in response to a predetermined input through the input device 2400. The contents of the setting (change) made by the setting unit 2120 are registered (stored) in the storage unit 2130.
  • the storage unit 2130 stores various settings and the like related to the work site safety management system 2000.
  • setting contents and the like that define a plurality of types of safety equipment to be identified are registered.
  • a database for determining the wearing status is constructed.
  • the storage unit 2140 stores (records) log information regarding the determination result regarding the wearing status of a plurality of safety equipment of the operator by the detection unit 2110. For example, when a worker is detected by the detection unit 2110, the detection date and time of the worker, the identification information of the detected worker (for example, an ID unique to each of a plurality of registered workers), and each of the plurality of safety devices. Log information (record) including information indicating whether or not the device is attached is recorded in the storage unit 2140. As a result, a database relating to the determination results of the wearing status of a plurality of safety devices based on the record data group can be constructed in the storage unit 2140.
  • the log output unit 2150 outputs log information recorded in the storage unit 2140 regarding the determination result of the wearing status of a plurality of safety equipments of the operator to the outside.
  • the log output unit 2150 outputs the log information of the storage unit 2140 to the user through the output device 2500 in response to a predetermined input through the input device 2400.
  • the user can confirm the history of the past installation status of the safety equipment of the worker through the output device 2500, and analyze the installation status of the safety equipment at the work site from the history.
  • the log output unit 2150 transmits the log information of the storage unit 2140 to the outside of the control device 2100 (for example, the management device 200 or the terminal device 300) through the communication device 2600 in response to a predetermined input through the input device 2400, for example. ) May be output (transmitted).
  • the user can take out the log information to the outside of the management device 200, the terminal device 300, etc., check the history of the past worker's safety equipment wearing status, and check the history of the safety equipment at the work site from the history. It is possible to analyze the wearing status of equipment.
  • the work site safety management system 2000 includes a plurality of sensors of different types (for example, camera 2200 and sensor 2300). Then, the detection unit 2110 detects the worker at the work site based on the outputs of the plurality of sensors, and is recommended or obliged to be worn by the worker at the work site. Judge (identify) the situation.
  • the work site safety management system 2000 can grasp the wearing status of the safety equipment of the workers at the work site. Therefore, the manager of the work site, for example, is a specific worker who does not wear the safety equipment based on the judgment result (identification result) of the wearing status of the plurality of safety equipment of the detected worker at the work site. However, it is possible to encourage the installation of safety equipment. Therefore, the work site safety management system 2000 can improve the safety of the work site.
  • the storage unit 2140 may record information on the determination result (identification result) of the wearing status of a plurality of safety equipments of the operator detected by the detection unit 2110.
  • the user for example, through an external device (for example, a management device 200, a terminal device 300, etc.) that is communicably connected to the output device 2500 and the control device 2100, makes a judgment result regarding the wearing status of the safety equipment after the fact.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業者に安全装備の装着を促すことが可能な技術を提供する。本開示の一実施形態に係るショベル100は、ショベル100の周囲の人を検出する検出部304を備え、検出部304は、ヘルメット及び反射材付きの被服の双方を着用している作業者W1、ヘルメット及び反射材付きの被服何れか一方だけを着用している作業者W2,W3、並びに、ヘルメット及び反射材付きの被服の何れも着用していない作業者W4のうち、作業者W1を相対的に高い確率で検出し、作業者W2,W3を作業者W1よりも低い確率で検出し、作業者W4を作業者W2,W3よりも低い確率で検出する。他の実施形態に係る作業現場安全管理システム2000は、異なる種類の複数のセンサと、複数のセンサの出力に基づき、作業現場の作業者を検出し、作業現場で装着が推奨されている、又は義務付けられている複数の安全装備ごとの作業者による装着状況を識別する検出部2110と、を備える。

Description

ショベル、作業現場の安全装備確認システム
 本開示は、ショベル等に関する。
 自機の周囲を撮像する撮像装置で取得される画像に基づき、自機の周囲の人を検出し、安全機能(例えば、警報の出力)等を作動させるショベルが知られている(特許文献1参照)。
特開2014-181508号公報
 しかしながら、ショベルの作業現場では、作業者に対して、ヘルメットや反射材付きの安全ベスト等の安全装備の装着が義務付けられたり、推奨されたりする。そのため、作業現場の安全の観点から、安全装備の装着を促すような人の検出態様や安全機能の作動態様等が採用されることが望ましい。
 そこで、上記課題に鑑み、作業者に安全装備の装着を促すことが可能な技術を提供することを目的とする。
 上記目的を達成するため、本開示の一実施形態では、
 ショベルの周囲の人を検出する検出部を備え、
 前記検出部は、ヘルメット及び反射材付きの被服の双方を着用している第1の人、前記ヘルメット及び前記反射材付きの被服の何れか一方だけを着用している第2の人、並びに、前記ヘルメット及び前記反射材付きの被服の何れも着用していない第3の人のうち、前記第1の人を相対的に高い確率で検出し、前記第2の人を前記第1の人よりも低い確率で検出し、前記第3の人を前記第2の人よりも低い確率で検出する、
 ショベルが提供される。
 また、本開示の他の実施形態では、
 異なる種類の複数のセンサと、
 前記複数のセンサの出力に基づき、作業現場の作業者を検出し、作業現場で装着が推奨されている、又は義務付けられている複数の安全装備ごとの前記作業者による装着状況を識別する識別装置と、を備える、
 作業現場の安全装備確認システムが提供される。
 上述の実施形態によれば、作業者に安全装備の装着を促すことが可能な技術を提供することができる。
ショベル管理システムの一例を示す図である。 ショベルの上面図である。 周辺監視装置の構成の一例を示すブロック図である。 ホーンを吹鳴させるための回路構成の一例を示す図である。 走行アラームを吹鳴させるための回路構成の一例を示す図である。 表示装置に表示される監視画像の一例(スルー画像)を示す図である。 表示装置に表示される監視画像の他の例(俯瞰画像)を示す図である。 撮像装置の撮像画像に基づく表示可能エリア及び検出可能エリアの一例を示す図である。 検出部の検出可能エリアの第1例を示す図である。 検出部による監視対象の検出時に表示装置に表示される監視画像の具体例を示す図である。 検出部の検出可能エリアの第2例を示す図である。 作業現場の作業者の第1例を示す図である。 作業現場の作業者の第2例を示す図である。 作業現場の作業者の第3例を示す図である。 作業現場の作業者の第4例を示す図である。 オプション装備の装着時における動作制限範囲を示す図である。 ショベルの周囲の監視対象との接触の有無の判断方法を説明する図である。 動作制限機能の作動制御方法を説明する図である。 動作制限機能の作動制御方法を説明する図である。 検出部による監視対象の検出時における監視画像の具体例を示す図である。 検出部による監視対象の検出時における監視画像の具体例を示す図である。 検出部による監視対象の検出時における監視画像の具体例を示す図である。 作業現場安全管理システムの構成の一例を示す図である。
 以下、図面を参照して実施形態について説明する。
 [ショベル管理システムの概要]
 まず、図1、図2を参照して、本実施形態に係るショベル管理システム1000の概要について説明をする。
 図1は、本実施形態に係るショベル管理システム1000の一例を示す図である。図1において、ショベル100は、側面図が示される。また、図2は、ショベル100の上面図である。
 ショベル管理システム1000は、ショベル100と、管理装置200と、端末装置300とを含む。
 ショベル管理システム1000は、例えば、管理装置200や端末装置300を用いて、ショベル100の稼働状況や運用状況等の監視(管理)を行う。
 ショベル管理システム1000に含まれるショベル100は、一台であってもよいし、複数台であってもよい。また、ショベル管理システム1000に含まれる管理装置200は、一つであってもよいし、複数であってもよい。また、ショベル管理システム1000に含まれる端末装置300は、一つであってもよいし、複数であってもよい。
  <ショベルの概要>
 ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5、及び、バケット6と、キャビン10とを備える。
 ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
 また、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル100の外部から遠隔操作(リモート操作)が可能に構成されてもよい。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン10のオペレータの操作装置26に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
 遠隔操作には、例えば、所定の外部装置で行われるショベル100のアクチュエータに関する操作入力によって、ショベル100が操作される態様が含まれる。所定の外部装置は、例えば、管理装置200や端末装置300であってよい。この場合、ショベル100は、例えば、後述の通信装置70を通じて、例えば、遠隔操作用の上部旋回体3の前方を撮像する前方カメラや後述の撮像装置40が出力する画像情報(撮像画像)を外部装置に送信してよい。そして、外部装置は、自装置に設けられる表示装置(以下、「遠隔操作用表示装置」)に受信される画像情報(撮像画像)を表示させてよい。また、ショベル100のキャビン10の内部の表示装置50に表示される各種の情報画像(情報画面)は、同様に、外部装置の遠隔操作用表示装置にも表示されてよい。これにより、外部装置のオペレータは、例えば、遠隔操作用表示装置に表示されるショベル100の周囲の様子を表す撮像画像や情報画面等の表示内容を確認しながら、ショベル100を遠隔操作することができる。そして、ショベル100は、通信装置70により外部装置から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してよい。
 また、遠隔操作には、例えば、ショベル100の周囲の人(例えば、作業者)のショベル100に対する外部からの音声入力やジェスチャ入力等によって、ショベル100が操作される態様が含まれてよい。具体的には、ショベル100は、ショベル100(自機)に搭載される音声入力装置(例えば、マイクロフォン)やジェスチャ入力装置(例えば、撮像装置)等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル100は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してもよい。
 また、ショベル100は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル100は、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素の少なくとも一部を自動で動作させる機能(いわゆる「自動運転機能」或いは「マシンコントロール機能」)を実現する。
 自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作に応じて、操作対象の被駆動要素(アクチュエータ)以外の被駆動要素(アクチュエータ)を自動で動作させる機能(いわゆる「半自動運機能」)が含まれてよい。また、自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作がない前提で、複数の被駆動要素(アクチュエータ)の少なくとも一部を自動で動作させる機能(いわゆる「完全自動運転機能」)が含まれてよい。ショベル100において、完全自動運転機能が有効な場合、キャビン10の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素(アクチュエータ)の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル100が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素(アクチュエータ)の動作内容が決定される態様(いわゆる「自律運転機能」)が含まれてもよい。
 下部走行体1は、例えば、左右一対のクローラ1C(左側のクローラ1CL及び右側のクローラ1CR)を含み、クローラ1CL,1CRがそれぞれに対応する走行油圧モータ1Mで油圧駆動されることにより、自走する。
 上部旋回体3は、旋回油圧モータ2Aで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
 上部旋回体3には、その上面に、撮像装置40及び周囲情報取得装置45が搭載される。
 また、上部旋回体3には、ショベル100の動力源が搭載される。ショベル100の動力源には、例えば、所定の燃料(例えば、軽油)で稼働するエンジン11(例えば、ディーゼルエンジン等)が含まれる。また、ショベル100の動力源には、エンジン11に代えて、或いは、加えて、蓄電装置(例えば、キャパシタやリチウムイオンバッテリ等)或いはケーブルで接続される外部の電源から供給される電力で稼働する電動機等が含まれてもよい。
 また、上部旋回体3には、メインポンプ14、パイロットポンプ15、及びコントロールバルブ17等の各種の油圧機器が搭載される。
 メインポンプ14は、エンジン11や電動機等の動力源で駆動され、コントローラ30の制御下で、各種の油圧アクチュエータに作動油を供給する。油圧アクチュエータには、上述の走行油圧モータ1M、及び旋回油圧モータ2Aの他、後述のブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
 パイロットポンプ15は、エンジン11や電動機等の動力源で駆動され、油圧パイロット式の各種油圧機器(例えば、操作装置26やコントロールバルブ17等)に作動油を供給する。
 コントロールバルブ17は、被駆動要素(即ち、対応する油圧アクチュエータ)の操作状態に応じて、メインポンプ14から吐出される作動油をそれぞれの油圧アクチュエータに選択的に供給し、油圧アクチュエータに供給される作動油の流量及び流れの方向を調整する。例えば、コントロールバルブ17は、それぞれの油圧アクチュエータに供給される作動油の方向及び流量を制御する複数の制御弁(方向切換弁)等により構成されてよい。コントロールバルブ17は、例えば、油圧駆動式(油圧パイロット式)であり、それぞれの油圧アクチュエータの操作内容や自動運転機能に対応する操作指令に応じたパイロット圧が入力される。これにより、入力されるパイロット圧に応じて、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が駆動される。また、コントロールバルブ17は、例えば、電磁ソレノイド式等の電気駆動式であってもよく、操作装置26の操作内容や自動運転機能に対応する操作指令に応じた電気信号が入力される。これにより、入力される電気信号に応じて、それぞれの油圧アクチュエータに対応する制御弁(方向切換弁)が駆動される。
 ブーム4は、上部旋回体3の前部中央に俯仰可能に取り付けられ(枢着され)、ブーム4の先端には、アーム5が上下回動可能に取り付けられ(枢着され)、アーム5の先端には、バケット6が上下回動可能に取り付けられる(枢着される)。
 バケット6は、エンドアタッチメントの一例であり、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。
 ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
 キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室であり、例えば、上部旋回体3の前部左側に搭載される。
 キャビン10の内部には、例えば、操作装置26、コントローラ30、表示装置50、入力装置52、音出力装置54等が設けられる。また、キャビン10の上面には、例えば、通信装置70が設けられる。
 操作装置26は、下部走行体1、上部旋回体3、アタッチメント(ブーム4、アーム5、及びバケット6)等のアクチュエータ(具体的には、油圧アクチュエータ)で駆動される被駆動要素を操作するために用いられる。換言すれば、操作装置26は、被駆動要素を駆動するそれぞれの油圧アクチュエータ(クローラ1CL,1CRのそれぞれに対応する走行油圧モータ1M、旋回油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等)を操作するために用いられる。操作装置26は、例えば、それぞれの被駆動要素、即ち、それぞれの油圧アクチュエータに対応するレバー装置やペダル装置等を含む。
 操作装置26は、例えば、油圧パイロット式である。この場合、操作装置26は、パイロットポンプ15から供給される作動油を用いて、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)に関する操作内容(例えば、操作方向及び操作量等)に応じたパイロット圧をコントロールバルブ17に出力する。これにより、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
 また、操作装置26は、例えば、電気式であってもよい。この場合、操作装置26は、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の操作内容に対応する電気信号(以下、「操作信号」)をコントローラ30に出力する。そして、コントローラ30は、パイロットポンプ15とコントロールバルブ17との間の油路(パイロットライン)に設けられる、操作用の油圧制御弁(例えば、後述の油圧制御弁56)に操作信号に対応する制御指令を出力する。これにより、操作用の油圧制御弁は、パイロットポンプ15から供給される作動油を用いて、操作信号に応じたパイロット圧、つまり、操作装置26におけるそれぞれの被駆動要素(即ち、それぞれの油圧アクチュエータ)に関する操作内容に応じたパイロット圧をコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、操作装置26の操作内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
 また、ショベル100の被駆動要素、即ち、対応するアクチュエータ(油圧アクチュエータ)は、上述の如く、遠隔操作されてもよい。例えば、所定の外部装置から遠隔操作の内容を表す信号(遠隔操作信号)がショベル100に送信されると共に、コントローラ30は、通信装置70を通じて、遠隔操作信号を受信する。そして、コントローラ30は、操作用の油圧制御弁に対して、遠隔操作信号で規定される遠隔操作の内容(例えば、操作対象の被駆動要素或いは油圧アクチュエータ、操作方向、及び操作量等)に応じた制御指令を出力する。これにより、操作用の油圧制御弁は、パイロットポンプ15から供給される作動油を用いて、遠隔操作の内容に応じたパイロット圧を油圧駆動式のコントロールバルブ17に作用させることができる。よって、コントロールバルブ17は、遠隔操作の内容に応じた、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)の動作を実現することができる。
 尚、ショベル100は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。この場合、コントローラ30は、操作装置26の操作内容、遠隔操作信号で規定される遠隔操作の内容、自動運転機能に対応する操作指令の内容等に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。
 また、キャビン10のゲートロックレバーが立てられた状態(以下、「ロック状態」)にある場合、操作装置26に対する操作、遠隔操作、自動運転機能に対応する操作指令が無効にされ、ショベル100が動作しない。一方、ゲートロックレバーが下ろされた状態(以下、「解除状態」)にある場合、操作装置26に対する操作、遠隔操作、自動運転機能に対応する操作指令が有効になり、ショベル100が動作する。これにより、例えば、ゲートロックレバーが立てられた状態で、オペレータが操縦席に乗り込んだり、操縦席からキャビン10の外に降りたりする場合に、操作装置26にオペレータの体が触れて、ショベル100が動作してしまう事態を回避することができる。また、例えば、ゲートロックレバーを下ろされた状態にすることで、オペレータは、ショベル100の操作を開始することができる。
 例えば、ゲートロックレバーの操作状態と、パイロットポンプ15から各種油圧機器(例えば、油圧パイロット式の操作装置26や操作用の油圧制御弁)にパイロット圧を供給するパイロットラインの最上流のゲートロック弁の開閉状態とが連動する。具体的には、ゲートロックレバーが解除状態の場合、ゲートロック弁が開弁状態(連通状態)に維持され、パイロットポンプ15から操作装置26や操作用の油圧制御弁にパイロット圧が供給される。そのため、操作装置26や操作用の油圧制御弁は、オペレータの操作に応じたパイロット圧をコントロールバルブ17に供給し、油圧アクチュエータを作動させることができる。一方、ゲートロックレバーがロック状態の場合、ゲートロック弁が閉弁状態(遮断状態)に維持され、パイロットポンプ15から操作装置26や操作用の油圧制御弁へのパイロット圧の供給が遮断される。そのため、操作装置26や操作用の油圧制御弁は、オペレータの操作に応じたパイロット圧をコントロールバルブ17に供給することができず、オペレータの操作や自動運転機能に対応する操作指令を無効にすることができる。
 また、上述の如く、油圧アクチュエータの一部又は全部が電動アクチュエータに置換される場合もありうる。この場合、例えば、コントローラ30は、ゲートロックレバーがロック状態の場合、オペレータの操作や自動運転機能の操作指令に対応する制御指令を電動アクチュエータやドライバ等に出力しないようにしてよい。これにより、ゲートロックレバーのロック状態に合わせて、オペレータの操作や自動運転機能に対応する操作指令を無効にすることができる。
 通信装置70は、通信回線NWを通じて、ショベル100の外部(例えば、管理装置200や端末装置300)と通信を行う。
 通信回線NWは、例えば、広域ネットワーク(WAN:Wide Area Network)を含む。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、通信衛星を利用する衛星通信網が含まれてよい。また、広域ネットワークには、例えば、インターネット網が含まれてよい。また、通信回線NWは、例えば、管理装置200が設置される施設等の内部のローカルネットワーク(LAN:Local Area Network)を含む。ローカルネットワークは、有線であってもよいし、無線であってもよいし、その両方を含む態様であってもよい。また、通信回線NWは、例えば、WiFiやブルートゥース(登録商標)等の無線による近距離通信回線を含んでもよい。
 ショベル100は、例えば、通信装置70を用いて、管理装置200と相互に通信を行う。これにより、ショベル100は、管理装置200にショベル100(自機)に関するデータを送信したり、ショベル100(自機)の制御に関するデータを受信したりすることができる。
 また、ショベル100は、例えば、通信装置70を用いて、端末装置300と相互に通信を行ってもよい。この場合、ショベル100は、管理装置200を介して、間接的に、端末装置300と通信を行ってもよいし、直接的に、端末装置300と通信を行ってもよい。
  <管理装置の概要>
 管理装置200は、ショベル100の外部に設けられ、例えば、ショベル100の稼働状態や運用状態等を管理する。また、管理装置200は、ショベル100の遠隔操作を支援してもよい。
 管理装置200は、例えば、ショベル100の作業現場の外部の管理センタ等に設置されるクラウドサーバである。また、管理装置200は、例えば、ショベル100の作業現場内の仮設事務所や作業現場の近くの局舎や基地局等に設置されるエッジサーバであってもよい。また、管理装置200は、例えば、ショベル100の作業現場内の仮設事務所等に配置される定置型の端末装置(定置端末)或いは携帯型の端末装置(携帯端末)であってもよい。定置端末には、例えば、デスクトップ型のコンピュータ端末が含まれてよい。また、携帯端末には、例えば、携帯電話、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等が含まれてよい。
 管理装置200は、制御装置210と、通信装置220と、出力装置230と、入力装置240とを含む。
 制御装置210は、管理装置200に関する制御を行う。制御装置210の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。制御装置210は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。以下、後述の制御装置310についても同様の構成であってよい。
 通信装置220は、通信回線NWを通じて、管理装置200の外部(例えば、ショベル100や端末装置300)等と通信を行う。
 出力装置230は、管理装置200の管理者や作業者等のユーザ(以下、「管理装置ユーザ」)に向けて情報を出力する。出力装置230は、例えば、視覚的な情報を出力する表示装置や照明装置等を含んでよい。表示装置は、例えば、画像情報を出力する液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等を含む。また、表示装置は、上述の遠隔操作用表示装置を含んでもよい。また、出力装置230は、例えば、聴覚的な情報を出力する音出力装置を含んでもよい。音出力装置は、例えば、スピーカやブザー等を含む。
 入力装置240は、管理装置ユーザからの各種入力を受け付け、その入力内容に対応する信号は、制御装置210に取り込まれる。入力装置240は、例えば、管理装置ユーザからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、トグル、レバー等を含んでよい。また、入力装置240は、例えば、管理装置ユーザからの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、管理装置ユーザが発話する音声データを取得するマイクロフォンを含む。ジェスチャ入力装置は、例えば、管理装置ユーザのジェスチャの様子を撮像する撮像装置(カメラ)を含む。また、入力装置240は、例えば、遠隔操作用操作装置を含んでもよい。
 制御装置210は、通信装置220を用いて、ショベル100及び端末装置300のそれぞれと相互に通信を行う。これにより、管理装置200は、例えば、ショベル100から送信(アップロード)される各種データを受信し、ショベル100に関する各種データを収集することができる。また、制御装置210は、例えば、通信装置220を用いて、ショベル100の制御に関するデータをショベル100に送信し、外部からショベル100の制御を行ってもよい。また、制御装置210は、例えば、通信装置220を用いて、端末装置300からの要求に応じる形で、端末装置300に各種データを提供してよい。また、制御装置210は、例えば、通信装置220を用いて、入力装置240(遠隔操作用操作装置)から受け付けられる遠隔操作の内容を表す信号(遠隔操作信号)を遠隔操作の対象のショベル100に送信してよい。これにより、管理装置200は、ショベル100の遠隔操作を支援することができる。
  <端末装置の概要>
 端末装置300は、例えば、ショベル管理システム1000において、情報提供を受けるユーザが利用する端末装置(ユーザ端末)である。また、端末装置300は、ショベル100の遠隔操作を支援してもよい。
 端末装置300は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、端末装置300は、デスクトップ型のコンピュータ等の汎用の定置端末であってもよい。また、端末装置300は、ショベル100に関するデータ(情報)の提供を受けたり、遠隔操作を支援したりするための専用の端末装置(携帯端末或いは定置端末)であってもよい。
 端末装置300は、制御装置310と、通信装置320と、出力装置330と、入力装置340とを含む。
 制御装置310は、端末装置300に関する制御を行う。
 通信装置320は、通信回線NWを通じて、端末装置300の外部(例えば、ショベル100や管理装置200)等と通信を行う。
 出力装置330は、端末装置300の管理者や作業者等のユーザ(以下、「端末装置ユーザ」)に向けて情報を出力する。出力装置330は、例えば、視覚的な情報を出力する表示装置や照明装置等を含んでよい。表示装置は、例えば、画像情報を出力する液晶ディスプレイや有機ELディスプレイ等を含む。また、表示装置は、上述の遠隔操作用表示装置を含んでもよい。また、出力装置330は、例えば、聴覚的な情報を出力する音出力装置を含んでもよい。音出力装置は、例えば、スピーカやブザー等を含む。
 入力装置340は、端末装置ユーザからの各種入力を受け付け、その入力内容に対応する信号は、制御装置310に取り込まれる。入力装置340は、例えば、端末装置ユーザからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、トグル、レバー等を含んでよい。また、入力装置340は、例えば、端末装置ユーザからの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、端末装置ユーザが発話する音声データを取得するマイクロフォンを含む。ジェスチャ入力装置は、例えば、端末装置ユーザのジェスチャの様子を撮像する撮像装置(カメラ)を含む。また、入力装置340は、例えば、遠隔操作用操作装置を含んでもよい。
 制御装置310は、通信装置320を用いて、管理装置200と相互に通信を行う。これにより、端末装置300は、管理装置200に対して、ショベル100に関するデータ等の提供を要求することができる。また、端末装置300は、管理装置200から送信される、ショベル100に関するデータを受信し、出力装置330(表示装置)を通じて、ショベル100に関する情報をユーザに提供してよい。
 また、制御装置310は、通信装置320を用いて、ショベル100と相互に通信を行ってもよい。この場合、端末装置300は、管理装置200を介して、間接的に、ショベル100と通信を行ってもよいし、直接的に、ショベル100と通信を行ってもよい。制御装置310は、例えば、通信装置320を用いて、入力装置340(遠隔操作用操作装置)から受け付けられる遠隔操作の内容を表す信号(遠隔操作信号)を遠隔操作の対象のショベル100に送信してよい。これにより、端末装置300は、ショベル100の遠隔操作を支援することができる。
 [周辺監視装置の構成]
 次に、図1、図2に加えて、図3~図7を参照して、本実施形態に係るショベル100に搭載される周辺監視装置150の構成について説明をする。
 図3~図5は、本実施形態に係る周辺監視装置150の構成を説明する図である。具体的には、図3は、本実施形態に係る周辺監視装置150の構成の一例を示すブロック図である。図4は、ホーン54aを吹鳴させるための回路構成の一例を示す図である。図5は、走行アラーム54bを吹鳴させるための回路構成の一例を示す図である。
 周辺監視装置150は、ショベル100の周囲の所定範囲内への監視対象である所定の物体(以下、単に「監視対象」)の進入を監視する。そして、周辺監視装置150は、ショベル100の周囲の所定範囲内で監視対象を検出する場合に、ショベル100の周囲の安全性を確保するための安全機能を作動させる。
 安全機能には、例えば、キャビン10の内部、キャビン10の外部、及びショベル100の遠隔のオペレータや管理者等の少なくとも一つに対する警報を出力する等し、監視対象の検出を報知する報知機能(第1の安全機能の一例)が含まれてよい。これにより、キャビン10の内部のオペレータ、ショベル100の周囲の作業者、ショベル100の遠隔操作を行うオペレータや管理者等に対して、ショベル100の周囲の所定範囲内に監視対象が存在していることに関する注意を促すことができる。以下、キャビン10の内部、即ち、オペレータ等に対する報知機能を「内部報知機能」と称する場合がある。また、キャビン10の外部、即ち、ショベル100の周囲の作業者等に対する報知機能を「外部報知機能」と称する場合がある。また、キャビン10の遠隔のオペレータや管理者等に対する報知機能を「遠隔報知機能」と称する場合がある。また、安全機能には、例えば、操作装置26の操作や遠隔操作に対するショベル100の動作を制限する動作制限機能(第2の安全機能の一例)が含まれてよい。
 動作制限機能には、操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル100の動作速度を通常よりも遅くする動作減速機能、及び操作装置26の操作、遠隔操作、或いは自動運転機能に対応する操作指令に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止機能の少なくとも一方が含まれる。
 監視対象には、ショベル100の周囲で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視対象には、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体(即ち、障害物)が含まれうる。以下、本実施形態では、監視対象が人である場合を中心に説明を続ける。
 図3に示すように、周辺監視装置150は、コントローラ30と、操作情報出力装置29と、撮像装置40と、周囲情報取得装置45と、表示装置50と、入力装置52と、音出力装置54と、油圧制御弁56と、通信装置70とを含む。
 コントローラ30は、周辺監視装置150の機能に関する制御を行う制御装置である。コントローラ30は、例えば、キャビン10内に搭載される。
 コントローラ30は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。コントローラ30は、例えば、CPU、RAM等のメモリ装置(主記憶装置)、ROM等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。コントローラ30は、例えば、補助記憶装置にインストールされる一以上のプログラムをCPU上で実行することにより実現される機能部として、表示処理部301と、設定部302と、検出部304と、安全機能制御部305とを含む。また、コントローラ30は、記憶部303を利用する。記憶部303は、例えば、補助記憶装置や、コントローラ30と通信可能に接続される外部記憶装置等により実現されうる。
 尚、コントローラ30の機能の一部又は全部は、他のコントローラにより実現されてもよい。つまり、周辺監視装置150の機能は、複数のコントローラにより分担されることにより実現されてもよい。また、コントローラ30は、周辺監視装置150の機能以外のショベル100に関する制御を行ってもよい。つまり、コントローラ30は、周辺監視装置150の機能に特化した専用の制御装置であってもよいし、周辺監視装置150の機能を含むショベル100の各種機能に関する制御を行う汎用の制御装置であってもよい。また、コントローラ30の機能の一部又は全部は、ショベル100の外部(例えば、管理装置200)に移管されてもよい。この場合、ショベル100は、例えば、管理装置200等の外部装置からの制御指令に応じて、リアルタイムにその動作が制御されてよい。例えば、5G(5th Generation)の移動体通信網等のように、通信回線NWを通じて非常に高速の通信を実行可能な場合、管理装置200からショベル100に制御指令を逐次送信する制御態様でも、遅延のないショベル100の動作制御を実現可能だからである。
 操作情報出力装置29は、操作装置26の操作内容、遠隔操作の内容、或いは、自動運転機能に対応する操作指令の内容、つまり、それぞれの被駆動要素(即ち、対応するそれぞれの油圧アクチュエータ)に関する操作内容に関する情報(以下、「操作情報」)を出力する。
 操作情報出力装置29は、例えば、操作装置26の操作内容に関する情報を取得するセンサ(以下、「操作情報取得センサ」)であってよい。操作情報取得センサは、例えば、操作装置26のレバーやペダル等の操作方向や操作量を感知するリニアエンコーダである。また、操作情報取得センサは、例えば、油圧パイロット式の操作装置26の二次側のパイロット圧を感知する圧力センサである。また、操作情報出力装置29は、例えば、電気式の操作装置26であってよい。電気式の操作装置26から出力される操作信号は、操作情報に相当するからである。また、ショベル100が遠隔操作される場合、操作情報出力装置29は、例えば、外部装置から遠隔操作信号を受信する通信装置70である。また、ショベル100が自動運転機能により動作する場合、操作情報出力装置29は、例えば、操作指令を出力する演算装置であってよい。
 撮像装置40は、上部旋回体3の上部に取り付けられ、ショベル100に相対的に近い領域から相対的に遠い領域に亘るショベル100の周囲を撮像し、撮像画像を出力する。撮像装置40は、カメラ40B,40L,40Rを含む。以下、カメラ40B,40L,40Rを包括的に「カメラ40X」と称する場合がある。
 カメラ40B、カメラ40L、及びカメラ40Rは、それぞれ、上部旋回体3の後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の後方、左側方、及び、右側方を撮像する。例えば、カメラ40Xは、非常に広い画角を有する単眼カメラ(即ち、広角カメラ)である。また、例えば、カメラ40Xは、ステレオカメラやデプスカメラ等であってもよい。カメラ40Bは、上部旋回体3の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向(即ち、ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Lは、例えば、上部旋回体3の左側方の撮像範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向(ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Rは、例えば、上部旋回体3の右側方の撮像範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向(ショベル100から見た周方向)の撮像範囲を撮像する。また、カメラ40Xは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲を撮像する。
 カメラ40Xは、例えば、ショベル100の起動(即ち、キースイッチON)から停止(即ち、キースイッチOFF)までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力する。カメラ40Xから出力される撮像画像は、コントローラ30に取り込まれる。
 尚、ショベル100が遠隔操作される場合、撮像装置40の他に、ショベル100の前方の様子を、遠隔操作を行うオペレータが確認するための画像を取得する、上述の遠隔操作用の前方カメラが設けられてよい。
 周囲情報取得装置45(センサの一例)は、上部旋回体3の上部に取り付けられ、ショベル100の周囲の状況に関する情報を取得する。周囲情報取得装置45は、センサ45BL,45BR,45L,45Rを含む。以下、センサ45BL,45BR,45L,45Rを包括的に「センサ45X」と称する場合がある。
 センサ45BL、センサ45BR、センサ45L、及びセンサ45Rは、それぞれ、上部旋回体3の左寄りの後端上部、右寄りの後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の左後方、右後方、左側方、及び、右側方の状況に関する情報を取得する。例えば、センサ45Xは、LIDAR(Light Detection and Ranging)である。また、例えば、センサ45Xは、例えば、ミリ波レーダや超音波センサ等であってもよい。以下、センサ45XがLIDARである場合を中心に説明を進める。
 センサ45Xは、例えば、ある方向に赤外線を照射する共に、その方向の物体からの反射光(赤外線)を受光することにより、ショベル100の周囲の状況を表す情報、具体的には、受光される反射光に関する情報(以下、「受光情報」)を取得する。センサ45Xは、例えば、走査型のLIDARであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、センサ45Xは、発光モジュールから赤外線を三次元の広範囲に照射し、反射光(赤外線)を三次元距離画像素子で撮像する、いわゆるフラッシュ型LIDARであってもよい。
 受光情報には、赤外線の照射方向ごとの赤外線の照射から反射光が受光されるまでの時間(TOF:Time Of Flight)に関する情報(以下、「TOF情報」)、及び赤外線の照射方向ごとの受光される反射光の強度に関する情報(以下、「受光強度情報」)が含まれる。
 センサ45BLは、上部旋回体3の左後方の照射範囲、例えば、上部旋回体3の左後方から後方に亘る水平方向(即ち、ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45BRは、上部旋回体3の右後方の照射範囲、例えば、上部旋回体3の右後方から後方に亘る水平方向(ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Lは、上部旋回体3の左側方の照射範囲、例えば、上部旋回体3の左前方から左後方に亘る水平方向(ショベル100から見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Rは、上部旋回体3の右側方の照射範囲、例えば、上部旋回体3の右前方から右後方に亘る水平方向(ショベルから見た周方向)の照射範囲に赤外線を照射可能に構成される。また、センサ45Xは、上部旋回体3の上部において、光軸(即ち、赤外線の照射方向の基準軸)が斜め下方に向くように取り付けられ、ショベル100に相対的に近い地面の部分を中心とする上下方向の赤外線の照射範囲を有する。
 センサ45Xは、それぞれ、ショベル100の起動から停止までの間で、所定周期ごとに、受光情報を出力する。センサ45Xから出力される受光情報は、コントローラ30に取り込まれる。
 表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機ELディスプレイであり、入力装置52を兼ねるタッチパネル式であってもよい。表示装置50は、後述の如く、コントローラ30(表示処理部301)の制御下で、例えば、撮像装置40の撮像画像に基づき、ショベル100(自機)の周囲の様子を表す画像(以下、「監視画像」)を表示する。
 入力装置52は、オペレータからの周辺監視装置150の機能に関する各種入力を受け付け、コントローラ30に出力する。入力装置52は、例えば、タッチパネル、タッチパッド、ボタン、トグル、回転ノブ等の任意のハードウェアの操作入力装置を含む。また、入力装置52は、例えば、表示装置50に表示される操作画面上の仮想的なボタンアイコン等、ハードウェアの操作手段を通じて操作可能なソフトウェアの操作入力手段を含んでもよい。また、入力装置52は、オペレータ等のユーザの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。
 音出力装置54は、キャビン10の内部及び外部の少なくとも一方に向けて音を出力する。音出力装置54は、例えば、キャビン10の内部に設けられるスピーカやブザー等を含んでよく、オペレータに向けて音を出力してよい。また、音出力装置54は、例えば、ホーン54aや走行アラーム54b等を含んでよく、キャビン10の外部、具体的には、ショベル100の周囲に向けて音を出力してよい。
 ホーン54aは、例えば、上部旋回体3の前部に搭載される。
 図4に示すように、ホーン54aは、キャビン10内に設けられるノブスイッチ64のON操作に応じて、ホーン54aとバッテリ60との間の電力経路に設けられるリレー62が閉成されることにより、吹鳴する。オペレータ等は、走行開始時に、ノブスイッチ64をON操作し、ホーン54aを吹鳴させることにより、ショベル100(下部走行体1)が走行開始することをショベル100の周囲に通知することができる。
 走行アラーム54bは、例えば、上部旋回体3の後部に搭載される。
 図5に示すように、走行アラーム54bは、コントローラ30の制御下で、下部走行体1の走行時、つまり、クローラ1Cの操作がされている場合に、所定のパターンで所定の音(例えば、"ピー、ピー、ピー、・・・"と繰り返し吹鳴するビープ音)を出力する。
 図3に戻り、油圧制御弁56は、パイロットポンプ15とコントロールバルブ17(具体的には、それぞれの油圧アクチュエータに対応する制御弁のパイロットポート)との間を繋ぐパイロットラインに設けられる。油圧制御弁56は、コントローラ30からの制御指令で動作可能であり、コントロールバルブ17に作用するパイロット圧を調整する。油圧制御弁56は、例えば、パイロットポンプ15と油圧パイロット式の操作装置26との間のパイロットライン、つまり、操作装置26の一次側のパイロットラインに設けられてよい。また、油圧制御弁56は、例えば、操作装置26とコントロールバルブ17との間のパイロットライン、つまり、操作装置26の二次側のパイロットラインに設けられてもよい。また、油圧制御弁56は、例えば、電気式の操作装置26の場合、遠隔操作の場合、自動運転機能の場合等における上述の操作用の油圧制御弁であってもよい。油圧制御弁56は、例えば、電磁比例弁である。具体的には、油圧制御弁56は、コントローラ30の制御下で、操作装置26の操作内容、或いは、遠隔操作の内容とは関係なく、コントロールバルブ17に作用させるパイロット圧を調整することができる。換言すれば、コントローラ30は、油圧制御弁56を用いて、操作装置26の操作内容や遠隔操作の内容と関係なく、ショベル100の動作を自動制御し、自動運転機能を実現することができる。
 表示処理部301は、撮像装置40の撮像画像に基づき、表示装置50にショベル100の周囲の様子(状況)を表す監視画像(周囲画像)を表示させる。
 例えば、表示処理部301は、入力装置52に対する所定操作に応じて、監視画像として、カメラ40B,40L,40Rのうちの少なくとも一つの撮像画像を表示装置50に表示させる。つまり、表示処理部301は、カメラ40B,40L,40Rのうちの全ての撮像画像或いは二つのカメラの撮像画像を表示装置50に並べて表示させてもよいし、何れか一つのカメラの撮像画像を表示装置50に表示させてもよい。以下、表示装置50に表示される当該撮像画像を「スルー画像」と称する場合がある。
 表示処理部301は、入力装置52に対する所定操作に応じて、カメラ40B,40L,40Rの撮像画像のうちのどの撮像画像を表示装置50に表示させるかを切り替えてよい。これにより、オペレータは、入力装置52を操作することで、自分が見たい方向のスルー画像を表示装置50に表示させることができる。
 また、例えば、表示処理部301は、撮像装置40の撮像画像に基づき、複数のカメラ(カメラ40B,40L,40Rのうちの少なくとも二つのカメラ)の撮像画像を合成した合成画像を生成し、合成画像を含む監視画像を表示装置50に表示させる。
 具体的には、表示処理部301は、合成画像として、カメラ40B、40L,40Rの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、表示処理部301は、合成画像を表示装置50に表示させる際、撮像装置40の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示処理部301は、ショベル画像と、ショベル100と撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される視点変換画像とを含む監視画像を生成し、表示装置50に表示させる。
 尚、表示処理部301の機能は、表示装置50に内蔵されてもよい。
 例えば、図6、図7は、表示装置50に表示される監視画像の具体例を示す図である。具体的には、図6は、表示装置50に表示される監視画像の一例(スルー画像を含む監視画像MP1)を示す図であり、図7は、表示装置50に表示される監視画像の他の例(視点変換画像を含む監視画像MP2)を示す図である。
 図6に示すように、本例では、表示装置50には、監視画像MP1として、カメラ40Bの撮像画像(スルー画像)が表示されている。これにより、オペレータは、ショベル100の周囲(本例では、上部旋回体3の後方)の状況(例えば、ショベル100の周囲における人等の監視対象の有無)を把握することができる。
 また、図7に示すように、表示装置50には、ショベル画像CGと、ショベル画像CGの周囲に配置される視点変換画像EPとを含む監視画像MP2が表示される。これにより、オペレータは、ショベル100と視点変換画像EPに映っている周囲の物体との位置関係を適切に把握することができる。
 また、監視画像MP2の視点変換画像EPには、ショベル100からの一定距離のラインLN1が重畳して表示される。ラインLN1は、例えば、周辺監視装置150(検出部304)による監視対象の監視エリアの外縁を表してよい。これにより、オペレータは、ショベル100と視点変換画像EPに映っている周囲の物体との距離関係を適切に把握することができる。
 本例では、視点変換画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとの組み合わせで構成される。視点変換画像EPは、カメラ40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
 また、表示処理部301は、通信装置70を通じて、撮像装置40の撮像画像に基づき生成する監視画像を管理装置200や端末装置300に送信してもよい。これにより、管理装置200は、ショベル100から監視画像を受信し、出力装置230(例えば、遠隔操作用表示装置)に監視画像を表示させることができる。同様に、端末装置300は、ショベル100から監視画像を受信し、出力装置330(例えば、遠隔操作用表示装置)に監視画像を表示させることができる。そのため、管理装置200や端末装置300を利用するショベル100のオペレータは、出力装置230や出力装置330に表示される監視画像を確認しながら、ショベル100を遠隔操作することができる。また、管理装置200や端末装置300を利用するショベル100の管理者等は、出力装置230や出力装置330に表示される監視画像を確認しながら、自動運転機能で作業を行う複数のショベル100のそれぞれの作業状況を遠隔から監視することができる。
 図3に戻り、設定部302は、オペレータ等の要求、即ち、入力装置52を通じたオペレータ等の操作に応じて、周辺監視装置150に関する各種の設定を行う。例えば、設定部302は、検出部304に関する検出条件や安全機能制御部305に関する安全機能の作動条件等を設定する。設定部302により設定される設定内容は、記憶部303に保存(登録)される。
 記憶部303は、周辺監視装置150に関する各種の情報が記憶(登録)される。
 検出部304は、撮像装置40及び周囲情報取得装置45の出力に基づき、ショベル100(上部旋回体3)の周囲の監視対象を検出する。検出部304は、検出部304Aと検出部304Bとを含む。
 検出部304Aは、撮像装置40の出力、即ち、撮像装置40で撮像された撮像画像に基づき、ショベル100(上部旋回体3)の周辺の所定の監視エリア(以下、便宜的に「第1監視エリア」)において、監視対象を検出する。以下、検出部304に関する説明は、ショベル100が水平面に位置している仮定の下で行う。
 検出部304Aは、例えば、ショベル100から見た水平方向(以下、単に「水平方向」)、つまり、ショベル100が作業している(下部走行体1が接地している)平面(以下、便宜的に「作業平面」)に沿う方向に延在する第1監視エリア内において、監視対象を検出する。具体的には、検出部304Aは、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth1(例えば、5メートル)以内の第1監視エリア内で、監視対象を検出してよい。
 例えば、検出部304Aは、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。また、監視対象が作業者等の人である場合、検出部304Aは、認識した人が予め登録される複数の登録済みの作業者(以下、「登録作業者」)の中の何れに該当するかを特定してもよい。
 また、検出部304Aは、既知の各種手法を適用することにより、単眼の撮像装置40の撮像画像に映っている、認識された監視対象(人)が存在する位置(例えば、足元位置)(以下、「実在位置」)を判定(推定)することができる。
 例えば、検出部304Aは、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)があるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検出部304Aは、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置(ショベル100からの水平位置)を推定することができる。
 また、例えば、検出部304Aは、監視対象がショベル100(具体的には、下部走行体1)と同じ平面上に存在する前提の下、撮像画像の当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
 検出部304Bは、周囲情報取得装置45の出力(即ち、受光情報)に基づき、ショベル100(上部旋回体3)の周辺の所定の監視エリア(以下、便宜的に「第2監視エリア」)において、監視対象を検出する。以下、第1監視エリア及び第2監視エリアを包括的に「監視エリア」と称する場合がある。
 検出部304Bは、例えば、水平方向、つまり、作業平面に沿う方向に延在する第2監視エリア内において、監視対象を検出する。具体的には、検出部304Bは、ショベル100(上部旋回体3)からの水平方向の距離Dが所定距離Dth2以内の第2監視エリア内で、監視対象を検出してもよい。所定距離Dth1,Dth2は、同じであってもよいし、異なっていてもよい。即ち、第1監視エリアと第2監視エリアとは同じであってもよいし、異なっていてもよい。例えば、検出部304Aは、ショベル100から相対的に遠方の範囲を含む第1監視エリアの監視対象を監視し、検出部304Bは、第1監視エリアよりもショベル100から相対的に近い範囲に限定される第2監視エリアの監視対象を監視する態様であってよい。
 検出部304Bは、周囲情報取得装置45から取り込まれる受光情報のうちのTOF情報に基づき、周囲の物体の存在及びその位置を認識する。また、検出部304Bは、複数の照射方向からの受光される反射光に対応する受光情報(TOF情報)に基づき、物体の形状や物体の大きさ等を認識することにより、周囲の物体の種別を認識し、その物体が監視対象に該当するか否かを判別してよい。また、検出部304Bは、受光情報のうちの受光強度情報に基づき、周囲の物体の再帰反射性や反射率を認識することにより、物体の種別を認識し、その物体が監視対象に該当するか否かを判別してもよい。
 また、検出部304A,304Bは、入力装置52に対するオペレータ等による所定の操作に応じて、その機能がON(有効)/OFF(無効)の間で切り替えられてもよい。この場合、検出部304A,304Bの何れか一方の機能がOFF(無効)になっている場合、他方の機能をOFF(無効)にする操作が無効になる態様であってもよい。つまり、検出部304A,304Bのうちの何れか一方の機能だけをOFF(無効)に切り替え可能な態様であってもよい。
 尚、検出部304は、検出部304A,304Bに基づき、監視対象に関する二つの検出結果を出力する代わりに、撮像装置40及び周囲情報取得装置45の双方の出力を統合的に用いて、監視対象に関する一つの検出結果を出力する態様であってもよい。また、検出部304は、撮像装置40及び周囲情報取得装置45の出力のうちの何れか一方だけに基づき、監視対象を検出してもよい。また、検出部304Aの機能の一部又は全部は、撮像装置40(カメラ40X)に内蔵されてもよい。また、検出部304Bの機能は、周囲情報取得装置45(センサ45X)に内蔵されてもよい。例えば、検出部304Bの機能のうち、受光情報(TOF情報及び受光強度情報)に基づき、物体を検出する機能は、センサ45Xに内蔵され、センサ45Xにより検出される物体が監視対象に該当するか否かを判断する機能だけをコントローラ30が実現する態様であってもよい。
 安全機能制御部305(報知部の一例)は、検出部304により監視対象が検出される場合に、安全機能に関する制御を行い、安全機能を作動させる。
 安全機能制御部305は、例えば、検出部304により監視エリアに含まれる所定の範囲(以下、「報知範囲」)で監視対象が検出される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。
 安全機能制御部305は、例えば、音出力装置54を制御することにより、キャビン10の内部及び外部の少なくとも一方に対する音(即ち、聴覚的な方法)による報知機能を作動させる。このとき、安全機能制御部305は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。
 また、安全機能制御部305は、例えば、キャビン10の内部に対する視覚的な方法による報知機能を作動させる。具体的には、安全機能制御部305は、表示処理部301を通じて表示装置50を制御することにより、表示装置50に表示されている監視画像上に、監視対象が検出されていることを表す画像を表示させてよい(例えば、図20~図22参照)。また、安全機能制御部305は、表示処理部301を通じて、表示装置50に表示される監視画像に映っている監視対象や、検出された監視対象のショベル100から見た位置に対応する監視画像上の位置を強調させてもよい。より具体的には、安全機能制御部305は、表示処理部301を通じて、監視画像上に映っている監視対象を囲む枠を重畳して表示させたり、検出された監視対象の実在位置に対応する監視画像上の位置にマーカを重畳して表示させたりしてよい(例えば、図10、図21、図22参照)。これにより、表示装置50は、オペレータに対する視覚的な報知機能を実現することができる。また、安全機能制御部305は、キャビン10の内部の警告灯や照明装置等を用いて、監視対象が検出されていることをキャビン10の内部のオペレータ等に対して通知してもよい。
 また、安全機能制御部305は、例えば、上部旋回体3のハウス部等に設けられる前照灯等の照明装置や外部用の表示装置を制御することにより、ショベル100の周囲の作業者や監督者等に視覚的な方法による報知機能を作動させてもよい。また、安全機能制御部305は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法でキャビン10内のオペレータに対する報知機能を作動させてもよい。これにより、周辺監視装置150は、オペレータやショベル100の周囲の作業者及び監督者等に対して、ショベル100の周囲に監視対象(例えば、作業者等の人)が存在することを認識させることができる。そのため、周辺監視装置150は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
 また、安全機能制御部305は、例えば、通信装置70を通じて、報知機能の作動を示す指令信号を管理装置200や端末装置300に送信することにより、遠隔報知機能を作動させてもよい。この場合、管理装置200(制御装置210)は、通信装置220によりショベル100から指令信号を受信すると、出力装置230を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、管理装置200の管理者、作業者、管理装置200を通じてショベル100の遠隔操作を行うオペレータ等は、ショベル100の周囲の報知範囲内に監視対象が進入したことを把握することができる。同様に、端末装置300(制御装置310)は、通信装置320によりショベル100から指令信号を受信すると、出力装置330を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。
 尚、安全機能制御部305の遠隔報知機能は、管理装置200や端末装置300に移管されてもよい。この場合、管理装置200は、ショベル100から検出部304による監視対象の検出状況に関する情報を受信し、受信した情報に基づき、報知範囲内への監視対象の進入の有無を判断し、報知範囲内に監視対象が存在する場合に、外部報知機能を作動させる。端末装置300の場合も同様であってよい。
 また、安全機能制御部305は、報知範囲内で検出されている監視対象と、ショベル100との位置関係に応じて、報知態様(即ち、報知の仕方)を異ならせてもよい。
 例えば、安全機能制御部305は、検出部304により報知範囲内で検出された監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に緊急度が低い警報(以下、「注意レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100から相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全機能制御部305は、検出部304により報知範囲内で検出された監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報(以下、「警戒レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100からの距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。
 この場合、安全機能制御部305は、注意レベルの警報と警戒レベルの警報との間で、音出力装置54から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全機能制御部305は、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像上に表示される監視対象が検出されていることを表す画像や、監視対象或いは監視対象の位置を強調させる画像(例えば、枠やマーカ等)の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、周辺監視装置150は、音出力装置54から出力される報知音(警報音)や表示装置50に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視対象のショベル100に対する接近度を把握させることができる。
 安全機能制御部305は、報知機能の作動開始後、検出部304により検出されていた監視対象が監視エリア内で検出されなくなった場合、或いは、入力装置52を通じて、報知機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させてよい。
 また、安全機能制御部305は、例えば、検出部304により監視エリアに含まれる所定範囲(以下、「動作制限範囲」)内で監視対象が検出される場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル100に相対的に近くなるように設定されてもよい。また、動作制限範囲には、操作装置26の操作、遠隔操作、自動運転機能に対応する操作指令に対するショベル100の動作速度を通常よりも遅くする動作減速範囲、及び操作装置26の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちのショベル100に近接する範囲であり、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。
 安全機能制御部305は、油圧制御弁56を制御することにより、ショベル100の動作を制限する動作制限機能を作動させる。この場合、安全機能制御部305は、全ての被駆動要素(即ち、対応する油圧アクチュエータ)の動作を制限してもよいし、一部の被駆動要素(油圧アクチュエータ)の動作を制限してもよい。これにより、周辺監視装置150は、ショベル100の周囲に監視対象が存在する場合に、ショベル100の動作を減速させたり、停止させたりすることができる。そのため、周辺監視装置150は、ショベル100の周囲の監視対象とショベル100との接触の発生を抑制することができる。
 また、安全機能制御部305は、動作制限機能の作動開始後、検出部304により検出されていた監視対象が検出されなくなった場合、或いは、入力装置52を通じて、動作制限機能の作動を解除する所定の操作が受け付けられた場合に、動作制限機能を停止させる。入力装置52に対する報知機能の作動解除のための操作と、動作制限機能の作動解除のための操作とは、同一であってもよいし、異なっていてもよい。
 また、安全機能制御部305は、検出部304による監視対象の検出とは異なる他の所定の条件(以下、「他の作動条件」)の成立に応じて、安全機能を作動させてもよい。
 安全機能制御部305は、例えば、キャビン10の内部のオペレータがシートベルトを装着していない場合に、内部報知機能を作動させたり、ショベル100の動作を禁止(停止)させる態様の動作制限機能を作動させたりしてよい。これにより、キャビン10のオペレータに対して、シートベルトの装着を促すことができる。そのため、ショベル100の安全性を向上させることができる。
 また、安全機能制御部305は、例えば、キャビン10の開閉可能な窓が開放されている場合に、内部報知機能を作動させたり、ショベル100の動作を禁止(停止)させる態様の動作制限機能を作動させたりしてよい。仮に、キャビン10の窓が開放されている状態で、ショベル100の転倒等が発生すると、キャビン10の外部にオペレータが放出されてしまう可能性があるからである。これにより、キャビン10のオペレータに対して、キャビン10の窓を閉じるように促すことができる。そのため、ショベル100の安全性を向上させることができる。
 [ショベルの周囲の表示可能エリア及び監視対象の検出可能エリア]
 次に、図8~図11を参照して、撮像装置40の撮像画像に基づき、表示装置50、出力装置230(表示装置)、及び出力装置330(表示装置)(以下、「表示装置50等」)に表示可能なショベル100の周囲の範囲(以下、「表示可能エリア」)、及び検出部304が監視対象を検出可能なショベル100の周囲の範囲(以下、「検出可能エリア」)について説明する。
 以下、本例では、ショベル100が水平面に位置している前提で説明を進める。また、本例では、ショベル100(具体的には、上部旋回体3)から見た周方向(旋回方向)における表示可能エリア及び検出可能エリアを中心に説明を行う。つまり、本例では、表示可能エリアは、ショベル100から見た水平方向での360度の角度方向の範囲のうちの撮像装置40の撮像画像に基づき表示装置50等が表示可能な角度方向の範囲を意味する。同様に、本例では、検出可能エリアは、ショベル100から見た水平方向での360度の角度方向の範囲のうちの検出部304が監視対象を検出可能な角度方向の範囲を意味する。そのため、表示可能エリア、検出部304Aの検出可能エリア、及び検出部304Bの検出可能エリアの相互間を比較する場合、ショベル100から見た周方向の範囲(即ち、水平方向の角度範囲)を比較対象とし、径方向(遠近方向)や上下方向の範囲を比較対象から除外する場合がある。
  <撮像装置の撮像画像に基づく表示可能エリアと検出可能エリアとの対比>
 図8は、ショベル100を上面視で見たときの撮像装置40の撮像画像に基づく表示装置50等への表示可能エリア及び検出部304Aの検出可能エリアの一例を示す図である。
 図8に示すように、カメラ40Xの水平方向の撮像範囲(画角)は、カメラ40Xから延び出す二本の一点鎖線の間の角度範囲により表される。そのため、表示可能エリアは、カメラ40B,40L,40Rの全ての水平方向の撮像範囲の和集合に相当する範囲で表される。
 一方、撮像装置40(カメラ40X)の撮像画像に基づく検出部304Aの検出可能エリアは、図中の梨地の部分に相当する。具体的には、検出部304Aの検出可能エリアは、カメラ40B,40L,40Rのそれぞれから延び出す二本の実線(ショベル100に近接する部分は点線)の間の角度範囲のうちのショベル100に近接する範囲を除く範囲で表される。カメラ40Xが設置される上部旋回体3の上面は、地面から相対的に高い位置にあり、上部旋回体3に近接する範囲の地面付近の監視対象が一部しか撮像画像に映らなかったり、上部旋回体3の車体が撮像画像に映って上部旋回体3に近接する範囲の地面が車体の死角になってしまったりする場合があるからである。
 また、検出部304Aの検出可能エリアに対応するカメラ40B,40L,40Rのそれぞれから延び出す二本の実線の間の角度範囲は、カメラ40B,40L,40Rの撮像範囲に対応する実際の画角(二本の一点鎖線の間の角度範囲)より狭くなる。ショベル100(上部旋回体3)から見た水平方向のカメラ40B,40L,40Rの撮像範囲(画角)の端部では、監視対象が一部しか映らず、検出部304Aが撮像画像から監視対象を認識(検出)できない場合があるからである。
 例えば、上部旋回体3の左前方に作業者401が位置している。作業者401の一部は、カメラ40Lの水平方向の撮像範囲に相当する二本の一点鎖線の間の角度範囲に含まれている。そのため、表示装置50等は、コントローラ30(表示処理部301)の制御下で、カメラ40Lの撮像画像に基づき、作業者401の一部を含む監視画像を表示することができる。
 一方、作業者401は、カメラ40Lの水平方向の撮像範囲の前側の端部に位置している。そのため、作業者401の位置は、検出部304Aの検出可能エリアに含まれず、検出部304Aは、カメラ40Lの撮像画像に一部だけが映っている作業者401を検出することができない。
 同様に、上部旋回体3の右前方に作業者402が位置している。作業者402の一部は、カメラ40Rの水平方向の撮像範囲に相当する二本の一点鎖線の間の角度範囲に含まれている。そのため、表示装置50等は、コントローラ30(表示処理部301)の制御下で、カメラ40Rの撮像画像に基づき、作業者402の一部を含む監視画像を表示することができる。
 一方、作業者402は、カメラ40Rの水平方向の撮像範囲の前側の端部に位置している。そのため、作業者402の位置は、検出部304Aの検出エリアに含まれず、検出部304Aは、カメラ40Rの撮像画像に一部だけが映っている作業者402を検出することができない。
 このように、表示可能エリアのうちのカメラ40L,40Rの前側の画角の端部に位置している監視対象は、検出部304Aにより検出することができない場合がある。そのため、撮像装置40(カメラ40X)だけを用いて、ショベル100の周囲の監視対象を検出する場合、表示装置50等に映っているにも関わらず、検出されない監視対象が存在し、ショベル100のオペレータや管理者等に違和感を与える可能性がある。
  <監視対象の検出可能エリアの第1例>
 図9は、ショベル100を上面視で見たときの撮像装置40を用いる検出部304Aの検出可能エリア及び周囲情報取得装置45を用いる検出部304Bの検出可能エリアの第1例を示す図である。
 図9に示すように、検出部304Aの検出可能エリアは、上述の如く、図中の梨地の部分に相当する。そのため、上述の如く、カメラ40Xから延び出す二本の一点鎖線の間の角度範囲によって規定される表示可能エリアのうちのカメラ40L,40Rの前側の画角の端部が検出部304Aの検出可能エリアから外れてしまっている。
 一方、検出部304Bの検出可能エリアは、センサ45Xのそれぞれから延び出す二本の太線の間の水平方向の角度範囲(即ち、水平方向の検出角度の範囲)によって規定される。具体的には、検出部304Bの検出可能エリアは、センサ45BL,45BR,45L,45Rのそれぞれの水平方向の検出角度の範囲の和集合として表される。二本の太線により規定される水平方向の検出角度の範囲は、例えば、LIDARの赤外線の水平方向の照射範囲に相当する。
 センサ45Lの水平方向の検出角度の範囲には、作業者401の位置(即ち、占有する範囲)を含む、表示可能エリアのうちのカメラ40Lの画角の前側の端部が全て含まれる。また、センサ45Rの水平方向の検出角度の範囲には、作業者402の位置(即ち、占有する範囲)を含む、表示可能エリアのうちのカメラ40Rの画角の前側の端部が全て含まれる。つまり、検出部304Bの検出可能エリアには、検出部304Aの検出可能エリアが略全て含まれている。これにより、検出部304Bは、上部旋回体3の左前方及び右前方において、表示可能エリアのうちの検出部304Aの検出エリアの範囲外に相当する範囲の監視対象を検出することができる。そのため、カメラ40L,40Rに対応する表示可能エリアの前側の端部、即ち、それぞれの撮像画像の右端部及び左端部に一部だけが含まれている監視対象(例えば、作業者401,402)を検出することができる。
 例えば、図10は、検出部304による監視対象の検出時に表示される監視画像の具体例(監視画像500)を示す図である。具体的には、図10は、監視画像500として表示装置50に表示される、図9の状況におけるカメラ40Lの撮像画像(スルー画像)を示す図である。
 尚、監視画像500は、ショベル100の表示装置50に代えて、或いは、加えて、管理装置200の出力装置230(表示装置)や端末装置300の出力装置330(表示装置)に表示されてもよい。これにより、ショベル100のオペレータは、監視画像500を確認しながら、ショベル100の遠隔操作を行うことができる。また、ショベル100の管理者等は、監視画像500を通じて、例えば、自動運転機能で作業が行われている複数のショベル100のそれぞれの作業状況を遠隔監視することができる。
 図9に示すように、カメラ40Lの表示可能エリアの前側の端部には、作業者401の位置している範囲の一部が含まれている。そのため、図10に示すように、表示可能エリアの前側の端部に相当する、監視画像500(カメラ40Lの撮像画像)の右端部には、作業者401に相当する作業者510の一部が表示されている(映っている)。
 また、上述の如く、検出部304(検出部304B)は、カメラ40Lの表示可能エリアの前側の端部に位置し、その一部だけが撮像画像(スルー画像)に映っている作業者401(作業者510)を検出することができる。そのため、監視画像500には、映っている作業者510が検出部304(検出部304B)により検出されていることを表す枠520が表示される。これにより、ショベル100のオペレータや管理者等のユーザは、監視画像500に一部しか映っていない監視対象(作業者510)であっても、検出部304(検出部304B)により検出可能であることを把握することができる。
 同様に、監視画像MP2(図7参照)が表示装置50等に表示される場合も、視点変換画像EPのショベル画像CGから見た左前方及び右前方の端部に作業者401,402が一部だけ映っていても、検出部304Bは、作業者401,402を検出できる。そのため、視点変換画像EPを含む監視画像MP2に映っている作業者401,402には、検出部304により検出されていることを表す枠が取り囲むように表示されてよい。これにより、監視画像500の場合と同様、ショベル100のオペレータや管理者等のユーザは、視点変換画像EP(監視画像MP2)に一部しか映っていない監視対象であっても、検出部304により検出可能であることを把握することができる。
 尚、監視画像(スルー画像や視点変換画像EP等の周囲画像)に一部が映っている監視対象が検出されていることを表す画像は、枠(例えば、枠520)とは異なる態様であってもよい。例えば、監視画像(周囲画像)に一部が映っている監視対象が検出されていることを表す画像は、後述の図20や図22の指示画像(例えば、指示画像913や指示画像934,935)の態様であってもよい。
 このように、本例では、検出部304は、周囲情報取得装置45(センサ45X)を用いて、撮像装置40の撮像画像を利用するだけでは監視対象を検出できない範囲を補完して、その範囲の監視対象を検出することができる。そのため、検出部304は、表示装置50に表示される監視画像に映っているショベル100から見た周囲の周方向の範囲全体、即ち、ショベル100の周囲の相対的に近い範囲全体の監視対象を検出することができる。つまり、検出部304Bは、ショベル100から見た周方向において、カメラ40B,40L,40Rの撮像範囲に含まれる全ての監視対象、つまり、表示装置50に表示される監視画像に映っている全ての監視対象を検出することができる。例えば、撮像装置40の撮像画像の左右の端部に監視対象が一部だけしか映っていない場合であっても、検出部304Bは、その監視対象を検出することができる。よって、表示装置50の表示内容(監視対象が映っている)と検出結果(監視対象の未検出)との間の乖離に伴う違和感をユーザに与えてしまうような事態を抑制することができる。
 図9に戻り、また、例えば、ショベル100は、下部走行体1の直進方向(延在方向)と上部旋回体3の向きとが略揃っている状態で作業を行う場合がある。この場合、図9に示すように、上部旋回体3の左前方や右前方の相対的に近い位置に作業者401,402が存在しても、作業者401,402とショベル100との接触等が発生する危険性はそれほど高くない。ショベル100は、上部旋回体3の前後方向にしか走行できず、仮に、下部走行体1が走行しても、上部旋回体3の左前方及び右前方の作業者401,402と接触する可能性は低いと考えられるからである。また、上部旋回体3の前端部は、旋回中心からの距離が相対的に近いため、上部旋回体3が旋回しても、上部旋回体3の前端部と作業者401,402との距離が短くなるような事態は発生しにくいと考えられるからである。
 一方、ショベル100は、相対的に高い頻度で上部旋回体3が旋回しながら作業を行う場合もある。そのため、例えば、下部走行体1の直進方向(延在方向)を基準とする上部旋回体3の旋回角度が相対的に大きい状態(例えば、図9の点線のクローラ1CL,1CRの場合のように旋回角度が略90度の状態)で作業が行われる場合もある。この場合、図9に示すように、上部旋回体3の左前方や右前方の相対的に近い位置の作業者401,402が上部旋回体3から見た前側のクローラ1C(クローラ1CL)に進行方向で面している状態になる可能性がある。そのため、仮に、下部走行体1が走行してしまうと、作業者401,402との接触が発生する可能性が高くなる。また、上部旋回体3から見た前側のクローラ1C(クローラ1CL)に面している空間は、キャビン10から見て死角になり易く、キャビン10のオペレータからも視認できない可能性がある。
 これに対して、本例では、図9に示すように、表示可能エリアの中に、クローラ1CLに面している作業者401,402の少なくとも一部が含まれている。具体的には、カメラ40Lの水平方向の撮像範囲の前側の端部に、クローラ1CLに面している作業者401の一部が含まれている。また、カメラ40Rの水平方向の撮像範囲の前側の端部に、クローラ1CLに面している作業者402が含まれている。そのため、キャビン10のオペレータは、クローラ1CLに面している作業者401,402がキャビン10から見て死角になるような場合であっても、表示装置50の監視画像を通じて、作業者401,402の存在を把握することができる。また、管理装置200や端末装置300を利用するショベル100の遠隔のオペレータや管理者等についても、出力装置230や出力装置330の監視画像を通じて、作業者401,402の存在を把握することができる。そのため、ショベル100の安全性を向上させることができる。
 また、上部旋回体3から見た前側のクローラ1C(クローラ1CL)に面する位置の作業者401,402は、カメラ40L,40Rの撮像画像の左右の端にその一部が写り込み、監視画像として表示装置50等に表示される可能性がある。しかし、検出部304Aは、上述の如く、カメラ40L,40Rの撮像画像に一部しか映っていない監視対象としての作業者401,402を認識(検出)することができない。
 一方、図9に示すように、検出部304Bの検出可能エリアは、上述の如く、センサ45BL,45BR,45L,45Rのそれぞれの水平方向における赤外線の照射範囲(図中の二本の太線の間の角度範囲)により規定される。画像認識の場合と異なり、監視対象の一部からの反射光しか受光できない場合であっても、上述の如く、受光情報に基づく物体の形状、大きさや反射光の受光強度等から監視対象を認識(検出)することが可能だからである。
 具体的には、センサ45Lに対応する検出部304Bの検出可能エリアには、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の場合における上部旋回体3から見た前側のクローラ1C(クローラ1CL)の左端部及び左側の直進方向に面する位置にいる作業者401が含まれる。また、センサ45Rに対応する検出部304Bの検出可能エリアには、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の場合における上部旋回体3から見た前側のクローラ1C(クローラ1CL)の右端部及び右側の直進方向に面する位置にいる作業者402が含まれる。
 例えば、上述の如く、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の状態で下部走行体1が走行し始めると、作業者401,402との接触が発生してしまう可能性がある。また、この状態では、キャビン10から作業者401,402を目視するのは難しい可能性がある。
 これに対して、検出部304Bは、上述の如く、下部走行体1の直進方向を基準とする上部旋回体3の旋回角度が略90度の場合における上部旋回体3から見た前側のクローラ1Cの直進方向に面する空間の監視対象を検出できる。そのため、周辺監視装置150は、作業者401,402の検出に基づき、報知機能や動作制限機能等の安全機能を作動させることができる。よって、ショベル100の安全性をより向上させることができる。
 このように、本例では、上部旋回体3の向きがクローラ1Cの直進方向と揃っている基準状態から外れている場合に、上部旋回体3の前側のクローラ1Cの直進方向に面する空間は、監視画像としての表示装置50等への表示可能エリアに含まれる。また、本例では、上部旋回体3の向きがクローラ1Cの直進方向と揃っている基準状態から外れている場合に、上部旋回体3の前側のクローラ1Cの直進方向に面する空間は、検出部304による監視対象の検出可能エリアに含まれる。
 例えば、下部走行体1にカメラ40Xやセンサ45X等を搭載可能であれば、上部旋回体3の旋回状態に依らず、下部走行体1(クローラ1C)から見た特定の場所の監視対象を検出したり、表示装置50等に表示させたりすることが比較的容易である。
 しかしながら、実際上、ショベル100の作業環境やオペレータの操作の実情等を考慮すると、下部走行体1にカメラ40Xやセンサ45X等を搭載するのは現実的ではない。カメラ40Xやセンサ45X等が土砂等の付着で機能を果たせなくなったり、地面との接触で損傷したりする可能性が高いからである。また、オペレータは、上部旋回体3のアタッチメントを利用して作業を行う場合が多く、オペレータにとっては、上部旋回体3を基準とする監視対象の位置関係に関する情報が必要だからである。そのため、カメラ40Xやセンサ45X等を上部旋回体3に搭載する必要がある。よって、上部旋回体3の向きとクローラ1Cとの間の関係が基準状態から外れてしまうと、カメラ40Xやセンサ45X等が下部走行体1の走行時における周囲の物体との位置関係に関する情報を適切に取得できない可能性がある。
 具体的には、下部走行体1の進行方向と上部旋回体3の向きとが一致する状態で、下部走行体1が上部旋回体3の前方に進む場合、キャビン10のオペレータは、クローラ1Cの前方に面する作業者等を直接視認することができる。また、遠隔操作や遠隔監視が行われる場合についても、遠隔操作用の前方カメラの撮像画像が遠隔操作用表示装置に表示されるので、その表示内容からクローラ1Cの前に面する作業者等を確認することができる。また、同じ状態で、下部走行体1が上部旋回体3の後方に進む場合、ショベル100のオペレータや管理者等は、表示装置50等に表示されるカメラ40Bの撮像画像によって、クローラ1Cの後方に面する作業者等を確認できる。
 一方、下部走行体1の進行方向と上部旋回体3の向きとが揃っている状態から外れてしまうと、カメラ40Xやセンサ45Xの数や配置等によっては、下部走行体1(クローラ1C)に面している空間の情報を適切に取得することができない可能性がある。例えば、上部旋回体3の後方を中心として左側方と右側方との間に亘る相対的に広い範囲が、キャビン10のオペレータから死角になるため、この範囲に対応するカメラ40Xやセンサ45Xは相対的に多く設置される可能性がある。これに対して、上部旋回体3の前方は、オペレータや管理者等が直接視認できたり、前方カメラの表示画像で確認できたりするため、上部旋回体3の右前方から左前方に亘る範囲に対応するカメラ40Xやセンサ45Xは相対的に少なく設置される可能性がある。そのため、下部走行体1の進行方向と上部旋回体3の向きとが揃っている状態から外れた場合に、上部旋回体3の左前方や右前方でクローラ1Cと面している空間が存在すると、カメラ40Xやセンサ45Xがこの空間の情報を適切に取得できない可能性がある。
 これに対して、本例では、上部旋回体3の向きがクローラ1Cの直進方向と揃っている状態から外れている場合に、上部旋回体3の前側のクローラ1Cの直進方向に面する空間を監視画像としての表示装置50等への表示可能エリアに含めることができる。また、上部旋回体3の向きがクローラ1Cの直進方向と揃っている状態から外れている場合に、上部旋回体3の前側のクローラ1Cの直進方向に面する空間を、検出部304による監視対象の検出可能エリアに含めることができる。そのため、ショベル100の下部走行体1の走行時における安全性を向上させることができる。
 尚、表示可能エリア及び検出可能エリアのうちの何れか一方だけに、上部旋回体3の前側のクローラ1Cの直進方向に面する空間が含まれる態様であってもよい。また、センサ45Xの数は、ショベル100から見た周方向における検出部304Bの検出可能エリアの中に、ショベル100の周囲の周方向の表示可能エリア全体が含まれる限り、任意であってよい。センサ45Xの配置についても同様である。また、検出部304A,304Bを用いて、監視対象に関する検出結果が冗長的に二つ出力される代わりに、撮像装置40及び周囲情報取得装置45の双方の出力を統合的に用いて、監視対象に関する検出結果が一つ出力される構成が採用されてもよい。この場合についても、同様の作用・効果を奏する。以下、後述の第2例の場合についても同様である。
  <監視対象の検出可能エリアの第2例>
 図11は、ショベル100を上面視で見たときの撮像装置40を用いる検出部304Aの検出可能エリア及び周囲情報取得装置45を用いる検出部304Bの検出可能エリアの第2例を示す図である。
 図11に示すように、本例では、上部旋回体3の上面において、センサ45Lに代えて、センサ45LF,45LRが設けられ、センサ45Rに代えて、45RF,45RRが設けられる点が異なる。つまり、本例では、周囲情報取得装置45は、センサ45BL,45BR,45LF,45LR,45RF,45RRを含む。以下、本例では、上述の第1例と異なる部分を中心に説明を行い、同じ部分や対応する部分の説明を省略する場合がある。また、本例では、センサ45BL,45BR,45LF,45LR,45RF,45RRを包括的に「センサ45X」と称する場合がある。
 例えば、ショベル100は、上部旋回体3がクローラ1Cの直進方向(クローラ1Cの前後軸)を基準とする旋回角度が90度より小さい範囲で相対的に大きく旋回した状態(図11の点線のクローラ1CL,1CRの状態)で作業を行う場合がある。具体的には、本例では、ショベル100は、上部旋回体3がクローラ1Cの直進方向を基準として右方向に75度旋回した状態である。
 この状態において、上部旋回体3から見た前側のクローラ1C(クローラ1CR)の前端部における直進方向に面する位置に作業者403が位置している。この場合、作業者403は、キャビン10の正面から外れた位置に存在するため、キャビン10のオペレータは、作業者403を目視するのは難しい可能性がある。同様に、ショベル100の遠隔のオペレータや管理者等は、管理装置200の出力装置230(表示装置)や端末装置300の出力装置330(表示装置)に表示される遠隔操作用の前方カメラの画像でも作業者403を確認できない可能性がある。また、クローラ1CRの前端部における直進方向に面している空間は、検出部304Aの検出可能エリア(図中の梨地部分)から大きく外れており、且つ、カメラ40Lの撮像範囲(図中の二本の一点鎖線の間の角度範囲)にも含まれない。
 これに対して、本例では、上部旋回体3の左側方の範囲を担当するセンサ45Xが二つ(センサ45LF,45LR)設けられる。具体的には、センサ45LFは、上部旋回体3の上面の左端部の前寄りにおいて、光軸が上面視でやや左前方に向くように設置される。また、センサ45LRは、上部旋回体3の上面の左端部の後寄りにおいて、光軸が上面視でやや左後方に向くように設置される。これにより、センサ45LRを用いて、上部旋回体3の左前方から左後方に亘る左側方を赤外線の照射範囲として保持しつつ、センサ45LFを用いて、クローラ1CRの前端部及び直進方向に面する空間を照射範囲に含めることができる。よって、検出部304Bは、上部旋回体3がクローラ1Cの直進方向を基準とする旋回角度が90度より小さい範囲で相対的に大きく旋回した状態において、クローラ1CRの前端部における直進方向に面する位置に存在する作業者403を検出することができる。
 また、本例では、上部旋回体3の右側方の範囲を担当するセンサ45Xが二つ(センサ45RF,45RR)設けられる。具体的には、センサ45RFは、上部旋回体3の上面の右端部の前寄りにおいて、光軸が上面視でやや右前方に向くように設置される。また、センサ45RRは、上部旋回体3の上面の右端部の後寄りにおいて、光軸が上面視でやや右後方に向くように設置される。これにより、図11の場合(クローラ1Cの前後軸が左上がりの状態)とは、逆に、クローラ1Cの前後軸が右上がりの状態において、センサ45RRを用いて、上部旋回体3の右前方から右後方に亘る右側方を赤外線の照射範囲として保持しつつ、センサ45RFを用いて、クローラ1CRの後端部及び直進方向に面する空間を照射範囲に含めることができる。よって、検出部304Bは、この状態において、クローラ1CRの後端部における直進方向に面する位置に存在する作業者を検出することができる。
 このように、本例では、上部旋回体3がクローラ1Cの直進方向を基準として相対的に大きく旋回している状態において、クローラ1Cの直進方向に面する空間は、検出部304により監視対象を検出可能な範囲(検出可能エリア)に含まれる。具体的には、センサ45Xの数や配置が適宜工夫され、検出部304Bは、上部旋回体3がクローラ1Cの直進方向を基準とする旋回角度が90度より小さい範囲で相対的に大きく旋回した状態において、上部旋回体3から見た前側のクローラ1Cに直進方向で面する位置に存在する監視対象(例えば、作業者403)を検出することができる。これにより、ショベル100の安全性を更に向上させることができる。
 尚、上部旋回体3がクローラ1Cの直進方向を基準として相対的に大きく旋回している状態において、クローラ1Cの直進方向に面する空間を検出部304の検出可能エリアに含めることに代えて、或いは、加えて、カメラ40Xの数や配置を適宜工夫することにより、監視画像として表示装置50等に表示可能な範囲(表示可能エリア)に含めるようにしてもよい。これにより、オペレータ等は、表示装置50等の監視画像を通じて、クローラ1Cの直進方向に面する空間の様子を把握することができる。
 [監視対象の検出方法]
 次に、図12~図15を参照して、検出部304による監視対象の検出方法の具体例について説明する。
  <監視対象の認識方法の具体例>
 図12~図15は、監視対象としての作業現場の人、即ち、作業者の具体例を示す図である。具体的には、図12は、作業者の第1例(作業者W1)を示す図である。図13は、作業者の第2例(作業者W2)を示す図である。図14は、作業者の第3例(作業者W3)を示す図である。図15は、作業者の第4例(作業者W4)を示す図である。
 図12に示すように、作業者W1(第1の人の一例)は、ヘルメットHMT及び反射材付きのベスト(以下、「反射ベスト」)RV(反射材付きの被服の一例)を着用している。反射材は、再帰反射性(照射光を光源に向けて反射する性能)が非常に高い部材である。
 図13に示すように、作業者W2(第2の人の一例)は、ヘルメットHMTを着用する一方、反射ベストRVを着用していない。
 図14に示すように、作業者W3(第2の人の一例)は、反射ベストRVを着用する一方、ヘルメットHMTを着用していない。
 図15に示すように、作業者W4(第3の人の一例)は、ヘルメットHMT及び反射ベストRVの双方共に着用していない。
 検出部304A(第1の検出部の一例)は、監視対象としての人(作業者)の検出を行う場合、撮像装置40の撮像画像の中から人(作業者)全体の認識及びヘルメットの認識の双方を試みる。これにより、検出部304Aは、人の向きや姿勢等に起因して、人全体を、所定基準を超える確からしさで認識できない場合であっても、ヘルメットを、所定基準を超える確からしさで認識できる場合に、作業者を検出することができる。つまり、検出部304Aは、作業者W1~W4のうち、ヘルメットHMTを着用するW1,W2を他の作業者W3,W4よりも相対的に高い確率で検出することができる。
 一方、検出部304B(第2の検出部の一例)は、監視対象としての人(作業者)の検出を行う場合、受光情報に基づき、受光される反射光(赤外線)の受光強度が相対的に高い(具体的には、所定基準よりも高い)物体の認識(検出)を試みる。反射光の受光強度は、受光強度情報に基づき取得される。また、物体からの反射光の受光強度は、物体の表面の再帰反射性が高くなるほど高くなる一方、物体からセンサ45Xまでの距離が長くなるほど低くなる。そのため、検出部304Bは、受光強度情報に基づく受光強度を、TOF情報に基づく物体までの距離を考慮して、例えば、物体が所定の距離にあると仮定したときの受光強度に補正してもよい。このとき、所定基準は、反射材とそれ以外の物体とを判別可能な態様で予め設定される。これにより、検出部304Bは、反射光の受光強度が相対的に高い物体が認識される場合、反射ベスト等の反射材付きの被服を着用した作業者であると判断し、当該作業者を検出することができる。反射材付きの被服には、反射ベストの他、反射材付きのジャケット、反射材付きのパンツ等、反射材が取り付けられる任意の被服が含まれる。つまり、検出部304Bは、作業者W1~W4のうち、反射ベストRVを着用するW1,W3を他の作業者W2,W4よりも相対的に高い確率で検出することができる。
 尚、検出部304Bは、複数の照射方向から受光される反射光に対応する受光情報から物体の形状や大きさを認識することが可能である。そのため、検出部304Bは、監視対象としての人(作業者)の検出を行う場合、受光情報に基づく物体の形状や大きさ等を用いて、人(作業者)を認識してもよい。
 検出部304は、上述の如く、検出部304A,304Bの双方を用いて、監視対象を検出する。これにより、検出部304は、ヘルメット及び反射材付きの被服の双方を着用した作業者(例えば、作業者W1)を最も高い確率で検出する。また、検出部304は、ヘルメット及び反射材付きの被服の何れか一方を着用した作業者を(例えば、作業者W2,W3)、ヘルメット及び反射材付きの被服の双方を着用した作業者の場合よりも低い、ある程度の確率で検出することができる。また、検出部304は、ヘルメット及び反射材付きの被服の双方を未着用の作業者(例えば、作業者W4)を最も低い確率で検出する。換言すれば、検出部304は、ヘルメット及び反射材付きの被服の双方を着用する人を最も検出し易く、ヘルメット及び反射材付きの被服の何れか一方を着用する人をその次に検出し易く、ヘルメット及び反射材付きの被服の双方共に未着用の人を最も検出しにくい態様で構成される。
 例えば、撮像装置40の撮像画像だけを用いて監視対象としての人が認識(検出)される場合、人の向きや姿勢等によっては人として認識されなかったり、人以外の物体を人であると認識してしまったりする可能性がある。
 これに対して、本例では、撮像装置40(カメラ40X)の出力(撮像画像)を用いる検出部304Aの他、周囲情報取得装置45(センサ45X)の出力(受光情報)を用いる検出部304Bが設けられる。これにより、周辺監視装置150は、検出部304Aの検出結果だけでなく、検出部304Bの検出結果を用いることができる。そのため、周辺監視装置150は、検出部304Aにより検出されるべき人が検出されない場合や人でない物体が人として検出されてしまう場合であっても、検出部304Bの検出結果を用いて、未検出や誤検出を抑制することができる。よって、ショベル100の安全性をより向上させることができる。また、本例では、検出部304は、安全装備としてのヘルメット及び反射材付きの被服を着用している作業者を相対的に高い精度で検出することができる。そのため、周辺監視装置150は、作業者自身の安全性の確保、ひいては、作業現場の安全性の確保の観点から作業者にヘルメットや反射材付きの被服の着用を促すことができる。
 尚、本例では、検出部304は、作業者が着用しているヘルメットや反射材付きの被服を識別可能に構成されるが、他の安全装備を識別する態様で監視対象としての人(作業者)を検出(認識)してもよい。識別対象の安全装備には、例えば、安全帯、騒音現場における耳栓、安全靴、アーク溶接用や防振用等の手袋、防塵用や防毒用のマスク、防塵用や遮光用等のメガネ、溶接用面、作業機械等が接近するとアラームを出力するID(Identifier)タグ等が含まれうる。これにより、周辺監視装置150は、より多くの安全装備の装着を作業者に促すことができる。
  <監視対象の位置の特定方法>
 検出部304Aは、撮像画像の中における認識された人(作業者)全体やヘルメットに対応する部分画像の大きさや位置等に基づき、ショベル100から見た作業者の位置(例えば、足元位置)を特定する。作業者のカメラ40Xからの距離によって、撮像画像上での作業者の大きさが変化するからである。また、作業者のカメラ40Xからの距離及び方向によって、撮像画像上での映る位置が変化するからである。
 一方、検出部304Bは、受光情報のうちのTOF情報に基づき、ショベル100から見た作業者の位置を特定する。TOF情報には、センサ45Xから見た光の照射方向、及び当該照射方向への光の照射から反射光が受光されるまでの時間が含まれ、前者に基づきセンサ45Xからの物体の方向が特定され、後者に基づきセンサ45Xと物体との距離が特定されうるからである。
 例えば、物体からの反射光(赤外線)の受光強度は、上述の如く、物体とセンサ45Xとの距離が長くなるほど低くなる。そのため、その性質を利用すると、受光強度情報から監視対象の位置(距離)を特定することも可能である。しかしながら、物体からの反射光の受光強度は、その物体の表面の性質、具体的には、再帰反射性や反射率等によっても変化する。そのため、受光強度情報だけを用いて、監視対象の位置が特定される場合、特定される位置の精度が相対的に低下し、周辺監視装置150は、周囲の監視対象の位置を正確に把握することができない可能性がある。例えば、作業者が着用する反射材付きの被服の再帰反射性のバラツキが大きい場合、反射光の受光強度のレンジが相対的に広くなり、受光強度情報に基づく距離情報の精度が低下してしまう可能性がある。よって、監視対象の位置に応じて、報知機能や動作制限機能等の安全機能を作動させる場合に、報知機能や動作制限機能の作動条件にバラツキが生じうる。
 これに対して、検出部304Bは、受光強度情報、及びTOF情報に基づき、監視対象を認識(検出)し、監視対象の位置を特定する。そして、安全機能制御部305は、検出部304Bにより受光される反射光の強度が相対的に高く、且つ、ショベル100に対する距離が相対的に近い(即ち、報知範囲や動作制限範囲内の)監視対象が検出される場合に、報知機能及び動作制限機能の少なくとも一方を作動させる。つまり、安全機能制御部305は、センサ45Xの出力(受光強度情報及びTOF情報)に基づき、警報の出力やショベル100の動作制限を行う。これにより、周辺監視装置150は、TOF情報を用いることができるため、受光強度情報だけを用いる場合よりも相対的に高い精度で、ショベル100の周囲の監視対象の位置を特定することができる。そのため、周辺監視装置150は、監視対象の位置に応じて、報知機能や動作制限機能等の安全機能を作動させる場合に、報知機能や動作制限機能の作動条件のバラツキを抑制することができる。よって、周辺監視装置150は、ショベル100の安全性を向上させることができる。
 尚、本例では、検出部304Bは、TOF情報に代えて、或いは、加えて、ショベル100の周囲の物体までの距離に関する他の情報を用いて、監視対象の位置を特定してもよい。例えば、検出部304Bは、撮像装置40(カメラ40X)としてのステレオカメラの撮像画像に基づき取得される、周囲の物体までの距離に関する情報を用いて、監視対象の位置を特定してもよい。
 [安全機能の作動制御方法]
 次に、安全機能制御部305による安全機能(報知機能及び動作制限機能)の作動制御方法の具体例について説明する。
 本例では、安全機能制御部305は、検出部304Aにより監視対象が検出される場合と、検出部304Bにより監視対象が検出される場合とで、安全機能の作動態様を異ならせる。
  <安全機能の作動制御方法の第1例>
 安全機能制御部305は、検出部304Aにより監視対象が検出される場合、安全機能のうちの報知機能だけを作動させる。つまり、安全機能制御部305は、検出部304Aにより監視対象が検出される場合、監視対象とショベル100との距離等に関係なく、動作制限機能を作動させない。具体的には、安全機能制御部305は、検出部304Aにより報知範囲(以下、便宜的に「第1報知範囲」)内で監視対象が検出される場合、報知機能を作動させ、検出部304Aによる監視対象の検出に対応する動作制限範囲(以下、便宜的に「第1動作制限範囲」)は、設定されない。
 一方、安全機能制御部305は、検出部304Bにより動作制限範囲(以下、便宜的に「第2動作制限範囲」)で監視対象が検出される場合に、動作制限機能を作動させる。また、安全機能制御部305は、検出部304Bにより報知範囲(以下、便宜的に「第2報知範囲」)で監視対象が検出される場合に、報知機能を作動させてもよい。第1報知範囲及び第2報知範囲は、同じであってもよいし、異なっていてもよい。
 例えば、監視対象に関する検出精度が相対的に低いにも関わらず、その検出結果に基づき、動作制限機能が作動すると、報知機能が作動する場合より、オペレータに違和感を与えたり、ショベル100の作業効率を低下させたりする可能性が高くなる。
 これに対して、本例では、周辺監視装置150は、検出部304A,304Bのうち、検出部304Bで監視対象が検出される場合だけ、動作制限機能の作動を許容する。撮像装置40の撮像画像に対する画像認識で監視対象を検出する場合よりも、周囲情報取得装置45の受光情報に基づき監視対象を検出する場合の方が、相対的に検出精度が高くなる傾向にあるからである。つまり、検出部304Aよりも検出部304Bの方が監視対象に関する検出精度が高くなる傾向があるからである。これにより、周辺監視装置150は、オペレータに与える違和感やショベル100の作業効率の低下等を抑制しつつ、ショベル100の安全性を向上させることができる。
  <安全機能の作動制御方法の第2例>
 安全機能制御部305は、検出部304Aにより第1報知範囲で監視対象が検出される場合と、検出部304Bにより第2報知範囲で監視対象が検出される場合とで、報知機能を作動させる際の報知態様(即ち、報知の仕方)を異ならせる。これにより、ショベル100のオペレータ、管理者、周囲の作業者等は、撮像装置40(カメラ40X)を用いて監視対象が検出されているのか、周囲情報取得装置45(センサ45X)を用いて監視対象が検出されているのかを、容易に把握することができる。
 例えば、安全機能制御部305は、検出部304Aにより監視対象が検出される場合と、検出部304Bにより監視対象が検出される場合とで、音出力装置54から出力される音の音色、音量、パターン、吹鳴周期、音声の内容等を異ならせてよい。また、遠隔報知機能により、管理装置200の出力装置230(音出力装置)や端末装置300の出力装置330(音出力装置)が作動する場合についても同様であってよい。具体的には、安全機能制御部305は、検出部304Bにより監視対象が検出される場合、検出部304Aにより監視対象が検出される場合よりも緊急度(危険度)が高いことを表す音色、音量、パターン、吹鳴周期、音声の内容等が採用されてもよい。上述の如く、検出部304Aよりも検出部304Bの方が監視対象に関する検出精度が高くなる傾向があるからである。
 また、例えば、安全機能制御部305は、検出部304Aにより監視対象が検出される場合と、検出部304Bにより監視対象が検出される場合とで、表示装置50等に表示される報知機能に関する表示態様を異ならせてもよい(例えば、図20参照)。
 [オプション装備の装着時における安全機能の作動制御方法]
 次に、図16を参照して、ショベル100の占有体積を増加させるオプション装備(以下、単に「オプション装備」)の装着時における安全機能制御部305による安全機能の作動制御方法の具体例について説明する。
 図16は、オプション装備の装着時における動作制限範囲を説明する図である。
 図16に示すように、本例では、ショベル100には、下部走行体1の前側にオプション装備としてのブレード90が取り付けられている。具体的には、ブレード90は、下部走行体1(クローラ1CL,1CR)の直進方向の前側に飛び出す態様で取り付けられる(図中の白抜き矢印)。そのため、下部走行体1がブレード90の装着される方向(図中の右方向)に走行(例えば、直進走行或いは緩旋回走行)する場合に、ブレード90が装着されない状態よりも周囲の作業者610とショベル100(ブレード90)との距離が近づく。また、下部走行体1がピボットターンやスピンターン等を行う場合に、ブレード90も下部走行体1の動作に伴いショベル100の周囲に向けて旋回動作を行うため、ブレード90が下部走行体1の前側に飛び出す分だけ旋回半径が広くなる。よって、ショベル100にブレード90が装着されていない状態よりも周囲の作業者610とショベル100(ブレード90)との距離が近づく可能性がある。
 これに対して、安全機能制御部305は、ショベル100の動作(即ち、下部走行体1の走行動作)に伴いブレード90がショベル100の周囲に向けて移動する場合に、その他の場合よりも、安全機能を作動し易くする。その他の場合には、例えば、下部走行体1がブレード90の装着されない後方に走行し、ブレード90がショベル100の周囲から離れる場合が含まれる。本例では、ブレード90がショベル100の周囲に向かう方向、つまり、下部走行体1の前方における動作制限範囲の外縁が、下部走行体1に装着されるブレード90が下部走行体1にブレード90が装着されない場合(例えば、図中の点線620)よりもショベル100から遠ざかるように設定される(例えば、図中の点線630)。当該設定(変更)は、設定部302により実行され、その設定内容は、記憶部303に登録されてよい。また、報知機能に対応する報知範囲の外縁についても同様であってよい。これにより、安全機能制御部305は、ショベル100がブレード90の装着される下部走行体1の前側(図中の右側)に向けて走行する場合に、検出部304による作業者610の検出に応じて、より早く安全機能(警報機能や動作制限機能)を作動させることができる。そのため、安全機能制御部305は、オプション装備の装着に合わせて、より適切に安全機能を作動させることができる。よって、周辺監視装置150は、ショベル100の安全性をより向上させることができる。換言すれば、安全機能制御部305は、オプション装備(ブレード90)が装着されている場合、オプション装備が装着されていない場合よりもショベル100の安全性が相対的に高くなる態様で安全機能を作動させることができる。
 また、報知範囲や動作制限範囲の外縁がショベル100から遠ざかる方向に設定される代わりに、安全機能を作動させるための他の条件が緩和されることにより、安全機能が作動し易くなるように設定されてもよい。例えば、安全機能の作動条件として、検出部304により検出される監視対象の確からしさの度合い(以下、「監視対象の確度」)に関する条件が含まる場合、当該条件を緩和してもよい。監視対象の確度に関する情報は、検出部304から出力される。具体的には、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、その他の場合よりも監視対象の確度の条件に対応する閾値を相対的に低く設定してよい。また、設定部302は、ブレード90が装着される場合、ブレード90が装着されない場合よりも監視対象の確度の条件に対応する閾値を相対的に低く設定してよい。これにより、安全機能制御部305は、オプション装備の装着に合わせて、より適切に安全機能を作動させることができる。
 また、安全機能の作動条件が緩和される代わりに、作動する安全機能が相対的に安全性の高い仕様に切り替えられてもよい。例えば、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、安全機能として報知機能及び動作制限機能を作動可能に設定し、その他の場合に、報知機能だけを作動可能と設定してもよい。また、設定部302は、ブレード90が装着される場合に、安全機能として報知機能及び動作制限機能を作動可能に設定し、ブレード90が装着されない場合に、安全機能として報知機能だけを作動可能に設定してもよい。動作制限機能は、オペレータ等の意図に関わらず、強制的にショベル100の動作を制限することができる点で、報知機能よりも相対的に安全性が高いからである。また、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、相対的に高い制限度で動作制限機能を作動可能に設定し、その他の場合に、相対的に低い制限度で動作制限機能を作動可能に設定してもよい。また、設定部302は、ブレード90が装着される場合に、相対的に高い制限度で動作制限機能を作動可能に設定し、ブレード90が装着されない場合に、相対的に低い制限度で動作制限機能を作動可能に設定してもよい。また、設定部302は、ショベル100の動作に伴いブレード90がショベル100の周囲に向けて移動する場合に、相対的に高い緊急度(危険度)を表す態様で報知機能を作動可能に設定し、その他の場合に、相対的に低い緊急度(危険度)を表す態様で報知機能を作動可能に設定してもよい。また、設定部302は、ブレード90が装着される場合に、相対的に高い緊急度(危険度)を表す態様で報知機能を作動可能に設定し、ブレード90が装着されない場合に、相対的に低い緊急度(危険度)を表す態様で報知機能を作動可能に設定してもよい。これにより、安全機能制御部305は、オプション装備の装着に合わせて、より適切に安全機能を作動させることができる。
 また、ブレード90に代えて、或いは加えて、他の種類のオプション装備が取り付けられる場合についても、同様に、相対的に安全性が高くなる態様で安全機能が作動されてよい。他の種類のオプション装備には、例えば、上部旋回体3の後部に装着される追加のカウンタウェイトや標準装備のカウンタウェイトより重量が重い大型のカウンタウェイトが含まれてよい。また、他の種類のオプション装備には、アーム5の代わりに装着される相対的に長いロングアームが含まれてよい。また、他の種類のオプション装備には、例えば、バケット6の代わりに取り付けられるエンドアタッチメントとしての予備アタッチメント(例えば、ブレーカや攪拌機等)やエンドアタッチメントとアーム5との間に取り付けられる予備アタッチメント(例えば、クイックカップリングやチルトローテータ等)が含まれてもよい。
 また、安全機能制御部305は、オプション装備が着脱可能である場合に、オプション装備の種類ごとに、オプション装備の有無を判断し、その判断結果に応じて、上述の如く、安全機能の作動態様を変化させてもよい。例えば、設定部302は、入力装置52を通じたオペレータ等の所定の入力に応じて、オプション装備の装着状態(例えば、オプション装備の種類ごとの装着の有無等)に関する設定を行う。そして、安全機能制御部305は、記憶部303に登録されるその設定内容に基づき、オプション装備の有無を判断してよい。また、例えば、安全機能制御部305は、オプション装備の装着状況に関する情報を取得可能なセンサ(例えば、撮像装置40やオプション装備の取付部に設けられるスイッチ)等の出力に基づき、オプション装備の種類ごとにオプション装備が装着されているか否かを自動で判断してもよい。
 また、表示処理部301は、オプション装備が装着されていない状態からオプション装備が装着されている状態に移行した場合に、安全機能の作動態様の変更に関する通知(以下、単に「変更通知」)を表示装置50等に表示させてもよい。当該変更通知には、安全機能の作動対象が自動で変更されることの通知が含まれる。これにより、周辺監視装置150は、オプション装備の装着によって、自動で、安全機能の作動態様が変更されることをオペレータや管理者等に把握させることができる。また、当該変更通知には、安全機能の作動態様の変更の許否を促す通知であってもよい。この場合、オペレータや管理者等のユーザは、当該変更通知が表示装置50等に表示される場合に、入力装置52,240,340を通じて、安全機能の作動態様の変更を許可したり、拒否したりすることができる。そのため、オプション装備の装着状況に応じた安全機能の作動態様の変更に対して、オペレータや管理者等のユーザの意思を反映させることができる。また、当該変更通知には、安全機能の作動態様の手動での変更を促す通知であってもよい。この場合、ユーザは、当該変更通知に応じて、手動で、安全機能の作動態様の変更を行うことができる。つまり、設定部302は、入力装置52,240,340を通じたオペレータや管理者等による手動での設定操作に応じて、安全機能の作動態様を変更することができる。そのため、オプション装備の装着状況に応じた安全機能の作動態様の変更に対して、オペレータ等のユーザの意思を反映させることができる。
 [外部報知機能の作動制御方法]
 次に、安全機能制御部305による外部報知機能の作動制御方法の具体例について説明する。
 安全機能制御部305は、上述の如く、検出部304により監視対象が検出される場合に、外部報知機能を作動可能に構成される。
 例えば、監視対象としての作業者の動作に起因するショベル100と周囲の作業者との位置関係の変化は、相対的に緩やかであり、急激に安全性が低下する可能性が低いと考えられる。そのため、それほど安全性が低下していない状況では、外部報知機能を作動させる必要性は相対的に低く、逆に、外部報知機能を作動させると、例えば、作業者が驚いて作業のミスを誘発する可能性もある。よって、本例では、安全機能制御部305は、検出部304により(報知範囲内で)監視対象が検出される場合に、外部報知機能を作動させるときと、外部報知機能を作動させないときとがある。
 一方、例えば、ショベル100は、その操作状況や地形の状況によっては、その動作に起因して急激に安全性が低下する場合も想定される。そのため、それほど安全性が低下していない状況であっても、キャビン10の内部のオペレータや遠隔操作のオペレータに対して、周囲の作業者等の監視対象の存在を通知する必要性が高いと考えられる。また、ショベル100が自動運転機能で作業を行っている場合に、ショベル100の管理者等は、例えば、管理装置200の出力装置230(表示装置)に表示される監視画像を見ながら、それぞれのショベル100の作業状況を監視する場合もある。同様に、ショベル100の管理者等は、端末装置300を用いて、その作業状況を監視する場合もある。そのため、それほど安全性が低下していない状況であっても、遠隔でショベル100の作業状況を監視する管理者等に対して、周囲の作業者等の監視対象の存在を通知する必要性が高いと考えられる。よって、安全機能制御部305は、検出部304により報知範囲内で監視対象が検出される場合に、外部報知機能がしないときでも、内部報知機能や遠隔報知機能を作動させてよい。
 例えば、安全機能制御部305は、検出部304A及び検出部304Bの何れにより監視対象が検出されているのかに応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてよい。具体的には、安全機能制御部305は、検出部304Aにより監視対象が検出される場合に、外部報知機能を作動不可である一方、検出部304Bにより監視対象が検出される場合に、外部報知機能を作動可能であるように構成されてよい。例えば、外部報知機能が作動すると、ショベル100の周囲の作業者等の作業が止まってしまう可能性があり、仮に誤報であると、不要な外部報知機能の作動による作業効率の低下が生じる可能性がある。これに対して、上述の如く、検出部304A,304Bのうちの相対的に検出精度が高い傾向にある検出部304Bにより監視対象が検出される場合だけ、外部報知機能を作動可能にさせることで、ショベル100の周囲の安全性と作業効率とのバランスを図ることができる。
 また、例えば、安全機能制御部305は、検出部304により監視対象が検出される場合に、動作制限機能の作動状況と連動させることにより、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、検出部304により報知範囲で監視対象が検出される場合であっても、動作制限機能(例えば、動作減速機能)が作動しない場合(例えば、後述の如く、監視対象とショベル100との接触する可能性がない場合等)、外部報知機能を作動させないようにしてよい。一方、安全機能制御部305は、検出部304により報知範囲で監視対象が検出され、且つ、動作制限機能(例えば、動作減速機能)が作動している場合に、外部報知機能を作動させてよい。これにより、周辺監視装置150は、ショベル100の安全性を確保しつつ、周囲の監視対象とショベル100との接触の可能性が低い状況で、外部報知機能が作動し、ショベル100の周囲の作業者等の作業が止まってしまうような事態の発生を抑制できる。そのため、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。また、ショベル100の動作制限機能が作動すると、ショベル100の周囲の作業者等の注意を引くことになるため、そもそも、ショベル100の周囲の作業が停止したり、滞ったりする可能性が高い。そのため、そのような状況で作動する外部報知機能が仮に誤報であったとしても、そもそも、ショベル100の周囲の作業が停止したり、滞ったりしているため、作業効率の低下の問題も生じにくくなる。
 また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合に、ショベル100の動作する方向に監視対象が存在するか否かに応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、ショベル100の操作情報に基づき、被駆動要素(例えば、下部走行体1、上部旋回体3、アタッチメント等)の操作に伴うショベル100の動作する方向を判断し、ショベル100の動作する方向に監視対象が存在しないときに、外部報知機能を作動させないようにしてよい。一方、安全機能制御部305は、ショベル100の操作情報に基づき、被駆動要素の操作に伴うショベル100の動作する方向を判断し、ショベル100の動作する方向に監視対象が存在するときに、外部報知機能を作動させてよい。これにより、周辺監視装置150は、ショベル100の安全性を確保しつつ、周囲の監視対象とショベル100との接触の可能性が低い状況で、外部報知機能が作動し、ショベル100の周囲の作業者等の作業が止まってしまうような事態の発生を抑制できる。そのため、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。
 また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合に、ショベル100と当該監視対象との位置関係に基づく危険度の高低に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。
具体的には、安全機能制御部305は、ショベル100と当該監視対象との位置関係に基づく危険度(例えば、接触の可能性等)が相対的に高いときに、外部報知機能を作動させる一方、ショベル100と当該監視対象との位置関係に基づく危険度が相対的に低いときに、外部報知機能を作動させないようにしてよい。当該危険度は、例えば、監視対象とショベル100との距離に基づき取得(算出)されてよい。また、当該危険度は、例えば、監視対象と、ショベル100の操作に対応する被駆動要素の動作方向(例えば、下部走行体1の進行方向、上部旋回体3の旋回方向、アタッチメントの移動方向等)に基づき取得(算出)されてもよい。これにより、周辺監視装置150は、ショベル100の安全性を確保しつつ、周囲の監視対象とショベル100との接触の可能性が低い状況で、外部報知機能が作動し、ショベル100の周囲の作業者等の作業が止まってしまうような事態の発生を抑制できる。そのため、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。
 また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合、ゲートロックレバーの操作状態に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、ゲートロックレバーが解除状態のときに、外部報知機能を作動させてよい。ゲートロックレバーが解除状態のときには、オペレータの操作や自動運転機能に対応する操作指令に応じて、ショベル100が動作する可能性が高いからである。一方、安全機能制御部305は、ゲートロックレバーがロック状態のときに、外部報知機能を作動させないようにしてよい。ゲートロックレバーがロック状態のときには、オペレータの操作や自動運転機能に対応する操作指令が無効にされ、ショベル100が動作しないからである。これにより、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。
 また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合、他の作動条件の成立でショベル100の動作を停止させているか否かに応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、他の作動条件の成立に応じてショベル100の動作を停止(禁止)させていないときに、外部報知機能を作動させてよい。オペレータの操作や自動運転機能に対応する操作指令に応じてショベル100が動作する可能性があるからである。一方、安全機能制御部305は、他の作動条件の成立に応じてショベル100の動作を停止(禁止)させているときに、外部報知機能を作動させないようにしてよい。オペレータの操作や自動運転機能に対応する操作指令に依らず、ショベル100が停止されているからである。これにより、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。
 また、例えば、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合、ショベル100の停止状態の継続時間の長短に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、ショベル100の停止している継続時間が所定閾値より長いときに、外部報知機能を作動させてよい。ショベル100の停止している継続時間が相対的に長くなると、ショベル100の周囲の作業者等には、ショベル100が動かないだろうという意識が強くなり、安全性への意識が低下する可能性があるからである。一方、安全機能制御部305は、ショベル100の停止している継続時間が所定閾値以下であるとき(ショベル100が停止していないときを含む)に、外部報知機能を作動させないようにしてよい。逆に、ショベル100の停止している継続時間が相対的に短く、ショベル100が断続的に動いているような状態では、ショベル100の動作への作業者の注意が働きやすく、作業者の安全性に対する意識は相対的に高いと考えられるからである。これにより、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。
 また、安全機能制御部305は、検出部304により報知範囲で監視対象が検出されている場合、ショベル100の停止状態での動作の開始の兆候に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてもよい。具体的には、安全機能制御部305は、ショベル100が停止しており、且つ、ショベル100が動作を開始する兆候があるときに、外部報知機能を作動させてよい。また、安全機能制御部305は、ショベル100の停止している継続時間が所定閾値以上で、且つ、ショベル100が動作を開始する兆候があるときに、外部報知機能を作動させてもよい。ショベル100が動作を開始する可能性が高いからである。一方、安全機能制御部305は、ショベル100が停止していないとき、或いは、停止中のショベル100が動作を開始する兆候がないときに、外部報知機能を作動させないようにしてよい。また、安全機能制御部305は、ショベル100が停止している継続時間が所定閾値以下であるとき(ショベル100が停止していないときを含む)、或いは、停止中のショベル100が動作を開始する兆候がないときに、外部報知機能を作動させないようにしてもよい。上述の如く、ショベル100が動いている状況では、ショベル100への作業者の注意が働きやすく、作業者の安全性に対する意識は相対的に高いと考えられるからである。また、ショベル100が動作を開始する可能性が低い状況では、外部報知機能の必要性が相対的に低下するからである。これにより、ショベル100の安全性を考慮しつつ、作業現場の作業効率の低下を抑制することができる。
 ショベル100の動作の開始の兆候の有無は、例えば、ゲートロックレバーの操作状態に基づき判断されてよい。ゲートロックレバーがロック状態にある場合、ショベル100が動作を開始する可能性が低い一方、ゲートロックレバーがロック状態から解除状態に操作された場合、ショベル100が動作を開始する可能性が高いからである。また、ショベル100の動作の開始の兆候の有無は、例えば、オペレータの操作の開始の兆候の有無によって判断されてよい。オペレータの操作の開始の兆候の有無は、例えば、キャビン10の室内に設置されるカメラや遠隔操作のオペレータを撮像するカメラの撮像画像に基づき認識されてよい。遠隔操作のオペレータを撮像するカメラは、例えば、管理装置200や端末装置300に設置される。また、オペレータの操作の開始の兆候の有無は、例えば、操作装置26や遠隔操作用操作装置に対するオペレータによる接触状態(把持状態)に基づき認識されてもよい。例えば、操作装置26や遠隔操作用操作装置がオペレータにより握られていない場合、その出力は、ゼロに相当する状態で安定している。一方、操作装置26や遠隔操作用操作装置をオペレータが手で握ると、操作装置26や遠隔操作用操作装置の出力は、操作開始前において、微少な操作量を示す状態に移行する。そのため、操作装置26や遠隔操作用操作装置の出力(圧力信号や電気信号)を監視することにより、操作装置や遠隔操作用操作装置に対するオペレータの手の接触状態を把握し、オペレータの操作開始の兆候の有無を認識することができる。また、ショベル100の動作の開始の兆候の有無は、ショベル100の動作パターンに基づき、判断されてもよい。ショベル100の動作パターンは、例えば、オペレータの操作の内容や自動運転機能に対応する操作指令の内容の履歴に基づき認識されてよい。
 また、例えば、設定部302は、入力装置52を通じてオペレータ等による所定の操作に応じて、外部報知機能のON(有効)及びOFF(無効)を切り替える設定を行ってもよい。この場合、安全機能制御部305は、検出部304により報知範囲で監視対象が検出される場合、外部報知機能の作動の有無に関する設定状況に応じて、外部報知機能を作動させるときと、作動させないときとを切り替えてよい。具体的には、安全機能制御部305は、検出部304により報知範囲で監視対象が検出される場合、外部報知機能がON(有効)に設定されているときに、外部報知機能を作動させ、外部報知機能がOFF(無効)に設定されているときに、外部報知機能を作動させないようにしてよい。これにより、周辺監視装置150は、外部報知機能を作動させるか否かの判断に対して、オペレータ等の意思を反映させることができる。
 安全機能制御部305は、上述の如く、音出力装置54を通じて、外部報知機能を作動させてよい。音出力装置54には、上述の如く、例えば、ホーン54aや走行アラーム54b等が含まれる。これにより、安全機能制御部305は、既存のホーン54aや走行アラーム54bを用いて、外部報知機能を実現させることができる。そのため、外部報知機能の実現のためのコストを抑制することができる。
 例えば、ホーン54aは、ノブスイッチ64のON操作とは無関係に、コントローラ30からの外部報知機能の作動に対応する制御指令(制御電流)に応じて、コイルが通電され、リレー62が閉成されることにより、吹鳴可能な構成であってよい。コントローラ30は、ホーンリレーの開閉パターンを適宜制御することにより、ホーン54aから所定の吹鳴パターンで音を出力させることができる。このとき、外部報知機能に対応するホーン54aの吹鳴パターンは、通常、オペレータ等が走行開始時に吹鳴させるときの吹鳴パターンと異なる態様に設定されてよい。これにより、周辺監視装置150は、ショベル100の周囲の作業者等に対して、ショベル100の走行開始の通知(合図)と、外部報知機能の作動とを識別させることができる。
 また、例えば、走行アラーム54bは、コントローラ30の外部報知機能の作動に対応する制御指令に応じて、所定の吹鳴パターンで音を出力する。このとき、外部報知機能に対応する走行アラームの吹鳴パターンは、通常の下部走行体1の走行時とは異なる態様(例えば、"ピピピッ、ピピピッ、ピピピッ、・・・"と繰り返し吹鳴するビープ音)に設定されてよい。これにより、周辺監視装置150は、ホーン54aの場合と同様、ショベル100の周囲の作業者等に対して、ショベル100の走行時の通知と、外部報知機能の作動とを識別させることができる。
 また、安全機能制御部305は、上述の如く、上部旋回体3のハウス部等に設けられる前照灯等の照明装置や外部用の表示装置を用いて、外部報知機能を作動させてもよい。
 例えば、照明装置は、コントローラ30の外部報知機能の作動に対応する制御指令に応じて、点灯したり、所定のパターンで点灯と消灯とを繰り返したりする。
 また、例えば、外部用の表示装置は、コントローラ30の外部報知機能の作動に対応する制御指令に応じて、ショベル100の周囲の作業者や監督者等にショベル100の周囲からの待避を促す文字情報を表示させる。
 [動作制限機能の作動制御方法]
 次に、図17~図19を参照して、安全機能制御部305による動作制限機能の作動制御方法の具体例について説明する。
 図17は、ショベル100の周囲の監視対象との接触の有無の判断方法を説明する図であり、具体的には、図17は、ショベル100の下部走行体1(クローラ1CL,1CR)が図中の右方向に直進走行している作業状況700を示している。図18、図19は、動作制限機能の作動制御方法を説明する図である。具体的には、図18、図19は、それぞれ、ショベル100の作業状況810,820における動作制限機能の作動制御方法を示す図である。
 本例では、安全機能制御部305は、検出部304により動作制限範囲に監視対象が検出される場合、ショベル100の操作(即ち、操作装置26の操作や遠隔操作)や自動運転機能に対応する操作指令に応じたショベル100の動作によって、当該監視対象とショベル100との接触が生じるか否かを判断する。そして、安全機能制御部305は、当該監視対象とショベル100との接触が生じると判断する場合に、動作停止機能を作動させ、ショベル100の操作に対するショベル100の動作を停止させる。
 具体的には、安全機能制御部305は、操作対象の被駆動要素の操作情報に基づき、被駆動要素の動作する方向を判断してよい。そして、安全機能制御部305は、ショベル100の外面と(検出部304により検出されている)監視対象との位置関係に関する情報と、判断したショベル100の動作する方向とに基づき、ショベル100と監視対象との接触の有無を予測してよい。ショベル100の外面と監視対象との位置関係に関する情報には、例えば、撮像装置40(カメラ40X)や周囲情報取得装置45(センサ45X)の出力情報や検出部304の検出結果等が含まれうる。また、ショベル100の外面と監視対象との位置関係に関する情報には、例えば、カメラ40Xやセンサ45Xのショベル100(上部旋回体3)における設置位置に関する情報が含まれうる。監視対象に関する情報を取得しているカメラ40X、センサ45Xの設置場所から、監視対象がショベル100の外面のどの部分と近いのか等を判断することができるからである。また、ショベル100の外面と監視対象との位置関係に関する情報には、ショベル100が動作する方向に対するショベル100の体格(例えば、幅等の諸元や形状等)に関する情報が含まれうる。ショベル100が動作する方向に対するショベル100の体格(占有幅)によって、ショベル100の外面と監視対象との位置関係が変化しうるからである。
 例えば、安全機能制御部305は、検出部304により監視対象が検出されている場合、所定周期ごとに、被駆動要素の操作情報に基づき、被駆動要素の動作に伴うショベル100の動作する方向を判断する。これにより、被駆動要素の操作情報の変化に合わせて、ショベル100の動作する方向の判断結果が更新される。同様に、検出部304は、所定周期ごとに、ショベル100の周囲の監視対象を検出する処理を行い、検出される監視対象の位置情報を出力する。これにより、検出部304により継続して検出されている監視対象のショベル100に対する相対的な位置情報が遂次更新される。そして、安全機能制御部305は、自らが判断するショベル100の動作する方向と、検出部304から出力される監視対象の位置情報とに基づき、今後の所定時間が経過するまでの間で、ショベル100と監視対象との接触が生じるか否かを判断してよい。これにより、安全機能制御部305は、逐次更新されるショベル100の動作する方向とショベル100から見た監視対象の位置とに合わせて、逐次、ショベル100と周囲の監視対象との間の接触の有無の判断結果を更新していくことができる。そのため、被駆動要素に関する操作内容が変化するような状況(例えば、下部走行体1に関する操作内容が、直進走行から緩旋回走行に変化する走行操作が行われる場合等)であっても、適切に、ショベル100と監視対象との間の接触の有無を判断することができる。
 また、例えば、安全機能制御部305は、ショベル100の外面と監視対象との位置関係に関する情報と、判断したショベル100の動作する方向とに基づき設定される所定範囲(即ち、動作停止範囲)を用いて、ショベル100と監視対象との接触の有無を判断してもよい。具体的には、動作停止範囲は、ショベル100と監視対象との間の接触が生じうる範囲として、所定周期ごとに、設定部302により設定されてよい。
 例えば、図17の作業状況700では、上部旋回体3及びアタッチメントが実線で示されるショベル100(以下、便宜的に、「実線のショベル100」)は、下部走行体1の直進方向(図中の右方向)に対して、上部旋回体3(アタッチメント)が左方向に90度旋回し、図中の上方向を向いている。また、上部旋回体3及びアタッチメントが一点鎖線で示されるショベル100(以下、便宜的に、「一点鎖線のショベル100」)は、下部走行体1の直進方向(図中の右方向)に対して、上部旋回体3が左方向に旋回し、図中の右斜め上方向を向いている。
 実線のショベル100の下部走行体1が図中の右方向に走行する場合、機体(下部走行体1及び上部旋回体3)は、上面視で、クローラ1CLの左端部(外端部)と上部旋回体3の後端部とにより規定される点線710の間の幅(範囲)を通過する。そのため、安全機能制御部305は、実線のショベル100の状態の場合、下部走行体1の走行時に、クローラ1CLの左端部(外端部)及び上部旋回体3の後端部と、周囲の監視対象(例えば、作業者730)との位置関係によって、監視対象とショベル100(機体)との接触の有無を判断することができる。また、安全機能制御部305は、ショベル100の直進方向(図中の右方向)に対するショベル100の機体の体格(点線710の間の幅)と、ショベル100の周囲の監視対象の相対位置とによって、監視対象とショベル100(機体)との接触の有無を判断することも可能である。例えば、安全機能制御部305は、点線710の間の幅に対して所定の余裕分(例えば、1メートル~1.5メートル)を付加した幅で規定される動作停止範囲内で、監視対象が検出される場合に、ショベル100と監視対象との接触が生じると判断してよい。
 一方、一点鎖線のショベル100の下部走行体1が図中の右方向に走行する場合、機体(下部走行体1及び上部旋回体3)は、上面視で、上部旋回体3の左前端の隅部と右後端の隅部とにより規定される一点鎖線720の間の幅(範囲)を通過する。そのため、安全機能制御部305は、一点鎖線のショベル100の状態の場合、下部走行体1の走行時に、上部旋回体3の左前端の隅部及び右後端の隅部と、周囲の監視対象(例えば、作業者730)との位置関係によって、監視対象とショベル100(機体)との接触の有無を判断することができる。また、安全機能制御部305は、ショベル100の直進方向(図中の右方向)に対するショベル100の機体の体格(一点鎖線720の間の幅)と、ショベル100の周囲の監視対象の相対位置とによって、監視対象とショベル100(機体)との接触の有無を判断することも可能である。例えば、安全機能制御部305は、一点鎖線720の間の幅に対して所定の余裕分を追加した幅で規定される動作停止範囲内で、監視対象が検出される場合に、ショベル100と監視対象との接触が生じると判断してよい。
 上述の如く、実線のショベル100の状態の場合、動作停止範囲は、点線710の間の範囲に相当し、一点鎖線のショベル100の状態の場合、動作停止範囲は、一点鎖線720の間の範囲に相当する。つまり、設定部302は、下部走行体1に対する上部旋回体3の旋回角度に応じて、動作停止範囲を変化させてよい。これにより、設定部302は、上部旋回体3の旋回角度に合わせて、より適切に、動作停止範囲を設定することができる。上部旋回体3の旋回角度に関する情報は、例えば、カメラ40Xの撮像画像に基づき取得されてよい。具体的には、カメラ40Xの撮像画像に映っているクローラの見え方やどのカメラ40Xに映っているか等に応じて、上部旋回体3の旋回角度が判断されうる。また、上部旋回体3の旋回角度に関する情報を取得可能なセンサ(例えば、上部旋回体3に搭載される、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、IMU(Inertial Measurement Unit等)がショベル100に設けられてもよい。
 また、図17の作業状況700では、下部走行体1が直進走行する場合を想定するが、下部走行体1は、直進走行の他、緩旋回走行、ピボットターン、スピンターン等の走行態様を有する。そのため、安全機能制御部305は、操作情報出力装置29から入力される操作情報に基づき、下部走行体1の直進走行に対応する走行操作であるのか、緩旋回走行に対応する走行操作であるのか、ピボットターンに対応する旋回操作であるのか、スピンターンに対応する旋回操作であるのかを判断してよい。つまり、下部走行体1に関する操作情報には、直進走行に対応する走行操作を表す情報、緩旋回走行に対応する走行操作を表す情報、ピボットターンに対応する走行操作を表す情報、及びスピンターンに対応する走行操作を表す情報の少なくとも一つが含まれてよい。
 このように、安全機能制御部305は、ショベル100の被駆動要素の動作方向に対する機体等の体格(占有幅)を考慮することにより、ショベル100と検出部304により検出される周囲の監視対象との間の接触の有無を判断することができる。具体的には、安全機能制御部305は、ショベル100の被駆動要素に関する操作情報、及びショベル100の外面と監視対象との間の位置関係に関する情報に基づき、被駆動要素の動作に伴い監視対象とショベル100との接触が生じるか否かを判断してよい。また、下部走行体1の走行操作の場合、下部走行体1の走行操作に関する情報には、直進走行に対応する走行操作を表す情報、緩旋回走行に対応する走行操作を表す情報、ピボットターンに対応する走行操作を表す情報、及びスピンターンに対応する走行操作を表す情報の少なくとも一つが含まれる。これにより、安全機能制御部305は、下部走行体1の進行方向をより詳細に把握し、より適切に、ショベル100と監視対象との間の接触の有無を判断することができる。
 例えば、図18の作業状況810では、ショベル100は、下部走行体1の直進方向(図中の右方向)を基準とする旋回角度が左方向に90度の状態にある。また、下部走行体1の前方(図中の右方向)の正面には、検出部304により検出される作業者811が存在する。
 この場合、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1が後方(図中の左方向)に進行(後進)することを許容する。ショベル100は、作業者811から離れる方向に移動するため、ショベル100と作業者811との接触が生じ得ないからである。一方、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1の前方(図中の右方向)に進行(前進)することを禁止し、動作停止機能を作動させる。作業者811は、ショベル100の進行方向の正面に存在するため、そのまま進行すると、ショベル100が作業者811に近づき、ショベル100と作業者811との間に接触が生じるからである。
 また、図19の作業状況820では、図18の作業状況810と同様、ショベル100は、下部走行体1の直進方向(図中の右方向)を基準とする旋回角度が左方向に90度の状態にある。また、下部走行体1の右斜め後方、且つ、クローラ1CRの右斜め前方には、検出部304により検出される作業者821が存在する。
 この場合、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1が後方(図中の左方向)に進行(後進)することを許容する。ショベル100は、作業者811から離れる方向に移動するため、ショベル100と作業者811との接触が生じ得ないからである。また、安全機能制御部305は、下部走行体1の走行操作に応じて、下部走行体1の前方(図中の右方向)に進行(前進)することも許容する。ショベル100は、下部走行体1の走行に伴い作業者812に近づくものの、ショベル100の占有幅の端部(一点鎖線822)からある程度離れているため、そのまま進行(直進)しても、ショベル100と作業者811との間に接触が生じないからである。
 尚、図19の作業状況820において、下部走行体1の右方向への緩旋回走行に対応する走行操作が行われる場合、ショベル100は、右方向に旋回しながら、作業者812に向かって移動する。そのため、安全機能制御部305は、下部走行体1の走行操作が右方向への緩旋回走行である場合、ショベル100の進行を禁止し、動作停止機能を作動させてよい。これにより、安全機能制御部305は、下部走行体1の走行操作の内容に応じて、より適切に、動作停止機能を作動させることができる。
 このように、安全機能制御部305は、ショベル100の操作に応じて、ショベル100が検出部304により検出される監視対象と接触しそうな場合、動作停止機能を作動させ、当該操作に対するショベル100の動作を停止させる。一方、安全機能制御部305は、ショベル100の操作に応じて、ショベル100が検出部304に検出される監視対象に近づく場合あっても、監視対象とショベル100との接触が生じない場合、当該操作に対するショベル100の動作を許容する。具体的には、安全機能制御部305は、被駆動要素のショベル100と検出部304により検出される監視対象とが接触するか否かを判断し、ショベル100と監視対象との間の接触が生じないと判断する場合に、ショベル100の操作に対するショベル100の動作を許容する。このとき、安全機能制御部305は、動作減速機能を作動させ、ショベル100の動作速度を減速させながら、ショベル100の動作を許容してもよいし、ショベル100の動作制限機能自体を作動させずに、ショベル100の動作を許容してもよい。これにより、周辺監視装置150は、ショベル100と監視対象との間の接触が生じない場合には、ショベル100の動作を許容し、ショベル100の安全性と作業効率とのバランスを図ることができる。よって、周辺監視装置150は、ショベル100の周囲の障害物(監視対象)の存在に応じて、より適切にショベル100の動作を停止させることができる。
 [監視対象の検出時における監視画像の表示制御方法]
 次に、図20~図22を参照して、検出部304による監視対象の検出時における表示処理部301による監視画像の表示制御方法の具体例を説明する。
 図20~図22は、検出部304による監視対象の検出時における監視画像の具体例を示す図である。具体的には、図20~図22は、それぞれ、検出部304による監視対象の検出時における表示装置50に表示される監視画像の第1例~第3例(監視画像910~930)を示す図である。
 尚、図22では、実際には表示されていない指示画像934,935が点線で描画されている。
 まず、図20に示すように、表示装置50には、表示処理部301の制御下で、監視画像910として、カメラ40Bの撮像画像(スルー画像)が表示されている。
 監視画像910には、ヘルメット及び反射ベストを着用している作業者911が映っている。本例では、作業者911は、ヘルメット及び反射ベストの双方を着用していることから、検出部304A及び検出部304Bの双方により検出されている。
 また、監視画像910には、検出部304Aにより作業者911が検出されていることを示す枠912が重畳して表示される。これにより、オペレータ等は、検出部304Aにより検出された作業者911の存在やその位置を認識し易くなる。
 また、枠912は、検出部304(検出部304A)により検出されている監視対象(作業者911)のショベル100からの距離に応じて、その表示態様が変化してもよい。例えば、枠912は、検出部304Aにより検出されている監視対象とショベル100との間の距離が相対的に離れている場合、黄色で表示され、当該監視対象とショベル100との間の距離が相対的に近い場合、赤色で表示されてよい。これにより、オペレータ等は、枠912の表示態様を通じて、ショベル100と監視対象との位置関係(距離)を把握することができる。上述の図10の枠520や後述する図22の枠932についても同様であってよい。
 また、監視画像910には、監視画像910内に検出部304Bにより検出された監視対象(作業者911)が存在することを表す指示画像913が重畳して表示される。これにより、オペレータ等は、検出部304Bにより検出された監視対象が現在表示されている監視画像910内にいることを認識することができる。
 指示画像913は、アローヘッド(矢尻)形状を有し、監視画像910の下端部、即ち、監視画像の910の上下方向のうちのショベル100の機体(上部旋回体3)寄りの端部に表示される。指示画像913は、監視画像910のショベル100の機体側に相当する下端部から監視画像910の内向き、即ち、監視画像910の内側に相当する上向きを指し示している。これにより、指示画像913は、具体的に、監視画像910内に検出部304Bにより検出された監視対象(作業者911)が存在することを表すことができる。
 また、指示画像913は、複数の円形状の画像(具体的には、14個の円形状の画像)によってアローヘッド形状が構成されており、円形状の画像の間の隙間部から監視画像910が露出している。これにより、指示画像913が監視画像910(カメラ40Xの撮像画像)に重畳して表示される場合であっても、指示画像913が表示される監視画像910の部分に対応するショベル100の周囲の様子をオペレータ等に適切に把握させることができる。また、指示画像913が監視対象に相当する画像部分に重畳して表示される場合であっても、指示画像913の隙間部を通じて、監視対象に相当する画像部分と背景に相当する画像部分とがそのまま露出する。そのため、オペレータ等のユーザは、監視画像910において、指示画像913が重畳している、監視対象に相当する画像部分と背景に相当する画像部分とを容易に区別することができる。以下、後述する図21の指示画像921,922及び図22の指示画像933~935についても同様である。
 尚、指示画像913は、隙間部のない連続的なアローヘッド形状により構成されてもよい。この場合、指示画像913(連続的なアローヘッド形状)は、重畳している裏側の画像部分を透過して視認可能な態様で表示されてもよい。これにより、指示画像913が監視画像910(カメラ40Xの撮像画像)に重畳して表示される場合であっても、指示画像913が表示される監視画像910の部分に対応するショベル100の周囲の様子をオペレータ等に適切に把握させることができる。
 また、指示画像913は、検出部304(検出部304B)により検出されている監視対象(作業者911)のショベル100からの距離に応じて、その表示態様が変化してもよい。例えば、指示画像913は、検出部304Bにより検出されている監視対象とショベル100との間の距離が相対的に離れている場合、黄色で表示され、当該監視対象とショベル100との間の距離が相対的に近い場合、赤色で表示されてよい。これにより、オペレータ等は、指示画像913の表示態様を通じて、ショベル100と監視対象との位置関係(距離)を把握することができる。以下、後述する図21の指示画像921,922及び図22の指示画像933~935についても同様であってよい。
 尚、本例では、表示装置50の表示領域全体に監視画像910が表示されるが、表示装置50の表示領域に余白を残す態様で、監視画像910が表示されてもよい。この場合、余白部分に、指示画像913が表示されてもよい。以下、後述する図21の指示画像921,922についても同様であってよい。また、指示画像913は、検出部304Bにより監視対象が検出される場合だけでなく、検出部304Aにより監視対象が検出される場合に表示されてもよい。以下、後述する図21の指示画像921,922及び図22の指示画像933~935についても同様であってよい。また、指示画像913に代えて、監視画像910に検出部304Bにより検出されている監視対象が存在することを指示可能な他の態様の指示画像が表示されてもよい。例えば、監視画像910の下端部に、上向きの矢印形状を有する指示画像がカメラ40Bの撮像画像に重畳して表示されてもよい。また、例えば、監視画像910の下端部に、上向きの頂点を有する二等辺三角形(或いは正三角形)の指示画像がカメラ40Bの撮像画像に重畳して表示されてもよい。この場合、矢印形状や二等辺三角形等の指示画像は、指示画像913と同様に、重畳している裏側の画像部分がそのまま露出する隙間部を有する態様であってもよいし、重畳している裏側の画像部分を透過して視認可能な態様であってもよい。これにより、指示画像913の場合と同様、監視画像910に重畳して指示画像が表示される場合であっても、指示画像が表示される監視画像910の部分に対応するショベル100の周囲の様子をオペレータ等に適切に把握させることができる。以下、後述する図21の指示画像921,922及び図22の指示画像933~935についても同様であってよい。
 このように、監視画像910(スルー画像)には、ショベル100(上部旋回体3)から撮像画像に表示されている範囲を見たときの検出部304Bにより検出されている監視対象(作業者911)の存在する方向を表す指示画像913が表示される。これにより、オペレータは、指示画像913を通じて、表示装置50の撮像画像に表示されているショベル100の周囲の範囲を基準として、どの方向に検出部304Bにより検出されている監視対象が存在するのかを容易に把握することができる。
 続いて、図21に示すように、表示装置50には、監視画像920として、カメラ40Bの撮像画像(スルー画像)が表示されている。
 本例では、監視画像920に対応するショベル100の周囲の範囲外で検出部304Bにより監視対象(作業者)が検出されている。
 監視画像920には、監視画像920に対応するショベル100の周囲の範囲外で検出部304Bにより監視対象が検出されていることを示す指示画像921,922が重畳して表示されている。これにより、オペレータ等は、監視画像920に対応するショベル100の周囲の範囲外で監視対象が検出されていることを認識することができる。
 指示画像921は、図20の指示画像913と同様に、アローヘッド(矢印)形状を有し、監視画像920の左端の上下方向の中央付近に重畳して表示される。指示画像921は、監視画像920の外向き、即ち、監視画像920の外側に相当する左方向を指し示している。これにより、指示画像921は、監視画像920に対応するショベル100の周囲の範囲よりも周方向で左側の範囲(例えば、カメラ40Rの撮像範囲)に検出部304Bにより検出されている監視対象が存在していることを表すことができる。つまり、指示画像921は、監視画像920を基準として、検出部304Bにより検出されている監視対象が存在する方向を指し示している。これにより、オペレータ等は、表示装置50に現在表示されている監視画像920を基準としてどの方向に監視対象が存在するかを直感的に把握することができる。そのため、オペレータ等は、入力装置52を通じて、表示装置50の表示内容を切り替える操作を行い、検出部304Bにより検出されている監視対象を撮像範囲に含むカメラ40Rの撮像画像を監視画像として表示装置50に表示させることができる。
 指示画像922は、指示画像921と同様に、アローヘッド形状を有し、監視画像920の右端の上下方向の中央付近に重畳して表示される。指示画像922は、監視画像920の外向き、即ち、監視画像920の外側に相当する右方向を指し示している。これにより、指示画像922は、監視画像920に対応するショベル100の周囲の範囲よりも周方向で右側の範囲(例えば、カメラ40Lの撮像範囲)に検出部304Bにより検出されている監視対象が存在していることを表すことができる。つまり、指示画像922は、監視画像920を基準として、検出部304Bにより検出されている監視対象が存在する方向を指し示している。これにより、オペレータ等は、表示装置50に現在表示されている監視画像920を基準としてどの方向に監視対象が存在するかを直感的に把握することができる。そのため、オペレータ等は、入力装置52を通じて、表示装置50の表示内容を切り替える操作を行い、検出部304Bにより検出されている監視対象を撮像範囲に含むカメラ40Lの撮像画像を監視画像として表示装置50に表示させることができる。
 尚、表示処理部301は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で検出部304により監視対象が検出される場合に、入力装置52を通じて、表示内容を切り替える操作がされない限り、表示装置50に当該監視画像を表示させる状態を維持してよい。指示画像921,922を通じて、オペレータ等は、検出されている監視対象の存在する位置を把握できるからである。これにより、周辺監視装置150は、表示装置50の表示内容に関するユーザの意志を優先させることができる。また、キャビン10内には、表示装置50とは別に、他の表示装置が設けられてもよい。この場合、表示処理部301は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で検出部304により監視対象が検出される場合に、当該監視対象が存在する位置に対応するカメラ40Xの撮像画像を他の表示装置に自動で表示させてもよい。これにより、オペレータ等の利便性が向上する。また、コントローラ30は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で検出部304により監視対象が検出されている場合に、表示装置50を通じてその旨を教示するのに代えて、或いは、加えて、他の方法で、その旨をオペレータ等に教示してもよい。例えば、コントローラ30は、表示装置50に表示されている監視画像に対応するショベル100の周囲の範囲外で監視対象が検出されている場合に、音出力装置54を通じて、所定の音や音声を出力させることにより、その旨をオペレータ等に教示してもよい。
 このように、監視画像920(スルー画像)には、ショベル100(上部旋回体3)から撮像画像に表示されている範囲を見たときの検出部304Bにより検出されている監視対象の存在する方向を表す指示画像921,922が表示される。これにより、オペレータは、指示画像921,922を通じて、表示装置50の撮像画像に表示されているショベル100の周囲の範囲を基準として、どの方向に検出部304Bにより検出されている監視対象が存在するのかを容易に把握することができる。
 続いて、図22に示すように、表示装置50には、カメラ40B,40L,40Rの撮像画像に基づく視点変換画像EP及びショベル画像CGを含む監視画像930が表示される。
 本例では、監視画像930には、上部旋回体3の後方に対応する位置に、ヘルメット及び反射ベストを着用している作業者931が映っている。本例では、作業者931は、ヘルメット及び反射ベストの双方を着用していることから、検出部304A及び検出部304Bの双方により検出されている。
 また、監視画像930には、検出部304Aにより作業者931が検出されていることを示す枠932が重畳して表示される。これにより、オペレータ等は、検出部304Aにより検出された作業者931の存在やその位置を認識し易くなる。
 また、監視画像930には、監視画像910内に検出部304Bにより検出された監視対象(作業者931)が存在することを表す指示画像933が表示される。これにより、オペレータ等は、検出部304Bにより検出された監視対象が現在表示されている監視画像930内にいることを認識することができる。
 指示画像933は、視点変換画像EPにおけるショベル100(ショベル画像CG)から見て後方の外縁部分、即ち、水平画像HVPの部分に重畳して表示される。指示画像933は、視点変換画像EPの外縁(水平画像HVPの部分)から内向き、即ち、視点変換画像EPの外縁からショベル100(ショベル画像CG)に向かう上向きを指し示している。これにより、指示画像933は、具体的に、監視画像930内に検出部304Bにより検出された監視対象(作業者931)が存在することを表すことができる。また、指示画像933は、上部旋回体3の後方に対応する視点変換画像EP(水平画像HVP)の部分に重畳して配置される。これにより、検出部304Bにより検出されている監視対象(作業者931)がショベル100(上部旋回体3)の後方に存在していることを表すことができる。
 また、本例では検出されていないが、検出部304Bにより上部旋回体3の左側方(例えば、カメラ40Lの撮像範囲)で監視対象が検出されている場合には、上部旋回体3の左側方に対応する視点変換画像EP(水平画像HVP)の部分に指示画像934(点線)が表示される。指示画像934は、視点変換画像EPにおけるショベル100(ショベル画像CG)から見て左方向の外縁部分、即ち、水平画像HVPの部分に重畳して表示される。指示画像934は、視点変換画像EPの外縁(水平画像HVPの部分)から内向き、即ち、視点変換画像EPの外縁からショベル100(ショベル画像CG)に向かう右向きを指し示している。これにより、指示画像934は、具体的に、監視画像930内に検出部304Bにより検出された監視対象が存在することを表すことができる。また、指示画像934は、上部旋回体3の左方向に対応する視点変換画像EP(水平画像HVP)の部分に重畳して配置される。これにより、検出部304Bにより検出されている監視対象がショベル100(上部旋回体3)の左方向に存在していることを表すことができる。
 同様に、本例では検出されていないが、検出部304Bにより上部旋回体3の右側方(例えば、カメラ40Rの撮像範囲)で検出部304Bにより監視対象が検出されている場合には、上部旋回体3の右側方に対応する視点変換画像EP(水平画像HVP)の部分に指示画像935(点線)が表示される。指示画像935は、視点変換画像EPにおけるショベル100(ショベル画像CG)から見て右方向の外縁部分、即ち、水平画像HVPの部分に重畳して表示される。指示画像935は、視点変換画像EPの外縁(水平画像HVPの部分)から内向き、即ち、視点変換画像EPの外縁からショベル100(ショベル画像CG)に向かう左向きを指し示している。これにより、指示画像935は、具体的に、監視画像930内に検出部304Bにより検出された監視対象が存在することを表すことができる。また、指示画像935は、上部旋回体3の右方向に対応する視点変換画像EP(水平画像HVP)の部分に重畳して配置される。これにより、検出部304Bにより検出されている監視対象がショベル100(上部旋回体3)の右方向に存在していることを表すことができる。
 尚、指示画像933~935は、監視画像930のうちの視点変換画像EPの周囲の余白部分に表示されてもよい。
 また、本例の監視画像910,920,930と同様の監視画像は、管理装置200の出力装置230(表示装置)や端末装置300の出力装置330(表示装置)に表示されてよい。これにより、オペレータは、管理装置200や端末装置300の表示装置に表示される同様の監視画像を確認しながら、ショベル100の遠隔操作を行うことができる。また、ショベル100が自動運転機能で作業を行っている場合に、ショベル100の管理者等は、管理装置200の出力装置230(表示装置)に表示される同様の監視画像を見ながら、複数のショベル100のそれぞれの作業状況を監視することができる。同様に、ショベル100の管理者等は、例えば、端末装置300の出力装置330(表示装置)に表示される同様の監視画像を見ながら、それぞれのショベル100の作業状況を監視することができる。
 [作用]
 次に、本実施形態に係るショベル100(周辺監視装置150)の作用について説明する。
 本実施形態では、検出部304は、ショベル100の周囲の人を検出する。そして、検出部304は、ヘルメット及び反射材付きの被服の双方を着用している第1の人、ヘルメット及び反射材付きの被服の何れか一方だけを着用している第2の人、並びに、ヘルメット及び反射材付きの被服の何れも着用していない第3の人のうち、第1の人を相対的に高い確率で検出し、第2の人を第1の人よりも低い確率で検出し、第3の人を第2の人よりも低い確率で検出する。
 これにより、周辺監視装置150は、ヘルメットや反射材付きの被服を着用している人を未装着の人よりも相対的に高い確率で検出することができる。そのため、周辺監視装置150は、作業者の安全性確保の観点や作業現場全体の安全性確保の観点から作業者に安全装備の着用を促すことができる。
 また、本実施形態では、ショベル100は、ショベル100の周囲を撮像する撮像装置40と、ショベル100の周囲の物体から受光される反射光の強度に関する情報を取得するセンサ45X(周囲情報取得装置45)と、を有する。そして、検出部304は、撮像装置40の撮像画像に基づき、人を検出する検出部304Aと、センサ45Xの出力に基づき、人を検出する検出部304Bと、を含んでよい。
 これにより、周辺監視装置150は、具体的に、撮像装置40の撮像画像からヘルメットを認識することにより、ヘルメットを着用する作業者を識別し、センサ45Xの受光される反射光の強度に関する情報から反射材付きの被服を着用する作業者を識別することができる。
 また、本実施形態では、安全機能制御部305は、検出部304により人が検出された場合に、キャビン10の内部及び外部の少なくとも一方に報知を行う。そして、安全機能制御部305は、検出部304Aにより人が検出された場合に、第1の態様で報知を行い、検出部304Bにより人が検出された場合に、第1の態様と異なる第2の態様で報知を行ってよい。
 これにより、周辺監視装置150は、安全装備の装着状況によって、報知態様を異ならせることができる。そのため、周辺監視装置150は、作業者にそれぞれの安全装備の装着を促すことができる。また、周辺監視装置150は、検出部304A,304Bの検出精度(検出確率)の高低に応じて、報知態様を異ならせることもできる。
 また、本実施形態では、周辺監視装置150は、検出部304Aにより人が検出された場合に、ショベル100の安全性の確保に関する第1の安全機能を作動させ、検出部304Bにより人が検出された場合に、第1の安全機能よりも相対的に安全性が高い態様のショベル100の安全性の確保に関する第2の安全機能を作動させてよい。
 これにより、周辺監視装置150は、検出精度が相対的に高い検出部304Bにより人が検出される場合に、例えば、より安全性が高い、つまり、より強制力の高い安全機能を作動させることができる。一方、周辺監視装置150は、例えば、検出精度が相対的に低い検出部304Aにより人が検出される場合に、安全性の確保を促す程度の安全機能を作動させることができる。よって、周辺監視装置150は、ショベル100の安全性と作業効率とのバランスを図ることができる。
 また、本実施形態では、第1の安全機能は、キャビン10の内部及び外部の少なくとも一方へ報知を行う報知機能であり、第2の安全機能は、ショベル100の動作を制限する動作制限機能であってよい。
 これにより、周辺監視装置150は、具体的に、検出精度が相対的に高い検出部304Bにより人が検出される場合に、より安全性が高い、つまり、より強制力の高い安全機能を作動させることができる。一方、周辺監視装置150は、具体的に、検出精度が相対的に低い検出部304Aにより人が検出される場合に、安全性の確保を促す程度の安全機能を作動させることができる。よって、周辺監視装置150は、具体的に、ショベル100の安全性と作業効率とのバランスを図ることができる。
 [変形・変更]
 以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
 例えば、上述した実施形態に係る周辺監視装置150は、ショベル100以外の任意の作業機械に搭載されてよい。例えば、周辺監視装置150は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等に搭載されてもよい。
 また、上述した実施形態及び変形例の検出部304の機能、つまり、安全装備の装着状況を識別可能な検出装置(識別装置)は、ショベル100に代えて、或いは、加えて、作業現場の構造物、他の作業機械、作業車両、建物等に設けられてもよい。作業現場の構造物は、例えば、入口のゲート等を含む。作業現場の他の作業機械は、例えば、ブルドーザ、クレーン等を含む。作業現場の作業車両は、例えば、トラック等を含む。作業現場の建物は、例えば、仮設事務所等を含む。これにより、例えば、作業現場の管理者等は、検出装置の検出結果を利用して、作業現場で広範囲に、作業現場の作業者の安全装備の装着状況を把握することができる。そのため、管理者等は、検出装置の検出結果を利用して、作業現場の安全管理を行うことができる。また、検出装置の検出結果に関する情報は、記憶部に記録される態様であってもよい。この場合、検出装置と、記憶部や記録部等の構成を実現するハードウェア(例えば、端末装置やサーバ装置)等とは、同じ場所に設けられてもよいし、有線或いは無線を通じて通信可能な態様で異なる場所に設けられてもよい。
 例えば、図23は、作業現場安全管理システム2000の構成の一例を示すブロック図である。
 図23に示すように、作業現場安全管理システム2000(安全装備確認システムの一例)は、制御装置2100と、カメラ2200と、センサ2300と、入力装置2400と、出力装置2500と、通信装置2600とを含む。
 制御装置2100は、作業現場安全管理システム2000に関する制御を行う。制御装置2100は、作業現場内において、カメラ2200やセンサ2300が設置される場所と同じ或いは相対的に近い場所に設置されてもよいし、カメラ2200やセンサ2300と異なる場所に設置されてもよい。制御装置2100は、例えば、作業現場の構造物や建物等に設置されてよい。また、制御装置2100は、例えば、作業現場のショベル100を含む作業機械や作業車両等に設置されてもよい。ショベル100に設置される場合、制御装置2100は、上述の実施形態のコントローラ30に相当する。
 制御装置2100の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。制御装置2100は、例えば、CPU、RAM等のメモリ装置、ROM等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成されてよい。
 制御装置2100は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードし、CPUで実行することにより実現される機能部として、検出部2110と、設定部2120と、ログ出力部2150とを含む。また、制御装置2100は、例えば、制御装置2100の補助記憶装置等の内部メモリや制御装置2100と通信可能な外部記憶装置に規定される記憶領域により実現される記憶部2130,2140を利用する。
 カメラ2200(センサの一例)は、作業現場の様子を撮像する。カメラ2200は、制御装置2100と通信可能に接続され、その出力(撮像画像)は、制御装置2100に取り込まれる。カメラ2200は、例えば、作業現場の構造物や建物等に設置されてよい。また、カメラ2200は、例えば、作業現場のショベル100を含む作業機械や作業車両等に設置されてもよい。ショベル100に設置される場合、カメラ2200は、上述の実施形態の撮像装置40(カメラ40X)に相当する。
 センサ2300は、作業現場の状況に関する情報を取得する。センサ2300は、制御装置2100と通信可能に接続され、その出力は、制御装置2100に取り込まれる。センサ2300は、例えば、周囲情報取得装置45(センサ45X)と同様、LIDARであってよい。また、センサ2300は、例えば、周囲情報取得装置45(センサ45X)と同様、ミリ波レーダや超音波センサ等であってもよい。以下、センサ2300がLIDARである場合を中心に説明する。
 カメラ2200の撮像範囲と、センサ2300の情報取得範囲とは、少なくとも一部が重複するように設定される。これにより、カメラ2200の出力を用いる場合、及びセンサ2300の出力を用いる場合の双方で、検出部2110は、その重複する範囲に存在する同じ監視対象(作業者)を検出することができる。
 入力装置2400は、作業現場の管理者、監督者、作業者等のユーザからの各種入力を受け付ける。入力装置2400は、制御装置2100と通信可能に接続され、受け付けられる各種入力に対応する信号は、制御装置2100に取り込まれる。入力装置2400は、例えば、ユーザからの操作入力を受け付ける操作入力装置を含む。また、入力装置2400は、例えば、ユーザからの音声入力やジェスチャ入力等を受け付ける音声入力装置やジェスチャ入力装置等を含んでもよい。
 出力装置2500は、制御装置2100と通信可能に接続され、制御装置2100から入力されるデータに基づき、作業現場の管理者、監督者、作業者等のユーザに向けて情報を出力する。出力装置2500は、例えば、視覚的情報を出力する表示装置や照明装置等を含む。また、出力装置2500は、例えば、聴覚的情報を出力する音出力装置を含む。
 通信装置2600は、制御装置2100と同じ場所に設置され、制御装置2100が設置される場所の外部(例えば、管理装置200や端末装置300等)と通信を行う。
 検出部2110(識別装置の一例)は、カメラ2200やセンサ2300の出力に基づき、作業現場の作業者を検出する。検出部2110は、検出部2110A,2110Bを含む。
 検出部2110Aは、上述の実施形態の検出部304Aと同様の方法で、カメラ2200の出力(撮像画像)に基づき、作業現場の所定の監視エリアにおいて、人(作業者)を検出する。これにより、検出部2110Aは、監視エリア内の作業者を検出し、作業者の位置を特定したり、検出された作業者が予め登録される複数の登録作業者の中の何れに該当するかを特定したりすることができる。また、検出部2110Aは、カメラ2200の撮像画像上のヘルメットを認識することにより、ヘルメットを装着している作業者を相対的に高い確率(検出精度)で検出することができる。つまり、検出部2110Aは、ヘルメット以外の特徴に基づき検出された作業者や検出部2110Bにより検出された作業者のヘルメットの着用の有無を識別することができる。
 検出部2110Bは、上述の実施形態の検出部304Bと同様の方法で、センサ2300の出力に基づき、作業現場の検出部2110Aの場合と同じ監視エリアにおいて、人(作業者)を検出する。これにより、検出部2110Bは、監視エリア内の作業者を検出し、作業者の位置を特定することができる。また、検出部2110Bは、受光強度情報を利用することにより、反射材付きの被服を着用している作業者を相対的に高い確率(検出精度)で検出することができる。つまり、検出部2110Bは、反射材付きの被服以外の特徴に基づき検出された作業者や検出部2110Aにより検出された作業者の反射材の被服の着用の有無を識別することができる。
 また、検出部2110は、作業者を検出した場合に、検出された作業者の複数の(種類の)安全装備の装着状況を判断してよい。複数の安全装備は、例えば、作業現場安全管理システム2000の管理対象の作業現場で装着が義務付けられている、或いは、推奨されている安全装備である。複数の安全装備には、例えば、上述の如く、ヘルメットや反射材付きの被服が含まれてよい。また、複数の安全装備には、例えば、上述の如く、安全帯、騒音現場における耳栓、安全靴等が含まれてもよい。また、複数の安全装備には、例えば、アーク溶接用や防振用等の手袋(所定の手袋の一例)、防塵用や防毒用のマスク(所定のマスクの一例)、防塵用や遮光用等のメガネ(所定のメガネの一例)、溶接用面(所定の面の一例)等が含まれてもよい。また、複数の安全装備には、例えば、作業機械(所定の物体の一例)等が接近するとアラームを出力するIDタグ(携帯型の警報装置の一例)等が含まれてもよい。
 検出部2110は、例えば、作業者を検出した場合に、検出部2110A及び検出部2110Bの検出結果に基づき、ヘルメット及び反射材付きの被服のそれぞれの着用の有無を判断してよい。
 また、検出部2110は、例えば、作業者を検出した場合に、カメラ2200の出力(撮像画像)、及びセンサ2300の出力(受光情報)を総合的に考慮して、複数の安全装備の装着状況を判断してもよい。具体的には、検出部2110は、カメラ2200の撮像画像の画像特徴量と、受光情報に基づく作業者の装着物の立体形状等とに基づき、複数の安全装備ごとの装着の有無を判断してよい。この場合、記憶部2130には、複数の安全装備ごとの安全装備の装着の有無を判断するための画像特徴量及び受光情報等に関するデータベース(以下、「装着状況判断用データベース」)が構築されてよい。装着状況判断用データベースは、例えば、実験やシミュレーションの結果を利用した機械学習(強化学習)等により予め構築されてよい。そして、検出部2110は、カメラ2200の撮像画像の画像特徴量、及びセンサ2300の受光情報と、装着状況判断データベースの内容とを比較し、検出された作業者の複数の安全装備ごとの装着の有無を判断してよい。
 また、検出部2110は、出力装置2500を通じて、検出した作業者の複数の安全装備の装着状況の判断結果に関する情報を検出された作業者を含むユーザに向けて出力してよい。
 検出部2110は、例えば、複数の安全装備の何れかを装着していないと判断する場合に、出力装置2500を通じて、安全装備の未装着を示すアラーム(警告)を出力してよい。また、検出部2110は、例えば、複数の安全装備を全て装着している場合に、出力装置2500を通じて、全ての安全装備の装着が完了していることを示す通知を作業者に向けて出力してもよい。これにより、作業現場安全管理システム2000は、作業者に対して、作業現場で装着が義務付けられている、或いは、推奨されている複数の安全装備の装着を促すことができる。
 設定部2120は、入力装置2400で受け付けられるユーザからの所定の入力に応じて、作業現場安全管理システム2000に関する設定を行う。これにより、ユーザは、入力装置2400を通じて、所望の態様で、作業現場安全管理システム2000に関する設定を制御装置2100に行わせることができる。
 設定部2120は、例えば、入力装置2400を通じた所定の入力に応じて、識別対象の安全装備の追加や削除等の設定を行ってよい。また、設定部2120は、例えば、入力装置2400を通じた所定の入力に応じて、装着状況判断用データベースに関する設定、即ち、装着状況判断用データベースの新規登録や更新等を行ってもよい。設定部2120により行われる設定(変更)の内容は、記憶部2130に登録(記憶)される。
 記憶部2130には、作業現場安全管理システム2000に関する各種の設定内容等が記憶されている。記憶部2130には、例えば、上述の如く、識別対象の複数の種類の安全装備を規定する設定内容等が登録されている。また、記憶部2130には、例えば、上述の如く、装着状況判断用データベースが構築されている。
 記憶部2140(記憶装置の一例)には、検出部2110による作業者の複数の安全装備の装着状況に関する判断結果に関するログ情報が記憶(記録)される。例えば、検出部2110により作業者が検出されると、作業者の検出日時、検出された作業者の識別情報(例えば、複数の登録作業者ごとに固有のID)、及び複数の安全装備ごとの装着の有無を示す情報を含むログ情報(レコード)が記憶部2140に記録される。これにより、レコードデータ群による複数の安全装備の装着状況の判断結果に関するデータベースを記憶部2140に構築することができる。
 ログ出力部2150は、記憶部2140に記録される、作業者の複数の安全装備の装着状況の判断結果に関するログ情報を外部に出力する。
 ログ出力部2150は、例えば、入力装置2400を通じた所定の入力に応じて、記憶部2140のログ情報を、出力装置2500に通じて、ユーザに出力する。これにより、ユーザは、出力装置2500を通じて、過去の作業者の安全装備の装着状況の履歴を確認したり、その履歴から作業現場での安全装備の装着状況に関する分析を行ったりすることができる。
 また、ログ出力部2150は、例えば、入力装置2400を通じた所定の入力に応じて、記憶部2140のログ情報を、通信装置2600を通じて、制御装置2100の外部(例えば、管理装置200や端末装置300)に出力(送信)してもよい。これにより、例えば、ユーザは、管理装置200や端末装置300等の外部にログ情報を取り出して、過去の作業者の安全装備の装着状況の履歴を確認したり、その履歴から作業現場での安全装備の装着状況に関する分析を行ったりすることができる。
 このように、本例では、作業現場安全管理システム2000は、異なる種類の複数のセンサ(例えば、カメラ2200及びセンサ2300)を含む。そして、検出部2110は、複数のセンサの出力に基づき、作業現場の作業者を検出し、作業現場で装着が推奨されている、或いは、義務付けられている複数の安全装備ごとの作業者による装着状況を判断(識別)する。
 これにより、作業現場安全管理システム2000は、作業現場の作業者の安全装備の装着状況を把握することができる。そのため、作業現場の管理者等は、例えば、作業現場の検出された作業者の複数の安全装備の装着状況の判断結果(識別結果)に基づき、安全装備の装着を行っていない特定の作業者に対して、安全装備の装着を促すことができる。よって、作業現場安全管理システム2000は、作業現場の安全性を向上させることができる。
 また、本例では、記憶部2140には、検出部2110による検出された作業者の複数の安全装備の装着状況の判断結果(識別結果)に関する情報が記録されてよい。
 これにより、ユーザは、例えば、出力装置2500や制御装置2100と通信可能に接続される外部装置(例えば、管理装置200や端末装置300等)を通じて、事後的に、安全装備の装着状況に関する判断結果のログ情報(履歴)を確認することができる。そのため、ユーザは、事後的に、ログ情報を確認したり、分析したりすることによって、作業現場の安全装備の装着率の向上の施策等を検討することができる。よって、作業現場安全管理システム2000は、作業現場の安全性を更に向上させることができる。
 最後に、本願は、2019年4月26日に出願した日本国特許出願2019-086873号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
 1 下部走行体
 1C,1CL,1CR クローラ
 3 上部旋回体
 4 ブーム
 5 アーム
 6 バケット
 10 キャビン
 30 コントローラ
 40 撮像装置
 40B,40L,40R カメラ
 45 周囲情報取得装置
 45BL,45BR,45L,45LF,45LR,45R,45RF,45RR センサ
 50 表示装置
 52 入力装置
 54 音出力装置
 54a ホーン
 54b 走行アラーム
 56 油圧制御弁
 70 通信装置
 100 ショベル
 150 周辺監視装置
 200 管理装置
 210 制御装置
 220 通信装置
 230 出力装置
 240 入力装置
 300 端末装置
 301 表示処理部
 302 設定部
 303 記憶部
 304 検出部
 304A 検出部(第1の検出部)
 304B 検出部(第2の検出部)
 305 安全機能制御部(報知部)
 310 制御装置
 320 通信装置
 330 出力装置
 340 入力装置
 1000 ショベル管理システム
 2000 作業現場安全管理システム(安全装備確認システム)
 2100 制御装置
 2110 検出部(識別装置)
 2120 設定部
 2130 記憶部
 2140 記憶部
 2150 ログ出力部
 2200 カメラ(センサ)
 2300 センサ
 2400 入力装置
 2500 出力装置
 2600 通信装置
 HMT ヘルメット
 RV 反射ベスト(反射材付きの被服)

Claims (8)

  1.  ショベルの周囲の人を検出する検出部を備え、
     前記検出部は、ヘルメット及び反射材付きの被服の双方を着用している第1の人、前記ヘルメット及び前記反射材付きの被服の何れか一方だけを着用している第2の人、並びに、前記ヘルメット及び前記反射材付きの被服の何れも着用していない第3の人のうち、前記第1の人を相対的に高い確率で検出し、前記第2の人を前記第1の人よりも低い確率で検出し、前記第3の人を前記第2の人よりも低い確率で検出する、
     ショベル。
  2.  ショベルの周囲を撮像する撮像装置と、
     ショベルの周囲の物体から受光される反射光の強度に関する情報を取得するセンサと、を更に備え、
     前記検出部は、前記撮像装置の撮像画像に基づき、人を検出する第1の検出部と、前記センサの出力に基づき、人を検出する第2の検出部と、を含む、
     請求項1に記載のショベル。
  3.  前記検出部により人が検出された場合に、キャビンの内部及び外部の少なくとも一方に報知を行う報知部を備え、
     前記報知部は、前記第1の検出部により人が検出された場合に、第1の態様で前記報知を行い、前記第2の検出部により人が検出された場合に、前記第1の態様と異なる第2の態様で前記報知を行う、
     請求項2に記載のショベル。
  4.  前記第1の検出部により人が検出された場合に、ショベルの安全性の確保に関する第1の安全機能を作動させ、前記第2の検出部により人が検出された場合に、前記第1の安全機能よりも相対的に安全性が高い態様のショベルの安全性の確保に関する第2の安全機能を作動させる、
     請求項2に記載のショベル。
  5.  前記第1の安全機能は、キャビンの内部及び外部の少なくとも一方へ報知を行う機能であり、
     前記第2の安全機能は、ショベルの動作を制限する機能である、
     請求項4に記載のショベル。
  6.  異なる種類の複数のセンサと、
     前記複数のセンサの出力に基づき、作業現場の作業者を検出し、作業現場で装着が推奨されている、又は義務付けられている複数の安全装備ごとの前記作業者による装着状況を識別する識別装置と、を備える、
     作業現場の安全装備確認システム。
     
  7.  前記複数の安全装備には、ヘルメット、反射材付きの被服、安全帯、耳栓、安全靴、所定の手袋、所定のマスク、所定のメガネ、顔面を保護する所定の面、及び所定の物体の接近を通知する携帯型の警報装置の少なくとも一つを含む、
     請求項6に記載の作業現場の安全装備確認システム。
  8.  前記識別装置の識別結果に関する情報が記録される記憶装置を備える、
     請求項6に記載の作業現場の安全装備確認システム。
PCT/JP2020/017572 2019-04-26 2020-04-23 ショベル、作業現場の安全装備確認システム WO2020218452A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021516220A JP7463354B2 (ja) 2019-04-26 2020-04-23 ショベル
CN202080031403.6A CN113748247B (zh) 2019-04-26 2020-04-23 挖土机、作业现场的安全装备确认系统
EP20796040.2A EP3960937A4 (en) 2019-04-26 2020-04-23 SHOVEL AND SAFETY EQUIPMENT CONFIRMATION SYSTEM FOR WORKSITE
KR1020217034923A KR20210152493A (ko) 2019-04-26 2020-04-23 쇼벨, 작업현장의 안전장비확인시스템
US17/452,112 US20220042282A1 (en) 2019-04-26 2021-10-25 Shovel, and safety equipment confirmation system at worksite

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-086873 2019-04-26
JP2019086873 2019-04-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/452,112 Continuation US20220042282A1 (en) 2019-04-26 2021-10-25 Shovel, and safety equipment confirmation system at worksite

Publications (1)

Publication Number Publication Date
WO2020218452A1 true WO2020218452A1 (ja) 2020-10-29

Family

ID=72941931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017572 WO2020218452A1 (ja) 2019-04-26 2020-04-23 ショベル、作業現場の安全装備確認システム

Country Status (6)

Country Link
US (1) US20220042282A1 (ja)
EP (1) EP3960937A4 (ja)
JP (1) JP7463354B2 (ja)
KR (1) KR20210152493A (ja)
CN (1) CN113748247B (ja)
WO (1) WO2020218452A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031431A1 (ja) * 2017-08-08 2019-02-14 住友重機械工業株式会社 ショベル、ショベルの支援装置、及び、ショベルの管理装置
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7291645B2 (ja) * 2020-01-31 2023-06-15 株式会社小松製作所 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル
US20230272599A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Work machine safety zone control
CN116311633B (zh) * 2023-05-19 2023-08-04 安徽数智建造研究院有限公司 基于人脸识别技术的隧道施工人员管理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101288A (ja) * 1991-10-04 1993-04-23 Daishin Sogo Setsubishitsu:Kk 監視物感知センサ
JP2005180943A (ja) * 2003-12-16 2005-07-07 Azuma Systems:Kk 作業車両用周辺監視装置
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
WO2013112016A1 (ko) * 2012-01-27 2013-08-01 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
JP2014154129A (ja) * 2013-02-14 2014-08-25 Fujita Corp 装備認識システム
JP2014181508A (ja) 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017203352A (ja) * 2016-05-13 2017-11-16 住友重機械工業株式会社 ショベル
JP2018172857A (ja) * 2017-03-31 2018-11-08 日立建機株式会社 作業機械の周囲監視装置
JP2019086873A (ja) 2017-11-02 2019-06-06 シャープ株式会社 ネットワークシステムおよび情報処理方法
JP2020051156A (ja) * 2018-09-27 2020-04-02 日立建機株式会社 作業機械

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307076A1 (en) * 2013-10-03 2014-10-16 Richard Deutsch Systems and methods for monitoring personal protection equipment and promoting worker safety
WO2017094627A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
CN109314769B (zh) * 2016-11-01 2022-06-07 住友建机株式会社 施工机械用周边监视系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101288A (ja) * 1991-10-04 1993-04-23 Daishin Sogo Setsubishitsu:Kk 監視物感知センサ
JP2005180943A (ja) * 2003-12-16 2005-07-07 Azuma Systems:Kk 作業車両用周辺監視装置
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
WO2013112016A1 (ko) * 2012-01-27 2013-08-01 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
JP2014154129A (ja) * 2013-02-14 2014-08-25 Fujita Corp 装備認識システム
JP2014181508A (ja) 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017203352A (ja) * 2016-05-13 2017-11-16 住友重機械工業株式会社 ショベル
JP2018172857A (ja) * 2017-03-31 2018-11-08 日立建機株式会社 作業機械の周囲監視装置
JP2019086873A (ja) 2017-11-02 2019-06-06 シャープ株式会社 ネットワークシステムおよび情報処理方法
JP2020051156A (ja) * 2018-09-27 2020-04-02 日立建機株式会社 作業機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3960937A4

Also Published As

Publication number Publication date
KR20210152493A (ko) 2021-12-15
JP7463354B2 (ja) 2024-04-08
CN113748247B (zh) 2024-02-20
CN113748247A (zh) 2021-12-03
JPWO2020218452A1 (ja) 2020-10-29
EP3960937A4 (en) 2022-06-22
US20220042282A1 (en) 2022-02-10
EP3960937A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
WO2020218455A1 (ja) ショベル
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
WO2020218452A1 (ja) ショベル、作業現場の安全装備確認システム
JP7252137B2 (ja) 周辺監視装置
JP7358070B2 (ja) ショベル
JPWO2019172424A1 (ja) 作業機械、情報処理装置、情報処理方法、プログラム
WO2020189578A1 (ja) 作業機械
WO2021025123A1 (ja) ショベル、情報処理装置
WO2020196874A1 (ja) 建設機械、支援システム
US20220042283A1 (en) Shovel
JP2020183623A (ja) ショベル
JP7203640B2 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
WO2021192224A1 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
JP2020183622A (ja) ショベル、ショベルのシリーズ
WO2021149775A1 (ja) 作業機械、情報処理装置
JP2022157923A (ja) ショベル
JP7479156B2 (ja) 作業機械、情報処理装置
JP7488753B2 (ja) 周辺監視装置
WO2023171711A1 (ja) 操作支援装置、作業機械、遠隔操作支援装置、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20796040

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516220

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217034923

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020796040

Country of ref document: EP

Effective date: 20211126