WO2018084161A1 - 作業機械用安全管理システム、管理装置、安全管理方法 - Google Patents

作業機械用安全管理システム、管理装置、安全管理方法 Download PDF

Info

Publication number
WO2018084161A1
WO2018084161A1 PCT/JP2017/039457 JP2017039457W WO2018084161A1 WO 2018084161 A1 WO2018084161 A1 WO 2018084161A1 JP 2017039457 W JP2017039457 W JP 2017039457W WO 2018084161 A1 WO2018084161 A1 WO 2018084161A1
Authority
WO
WIPO (PCT)
Prior art keywords
intrusion
information
predetermined
predetermined area
detection
Prior art date
Application number
PCT/JP2017/039457
Other languages
English (en)
French (fr)
Inventor
泉川 岳哉
加藤 英彦
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to JP2018549026A priority Critical patent/JPWO2018084161A1/ja
Priority to EP17867550.0A priority patent/EP3537403A4/en
Priority to KR1020187035571A priority patent/KR102454612B1/ko
Priority to CN201780036762.9A priority patent/CN109313840A/zh
Publication of WO2018084161A1 publication Critical patent/WO2018084161A1/ja
Priority to US16/389,018 priority patent/US11148593B2/en

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to a safety management system for work machines and the like.
  • Detects an intrusion of a person (worker) into a predetermined area (monitoring area) around the work machine transmits the intrusion information to a computer remotely located on the work machine, and stores and stores it as a database in the computer.
  • a safety management device is known (see, for example, Patent Document 1).
  • Patent Document 1 it is possible to urge the workers at the work site and on-site supervision to improve safety based on the accumulated intrusion information, but for the situation currently occurring at the work site, Immediate improvement of safety cannot be promoted.
  • an object is to provide a work machine safety management system and the like capable of improving the safety of a work site where the work machine is used in a relatively immediate manner.
  • a detection unit for detecting an intrusion of an obstacle into a predetermined area around the work machine Based on the history of detection results by the detection unit and intrusion related information related to the intrusion when the obstacle has entered the predetermined area, the degree of intrusion of the obstacle into the predetermined area and the intrusion
  • An information generation unit that generates intrusion degree information for generating a table capable of confirming a relationship with related information, A safety management system for work machines is provided.
  • FIG. 1 is a diagram illustrating an example of a work machine included in the safety management system 100 according to the present embodiment, and more specifically, a side view of an excavator.
  • the work machine included in the safety management system 100 may be a work machine other than an excavator, for example, a wheel loader, an asphalt finisher, or the like.
  • the shovel according to the present embodiment has, as a general configuration, a lower traveling body 1, an upper revolving body 3 that is mounted on the lower traveling body 1 so as to be able to swivel via a turning mechanism 2, and a boom 4 as a working device.
  • An arm 5 and a bucket 6 and a cabin 10 on which an operator gets on are provided.
  • the lower traveling body 1 includes, for example, a pair of left and right crawlers, and each crawler is hydraulically driven by a traveling hydraulic motor (not shown) to cause the excavator to travel.
  • the upper swing body 3 rotates with respect to the lower traveling body 1 by being driven by a swing hydraulic motor, an electric motor (both not shown) or the like.
  • the boom 4 is pivotally attached to the center of the front part of the upper swing body 3 so that the boom 4 can be raised and lowered.
  • An arm 5 is pivotally attached to the tip of the boom 4 and a bucket 6 is vertically attached to the tip of the arm 5. It is pivotally attached so that it can rotate.
  • the boom 4, the arm 5, and the bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.
  • the cabin 10 is a cockpit where an operator boardes, and is mounted on the front left side of the upper swing body 3.
  • the excavator includes a controller 30, an imaging device 40, an operation / posture state sensor 42, a display device 50, an audio output device 60, and an external notification as a configuration related to the safety management system 100.
  • a device 70 and a communication device 80 are provided.
  • the controller 30 is a control device that performs drive control of the excavator.
  • the controller 30 is mounted in the cabin 10.
  • the imaging device 40 is attached to the upper part of the upper swing body 3 and images the periphery of the excavator.
  • the imaging device 40 includes a rear camera 40B, a left side camera 40L, and a right side camera 40R.
  • the rear camera 40B is attached to the upper part of the rear end of the upper swing body 3, and images the rear of the upper swing body 3.
  • the left side camera 40L is attached to the upper left end of the upper swing body 3 and images the left side of the upper swing body 3.
  • the right side camera 40R is attached to the upper right end of the upper swing body 3 and images the right side of the upper swing body 3.
  • the operation / posture state sensor 42 is a sensor that detects the operation state and posture state of the excavator.
  • the motion / posture state sensor 42 includes a boom angle sensor 42A, an arm angle sensor 42B, a bucket angle sensor 42C, three-axis inertial sensors (IMUs) 42D and 42E, a turning angle sensor 42F, and an acceleration sensor. 42G is included.
  • the boom angle sensor 42 ⁇ / b> A detects the elevation angle (hereinafter referred to as “boom angle”) of the boom 4 with respect to the upper swing body 3.
  • the boom angle sensor 42A is, for example, a rotary encoder.
  • the arm angle sensor 42B detects the rotation angle of the arm 5 with respect to the boom 4 (hereinafter referred to as “arm angle”).
  • the bucket angle sensor 42C detects the rotation angle of the bucket 6 with respect to the arm 5 (hereinafter referred to as “bucket angle”).
  • the IMU 42D is attached to the boom 4 and detects the acceleration of the boom 4 along predetermined three axes and the angular acceleration of the boom 4 around the predetermined three axes.
  • the IMU 42E is attached to the arm 5 and detects the acceleration of the arm 5 along the predetermined three axes and the angular acceleration of the arm 5 around the predetermined three axes.
  • the turning angle sensor 42F detects a turning angle based on a predetermined angle direction of the upper turning body 3.
  • the acceleration sensor 42G is attached at a position away from the turning axis of the upper swing body 3 and detects the acceleration of the upper swing body 3 at that position. Thereby, based on the detection result of the acceleration sensor 42G, it can be determined whether the upper swing body 3 is turning or the lower traveling body 1 is traveling.
  • the display device 50 is provided around the cockpit in the cabin 10 and displays various image information notified to the operator under the control of the controller 30 (a display control unit 304 described later).
  • the voice output device 60 is provided around the maneuverability in the cabin 10 and outputs various voice information to be notified to the operator under the control of the controller 30.
  • the audio output device 60 is, for example, a speaker or a buzzer.
  • the external notification device 70 notifies the workers around the excavator and the supervisor at the work site.
  • the external notification device 70 may include, for example, a light source (lighting device) that lights up or blinks toward an operator around the excavator.
  • the external notification device 70 may include an external display device that presents image information (such as character information and drawing information) to workers around the excavator.
  • the external notification device 70 may also include an external audio output device such as a speaker or a buzzer that outputs audio information toward an operator or the like around the excavator.
  • the communication device 80 is based on a predetermined wireless communication standard, and is connected to a remote external device (for example, described later) through a predetermined communication network 150 (see FIG. 2, for example, a mobile phone network or an Internet network terminated with a base station). It is a communication device that communicates with the management server 200).
  • FIG. 2A is a block diagram showing an example of the configuration of the safety management system 100 according to the present embodiment.
  • the safety management system 100 includes a shovel, a management server 200 that is communicably connected to the shovel through a communication network 150, and a management terminal 300 that can communicate with the management server 200 through the communication network 150.
  • the shovel includes a controller 30, an imaging device 40, an operation / posture state sensor 42, a display device 50, and the like as a configuration related to the safety management system 100 according to the present embodiment.
  • the controller 30 performs main control processing in the safety management system 100.
  • the controller 30 may be realized by arbitrary hardware, software, or a combination thereof.
  • the controller 30 is mainly configured by a microcomputer including a CPU, RAM, ROM, I / O, and the like.
  • the controller 30 includes an object detection unit 301, an information acquisition unit 302, an information generation unit 303, and a display control unit 304 as functional units realized by executing various programs stored in a ROM or the like on the CPU.
  • the information transmission unit 305 is included.
  • the controller 30 includes a storage unit 310 as a storage area defined in an internal memory such as an EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • the imaging device 40 includes the rear camera 40B, the left side camera 40L, and the right side camera 40R as described above.
  • the rear camera 40B, the left side camera 40L, and the right side camera 40R are mounted on the upper part of the upper revolving unit 3 so that the optical axis is obliquely downward, and includes an image in the vertical direction including the ground in the vicinity of the shovel to the far side of the shovel. It has a range (angle of view).
  • the rear camera 40B, the left side camera 40L, and the right side camera 40R output a captured image to the controller 30 at predetermined intervals (for example, 1/30 seconds) during operation of the excavator, and the captured image is captured by the controller 30. It is.
  • the motion / posture state sensor 42 includes the boom angle sensor 42A, the arm angle sensor 42B, the bucket angle sensor 42C, the IMUs 42D and 42E, the turning angle sensor 42F, and the acceleration sensor 42G.
  • Each sensor included in the movement / posture state sensor 42 outputs a detection result (detection signal) to the controller 30, and the detection result is captured by the controller 30.
  • the display device 50 is a viewpoint-converted image such as a captured image (through image) of the imaging device 40 or a peripheral image generated by the controller 30 based on the captured image of the imaging device 40 (for example, an overhead image viewed from right above the excavator). ) Etc. are displayed.
  • the controller 30 displays information indicating the degree of intrusion of a person into a predetermined area of the excavator (hereinafter referred to as “invasion degree information”) under the control of the display control unit 304. Details of the intrusion degree information will be described later.
  • the audio output device 60 outputs an alarm sound under the control of the controller 30 (object detection unit 301).
  • the external notification device 70 outputs an alarm using the lighting of the light source, the blinking of the light source, the information image, the sound, and the like toward the periphery of the excavator under the control of the controller 30 (the object detection unit 301).
  • the communication device 80 is communicably connected to the management server 200 provided remotely from the excavator via the communication network 150 under the control of the controller 30, and transmits various information to and from the management server 200.
  • the object detection unit 301 detects a predetermined monitoring target within a predetermined area around the shovel, for example, within a predetermined distance D1 (for example, 5 meters) from the shovel, based on the captured image of the imaging device 40. To do. That is, the object detection unit 301 detects the intrusion of the monitoring target into a predetermined area around the excavator (within a predetermined distance D1 from the excavator).
  • the object to be monitored is an obstacle that can exist or invade around the excavator.
  • the monitoring target may include a person such as an operator around the excavator, other work machines and vehicles that perform work around the excavator, and work materials temporarily placed around the excavator. In the present embodiment, the following description will be made on the assumption that the monitoring target is a person such as an operator.
  • the object detection unit 301 recognizes a person in a captured image by arbitrarily applying various known image processing methods, machine learning-based classifiers, and the like, and recognizes the actual position of the recognized person (recognized from a shovel).
  • the distance D to the person who has done this can be specified.
  • the object detection unit 301 detects a person around the excavator based on the captured image of the imaging device 40, but instead of or in addition to the captured image of the imaging device 40, another sensor, for example, a millimeter wave radar , A person around the excavator may be detected based on detection results (distance images, etc.) of a LIDAR (LIght Detection And Ranging), stereo camera, or the like. In this case, these other sensors are provided on the shovel.
  • LIDAR LIght Detection And Ranging
  • the object detection unit 301 detects a person within a predetermined distance D1 from the excavator, the object detection unit 301 outputs an alarm sound to the audio output device 60 such as a speaker in the cabin 10 or displays predetermined alarm information on the display device 50. And an alarm to the operator may be performed.
  • the object detection unit 301 includes a first area close to the excavator in a predetermined area around the excavator, for example, an area having a predetermined distance D2 (for example, 2.5 m) or less smaller than the predetermined distance D1 from the excavator, The specification of the alarm is changed depending on which of the second areas far from the area is invaded.
  • the object detection unit 301 determines that the detected level of the person from the excavator is equal to or less than a predetermined distance D1 and greater than the predetermined distance D2, as a warning state, a preliminary alarm with a low alarm level (for example, A relatively low volume alarm sound is output to the audio output device 60). Further, when the detected distance of the person from the excavator is equal to or less than the predetermined distance D2, the object detection unit 301 determines that the warning state is present and outputs a formal alarm with a high alarm level (for example, a relatively loud alarm sound). To be output to the audio output device 60).
  • the object detection unit 301 stops (releases) the alarm output based on a predetermined condition after the alarm output starts. For example, the object detection unit 301 may stop outputting an alarm when a person is no longer detected within a predetermined area. Further, the object detection unit 301 may stop the output of the alarm when a predetermined operation (alarm release operation) is performed by the operator after the output of the alarm is started. In addition, the object detection unit 301 outputs an alarm when a predetermined time elapses to prompt the operator to confirm safety or to prompt the operator in the vicinity of the excavator to evacuate after starting the alarm output. The output may be stopped.
  • the object detection unit 301 detects a person within a predetermined distance D1 from the excavator, the object detection unit 301 outputs an alarm sound from the external notification device 70 or displays predetermined alarm information to give an alarm toward the periphery of the excavator. You may go. At this time, the object detection unit 301 may change the alarm level according to the distance from the excavator to the detected person as in the case of the alarm to the operator. Moreover, the object detection part 301 may stop the started alarm by the same method as the case of the alarm to an operator.
  • the object detection unit 301 detects a person within a predetermined distance D3 ( ⁇ D1) from the shovel, various operation elements of the shovel (for example, the lower traveling body 1, the upper swing body 3, the boom 4, the arm 5, and the like) , Bucket 6 etc.) may be restricted.
  • various operation elements of the shovel for example, the lower traveling body 1, the upper swing body 3, the boom 4, the arm 5, and the like
  • Bucket 6 etc. may be restricted.
  • the predetermined distance D3 may be the same as the predetermined distance D1 or the predetermined distance D2, or may be different from the predetermined distances D1 and D2.
  • the object detection unit 301 may change the restriction degree according to the distance from the excavator to the detected person.
  • the object detection unit 301 may moderate the operation speed with respect to the operation state of the various operation elements. Then, when the distance from the shovel to the detected person is equal to or less than the predetermined distance D4, the object detection unit 301 may stop the various operation elements regardless of the operation state of the various operation elements. At this time, the predetermined distance D4 may be the same as or different from the predetermined distance D2.
  • the object detection unit 301 operates, for example, a pressure reducing valve or a switching valve provided in a pilot line between a hydraulic operating device that operates various operating elements and a hydraulic actuator that drives the various operating elements.
  • the pilot line can be depressurized or shut off to limit the operation of various operating elements.
  • the object detection unit 301 operates various pressure elements by operating a pressure reducing valve or a switching valve provided in a pilot line that supplies an original pressure to a hydraulic operation device, and reducing or shutting off the pilot line. The operation can be restricted.
  • the object detection unit 301 releases the operation restriction based on a predetermined condition after the shovel operation restriction is started. For example, the object detection unit 301 may cancel the shovel operation restriction when no person is detected within a predetermined distance D3 from the shovel. Further, the object detection unit 301 may release the shovel operation restriction when a predetermined operation (operation restriction unlocking operation) is performed by the operator. Further, the object detection unit 301 may cancel the shovel operation restriction when no person is detected within the predetermined distance D3 from the shovel and the operation restriction unlocking operation is performed by the operator.
  • a predetermined operation operation restriction unlocking operation
  • the object detection unit 301 includes a plurality of detection units having detection ranges different from each other, and the performance of detecting a person to be monitored by each detection unit (hereinafter simply referred to as “detection performance”) is determined by an operator. It may be a mode that can be changed according to a setting operation or the like.
  • the object detection unit 301 includes a rear detection unit, a left side detection unit, and a left side detection unit that detect a person from captured images of the rear camera 40B, the left side camera 40L, and the right side camera 40R. It may be the mode which can change each detection performance.
  • Detected performance can include one or more performance items.
  • the performance items related to the detection performance include a range in which a person to be monitored can be detected (detection range), detection accuracy, a detection frequency for each detection cycle (that is, detection of a person to be monitored within the detection cycle). Number of times).
  • FIG. 3 is a diagram illustrating the detection range of the object detection unit 301.
  • the object detection unit 301 has detection ranges MAB, MAL, and MAR corresponding to the rear camera 40B, the left camera 40L, and the right camera 40R, respectively. That is, the rear detection unit, left side detection unit, and left side detection unit of the object detection unit described above have detection ranges MAB, MAL, and MAR, respectively.
  • the processing resources of the controller 30 are limited. Therefore, in order to complete the detection processing in a predetermined processing time as the entire object detection unit 301, other detection ranges MAL, MAR Or other detection performance (detection accuracy, detection frequency) of the rear detection unit, the left side detection unit, or the left side detection unit needs to be reduced.
  • the object detection unit 301 enhances a certain performance item related to the detection performance of one detection unit within the resource range of the controller 30 according to the setting operation by the operator, and instead of one detection unit or The detection performance can be changed by a trade-off that lowers the detection performance of other detection units.
  • the information acquisition unit 302 stores information related to various states (operation state, control state, etc.) of the control device excavator, various sensors (for example, the imaging device 40, the operation / posture state sensor 42, etc.) mounted on the shovel, Acquired from an actuator (for example, a solenoid valve that performs hydraulic control) and various control devices (for example, the controller 30).
  • various states operation state, control state, etc.
  • various sensors for example, the imaging device 40, the operation / posture state sensor 42, etc. mounted on the shovel
  • an actuator for example, a solenoid valve that performs hydraulic control
  • various control devices for example, the controller 30.
  • the information acquisition unit 302 is linked to the current intrusion of the person into the predetermined area.
  • Various information (intrusion related information described later) at the time of intrusion is stored in the storage unit 310 as intrusion history information 3101.
  • the intrusion history information 3101 will be described with reference to FIG.
  • FIG. 4 is a diagram illustrating an example of the intrusion history information 3101.
  • the intrusion history information 3101 is an example of a history of detection results by the human detection unit, and, as will be described later, a history of alarm output results by the audio output device 60 (separate alarms relating to a warning state and alarms relating to a warning state). It is an example.
  • the intrusion history information 3101 is historically updated by the information generation unit 303 every time the object detection unit 301 detects the intrusion of a person into a predetermined area around the shovel.
  • the intrusion history information 3101 is stored in the storage unit 310 as data in a table format.
  • the intrusion history information 3101 includes various information at the time of intrusion of a person into the predetermined area, information on the detected date and time (date, day of the week, time), information on the detected place, information on the alarm level, and the subsequent of the detected person Information on the operation, information on the operation state at the time of detection, information on the work mode at the time of detection, and image information at the time of detection (image information at the time of detection) are included.
  • the various types of information when a person enters the predetermined area is information related to (influencing) the intrusion of a person in the predetermined area (hereinafter referred to as “intrusion related information”).
  • the intrusion related information is acquired by the information acquisition unit 302.
  • the detection location indicates in which of a plurality of areas divided in advance within a predetermined area, and in this example, any one of the three areas of the left area, the right area, and the rear area of the excavator is detected. Indicates whether a human intrusion has been detected.
  • the detection location may be absolute position information such as GPS position information instead of position information relative to the excavator.
  • the excavator is provided with a communication device that communicates with a GPS sensor carried by an operator (for example, attached to a helmet).
  • the controller 30 can receive the GPS position information when the person is detected by the object detection unit 301 from the GPS sensor carried by the worker through the communication device.
  • the alarm level includes the warning state when the intrusion is detected in the first area (the area below the predetermined distance D2 from the shovel) by the object detection unit 301, and the second area (from the predetermined distance D2 from the shovel). It represents one of the alert states when a human intrusion is detected in a large area and a predetermined distance D1 or less).
  • the detected post-action of the person is either evacuated from the predetermined area when a predetermined time (for example, one minute) has elapsed after the object detection unit 301 detects the intrusion of the person into the predetermined area, or the predetermined area Indicates whether the stay was continued.
  • a predetermined time for example, one minute
  • the operation state at the time of detection represents the operation state of the excavator by the operator when the object detection unit 301 detects the intrusion of a person into the predetermined area.
  • the operation state in which the lower traveling body 1 is operated It represents at least one of the turning state in which the upper swing body 3 is operated and the working state in which the work implement (the boom 4, the arm 5, and the bucket 6) is operated, or the state in which the upper swing body 3 is not operated.
  • the work mode at the time of detection represents one of a plurality of work modes corresponding to the level of the set engine speed operated at a constant engine speed.
  • the engine set engine speed is relatively high and the work speed is reduced.
  • Priority SP Super Power
  • H Heavy
  • A A for a wide range of work with a relatively low engine speed Auto
  • the image information is a captured image of the imaging device 40 when the object detection unit 301 detects a person entering the predetermined area.
  • identifiers for identifying image information for example, AAA, BBB, CCC,..., JJ, etc. in the figure. Based on the identifier, the image information stored in the storage unit 310 can be accessed.
  • the intrusion history information 3101 may include at least a part of the intrusion-related information shown in the example of FIG. 4, or instead of or in addition to the intrusion-related information described above, the best friend-related information described above.
  • Intrusion related information other than the above, that is, an aspect including at least a part of the following information may be used.
  • the intrusion history information 3101 includes, as an example of intrusion related information, information (work content information) related to the work content performed by the shovel when the object detection unit 301 detects the intrusion of a person into a predetermined area. May be included.
  • the information generation unit 303 is mounted on, for example, an excavator, and a captured image of a front camera that images the front of the excavator and a driving state of a hydraulic actuator that drives various operating elements (for example, the pressure in the oil chamber of the hydraulic actuator)
  • the content of the work may be determined based on the status.
  • the target work content may include excavation and loading work, banking work, and the like, for example.
  • the intrusion history information 3101 is, as an example of intrusion related information, information regarding whether or not the excavator operation element is restricted and the degree of restriction when the object detection unit 301 detects the intrusion of a person into a predetermined area ( Operation restriction information).
  • the intrusion history information 3101 is an example of intrusion-related information.
  • the alarm detection based on the operator's alarm release operation from the start of alarm output when the object detection unit 301 detects the intrusion of a person into the predetermined area.
  • Information (alarm time information) related to the elapsed time until output stop (alarm release) can be included.
  • the intrusion history information 3101 indicates that the object detection unit 301 detects the intrusion of a person within a predetermined distance D3 from the shovel and starts the operation restriction when the shovel operation is restricted.
  • Information on the elapsed time until the operation restriction is released based on the release operation (operation restriction time information) can be included.
  • the intrusion history information 3101 includes, as an example of intrusion-related information, a mutual detection range included in the object detection unit 301 when the object detection unit 301 detects the intrusion of a person from a shovel into a predetermined area.
  • Information regarding detection performance setting states (detection performance setting information) for each of a plurality of different detection units may be included.
  • the intrusion history information 3101 may include information on the surrounding environment (peripheral environment information at the time of detection) that may affect the detection performance of the object detection unit 301 as an example of intrusion related information.
  • the ambient environment information can include, for example, the type of weather, the temperature state, the visibility state (whether there is fog or haze, etc.), the type of time zone (for example, whether it is morning, noon, or night).
  • the intrusion history information 3101 is information (posture stability information) related to the excavator posture stability when the object detection unit 301 detects the intrusion of a person into a predetermined area as an example of intrusion related information. May be included.
  • the excavator posture stability is an index indicating, for example, whether the excavator is in an operation / posture state that does not cause an unintended operation of the operator.
  • the excavator operation not intended by the operator includes, for example, a falling operation that falls out of balance, a lifting operation or a sliding operation in which a part of the lower traveling body 1 of the shovel is lifted or slips back and forth due to excavation reaction force, etc.
  • the information acquisition unit 302 can calculate a predetermined posture stability based on a detection result of the motion / posture state sensor 42, for example, based on a calculation formula or a map based on a predetermined dynamic model or the like.
  • the intrusion history information 3101 is an example of intrusion related information.
  • the operation skill of the operator of the shovel when the object detection unit 301 detects the intrusion of the person into the predetermined area (for example, within the latest predetermined period) Information (operation skill information).
  • the operation skill information can include, for example, the excavator fuel consumption (specifically, the engine that is the power source), the work amount based on a predetermined standard per unit time, the frequency of the so-called hydraulic relief of the excavator, and the like.
  • the intrusion history information 3101 is an example of intrusion related information.
  • the object detection unit 301 detects the intrusion of a person within a predetermined distance D3 from the shovel, and the shovel operation by the operator when the shovel operation is restricted Information indicating the operation state (operation information when operation is restricted) may be included.
  • the operation information at the time of operation restriction is similar to the above-described operation information at the time of detection, for example, a traveling state in which the lower traveling body 1 is operated, a turning state in which the upper revolving body 3 is operated, a work machine (boom 4, arm 5, It represents at least one of the working states in which the bucket 6) is operated or not.
  • the information generation unit 303 generates intrusion degree information 3102 based on the intrusion history information 3101 updated by the information acquisition unit 302 every time the object detection unit 301 detects the intrusion of a person into a predetermined area. Specifically, the information generation unit 303 generates intrusion degree information 3102 by statistically processing the intrusion history information 3101. Then, the information generation unit 303 stores the generated intrusion degree information 3102 in the storage unit 310. Details of the intrusion degree information 3102 will be described later.
  • the display control unit 304 causes the display device 50 to display various information images.
  • the display control unit 304 causes the display device 50 to display the intrusion degree information 3102 generated by the information generation unit 303 when a predetermined notification condition is satisfied. Details of the processing by the display control unit 304 will be described later.
  • the display control unit 304 may cause the display device 50 to display the intrusion degree information 3102 generated by the information generation unit 303 in accordance with a predetermined operation by the operator.
  • the information transmission unit 305 controls the communication device 80 when a predefined notification condition is established, and transmits the intrusion degree information 3102 generated by the information generation unit 303 to the management server 200. Details of processing by the information transmission unit 305 will be described later.
  • Management server 200 performs various management of shovels based on various information transmitted from shovels.
  • the management server 200 is communicably connected to the shovel (communication device 80) via the communication network 150, and receives various types of information transmitted from the shovel.
  • the management server 200 receives information on the safety status of the work site including the excavator (for example, intrusion degree information described later) from the shovel, and uses the information as a computer terminal used by a supervisor or worker at the work site, It is transmitted to the portable terminal of the supervisor at the work site, other work machines at the work site, and the like.
  • the supervisor at the work site, the worker, the operator of another work machine, and the like can grasp the safety situation at the work site and can promote the safety action.
  • the management server 200 includes a communication device 210 and a processing device 220.
  • the communication device 210 is an arbitrary communication device for performing bidirectional communication with each of the excavator and the management terminal 300 through the communication network 150.
  • the processing device 220 performs various control processes in the management server 200.
  • the function of the processing device 220 may be realized by arbitrary hardware, software, or a combination thereof, and includes, for example, a CPU, a RAM, a ROM, an auxiliary storage device, a predetermined communication interface, and the like. It is mainly composed of one or a plurality of server computers.
  • the processing device 220 includes a data acquisition unit 2201 and a data distribution unit 2202 as functional units realized by executing one or more programs stored in a ROM or an auxiliary storage device.
  • the processing device 220 includes a storage unit 2200 that is realized as a storage area in the auxiliary storage device of the server computer, and processing for storing (storing) various data in the storage unit 2200 is stored in the ROM or the auxiliary storage device. This is realized by a predetermined program.
  • the data acquisition unit 2201 acquires the intrusion degree information transmitted from the shovel toward the management server 200 through the communication device 210.
  • the data acquisition unit 2201 stores the acquired intrusion degree information in the storage unit 2200 (intrusion degree information 2200A).
  • the data distribution unit 2202 controls the communication device 210 according to a request from the mobile terminal or according to a pre-specified push notification requirement, and distributes the intrusion degree information 2200A to the management terminal 300.
  • the data delivery unit 2202 is connected to the management terminal 200 in addition to the management terminal 300 so as to be communicable (other work machines other than the excavator that is the transmission source of the intrusion degree information). For example, it may be distributed to a bulldozer or the like in addition to an excavator.
  • the management terminal 300 is communicably connected to the management server 200, and a supervisor who manages the work site where the excavator works or a worker who actually works can view various information displayed on the display unit such as a display. Any arbitrary terminal.
  • the management terminal 300 may be, for example, a desktop terminal placed in a building temporarily installed at a work site.
  • the management terminal 300 may be a mobile terminal such as a mobile phone, a smartphone, or a tablet terminal possessed by a supervisor or worker at the work site.
  • the management terminal 300 includes a communication device 315, a processing device 320, and a touch panel display 330.
  • the communication device 315 is an arbitrary device that communicates with the management server 200 or the like through the communication network 150.
  • the communication device 315 is a mobile communication module that supports communication standards such as LTE (Long Term Evolution), 4G (4th Generation), and 5G (5th Generation).
  • the processing device 320 performs various control processes in the management terminal 300.
  • the processing device 320 may have its functions realized by arbitrary hardware, software, or a combination thereof.
  • a computer including a CPU, a RAM, a ROM, an auxiliary storage device, a predetermined communication interface, and the like. It may be comprised centering on.
  • the processing device 320 includes, for example, a data acquisition unit 3201 and a display control unit 3202 as functional units realized by executing one or more programs stored in a ROM or an auxiliary storage device on the CPU.
  • the processing device 320 includes, for example, a storage unit 3200 that is realized as a storage area in the auxiliary storage device, and the processing for storing (storing) various data in the storage unit 32000 is stored in the ROM or the auxiliary storage device. This is realized by a predetermined program.
  • the functions of the data acquisition unit 3201 and the display control unit 3202 can be executed by, for example, starting an application program (hereinafter referred to as “management application”) installed in an auxiliary storage device or the like of the processing device 320. It may be a mode to become.
  • management application an application program installed in an auxiliary storage device or the like of the processing device 320. It may be a mode to become.
  • the data acquisition unit 3201 acquires various data, specifically, intrusion degree information from the management server 200 through the communication device 315 according to a predetermined condition.
  • the data acquisition unit 3201 stores the acquired intrusion degree information in the storage unit 3200 (intrusion degree information 3200A).
  • the data acquisition unit 3201 controls the communication device 315 according to a predetermined operation for requesting the display of the intrusion degree information by the user and transmits a distribution request to the management server 200, thereby obtaining the intrusion degree information. You may get from.
  • the user operation on the management terminal 300 may be, for example, an operation by software using a touch panel for a predetermined GUI (Graphical User Interface) displayed on the display 330 in conjunction with the operation of the management application. However, it may be an operation on an operation unit or the like mounted on the management terminal 300 or by hardware attached thereto.
  • GUI Graphic User Interface
  • the data acquisition unit 3201 may acquire the intrusion degree information distributed from the management server 200 in accordance with a predetermined push notification requirement.
  • the display control unit 3202 displays the intrusion degree information 3200A on the display 330.
  • the user can check the intrusion degree information related to the safety environment at the work site. , Analysis of near-miss).
  • the display control unit 3202 may display the intrusion degree information 3200A on the display 330 in accordance with a predetermined operation by the user.
  • the display control unit 3202 may display the intrusion degree information on the display 330 when the data acquisition unit 3201 acquires the intrusion degree information. Good. At this time, the display control unit 3202 may display the intrusion degree information on the display 330 as a pop-up display, display the digest version intrusion degree information on the display 330, or the like.
  • the intrusion degree information is generated by the excavator controller 30, but the intrusion degree information may be generated by the management server 200 or the management terminal 300. That is, the function of the information generation unit 303 may be transferred to the management server 200 or the management terminal 300.
  • FIG. 2B is a block diagram illustrating another example of the configuration of the safety management system 100 according to the present embodiment.
  • the information generation unit 303 of the excavator (controller 30) is omitted, and an information generation unit 2203 is added to the processing device 220 of the management server 200 instead.
  • the information transmission unit 305 of the controller 30 controls the communication device 80 and transmits the intrusion history information 3101 to the management server 200.
  • the data acquisition unit 2201 of the management server 200 acquires the intrusion history information transmitted from the excavator to the management server through the communication device 210 and stores it in the storage unit 2200 (intrusion history information 2200B).
  • the information generation unit 2203 of the management server 200 generates intrusion degree information based on the intrusion history information 2200B, and stores the intrusion degree information in the storage unit 2200 (intrusion degree information 2200A), similar to the information generation unit 303 in FIG. 2A.
  • the management server 200 can distribute the intrusion degree information generated by the management server 200 to the management terminal 300 through the communication device 210.
  • the management server 200 can distribute to the excavator that is the transmission source of the intrusion history information through the communication device 210.
  • the management server 200 can perform centralized management, the configuration of the shovel can be simplified, and the cost of the shovel can be suppressed.
  • FIG. 2C is a block diagram showing still another example of the configuration of the safety management system 100 according to the present embodiment.
  • the information generation unit 303 of the excavator (controller 30) is omitted, and an information generation unit 3203 is added to the processing device 320 of the management terminal 300 instead.
  • the information transmission unit 305 of the controller 30 controls the communication device 80 and transmits the intrusion history information 3101 to the management server 200.
  • the data acquisition unit 2201 of the management server 200 acquires the intrusion history information transmitted from the excavator to the management server through the communication device 210 and stores it in the storage unit 2200 (intrusion history information 2200B).
  • the data distribution unit 2202 of the management server 200 controls the communication device 210 in response to a request from the management terminal 300 or in accordance with a pre-specified push notification requirement, and sends intrusion history information 2200B to the management terminal 300. To deliver.
  • the data acquisition unit 3201 of the management terminal 300 acquires the intrusion history information 2200B distributed from the management terminal 300 through the communication device 315 and stores it in the storage unit 3200 (intrusion history information 3200B).
  • the information generation unit 3203 of the management terminal 300 displays predetermined timing (for example, timing immediately after the intrusion history information 2200B is acquired by the data acquisition unit 3201, timing of predetermined batch processing, etc.), and display of intrusion degree information by the user
  • predetermined timing for example, timing immediately after the intrusion history information 2200B is acquired by the data acquisition unit 3201, timing of predetermined batch processing, etc.
  • intrusion degree information is generated based on the intrusion history information 3200B and stored in the storage unit 3200 (intrusion degree information 3200A), similar to the information generation unit 303 in FIG. 2A.
  • the management terminal 300 can acquire intrusion history information from the management server 200, generate intrusion degree information by itself, and display it on the display 330.
  • intrusion degree information (intrusion degree information 3102, intrusion degree information 3102, 2203, 3203 (hereinafter referred to as “information generator 303 etc.” for convenience)). 2200A, 3200A) will be described.
  • FIG. 5 is a diagram illustrating a first example of intrusion degree information generated by the information generation unit 303 and the like.
  • the intrusion degree information includes the number of detections of the number of intrusions of persons in the predetermined area within the most recent predetermined time (in this example, 1 hour from 11:00 to 12:00) This is information in a table format representing the number of detected persons (number of detected persons) and additional information, each time image information (captured image of the imaging device 40) in which a person intrusion into a predetermined area is detected.
  • the intrusion degree information in this example includes both the number of detections and the number of detections, but may be in a form in which either one is included.
  • the intrusion degree information in this example may include the number of times that the excavator is restricted in operation (operation restriction number) instead of or in addition to the number of times of detection. The same applies to embodiments relating to intrusion degree information described later, including FIGS. 6 to 10 (second example to sixth example).
  • the number of detections includes the total number of detections within a specified time, the number of detections by alarm level at the time of detection (by vigilance state and warning state), and by operation state at the time of detection (by driving state and non-running state) , The number of detections for each of the turning state, the non-turning state, the working state, and the non-working state), and the number of detections for each work mode (SP mode, H mode, and A mode) at the time of detection. Yes.
  • the number of detections includes the number of detections for each work content at the time of detection, and the elapsed time from alarm start to alarm release based on an alarm release operation by the operator ( For example, the number of detections per time segment in 1 minute increments, the number of detections by setting state of detection performance at the time of detection, the number of detections by surrounding environment at the time of detection, the number of detections by the stability level of the shovel at the time of detection, The number of times of detection for each operation skill of the operator at the time of detection may be included. The same applies to embodiments relating to the intrusion degree information described later, including FIGS. 5 to 9 (second example to fifth example).
  • the operation limit count includes the total operation limit count within a predetermined time, the operation limit count according to the operation limit level, and the operation state at the time of the operation limit.
  • Other operation limit times, operation limit times for each work mode when the operation is restricted, and the like may be included.
  • the number of motion limits includes the number of motion limits for each elapsed time from the start of motion restrictions to the release of the motion restrictions based on the motion restriction cancellation operation by the operator, and the detection performance settings at the time of detection (when motion is restricted).
  • the number of operation restrictions, the number of operation restrictions for each surrounding environment at the time of detection (operation restriction), and the like can be included.
  • the number of detected persons includes the total number of detected persons within a predetermined time, the number of detected persons for each detection location, and the number of detected persons for each subsequent operation.
  • the additional information includes link information (link 1 to link 10 in the figure) for accessing each time image information at the time of detection.
  • FIG. 6 is a diagram illustrating a second example of the intrusion degree information generated by the information generation unit 303.
  • the intrusion degree information includes the number of detections of intrusion of a person into a predetermined area at a predetermined detection location (in this example, the rear area of the shovel), the number of detected persons (detection). Number of persons) and additional information, which is information in a table format representing image information (captured image of the imaging device 40) each time an intrusion of a person into a predetermined area is detected.
  • the number of detections includes the total number of detections at a given detection location, the number of detections by today's time zone, the number of detections by alarm level at the time of detection (warning state, warning state), and the operation state at the time of detection (The number of detections of the running state, the non-running state, the turning state, the non-turning state, the working state, the non-working state), and the work mode at the time of detection (the SP mode, H mode, A mode) The number of detections is included.
  • the number of detected persons includes the total number of detected persons at a predetermined detection location, as well as the number of persons detected by subsequent actions.
  • the additional information includes link information (link 1 to link 10 in the figure) for accessing the image information at each time at the time of detection, as in the first example.
  • FIG. 7 is a diagram illustrating a third example of the intrusion degree information generated by the information generation unit 303.
  • the intrusion degree information includes the number of times a person has entered a predetermined area in a predetermined operation state (in this example, a turning state), the number of detected people (number of detected people). , And additional information, which is information in a table format that represents image information (captured image of the imaging device 40) each time an intrusion of a person into a predetermined area is detected.
  • the number of detections includes the total number of detections in a given operation state, the number of detections by today's time zone, the number of detections by alarm level (warning state, warning state) at the time of detection, and the work mode at the time of detection.
  • the number of times of detection (different from SP mode, H mode, and A mode) is included.
  • the number of detected persons includes the total number of persons detected at a predetermined detection place, the number of persons detected by each detection area, and the number of persons detected by each subsequent operation.
  • the additional information includes link information (link 1 to link 10 in the figure) for accessing each time image information at the time of detection, as in the first example.
  • FIG. 8 is a diagram illustrating a fourth example of the intrusion degree information generated by the information generation unit 303.
  • the intrusion degree information includes the number of times a person has entered the predetermined area in a predetermined work mode (H mode in this example), the number of detected persons (number of detected persons). , And additional information, which is information in a table format that represents image information (captured image of the imaging device 40) each time an intrusion of a person into a predetermined area is detected.
  • the number of detections includes the total number of detections in a given work mode, the number of detections by today's time zone, the number of detections by alarm level (warning state, warning state) at the time of detection, and the operation state at the time of detection.
  • the number of times of detection is included.
  • the number of detected persons includes the total number of detected persons in a predetermined work mode, the number of detected persons for each detection place, and the number of detected persons for each subsequent operation.
  • the additional information includes link information (link 1 to link 10 in the figure) for accessing each time image information at the time of detection, as in the first example.
  • FIG. 9 is a diagram illustrating a fifth example of the intrusion degree information generated by the information generation unit 303.
  • the intrusion degree information includes the number of times a person has entered the predetermined area at a predetermined alarm level (in this example, a warning state), and the number of detected persons (number of detected persons).
  • additional information which is information in a table format that represents image information (captured image of the imaging device 40) each time an intrusion of a person into a predetermined area is detected.
  • the number of detections includes the number of detections by today's time zone, the number of detections by alarm level at the time of detection (warning state, warning state), and the operation state at the time of detection (The number of detections of the running state, the non-running state, the turning state, the non-turning state, the working state, the non-working state), and the work mode at the time of detection (the SP mode, H mode, A mode) The number of detections is included.
  • the number of detected persons includes the total number of detected persons in a predetermined work mode, the number of detected persons for each detection place, and the number of detected persons for each subsequent operation.
  • the additional information includes link information (link 1 to link 10 in the figure) for accessing each time image information at the time of detection, as in the first example.
  • the information generation unit 303 or the like generates intrusion degree information including the number of detections, the number of detected persons, and the like.
  • the information generation unit 303 or the like has intrusion degree information for generating a table capable of confirming the relationship between the intrusion degree of the monitoring target (person) into the predetermined area around the excavator and the intrusion related information. Generated.
  • the controller 30 (display control unit 304) of the shovel causes the display device 50 to display the generated intrusion degree information, and the intrusion status (intrusion degree) of the monitoring target (person) into the predetermined area around the shovel. Can be grasped by the operator.
  • the management terminal 300 displays the generated intrusion degree information on the display 300 so that the supervisor or the worker at the work site can grasp the intrusion state of the monitoring target (person) into the predetermined area around the excavator. Can do.
  • the management server 200 can distribute the generated intrusion degree information not only to the management terminal 300 but also to other work machines different from the target work machine and display the information on a display device or the like of the other work machine. it can. Therefore, not only the operator of the target work machine (excavator) but also the supervisor of the work site, the worker, the operator of other work machines, etc. It can be grasped.
  • the intrusion degree information can include the operation limit number.
  • the information generation unit 303 or the like generates a table that can check the degree of intrusion of the monitoring target (person) into a predetermined area around the excavator under a predetermined condition regarding the intrusion degree information.
  • Intrusion degree information is generated. That is, the information generation unit 303 or the like performs a narrowing down under a predetermined condition related to intrusion related information, and generates a table that can be checked in the predetermined area around the shovel that is narrowed down under the predetermined condition. Generate intrusion level information.
  • the operator or the like can detect the number of detections under the respective conditions such as a predetermined time, a predetermined detection place, a predetermined operation state, a predetermined work mode, or a predetermined alarm level, the number of detected persons, the number of operation restrictions, etc. Can be grasped. Therefore, an operator or the like can recognize the safety situation at the work site from various viewpoints based on the number of detections, the number of detections, and the number of operation restrictions under various conditions. An operator or the like can also examine an action policy or the like for achieving both work efficiency at the work site and safety at the work site by comparing the number of times of detection with the number of operation limits.
  • an operator or the like can grasp the increase / decrease tendency of the number of times of detection according to the passage of time. For this reason, for example, the operator or the like can improve the safety of the work site by recognizing a situation in which the number of detections tends to increase and paying more attention to the surroundings.
  • the operator or the like can grasp the degree of intrusion into the first area where the alarm level is high.
  • an operator or the like can grasp the degree of entry into a region where the degree of motion restriction is high, that is, a region closer to the shovel. Therefore, the operator can improve the safety of the work site by recognizing the situation of the worker's accessibility to the excavator at the current work site and operating the excavator and working around the excavator. it can.
  • the operator can grasp in advance what kind of operation state and work mode he / she did not notice in advance. In the future, it is possible to improve the safety of the work site by paying more attention to the target operation state and work mode.
  • the operator etc. did not notice in advance in which area of the predetermined area, or in which area the current work site is intruded, etc. Can be grasped. For this reason, the operator or the like can improve the safety of the work site by paying more attention in the target area.
  • the object detection unit 301 detects the intrusion of a person into the predetermined area and outputs an alarm from the audio output device 60, the operator etc.
  • the operator By not taking appropriate action, it is possible to grasp the presence of a person (such as an operator) who does not leave the predetermined area. Therefore, even if a person has entered a predetermined area around the excavator, the operator is urged to perform thorough actions such as immediately evacuating from the predetermined area or stopping the excavator operation. It is possible to improve safety.
  • the operator has not noticed in advance what kind of work content the person has entered into the predetermined area, and what kind of work It is possible to grasp whether a person can easily approach the excavator around the content. Therefore, the operator or the like can improve the safety of the work site by paying more attention to the target work content, for example.
  • the operator or the like grasps the tendency of the elapsed time from the alarm start to the operator performing the alarm release operation. be able to.
  • the operator etc. It is possible to grasp the tendency of the elapsed time until the operation restriction cancellation operation is performed.
  • the operator or the like can grasp in what type of detection performance setting state the number of detections is large. Therefore, the operator or the like can be used as a judgment material for determining the setting state of the detection performance at the work site, for example.
  • the operator or the like has not noticed in advance what kind of surrounding environment the person has entered into the predetermined area, and what kind of surrounding It is possible to know whether people are likely to get close to the excavator in the environment. Therefore, the operator or the like can improve the safety of the work site, for example, by paying more attention in the target surrounding environment.
  • the operator or the like can correlate the posture stability and the degree of intrusion of a person into a predetermined area around the shovel (for example, posture stability Can be confirmed, the degree of focus on the operator's operation increases, and conversely, attention to the periphery of the excavator decreases. Therefore, for example, the field supervisor or the like compares the attachment from the upper swing body 3 on the site environment (for example, whether the work site is unstable or not, whether there is a relatively large difference in height of the operation of the bucket 6).
  • the operator can determine the operator's operation skill and a predetermined area around the shovel. It is possible to confirm the correlation with the degree of intrusion of the person (for example, the lower the operator's operation skill, the higher the focus on the operation, so the attention to the periphery of the excavator becomes lower) it can. Accordingly, the field supervisor or the like can arrange skilled workers for work in a place where there are many workers working in the vicinity when arranging the charge of a plurality of work machines.
  • the operator and the like can grasp how the intrusion into the predetermined area is specifically performed, so that the action policy for the subsequent safety improvement can be determined. It can be set up specifically.
  • the intrusion degree information includes the number of detections by time zone, the number of detections by alarm level, the number of detections by operation state, the number of detections by work mode, and the detection by detection location. Five of the number of persons and the number of detected persons by post-action are included, but some or all of them may be omitted.
  • the information transmission unit 305 corresponding to the safety management system of FIG. 2A transmits the intrusion degree information to the management server 200
  • the information transmission unit 305 also converts the intrusion degree information to each time image information.
  • the image data corresponding to the link information is transmitted to the management server 200.
  • image information (link information to) is included as additional information, but the image information may be omitted.
  • FIG. 10 is a diagram illustrating a sixth example of the intrusion degree information generated by the information generation unit 303 and the like.
  • the intrusion degree information includes time series data of the number of detected intrusions of persons in the predetermined area around the excavator and the number of detected persons (in this example, time series data by day of the week for the most recent week). And 10:30 current data on September 5 (Monday), which is the work day.
  • the number of detections and the number of detected persons by alarm level are included.
  • the information generation unit 303 and the like generate intrusion degree information including the number of detections, the number of detected persons, and the like as in the first to fifth examples.
  • the display control unit 304 can display the generated intrusion degree information on the display device 50 and allow the operator to grasp the intrusion state (intrusion degree) of a person into a predetermined area around the shovel.
  • the information transmission unit 305 can transmit the generated intrusion degree information to the management server 200, and can be transmitted from the management server 200 to a computer terminal, a portable terminal, another work machine, or the like at the work site.
  • the supervisor at the work site, the worker, the operator of another work machine, or the like grasp the intrusion state (invasion degree) of a person into a predetermined area around the excavator. Therefore, it is possible to encourage the safety action to the operator of the excavator, the supervisor at the work site, the operator, the operator of other work machines, etc., and the work in which the excavator is used in a relatively immediate manner. It is possible to improve on-site safety.
  • the intrusion degree information according to the sixth example can be displayed as a graph in a table format in addition to being displayed on the display device 50 on the display device 50, the computer terminal portable terminal at the work site, the display device of another work machine, or the like.
  • FIG. 11 other display modes when displaying time series data such as the number of detections in FIG. 10 on the display device 50, the computer terminal portable terminal at the work site, the display device of other work machines, etc. An example will be described.
  • FIG. 11 is a diagram showing intrusion degree information displayed on the display device 50 or the like, and more specifically, a diagram in which time-series data of the number of detections is displayed on the display device 50 or the like as a graph.
  • the content of the intrusion degree information according to this example is the same as the intrusion degree information shown in FIG.
  • the operator etc. by displaying the time-series data such as the number of detections in a graph, the operator etc. It is possible to easily grasp the number of detections for each day of the week in the last week and the characteristics (increase / decrease) of the time series data of the number of detected persons.
  • the number of detections for each alarm level out of the total number of detections is expressed in different display modes (specifically, display modes in which the warning state is a dot display and the warning state is a border display).
  • the characteristics of time-series data by level can be easily grasped. Therefore, the operator etc. can improve the safety of the work site where the excavator is used in a more effective manner.
  • intrusion degree information other than those illustrated in FIGS. 5 to 10 may be generated.
  • the intrusion degree information may be an aspect including the number of detections by work content when the person is detected by the object detection unit 301, the number of detected persons, the number of operation restrictions, additional information, and the like.
  • the operator of the shovel, the manager of the work site, the supervisor, the operator of another work machine, etc. visually inspect the intrusion degree information, and what kind of work is being performed, It is possible to grasp whether there are many intruders in the vicinity.
  • the intrusion degree information may be an aspect including the number of detections for each detection performance setting state in which a person is detected by the object detection unit 301, the number of detected persons, the number of operation restrictions, additional information, and the like.
  • the operator of the shovel, the manager of the work site, the supervisor, the operator of other work machines, etc. visually inspect the intrusion degree information and examine what detection performance setting state is appropriate. be able to.
  • the intrusion degree information is detected by the object detection unit 301 according to the surrounding environment (for example, morning, noon, night, clear, cloudy, rain, etc.), the number of detected persons, the number of movement restrictions, and additional information. Etc. may be included.
  • the operator of the excavator, the manager of the work site, the supervisor, the operator of other work machines, etc. visually inspect the intrusion degree information, and intruders in the vicinity of the excavator in any surrounding environment state It is possible to grasp whether there are many.
  • the intrusion degree information may include an operation restriction count for each operation state when the object detection unit 301 starts excavation operation restriction, additional information, and the like.
  • the operator of the shovel, the manager of the work site, the supervisor, the operator of other work machines, and the like are performing what operations are performed, that is, what operations the shovel performs. It is possible to grasp whether the frequency of excavator operation restriction is high. Also, the manager and supervisor at the work site can examine, for example, whether it is necessary to stop the operation state where the excavator operation is frequently restricted from the viewpoint of work efficiency and safety.
  • FIG. 12 is a diagram illustrating a seventh example of the intrusion degree information generated by the information generation unit 303 and the like.
  • the information generation unit 303 or the like generates intrusion degree information for generating a table capable of confirming intrusion related information under a predetermined condition related to the intrusion degree. Specifically, items of intrusion related information whose detection frequency (for example, the number of detections per unit time such as per hour, the number of detected people, etc.) exceeds a predetermined standard are highlighted and displayed by the information generation unit 303 or the like. .
  • detection frequency for example, the number of detections per unit time such as per hour, the number of detected people, etc.
  • the intrusion degree information includes a plurality of intrusion related information (information on a time zone at the time of detection, information on an operation state at the time of detection, information on a work mode at the time of detection, and a place where a person is detected at the time of detection.
  • the detection frequency is calculated, for example, by dividing the number of detections within the total time corresponding to a certain item of certain intrusion related information by the total time.
  • the predetermined condition regarding the intrusion degree is satisfied, that is, the item of intrusion related information having a relatively high intrusion degree (detection frequency) is highlighted (see the hatched portion in the figure). Specifically, among all items corresponding to each intrusion related information, an item whose detection frequency is “2.0” or more per unit time is highlighted.
  • the information generation unit 303 or the like generates a table that allows confirmation of intrusion-related information items under a predetermined condition regarding the degree of intrusion (intrusion frequency) of a monitoring target (person) into a predetermined area around the excavator.
  • Intrusion degree information is generated for this purpose.
  • the information generation unit 303 or the like narrows down a predetermined condition regarding the degree of intrusion of the monitoring target (person) into a predetermined area around the excavator, and the intrusion related information (items) narrowed down based on the predetermined condition.
  • Intrusion degree information for generating a table that can be confirmed is generated.
  • the on-site supervisor can directly identify items of intrusion-related information in which the degree of intrusion of the monitoring target (person) into the predetermined area around the excavator is relatively high. For this reason, the on-site supervisor, for example, can consider measures for improving the safety of the work site based on the conditions regarding the items of the extracted intrusion-related information that are considered to be relatively low in safety.
  • the detection frequency based on the number of detections is used as a condition regarding the degree of intrusion of the monitoring target (person) into a predetermined area around the excavator.
  • An operation restriction frequency based on the number of times may be used.
  • FIG. 13 is a diagram illustrating an example of a display mode of intrusion degree information in the management terminal 300.
  • the display mode is realized by the display control unit 3202 (that is, the management application) of the management terminal 300 described above.
  • a table 330A corresponding to the intrusion degree information is displayed in the right half area of the horizontally long display 330 of the management terminal 300 of this example.
  • a specification selection unit 330B for selecting the specification of the intrusion degree information to be displayed as the table 330A is displayed.
  • the specification selection unit 330B the specification registered in advance (for example, whether to display the intrusion degree information obtained by narrowing down the intrusion degree information under any condition relating to the intrusion related information or the intrusion degree, or under what conditions is specifically narrowed down)
  • the intrusion degree information corresponding to the specifications of “table 1” to “table 5” is displayed.
  • the user responds by, for example, moving a cursor or the like indicated by a thick frame in the figure by a slide operation on the touch panel or a hardware operation unit (not shown) (for example, a mouse) and performing a predetermined determination operation.
  • the specification intrusion degree information can be displayed on the display 330 as a table 330A.
  • a GUI of the customization unit 330C for registering specifications for the user to select with the specification selection unit 330B is displayed. Thereby, the user can register the intrusion degree information of the specification he / she wants to confirm in the specification selecting unit 330B.
  • FIG. 14 is a flowchart schematically showing an example of processing by the display control unit 304. The process according to this flowchart is repeatedly executed at predetermined time intervals during the operation of the excavator, for example.
  • step S102 the display control unit 304 determines whether or not the number of detections N1 of intrusion of a person into a predetermined area around the shovel by the object detection unit 301 is equal to or greater than a predetermined threshold N1th under predetermined detection conditions.
  • the predetermined conditions are, for example, (1) within a predetermined time from a certain point in time (within a predetermined time zone), (2) a predetermined detection place, (3) a predetermined operation state, It may be at least one of (4) a predetermined work mode, (5) a predetermined alarm level, and the like. If the determination condition is not satisfied, the display control unit 304 proceeds to step S104. If the determination condition is satisfied, the display control unit 304 proceeds to step S106.
  • the display control unit 304 determines whether or not the number of times that the object detection unit 301 has restricted the operation of the shovel (operation limit number) has relatively increased (becomes a predetermined threshold value) under a predetermined detection condition. You may judge. The same applies to step S202 in FIG.
  • step S104 the display control unit 304 determines whether or not the number N2 of persons invading a predetermined area around the shovel by the object detection unit 301 is equal to or greater than a predetermined threshold N2th under the same predetermined conditions as in step S102. Determine. If the determination condition is satisfied, the display control unit 304 proceeds to step S106. If the determination condition is not satisfied, the display control unit 304 ends the current process.
  • the display control unit 304 causes the display device 50 to display the intrusion degree information 3102.
  • the display control unit 304 may cause the display device 50 to display the intrusion degree information 3102 corresponding to the first example described above.
  • the display control unit 304 may cause the display device 50 to display the intrusion degree information 3102 corresponding to the second example described above.
  • the display control unit 304 may cause the display device 50 to display the intrusion degree information 3102 corresponding to the third example described above.
  • the display control unit 304 may cause the display device 50 to display the intrusion degree information 3102 corresponding to the above-described fourth example.
  • the display control unit 304 may cause the display device 50 to display the intrusion degree information 3102 corresponding to the fifth example described above.
  • steps S104 and S106 may be omitted. Further, the order of the processes in steps S104 and S106 may be reversed or may be performed in parallel.
  • step S106 the number of detections N1 and the number of detected people N2 are reset, and counting is started again under the predetermined condition.
  • the display control unit 304 detects the number of times that the object detection unit 301 detects the intrusion of the person into the predetermined area (the number of detections) included in the intrusion degree information 3102 and the intrusion into the predetermined area.
  • the intrusion degree information 3102 is displayed on the display device 50.
  • the display control unit 304 satisfies that the number of detection times detected under a predetermined detection condition or the operation limit number exceeds a predetermined threshold as the notification condition
  • the display control unit 304 sets the display device 50 to the display device 50.
  • Intrusion degree information 3102 is displayed. Thereby, since the intrusion degree information 3102 is displayed only in situations where it is necessary to improve the safety of the work site, it is possible to suppress bothersomeness and discomfort given to the operator.
  • the notification condition for displaying the intrusion degree information 3102 on the display device 50 is not limited to this mode.
  • the display control unit 304 satisfies that the number of detections, the number of detections, or the number of operation restrictions increases rapidly, that is, exceeds the predetermined reference as the notification condition, the display control unit 304 displays
  • the intrusion degree information 3102 may be displayed on the device 50.
  • the number of detections, the number of detected persons, or the number of operation restrictions in a predetermined period (the period from the start of work on one day to the present time, a predetermined time period of the day, etc.) If the number of detections, the number of detections, or the number of times of operation limit has increased more than a predetermined standard, Good.
  • the intrusion degree information 3102 is displayed only in situations where it is necessary to improve the safety of the work site, as in the above-described embodiment, so that bothersomeness and discomfort given to the operator can be suppressed. .
  • the intrusion degree information 3102 may be displayed at a stage where the number of detections, the number of detected persons, or the number of operation restriction increases before reaching the predetermined threshold in FIG. Therefore, a manager at the work site, a supervisor, an operator of another work machine, etc. can take measures against the safety of the work site at an earlier stage.
  • FIG. 15 is a flowchart schematically showing an example of processing by the information transmission unit 305. The process according to this flowchart is repeatedly executed at predetermined time intervals during the operation of the excavator, for example.
  • step S202 the information transmission unit 305 determines whether or not the number of detections N1 of intrusion of a person into a predetermined area around the shovel by the object detection unit 301 is equal to or greater than a predetermined threshold N1th under predetermined detection conditions.
  • the predetermined condition may be, for example, the above (1) to (5). If the determination condition is not satisfied, the information transmission unit 305 proceeds to step S204. If the determination condition is satisfied, the information transmission unit 305 proceeds to step S206.
  • step S204 the information transmission unit 305 determines whether or not the number N2 of persons invading a predetermined area around the shovel by the object detection unit 301 is equal to or greater than a predetermined threshold N2th under the same predetermined conditions as in step S202. Determine. If the determination condition is satisfied, the information transmission unit 305 proceeds to step S206. If the determination condition is not satisfied, the information transmission unit 305 ends the current process.
  • step S ⁇ b> 206 the information transmission unit 305 transmits the intrusion degree information 3102 to the management server 200.
  • the information transmission unit 305 may transmit the intrusion degree information 3102 corresponding to the first example described above to the management server 200.
  • the predetermined detection condition is (2)
  • the information transmission unit 305 may transmit the intrusion degree information 3102 corresponding to the second example described above to the management server 200.
  • the predetermined detection condition is (3)
  • the information transmission unit 305 may transmit the intrusion degree information 3102 corresponding to the above-described third example to the management server 200.
  • the information transmission unit 305 may transmit the intrusion degree information 3102 corresponding to the above-described fourth example to the management server 200.
  • the information transmission unit 305 may transmit the intrusion degree information 3102 corresponding to the fifth example described above to the management server 200.
  • steps S204 and S206 may be omitted. Further, the order of the processes in steps S204 and S206 may be reversed or may be performed in parallel. Similarly to the case of FIG. 14, when the process of step S206 is performed, the number of detection times N1 and the number of detected people N2 are reset and counting is started again under the predetermined condition.
  • the information transmission unit 305 is configured so that the number of times that the intrusion of the person into the predetermined area is detected by the object detection unit 301 under the predetermined detection condition, When the number of shovel operation restrictions is equal to or greater than a predetermined threshold, intrusion degree information 3102 is transmitted to the management server 200. As a result, the intrusion degree information 3102 is transmitted only in situations where it is necessary to improve the safety of the work site. Therefore, it is troublesome for the manager, supervisor, operator of other work machines, etc. A sense of discomfort can be suppressed.
  • the notification condition for causing the management server 200 to transmit the intrusion degree information 3102 is not limited to this mode, as is the case with the notification condition for causing the display device 50 to display the intrusion degree information 3102.
  • the information transmission unit 305 has a sudden increase in the number of detections, the number of detected people, or the number of operation restrictions, that is, a predetermined reference or more. If this is satisfied, the intrusion degree information 3102 may be transmitted to the management server 200.
  • the number of detections, the number of detected persons, or the number of operation restrictions in a predetermined period (the period from the start of work on one day to the present time, a predetermined time period of the day, etc.) If the number of detections, the number of detections, or the number of times of operation limit has increased more than a predetermined standard, Good.
  • a predetermined standard, Good the number of detections, the number of detections, or the number of times of operation limit has increased more than a predetermined standard, Good.
  • the intrusion degree information 3102 may be transmitted at a stage where the number of detections, the number of detected persons, or the number of operation restrictions increases before reaching the predetermined threshold in FIG. Therefore, a manager at the work site, a supervisor, an operator of another work machine, etc. can take measures against the safety of the work site at an earlier stage.
  • the display control unit 304 causes the display device 50 to display the intrusion degree information 3102 and the information transmission unit 305 transmits the intrusion degree information 3102 to the management server 200. It may be an embodiment.
  • intrusion degree information (intrusion degree information 3102, intrusion degree information 2200A, intrusion degree information 3200A) related to one work machine is generated in one work machine (excavator).
  • intrusion degree information regarding a plurality of work machines in which intrusion history information 3101 stored in each of a plurality of work machines (for example, excavators, bulldozers, etc.) working on the work site is aggregated, that is, intrusion in the entire work site Degree information may be generated.
  • the generated intrusion degree information may be displayed on a display device that can be viewed by an operator of each target work machine, or may be transmitted to a management server that can communicate with each of the plurality of work machines.
  • the intrusion history information stored in each work machine is collected in a specific work machine among a plurality of work machines connected to be able to communicate with each other, and intrusion related to the plurality of work machines is performed in the work machine.
  • Degree information may be created.
  • the intrusion history information stored in each work machine is shared among a plurality of work machines connected so as to communicate with each other. In each work machine, the intrusion degree information regarding the plurality of work machines is stored. It may be created.
  • the management server 200 acquires intrusion history information from a plurality of work machines working at a work site
  • the management server 200 or the management terminal 300 acquires intrusion history information regarding the plurality of work machines aggregated in the management server 200.
  • intrusion degree information for the entire work site may be generated.
  • the manager of the work site, the supervisor, the operator of each work machine, etc. can grasp the intrusion degree information in the entire work site through the management terminal 300, the display device 50 of the shovel, and the like. Therefore, the response
  • Safety management system (safety management system for work machines) 150 communication network 200 management server (management device) 210 Communication equipment 220 Processing device 300 Management terminal 301 Object detection unit (detection unit) 302 Information acquisition unit 303 Information generation unit 304 Display control unit 305 Information transmission unit (transmission unit) 310 storage unit 315 communication device 320 processing device 3101 intrusion history information 3102 intrusion degree information 2200 storage unit 2200A intrusion degree information 2200B intrusion history information 2201 data acquisition unit 2202 data distribution unit 2203 information generation unit 3200 storage unit 3200A intrusion degree information 3200B intrusion history Information 3201 Data acquisition unit 3202 Display control unit 3203 Information generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

比較的即効性のある態様で、作業機械が使用される作業現場の安全性の向上を図ることが可能な作業機械用安全管理システムを提供する。そのため、一実施形態に係る作業機械用安全管理システムは、作業機械の周辺の所定領域内への障害物の侵入を検知する検知部と、検知部による検知結果の履歴と、所定領域内に障害物が侵入したときの侵入に関連する侵入関連情報とに基づき、所定領域内への障害物の侵入度合いと侵入関連情報との関係を確認可能な表を生成するための侵入度合情報を生成する情報生成部と、を備える。

Description

作業機械用安全管理システム、管理装置、安全管理方法
 本発明は、作業機械用安全管理システム等に関する。
 作業機械の周辺の所定領域(監視領域)への人(作業員)の侵入を検知し、侵入情報を作業機械の遠隔に配備されるコンピュータに送信し、該コンピュータ内にデータベースとして蓄積・保存させる安全管理装置が知られている(例えば、特許文献1参照)。
特開2007-85091号公報
 しかしながら、特許文献1では、蓄積された侵入情報に基づき事後的に作業現場の作業者や現場監督等に安全性の向上を促すことができるが、作業現場で現在生じている状況に対して、直ぐに安全性の向上を促すことができない。
 そこで、上記課題に鑑み、比較的即効性のある態様で、作業機械が使用される作業現場の安全性の向上を図ることが可能な作業機械用安全管理システム等を提供することを目的とする。
 上記目的を達成するため、本発明の一実施形態では、
 作業機械の周辺の所定領域内への障害物の侵入を検知する検知部と、
 前記検知部による検知結果の履歴と、前記所定領域内に前記障害物が侵入したときの前記侵入に関連する侵入関連情報とに基づき、前記所定領域内への前記障害物の侵入度合いと前記侵入関連情報との関係を確認可能な表を生成するための侵入度合情報を生成する情報生成部と、を備える、
 作業機械用安全管理システムが提供される。
 上述の実施形態によれば、比較的即効性のある態様で、作業機械が使用される作業現場の安全性の向上を図ることが可能な作業機械用安全管理システムを提供することができる。
本実施形態に係る作業機械の一例を示す図である。 本実施形態に係る安全管理システムの構成の一例を示す図である。 本実施形態に係る安全管理システムの構成の他の例を示す図である。 本実施形態に係る安全管理システムの構成の更に他の例を示す図である。 物体検知部による検知範囲を説明する図である。 侵入履歴情報の一例を示す図である。 情報生成部により生成される侵入度合情報の第1例を表す図である。 情報生成部により生成される侵入度合情報の第2例を表す図である。 情報生成部により生成される侵入度合情報の第3例を表す図である。 情報生成部により生成される侵入度合情報の第4例を表す図である。 情報生成部により生成される侵入度合情報の第5例を表す図である。 情報生成部により生成される侵入度合情報の第6例を表す図である。 表示装置等に表示された侵入度合情報を表す図である。 情報生成部により生成される侵入度合情報の第7例を表す図である。 管理端末における侵入度合情報の表示態様の一例を表す図である。 表示制御部による処理の一例を概略的に示すフローチャートである。 情報送信部による処理の一例を概略的に示すフローチャートである。
 以下、図面を参照して発明を実施するための形態について説明する。
 [作業機械の概要]
 まず、図1を参照して、本実施形態に係る安全管理システム100(図2参照)に含まれる作業機械について説明をする。
 図1は、本実施形態に係る安全管理システム100に含まれる作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
 尚、本実施形態に係る安全管理システム100に含まれる作業機械は、当然の如く、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等であってもよい。
 本実施形態に係るショベルは、一般的な構成として、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、作業装置としてのブーム4、アーム5、及びバケット6と、オペレータが搭乗するキャビン10を備える。
 下部走行体1は、例えば、左右1対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、ショベルを走行させる。
 上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
 ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
 キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
 また、本実施形態に係るショベルは、安全管理システム100に関連する構成として、コントローラ30と、撮像装置40と、動作・姿勢状態センサ42と、表示装置50と、音声出力装置60と、外部報知装置70と、通信機器80を備える。
 コントローラ30は、ショベルの駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。
 撮像装置40は、上部旋回体3の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
 後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。
 左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。
 右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。
 動作・姿勢状態センサ42は、ショベルの動作状態や姿勢状態を検知するセンサである。動作・姿勢状態センサ42は、ブーム角度センサ42Aと、アーム角度センサ42Bと、バケット角度センサ42Cと、三軸慣性センサ(IMU:Inertial Measurement Unit)42D,42Eと、旋回角度センサ42Fと、加速度センサ42Gを含む。
 ブーム角度センサ42Aは、上部旋回体3を基準とするブーム4の俯仰角度(以下、「ブーム角度」と称する)を検出する。ブーム角度センサ42Aは、例えば、ロータリエンコーダであり、以下、ブーム角度センサ42A、バケット角度センサ42C、及び、旋回角度センサ42Fについても同様であってよい。
 アーム角度センサ42Bは、ブーム4を基準とするアーム5の回動角度(以下、「アーム角度」と称する)を検出する。
 バケット角度センサ42Cは、アーム5を基準とするバケット6の回動角度(以下、「バケット角度」と称する)を検出する。
 IMU42Dは、ブーム4に取り付けられ、所定の三軸に沿ったブーム4の加速度、及び、所定の三軸廻りのブーム4の角加速度を検出する。
 IMU42Eは、アーム5に取り付けられ、所定の三軸に沿ったアーム5の加速度、及び、所定の三軸廻りのアーム5の角加速度を検出する。
 旋回角度センサ42Fは、上部旋回体3の所定の角度方向を基準とする旋回角度を検出する。
 加速度センサ42Gは、上部旋回体3の旋回軸から離れた位置に取り付けられ、上部旋回体3の当該位置における加速度を検出する。これにより、加速度センサ42Gの検出結果に基づき、上部旋回体3が旋回しているのか、或いは、下部走行体1が走行しているのか等が判別されうる。
 表示装置50は、キャビン10内の操縦席の周辺に設けられ、コントローラ30(後述する表示制御部304)による制御の下、オペレータに通知する各種画像情報を表示する。
 音声出力装置60は、キャビン10内の操縦性の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置60は、例えば、スピーカやブザー等である。
 外部報知装置70は、ショベルの周辺の作業者や作業現場の監督者等に向けて報知を行う。外部報知装置70は、例えば、ショベルの周辺の作業者等に向けて点灯或いは点滅等する光源(灯火器)を含んでよい。また、外部報知装置70は、ショベルの周辺の作業者等に向けて画像情報(文字情報や描画情報等)を提示する外部向けの表示装置を含んでもよい。また、外部報知装置70は、ショベルの周辺の作業者等に向けて音声情報を出力する、スピーカやブザー等の外部向けの音声出力装置を含んでもよい。
 通信機器80は、所定の無線通信規格に基づき、所定の通信ネットワーク150(図2参照。例えば、基地局を末端とする携帯電話ネットワークやインターネット網等)を通じて、遠隔の外部機器(例えば、後述する管理サーバ200)と通信する通信デバイスである。
 [安全管理システムの構成]
 次に、図2A~図2Cを参照して、安全管理システム100の構成について説明する。
 まず、図2Aは、本実施形態に係る安全管理システム100の構成の一例を示すブロック図である。
 安全管理システム100は、ショベルと、通信ネットワーク150を通じて、ショベルと通信可能に接続される管理サーバ200と、通信ネットワーク150を通じて、管理サーバ200と通信可能な管理端末300を含む。
 ショベルは、本実施形態に係る安全管理システム100に関連する構成として、コントローラ30と、撮像装置40と、動作・姿勢状態センサ42と、表示装置50等を含む。
 コントローラ30は、安全管理システム100における主たる制御処理を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ30は、ROM等に格納される各種プログラムをCPU上で実行することにより実現される機能部として、物体検知部301と、情報取得部302と、情報生成部303と、表示制御部304と、情報送信部305を含む。また、コントローラ30は、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の内部メモリに規定される記憶領域としての記憶部310を含む。
 撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像をコントローラ30に出力し、撮像画像は、コントローラ30に取り込まれる。
 動作・姿勢状態センサ42は、上述の如く、ブーム角度センサ42Aと、アーム角度センサ42Bと、バケット角度センサ42Cと、IMU42D,42Eと、旋回角度センサ42Fと、加速度センサ42Gを含む。動作・姿勢状態センサ42に含まれるそれぞれのセンサは、検出結果(検出信号)をコントローラ30に出力し、検出結果は、コントローラ30に取り込まれる。
 表示装置50は、撮像装置40の撮像画像(スルー画像)や、コントローラ30により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、ショベルの真上から見た俯瞰画像等の視点変換画像)等を表示する。また、表示装置50は、コントローラ30は、表示制御部304による制御の下、ショベルの所定領域への人の侵入度合を表す情報(以下、「侵入度合情報」と称する)を表示する。侵入度合情報の詳細については、後述する。
 音声出力装置60は、コントローラ30(物体検知部301)による制御の下、警報音を出力する。
 外部報知装置70は、コントローラ30(物体検知部301)による制御の下、ショベルの周辺に向けて、光源の点灯、光源の点滅、情報画像、音声等を用いて、警報を出力する。
 通信機器80は、コントローラ30の制御の下、ショベルの遠隔に設けられる管理サーバ200と通信ネットワーク150を介して通信可能に接続し、管理サーバ200との間で各種情報の送信を行う。
 物体検知部301(検知部の一例)は、撮像装置40の撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離D1(例えば、5メートル)以内の所定の監視対象を検知する。即ち、物体検知部301は、ショベルの周辺の所定領域内(ショベルから所定距離D1以内)への監視対象の侵入を検知する。監視対象は、ショベルの周辺に存在或いは侵入しうる障害物である。例えば、監視対象には、ショベルの周辺の作業者等の人、ショベルの周辺で作業を行う他の作業機械や車両、ショベルの周辺に仮置きされる工材等が含まれうる。本実施形態では、以下、監視対象が作業者等の人である前提で説明を進める。
 例えば、物体検知部301は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置(ショベルから認識した人までの距離D等)を特定することができる。
 尚、物体検知部301は、撮像装置40の撮像画像に基づきショベルの周辺の人を検知するが、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR(LIght Detection And Ranging)、ステレオカメラ等の検出結果(距離画像等)に基づきショベルの周辺の人を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。
 また、物体検知部301は、ショベルから所定距離D1以内で人を検知した場合、キャビン10内のスピーカ等の音声出力装置60に警報音を出力させたり、表示装置50に所定の警報情報を表示させて、オペレータへの警報を行ってよい。この際、物体検知部301は、ショベルの周辺の所定領域におけるショベルに近接する第1領域、例えば、ショベルから所定距離D1より小さい所定距離D2(例えば、2.5m)以下の領域と、第1領域より遠い第2領域のうちの何れに人が侵入しているかにより警報の仕様を変更する。具体的には、物体検知部301は、検知された人のショベルからの距離が所定距離D1以下且つ所定距離D2より大きい場合、警戒状態であるとして、警報レベルが低い予備的な警報(例えば、比較的小音量の警報音を音声出力装置60に出力させる)を行う。また、物体検知部301は、検知された人のショベルからの距離が所定距離D2以下である場合、警告状態であるとして、警報レベルの高い正式な警報(例えば、比較的大音量の警報音を音声出力装置60に出力させる)を行う。
 また、物体検知部301は、警報の出力開始後、所定の条件に基づき、警報の出力を停止(解除)する。例えば、物体検知部301は、所定領域内で人が検知されなくなった場合に、警報の出力を停止してよい。また、物体検知部301は、警報の出力開始後、オペレータによる所定操作(警報解除操作)が行われた場合に、警報の出力を停止してもよい。また、物体検知部301は、警報の出力開始後、オペレータに安全確認を促したり、ショベルの周辺の作業者に退避を促したりするのに要する時間としての所定時間が経過した場合に、警報の出力を停止してもよい。
 また、物体検知部301は、ショベルから所定距離D1以内で人を検知した場合、外部報知装置70から警報音を出力させたり、所定の警報情報を表示させて、ショベルの周辺に向けた警報を行ってもよい。このとき、物体検知部301は、オペレータへの警報の場合と同様、ショベルから検知された人までの距離に応じて警報レベルを変化させてもよい。また、物体検知部301は、オペレータへの警報の場合と同様の方法で、開始させた警報を停止させてよい。
 また、物体検知部301は、ショベルから所定距離D3(≦D1)以内で人を検知した場合、ショベルの各種動作要素(例えば、下部走行体1、上部旋回体3、ブーム4、アーム5、及び、バケット6等)の動作を制限してよい。以下、ショベルの各種動作要素の動作を制限することを、単に、「ショベルの動作制限」と称する。このとき、当該所定距離D3は、所定距離D1或いは所定距離D2と同じであってもよいし、所定距離D1,D2とは異なっていてもよい。また、物体検知部301は、ショベルから検知された人までの距離に応じて、制限度合いを変化させてもよい。例えば、物体検知部301は、ショベルから検知された人までの距離が、所定距離D3以下且つ所定距離D4(<D3)より長い場合、各種動作要素の操作状態に対する動作速度を緩やかにしてよい。そして、物体検知部301は、ショベルから検知された人までの距離が所定距離D4以下である場合、各種動作要素の操作状態に関わらず、各種動作要素を停止させてよい。このとき、所定距離D4は、所定距離D2と同じであってもよいし、異なっていてもよい。
 尚、物体検知部301は、例えば、各種動作要素を操作する油圧式の操作装置と各種動作要素を駆動する油圧アクチュエータとの間のパイロットラインに設けられる減圧弁或いは切換弁を作動させることにより、当該パイロットラインを減圧或いは遮断し、各種動作要素の動作を制限することができる。また、物体検知部301は、例えば、油圧式の操作装置に元圧を供給するパイロットラインに設けられる減圧弁或いは切換弁を作動させ、パイロットラインを減圧或いは遮断することによっても、各種動作要素の動作を制限することができる。
 また、物体検知部301は、ショベルの動作制限の開始後、所定の条件に基づき、動作制限を解除する。例えば、物体検知部301は、ショベルから所定距離D3以内で人が検知されなくなった場合に、ショベルの動作制限を解除してよい。また、物体検知部301は、オペレータによる所定操作(動作制限解錠操作)が行われた場合に、ショベルの動作制限を解除してもよい。また、物体検知部301は、ショベルから所定距離D3以内で人が検知されなくなり、且つ、オペレータによる動作制限解錠操作が行われた場合に、ショベルの動作制限を解除してもよい。
 また、物体検知部301は、相互に検知範囲が異なる複数の検知部を含み、それぞれの検知部の監視対象である人を検知する性能(以下、単に「検知性能」と称する)は、オペレータによる設定操作等に応じて、変更可能な態様であってもよい。例えば、物体検知部301は、後方カメラ40B、左側方カメラ40L、及び、右側方カメラ40Rのそれぞれの撮像画像から人を検知する後方検知部、左側方検知部、及び、左側方検知部を含んでよく、それぞれの検知性能を変更可能な態様であってよい。
 検知性能には、一又は複数の性能の項目が含まれうる。例えば、検知性能に関する性能項目には、監視対象である人を検知可能な範囲(検知範囲)、検知精度、検知周期ごとの検知頻度(即ち、検知周期内において、監視対象である人の検知を行う回数)等が含まれうる。
 例えば、図3は、物体検知部301の検知範囲を説明する図である。
 図3に示すように、物体検知部301は、後方カメラ40B、左側方カメラ40L、及び、右側方カメラ40Rのそれぞれに対応する検知範囲MAB,MAL,MARを有する。つまり、上述した物体検知部の後方検知部、左側方検知部、及び、左側方検知部は、それぞれ、検知範囲MAB、MAL、MARを有する。
 ここで、例えば、検知範囲MABを広げたい場合、コントローラ30の処理リソースは限られるため、物体検知部301全体として検知処理を所定の処理時間で完了させるためには、他の検知範囲MAL,MARを狭めたり、後方検知部、左側方検知部、或いは、左側方検知部の他の検知性能(検知精度、検知頻度)を低下させる必要がある。
 このように、物体検知部301は、オペレータによる設定操作に応じて、コントローラ30のリソースの範囲内で、一の検知部の検知性能に関するある性能項目を高め、その代りに、一の検知部或いは他の検知部の検知性能を低下させるトレードオフにより、検知性能を変更できる。
 情報取得部302は、制御装置ショベルの各種状態(動作状態、制御状態等)に関連する情報を、ショベルに搭載される各種センサ(例えば、撮像装置40、動作・姿勢状態センサ42等)、各種アクチュエータ(例えば、油圧制御を行う電磁弁等)、各種制御装置(例えば、コントローラ30等)から取得する。
 例えば、情報取得部302は、物体検知部301によりショベルの周辺の所定領域への人の侵入が検知された場合、今回の所定領域への人の侵入と紐づける態様で、所定領域への人の侵入時における各種情報(後述する侵入関連情報)を侵入履歴情報3101として記憶部310に記憶させる。以下、図4を参照して、侵入履歴情報3101について説明する。
 図4は、侵入履歴情報3101の一例を示す図である。侵入履歴情報3101は、人検知部による検知結果の履歴の一例であると共に、後述の如く、音声出力装置60による警報の出力結果(警戒状態に係る警報と警告状態に係る警報の別)の履歴の一例である。侵入履歴情報3101は、物体検知部301によりショベルの周辺の所定領域への人の侵入が検知される度に、情報生成部303により履歴的に更新される。
 図4に示すように、侵入履歴情報3101は、テーブル形式のデータとして記憶部310に記憶されている。侵入履歴情報3101には、所定領域への人の侵入時における各種情報として、検知された日時(日付、曜日、時刻)に関する情報、検知場所に関する情報、警報レベルに関する情報、検知された人の事後動作に関する情報、検知時の操作状態に関する情報、検知時の作業モードに関する情報、検知時の画像情報(検知時画像情報)が含まれる。所定領域への人の侵入時における各種情報は、換言すれば、所定領域の人の侵入に関連する(影響する)情報(以下、「侵入関連情報」と称する)である。侵入関連情報は、情報取得部302により取得される。
 検知場所は、所定領域内の予め区分される複数の領域の何れで人の侵入が検知されたかを表し、本例では、ショベルの左方エリア、右方エリア、後方エリアの3つのエリアの何れで人の侵入が検知されたかを表す。
 尚、検知場所は、ショベルに対する相対的な位置情報ではなく、GPS位置情報等の絶対的な位置情報であってもよい。この場合、作業者が携帯する(例えば、ヘルメットに取り付けられる)GPSセンサと通信を行う通信機がショベルに設けられる。これにより、コントローラ30は、当該通信機を通じて、物体検知部301により人が検知されたときのGPS位置情報を作業者が携帯するGPSセンサから受信することができる。
 警報レベルは、上述の如く、物体検知部301により第1領域(ショベルから所定距離D2以下の領域)で人の侵入が検知された場合の警告状態と、第2領域(ショベルから所定距離D2より大きく且つ所定距離D1以下の領域)で人の侵入が検知された場合の警戒状態との何れかを表す。
 検知された人の事後動作は、物体検知部301により所定領域内への人の侵入が検知された後の所定時間(例えば、1分間)経過した時点で、所定領域から退避したか、所定領域内の滞在を継続していたかを表す。
 検知時の操作状態は、物体検知部301により所定領域内への人の侵入が検知されたときのオペレータによるショベルの操作状態を表し、本例では、下部走行体1が操作される走行状態、上部旋回体3が操作される旋回状態、作業機(ブーム4、アーム5、バケット6)が操作される作業状態の少なくとも1つか、操作されない状態かを表す。
 検知時の作業モードは、一定回転数で運転されるエンジンの設定回転数の高低に対応する複数の作業モードの何れかを表し、本例では、エンジンの設定回転数が比較的高く作業スピードを優先するSP(Super Power)モード、エンジンの設定回転数が中程度で比較的作業負荷の高い重作業に最適なH(Heavy)モード、エンジン設定回転数が比較的低く幅広い作業に対応するA(Auto)モードの何れかを表す。
 画像情報は、物体検知部301により所定領域内への人の侵入が検知されたときの撮像装置40の撮像画像である。テーブル形式のデータである侵入履歴情報3101の画像情報の各欄には、画像情報を識別するための識別子(例えば、図中のAAA,BBB,CCC,...,JJJ等)が記憶され、該識別子に基づき、記憶部310に記憶される画像情報にアクセス可能になっている。
 侵入履歴情報3101は、図4の一例に示される上述の侵入関連情報の少なくとも一部を含む態様であってよいし、上述の侵入関連情報に代えて、或いは、加えて、上述の親友関連情報以外の侵入関連情報、即ち、以下に示す情報の少なくとも一部を含む態様であってもよい。
 例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301により所定領域内への人の侵入が検知されたときにショベルにより行われていた作業内容に関する情報(作業内容情報)を含みうる。このとき、情報生成部303は、例えば、ショベルに搭載され、ショベルの前方を撮像する前方カメラの撮像画像や、各種動作要素を駆動する油圧アクチュエータの駆動状態(例えば、油圧アクチュエータの油室内の圧力状態等)に基づき、作業内容を判断してよい。対象となる作業内容には、例えば、掘削積み込み作業、土手打ち作業等が含まれうる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301により所定領域内への人の侵入が検知されたときのショベルの動作要素の制限の有無や制限度合いに関する情報(動作制限情報)を含みうる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301により所定領域内への人の侵入が検知されたときの警報の出力開始からオペレータの警報解除操作に基づく警報の出力停止(警報解除)までの経過時間に関する情報(警報時間情報)を含みうる。また、同様に、侵入履歴情報3101は、物体検知部301によりショベルから所定距離D3以内への人の侵入が検知され、ショベルの動作制限が行われたときの動作制限の開始からオペレータの動作制限解除操作に基づく動作制限の解除までの経過時間に関する情報(動作制限時間情報)を含みうる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301によりショベルから所定領域内への人の侵入が検知されたときの物体検知部301に含まれる相互に検知範囲が異なる複数の検知部ごとの検知性能の設定状態に関する情報(検知性能設定情報)を含みうる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301の検知性能に影響しうる周辺環境に関する情報(検知時周辺環境情報)を含みうる。周辺環境情報には、例えば、天候の種別、温度状態、視界状態(霧や霞の有無等)、時間帯の種別(例えば、朝、昼、夜の別)等が含まれうる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301により所定領域内への人の侵入が検知されたときのショベルの姿勢安定度に関する情報(姿勢安定度情報)を含みうる。ショベルの姿勢安定度は、例えば、ショベルがオペレータの意図しない動作を起こさない動作・姿勢状態であるかを示す指標である。オペレータの意図しないショベルの動作には、例えば、バランスを崩して転倒する転倒動作、掘削反力等によりショベルの下部走行体1の一部が浮き上がったり、前後に滑ったりする浮き上がり動作や滑り動作等がある。例えば、情報取得部302は、動作・姿勢状態センサ42の検出結果に基づき、例えば、所定の力学モデル等に基づく計算式やマップ等に基づき、所定の姿勢安定度を算出することができる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301により所定領域内への人の侵入が検知されたときのショベルのオペレータの操作技能(例えば、直近の所定期間内の操作技能)に関連する情報(操作技能情報)を含みうる。操作技能情報は、例えば、ショベルの燃費(具体的には、動力源であるエンジン)、単位時間あたりの所定の基準による作業量、ショベルのいわゆる油圧リリーフの頻度等を含みうる。
 また、例えば、侵入履歴情報3101は、侵入関連情報の一例として、物体検知部301によりショベルから所定距離D3以内への人の侵入が検知され、ショベルの動作が制限されたときのオペレータによるショベルの操作状態を表す情報(動作制限時操作情報)を含みうる。動作制限時操作情報は、上述の検知時操作情報と同様、例えば、当該下部走行体1が操作される走行状態、上部旋回体3が操作される旋回状態、作業機(ブーム4、アーム5、バケット6)が操作される作業状態の少なくとも1つか、操作されない状態かを表す。
 情報生成部303は、物体検知部301により所定領域への人の侵入が検知されるたびに、情報取得部302により更新される侵入履歴情報3101に基づき、侵入度合情報3102を生成する。具体的には、情報生成部303は、侵入履歴情報3101を統計的に処理することにより、侵入度合情報3102を生成する。そして、情報生成部303は、生成した侵入度合情報3102を記憶部310に記憶させる。侵入度合情報3102の詳細は、後述する。
 表示制御部304は、表示装置50に各種情報画像を表示させる。例えば、表示制御部304は、予め規定された通知条件が成立すると、情報生成部303により生成された侵入度合情報3102を表示装置50に表示させる。表示制御部304による処理の詳細は、後述する。
 尚、表示制御部304は、オペレータによる所定操作に応じて、情報生成部303が生成した侵入度合情報3102を表示装置50に表示させてもよい。
 情報送信部305は、予め規定された通知条件が成立すると、通信機器80を制御し、情報生成部303により生成された侵入度合情報3102を管理サーバ200に送信する。情報送信部305による処理の詳細は、後述する。
 管理サーバ200(管理装置の一例)は、ショベルから送信される各種情報に基づき、ショベルの各種管理を行う。管理サーバ200は、ショベル(通信機器80)と通信ネットワーク150を介して通信可能に接続し、ショベルから送信される各種情報を受信する。例えば、管理サーバ200は、ショベルを含む作業現場の安全状況に関する情報(例えば、後述する侵入度合情報)をショベルから受信し、該情報を、作業現場の監督者や作業者が使用するコンピュータ端末、作業現場の監督者の携帯端末、作業現場の他の作業機械等に送信する。これにより、作業現場の監督者、作業者、他の作業機械のオペレータ等に作業現場の安全状況を把握させて、安全行動を促すことができる。
 管理サーバ200は、通信機器210と、処理装置220とを含む。
 通信機器210は、通信ネットワーク150を通じて、ショベル及び管理端末300のそれぞれと双方向で通信を行うための任意の通信デバイスである。
 処理装置220は、管理サーバ200における各種制御処理を行う。処理装置220は、その機能が、任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよく、例えば、CPUと、RAMと、ROMと、補助記憶装置と、所定の通信インターフェース等を含む一又は複数のサーバコンピュータを中心に構成される。処理装置220は、ROMや補助記憶装置に格納される一以上のプログラムを実行することにより実現される機能部として、データ取得部2201と、データ配信部2202を含む。また、処理装置220は、サーバコンピュータの補助記憶装置内の記憶領域として実現される記憶部2200を含み、記憶部2200に各種データを保存する(記憶させる)処理は、ROMや補助記憶装置に格納される所定のプログラムにより実現される。
 データ取得部2201は、通信機器210を通じて、ショベルから管理サーバ200に向けて送信される侵入度合情報を取得する。データ取得部2201は、取得した侵入度合情報を記憶部2200に記憶させる(侵入度合情報2200A)。
 データ配信部2202は、携帯端末からのリクエストに応じて、或いは、予め規定されたプッシュ通知の要件に応じて、通信機器210を制御し、管理端末300に侵入度合情報2200Aを配信する。
 尚、データ配信部2202は、管理端末300の他、管理サーバ200と通信可能に接続される他の作業機械(侵入度合情報の送信元であるショベル以外の、同じ作業現場の他の作業機械)、例えば、ショベルの他、ブルドーザ等に配信されてもよい。
 管理端末300は、管理サーバ200と通信可能に接続され、ショベルが作業する作業現場を管理する監督者や実際に作業を行う作業者等がディスプレイ等の表示部に表示される各種情報を閲覧可能な任意の端末である。管理端末300は、例えば、作業現場に仮設される建屋に定置されるデスクトップ型の端末であってよい。また、管理端末300は、作業現場の監督者や作業者が所持する携帯電話、スマートフォン、タブレット端末等の携帯端末であってもよい。
 管理端末300は、通信機器315と、処理装置320と、タッチパネル式のディスプレイ330を含む。
 通信機器315は、通信ネットワーク150を通じて、管理サーバ200等と通信を行う任意のデバイスである。通信機器315は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の通信規格に対応する移動通信モジュールである。
 処理装置320は、管理端末300における各種制御処理を行う。処理装置320は、その機能が任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよく、例えば、CPUと、RAMと、ROMと、補助記憶装置と、所定の通信インターフェース等を含むコンピュータを中心に構成されてよい。処理装置320は、例えば、ROMや補助記憶装置に格納される一以上のプログラムをCPU上で実行することにより実現される機能部として、データ取得部3201と、表示制御部3202を含む。また、処理装置320は、例えば、補助記憶装置内の記憶領域として実現される記憶部3200を含み、記憶部32000に各種データを保存する(記憶させる)処理は、ROMや補助記憶装置に格納される所定のプログラムにより実現される。
 例えば、データ取得部3201及び表示制御部3202の機能は、例えば、処理装置320の補助記憶装置等にインストールされるアプリケーションプログラム(以下、「管理アプリ」と称する)が起動されることによって、実行可能になる態様であってよい。
 データ取得部3201は、所定の条件に応じて、通信機器315を通じて、管理サーバ200から各種データ、具体的には、侵入度合情報を取得する。データ取得部3201は、取得した侵入度合情報を記憶部3200に記憶させる(侵入度合情報3200A)
 例えば、データ取得部3201は、ユーザによる侵入度合情報の表示を要求する所定操作に応じて、通信機器315を制御し、管理サーバ200に配信リクエストを送信することにより、侵入度合情報を管理サーバ200から取得してよい。このとき、ユーザによる管理端末300に対する操作は、例えば、管理アプリの動作と連動して、ディスプレイ330に表示される所定のGUI(Graphical User Interface)に対するタッチパネルを利用したソフトウェアによる操作であってもよいし、管理端末300に搭載、或いは、付属するハードウェアによる操作部等に対する操作であってもよい。以下、管理端末300におけるその他の操作についても同様である。
 また、例えば、データ取得部3201は、所定のプッシュ通知の要件に応じて、管理サーバ200から配信される侵入度合情報を取得してもよい。
 表示制御部3202は、侵入度合情報3200Aをディスプレイ330に表示させる。これにより、ユーザは、ショベルに搭乗していない場合であっても、作業現場の安全環境に関連する侵入度合情報を確認することができるため、例えば、後日の安全状態の確認や現場管理(例えば、ヒヤリハットの分析)に活用することができる。
 例えば、表示制御部3202は、ユーザによる所定操作に応じて、侵入度合情報3200Aをディスプレイ330に表示させてもよい。
 また、例えば、表示制御部3202は、侵入度合情報が管理サーバ200からプッシュ通知の態様で配信される場合に、データ取得部3201により侵入度合情報が取得されると、ディスプレイ330に表示させてもよい。このとき、表示制御部3202は、侵入度合情報をポップアップ表示としてディスプレイ330に表示させたり、ダイジェスト版の侵入度合情報をディスプレイ330に表示させたり等してもよい。
 以下、表示制御部3202の機能によって、ディスプレイ330に表示される侵入度合情報の表示態様の詳細については、後述する(図13参照)。
 尚、本例(図2A)では、ショベルのコントローラ30によって、侵入度合情報が生成されるが、管理サーバ200や管理端末300によって、侵入度合情報が生成されてもよい。つまり、情報生成部303の機能は、管理サーバ200や管理端末300に移管されてもよい。
 例えば、図2Bは、本実施形態に係る安全管理システム100の構成の他の例を示すブロック図である。
 本例では、ショベル(コントローラ30)の情報生成部303が省略され、代わりに、管理サーバ200の処理装置220に情報生成部2203が追加される。
 具体的には、コントローラ30の情報送信部305は、通信機器80を制御し、侵入履歴情報3101を管理サーバ200に送信する。
 管理サーバ200のデータ取得部2201は、通信機器210を通じて、ショベルから管理サーバに向けて送信された侵入履歴情報を取得し、記憶部2200に記憶させる(侵入履歴情報2200B)。
 そして、管理サーバ200の情報生成部2203は、図2Aの情報生成部303と同様、侵入履歴情報2200Bに基づき、侵入度合情報を生成し、記憶部2200に記憶させる(侵入度合情報2200A)。
 これにより、管理サーバ200は、通信機器210を通じて、自身が生成した侵入度合情報を管理端末300に配信することができる。また、管理サーバ200は、通信機器210を通じて、侵入履歴情報の送信元であるショベルに配信することができる。また、管理サーバ200で集中管理を行うことができるため、ショベルの構成を簡易にすることができ、ショベルのコストアップ等を抑制できる。
 また、例えば、図2Cは、本実施形態に係る安全管理システム100の構成の更に他の例を示すブロック図である。
 本例では、ショベル(コントローラ30)の情報生成部303が省略され、代わりに、管理端末300の処理装置320に情報生成部3203が追加される。
 具体的には、コントローラ30の情報送信部305は、通信機器80を制御し、侵入履歴情報3101を管理サーバ200に送信する。
 管理サーバ200のデータ取得部2201は、通信機器210を通じて、ショベルから管理サーバに向けて送信された侵入履歴情報を取得し、記憶部2200に記憶させる(侵入履歴情報2200B)。
 管理サーバ200のデータ配信部2202は、、管理端末300からのリクエストに応じて、或いは、予め規定されたプッシュ通知の要件に応じて、通信機器210を制御し、管理端末300に侵入履歴情報2200Bを配信する。
 管理端末300のデータ取得部3201は、通信機器315を通じて、管理端末300から配信される侵入履歴情報2200Bを取得し、記憶部3200に記憶させる(侵入履歴情報3200B)。
 管理端末300の情報生成部3203は、所定のタイミング(例えば、侵入履歴情報2200Bがデータ取得部3201により取得された直後のタイミングや所定のバッチ処理のタイミング等)や、ユーザによる侵入度合情報の表示要求に対応する所定操作等に応じて、図2Aの情報生成部303と同様、侵入履歴情報3200Bに基づき、侵入度合情報を生成し、記憶部3200に記憶させる(侵入度合情報3200A)。
 これにょり、管理端末300は、管理サーバ200から侵入履歴情報取得し、自ら、侵入度合情報を生成し、ディスプレイ330に表示させることができる。
 [侵入度合情報の詳細]
 次に、図5~図11を参照して、情報生成部303,2203,3203(以下、便宜的に「情報生成部303等」と称する)により生成される侵入度合情報(侵入度合情報3102,2200A,3200A)について説明をする。
 まず、図5は、情報生成部303等により生成される侵入度合情報の第1例を表す図である。
 図5に示すように、本例に係る侵入度合情報は、直近の所定時間(本例では、11:00-12:00の1時間)内における所定領域への人の侵入の検知回数、検知された人の人数(検知人数)、及び追加情報である、所定領域への人の侵入が検知された各回の画像情報(撮像装置40の撮像画像)を表すテーブル形式の情報である。
 尚、本例における侵入度合情報には、検知回数と検知人数の双方が含まれるが、何れか一方が含まれる態様であってもよい。また、本例における侵入度合情報には、検知回数に代えて、或いは、加えて、ショベルが動作制限された回数(動作制限回数)が含まれてもよい。以下、図6~図10(第2例~第6例)を含む後述する侵入度合情報に関する実施例についても同様である。
 検知回数には、所定時間内における合計の検知回数の他、検知時の警報レベル別(警戒状態、警告状態の別)の検知回数、検知時の操作状態別(走行状態、非走行状態の別、旋回状態、非旋回状態の別、作業状態、非作業状態の別)の検知回数、及び、検知時の作業モード別(SPモード、Hモード、Aモードの別)の検知回数が含まれている。また、検知回数には、上記内容の少なくとも一部に代えて、或いは、加えて、検知時の作業内容別の検知回数、警報開始からオペレータによる警報解除操作に基づく警報解除までの経過時間別(例えば、1分刻みの時間区分ごと)の検知回数、検知時の検知性能の設定状態別の検知回数、検知時の周辺環境別の検知回数、検知時のショベルの姿勢安定度別の検知回数、検知時のオペレータの操作技能別の検知回数等が含まれてもよい。以下、図5~図9(第2例~第5例)を含む後述する侵入度合情報に関する実施例についても同様である。
 尚、本例の侵入度合情報に動作制限回数が含まれる場合、動作制限回数には、所定時間内における合計の動作制限回数の他、動作制限度合い別の動作制限回数、動作制限時の操作状態別の動作制限回数、及び、動作制限時の作業モード別の動作制限回数等が含まれうる。また、動作制限回数には、動作制限の開始からオペレータによる動作制限解除操作に基づく動作制限の解除までの経過時間別の動作制限回数、検知時(動作制限時)の検知性能の設定状態別の動作制限回数、検知時(動作制限時)の周辺環境別の動作制限回数等が含まれうる。
 また、検知人数には、所定時間内における合計の検知人数の他、検知場所別の検知人数、及び事後動作別の検知人数が含まれている。
 また、追加情報には、検知時における各回の画像情報にアクセスするためのリンク情報(図中のリンク1~リンク10)が含まれている。
 続いて、図6は、情報生成部303により生成される侵入度合情報の第2例を表す図である。
 図6に示すように、本例に係る侵入度合情報は、所定の検知場所(本例では、ショベルの後方エリア)における所定領域への人の侵入の検知回数、検知された人の人数(検知人数)、及び追加情報である、所定領域への人の侵入が検知された各回の画像情報(撮像装置40の撮像画像)を表すテーブル形式の情報である。
 検知回数には、所定の検知場所における合計の検知回数の他、本日の時間帯別の検知回数、検知時の警報レベル別(警戒状態、警告状態)の検知回数、検知時の操作状態別(走行状態、非走行状態の別、旋回状態、非旋回状態の別、作業状態、非作業状態の別)の検知回数、及び検知時の作業モード別(SPモード、Hモード、Aモードの別)の検知回数が含まれている。
 また、検知人数には、所定の検知場所における合計の検知人数の他、事後動作別の検知人数が含まれている。
 また、追加情報には、第1例と同様、検知時における各回の画像情報にアクセスするためのリンク情報(図中のリンク1~リンク10)が含まれている。
 続いて、図7は、情報生成部303により生成される侵入度合情報の第3例を表す図である。
 図7に示すように、本例に係る侵入度合情報は、所定の操作状態(本例では、旋回状態)における所定領域への人の侵入の検知回数、検知された人の人数(検知人数)、及び追加情報である、所定領域への人の侵入が検知された各回の画像情報(撮像装置40の撮像画像)を表すテーブル形式の情報である。
 検知回数には、所定の操作状態における合計の検知回数の他、本日の時間帯別の検知回数、検知時の警報レベル別(警戒状態、警告状態)の検知回数、及び検知時の作業モード別(SPモード、Hモード、Aモードの別)の検知回数が含まれている。
 また、検知人数には、所定の検知場所における合計の検知人数の他、検知場所別の検知人数、及び事後動作別の検知人数が含まれている。
 また、追加情報には、第1例等と同様、検知時における各回の画像情報にアクセスするためのリンク情報(図中のリンク1~リンク10)が含まれている。
 続いて、図8は、情報生成部303により生成される侵入度合情報の第4例を表す図である。
 図8に示すように、本例に係る侵入度合情報は、所定の作業モード(本例では、Hモード)における所定領域への人の侵入の検知回数、検知された人の人数(検知人数)、及び追加情報である、所定領域への人の侵入が検知された各回の画像情報(撮像装置40の撮像画像)を表すテーブル形式の情報である。
 検知回数には、所定の作業モードにおける合計の検知回数の他、本日の時間帯別の検知回数、検知時の警報レベル別(警戒状態、警告状態)の検知回数、及び検知時の操作状態別(走行状態、非走行状態の別、旋回状態、非旋回状態の別、作業状態、非作業状態の別)の検知回数が含まれている。
 また、検知人数には、所定の作業モードにおける合計の検知人数の他、検知場所別の検知人数、及び事後動作別の検知人数が含まれている。
 また、追加情報には、第1例等と同様、検知時における各回の画像情報にアクセスするためのリンク情報(図中のリンク1~リンク10)が含まれている。
 続いて、図9は、情報生成部303により生成される侵入度合情報の第5例を表す図である。
 図9に示すように、本例に係る侵入度合情報は、所定の警報レベル(本例では、警告状態)における所定領域への人の侵入の検知回数、検知された人の人数(検知人数)、及び追加情報である、所定領域への人の侵入が検知された各回の画像情報(撮像装置40の撮像画像)を表すテーブル形式の情報である。
 検知回数には、所定の警報レベルにおける合計の検知回数の他、本日の時間帯別の検知回数、検知時の警報レベル別(警戒状態、警告状態)の検知回数、検知時の操作状態別(走行状態、非走行状態の別、旋回状態、非旋回状態の別、作業状態、非作業状態の別)の検知回数、及び検知時の作業モード別(SPモード、Hモード、Aモードの別)の検知回数が含まれている。
 また、検知人数には、所定の作業モードにおける合計の検知人数の他、検知場所別の検知人数、及び事後動作別の検知人数が含まれている。
 また、追加情報には、第1例等と同様、検知時における各回の画像情報にアクセスするためのリンク情報(図中のリンク1~リンク10)が含まれている。
 このように、第1例~第5例では、情報生成部303等によって、検知回数、検知人数等を含む侵入度合情報が生成される。具体的には、情報生成部303等によって、ショベルの周辺の所定領域への監視対象(人)の侵入度合と、侵入関連情報との関係を確認可能な表を生成するための侵入度合情報が生成される。これにより、ショベルのコントローラ30(表示制御部304)は、生成された侵入度合情報を表示装置50に表示させて、ショベルの周辺の所定領域への監視対象(人)の侵入状況(侵入度合)をオペレータに把握させることができる。また、管理端末300は、生成された侵入度合情報をディスプレイ300に表示させて、ショベルの周辺の所定領域への監視対象(人)の侵入状況を作業現場の監督者や作業者に把握させることができる。また、管理サーバ200は、生成された侵入度合情報を管理端末300だけでなく、対象の作業機械とは異なる、他の作業機械に配信し、他の作業機械の表示装置等に表示させることができる。そのため、対象の作業機械(ショベル)のオペレータだけでなく、作業現場の監督者、作業者、他の作業機械のオペレータ等に、ショベルの周辺の所定領域への人の侵入状況(侵入度合)を把握させることができる。よって、ショベルのオペレータ、作業現場の監督者、作業者、他の作業機械のオペレータ等に対して、安全行動を促すことが可能となり、比較的即効性のある態様で、ショベルが使用される作業現場の安全性の向上を図ることができる。
 また、侵入度合情報は、動作制限回数を含みうる。これにより、当該ショベルのオペレータや作業現場の監督者、作業者に対して、ショベルの周辺への人の侵入によって、どの程度のショベルの動作制限が発生しているか等を把握させることができる。
 また、第1例~第5例では、情報生成部303等によって、侵入度合情報に関する所定条件下におけるショベルの周辺の所定領域への監視対象(人)の侵入度合いを確認可能な表を生成するための侵入度合情報が生成される。つまり、情報生成部303等は、侵入関連情報に関する所定条件での絞り込みを行い、当該所定条件で絞り込まれた、ショベルの周辺の所定領域内への侵入度合いを確認可能な表を生成するための侵入度合情報を生成する。具体的には、、オペレータ等は、所定時間、所定の検知場所、所定の操作状態、所定の作業モード、或いは所定の警報レベル、等の各条件下における検知回数、検知人数、動作制限回数等を把握することができる。そのため、オペレータ等は、様々な条件下での検知回数、検知人数、動作制限回数により、様々な視点から作業現場の安全状況を認識することができる。また、オペレータ等は、検知回数と動作制限回数との比較等により、作業現場の作業効率と、作業現場の安全性との両立を図るための行動方針等を検討することもできる。
 また、例えば、時間帯別の検知回数によれば、オペレータ等は、時間経過に応じた検知回数の増減傾向等を把握することができる。そのため、オペレータ等は、例えば、検知回数が増加傾向にある状況を認識して、周囲に対して、より注意を払う等により作業現場の安全性の向上を図ることができる。
 また、例えば、警報レベル別の検知回数によれば、オペレータ等は、警報レベルが高い第1領域への侵入度合を把握することができる。また、同様、動作制限度合い別の動作制限回数によれば、オペレータ等は、動作制限度合いが高い領域、つまり、ショベルにより近接した領域への侵入度合を把握することができる。そのため、オペレータは、現在の作業現場における作業員のショベルへの近づきやすさ等の状況を認識した上で、ショベルの操縦やショベル周辺での作業を行い、作業現場の安全性を向上させることができる。
 また、例えば、操作状態別の検知回数や作業モード別の検知回数によれば、オペレータは、どのような操作状態や作業モードの際に人の侵入に前もって気付けなかったかを把握することができるため、今後、対象となる操作状態や作業モードでは、より注意を払う等により作業現場の安全性の向上を図ることができる。
 また、検知場所別の検知人数によれば、オペレータ等は、所定領域のうちのどのエリアへの侵入に前もって気付けなかったか、或いは現在の作業現場の状況では、どのエリアへの侵入が多いのか等を把握することができる。そのため、オペレータ等は、対象となるエリアでは、より注意を払う等により作業現場の安全性の向上を図ることができる。
 また、事後動作別の検知回数によれば、物体検知部301により所定領域への人の侵入が検知され、音声出力装置60から警報が出力された後、所定時間経過しても、オペレータ等による適切な行動がなされなかったことにより、所定領域から離れない人(作業者等)の存在を把握することができる。そのため、仮に、ショベルの周辺の所定領域に人が侵入してしまった場合でも、直ぐに所定領域から退避したり、ショベルの操縦を停止したり等の行動の徹底等をオペレータ等に促し、作業現場の安全性の向上を図ることができる。
 また、例えば、検知時の作業内容別の検知回数等によれば、オペレータ等は、どのような作業内容のときに所定領域内への人の侵入を前もって気付けなかったのかや、どのような作業内容のときにショベルの周辺に人が近づきやすいか等を把握することができる。そのため、オペレータ等は、例えば、対象となる作業内容では、より注意を払う等により作業現場の安全性の向上を図ることができる。
 また、例えば、警報開始から警報解除操作に基づく警報解除までの経過時間別の検知回数等によれば、オペレータ等は、警報開始からオペレータが警報解除操作を行うまでの経過時間の傾向を把握することができる。また、同様に、ショベルの動作制限の開始から動作制限解除操作に基づくショベルの動作制限の解除までの経過時間別の動作制限回数等によれば、オペレータ等は、ショベルの動作制限の開始からオペレータが動作制限解除操作を行うまでの経過時間の傾向を把握することができる。そのため、オペレータ等は、例えば、警報開始或いはショベルの動作制限開始から警報解除操作或いは動作制限解除操作が行われるまでの時間が比較的短い場合、オペレータによるショベルの周囲の確認が不十分な可能性があるため、周囲の確認を徹底する等により作業現場の安全性の向上を図ることができる。
 また、例えば、検知時の検知性能の設定状態別の検知回数等によれば、オペレータ等は、どのような検知性能の設定状態の場合に、検知回数が多いか等を把握することができる。そのため、オペレータ等は、例えば、作業現場での検知性能の設定状態を決定する上での判断材料にすることができる。
 また、例えば、検知時の周辺環境別の検知回数等によれば、オペレータ等は、どのような周辺環境のときに所定領域内への人の侵入を前もって気付けなかったのかや、どのような周辺環境のときにショベルの周辺に人が近づきやすいか等を把握することができる。そのため、オペレータ等は、例えば、対象となる周辺環境では、より注意を払う等により作業現場の安全性の向上を図ることができる。
 また、例えば、検知時の姿勢安定度別の検知回数等によれば、オペレータ等は、姿勢安定度と、ショベルの周辺の所定領域内への人の侵入度合いとの相関(例えば、姿勢安定度が低下すると、オペレータの操作への注力度高くなり、逆に、ショベルの周辺への注意が低くなる等)を確認することができる。従って、例えば、現場監督等は、現場の環境(例えば、作業現場が不安定な場所か否か、バケット6の動作に比較的大きな高低差があるか否か、アタッチメントを上部旋回体3から比較的離れた位置まで延在させる必要があるか否か等)等に起因するショベルの姿勢安定度の低下と、人の侵入度合いとの関係性に応じて、今後の、作業現場の安全性向上に向けた施策(環境改善等)を検討することができる
 また、例えば、検知時のオペレータの操作技能別の検知回数等によれば、オペレータ等は、オペレータの操作技能とショベルの周辺の所定領域内への人の侵入度合いとの相関(例えば、オペレータの操作技能が低いほど、操作への注力度が高くなるため、逆に、ショベルの周辺への注意が低くなる等)を確認することができる。従って、現場監督等は、複数の作業機械の担当を配置する上で、周辺で作業する作業員が多い場所の作業には、熟練のオペレータを配置するなどを行うことができる。
 また、画像情報によれば、オペレータ等は、具体的にどのような形で所定領域への侵入が行われたのか等を把握することができるため、以後の安全性の改善に対する行動方針等を具体的に立てることができる。
 尚、第1例~第5例において、侵入度合情報には、時間帯別の検知回数、警報レベル別の検知回数、操作状態別の検知回数、作業モード別の検知回数、検知場所別の検知人数、及び事後動作別の検知人数のうちの5つが含まれるが、一部又は全部が省略されてもよい。また、第1例~第5例において、図2Aの安全管理システムに対応する情報送信部305は、侵入度合情報を管理サーバ200に送信する際、併せて、侵入度合情報における各回の画像情報へのリンク情報に対応する画像データを管理サーバ200に送信する。また、第1例~第5例において、追加情報として画像情報(へのリンク情報)が含まれるが、画像情報は、省略されてもよい。
 続いて、図10は、情報生成部303等により生成される侵入度合情報の第6例を表す図である。
 図10に示すように、侵入度合情報には、ショベルの周辺の所定領域への人の侵入の検知回数及び検知人数の時系列データ(本例では、直近の1週間の曜日別の時系列データと、作業当日である9月5日(月)の10:30現在のデータ)が含まれる。
 また、本例では、各曜日について、合計の検知回数及び検知人数の他、警報レベル別(警戒状態、警告状態の別)の検知回数及び検知人数が含まれる。
 このように、第6例では、情報生成部303等によって、第1例~第5例と同様、検知回数、検知人数等を含む侵入度合情報が生成される。これにより、表示制御部304は、生成された侵入度合情報を表示装置50に表示させて、ショベルの周辺の所定領域への人の侵入状況(侵入度合)をオペレータに把握させることができる。また、情報送信部305は、生成された侵入度合情報を管理サーバ200に送信し、管理サーバ200から作業現場のコンピュータ端末、携帯端末、他の作業機械等に送信してもらうことができる。そのため、作業現場の監督者、作業者、他の作業機械のオペレータ等に、ショベルの周辺の所定領域への人の侵入状況(侵入度合)を把握させることができる。よって、ショベルのオペレータ、作業現場の監督者、作業者、他の作業機械のオペレータ等に対して、安全行動を促すことが可能となり、比較的即効性のある態様で、ショベルが使用される作業現場の安全性の向上を図ることができる。
 例えば、直近1週間の曜日別の検知回数や検知人数の特徴(増減等)を把握することができる。そのため、オペレータ等は、前回の同じ曜日の他の曜日に対する傾向(例えば、他の曜日よりも検知回数等が著しく多い等)を参考にして、作業現場の状況を把握し、ショベルを操縦したり、各種作業を行ったりすることで、作業現場の安全性の向上を図ることができる。また、例えば、侵入度合情報として、代わりに、特定の1日或いは直近24時間の時間帯(例えば、1時間単位、2時間単位等)別の検知回数や検知人数の時系列データを採用することにより、直近24時間の時間帯別の検知回数や検知人数の特徴(増減等)を把握することができる。そのため、同様、オペレータ等は、前回の同じ時間帯に対する傾向(例えば、作業終了直前の時間帯は、他の時間帯よりも検知回数等が著しく多い等)を参考にして、作業現場の状況を把握し、ショベルを操縦したり、各種作業を行ったりすることで、作業現場の安全性の向上を図ることができる。また、例えば、侵入度合情報として、代わりに、直近の所定期間(所定日数)における日付別(日別)の検知回数や検知人数の時系列データを採用することも可能である。
 第6例に係る侵入度合情報は、テーブル形式で表示装置50に表示装置50や作業現場のコンピュータ端末携帯端末、他の作業機械の表示装置等に表示させる以外に、グラフ表示させることができる。以下、図11を参照して、図10における検知回数等の時系列データを表示装置50や作業現場のコンピュータ端末携帯端末、他の作業機械の表示装置等に表示させる際の表示態様の他の例について説明をする。
 例えば、図11は、表示装置50等に表示された侵入度合情報を表す図であり、具体的には、検知回数の時系列データを表示装置50等にグラフ表示した図である。
 尚、本例に係る侵入度合情報の内容は、図10に示す侵入度合情報と同じである。
 このように、検知回数等の時系列データをグラフ表示することにより、オペレータ等は、
直近1週間の曜日別の検知回数や検知人数の時系列データの特徴(増減等)を容易に把握することができる。また、検知回数の合計のうちの警報レベル別の検知回数が、異なる表示態様(具体的には、警戒状態をドット表示とし、警告状態をボーダー表示とする表示態様)で表されるため、警報レベル別の時系列データの特徴も容易に把握することができる。よって、オペレータ等は、より即効性のある態様で、ショベルが使用される作業現場の安全性の向上を図ることができる。
 また、図5~図10の例示以外の侵入度合情報が生成されてもよい。
 例えば、侵入度合情報は、物体検知部301により人が検知されたときの作業内容別の検知回数、検知人数、動作制限回数、追加情報等を含む態様であってよい。これにより、当該ショベルのオペレータや作業現場の管理者、監督者、及び、他の作業機械のオペレータ等は、侵入度合情報を視認し、どのような作業内容が行われているときに当該ショベルの周辺への侵入者が多いか等を把握することができる。
 また、例えば、侵入度合情報は、物体検知部301により人が検知された検知性能の設定状態別の検知回数、検知人数、動作制限回数、追加情報等を含む態様であってよい。これにより、当該ショベルのオペレータや作業現場の管理者、監督者、及び、他の作業機械のオペレータ等は、侵入度合情報を視認し、どのような検知性能の設定状態が適切か等を検討することができる。
 また、例えば、侵入度合情報は、物体検知部301により周辺環境別(例えば、朝、昼、夜の別や晴、曇り、雨の別等)の検知回数、検知人数、動作制限回数、追加情報等を含む態様であってよい。これにより、当該ショベルのオペレータや作業現場の管理者、監督者、及び、他の作業機械のオペレータ等は、侵入度合情報を視認し、どのような周辺環境状態で、ショベルの周辺への侵入者が多いか等を把握することができる。
 また、例えば、侵入度合情報は、物体検知部301によりショベルの動作制限が開始されたときの操作状態別の動作制限回数、追加情報等を含む態様であってもよい。これにより、当該ショベルのオペレータや作業現場の管理者、監督者、及び、他の作業機械のオペレータ等は、どのような操作が行われているとき、つまり、ショベルがどのような動作を行っているときに、ショベルの動作制限が行われる頻度が高いか等を把握できる。また、作業現場の管理者、監督者は、例えば、ショベルの動作制限の頻度が高い操作状態について、作業効率と、安全性の観点から停止させる必要があるかなどの検討を行うことができる。
 続いて、図12は、情報生成部303等によって生成される侵入度合情報の第7例を表す図である。
 本例では、第1例~第5例と異なり、情報生成部303等によって、侵入度合いに関する所定条件下における侵入関連情報を確認可能な表を生成するための侵入度合情報が生成される。具体的には、情報生成部303等によって、検知頻度(例えば、一時間あたり等の単位時間あたりの検知回数、検知人数等)が所定基準を超える侵入関連情報の項目が強調して表示される。
 図12に示すように、侵入度合情報は、複数の侵入関連情報(検知時の時間帯に関する情報、検知時の操作状態に関する情報、検知時の作業モードに関する情報、検知時の人の検知場所に関する情報、検知時のショベルの姿勢安定度に関する情報、及び、検知時のオペレータの操作技能に関する情報)のそれぞれに対応する全項目と、それぞれの項目に対応する単位時間当たりに換算したときの検知頻度とを対応付けたテーブル形式の情報である。
 尚、検知頻度は、例えば、ある侵入関連情報のある項目に該当する累計時間内での検知回数を、当該累計時間で除することにより算出される。
 そして、本例では、侵入度合いに関する所定条件が成立する、つまり、侵入度合い(検知頻度)が比較的高い侵入関連情報の項目は、強調して表示されている(図中のハッチング部分参照)。具体的には、それぞれの侵入関連情報に対応する全項目のうち、検知頻度が単位時間あたり"2.0"以上である項目が強調して表示される。
 このように、情報生成部303等によって、ショベルの周辺の所定領域内への監視対象(人)の侵入度合い(侵入頻度)に関する所定条件下におけるの侵入関連情報の項目を確認可能な表を生成するための侵入度合情報が生成される。つまり、情報生成部303等は、ショベルの周辺の所定領域内への監視対象(人)の侵入度合いに関する所定条件での絞り込みを行い、当該所定条件で絞り込まれた、侵入関連情報(の項目)を確認可能な表を生成するための侵入度合情報を生成する。これにより、現場監督等は、直接的に、ショベルの周辺の所定領域内への監視対象(人)の侵入度合いが相対的に高い、侵入関連情報の項目を洗い出すことができる。そのため、現場監督等は、例えば、比較的安全性が低いと考えられる、洗い出された侵入関連情報の項目に関する条件から作業現場の安全性の向上を図る施策を検討することができる。
 尚、本例では、ショベルの周辺の所定領域内への監視対象(人)の侵入度合いに関する条件として、検知回数に基づく、検知頻度を用いたが、例えば、検知人数に基づく検知頻度や動作制限回数に基づく、動作制限頻度が用いられてもよい。
 [管理端末における侵入度合情報の表示態様]
 次に、図13を参照して、管理端末300のディスプレイ330に表示される侵入度合情報の表示態様の具体例について説明する。
 図13は、管理端末300における侵入度合情報の表示態様の一例を表す図である。当該表示態様は、上述した管理端末300の表示制御部3202(つまり、管理アプリ)により実現される。
 図13に示すように、本例の管理端末300の横長のディスプレイ330の右側半分の領域には、侵入度合情報に対応する表330Aが表示されている。
 また、ディスプレイ330の左側半分の領域の上半分には、表330Aとして表示させる侵入度合情報の仕様を選択するための仕様選択部330Bが表示される。
 仕様選択部330Bでは、予め登録される仕様(例えば、侵入関連情報及び侵入度合いの何れに関する条件で侵入度合情報を絞り込んだ侵入度合情報を表示させるのかや、具体的にどのような条件で絞り込むのか等の仕様)に対応する侵入度合情報が、"テーブル1"~"テーブル5"の名称で表示されている。ユーザは、例えば、図中の太枠で示されるカーソル等をタッチパネルのスライド操作や図示しないハードウェアによる操作部(例えば、マウス等)により移動させて、所定の決定操作をすることにより、対応する仕様の侵入度合情報を表330Aとしてディスプレイ330に表示させることができる。
 また、ディスプレイ330の左側半分の領域の下半分には、ユーザが仕様選択部330Bで選択するための仕様を登録するためのカスタマイズ部330CのGUIが表示される。これにより、ユーザは、自分が確認したい仕様の侵入度合情報を仕様選択部330Bに登録できる。
 [侵入履歴情報の表示処理]
 次に、図14を参照して、図2Aに係る安全管理システム100に対応する表示制御部304による処理について説明をする。
 図14は、表示制御部304による処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、所定時間毎に繰り返し実行される。
 ステップS102にて、表示制御部304は、所定の検知条件下で、物体検知部301によるショベルの周辺の所定領域への人の侵入の検知回数N1が所定閾値N1th以上になったか否かを判定する。所定条件とは、例えば、(1)ある時点からの所定時間内(所定の時間帯内)であること、(2)所定の検知場所であること、(3)所定の操作状態であること、(4)所定の作業モードであること、(5)所定の警報レベルであること等の少なくとも1つであってよい。表示制御部304は、判定条件を満足しない場合、ステップS104に進み、判定条件を満足する場合、ステップS106に進む。
 尚、表示制御部304は、所定の検知条件下で、物体検知部301によるショベルの動作制限の回数(動作制限回数)が相対的に多くなった(所定閾値以上になった)か否かを判定してもよい。以下、後述する図15のステップS202についても同様である。
 ステップS104にて、表示制御部304は、ステップS102と同じ所定条件下で、物体検知部301によるショベルの周辺の所定領域への人の侵入の検知人数N2が所定閾値N2th以上になったか否かを判定する。表示制御部304は、判定条件を満足する場合、ステップS106に進み、判定条件を満足しない場合、今回の処理を終了する。
 ステップS106にて、表示制御部304は、侵入度合情報3102を表示装置50に表示させる。例えば、表示制御部304は、所定の検知条件が上記(1)の場合、上述した第1例に相当する侵入度合情報3102を表示装置50に表示させてよい。また、例えば、表示制御部304は、所定の検知条件が上記(2)の場合、上述した第2例に相当する侵入度合情報3102を表示装置50に表示させてよい。また、例えば、表示制御部304は、所定の検知条件が上記(3)の場合、上述した第3例に相当する侵入度合情報3102を表示装置50に表示させてよい。また、例えば、表示制御部304は、所定の検知条件が上記(4)の場合、上述した第4例に相当する侵入度合情報3102を表示装置50に表示させてよい。また、例えば、表示制御部304は、所定の検知条件が上記(5)の場合、上述した第5例に相当する侵入度合情報3102を表示装置50に表示させてよい。
 尚、ステップS104,S106の処理の何れか一方は、省略されてもよい。また、ステップS104、S106の処理の順序は、逆であってもよいし、平行処理されてもよい。また、ステップS106の処理が行われると、検知回数N1,検知人数N2は、リセットされ、再度、上記所定条件下において、カウントが開始される。
 このように、表示制御部304は、侵入度合情報3102に含まれる、物体検知部301により所定領域内への人の侵入が検知された回数(検知回数)、所定領域内への侵入が検知された人数(検知人数)、又は、ショベルの動作制限が行われた回数(動作制限回数)が所定の通知条件を満足した場合、表示装置50に侵入度合情報3102を表示させる。具体的には、表示制御部304は、上記通知条件として、所定の検知条件下における検知回数検知人数、又は、動作制限回数が、所定閾値以上になったことを満足した場合、表示装置50に侵入度合情報3102を表示させる。これにより、作業現場の安全性の向上を図る必要がある状況に限定して、侵入度合情報3102が表示されるため、オペレータに与える煩わしさや違和感を抑制することができる。
 尚、表示装置50に侵入度合情報3102を表示させるための上記通知条件は、当該態様に限定されない。例えば、表示制御部304は、上記通知条件として、検知回数、検知人数、又は、動作制限回数が急に増加していること、即ち、所定基準以上に増加していることを満足した場合、表示装置50に侵入度合情報3102を表示させてもよい。例えば、所定期間(1日の作業開始から現時点までの期間、1日の所定の時間帯等)における検知回数、検知人数、又は、動作制限回数が、過去の平均値(過去1週間の各日の平均値、過去1週間の同じ時間帯の平均値等)の5割増し以上になっている場合、検知回数、検知人数、又は、動作制限回数が所定基準以上に増加していると判断してよい。これにより、上述した実施形態と同様、作業現場の安全性の向上を図る必要がある状況に限定して、侵入度合情報3102が表示されるため、オペレータに与える煩わしさや違和感を抑制することができる。また、所定基準を適宜設定することにより、検知回数、検知人数、又は、動作制限回数が、図14における所定閾値以上になる前の増加している段階で、侵入度合情報3102を表示することもできるため、作業現場の管理者、監督者、他の作業機械のオペレータ等は、より前段階で、作業現場の安全性に対する対応を取ることができる。
 [侵入履歴情報の送信処理]
 次に、図15を参照して、図2Aに係る安全管理システム100に対応する情報送信部305による処理について説明をする。
 図15は、情報送信部305による処理の一例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、所定時間毎に繰り返し実行される。
 ステップS202にて、情報送信部305は、所定の検知条件下で、物体検知部301によるショベルの周辺の所定領域への人の侵入の検知回数N1が所定閾値N1th以上になったか否かを判定する。所定条件とは、例えば、上述の(1)~(5)等であってよい。情報送信部305は、判定条件を満足しない場合、ステップS204に進み、判定条件を満足する場合、ステップS206に進む。
 ステップS204にて、情報送信部305は、ステップS202と同じ所定条件下で、物体検知部301によるショベルの周辺の所定領域への人の侵入の検知人数N2が所定閾値N2th以上になったか否かを判定する。情報送信部305は、判定条件を満足する場合、ステップS206に進み、判定条件を満足しない場合、今回の処理を終了する。
 ステップS206にて、情報送信部305は、侵入度合情報3102を管理サーバ200に送信する。例えば、情報送信部305は、所定の検知条件が上記(1)の場合、上述した第1例に相当する侵入度合情報3102を管理サーバ200に送信してよい。また、例えば、情報送信部305は、所定の検知条件が上記(2)の場合、上述した第2例に相当する侵入度合情報3102を管理サーバ200に送信してよい。また、例えば、情報送信部305は、所定の検知条件が上記(3)の場合、上述した第3例に相当する侵入度合情報3102を管理サーバ200に送信してよい。また、例えば、情報送信部305は、所定の検知条件が上記(4)の場合、上述した第4例に相当する侵入度合情報3102を管理サーバ200に送信してよい。また、例えば、情報送信部305は、所定の検知条件が上記(5)の場合、上述した第5例に相当する侵入度合情報3102を管理サーバ200に送信してよい。
 尚、ステップS204,S206の処理の何れか一方は、省略されてもよい。また、ステップS204、S206の処理の順序は、逆であってもよいし、平行処理されてもよい。また、図14の場合と同様、ステップS206の処理が行われると、検知回数N1,検知人数N2は、リセットされ、再度、上記所定条件下において、カウントが開始される。
 このように、情報送信部305は、所定の検知条件下において、物体検知部301により所定領域内への人の侵入が検知された回数、所定領域内への侵入が検知された人数、又は、ショベルの動作制限が行われた回数が、所定閾値以上になった場合、管理サーバ200に侵入度合情報3102を送信する。これにより、作業現場の安全性の向上を図る必要がある状況に限定して、侵入度合情報3102が送信されるため、作業現場の管理者、監督者、他の作業機械のオペレータ等に与える煩わしさや違和感を抑制することができる。
 尚、管理サーバ200に侵入度合情報3102を送信させるための上記通知条件は、表示装置50に侵入度合情報3102を表示させるための上記通知条件と同様、当該態様に限定されない。例えば、情報送信部305は、表示制御部304と同様、上記通知条件として、検知回数、検知人数、又は、動作制限回数が急に増加していること、即ち、所定基準以上に増加していることを満足した場合、管理サーバ200に侵入度合情報3102を送信してもよい。例えば、所定期間(1日の作業開始から現時点までの期間、1日の所定の時間帯等)における検知回数、検知人数、又は、動作制限回数が、過去の平均値(過去1週間の各日の平均値、過去1週間の同じ時間帯の平均値等)の5割増し以上になっている場合、検知回数、検知人数、又は、動作制限回数が所定基準以上に増加していると判断してよい。これにより、上述した図14の場合と同様、作業現場の安全性の向上を図る必要がある状況に限定して、侵入度合情報3102が送信されるため、作業現場の管理者、監督者、他の作業機械のオペレータ等に与える煩わしさや違和感を抑制することができる。また、所定基準を適宜設定することにより、検知回数、検知人数、又は、動作制限回数が、図15における所定閾値以上になる前の増加している段階で、侵入度合情報3102を送信することもできるため、作業現場の管理者、監督者、他の作業機械のオペレータ等は、より前段階で、作業現場の安全性に対する対応を取ることができる。
 以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
 例えば、上述した実施形態では、表示制御部304が表示装置50に侵入度合情報3102を表示させると共に、情報送信部305が管理サーバ200に侵入度合情報3102を送信されるが、何れか一方が行われる態様であってもよい。
 また、上述した実施形態及びその変形例では、一の作業機械(ショベル)において、一の作業機械に関する侵入度合情報(侵入度合情報3102、侵入度合情報2200A、侵入度合情報3200A)が生成されるが、当該態様には限定されない。例えば、作業現場で作業する複数の作業機械(例えば、ショベル、ブルドーザ等)のそれぞれに記憶される侵入履歴情報3101が集約された複数の作業機械に関する侵入度合情報、つまり、作業現場全体での侵入度合情報が生成されてよい。そして、生成された侵入度合情報が対象となるそれぞれの作業機械のオペレータから視認可能な表示装置に表示されてよいし、複数の作業機械のそれぞれと通信可能な管理サーバに送信されてもよい。このとき、それぞれの作業機械で記憶される侵入履歴情報は、相互に通信可能に接続される複数の作業機械のうちの特定の作業機械に集められ、当該作業機械において、複数の作業機械に関する侵入度合情報が作成されてよい。また、それぞれの作業機械で記憶される侵入履歴情報は、相互に通信可能に接続される複数の作業機械の相互間で共有化され、それぞれの作業機械において、複数の作業機械に関する侵入度合情報が作成されてもよい。また、例えば、管理サーバ200は、作業現場で作業する複数の作業機械から侵入履歴情報を取得し、管理サーバ200或いは管理端末300は、管理サーバ200に集約された複数の作業機械に関する侵入履歴情報に基づき、作業現場全体での侵入度合情報を生成してもよい。これにより、作業現場の管理者、監督者、それぞれの作業機械のオペレータ等は、管理端末300やショベルの表示装置50等を通じて、作業現場全体での侵入度合情報を把握することができる。そのため、作業現場の安全性に対する対応を更に促進させることができる。
 尚、本願は、2016年11月1日に出願した日本国特許出願2016-214715号に基づく優先権を主張するものであり、その日本国特許出願の全内容を本願に参照により援用する。
 30 コントローラ
 40 撮像装置
 40B 後方カメラ
 40L 左側方カメラ
 40R 右側方カメラ
 42 動作・姿勢状態センサ
 50 表示装置
 60 音声出力装置
 70 外部報知装置
 80 通信機器
 100 安全管理システム(作業機械用安全管理システム)
 150 通信ネットワーク
 200 管理サーバ(管理装置)
 210 通信機器
 220 処理装置
 300 管理端末
 301 物体検知部(検知部)
 302 情報取得部
 303 情報生成部
 304 表示制御部
 305 情報送信部(送信部)
 310 記憶部
 315 通信機器
 320 処理装置
 3101 侵入履歴情報
 3102 侵入度合情報
 2200 記憶部
 2200A 侵入度合情報
 2200B 侵入履歴情報
 2201 データ取得部
 2202 データ配信部
 2203 情報生成部
 3200 記憶部
 3200A 侵入度合情報
 3200B 侵入履歴情報
 3201 データ取得部
 3202 表示制御部
 3203 情報生成部

Claims (18)

  1.  作業機械の周辺の所定領域内への障害物の侵入を検知する検知部と、
     前記検知部による検知結果の履歴と、前記所定領域内に前記障害物が侵入したときの前記侵入に関連する侵入関連情報とに基づき、前記所定領域内への前記障害物の侵入度合いと前記侵入関連情報との関係を確認可能な表を生成するための侵入度合情報を生成する情報生成部と、を備える、
     作業機械用安全管理システム。
  2.  前記情報生成部は、前記侵入関連情報に関する所定条件下における前記所定領域への前記障害物の侵入度合いを確認可能な表を生成するための侵入度合情報を生成する、
     請求項1に記載の作業機械用安全管理システム。
  3.  前記情報生成部は、前記侵入度合いに関する所定条件下における前記侵入関連情報を確認可能な表を生成するための侵入度合情報を生成する、
     請求項1に記載の作業機械用安全管理システム。
  4.  警報出力部を更に備え、
     前記検知部は、前記障害物として人を検知し、
     前記警報出力部は、前記検知部により、前記所定領域における前記作業機械に近接する第1領域と前記第1領域よりも前記作業機械から遠い第2領域とのうちの前記第1領域で人が検知された場合、警報レベルが高い第1の警報を出力し、前記第2領域で人が検知された場合、警報レベルが低い第2の警報を出力し、
     前記情報生成部は、前記警報出力部の出力結果の履歴に基づき、前記侵入度合情報を生成する、
     請求項1に記載の作業機械用安全管理システム。
  5.  前記情報生成部は、前記検知部により前記所定領域内への人の侵入が検知された回数、及び、前記検知部により前記所定領域内への侵入が検知された人数の少なくとも一方を含む前記侵入度合情報を生成する、
     請求項4に記載の作業機械用安全管理システム。
  6.  前記所定条件は、前記検知部により前記所定領域内への前記障害物の侵入が検知された時間帯に関する条件、前記検知部により前記所定領域内への前記障害物の侵入が検知された場所に関する条件、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときの前記作業機械の操作状態に関する条件、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときの前記作業機械の作業モードに関する条件、前記検知部により前記所定領域内への人の侵入が検知されたときに出力される警報の警報レベルに関する条件、である、
     請求項2に記載の作業機械用安全管理システム。
  7.  前記所定条件は、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときの警報開始からオペレータによる警報解除操作による警報解除までの経過時間に関する条件、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときの前記検知部の検知性能の設定状態に関する条件、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときの周辺環境に関する条件、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときのショベルの姿勢安定度に関する条件、又は、前記検知部により前記所定領域内への前記障害物の侵入が検知されたときのオペレータによる所定期間内における操作技能に関する条件である、
     請求項2に記載の作業機械用安全管理システム。
  8.  前記所定条件は、前記検知部により前記所定領域内への侵入が検知された回数、前記検知部により前記所定領域内への侵入が検知された人数が所定基準を超えている条件である、
     請求項3に記載の作業機械用安全管理システム。
  9.  前記所定条件は、前記検知部により前記所定領域内への侵入が検知されたことに起因して前記作業機械の動作が制限された回数が所定基準を超えている条件である、
     請求項3に記載の作業機械用安全管理システム。
  10.  前記情報生成部は、前記侵入度合情報として、前記回数、又は前記人数の時系列データを生成する、
     請求項5に記載の作業機械用安全管理システム。
  11.  前記情報生成部は、1週間の曜日別、所定期間内の日付別、又は1日の時間帯別の前記時系列データを生成する、
     請求項10に記載の作業機械用安全管理システム。
  12.  前記作業機械に設けられ、前記検知部による検知履歴と、前記所定領域内に前記障害物が侵入したときの前記侵入に関連する侵入関連情報とを、前記作業機械の外部の管理装置に送信する送信部を備え、
     前記情報生成部は、前記管理装置、又は、前記管理装置と通信可能に接続される管理端末に設けられる、
     請求項1に記載の作業機械用安全管理システム。
  13.  前記作業機械のキャビン内に設けられる表示装置、又は、前記作業機械に設けられる送信部を更に備え、
     前記情報生成部は、前記作業機械に設けられ、
     前記表示装置は、前記侵入度合情報に対応する前記表を表示する、又は、前記送信部は、前記作業機械の外部に設けられる管理装置に前記侵入度合情報を送信する、
     請求項5に記載の作業機械用安全管理システム。
  14.  前記侵入度合情報に含まれる前記回数又は前記人数が所定の通知条件を満足した場合、前記表示装置は、前記侵入度合情報を表示する、又は、前記送信部は、前記管理装置に前記侵入度合情報を送信する、
     請求項13に記載の作業機械用安全管理システム。
  15.  作業機械の外部に設けられる管理装置であって、
     前記作業機械の周辺の所定領域内への障害物の侵入を検知する検知部の検知結果と、前記所定領域内に前記障害物が侵入したときの前記侵入に関連する侵入関連情報とを前記作業機械から取得する取得部と、
     前記検知結果の履歴と、前記侵入関連情報とに基づき、前記所定領域内への前記障害物の侵入度合いと前記侵入関連情報との関係を確認可能な表を生成するための侵入度合情報を生成する情報生成部と、を備える、
     管理装置。
  16.  ユーザが所持する管理端末に前記侵入度合情報を配信し、前記管理端末の表示部に前記侵入度合情報に対応する前記表を表示させる配信部を更に備える、
     請求項15に記載の管理装置。
  17.  作業機械の外部に設けられ、前記作業機械の周辺の所定領域内への障害物の侵入を検知する検知部の検知結果と、前記所定領域内に前記障害物が侵入したときの前記侵入に関連する侵入関連情報とを前記作業機械から取得し、前記検知結果の履歴と、前記侵入関連情報とに基づき、前記所定領域内への前記障害物の侵入度合いと前記侵入関連情報との関係を確認可能な表を生成するための侵入度合情報を生成する管理装置と通信可能な管理端末が実行する安全管理方法であって、
     前記管理装置から前記侵入度合情報を取得し、前記表を表示部に表示させる、
     安全管理方法。
  18.  作業機械の外部に設けられ、前記作業機械の周辺の所定領域内への障害物の侵入を検知する検知部の検知結果と、前記所定領域内に前記障害物が侵入したときの前記侵入に関連する侵入関連情報とを前記作業機械から取得する管理装置と通信可能な管理端末が実行する安全管理方法であって、
     前記管理装置から前記検知部の検知結果と、前記侵入関連情報とを取得し、前記検知結果の履歴と、前記侵入関連情報とに基づき、前記所定領域内への前記障害物の侵入度合いと前記侵入関連情報との関係を確認可能な表を生成し、当該表を表示部に表示させる、
     安全管理方法。
PCT/JP2017/039457 2016-11-01 2017-10-31 作業機械用安全管理システム、管理装置、安全管理方法 WO2018084161A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018549026A JPWO2018084161A1 (ja) 2016-11-01 2017-10-31 建設機械用安全管理システム、管理装置
EP17867550.0A EP3537403A4 (en) 2016-11-01 2017-10-31 SECURITY MANAGEMENT SYSTEM FOR WORKING MACHINE, MANAGEMENT DEVICE, SECURITY MANAGEMENT METHOD
KR1020187035571A KR102454612B1 (ko) 2016-11-01 2017-10-31 건설기계용 안전관리시스템, 관리장치
CN201780036762.9A CN109313840A (zh) 2016-11-01 2017-10-31 施工机械用安全管理系统、管理装置、安全管理方法
US16/389,018 US11148593B2 (en) 2016-11-01 2019-04-19 Construction machine safety management system, management apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-214715 2016-11-01
JP2016214715 2016-11-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/389,018 Continuation US11148593B2 (en) 2016-11-01 2019-04-19 Construction machine safety management system, management apparatus

Publications (1)

Publication Number Publication Date
WO2018084161A1 true WO2018084161A1 (ja) 2018-05-11

Family

ID=62076221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039457 WO2018084161A1 (ja) 2016-11-01 2017-10-31 作業機械用安全管理システム、管理装置、安全管理方法

Country Status (6)

Country Link
US (1) US11148593B2 (ja)
EP (1) EP3537403A4 (ja)
JP (1) JPWO2018084161A1 (ja)
KR (1) KR102454612B1 (ja)
CN (1) CN109313840A (ja)
WO (1) WO2018084161A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044777A1 (ja) * 2018-08-29 2020-03-05 日立建機株式会社 建設機械
WO2020095945A1 (ja) * 2018-11-08 2020-05-14 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
JP2020125672A (ja) * 2019-01-15 2020-08-20 株式会社カナモト 建設機械の安全装置
JP2021055358A (ja) * 2019-09-30 2021-04-08 日立建機株式会社 作業機械
WO2021187567A1 (ja) * 2020-03-19 2021-09-23 株式会社クボタ 通信機器の防水構造、通信ユニット及び作業機
JP2021150829A (ja) * 2020-03-19 2021-09-27 株式会社クボタ 通信ユニット及び作業機
JP2021150509A (ja) * 2020-03-19 2021-09-27 株式会社クボタ 通信機器の防水構造
JP7143479B1 (ja) 2021-06-04 2022-09-28 日立建機株式会社 作業管理システムおよび作業機械

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018062374A1 (ja) * 2016-09-30 2019-07-25 住友建機株式会社 ショベル
US10820492B2 (en) * 2016-12-12 2020-11-03 Kubota Corporation Work vehicle
JP6718399B2 (ja) * 2017-02-21 2020-07-08 日立建機株式会社 作業機械
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
JP7091896B2 (ja) * 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
JP7097022B2 (ja) * 2018-08-31 2022-07-07 コベルコ建機株式会社 建設機械
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
KR20200109459A (ko) * 2019-03-13 2020-09-23 두산인프라코어 주식회사 건설기계의 트랙 장력 모니터링 방법 및 시스템
JP7182536B2 (ja) * 2019-10-31 2022-12-02 日立建機株式会社 建設機械
JP7264796B2 (ja) * 2019-11-21 2023-04-25 株式会社小松製作所 転倒リスク提示装置および転倒リスク提示方法
JP7322722B2 (ja) 2020-01-27 2023-08-08 トヨタ自動車株式会社 作業システム
US11373508B2 (en) * 2020-01-30 2022-06-28 The Boeing Company Computer-implemented methods and system for monitoring personnel activity using non-motion sensors
JP7112758B2 (ja) * 2020-03-19 2022-08-04 Totalmasters株式会社 建設現場安全管理装置
US20220333338A1 (en) * 2020-03-24 2022-10-20 Hitachi Construction Machinery Co., Ltd. Work machine
JP7428052B2 (ja) * 2020-03-31 2024-02-06 コベルコ建機株式会社 作業機械の周囲検知装置
CA3115408A1 (en) * 2020-04-17 2021-10-17 Oshkosh Corporation Refuse vehicle with spatial awareness
US11898331B2 (en) * 2020-12-02 2024-02-13 Caterpillar Sarl System and method for detecting objects within a working area
CN113393652A (zh) * 2021-06-18 2021-09-14 国能神东煤炭集团有限责任公司 一种报警方法、系统、装置及存储介质
US11574534B2 (en) * 2021-06-30 2023-02-07 Caterpillar Inc. Systems and methods to retrigger detection based proximity alarm systems
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266623A (ja) * 2003-03-03 2004-09-24 Ffc:Kk 監視カメラ管理システム
JP2007085091A (ja) * 2005-09-22 2007-04-05 Hitachi Constr Mach Co Ltd 作業現場の安全管理装置及びこれに適用される作業機械
JP2011165143A (ja) * 2010-02-15 2011-08-25 Fuji Electric Co Ltd 安全管理情報分析システム
JP2011163835A (ja) * 2010-02-06 2011-08-25 Shimizu Corp 建設機械と作業員との接触事故防止システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143594A (ja) * 2001-11-05 2003-05-16 Emiiru Denshi Kaihatsusha:Kk 生産現場公開管理システム
JP2009110066A (ja) * 2007-10-26 2009-05-21 Toshiba Corp 保守カルテ表示装置および保守カルテ表示方法
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
JP5395266B2 (ja) * 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
US9030332B2 (en) * 2011-06-27 2015-05-12 Motion Metrics International Corp. Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment
JP5808605B2 (ja) * 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
CN103857851B (zh) * 2011-10-19 2016-03-09 住友重机械工业株式会社 回转作业机械及回转作业机械的控制方法
US20160006947A1 (en) * 2013-02-08 2016-01-07 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring device for slewing-type work machine
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
CN105518556B (zh) * 2013-12-12 2018-08-28 日立建机株式会社 车辆行驶系统以及车辆行驶控制方法
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
CN204066325U (zh) * 2014-07-01 2014-12-31 国家电网公司 施工机械近电安全预警装置
CN105297817A (zh) * 2014-07-28 2016-02-03 西安众智惠泽光电科技有限公司 一种对挖掘机进行监控的方法
EP3256650B1 (en) * 2015-02-13 2023-06-28 ESCO Group LLC Monitoring ground-engaging products for earth working equipment
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
CN107431783A (zh) * 2015-07-31 2017-12-01 株式会社小松制作所 作业机械的显示系统及作业机械的显示方法
DE112016000052T5 (de) * 2016-03-28 2017-03-09 Komatsu Ltd. Bewertungsvorrichtung
JP6684682B2 (ja) * 2016-08-18 2020-04-22 株式会社神戸製鋼所 建設機械

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266623A (ja) * 2003-03-03 2004-09-24 Ffc:Kk 監視カメラ管理システム
JP2007085091A (ja) * 2005-09-22 2007-04-05 Hitachi Constr Mach Co Ltd 作業現場の安全管理装置及びこれに適用される作業機械
JP2011163835A (ja) * 2010-02-06 2011-08-25 Shimizu Corp 建設機械と作業員との接触事故防止システム
JP2011165143A (ja) * 2010-02-15 2011-08-25 Fuji Electric Co Ltd 安全管理情報分析システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3537403A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102378805B1 (ko) 2018-08-29 2022-03-28 히다찌 겐끼 가부시키가이샤 건설 기계
JP2020033747A (ja) * 2018-08-29 2020-03-05 日立建機株式会社 建設機械
KR20200111804A (ko) * 2018-08-29 2020-09-29 히다찌 겐끼 가부시키가이샤 건설 기계
WO2020044777A1 (ja) * 2018-08-29 2020-03-05 日立建機株式会社 建設機械
US11866913B2 (en) 2018-08-29 2024-01-09 Hitachi Construction Machinery Co., Ltd. Construction machine
JP7134024B2 (ja) 2018-08-29 2022-09-09 日立建機株式会社 建設機械
WO2020095945A1 (ja) * 2018-11-08 2020-05-14 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
JP2020125672A (ja) * 2019-01-15 2020-08-20 株式会社カナモト 建設機械の安全装置
JP2021055358A (ja) * 2019-09-30 2021-04-08 日立建機株式会社 作業機械
JP7269853B2 (ja) 2019-09-30 2023-05-09 日立建機株式会社 作業機械
WO2021065429A1 (ja) * 2019-09-30 2021-04-08 日立建機株式会社 作業機械
JP2021150509A (ja) * 2020-03-19 2021-09-27 株式会社クボタ 通信機器の防水構造
JP2021150829A (ja) * 2020-03-19 2021-09-27 株式会社クボタ 通信ユニット及び作業機
WO2021187567A1 (ja) * 2020-03-19 2021-09-23 株式会社クボタ 通信機器の防水構造、通信ユニット及び作業機
JP7387503B2 (ja) 2020-03-19 2023-11-28 株式会社クボタ 通信機器の防水構造
JP7451250B2 (ja) 2020-03-19 2024-03-18 株式会社クボタ 通信ユニット及び作業機
JP7143479B1 (ja) 2021-06-04 2022-09-28 日立建機株式会社 作業管理システムおよび作業機械
WO2022254922A1 (ja) 2021-06-04 2022-12-08 日立建機株式会社 作業管理システムおよび作業機械
JP2022186217A (ja) * 2021-06-04 2022-12-15 日立建機株式会社 作業管理システムおよび作業機械
KR20230133982A (ko) 2021-06-04 2023-09-19 히다찌 겐끼 가부시키가이샤 작업 관리 시스템 및 작업 기계

Also Published As

Publication number Publication date
JPWO2018084161A1 (ja) 2019-09-26
KR20190082166A (ko) 2019-07-09
KR102454612B1 (ko) 2022-10-13
CN109313840A (zh) 2019-02-05
US20190241124A1 (en) 2019-08-08
EP3537403A1 (en) 2019-09-11
US11148593B2 (en) 2021-10-19
EP3537403A4 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
WO2018084161A1 (ja) 作業機械用安全管理システム、管理装置、安全管理方法
JP7252137B2 (ja) 周辺監視装置
WO2020204007A1 (ja) ショベル及び施工システム
JP7407178B2 (ja) ショベル
WO2021025123A1 (ja) ショベル、情報処理装置
KR20210106408A (ko) 쇼벨, 정보처리장치, 정보처리방법, 정보처리프로그램, 단말장치, 표시방법, 표시프로그램
JP7463354B2 (ja) ショベル
WO2020218454A1 (ja) 表示装置、ショベル、情報処理装置
JP7203640B2 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
EP3885495B1 (en) Excavator and excavator control device
JP7387718B2 (ja) 建設機械、支援システム
WO2021192224A1 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
WO2020218453A1 (ja) ショベル
JP2022157923A (ja) ショベル
WO2023171711A1 (ja) 操作支援装置、作業機械、遠隔操作支援装置、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17867550

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20187035571

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018549026

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017867550

Country of ref document: EP

Effective date: 20190603