WO2021187248A1 - 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法 - Google Patents

作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法 Download PDF

Info

Publication number
WO2021187248A1
WO2021187248A1 PCT/JP2021/009360 JP2021009360W WO2021187248A1 WO 2021187248 A1 WO2021187248 A1 WO 2021187248A1 JP 2021009360 W JP2021009360 W JP 2021009360W WO 2021187248 A1 WO2021187248 A1 WO 2021187248A1
Authority
WO
WIPO (PCT)
Prior art keywords
alarm
work machine
unit
person
range
Prior art date
Application number
PCT/JP2021/009360
Other languages
English (en)
French (fr)
Inventor
太郎 江口
浩一 中沢
栗原　毅
芳之 下屋
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN202180016984.0A priority Critical patent/CN115176058A/zh
Priority to US17/909,566 priority patent/US20230114366A1/en
Priority to DE112021000609.6T priority patent/DE112021000609T5/de
Priority to KR1020227029509A priority patent/KR20220127330A/ko
Publication of WO2021187248A1 publication Critical patent/WO2021187248A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons

Definitions

  • This disclosure relates to a work machine peripheral monitoring system, a work machine, and a work machine peripheral monitoring method.
  • Patent Document 1 In the technical field related to work machines, work machines equipped with peripheral monitoring devices as disclosed in Patent Document 1 are known.
  • a peripheral monitoring monitor is arranged in the driver's cab of a work machine.
  • the display unit of the peripheral monitoring monitor displays a bird's-eye view image of the surroundings of the work machine.
  • the peripheral monitoring device outputs an alarm when there is a person in the vicinity of the work machine. As a result, an alarm is output even when a person around the work machine is aware of the existence of the work machine. When a person is present in the vicinity of the work machine, it is preferable to output an alarm or suppress the output according to the state of the person.
  • a detection unit that detects a person around the work machine, an alarm unit that outputs an alarm, a state determination unit that determines the physical condition of the person detected by the detection unit, and the state determination.
  • a peripheral monitoring system for a work machine including an alarm control unit that controls an alarm output by the alarm unit based on a determination result of the unit is provided.
  • the output of the alarm can be controlled according to the state of the person.
  • FIG. 1 is a perspective view showing a work machine according to an embodiment.
  • FIG. 2 is a diagram showing an cab of a work machine according to an embodiment.
  • FIG. 3 is a diagram schematically showing an upper swing body according to an embodiment.
  • FIG. 4 is a schematic diagram illustrating a detection range and an alarm range according to the embodiment.
  • FIG. 5 is a functional block diagram showing a peripheral monitoring device according to the embodiment.
  • FIG. 6 is a diagram showing an example of a display example of a bird's-eye view image of the display unit according to the embodiment.
  • FIG. 7 is a diagram showing another example of displaying a bird's-eye view image of the display unit according to the embodiment.
  • FIG. 1 is a perspective view showing a work machine according to an embodiment.
  • FIG. 2 is a diagram showing an cab of a work machine according to an embodiment.
  • FIG. 3 is a diagram schematically showing an upper swing body according to an embodiment.
  • FIG. 4 is a schematic diagram illustrating
  • FIG. 8 is a diagram showing another example of displaying a bird's-eye view image of the display unit according to the embodiment.
  • FIG. 9 is a diagram showing another example of displaying a bird's-eye view image of the display unit according to the embodiment.
  • FIG. 10 is a diagram showing another example of displaying a bird's-eye view image of the display unit according to the embodiment.
  • FIG. 11 is a diagram showing another example of displaying a bird's-eye view image of the display unit according to the embodiment.
  • FIG. 12 is a diagram showing an example of a display example of a single camera image of the display unit according to the embodiment.
  • FIG. 13 is a diagram showing another example of displaying a single camera image of the display unit according to the embodiment.
  • FIG. 14 is a flowchart showing a peripheral monitoring method according to the embodiment.
  • FIG. 15 is a block diagram showing a computer system according to the embodiment.
  • FIG. 1 is a perspective view showing a work machine 1 according to an embodiment.
  • the work machine 1 is a hydraulic excavator.
  • the work machine 1 is appropriately referred to as a hydraulic excavator 1.
  • the hydraulic excavator 1 includes a lower traveling body 2, an upper swivel body 3 supported by the lower traveling body 2, a working machine 4 supported by the upper swivel body 3, and a hydraulic cylinder 5 for driving the working machine 4. ..
  • the lower traveling body 2 can travel while supporting the upper rotating body 3.
  • the lower running body 2 has a pair of tracks. As the track rotates, the lower traveling body 2 travels.
  • the upper turning body 3 can turn around the turning axis RX with respect to the lower running body 2 in a state of being supported by the lower running body 2.
  • the upper swing body 3 has a driver's cab 6 on which the driver of the hydraulic excavator 1 is boarded.
  • the driver's cab 6 is provided with a driver's seat 9 on which the driver sits.
  • the working machine 4 includes a boom 4A connected to the upper swing body 3, an arm 4B connected to the boom 4A, and a bucket 4C connected to the arm 4B.
  • the hydraulic cylinder 5 includes a boom cylinder 5A for driving the boom 4A, an arm cylinder 5B for driving the arm 4B, and a bucket cylinder 5C for driving the bucket 4C.
  • the boom 4A is rotatably supported by the upper swing body 3 about the boom rotation axis AX.
  • the arm 4B is rotatably supported by the boom 4A about the arm rotation shaft BX.
  • the bucket 4C is rotatably supported by the arm 4B about the bucket rotation axis CX.
  • the boom rotation axis AX, the arm rotation axis BX, and the bucket rotation axis CX are parallel.
  • the boom rotation axis AX, the arm rotation axis BX, and the bucket rotation axis CX are orthogonal to the axis parallel to the rotation axis RX.
  • the direction parallel to the swivel axis RX is appropriately referred to as the vertical direction
  • the direction parallel to the boom rotation axis AX, the arm rotation axis BX, and the bucket rotation axis CX is appropriately referred to as the left-right direction.
  • the direction orthogonal to both the boom rotation axis AX, the arm rotation axis BX, and the bucket rotation axis CX and the rotation axis RX is appropriately referred to as a front-rear direction.
  • the direction in which the work machine 4 is present is the front, and the opposite direction to the front is the rear.
  • one of the left-right directions is to the right, and the opposite direction to the right is the left.
  • the direction away from the ground contact surface of the lower traveling body 2 is the upper side, and the opposite direction of the upper side is the lower side.
  • the driver's cab 6 is arranged in front of the upper swivel body 3.
  • the driver's cab 6 is arranged on the left side of the working machine 4.
  • the boom 4A of the work machine 4 is arranged on the right side of the driver's cab 6.
  • FIG. 2 is a diagram showing an cab 6 of the hydraulic excavator 1 according to the embodiment.
  • the hydraulic excavator 1 includes an operation unit 10 arranged in the driver's cab 6.
  • the operation unit 10 is operated for operating at least a part of the hydraulic excavator 1.
  • the operation unit 10 is operated by a driver seated on the driver's seat 9.
  • the operation of the hydraulic excavator 1 includes at least one of the operation of the lower traveling body 2, the operation of the upper swivel body 3, and the operation of the working machine 4.
  • the operation unit 10 includes a left working lever 11 and a right working lever 12 operated for operating the upper swing body 3 and the working machine 4, and a left traveling lever 13 and a right operated for operating the lower traveling body 2.
  • a traveling lever 14, a left foot pedal 15 and a right foot pedal 16 are included.
  • the left work lever 11 is arranged on the left side of the operation seat 9.
  • the arm 4B performs a dump operation or an excavation operation.
  • the upper swivel body 3 turns left or right.
  • the right work lever 12 is arranged on the right side of the operation seat 9.
  • the bucket 4C is excavated or dumped.
  • the boom 4A is lowered or raised.
  • the left traveling lever 13 and the right traveling lever 14 are arranged in front of the driver's seat 9.
  • the left traveling lever 13 is arranged to the left of the right traveling lever 14.
  • the track on the left side of the lower traveling body 2 moves forward or backward.
  • the right traveling lever 14 is operated in the front-rear direction, the track on the right side of the lower traveling body 2 moves forward or backward.
  • the left foot pedal 15 and the right foot pedal 16 are arranged in front of the driver's seat 9.
  • the left foot pedal 15 is arranged to the left of the right foot pedal 16.
  • the left foot pedal 15 is interlocked with the left traveling lever 13.
  • the right foot pedal 16 is interlocked with the right traveling lever 14.
  • the hydraulic excavator 1 includes a peripheral monitoring monitor 20 arranged in the driver's cab 6.
  • the peripheral monitoring monitor 20 is arranged on the right front side of the driving seat 9.
  • the peripheral monitoring monitor 20 includes a display unit 21, an operation unit 22, a control unit 23, and an inner alarm unit 24 which is an alarm unit.
  • the display unit 21 displays peripheral image data showing the situation around the hydraulic excavator 1.
  • the display unit 21 includes a flat panel display such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL display (OELD: Organic Electroluminescence Display).
  • LCD Liquid Crystal Display
  • OELD Organic Electroluminescence Display
  • the peripheral image data includes one or both of the bird's-eye view image PDa and the single camera image PDb around the hydraulic excavator 1.
  • the bird's-eye view image PDa is an image generated by converting a plurality of image data acquired by each of the plurality of cameras 30 which are detection units into an upper viewpoint and synthesizing them.
  • a symbol image 1S showing the hydraulic excavator 1 is displayed on the bird's-eye view image PDa.
  • the symbol image 1S corresponds to an image of the hydraulic excavator 1 viewed from above.
  • the symbol image 1S clarifies the positional relationship between the hydraulic excavator 1 and the periphery of the hydraulic excavator 1.
  • the single camera image PDb is a part of the image around the hydraulic excavator 1 acquired by one of the plurality of cameras 30.
  • the single camera image PDb is a rear single camera image PDb showing the situation behind the hydraulic excavator 1 acquired by the rear camera 31, and a right rear single camera showing the situation behind the right rear of the hydraulic excavator 1 acquired by the right rear camera 32.
  • Image PDb, right front single camera image PDb showing the right front situation of the hydraulic excavator 1 acquired by the right front camera 33, and left rear single camera showing the left rear situation of the hydraulic excavator 1 acquired by the left rear camera 34. Includes at least one of the image PDb.
  • the operation unit 22 includes a plurality of switches operated by the driver.
  • the operation unit 22 outputs an operation command by being operated by the driver.
  • the control unit 23 includes a computer system.
  • the inner alarm unit 24 outputs an alarm toward the inside of the driver's cab 6 of the work machine 1.
  • the inner alarm unit 24 is a buzzer and outputs a buzzer toward the inside of the driver's cab 6.
  • the alarm is output information that is output when a person is detected.
  • the alarm will be described as being a buzzer output from the inner alarm unit 24 or the outer alarm unit 60 described later, but the present invention is not limited thereto.
  • the alarm may be a message or symbol display displayed on the display unit 21, a patrol light (registered trademark) provided on the hydraulic excavator 1, or a warning light such as an indicator lamp or LED provided on the driver's cab 6. In the case of a patrol light, attention can be notified to those around the hydraulic excavator 1 in addition to the driver in the driver's cab 6.
  • FIG. 3 is a diagram schematically showing the upper swing body 3 according to the embodiment.
  • the hydraulic excavator 1 includes a camera system 300 including a plurality of cameras 30.
  • the plurality of cameras 30 are provided on the upper swing body 3.
  • the camera 30 acquires an image to be imaged.
  • the camera 30 functions as a detection unit that detects people around the work machine 1.
  • a plurality of cameras 30 are arranged around the work machine 1.
  • the camera 30 is attached to the rear camera 31 provided at the rear of the upper swing body 3, the right rear camera 32 and the right front camera 33 provided at the right portion of the upper swing body 3, and the left portion of the upper swing body 3. Including the left rear camera 34 provided.
  • the rear camera 31 images the rear region of the upper swivel body 3.
  • the right rear camera 32 images the right rear region of the upper swivel body 3.
  • the right front camera 33 images the right front region of the upper swivel body 3.
  • the left rear camera 34 images the left rear region of the upper swivel body 3.
  • the image sensor includes a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the left rear camera 34 captures the left side region and the left rear region of the upper swing body 3, but may capture either one of them.
  • the right rear camera 32 captures the range of the right rear region and the right rear region of the upper swing body 3, but may capture either one of them.
  • the right front camera 33 captures the range of the right front region and the right side region of the upper swing body 3, but may capture either one of them.
  • the camera 30 captures images of the left rear, rear, right rear, and right front of the upper swing body 3, but the present invention is not limited to this.
  • the number of cameras 30 may differ from the example shown in FIG.
  • the imaging range of the camera 30 may be different from the example shown in FIG.
  • the embodiment there is no camera that captures the front and left front of the driver's cab 6. This is because the driver seated on the driver's seat 9 can directly visually recognize the situation in front of the driver's cab 6 and the front left. As a result, the number of cameras 30 provided on the hydraulic excavator 1 is suppressed.
  • a camera 30 for acquiring image data indicating the front and left front of the driver's cab 6 may be provided.
  • FIG. 4 is a schematic diagram illustrating a detection range A and an alarm range B according to the embodiment.
  • the camera 30 has a detection range A capable of detecting a person.
  • the detection range A includes a visual field range that is an imageable range of the camera 30.
  • the image data acquired by the camera 30 is image-processed by the control unit 23.
  • the image data is image-processed to determine whether or not a person exists in the detection range A of the camera 30.
  • the hydraulic excavator 1 includes an outer alarm unit 600 including a plurality of outer alarm units 60 which are alarm units.
  • the plurality of outer alarm units 60 are provided on the upper swivel body 3.
  • the plurality of outer alarm units 60 are provided around the camera 30.
  • the plurality of outer alarm units 60 output alarms in different directions around the work machine 1.
  • the plurality of outside alarm units 60 output an alarm toward the outside of the driver's cab 6 of the work machine 1.
  • the plurality of outer alarm units 60 are buzzers and output a buzzer toward the outside of the driver's cab 6.
  • the outer alarm unit 60 is provided on the outer alarm unit 61 provided at the rear portion of the upper swivel body 3, the outer alarm unit 62 provided on the right portion of the upper swivel body 3, and the left portion of the upper swivel body 3.
  • the outside alarm unit 64 is included.
  • the outer alarm unit 61 is arranged around the rear camera 31.
  • the outer alarm unit 61 outputs an alarm toward the rear of the work machine 1.
  • the outer alarm unit 62 is arranged around the right rear camera 32 and the right front camera 33.
  • the outer alarm unit 62 outputs an alarm toward the rear right, the right side, and the front right.
  • the outer alarm unit 64 is arranged around the left rear camera 34.
  • the outer alarm unit 64 outputs an alarm toward the left rear side and the left side.
  • FIG. 5 is a functional block diagram showing the peripheral monitoring device 100 according to the embodiment.
  • the hydraulic excavator 1 includes a peripheral monitoring device 100.
  • the peripheral monitoring device 100 monitors the periphery of the hydraulic excavator 1.
  • the peripheral monitoring device 100 includes a peripheral monitoring monitor 20, a camera system 300, and an external alarm unit 600.
  • the peripheral monitoring monitor 20 includes a display unit 21, an operation unit 22, a control unit 23, and an inner alarm unit 24.
  • the camera system 300 has a plurality of cameras 30 (31, 32, 33, 34).
  • the external alarm unit 600 has a plurality of external alarm units 60 (61, 62, 63, 64).
  • the peripheral monitoring device 100 may be configured not to include the display unit 21 and the operation unit 22. Further, the peripheral monitoring device 100 may be configured to include only one of the external alarm unit 600 and the internal alarm unit 24.
  • the control unit 23 includes a computer system.
  • the control unit 23 includes an arithmetic processing unit 41 including a processor such as a CPU (Central Processing Unit), a volatile memory such as a RAM (Random Access Memory), and a non-volatile memory such as a ROM (Read Only Memory). It has a storage unit 42 and an input / output interface 43.
  • a processor such as a CPU (Central Processing Unit)
  • a volatile memory such as a RAM (Random Access Memory)
  • a non-volatile memory such as a ROM (Read Only Memory). It has a storage unit 42 and an input / output interface 43.
  • the arithmetic processing unit 41 includes an image data acquisition unit 51, a display data generation unit 52, a person determination unit 53, a state determination unit 54, a display control unit 55, and an alarm control unit 56.
  • the storage unit 42 stores various data and the like used in the processing in the arithmetic processing unit 41.
  • the storage unit 42 has a feature amount storage unit 57 for storing a person's feature amount and an alarm range storage unit 58 for storing the alarm range B (see FIG. 4).
  • the feature amount is information that identifies the appearance of a person, including the outline of the person and the color of the person.
  • the alarm range B will be described with reference to FIG.
  • the alarm range B is a range in which the output of an alarm is required due to the presence of a person.
  • the alarm range B is set so as to surround the hydraulic excavator 1. If a person is inside the alarm range B, an alarm is output. If the person is outside the alarm range B, no alarm is output.
  • the alarm range B is smaller than the detection range A.
  • the alarm range B may be the same as the range of the detection range A or wider than the detection range A.
  • the alarm range B includes the first alarm range Ba and the second alarm range Bb.
  • the second alarm range Bb is set so as to surround the hydraulic excavator 1.
  • the hydraulic excavator 1 is arranged inside the second alarm range Bb.
  • the second alarm range Bb is defined inside the first alarm range Ba.
  • the second alarm range Bb is smaller than the first alarm range Ba.
  • the alarm range B may be one or a plurality.
  • each of the first alarm range Ba and the second alarm range Bb has a rectangular shape.
  • the front end of the first alarm range Ba and the front end of the second alarm range Bb coincide with each other.
  • the rear end of the first alarm range Ba is defined behind the rear end of the second alarm range Bb.
  • the left end of the first alarm range Ba is defined to the left of the left end of the second alarm range Bb.
  • the right end of the first alarm range Ba is defined to the right of the right end of the second alarm range Bb.
  • the operation of the vehicle body of the work machine 1 may be further restricted. For example, before the working machine 1 runs or turns, the start lock, which is a prohibition control for the running or turning, may be performed. Further, if the work machine 1 is traveling, the traveling of the lower traveling body 2 may be stopped or decelerated. Further, while turning, the turning operation of the upper turning body 3 may be stopped or decelerated. Further, the operation of other vehicle bodies such as the work machine 1 may be suppressed.
  • the input / output interface 43 is connected to each of the camera system 300, the external alarm unit 600, the display unit 21, the operation unit 22, and the inner alarm unit 24.
  • the image data acquisition unit 51 acquires image data from the camera system 300.
  • the image data acquisition unit 51 acquires image data indicating the situation behind the hydraulic excavator 1 from the rear camera 31.
  • the image data acquisition unit 51 acquires image data indicating the situation of the rear right of the hydraulic excavator 1 from the rear right camera 32.
  • the image data acquisition unit 51 acquires image data indicating the situation in front of the right front of the hydraulic excavator 1 from the front right camera 33.
  • the image data acquisition unit 51 acquires image data indicating the situation of the left rear of the hydraulic excavator 1 from the left rear camera 34.
  • the display data generation unit 52 generates peripheral display data indicating the situation around the hydraulic excavator 1 based on the image data acquired by the image data acquisition unit 51.
  • the peripheral display data includes a bird's-eye view image PDa around the hydraulic excavator 1 and a single camera image PDb around the hydraulic excavator 1. More specifically, the display data generation unit 52 generates a bird's-eye view image PDa around the hydraulic excavator 1 based on the image data acquired by each of the plurality of cameras 30.
  • the display data generation unit 52 generates a single camera image PDb based on the image data acquired by one of the plurality of cameras 30.
  • the display data generation unit 52 views the image data acquired by each of the rear camera 31, the right rear camera 32, the right front camera 33, and the left rear camera 34 from the upper viewpoint image viewed from the virtual viewpoint above the hydraulic excavator 1. Convert to the indicated conversion image data.
  • the display data generation unit 52 cuts out a portion corresponding to the frame area for displaying the bird's-eye view image PDa from the converted image data.
  • the display data generation unit 52 synthesizes the cut out converted image data. As a result, a bird's-eye view image PDa around the hydraulic excavator 1 is generated.
  • the display data generation unit 52 synthesizes the symbol image 1S showing the hydraulic excavator 1 with the bird's-eye view image PDa.
  • the symbol image 1S corresponds to an image of the hydraulic excavator 1 viewed from above.
  • the symbol image 1S clarifies the relative positional relationship between the hydraulic excavator 1 and the periphery of the hydraulic excavator 1.
  • the bird's-eye view images of the front and left front of the driver's cab 6 are not generated.
  • a camera 30 for acquiring image data indicating the front and left front of the driver's cab 6 may be provided to generate a bird's-eye view image of the front and left front of the driver's cab 6.
  • the person determination unit 53 determines whether or not a person exists in the vicinity of the hydraulic excavator 1 based on the image data acquired by the image data acquisition unit 51.
  • the person determination unit 53 determines the presence or absence of a person in the alarm range B by performing image processing on the image data acquired by the image data acquisition unit 51.
  • the image processing includes a process of extracting a human feature amount from image data.
  • the person determination unit 53 collates the feature amount extracted from the image data with the feature amount stored in the feature amount storage unit 57, and a person exists around the hydraulic excavator 1, in other words, inside the alarm range B. Determine whether or not to do so. Further, the person determination unit 53 may also recognize the direction of the detected person with respect to the work machine 1.
  • the person determination unit 53 has a person in any range of the outside of the first alarm range Ba, the inside of the first alarm range Ba and the outside of the second alarm range Bb, or the inside of the second alarm range Bb. Determine if you want to.
  • the human determination unit 53 collates the position where the feature amount is extracted in the image data with the alarm range B stored in the alarm range storage unit 58, and the position where the feature amount is extracted is the first alarm range Ba. It is determined whether the range is outside the above, inside the first alarm range Ba and outside the second alarm range Bb, or inside the second alarm range Bb.
  • the person determination unit 53 determines in which detection range A1, detection range A2, detection range A3, or detection range A4 shown in FIG. 4 a person exists.
  • the detection range A1 is the right front range of the detection range A.
  • the detection range A1 overlaps with the imaging range of the right front camera 33.
  • the person determination unit 53 determines that the person recognized from the captured image data of the right front camera 33 exists in the detection range A1.
  • the detection range A2 is the right rear range of the detection range A.
  • the detection range A2 overlaps with the imaging range of the right rear camera 32.
  • the person determination unit 53 determines that the person recognized from the captured image data of the right rear camera 32 exists in the detection range A2.
  • the detection range A3 is a range behind the detection range A.
  • the detection range A3 overlaps with the imaging range of the rear camera 31.
  • the person determination unit 53 determines that the person recognized from the captured image data of the rear camera 31 exists in the detection range A3.
  • the detection range A4 is a range on the left side and a rear left side of the detection range A.
  • the detection range A4 overlaps with the imaging range of the left rear camera 34.
  • the person determination unit 53 determines that the person recognized from the captured image data of the left rear camera 34 exists in the detection range A4.
  • the state determination unit 54 When the person determination unit 53 determines that a person exists inside the alarm range B, the state determination unit 54 outputs an alarm based on the image data acquired by the image data acquisition unit 51. It is determined whether or not it is.
  • the state of a person indicates the state of the person's body.
  • the physical condition indicates the orientation of a person.
  • the orientation of the person may be the orientation of the front part of the human body or the orientation of a part of the human body.
  • the orientation of a part of a person's body is, for example, the orientation of both eyes or one eye of a person, the orientation of a person's face, the orientation of a person's torso or lower limbs, the orientation of glasses or masks worn by a person, or , The orientation of the front of a person's clothing or the toes of shoes, etc.
  • the state determination unit 54 suppresses the alarm based on the image data acquired by the image data acquisition unit 51. Judge whether or not it is in a state of The state of suppressing the alarm is a state in which a person is facing the work machine 1, in other words, a state in which the person is recognizing the work machine 1.
  • the state determination unit 54 performs image processing on the image data acquired by the image data acquisition unit 51 and recognizes that both eyes or one eye of the person are facing the work machine 1, the person It is determined that the work machine 1 is recognized. For example, when the state determination unit 54 performs image processing on the image data and recognizes that the human face is facing the work machine 1, the state determination unit 54 determines that the person is recognizing the work machine 1. judge. The state determination unit 54 is in a state in which the person recognizes the work machine 1 when, for example, image processing is performed on the image data and it is detected that the body or lower limbs of the person are facing the work machine 1. Is determined.
  • the state determination unit 54 performs image processing on the image data, and when the eyeglasses or the mask worn by the person is recognized, determines that the person is in the state of recognizing the work machine 1. For example, the state determination unit 54 performs image processing on the image data, and when the front body of the person's clothes or the toe part of the shoes is recognized, the state determination unit 54 determines that the person is recognizing the work machine 1. .. The state determination unit 54 may determine whether or not the work machine 1 is recognized by combining a plurality of these conditions. When a plurality of people are present around the hydraulic excavator 1, the state determination unit 54 determines whether or not the work machine 1 is recognized for all the people.
  • the state of a person includes the state of the body, the state of the body includes the orientation of the person, and the orientation of the person may be the orientation of the front part of the body or a part of the orientation.
  • the state determination unit 54 may once determine that the person recognizes the work machine 1, and then determine that the person continuously recognizes the work machine 1. Further, the state determination unit 54 once determines that the person recognizes the work machine 1, and then determines that the person continuously recognizes the work machine 1 before the elapse of the predetermined period, and determines that the person continuously recognizes the work machine 1 for a predetermined period. After the lapse of time, it may be finished to determine that the person continuously recognizes the work machine 1. In this case, if it is determined that the person recognizes the work machine 1 before the elapse of the predetermined time, the predetermined time may be extended. The person who is determined to recognize the work machine 1 before the lapse of a predetermined time may be a different person.
  • the vehicle body of the work machine 1 operates to change the vehicle body position, the turning angle, or the person.
  • the vehicle body of the work machine 1 operates to change the vehicle body position or the turning angle. If the person moves, or the direction of the person's face or body changes, the determination that the person continuously recognizes the work machine 1 may be terminated. For example, it can be determined that the vehicle body position has changed and the turning angle has changed based on the operation information of the left work lever 11, the right work lever 12, the left travel lever 13, and the right travel lever 14.
  • the display control unit 55 causes the display unit 21 to display peripheral image data indicating the situation around the hydraulic excavator 1.
  • the display data includes peripheral image data.
  • Peripheral image data includes a bird's-eye view image PDa and a single camera image PDb.
  • the display control unit 55 causes the display unit 21 to display at least a bird's-eye view image PDa around the hydraulic excavator 1.
  • the alarm control unit 56 controls the alarm. More specifically, the alarm control unit 56 outputs one of an operation command for outputting an alarm, a stop command for stopping the output of the alarm, and a suppression command for suppressing the output of the alarm.
  • An alarm is output when the operation command is output.
  • the alarm is a buzzer of the inner alarm unit 24 and the outer alarm unit 60
  • the buzzer of the inner alarm unit 24 and the outer alarm unit 60 is output by outputting the operation command.
  • the alarm is a display of a message or symbol of the display unit 21
  • the operation command is output, and the message or symbol is output to the display unit 21 under the control of the display control unit 55.
  • the output of the alarm is stopped by the output of the stop command.
  • the buzzer of the inner alarm unit 24 is stopped by outputting the stop command.
  • the buzzer of the outer alarm unit 60 is stopped by outputting the stop command.
  • the stop command is output, so that the message or symbol is not output to the display unit 21 under the control of the display control unit 55.
  • the output of the alarm is suppressed.
  • the buzzer is not output from the inner alarm unit 24 or the volume is reduced by outputting the suppression command.
  • the buzzer is not output from the outer alarm unit 60 or the volume is reduced by outputting the suppression command.
  • the alarm is the display of the message or symbol of the display unit 21, the message or symbol is not output to the display unit 21 or the size of the display is reduced by outputting the suppression command.
  • the alarm control unit 56 controls the output of an alarm by at least one of the inner alarm unit 24 and the outer alarm unit 60 based on at least one of the determination result of the person determination unit 53 and the determination result of the state determination unit 54. .. More specifically, the alarm control unit 56 controls the output of the alarm and the stop of the output by at least one of the inner alarm unit 24 and the outer alarm unit 60 according to the presence or absence of a person around the work machine 1. The alarm control unit 56 further suppresses the output of an alarm by at least one of the inner alarm unit 24 and the outer alarm unit 60 when a person is facing the work machine 1 according to the determination result of the state determination unit 54. ..
  • the alarm control unit 56 gives an alarm from the inner alarm unit 24 and the outer alarm unit 60. Is output.
  • the inside alarm unit 56 is the inside alarm unit.
  • An alarm is output from 24 and the outside alarm unit 60. Further, the output of the alarm from the outer alarm unit 60 is controlled for each detection range as follows.
  • the alarm control unit 56 is the case of "Case 2", and the state determination unit 54 determines that the state of all the people in the detection range is the state of suppressing the alarm.
  • the alarm control unit 56 has a detection range in which a person exists inside the first alarm range Ba and outside the second alarm range Bb based on the determination result of the state determination unit 54. When it is determined that all the people are aware of the work machine 1, the output of the alarm from the outer alarm unit 60 arranged facing the detection range is suppressed.
  • the state determination unit 54 determines that the state of one or more people in the detection range is not the state of suppressing the alarm.
  • an alarm is output from the outer alarm unit 60 that outputs an alarm in the direction in which a person facing the work machine 1 is detected.
  • the alarm control unit 56 has a detection range in which a person exists inside the first alarm range Ba and outside the second alarm range Bb based on the determination result of the state determination unit 54.
  • an alarm is output as usual from the outer alarm unit 60 arranged facing the detection range.
  • the alarm control unit 56 is the case of "Case 5" in which the person determination unit 53 determines that no person exists in the detection range.
  • the output of the alarm from the outer alarm unit 60 arranged facing the detection range is stopped.
  • the alarm control unit 56 stops the output of the alarm from the inner alarm unit 24 in the case of "case 6" in which the person determination unit 53 determines that the person does not exist in the alarm range B.
  • FIG. 6 is a diagram showing an example of a display example of the bird's-eye view image PDa of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba, outside the second alarm range Bb, and in the detection range A2. It is determined that the person M1 exists and is not in a state of recognizing the work machine 1. This is the case of "Case 4".
  • the alarm control unit 56 outputs an alarm from all the outer alarm units 60 or the outer alarm unit 63 corresponding to the detection range A2 based on the determination result of the state determination unit 54.
  • FIG. 7 is a diagram showing another example of a display example of the bird's-eye view image PDa of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba, outside the second alarm range Bb, and in the detection range A2. It is determined that the person M1 exists and is in a state of recognizing the work machine 1. This is the case of "Case 3".
  • the alarm control unit 56 suppresses the output of the alarm from the outer alarm unit 63 of the outer alarm unit 60 based on the determination result of the state determination unit 54.
  • FIG. 8 is a diagram showing another example of the display example of the bird's-eye view image PDa of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba, outside the second alarm range Bb, and in the detection range A2. It is determined that the person M1 exists and is in a state of recognizing the work machine 1. It is determined that the person M2 exists inside the first alarm range Ba, outside the second alarm range Bb, and in the detection range A2, and the person M2 is not in a state of recognizing the work machine 1.
  • the alarm control unit 56 outputs an alarm from all the outer alarm units 60 or the outer alarm unit 63 corresponding to the detection range A2 based on the determination result of the state determination unit 54.
  • FIG. 9 is a diagram showing another example of a display example of the bird's-eye view image PDa of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba, outside the second alarm range Bb, and in the detection range A2. It is determined that the person M1 exists and is in a state of recognizing the work machine 1.
  • the state determination unit 54 determines that the person M2 is inside the first alarm range Ba, outside the second alarm range Bb, and is in the detection range A3, and the person M2 is recognizing the work machine 1. Will be done.
  • the state determination unit 54 determines that the person M3 is inside the first alarm range Ba, outside the second alarm range Bb, and is in the detection range A4, and the person M3 is not in a state of recognizing the work machine 1. Will be done. In this example, there is a person M1 who recognizes the work machine 1 in the detection range A2, a person M2 who recognizes the work machine 1 exists in the detection range A3, and the work machine 1 exists in the detection range A4. There is a person M3 who does not recognize. This is the case of "Case 3" and "Case 4".
  • the alarm control unit 56 suppresses the output of the alarm from the outer alarm unit 61 and the outer alarm unit 62 of the outer alarm unit 60 based on the determination result of the state determination unit 54, and the outer alarm unit 64 suppresses the output of the alarm. , An alarm is output.
  • FIG. 10 is a diagram showing another example of a display example of the bird's-eye view image PDa of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba, outside the second alarm range Bb, and in the detection range A2. It is determined that the person M1 exists and is in a state of recognizing the work machine 1.
  • the state determination unit 54 determines that the person M2 is inside the first alarm range Ba, outside the second alarm range Bb, and is in the detection range A2, and the person M2 is not in a state of recognizing the work machine 1. Will be done.
  • the state determination unit 54 determines that the person M3 is inside the first alarm range Ba, outside the second alarm range Bb, and is in the detection range A3, and the person M3 is recognizing the work machine 1. Will be done.
  • the state determination unit 54 determines that the person M4 is inside the first alarm range Ba, outside the second alarm range Bb, and is in the detection range A4, and the person M4 is not in a state of recognizing the work machine 1. Will be done.
  • the alarm control unit 56 suppresses the output of the alarm from the outer alarm unit 61 of the outer alarm unit 60 based on the determination result of the state determination unit 54, and the outer alarm unit 62 and the outer alarm unit 64 suppress the output of the alarm. , An alarm is output.
  • FIG. 11 is a diagram showing another example of a display example of the bird's-eye view image PDa of the display unit 21 according to the embodiment.
  • the state determination unit 54 allows the person M1 to be inside the second alarm range Bb and in the detection range A2, and the person M1 is the work machine. It is determined that 1 is recognized. This is the case of "Case 1".
  • the person M1 recognizes the work machine 1, but exists inside the second alarm range Bb and is close to the work machine 1, so that the alarm is output without being suppressed. ..
  • the alarm control unit 56 outputs an alarm from all the outer alarm units 60 including the outer alarm unit 62.
  • FIG. 12 is a diagram showing an example of a display example of the single camera image PDb of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba and outside the second alarm range Bb.
  • the person M1 is in the detection range A2 and recognizes the work machine 1. This is the case of "Case 3".
  • the position of the person M1 can be determined, for example, by the height of the person M1 in the height direction of the image or the display position of the person M1 in the image.
  • the position of the person M1 may be determined based on, for example, an image taken by a stereo camera. It is assumed that no person is displayed on the other single camera image PDb. In this case, the alarm control unit 56 suppresses the output of the alarm from the outer alarm unit 63 of the outer alarm unit 60 based on the determination result of the state determination unit 54.
  • FIG. 13 is a diagram showing another example of displaying a single camera image of the display unit 21 according to the embodiment.
  • the state determination unit 54 causes the person M1 to be inside the first alarm range Ba and outside the second alarm range Bb. Moreover, it is determined that the person M1 is not in the detection range A2 and is not in the state of recognizing the work machine 1. This is the case of "Case 4". It is assumed that no person is displayed on the other single camera image PDb. In this case, the alarm control unit 56 outputs an alarm from all the outer alarm units 60 or the outer alarm unit 63 corresponding to the detection range A2 based on the determination result of the state determination unit 54.
  • FIG. 14 is a flowchart showing a peripheral monitoring method according to the embodiment.
  • the peripheral monitoring device 100 is activated.
  • the peripheral monitoring device 100 outputs an alarm due to the presence of a person in the vicinity of the hydraulic excavator 1.
  • the camera 30 images the periphery of the hydraulic excavator 1.
  • the image data acquisition unit 51 acquires image data from the camera 30 (step SP1).
  • the display data generation unit 52 generates peripheral image data.
  • the display data generation unit 52 generates a bird's-eye view image PDa from image data taken by a plurality of cameras 30 (step SP2).
  • the display control unit 55 causes the display unit 21 to display the bird's-eye view image PDa (step SP3).
  • the single camera image PDb may be generated in step SP2, and the single camera image PDb may be displayed in step SP3.
  • the bird's-eye view camera image PDa and the single camera image PDb may be generated in step SP2, and the bird's-eye view camera image PDa and the single camera image PDb may be displayed in step SP3.
  • the person determination unit 53 determines whether or not a person exists in the alarm range B (step SP4). More specifically, the person determination unit 53 collates the feature amount extracted from the image data with the feature amount stored in the feature amount storage unit 57, and determines whether or not a person exists in the alarm range B. .. Further, the person determination unit 53 has a person in any range of the outside of the first alarm range Ba, the inside of the first alarm range Ba and the outside of the second alarm range Bb, or the inside of the second alarm range Bb. Determine if you want to. Furthermore, the person determination unit 53 determines in which range of the detection range A1, the detection range A2, the detection range A3, or the detection range A4 the person exists.
  • step SP4 When the person determination unit 53 determines that a person exists in the alarm range B (Yes in step SP4), the processes of steps S5 to SP7 are executed for each detection range. When it is determined by the person determination unit 53 that no person exists in the alarm range B (No in step SP4), the process proceeds to step SP7.
  • the state determination unit 54 determines whether or not the alarm is output (step SP5). More specifically, the state determination unit 54 determines whether or not the state of the person is a state in which the person recognizes the work machine 1 based on the orientation of the face or body of the person. When there are a plurality of people in the alarm range B, the state determination unit 54 determines whether or not the work machine 1 is recognized for all the people.
  • the state determination unit 54 determines that the alarm is to be output (Yes in step SP5), the process proceeds to step SP6.
  • the state determination unit 54 determines that the alarm is not output (No in step SP5), the process proceeds to step SP7.
  • the alarm control unit 56 When the state determination unit 54 determines that the alarm is to be output (Yes in step SP5), the alarm control unit 56 outputs an operation command to output an alarm (step SP6).
  • the alarm control unit 56 outputs an alarm when there is a person who does not recognize the work machine 1 in the work range B. For example, in the case of "case 1" in which the person determination unit 53 determines that the person exists inside the second alarm range Bb, the alarm control unit 56 gives an alarm from the inner alarm unit 24 and the outer alarm unit 60. Is output.
  • the alarm control unit 56 determines in the case of "case 2" that the state of one or more people in the detection range is not a state of suppressing the alarm in the detection range. In the case of "Case 4", which is the case, an alarm is output from the outer alarm unit 60 arranged so as to face the detection range.
  • the alarm control unit 56 When the state determination unit 54 determines that the alarm is not output (No in step SP5), the alarm control unit 56 outputs a stop command to stop the alarm output (step SP7).
  • the state in which the alarm is not output includes not outputting the alarm and suppressing the output.
  • the stop command includes a suppression command for suppressing the output of the alarm.
  • the alarm control unit 56 does not have a person in the work range B, or when only a person who recognizes the work machine 1 exists in the work range B (when all the people recognize the work machine 1). ), Suppress the output of the alarm.
  • the alarm control unit 56 When the state determination unit 54 determines that the alarm is suppressed, the alarm control unit 56 outputs a suppression command for suppressing the output of the alarm.
  • the alarm control unit 56 determines in the case of "case 2" that the state determination unit 54 determines that the state of all persons in the detection range is a state of suppressing the alarm.
  • the output of the alarm from the outer alarm unit 60 arranged facing the detection range is suppressed, and the alarm from the outer alarm unit 60 arranged facing the detection range is suppressed. Is not output.
  • the operation of the vehicle body of the work machine 1 may be restricted.
  • the peripheral monitoring device 100 monitors the peripheral of the hydraulic excavator 1.
  • the alarm control unit 56 is the case of "case 2"
  • the person determination unit 53 determines that there is no person in the detection range of the detection range "case 5".
  • the output of the alarm from the outer alarm unit 60 arranged so as to face the detection range is stopped.
  • the alarm control unit 56 stops the output of the alarm from the inner alarm unit 24 in the case of "case 6" in which the person determination unit 53 determines that no person exists in the alarm range B.
  • step SP2 the peripheral monitoring device 100 does not have to execute step SP2 and step SP3.
  • FIG. 15 is a block diagram showing a computer system 1000 according to an embodiment.
  • the control unit 23 described above includes a computer system 1000.
  • the computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including a non-volatile memory such as a ROM (Read Only Memory) and a volatile memory such as a RAM (Random Access Memory). It has a storage 1003 and an interface 1004 including an input / output circuit.
  • the function of the control unit 23 described above is stored in the storage 1003 as a computer program.
  • the processor 1001 reads the computer program from the storage 1003, expands it into the main memory 1002, and executes the above-described processing according to the computer program.
  • the computer program may be distributed to the computer system 1000 via the network.
  • the computer program or the computer system 1000 detects a person in the vicinity of the work machine 1, outputs an alarm, determines the state of the detected person, and surrounds the work machine 1 according to the above-described embodiment. It is possible to control the output of the alarm according to the presence or absence of the person and to suppress the output of the alarm according to the determination result of the state of the person.
  • the alarm may be the inner alarm unit 24 or the outer alarm unit 60. It should be noted that both the inner alarm unit 24 and the outer alarm unit 60 may be provided, or either one may be provided. When both the inner alarm unit 24 and the outer alarm unit 60 are provided, for example, when it is determined that the work machine 1 is recognized because the human face is facing the work machine 1. , The output of both alarms may be suppressed, or the output of either alarm may be suppressed.
  • the embodiment has an outer alarm unit 60 that outputs an alarm toward the outside of the work machine 1 and an inner alarm unit 24 that outputs an alarm toward the inside of the driver's cab 6 of the work machine 1.
  • the output of the alarm by the outer alarm unit 60 can be suppressed according to the state of the person.
  • the driver when a person is present in the vicinity of the work machine 1, the driver can output an alarm regardless of the state of the person.
  • the embodiment includes a plurality of outside alarm units 60 that output alarms in different directions outside the work machine 1.
  • the output of the alarm by the outer alarm unit 60 that outputs an alarm in the direction in which the person facing the work machine 1 is detected can be suppressed.
  • an alarm can be output from the outer alarm unit 60 that outputs an alarm in the direction in which a person who is not facing the work machine 1 exists.
  • the state of a person is determined based on the image taken by the camera 30 that takes a picture of the periphery of the work machine 1. According to the embodiment, it is not necessary to install an additional sensor, a camera, or the like in order to determine the state of the person.
  • the output of the alarm can be suppressed more appropriately. More specifically, after determining that the person recognizes the work machine 1, for example, when the person moves or the vehicle body position of the work machine 1 changes, the relative position between the person and the work machine 1 changes. Each time it changes, the output and suppression of the alarm change, and it is possible to prevent the alarm from becoming annoying.
  • the work machine 1 shakes, or when the work machine 1 performs a fixed operation such as excavation and loading, it is determined that a person recognizes the work machine 1.
  • the boundary of the state in which it is not determined that the work machine 1 is recognized varies, it is possible to prevent the alarm from being repeatedly output and suppressed, which is annoying.
  • the vehicle body of the work machine 1 when it is determined that the person continuously recognizes the work machine 1, the vehicle body of the work machine 1 operates and the vehicle body position changes or the turning angle changes. , Ends determining that the person is continuously recognizing the work machine 1. According to this embodiment, when the relative positional relationship between the person and the work machine 1 changes, an alarm can be appropriately output.
  • the detection unit is the camera 30 that captures the periphery of the work machine 1.
  • the detection unit is not limited to the camera 30.
  • the detection unit may be a stereo camera provided on the hydraulic excavator 1, a radar device, or a laser device.
  • the peripheral monitoring monitor 20 includes a display unit 21, an operation unit 22, a control unit 23, and an inner alarm unit 24.
  • the display unit 21, the operation unit 22, the control unit 23, and the inner alarm unit 24 may be partially separated or may be separated from each other.
  • the display unit 21 may be a display unit provided outside the work machine, such as a tablet-type personal computer.
  • the operation unit 22 provided outside the peripheral monitoring monitor 20 may be arranged at another place in the driver's cab 6 or may be provided outside the driver's cab 6. Further, the above-mentioned operation unit 22 may be provided in addition to the operation unit 22 included in the peripheral monitoring monitor 20.
  • outer alarm units 60 In the above embodiment, it is assumed that a plurality of outer alarm units 60 are installed, but the present invention is not limited to this, and one outer alarm unit 60 may be installed.
  • the external alarm unit 600 may be composed of one outer alarm unit 60.
  • the inner alarm unit 24 and the outer alarm unit 60 output a buzzer.
  • the inner alarm unit 24 and the outer alarm unit 60 may be audio output devices.
  • the alarm may be the voice output from the voice output device.
  • the inner alarm unit 24 and the outer alarm unit 60 may be warning lights.
  • the peripheral display data has been described as including the bird's-eye view image PDa and the single camera image PDb, but the present invention is not limited to this.
  • the peripheral display data may be either a bird's-eye view image PDa or a single camera image PDb. Further, in the above embodiment, it has been described that the peripheral display data is displayed, but the peripheral display data may not be displayed.
  • one peripheral monitoring device 100 is installed on the work machine 1, but in other embodiments, a part of the peripheral monitoring device 100 is installed.
  • the configuration may be arranged in another control device and realized by a peripheral monitoring system including two or more peripheral monitoring devices 100.
  • the one peripheral monitoring device 100 shown in the above-described embodiment is also an example of the peripheral monitoring system.
  • peripheral monitoring device 100 has been described as being installed on the work machine 1, but in other embodiments, a part or all of the peripheral monitoring device 100 is configured as the work machine 1. It may be installed outside the. For example, in another embodiment, the peripheral monitoring device 100 may control the work machine 1 related to remote control.
  • the hydraulic excavator 1 may be a mining hydraulic excavator used in a mine or the like, or a hydraulic excavator used at a construction site. It is also applicable to dump trucks and peripheral monitoring systems for wheel loaders and other work machines.
  • control unit 24 ... inside alarm unit (alarm unit), 30 ... camera (detection) Department), 31 ... rear camera, 32 ... right rear camera, 33 ... right front camera, 34 ... left rear camera, 41 ... arithmetic processing unit, 42 ... storage unit, 43 ... input / output interface, 51 ... image data acquisition unit, 52 ... display data generation unit, 53 ... person determination unit, 54 ... state determination unit, 55 ... display control unit, 56 ... alarm control unit, 57 ... feature quantity storage unit, 58 ... alarm range storage unit, 60 ... outside alarm unit ( Alarm unit), 61 ... outer alarm unit, 62 ... outer alarm unit, 63 ... outer alarm unit, 64 ... outer alarm unit, 100 ... peripheral monitoring device, 300 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Preliminary Treatment Of Fibers (AREA)
  • Spinning Or Twisting Of Yarns (AREA)

Abstract

作業機械の周辺監視システムは、作業機械の周辺の人を検出する検出部としてのカメラ３０と、警報を出力する警報部と、カメラ３０が検出した人の身体の状態を判定する状態判定部５４と、状態判定部５４の判定結果に基づいて、警報部による警報の出力を制御する警報制御部５６と、を備える。

Description

作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
　本開示は、作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法に関する。
　作業機械に係る技術分野において、特許文献１に開示されているような、周辺監視装置を備える作業機械が知られている。特許文献１において、作業機械の運転室に周辺監視モニタが配置される。周辺監視モニタの表示部は、作業機械の周辺の俯瞰画像を表示する。
国際公開第２０１６／１５９０１２号
　周辺監視装置は、作業機械の周辺に、人が存在する場合、警報を出力する。これにより、作業機械の周辺の人が、作業機械の存在を認識している場合でも、警報が出力される。作業機械の周辺に人が存在する場合、人の状態に応じて、警報を出力したり、出力を抑制したりすることが好ましい。
　本開示に従えば、作業機械の周辺の人を検出する検出部と、警報を出力する警報部と、前記検出部が検出した前記人の身体の状態を判定する状態判定部と、前記状態判定部の判定結果に基づいて、前記警報部による警報の出力を制御する警報制御部と、を備える作業機械の周辺監視システムが提供される。
　本開示によれば、作業機械の周辺に人が存在する場合、人の状態に応じて、警報の出力を制御することができる。
図１は、実施形態に係る作業機械を示す斜視図である。 図２は、実施形態に係る作業機械の運転室を示す図である。 図３は、実施形態に係る上部旋回体を模式的に示す図である。 図４は、実施形態に係る検出範囲及び警報範囲を説明する概略図である。 図５は、実施形態に係る周辺監視装置を示す機能ブロック図である。 図６は、実施形態に係る表示部の俯瞰画像の表示例の一例を示す図である。 図７は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。 図８は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。 図９は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。 図１０は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。 図１１は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。 図１２は、実施形態に係る表示部の単カメラ画像の表示例の一例を示す図である。 図１３は、実施形態に係る表示部の単カメラ画像の表示例の他の例を示す図である。 図１４は、実施形態に係る周辺監視方法を示すフローチャートである。 図１５は、実施形態に係るコンピュータシステムを示すブロック図である。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
［作業機械］
　図１は、実施形態に係る作業機械１を示す斜視図である。実施形態においては、作業機械１は、油圧ショベルとする。以下の説明においては、作業機械１を適宜、油圧ショベル１と称する。油圧ショベル１は、下部走行体２と、下部走行体２に支持される上部旋回体３と、上部旋回体３に支持される作業機４と、作業機４を駆動する油圧シリンダ５とを備える。
　下部走行体２は、上部旋回体３を支持した状態で走行可能である。下部走行体２は、一対の履帯を有する。履帯が回転することによって、下部走行体２が走行する。
　上部旋回体３は、下部走行体２に支持された状態で、下部走行体２に対して旋回軸ＲＸを中心に旋回可能である。上部旋回体３は、油圧ショベル１の運転者が搭乗する運転室６を有する。運転室６には、運転者が着座する運転シート９が設けられる。
　作業機４は、上部旋回体３に連結されるブーム４Ａと、ブーム４Ａに連結されるアーム４Ｂと、アーム４Ｂに連結されるバケット４Ｃとを含む。油圧シリンダ５は、ブーム４Ａを駆動するブームシリンダ５Ａと、アーム４Ｂを駆動するアームシリンダ５Ｂと、バケット４Ｃを駆動するバケットシリンダ５Ｃとを含む。
　ブーム４Ａは、ブーム回転軸ＡＸを中心に回転可能に上部旋回体３に支持される。アーム４Ｂは、アーム回転軸ＢＸを中心に回転可能にブーム４Ａに支持される。バケット４Ｃは、バケット回転軸ＣＸを中心に回転可能にアーム４Ｂに支持される。
　ブーム回転軸ＡＸと、アーム回転軸ＢＸと、バケット回転軸ＣＸとは、平行である。ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸと、旋回軸ＲＸと平行な軸とは、直交する。以下の説明においては、旋回軸ＲＸと平行な方向を適宜、上下方向、と称し、ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸと平行な方向を適宜、左右方向、と称し、ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸと旋回軸ＲＸとの両方と直交する方向を適宜、前後方向、と称する。運転シート９に着座した運転者を基準として作業機４が存在する方向が前方であり、前方の逆方向が後方である。運転シート９に着座した運転者を基準として左右方向の一方が右方であり、右方の逆方向が左方である。下部走行体２の接地面から離れる方向が上方であり、上方の逆方向が下方である。
　運転室６は、上部旋回体３の前方に配置される。運転室６は、作業機４の左方に配置される。作業機４のブーム４Ａは、運転室６の右方に配置される。
［運転室］
　図２は、実施形態に係る油圧ショベル１の運転室６を示す図である。油圧ショベル１は、運転室６に配置される操作部１０を備える。操作部１０は、油圧ショベル１の少なくとも一部の作動のために操作される。操作部１０は、運転シート９に着座した運転者によって操作される。油圧ショベル１の作動は、下部走行体２の作動、上部旋回体３の作動、及び作業機４の作動の少なくとも一つを含む。
　操作部１０は、上部旋回体３及び作業機４の作動のために操作される左作業レバー１１及び右作業レバー１２と、下部走行体２の作動のために操作される左走行レバー１３及び右走行レバー１４と、左フットペダル１５及び右フットペダル１６とを含む。
　左作業レバー１１は、運転シート９の左方に配置される。左作業レバー１１が前後方向に操作されることによって、アーム４Ｂがダンプ動作又は掘削動作する。左作業レバー１１が左右方向に操作されることによって、上部旋回体３が左旋回又は右旋回する。右作業レバー１２は、運転シート９の右方に配置される。右作業レバー１２が左右方向に操作されることによって、バケット４Ｃが掘削動作又はダンプ動作する。右作業レバー１２が前後方向に操作されることによって、ブーム４Ａが下げ動作又は上げ動作する。
　左走行レバー１３及び右走行レバー１４は、運転シート９の前方に配置される。左走行レバー１３は、右走行レバー１４の左方に配置される。左走行レバー１３が前後方向に操作されることによって、下部走行体２の左側の履帯が前進動作又は後進動作する。右走行レバー１４が前後方向に操作されることによって、下部走行体２の右側の履帯が前進動作又は後進動作する。
　左フットペダル１５及び右フットペダル１６は、運転シート９の前方に配置される。左フットペダル１５は、右フットペダル１６の左方に配置される。左フットペダル１５は、左走行レバー１３と連動する。右フットペダル１６は、右走行レバー１４と連動する。左フットペダル１５及び右フットペダル１６が操作されることによって、下部走行体２が前進動作又は後進動作されてもよい。
　油圧ショベル１は、運転室６に配置される周辺監視モニタ２０を備える。周辺監視モニタ２０は、運転シート９の右前方に配置される。周辺監視モニタ２０は、表示部２１と、操作部２２と、制御部２３と、警報部である内側警報部２４を有する。
　表示部２１は、油圧ショベル１の周辺の状況を示す周辺画像データを表示する。表示部２１は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイを含む。
　周辺画像データは、油圧ショベル１の周辺の俯瞰画像ＰＤａ及び単カメラ画像ＰＤｂの一方又は両方を含む。
　俯瞰画像ＰＤａとは、検出部である複数のカメラ３０のそれぞれで取得された複数の画像データを上方視点に変換して合成することによって生成される画像である。俯瞰画像ＰＤａには、油圧ショベル１を示すシンボル画像１Ｓが表示される。シンボル画像１Ｓは、油圧ショベル１を上方から見た画像に相当する。シンボル画像１Ｓによって、油圧ショベル１と油圧ショベル１の周辺との位置関係が明確になる。
　単カメラ画像ＰＤｂとは、複数のカメラ３０のうち１つのカメラ３０で取得された油圧ショベル１の周辺の一部の画像である。単カメラ画像ＰＤｂは、後カメラ３１で取得された油圧ショベル１の後方の状況を示す後方単カメラ画像ＰＤｂ、右後カメラ３２で取得された油圧ショベル１の右後方の状況を示す右後方単カメラ画像ＰＤｂ、右前カメラ３３で取得された油圧ショベル１の右前方の状況を示す右前方単カメラ画像ＰＤｂ、及び左後カメラ３４で取得された油圧ショベル１の左後方の状況を示す左後方単カメラ画像ＰＤｂの少なくとも一つを含む。
　操作部２２は、運転者によって操作される複数のスイッチを含む。操作部２２は、運転者によって操作されることによって、操作指令を出力する。
　制御部２３は、コンピュータシステムを含む。
　内側警報部２４は、作業機械１の運転室６の内側に向けて警報を出力する。実施形態では、内側警報部２４は、ブザーであり、運転室６の内側に向けてブザーを出力する。
　警報とは、人が検出されたときに出力される出力情報である。実施形態において、警報は、内側警報部２４又は後述する外側警報部６０から出力されるブザーであるものとして説明するが、これに限定されない。警報は、表示部２１に表示されるメッセージやシンボル表示、油圧ショベル１に設けられたパトライト（登録商標）、又は、運転室６に設けられた表示ランプやＬＥＤ等による警告灯でもよい。パトライトである場合、運転室６の運転者に加えて、油圧ショベル１の周辺の者に注意を報知することができる。
［カメラ］
　図３は、実施形態に係る上部旋回体３を模式的に示す図である。油圧ショベル１は、複数のカメラ３０を含むカメラシステム３００を備える。複数のカメラ３０は、上部旋回体３に設けられる。カメラ３０は、撮像対象の画像を取得する。カメラ３０は、作業機械１の周辺の人を検出する検出部として機能する。カメラ３０は、作業機械１の周囲に複数配置される。実施形態では、カメラ３０は、上部旋回体３の後部に設けられる後カメラ３１と、上部旋回体３の右部に設けられる右後カメラ３２及び右前カメラ３３と、上部旋回体３の左部に設けられる左後カメラ３４とを含む。
　後カメラ３１は、上部旋回体３の後方領域を撮像する。右後カメラ３２は、上部旋回体３の右後方領域を撮像する。右前カメラ３３は、上部旋回体３の右前方領域を撮像する。左後カメラ３４は、上部旋回体３の左後方領域を撮像する。複数のカメラ３０（３１、３２、３３、３４）のそれぞれは、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple　Charged　Device）イメージセンサ又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを含む。
　なお、左後カメラ３４は、上部旋回体３の左側方領域及び左後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、右後カメラ３２は、上部旋回体３の右側方領域及び右後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、右前カメラ３３は、上部旋回体３の右前方領域及び右側方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。また、カメラ３０は、上部旋回体３の左後方、後方、右後方、及び右前方を撮像するが、これに限定されない。例えば、カメラ３０の数は、図３に示す例と異なってもよい。例えば、カメラ３０の撮像範囲は、図３に示す例と異なってもよい。
　実施形態において、運転室６の前方及び左前方を撮影するカメラは存在しない。運転シート９に着座した運転者は、運転室６の前方及び左前方の状況を直接視認できるためである。これにより、油圧ショベル１に設けられるカメラ３０の数が抑制される。なお、運転室６の前方及び左前方の状況を示す画像データを取得するカメラ３０は、設けられてもよい。
　図４は、実施形態に係る検出範囲Ａ及び警報範囲Ｂを説明する概略図である。カメラ３０は、人を検出可能な検出範囲Ａを有する。検出範囲Ａは、カメラ３０の撮像可能範囲である視野範囲を含む。カメラ３０によって取得された画像データが制御部２３によって画像処理される。画像データは、画像処理されて、カメラ３０の検出範囲Ａに人が存在するか否かが判定される。
［外側警報ユニット］
　油圧ショベル１は、警報部である複数の外側警報部６０を含む外側警報ユニット６００を備える。複数の外側警報部６０は、上部旋回体３に設けられる。複数の外側警報部６０は、カメラ３０の周辺に設けられる。複数の外側警報部６０は、作業機械１の周辺の異なる方向に向けて警報を出力する。複数の外側警報部６０は、作業機械１の運転室６の外側に向けて警報を出力する。実施形態では、複数の外側警報部６０は、ブザーであり、運転室６の外側に向けてブザーを出力する。実施形態では、外側警報部６０は、上部旋回体３の後部に設けられる外側警報部６１と、上部旋回体３の右部に設けられる外側警報部６２と、上部旋回体３の左部に設けられる外側警報部６４とを含む。外側警報部６１は、後カメラ３１の周辺に配置される。外側警報部６１は、作業機械１の後方に向けて警報を出力する。外側警報部６２は、右後カメラ３２及び右前カメラ３３の周辺に配置される。外側警報部６２は、右後方、右側方、及び右前方に向けて警報を出力する。外側警報部６４は、左後カメラ３４の周辺に配置される。外側警報部６４は、左後方及び左側方に向けて警報を出力する。
［周辺監視装置］
　図５は、実施形態に係る周辺監視装置１００を示す機能ブロック図である。油圧ショベル１は、周辺監視装置１００を備える。周辺監視装置１００は、油圧ショベル１の周辺を監視する。周辺監視装置１００は、周辺監視モニタ２０と、カメラシステム３００と、外部警報ユニット６００を備える。周辺監視モニタ２０は、表示部２１と、操作部２２と、制御部２３と、内側警報部２４とを有する。カメラシステム３００は、複数のカメラ３０（３１、３２、３３、３４）を有する。外部警報ユニット６００は、複数の外側警報部６０（６１、６２、６３、６４）を有する。なお、周辺監視装置１００は、表示部２１と、操作部２２とを備えない構成としてよい。また、周辺監視装置１００は、外部警報ユニット６００と内側警報部２４のうち、どちらか一方のみ備える構成としてよい。
　制御部２３は、コンピュータシステムを含む。制御部２３は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサを含む演算処理部４１と、ＲＡＭ（Random　Access　Memory）のような揮発性メモリ及びＲＯＭ（Read　Only　Memory）のような不揮発性メモリを含む記憶部４２と、入出力インターフェース４３とを有する。
　演算処理部４１は、画像データ取得部５１と、表示データ生成部５２と、人判定部５３と、状態判定部５４と、表示制御部５５と、警報制御部５６とを有する。
　記憶部４２は、演算処理部４１における処理で使用する各種データなどを記憶する。実施形態では、記憶部４２は、人の特徴量を記憶する特徴量記憶部５７と、警報範囲Ｂ（図４参照）を記憶する警報範囲記憶部５８とを有する。
　特徴量は、人の輪郭、人の色などを含み、人の外観を特定する情報である。
　図４を用いて、警報範囲Ｂについて説明する。警報範囲Ｂは、人の存在によって警報の出力が要求される範囲である。警報範囲Ｂは、油圧ショベル１を囲むように設定される。人が警報範囲Ｂの内側に存在する場合、警報が出力される。人が警報範囲Ｂの外側に存在する場合、警報は出力されない。警報範囲Ｂは、検出範囲Ａよりも小さい。警報範囲Ｂは、検出範囲Ａの範囲と同じ、又は検出範囲Ａより広くてもよい。
　実施形態において、警報範囲Ｂは、第１警報範囲Ｂａと、第２警報範囲Ｂｂとを含む。第２警報範囲Ｂｂは、油圧ショベル１を囲むように設定される。油圧ショベル１は、第２警報範囲Ｂｂの内側に配置される。第２警報範囲Ｂｂは、第１警報範囲Ｂａの内側に規定される。第２警報範囲Ｂｂは、第１警報範囲Ｂａよりも小さい。警報範囲Ｂは、１つでもよいし複数でもよい。
　実施形態において、第１警報範囲Ｂａ及び第２警報範囲Ｂｂのそれぞれは、矩形状である。第１警報範囲Ｂａの前端部と第２警報範囲Ｂｂの前端部とは一致する。第１警報範囲Ｂａの後端部は、第２警報範囲Ｂｂの後端部よりも後方に規定される。第１警報範囲Ｂａの左端部は、第２警報範囲Ｂｂの左端部よりも左方に規定される。第１警報範囲Ｂａの右端部は、第２警報範囲Ｂｂの右端部よりも右方に規定される。
　人が警報範囲Ｂの内側に存在する場合、警報が出力される。人が警報範囲Ｂの内側に存在しない場合、警報の出力が停止される。人が第２警報範囲Ｂｂの内側に存在する場合、さらに作業機械１の車体の動作を制限してもよい。例えば、作業機械１が走行動作前又は旋回動作前においては、走行又は旋回動作の禁止制御である発進ロックを実施してよい。また、作業機械１が走行中であれば、下部走行体２の走行の停止や減速してもよい。また、旋回中であれば、上部旋回体３の旋回動作の停止や減速してもよい。また、作業機１などその他の車体の動作を抑制してもよい。
　入出力インターフェース４３は、カメラシステム３００、外部警報ユニット６００、表示部２１、操作部２２、及び内側警報部２４のそれぞれと接続される。
　画像データ取得部５１は、カメラシステム３００から画像データを取得する。画像データ取得部５１は、後カメラ３１から油圧ショベル１の後方の状況を示す画像データを取得する。画像データ取得部５１は、右後カメラ３２から油圧ショベル１の右後方の状況を示す画像データを取得する。画像データ取得部５１は、右前カメラ３３から油圧ショベル１の右前方の状況を示す画像データを取得する。画像データ取得部５１は、左後カメラ３４から油圧ショベル１の左後方の状況を示す画像データを取得する。
　表示データ生成部５２は、画像データ取得部５１によって取得された画像データに基づいて、油圧ショベル１の周辺の状況を示す周辺表示データを生成する。周辺表示データは、油圧ショベル１の周辺の俯瞰画像ＰＤａと、油圧ショベル１の周辺の単カメラ画像ＰＤｂとを含む。より詳しくは、表示データ生成部５２は、複数のカメラ３０のそれぞれで取得された画像データに基づいて、油圧ショベル１の周辺の俯瞰画像ＰＤａを生成する。表示データ生成部５２は、複数のカメラ３０のうち１つのカメラ３０で取得された画像データに基づいて、単カメラ画像ＰＤｂを生成する。
　表示データ生成部５２は、後カメラ３１、右後カメラ３２、右前カメラ３３、及び左後カメラ３４のそれぞれで取得された画像データを、油圧ショベル１の上方の仮想視点から見た上方視点画像を示す変換画像データにそれぞれに変換する。表示データ生成部５２は、変換画像データから、俯瞰画像ＰＤａを表示するフレーム領域に対応する部分を切り出す。表示データ生成部５２は、切り出した変換画像データを合成する。これによって、油圧ショベル１の周辺の俯瞰画像ＰＤａが生成される。また、表示データ生成部５２は、俯瞰画像ＰＤａに油圧ショベル１を示すシンボル画像１Ｓを合成する。シンボル画像１Ｓは、油圧ショベル１を上方から見た画像に相当する。シンボル画像１Ｓによって、油圧ショベル１と油圧ショベル１の周辺との相対的な位置関係が明確化される。
　実施形態では、運転室６の前方及び左前方の俯瞰画像は生成されない。運転室６の前方及び左前方の状況を示す画像データを取得するカメラ３０を設けて、運転室６の前方及び左前方の俯瞰画像を生成してもよい。
　人判定部５３は、画像データ取得部５１によって取得された画像データに基づいて、油圧ショベル１の周辺に人が存在するか否かを判定する。人判定部５３は、画像データ取得部５１によって取得された画像データを画像処理することによって、警報範囲Ｂにおける人の存否を判定する。画像処理は、画像データから人の特徴量を抽出する処理を含む。人判定部５３は、画像データから抽出した特徴量と、特徴量記憶部５７に記憶された特徴量とを照合して、油圧ショベル１の周辺、言い換えると、警報範囲Ｂの内側に人が存在するか否かを判定する。さらに、人判定部５３は、検出した人の作業機１に対する向きも合わせて認識してもよい。
　さらに、人判定部５３は、第１警報範囲Ｂａの外側、第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、又は、第２警報範囲Ｂｂの内側のうち、どの範囲に人が存在するかを判定する。人判定部５３は、画像データにおいて特徴量が抽出された位置と、警報範囲記憶部５８に記憶された警報範囲Ｂとを照合して、特徴量が抽出された位置が、第１警報範囲Ｂａの外側、第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、又は、第２警報範囲Ｂｂの内側のいずれの範囲であるかを判定する。
　さらにまた、人判定部５３は、図４に示す、検出範囲Ａ１、検出範囲Ａ２、検出範囲Ａ３、又は、検出範囲Ａ４のうち、どの検出範囲に人が存在するかを判定する。検出範囲Ａ１は、検出範囲Ａのうち右前方の範囲である。検出範囲Ａ１は、右前カメラ３３の撮像範囲と重なる。人判定部５３は、右前カメラ３３の撮像画像データから認識された人は、検出範囲Ａ１に存在すると判定する。検出範囲Ａ２は、検出範囲Ａのうち右後方の範囲である。検出範囲Ａ２は、右後カメラ３２の撮像範囲と重なる。人判定部５３は、右後カメラ３２の撮像画像データから認識された人は、検出範囲Ａ２に存在すると判定する。検出範囲Ａ３は、検出範囲Ａのうち後方の範囲である。検出範囲Ａ３は、後カメラ３１の撮像範囲と重なる。人判定部５３は、後カメラ３１の撮像画像データから認識された人は、検出範囲Ａ３に存在すると判定する。検出範囲Ａ４は、検出範囲Ａのうち左側方及び左後方の範囲である。検出範囲Ａ４は、左後カメラ３４の撮像範囲と重なる。人判定部５３は、左後カメラ３４の撮像画像データから認識された人は、検出範囲Ａ４に存在すると判定する。
　状態判定部５４は、人判定部５３が警報範囲Ｂの内側に人が存在すると判定した場合、画像データ取得部５１によって取得された画像データに基づいて、人の状態が、警報を出力する状態であるか否かを判定する。
　人の状態とは、人の身体の状態を示す。身体の状態とは、人の向きを示す。なお、人の向きは、人の身体の前部の向きでもよいし、人の身体の一部の向きでもよい。人の身体の一部の向きは、例えば、人の両眼又は片目の向き、人の顔部の向き、人の胴体又は下肢の向き、人が着用している眼鏡又はマスクなどの向き、又は、人の衣服の前身頃または靴のつま先部の向きなどである。
　また、状態判定部５４は、人判定部５３が警報範囲Ｂの内側に人が存在すると判定した場合、画像データ取得部５１によって取得された画像データに基づいて、人の状態が、警報を抑制する状態であるか否かを判定する。警報を抑制する状態とは、人が作業機械１を向いている状態、言い換えると、人が作業機械１を認識している状態である。
　状態判定部５４は、例えば、画像データ取得部５１によって取得された画像データに画像処理を行って、人の両眼又は片眼が作業機械１を向いていることが認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人の顔部が作業機械１を向いていることが認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人の胴体又は下肢が作業機械１を向いていることが検出された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人が着用している眼鏡又はマスクが認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人の衣服の前身頃又は靴のつま先部が認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、これらの条件を複数組み合わせて作業機械１を認識しているか否かを判定してもよい。状態判定部５４は、油圧ショベル１の周辺に複数の人が存在する場合、すべての人について、作業機械１を認識しているか否かを判定する。人の状態とは、身体の状態を含み、身体の状態は、人の向きを含み、人の向きは、身体の前部の向きでも、一部の向きでもよい。
　状態判定部５４は、一度、人が作業機械１を認識していると判定した後、人が作業機械１を継続して認識していると判定してもよい。また、状態判定部５４は、一度、人が作業機械１を認識していると判定した後、所定期間経過前は、人が作業機械１を継続して認識していると判定し、所定期間経過後は、人が作業機械１を継続して認識していると判定することを終了してもよい。この場合、所定時間経過前に、人が作業機械１を認識していると判定した場合は、所定時間を延ばすようにしてもよい。なお、所定時間経過前に、作業機械１を認識されていると判定される人は、異なる人であってもよい。
　また、状態判定部５４は、一度、人が作業機械１を認識していると判定した後、作業機械１の車体が動作して、車体位置が変化したり、旋回角度が変化したり、人が移動したり、人の顔部又は身体の向きがかわるなどした場合、人が作業機械１を継続して認識していると判定してもよい。また、状態判定部５４は、人が作業機械１を継続して認識していると判定している場合において、作業機械１の車体が動作して、車体位置が変化したり、旋回角度が変化したり、人が移動しり、人の顔部または身体の向きが変わるなどした場合、人が作業機械１を継続して認識していると判定することを終了してもよい。例えば、左作業レバー１１、右作業レバー１２、左走行レバー１３、右走行レバー１４の操作情報をもとに、車体位置が変化、旋回角度が変化したことを判定することができる。
　表示制御部５５は、表示部２１に油圧ショベル１の周辺の状況を示す周辺画像データを表示させる。表示データは、周辺画像データを含む。周辺画像データは、俯瞰画像ＰＤａ及び単カメラ画像ＰＤｂを含む。実施形態において、表示制御部５５は、少なくとも油圧ショベル１の周辺の俯瞰画像ＰＤａを表示部２１に表示させる。
　警報制御部５６は、警報を制御する。より詳しくは、警報制御部５６は、警報を出力させる作動指令、警報の出力を停止させる停止指令、及び警報の出力を抑制する抑制指令のいずれかを出力する。
　作動指令が出力されることによって、警報が出力される。例えば、警報が内側警報部２４及び外側警報部６０のブザーである場合、作動指令が出力されることによって、内側警報部２４及び外側警報部６０のブザーが出力される。例えば、警報が表示部２１のメッセージやシンボルの表示である場合、作動指令が出力されることによって、表示制御部５５の制御によって、表示部２１にメッセージや、シンボルが出力される。
　停止指令が出力されることによって、警報の出力が停止される。例えば、警報が内側警報部２４である場合、停止指令が出力されることによって、内側警報部２４のブザーが停止される。例えば、警報が外側警報部６０のブザーである場合、停止指令が出力されることによって、外側警報部６０のブザーが停止される。例えば、警報が表示部２１のメッセージやシンボルの表示である場合、停止指令が出力されることによって、表示制御部５５の制御によって、表示部２１にメッセージや、シンボルが出力されない。
　抑制指令が出力されることによって、警報の出力が抑制される。例えば、警報が内側警報部２４である場合、抑制指令が出力されることによって、内側警報部２４からブザーが出力されない、又は、音量が低減される。例えば、警報が外側警報部６０である場合、抑制指令が出力されることによって、外側警報部６０からブザーが出力されない、又は、音量が低減される。例えば、警報が表示部２１のメッセージやシンボルの表示である場合、抑制命令が出力されることによって、表示部２１にメッセージや、シンボルが出力されない、又は、表示の大きさが小さくなる。
　警報制御部５６は、人判定部５３の判定結果及び状態判定部５４の判定結果の少なくともどちらかに基づいて、内側警報部２４及び外側警報部６０の少なくともどちらか一方による警報の出力を制御する。より詳しくは、警報制御部５６は、作業機械１の周辺の人の有無に応じて、内側警報部２４及び外側警報部６０の少なくともどちらか一方による警報の出力と出力の停止とを制御する。警報制御部５６は、さらに状態判定部５４の判定結果に応じて、人が作業機械１を向いている場合、内側警報部２４及び外側警報部６０の少なくともどちらか一方による警報の出力を抑制する。
　例えば、警報制御部５６は、人判定部５３によって、人が第２警報範囲Ｂｂの内側に存在すると判定された場合である「ケース１」の場合、内側警報部２４及び外側警報部６０から警報を出力する。
　例えば、警報制御部５６は、人判定部５３によって、人が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側に存在すると判定された場合である「ケース２」の場合、内側警報部２４及び外側警報部６０から警報を出力する。さらに、外側警報部６０からの警報の出力は、次のようにして、検出範囲ごとに制御される。
　例えば、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲のすべての人の状態が、警報を抑制する状態であると判定された場合である「ケース３」の場合、作業機械１を向いている人が検出された方向に向けて警報を出力する外側警報部６０からの警報の出力を抑制する。より詳しくは、警報制御部５６は、状態判定部５４の判定結果に基づいて、検出範囲について、人が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側に存在し、その検出範囲のすべての人が作業機械１を認識している状態であると判定された場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を抑制する。
　例えば、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲の一人以上の人の状態が、警報を抑制する状態ではないと判定された場合である「ケース４」の場合、作業機械１を向いている人が検出された方向に向けて警報を出力する外側警報部６０から警報を出力する。より詳しくは、警報制御部５６は、状態判定部５４の判定結果に基づいて、検出範囲について、人が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側に存在し、その検出範囲の一人以上の人が作業機械１を認識している状態ではないと判定された場合、その検出範囲を向いて配置された外側警報部６０から警報を通常通り出力する。
　例えば、警報制御部５６は、「ケース２」の場合であって、人判定部５３によって、検出範囲について、その検出範囲に人が存在しないと判定された場合である「ケース５」の場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を停止する。
　例えば、警報制御部５６は、人判定部５３によって、人が警報範囲Ｂに存在しないと判定された場合である「ケース６」の場合、内側警報部２４からの警報の出力を停止する。
　図６は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の一例を示す図である。図６に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態ではないと判定される。「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、すべての外側警報部６０又は検出範囲Ａ２に対応する外側警報部６３から警報を出力する。
　図７は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図７に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。「ケース３」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６３からの警報の出力が抑制される。
　図８は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図８に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。人Ｍ２が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ２が作業機械１を認識している状態ではないと判定される。この例では、検出範囲Ａ２に、作業機械１を認識している人Ｍ１と、作業機械１を認識していない人Ｍ２とが存在する。「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、すべての外側警報部６０又は検出範囲Ａ２に対応する外側警報部６３から警報を出力する。
　図９は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図９に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ２が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ３に存在し、人Ｍ２が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ３が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ４に存在し、人Ｍ３が作業機械１を認識している状態ではないと判定される。この例では、検出範囲Ａ２に、作業機械１を認識している人Ｍ１が存在し、検出範囲Ａ３に、作業機械１を認識している人Ｍ２が存在し、検出範囲Ａ４に、作業機械１を認識していない人Ｍ３が存在する。「ケース３」、「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６１、外側警報部６２からの警報の出力が抑制され、外側警報部６４からは、警報が出力される。
　図１０は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図１０に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ２が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ２が作業機械１を認識している状態ではないと判定される。状態判定部５４によって、人Ｍ３が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ３に存在し、人Ｍ３が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ４が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ４に存在し、人Ｍ４が作業機械１を認識している状態ではないと判定される。この例では、検出範囲Ａ２に、作業機械１を認識している人Ｍ１と、作業機械１を認識していない人Ｍ２とが存在し、検出範囲Ａ３に、作業機械１を認識している人Ｍ２が存在し、検出範囲Ａ４に、作業機械１を認識していない人Ｍ３が存在する。「ケース３」、「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６１からの警報の出力が抑制され、外側警報部６２、外側警報部６４からは、警報が出力される。
　図１１は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図１１に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第２警報範囲Ｂｂの内側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。「ケース１」の場合である。この場合、この例では、人Ｍ１は、作業機械１を認識しているが、第２警報範囲Ｂｂの内側に存在し、作業機械１との距離が近いので、警報を抑制せずに出力する。この場合、警報制御部５６によって、外側警報部６２を含む、すべての外側警報部６０から、警報が出力される。
　図１２は、実施形態に係る表示部２１の単カメラ画像ＰＤｂの表示例の一例を示す図である。図１２に示す、右後カメラ３２の単カメラ画像ＰＤｂが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。「ケース３」の場合である。人Ｍ１の位置は、例えば、画像の高さ方向に占める人Ｍ１の高さ、又は、画像における人Ｍ１の表示位置によって、判定可能である。人Ｍ１の位置は、例えば、ステレオカメラで撮影された画像に基づいて、判定してもよい。他の単カメラ画像ＰＤｂには、人が表示されていないものとする。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６３からの警報の出力が抑制される。
　図１３は、実施形態に係る表示部２１の単カメラ画像の表示例の他の例を示す図である。図１３に示す、右後カメラ３２の単カメラ画像ＰＤｂが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態ではないと判定される。「ケース４」の場合である。他の単カメラ画像ＰＤｂには、人が表示されていないものとする。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、すべての外側警報部６０又は検出範囲Ａ２に対応する外側警報部６３から警報を出力する。
［周辺監視方法］
　図１４は、実施形態に係る周辺監視方法を示すフローチャートである。油圧ショベル１がキーオンされると、周辺監視装置１００が起動する。周辺監視装置１００が起動した直後においては、周辺監視装置１００は、油圧ショベル１の周辺の人の存在によって警報が出力される。
　カメラ３０は、油圧ショベル１の周辺を撮像する。画像データ取得部５１は、カメラ３０から画像データを取得する（ステップＳＰ１）。
　表示データ生成部５２は、周辺画像データを生成する。表示データ生成部５２は、複数のカメラ３０が撮影した画像データから俯瞰画像ＰＤａを生成する（ステップＳＰ２）。
　表示制御部５５は、俯瞰画像ＰＤａを表示部２１に表示させる（ステップＳＰ３）。
　なお、ステップＳＰ２において単カメラ画像ＰＤｂを生成し、ステップＳＰ３において単カメラ画像ＰＤｂを表示するようにしてもよい。または、ステップＳＰ２で俯瞰カメラ画像ＰＤａ及び単カメラ画像ＰＤｂを生成し、ステップＳＰ３で俯瞰カメラ画像ＰＤａ及び単カメラ画像ＰＤｂを表示するようにしてもよい。
　人判定部５３は、警報範囲Ｂに人が存在するか否かを判定する（ステップＳＰ４）。より詳しくは、人判定部５３は、画像データから抽出した特徴量と、特徴量記憶部５７に記憶された特徴量とを照合して、警報範囲Ｂに人が存在するか否かを判定する。さらに、人判定部５３は、第１警報範囲Ｂａの外側、第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、又は、第２警報範囲Ｂｂの内側のうち、どの範囲に人が存在するかを判定する。さらにまた、人判定部５３は、検出範囲Ａ１、検出範囲Ａ２、検出範囲Ａ３、又は、検出範囲Ａ４のうち、どの範囲に人が存在するかを判定する。
　人判定部５３によって警報範囲Ｂに人が存在すると判定された場合（ステップＳＰ４でＹｅｓ）、検出範囲ごとに、ステップＳ５ないしステップＳＰ７の処理が実行される。人判定部５３によって警報範囲Ｂに人が存在しないと判定された場合（ステップＳＰ４でＮｏ）、ステップＳＰ７へ進む。
　人判定部５３によって警報範囲Ｂに人が存在すると判定された場合（ステップＳＰ４でＹｅｓ）、状態判定部５４は、警報を出力する状態であるか否かを判定する（ステップＳＰ５）。より詳しくは、状態判定部５４は、人の顔部又は身体の向きなどに基づいて、人の状態が、人が作業機械１を認識している状態であるか否かを判定する。状態判定部５４は、警報範囲Ｂに複数の人が存在する場合、すべての人について、作業機械１を認識しているか否かを判定する。状態判定部５４によって警報を出力する状態であると判定された場合（ステップＳＰ５でＹｅｓ）、ステップＳＰ６へ進む。状態判定部５４によって警報を出力する状態ではないと判定された場合（ステップＳＰ５でＮｏ）、ステップＳＰ７へ進む。
　状態判定部５４によって警報を出力する状態であると判定された場合（ステップＳＰ５でＹｅｓ）、警報制御部５６によって警報を出力させる作動指令を出力する（ステップＳＰ６）。警報制御部５６は、作業範囲Ｂに作業機械１を認識していない人が存在する場合、警報を出力する。例えば、警報制御部５６は、人判定部５３によって、人が第２警報範囲Ｂｂの内側に存在すると判定された場合である「ケース１」の場合、内側警報部２４及び外側警報部６０から警報を出力する。または、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲の一人以上の人の状態が、警報を抑制する状態ではないと判定された場合である「ケース４」の場合、その検出範囲を向いて配置された外側警報部６０から警報を出力する。
　状態判定部５４によって警報を出力する状態ではないと判定された場合（ステップＳＰ５でＮｏ）、警報制御部５６は、警報の出力を停止させる停止指令を出力する（ステップＳＰ７）。ここで、警報を出力する状態ではないとは、警報を出力しないこと、出力を抑制することとを含む。また、停止指令とは、警報の出力を抑制する抑制指令を含む。警報制御部５６は、作業範囲Ｂに人が存在しない場合、または、作業範囲Ｂに作業機械１を認識している人のみが存在する場合（すべての人が作業機械１を認識している場合）、警報の出力を抑制する。例えば、状態判定部５４によって警報を抑制する状態であると判定された場合には、警報制御部５６によって警報の出力を抑制する抑制指令を出力する。より詳しくは、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲のすべての人の状態が、警報を抑制する状態であると判定された場合である「ケース３」の場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を抑制し、その検出範囲を向いて配置された外側警報部６０からの警報を出力しない。
　また、人が第２警報範囲Ｂｂの内側に存在する場合、作業機械１の車体の動作を制限するようにしてもよい。
　上記の処理を繰り返し実行することで、周辺監視装置１００は、油圧ショベル１の周辺監視を行う。これにより、例えば、警報制御部５６は、「ケース２」の場合であって、人判定部５３によって、検出範囲について、その検出範囲に人が存在しないと判定された場合である「ケース５」の場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を停止する。警報制御部５６は、人判定部５３によって、警報範囲Ｂに人が存在しないと判定された場合である「ケース６」の場合、内側警報部２４からの警報の出力を停止する。
　なお、図１４に示すフローチャートは一例であり、他の実施形態においては、必ずしもすべてのステップを実行しなくてもよい。例えば、周辺監視装置１００は、ステップＳＰ２、ステップＳＰ３を実行しなくてもよい。
［コンピュータシステム］
　図１５は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御部２３は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ１００１と、ＲＯＭ（Read　Only　Memory）のような不揮発性メモリ及びＲＡＭ（Random　Access　Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御部２３の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。　
　コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１の周辺の人を検出することと、警報を出力することと、検出した人の状態を判定することと、作業機械１の周辺の人の有無に応じて、警報の出力を制御することと、人の状態の判定結果に応じて、警報の出力を抑制することと、を実行させることができる。
　このように、例えば、人の顔部が作業機械１を向いている等によって作業機械１を認識していると判定された場合には、警報の出力を抑制する。警報は、内側警報部２４でもよいし、外側警報部６０でもよい。なお、内側警報部２４及び外側警報部６０を両方備えていてもよいし、どちらか一方を備えていてもよい。内側警報部２４及び外側警報部６０を両方備えている場合であって、例えば、人の顔部が作業機械１を向いている等によって作業機械１を認識していると判定された場合には、両方の警報の出力を抑制してもよいし、どちらか一方の警報の出力を抑制してもよい。
［効果］
　以上説明したように、作業機械１の周辺に人が存在し、人が作業機械１を認識している場合、警報の出力を抑制する。このようにして、実施形態によれば、作業機械１の周辺に人が存在する場合、人の状態に応じて、警報の出力を制御できる。実施形態によれば、必要性の低い警報の出力を抑制できる。
　実施形態では、作業機械１の外側に向けて警報を出力する外側警報部６０と、作業機械１の運転室６の内側に向けて警報を出力する内側警報部２４とを有する。実施形態は、作業機械１の周辺に人が存在する場合、人の状態に応じて、外側警報部６０による警報の出力を抑制できる。実施形態によれば、運転者には、作業機械１の周辺に人が存在する場合、人の状態によらず、警報を出力できる。
　実施形態では、作業機械１の外側の異なる方向に向けて警報を出力する、複数の外側警報部６０を含む。実施形態は、複数の外側警報部６０のうち、作業機械１を向いている人が検出された方向に向けて警報を出力する外側警報部６０による警報の出力を抑制できる。実施形態によれば、作業機械１を向いていない人が存在する方向に向けて警報を出力する外側警報部６０からは警報を出力できる。
　実施形態では、作業機械１の周辺を撮影するカメラ３０が撮影した画像に基づいて、人の状態を判定する。実施形態によれば、人の状態を判定するために、追加のセンサ、又は、カメラなどを設置する必要がない。
　実施形態では、一度、人が作業機械１を認識していると判定した後、人の顔部又は身体の向きが変わるなどした場合でも、人が作業機械１を継続して認識していると判定する。本実施形態によれば、人と作業機械１との相対位置が変化した場合に、より適切に警報の出力を抑制できる。より詳しくは、人が作業機械１を認識していると判定した後に、例えば、人が移動する場合や、作業機械１の車体位置が変化することで、人と作業機械１との相対位置が変化する毎に、警報の出力、抑制が変化し、警報が煩わしくなることを防止できる。また、本実施形態によれば、作業機械１が揺れた場合や、作業機械１が掘削積み込み等の決まった動作をして、人が作業機械１を認識していると判定された状態と人が作業機械１を認識していると判定されない状態の境界がばらつくような場合に、警報が出力されたり抑制されたりすることが繰り返され、煩わしくなることを防止できる。
　実施形態では、人が作業機械１を継続して認識していると判定している場合において、作業機械１の車体が動作して、車体位置が変化したり、旋回角度が変化したりした場合、人が作業機械１を継続して認識していると判定することを終了する。本実施形態によれば、人と作業機械１との相対的な位置関係が変化した場合、適切に警報を出力できる。
［その他の実施形態］
　上述の実施形態においては、検出部が作業機械1の周辺を撮影するカメラ３０であることとした。検出部は、カメラ３０に限定されない。検出部は、油圧ショベル１に設けられたステレオカメラでもよいし、レーダ装置でもよいしレーザ装置でもよい。
　上述の実施形態においては、周辺監視モニタ２０が、表示部２１と操作部２２と制御部２３と内側警報部２４とを含むこととした。表示部２１と操作部２２と制御部２３と内側警報部２４は、一部が別体でもよいし、それぞれが別体でもよい。例えば、表示部２１は、タブレット型パーソナルコンピュータのように、作業機械の外部に設けられる表示部であってもよい。なお、周辺監視モニタ２０の外に設ける操作部２２は、運転室６内の他の場所に配置してもよいし、運転室６の外部に設けるようにしてもよい。また、周辺監視モニタ２０が含む操作部２２に加えて上記の操作部２２を設けるようにしてもよい。
　上記の実施形態においては、外側警報部６０は複数設置されているものとしたが、これに限定されず、外側警報部６０は１つでもよい。外部警報ユニット６００は、１つの外側警報部６０で構成されてもよい。
　上述の実施形態においては、内側警報部２４及び外側警報部６０はブザーを出力することとした。内側警報部２４及び外側警報部６０は、音声出力装置であってもよい。この場合、警報は、音声出力装置から出力される音声であってもよい。また、内側警報部２４及び外側警報部６０は、警告灯であってもよい。
　上記の実施形態においては、周辺表示データは、俯瞰画像ＰＤａと単カメラ画像ＰＤｂとを含むとして説明したが、これに限定さない。周辺表示データは、俯瞰画像ＰＤａと単カメラ画像ＰＤｂとのどちらか一方でもよい。また、上記の実施形態においては、周辺表示データが表示されるものとして説明したが、周辺表示データは表示されなくてもよい。
　また、上述した実施形態に係る周辺監視装置１００は、１台の周辺監視装置１００が作業機械１に設置されるものとして説明したが、他の実施形態においては、周辺監視装置１００の一部の構成を他の制御装置に配置し、２台以上の周辺監視装置１００からなる周辺監視システムによって実現されてもよい。なお、上述の実施形態に示す１台の周辺監視装置１００も、周辺監視システムの一例である。
　また、上述した実施形態に係る周辺監視装置１００は、作業機械１に設置されるものとして説明したが、他の実施形態においては、周辺監視装置１００の一部、又は全部の構成が作業機械１の外部に設置されてもよい。例えば、他の実施形態においては、周辺監視装置１００は、遠隔操作に係る作業機械１を制御するものであってもよい。
　上述の実施形態において、油圧ショベル１は、鉱山などで使用されるマイニング用油圧ショベルでもよいし、建設現場において用いられる油圧ショベルでもよい。また、ダンプトラックや、ホイールローダや他の作業機械用の周辺監視システムに適用可能である。
　１…油圧ショベル（作業機械）、１Ｓ…シンボル画像、２…下部走行体、３…上部旋回体、４…作業機、４Ａ…ブーム、４Ｂ…アーム、４Ｃ…バケット、５…油圧シリンダ、５Ａ…ブームシリンダ、５Ｂ…アームシリンダ、５Ｃ…バケットシリンダ、６…運転室、９…運転シート、１０…操作部、１１…左作業レバー、１２…右作業レバー、１３…左走行レバー、１４…右走行レバー、１５…左フットペダル、１６…右フットペダル、２０…周辺監視モニタ、２１…表示部、２２…操作部、２３…制御部、２４…内側警報部（警報部）、３０…カメラ（検出部）、３１…後カメラ、３２…右後カメラ、３３…右前カメラ、３４…左後カメラ、４１…演算処理部、４２…記憶部、４３…入出力インターフェース、５１…画像データ取得部、５２…表示データ生成部、５３…人判定部、５４…状態判定部、５５…表示制御部、５６…警報制御部、５７…特徴量記憶部、５８…警報範囲記憶部、６０…外側警報部（警報部）、６１…外側警報部、６２…外側警報部、６３…外側警報部、６４…外側警報部、１００…周辺監視装置、３００…カメラシステム、６００…外側警報ユニット、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、Ａ…検出範囲、Ａ１…検出範囲、Ａ２…検出範囲、Ａ３…検出範囲、Ａ４…検出範囲、ＡＸ…ブーム回転軸、Ｂ…警報範囲、Ｂａ…第１警報範囲、Ｂｂ…第２警報範囲、ＢＸ…アーム回転軸、ＣＸ…バケット回転軸、ＰＤａ…俯瞰画像、ＰＤｂ…単カメラ画像、ＲＸ…旋回軸。

Claims (9)

  1. 　作業機械の周辺の人を検出する検出部と、
    　警報を出力する警報部と、
    　前記検出部が検出した前記人の身体の状態を判定する状態判定部と、
    　前記状態判定部の判定結果に基づいて、前記警報部による警報の出力を制御する警報制御部と、
    　を備える作業機械の周辺監視システム。
  2. 　前記警報制御部は、前記作業機械の周辺の人の有無に応じて、前記警報部による警報の出力し、前記状態判定部の判定結果に応じて、前記警報部による警報の出力を抑制する、
    　請求項１に記載の作業機械の周辺監視システム。
  3. 　前記警報部は、前記作業機械の周辺の異なる方向に向けて警報を出力する、複数の外側警報部、を含み、
    　前記警報制御部は、前記状態判定部の判定結果に応じて、複数の前記外側警報部のうち、前記作業機械を向いている人が検出された方向に向けて警報を出力する前記外側警報部による警報の出力を抑制する、
    　請求項１又は２に記載の作業機械の周辺監視システム。
  4. 　前記検出部は、前記作業機械の周辺を撮影するカメラであり、
    　前記状態判定部は、前記カメラが撮影した画像に基づいて、人の身体の状態を判定する、
    　請求項１に記載の作業機械の周辺監視システム。
  5. 　前記検出部は、前記作業機械の周辺に複数配置され、
    　前記警報部は、前記検出部の周辺に配置される、
    　請求項１から請求項４のいずれか一項に記載の作業機械の周辺監視システム。
  6. 　前記状態判定部は、前記人が前記作業機械を向いていると判定した後、前記人が前記作業機械を継続して向いていると判定する、
    　請求項１から請求項５のいずれか一項に記載の作業機械の周辺監視システム。
  7. 　前記状態判定部は、前記人が前記作業機械を継続して向いていると判定している場合において、前記人と前記作業機械との相対的な位置関係が変化した場合、前記人が前記作業機械を継続して向いていると判定することを終了する、
    　請求項６に記載の作業機械の周辺監視システム。
  8. 　請求項１から請求項７のいずれか一項に記載の作業機械の周辺監視システムを備える、
    　作業機械。
  9. 　作業機械の周辺の人を検出することと、
    　警報を出力することと、
    　検出した前記人の身体の状態を判定することと、
    　前記身体の状態の判定結果に基づいて、前記警報の出力を制御することと、
    　を含む作業機械の周辺監視方法。
PCT/JP2021/009360 2020-03-19 2021-03-09 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法 WO2021187248A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180016984.0A CN115176058A (zh) 2020-03-19 2021-03-09 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
US17/909,566 US20230114366A1 (en) 2020-03-19 2021-03-09 Work machine periphery monitoring system, work machine, and work machine periphery monitoring method
DE112021000609.6T DE112021000609T5 (de) 2020-03-19 2021-03-09 Arbeitsmaschinenperipherie-überwachungssystem, arbeitsmaschine und arbeitsmaschinenperipherieüberwachungsverfahren
KR1020227029509A KR20220127330A (ko) 2020-03-19 2021-03-09 작업 기계의 주변 감시 시스템, 작업 기계, 및 작업 기계의 주변 감시 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020049548A JP7481139B2 (ja) 2020-03-19 2020-03-19 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2020-049548 2020-03-19

Publications (1)

Publication Number Publication Date
WO2021187248A1 true WO2021187248A1 (ja) 2021-09-23

Family

ID=77771244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009360 WO2021187248A1 (ja) 2020-03-19 2021-03-09 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

Country Status (6)

Country Link
US (1) US20230114366A1 (ja)
JP (1) JP7481139B2 (ja)
KR (1) KR20220127330A (ja)
CN (1) CN115176058A (ja)
DE (1) DE112021000609T5 (ja)
WO (1) WO2021187248A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193494A (ja) * 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2011170663A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 車両周囲監視装置
JP2017145564A (ja) * 2016-02-15 2017-08-24 株式会社神戸製鋼所 可動機械の安全装置
US20180122218A1 (en) * 2016-10-28 2018-05-03 Brian Shanley Proximity alarm system and method of operating same
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4134891B2 (ja) * 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
JP5369057B2 (ja) * 2010-06-18 2013-12-18 日立建機株式会社 作業機械の周囲監視装置
JP5640788B2 (ja) * 2011-02-09 2014-12-17 トヨタ自動車株式会社 移動者警報装置
JP5411976B1 (ja) * 2012-09-21 2014-02-12 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
WO2016157463A1 (ja) 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
JPWO2015125979A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6420432B2 (ja) * 2017-09-12 2018-11-07 住友重機械工業株式会社 ショベル
JP6763913B2 (ja) * 2018-06-07 2020-09-30 住友重機械工業株式会社 作業機械用周辺監視装置及びショベル

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193494A (ja) * 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2011170663A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 車両周囲監視装置
JP2017145564A (ja) * 2016-02-15 2017-08-24 株式会社神戸製鋼所 可動機械の安全装置
US20180122218A1 (en) * 2016-10-28 2018-05-03 Brian Shanley Proximity alarm system and method of operating same
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム

Also Published As

Publication number Publication date
CN115176058A (zh) 2022-10-11
KR20220127330A (ko) 2022-09-19
US20230114366A1 (en) 2023-04-13
JP2021147895A (ja) 2021-09-27
JP7481139B2 (ja) 2024-05-10
DE112021000609T5 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
US10183632B2 (en) Work vehicle periphery monitoring system and work vehicle
US11447928B2 (en) Display system, display method, and remote control system
JP4996928B2 (ja) 作業機械の周囲監視装置
CN113152552B (zh) 工程机械的控制系统及方法
EP3522133B1 (en) Work vehicle vicinity monitoring system and work vehicle vicinity monitoring method
JP7058582B2 (ja) 作業機械
JP6352797B2 (ja) 作業機械の周囲監視装置
JP7358070B2 (ja) ショベル
WO2021187248A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2014173258A (ja) 建設機械の始動許可装置、建設機械の始動許可方法
JP2019060228A (ja) 作業機械用周辺監視装置
JP7009063B2 (ja) 作業機械用周辺監視システム
JP6852026B2 (ja) ショベル
JP2022072598A (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2021075580A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
JP2019007348A (ja) ショベル
JP2010043419A (ja) 自走式作業機械の表示装置
JP2022040146A (ja) ショベル
JP2017193959A (ja) ショベル
WO2023048136A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
WO2023189216A1 (ja) 作業支援システム
JP2020063569A (ja) 油圧ショベル
US20240141616A1 (en) Remote operation assistance server and remote operation asistance system
CA2817869C (en) Work vehicle periphery monitoring system and work vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770781

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21770781

Country of ref document: EP

Kind code of ref document: A1