WO2015162801A1 - 周辺監視システム、作業車両、及び周辺監視方法 - Google Patents

周辺監視システム、作業車両、及び周辺監視方法 Download PDF

Info

Publication number
WO2015162801A1
WO2015162801A1 PCT/JP2014/061802 JP2014061802W WO2015162801A1 WO 2015162801 A1 WO2015162801 A1 WO 2015162801A1 JP 2014061802 W JP2014061802 W JP 2014061802W WO 2015162801 A1 WO2015162801 A1 WO 2015162801A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar
detection area
dump truck
detection
area
Prior art date
Application number
PCT/JP2014/061802
Other languages
English (en)
French (fr)
Inventor
栗原 毅
幸宏 中西
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN201480000817.7A priority Critical patent/CN105283777B/zh
Priority to US14/382,326 priority patent/US9975485B2/en
Priority to CA2863648A priority patent/CA2863648C/en
Priority to PCT/JP2014/061802 priority patent/WO2015162801A1/ja
Priority to JP2014525253A priority patent/JP6228538B2/ja
Publication of WO2015162801A1 publication Critical patent/WO2015162801A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10Providing two-dimensional and co-ordinated display of distance and direction
    • G01S7/12Plan-position indicators, i.e. P.P.I.
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60PVEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P1/00Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
    • B60P1/04Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading with a tipping movement of load-transporting element
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60PVEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P1/00Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
    • B60P1/04Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading with a tipping movement of load-transporting element
    • B60P1/28Tipping body constructions
    • B60P1/283Elements of tipping devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots

Definitions

  • the present invention relates to a periphery monitoring system, a work vehicle, and a periphery monitoring method.
  • An object of an aspect of the present invention is to provide a periphery monitoring system, a work vehicle, and a periphery monitoring method that can support recognition of the state of a detection device.
  • 1st aspect of this invention is arrange
  • a display device that displays a detection area of the detection device on the screen around the work vehicle.
  • a detection device that is disposed on a work vehicle and that can detect an object around the work vehicle, and is disposed on the work vehicle, displays the work vehicle on a screen, and an abnormality has occurred. It is preferable to include a display device that displays a detection area of the detection device on the screen around the work vehicle.
  • WHEREIN It is arrange
  • the display device blinks the detection area of the screen.
  • the blinking of the detection area includes repeating a display operation for displaying the detection area and a non-display operation for not displaying the detection area, and the period of the non-display operation is the display. Preferably it is longer than the period of operation.
  • the display device semi-transparently displays the detection area so that both the detection area and the overhead image are visually recognized in a state where the detection area and the overhead image overlap each other. It is preferable.
  • the display device displays a detection area of the detection device in which an abnormality has occurred and a detection area of a normal detection device that has detected an object in different forms.
  • a plurality of the detection devices are arranged so that different regions around the work vehicle are detected, and the display device detects an abnormality among the plurality of detection devices. It is preferable that the detection area of the device and the detection area of the normal detection device that detects the object can be simultaneously displayed in different forms.
  • the second aspect of the present invention provides a work vehicle including the periphery monitoring system according to the first aspect.
  • a detection device detects an object around the work vehicle arranged on the work vehicle, and displays the work vehicle on a screen of a display device arranged on the work vehicle. Displaying a detection area of the detection device in which an abnormality has occurred on the screen around the work vehicle.
  • recognition of the state of the detection device can be supported.
  • FIG. 1 is a perspective view illustrating an example of a work vehicle according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a cab according to the present embodiment.
  • FIG. 3 is a block diagram illustrating an example of the periphery monitoring system according to the present embodiment.
  • FIG. 4 is a diagram illustrating an arrangement position of the imaging device provided in the dump truck.
  • FIG. 5 is a diagram illustrating an arrangement position of the radar device provided in the dump truck.
  • FIG. 6 is a diagram showing a specific arrangement of the radar device that detects the front of the vehicle body.
  • FIG. 7 is a diagram showing a specific arrangement of the radar device that detects the left side of the vehicle body.
  • FIG. 1 is a perspective view illustrating an example of a work vehicle according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a cab according to the present embodiment.
  • FIG. 3 is a block diagram illustrating an example of the periphery monitoring system according to the
  • FIG. 8 is a diagram showing a specific arrangement of the radar device that detects the right side of the vehicle body.
  • FIG. 9 is a diagram showing a specific arrangement of the radar device that detects the rear of the vehicle body.
  • FIG. 10 is a diagram illustrating an irradiation state of the left side surface of the vehicle main body and the radar device.
  • FIG. 11 is a diagram illustrating the irradiation state of the rear of the vehicle body and the radar device.
  • FIG. 12 is a plan view schematically illustrating an example of an imaging apparatus and a radar apparatus according to the present embodiment.
  • FIG. 13 is a schematic diagram illustrating an example of an imaging area and an overhead image of the imaging apparatus according to the present embodiment.
  • FIG. 14 is a diagram illustrating an example of a radar apparatus according to the present embodiment.
  • FIG. 15 is a diagram illustrating an example of a radar apparatus according to the present embodiment.
  • FIG. 16 is a schematic diagram illustrating an example of a detection area of the radar apparatus according to the present embodiment.
  • FIG. 17 is a diagram illustrating an example of the display device according to the present embodiment.
  • FIG. 18 is a diagram illustrating an example of the display device according to the present embodiment.
  • FIG. 19 is a diagram illustrating an example of a display device according to the present embodiment.
  • FIG. 20 is a flowchart illustrating an example of inspection work of the radar apparatus according to the present embodiment.
  • FIG. 21 is a diagram illustrating an example of the display device according to the present embodiment.
  • FIG. 22 is a schematic diagram illustrating an example of an object used in the inspection work according to the present embodiment.
  • FIG. 23 is a schematic diagram illustrating an example of inspection work according to the present embodiment.
  • FIG. 24 is a diagram illustrating an example of a display device according to the present embodiment.
  • FIG. 25 is a diagram illustrating an example of a display device according to the present embodiment.
  • FIG. 26 is a diagram illustrating an example of the display device according to the present embodiment.
  • FIG. 27 is a diagram illustrating an example of the display device according to the present embodiment.
  • FIG. 28 is a flowchart illustrating an example of the operation of the periphery monitoring system according to the present embodiment.
  • FIG. 29 is a diagram illustrating an example of the display device according to the present embodiment.
  • FIG. 30 is an example of the display device according to the present embodiment, and is a schematic diagram showing that the detection area blinks.
  • FIG. 31 is a timing chart for explaining the operation of the display device according to the present embodiment.
  • FIG. 32 is a diagram illustrating an example of a display device according to the present embodiment.
  • front, rear, left, and right are based on the driver's seat.
  • the front is in front of the line of sight of the operator seated on the driver's seat and is the direction from the driver's seat toward the steering wheel.
  • the rear is the direction opposite to the front and is the direction from the steering wheel toward the driver's seat.
  • the vehicle width direction of the work vehicle coincides with the left-right direction of the work vehicle.
  • FIG. 1 is a perspective view showing an example of a work vehicle 1 according to the present embodiment.
  • the work vehicle 1 is a dump truck (off-road dump truck) 1
  • the dump truck 1 is a self-propelled vehicle used for work in a mine.
  • the dump truck 1 may be a rigid frame type or an articulate type.
  • the dump truck 1 supports a vehicle body 2, a cab 3 provided on the vehicle body 2, a vessel 4 supported by the vehicle body 2 and loaded with a load, and a vehicle body 2. And a movable traveling device 5.
  • the dump truck 1 includes a periphery monitoring system 7 for monitoring the periphery of the dump truck 1 and making the operator recognize the state of the periphery of the dump truck 1.
  • the traveling device 5 has a front wheel 5A and a rear wheel 5B.
  • the traveling device 5 is operated by power generated by a power generation device provided in the dump truck 1.
  • the power generation device includes at least one of an internal combustion engine such as a diesel engine and an electric motor.
  • the dump truck 1 adopts a diesel electric drive system.
  • the dump truck 1 has a diesel engine, a generator driven by power generated by the diesel engine, and an electric motor driven by electric power generated by the generator.
  • the traveling device 5 travels with the power transmitted from the electric motor.
  • the traveling device 5 may travel by transmitting the power generated by the internal combustion engine to the traveling device 5 through the power train.
  • the electric motor may be driven by the electric power supplied from the overhead line via the trolley, and the traveling device 5 may travel by the power transmitted from the electric motor.
  • the vehicle body 2 includes an upper deck 2b and a frame 2f arranged in the front-rear direction.
  • the frame 2f supports the power generation device and the traveling device 5 including the front wheels 5A and the rear wheels 5B.
  • the frame 2f has a lower deck 2a and an upper deck 2b.
  • the dump truck 1 has a double deck structure having a lower deck 2a and an upper deck 2b.
  • the lower deck 2a is arranged at the lower part of the front surface of the frame 2f.
  • the upper deck 2b is disposed above the lower deck 2a.
  • a movable ladder 2c is disposed below the lower deck 2a.
  • An oblique ladder 2d is disposed between the lower deck 2a and the upper deck 2b.
  • a radiator is disposed between the lower deck 2a and the upper deck 2b.
  • a handrail 2e is disposed on the upper deck 2b.
  • Cab 3 is a cab where the driver's seat is located.
  • the cab 3 is disposed on the upper deck 2b.
  • An operator gets on the cab 3.
  • Various operating devices arranged in the cab 3 are operated by an operator.
  • Vessel 4 carries the load.
  • a load such as crushed stone is loaded into the vessel 4 at a mine loading site.
  • the vessel 4 can be moved up and down by an actuator such as a hydraulic cylinder.
  • the actuator is disposed between the vehicle main body 2 and the vessel and can move the vessel 4 up and down.
  • the vessel 4 is adjusted to at least one of the loading posture and the standing posture by the operation of the actuator.
  • the loading posture is a posture in which the front portion of the vessel 4 is disposed on the upper portion of the cab 3.
  • the standing posture is a dumping posture for discharging the load.
  • the dump truck 1 is a rear dump system, and the load is discharged from the vessel 4 by tilting the vessel 4 backward.
  • the dump truck 1 may be a side dump system in which the load is discharged from the vessel 4 by tilting the vessel 4 to the left and right sides.
  • the vessel 4 has a flange 4F called a protector.
  • the flange portion 4F is disposed at the front portion of the vessel 4 and can be disposed above the cab 3.
  • the flange portion 4F protects the cab 3 by being disposed above the cab 3.
  • FIG. 2 is a diagram illustrating an example of the cab 3 according to the present embodiment.
  • the cab 3 has a ROPS (Roll-Over Protection System) including a plurality of columns 3 a, 3 b, 3 c, 3 d.
  • ROPS Roll-Over Protection System
  • the ROPS protects the operator of the cab 3.
  • Driver's seat 31, steering wheel 32, dash cover 33, radio device 34, accelerator pedal 35A, brake pedal 35Bf, secondary brake pedal 35Bs, retarder 36, shift lever 37, shift lever position sensor 37S, parking brake operation switch 37P, dump lever 38, operation panel 8, and controller 100 are arranged.
  • the operator sits in the driver's seat 31.
  • the steering wheel 32 is operated by an operator of the driver seat 31.
  • the traveling direction (path) of the traveling device 5 is adjusted.
  • the shift lever 37 is operated by the operator of the driver seat 31.
  • the traveling direction (forward or reverse) of the dump truck 1 is switched. Further, the speed stage is switched by operating the shift lever 37.
  • the operation panel 8 includes an input device 80 including a plurality of operation buttons and a display device 50 such as a flat panel display.
  • the display device 50 may be referred to as a monitor.
  • a command signal (input signal, operation signal) generated by operating the input device 80 is output to the controller 100.
  • the display device 50 displays information output from the controller 100.
  • the periphery monitoring system 7 includes a controller 100, an input device 80, and a display device 50.
  • the operation panel 8 may be disposed on the dash cover 33, may be disposed on the dash cover 33, or may be suspended from the ceiling of the cab 3.
  • the operation panel 8 may be arranged at a position where the operator can operate the input device 80 and the display device 50 can be visually recognized.
  • the position where the controller 100 is arranged is also arbitrary.
  • the shift lever position sensor 37S detects the position of the shift lever 37.
  • the detection result of the shift lever position sensor 37S is output to the controller 100.
  • the controller 100 acquires information related to the traveling state (traveling mode) of the dump truck 1 based on the detection result of the shift lever position sensor 37S.
  • the traveling state of the dump truck 1 includes at least one of a forward traveling state, a reverse traveling state, a neutral state, a parking (parking) state, and a shift stage state.
  • the parking brake operation switch 37P is operated to operate the parking brake when the dump truck 1 is parked.
  • the command signal generated by operating the parking brake operation switch 37P is output to the controller 100.
  • the controller 100 acquires information related to the traveling state of the dump truck 1 (whether it is in a parking state) based on a command signal from the parking brake operation switch 37P.
  • FIG. 3 is a block diagram illustrating an example of the periphery monitoring system 7 according to the present embodiment.
  • the periphery monitoring system 7 monitors the periphery of the dump truck 1 and makes the operator recognize the situation around the dump truck 1.
  • the periphery monitoring system 7 includes, for example, a controller 100, an input device 80 connected to the controller 100, a shift lever position sensor 37S connected to the controller 100, a parking brake operation switch 37P connected to the controller 100, a controller A display device 50 connected to 100, an imaging device 10 (11 to 16) connected to the controller 100 for capturing an image around the dump truck 1, and an object around the dump truck 1 connected to the controller 100. And a detection device 20 (21 to 28) capable of non-contact detection.
  • the shift lever position sensor 37S, the parking brake operation switch 37P, and the input device 80 of the operation panel 8 function as an input unit that can generate a command signal (input signal, operation signal) for the controller 100.
  • the imaging device 10 is disposed on the dump truck 1 and includes a camera that captures an image around the dump truck 1.
  • the periphery monitoring system 7 includes a plurality of imaging devices 10 so that different areas around the dump truck 1 are imaged.
  • six imaging devices 10 are arranged on the dump truck 1.
  • each of the six imaging devices 10 is appropriately referred to as an imaging device 11, an imaging device 12, an imaging device 13, an imaging device 14, an imaging device 15, and an imaging device 16.
  • the imaging devices 11 to 16 are collectively referred to as the imaging device 10 as appropriate.
  • the periphery monitoring system 7 can acquire images of different areas around the dump truck 1.
  • the detection device 20 includes a radar device that is disposed on the dump truck 1 and can detect an object around the dump truck 1 in a non-contact manner.
  • the periphery monitoring system 7 includes a plurality of detection devices (radar devices) 20 so that different regions around the dump truck 1 are detected.
  • eight radar devices 20 are arranged on the dump truck 1.
  • each of the eight radar devices 20 is appropriately referred to as a radar device 21, a radar device 22, a radar device 23, a radar device 24, a radar device 25, a radar device 26, a radar device 27, and a radar device 28. Called.
  • the radar devices 21 to 28 are collectively referred to as the radar device 20 as appropriate.
  • the periphery monitoring system 7 can detect objects existing in different areas around the dump truck 1.
  • FIG. 4 is a diagram illustrating an example of an arrangement position of the imaging device 10 (11 to 16) according to the present embodiment.
  • each of the imaging devices 11 to 16 is attached to the outer peripheral portion of the dump truck 1 in order to acquire an image in the range of 360 degrees around the dump truck 1.
  • Each of the imaging devices 11 to 16 has a visual field range of 120 degrees in the left-right (horizontal) direction and 96 degrees in the height (vertical) direction.
  • the imaging device 11 is a camera that captures an image of the front of the vehicle body 2, and is arranged at the lower part of the uppermost landing part of the oblique ladder 2d as shown in FIG.
  • the imaging device 11 is fixed toward the front of the vehicle main body 2 via a bracket attached to the upper deck 2b.
  • the imaging range of the imaging device 11 is a range that extends in front of the vehicle body 2.
  • the imaging device 12 is a camera that images the right front side of the vehicle body 2 and is disposed near the right end portion of the front side surface of the upper deck 2b as shown in FIG.
  • the imaging device 12 is fixed toward the right front side of the vehicle body 2 via a bracket attached to the upper deck 2b.
  • the imaging range of the imaging device 12 is a range that extends diagonally forward to the right of the vehicle body 2.
  • the imaging device 13 is a camera that images the left front side of the vehicle body 2, and as shown in FIG. 4, the vehicle body via a bracket attached to the imaging device 12 in a bilaterally symmetrical position, that is, the upper deck 2b. 2 is fixed toward the left front side.
  • the imaging range of the imaging device 13 is a range that extends diagonally to the left of the vehicle body 2.
  • the imaging device 14 is a camera that captures an image of the rear side of the vehicle body 2 obliquely to the right side, and is disposed in the vicinity of the front end of the right side surface of the upper deck 2b as shown in FIG.
  • the imaging device 14 is fixed toward the diagonally right rear of the vehicle body 2 via a bracket attached to the upper deck 2b.
  • the imaging range of the imaging device 14 is a range that extends obliquely to the right rear of the vehicle body 2.
  • the imaging device 15 is a camera that captures an image of the vehicle body 2 obliquely to the left side of the left side, and as shown in FIG. 4, the vehicle body via a bracket attached to the imaging device 14 in a laterally symmetrical position, that is, the upper deck 2b. 2 is arranged obliquely rearward to the left.
  • the imaging range of the imaging device 15 is a range that extends obliquely to the left rear of the vehicle body.
  • the imaging device 16 is a camera that images the rear of the vehicle body 2, and as shown in FIG. 4, at the rear end of the frame 2f, above the rear axle that connects the two rear wheels 5B, and the vessel 4 It is arrange
  • the imaging range of the imaging device 16 is a range that extends rearward of the vehicle body 2.
  • each of the imaging devices 11 to 16 outputs the captured image to the controller 100.
  • the imaging devices 11 to 16 are provided in the upper deck 2b and the cross member at a high position of the frame 2f. For this reason, each of the imaging devices 11 to 16 can obtain a captured image looking down on the ground from above, and can capture obstacles existing on the ground in a wide range. In addition, even when the viewpoint conversion is performed when the overhead image is formed, since the image captured from above is used, the degree of deformation of the three-dimensional object can be suppressed.
  • FIG. 5 is a diagram showing an example of an arrangement position of the radar apparatus 20 (21 to 28) according to the present embodiment.
  • the radar devices 21 to 28 have a detection angle of 80 degrees ( ⁇ 40 degrees) in the azimuth (horizontal) direction, 16 degrees ( ⁇ 8 degrees) in the vertical (vertical) direction, and a UWB (Ultra Wide) with a maximum detection distance of 15 m or more.
  • the relative positions of objects (obstacles) existing all around the dump truck 1 are detected by the installed radar devices 21 to 28.
  • the radar devices 21 to 28 are arranged on the outer periphery of the dump truck 1.
  • the detection angle in the azimuth (horizontal) direction of each of the radar apparatuses 21 to 28 is 80 degrees ( ⁇ 40 degrees), but may have a detection angle larger than this.
  • the radar devices 21 and 22 will be described with reference to FIG. 5 and FIG. 6 of the front view of the dump truck 1.
  • the radar devices 21 and 22 are provided on the lower deck 2a which is about 1 m above the ground and below the oblique ladder 2d, which is located below the upper deck 2b where the imaging device 11 that mainly captures the front of the vehicle body 2 is provided. It is done.
  • Radar devices 21 and 22 are mounted symmetrically with respect to vehicle center plane C via brackets B21 and B22, respectively.
  • the radar device 22 is disposed so as to face diagonally forward left, and the radar device 21 is disposed so as to face diagonally forward right.
  • the horizontal irradiation center axis of the radar device 22 is tilted 45 degrees to the left of the vehicle body 2 with respect to the traveling direction axis of the vehicle center plane C, and the horizontal irradiation center axis of the radar device 21. Is inclined 45 degrees to the right side of the vehicle body 2 with respect to the axis of the vehicle center plane C in the traveling direction, and the respective irradiation center axes intersect. Further, each irradiation center axis in the vertical direction of the radar devices 21 and 22 has a depression angle of about 5 degrees. As a result, all objects in the area ahead of the front end of the vehicle body 2 can be detected.
  • the radar device 28 and the radar device 23 at a symmetrical position of the vehicle center plane C are shown in FIG. 5, FIG. 7 as viewed from the left side of the dump truck 1, and as viewed from the right side of the dump truck 1. Explanation will be made with reference to FIG.
  • the radar device 28 is provided in the vicinity of the left end portion of the lower deck 2a and the upper end portion of the movable ladder 2c, which are located below the upper deck 2b provided with the imaging devices 13 and 15 that mainly image the left side of the vehicle body 1.
  • the radar device 28 is attached to the lower deck 2b via a bracket B28, and is disposed toward the left side outside of the vehicle body 2.
  • the radar device 23 is installed in a side view from the left side of the dump truck 1 and is located symmetrically with respect to the radar device 28 with respect to the vehicle center plane C.
  • the radar device 23 is movable on the right side of the lower deck 2 a located below the upper deck 2 b provided with the imaging devices 12 and 14 that mainly image the right side of the vehicle body 2, and on the right side of the vehicle body 2. It is provided in the expression ladder 2c.
  • the radar device 23 is attached to the lower deck 2b via a bracket B23 and a bracket B23 provided symmetrically with respect to the vehicle center plane C, and is disposed toward the right side outside of the vehicle body 2.
  • the horizontal irradiation center axis of the radar device 23 is tilted 70 degrees to the right of the vehicle body 2 with respect to the backward axis of the vehicle center plane C, and the horizontal irradiation center axis of the radar device 28 is the vehicle central plane. It is tilted 70 degrees to the left of the vehicle body 2 with respect to the axis of the backward direction of C. Further, each irradiation center axis in the vertical direction of the radar devices 23 and 28 has a depression angle of about 5 degrees.
  • Radar devices 23 and 28 enable detection of an object on the side of the dump truck 1, particularly on the front side of the front wheels 5A and the rear wheels 5B.
  • the radar devices 23 and 28 are located below the vessel 4 and the upper deck 2b, and are not affected by flying stones that jump out of the vessel 4 when loaded.
  • FIG. 5 is a side view of the radar device 27 at a symmetrical position with respect to the radar center 27 and the vehicle center plane C
  • FIG. 7 is a side view from the left side of the dump truck 1
  • FIG. Explanation will be made with reference to FIG.
  • the radar device 27 protrudes laterally from the front fender 2g on the left side of the vehicle extending toward the lower deck 2a positioned below the upper deck 2b provided with the imaging devices 13 and 15 that mainly image the left side of the vehicle body 2. It is arrange
  • the radar device 27 is attached to the front fender 2g rearward via a bracket B27.
  • the height of the radar device 27 is about 2.5 m from the ground.
  • the radar device 24 is installed in a side view from the left side of the dump truck 1 and is located symmetrically with the radar device 27 with respect to the vehicle center plane C as a reference.
  • the radar device 24 mainly extends from the front fender 2g on the right side of the vehicle extending toward the lower deck 2a positioned below the upper deck 2b provided with the imaging devices 12 and 14 for imaging the right side of the vehicle body 2 to the right side. It arrange
  • the radar device 24 is attached to the front fender 2g rearward via a bracket B24.
  • the horizontal irradiation center axis of the radar device 24 is inclined 30 degrees to the right side of the vehicle body 2 with respect to the backward axis of the vehicle center plane C, and the horizontal irradiation center axis of the radar device 27 is the vehicle central plane. It is tilted 30 degrees to the left side of the vehicle body 2 with respect to the axis in the backward direction of C. Further, each irradiation center axis in the vertical direction of the radar devices 24 and 27 has a depression angle of about 15 degrees.
  • the radar devices 24 and 27 enable detection of obstacles in the lateral rear region corresponding to the rear side of the central axis of the front wheel 5A and the rear wheel 6B on the side of the dump truck 1 and particularly corresponding to the entire side of the vessel side. .
  • the radar devices 24 and 27 are located below the vessel 4 and the upper deck 2b, and are not affected by flying stones that jump out of the vessel 4 when loaded.
  • the radar devices 25 and 26 will be described with reference to FIG. 5 and FIG. 9 which is a rear view of the dump truck 1.
  • the radar devices 25 and 26 are about 2 m above the ground, and the rear side of the case of the rear axle 71 of the drive shaft of the rear wheel 5B located below the cross member 70 where the imaging device 16 of the vessel 4 is installed. Placed in.
  • Radar devices 25 and 26 are mounted symmetrically with respect to vehicle center plane C via brackets B25 and B26, respectively.
  • the radar devices 25 and 26 are provided between the joints 73 of the rear suspension cylinder 72.
  • the radar device 26 is disposed so as to be directed rearward and obliquely right, and the radar device 25 is disposed so as to be directed obliquely rearward and leftward.
  • the horizontal irradiation center axis of the radar device 26 is inclined 45 degrees to the right side of the vehicle body 2 with respect to the backward axis of the vehicle center plane C, and the horizontal irradiation center axis of the radar device 25 is the vehicle central plane. It is inclined 45 degrees to the left side of the vehicle with respect to the axis in the backward direction of C, and each irradiation center axis intersects on the vehicle center plane C below the vessel 4. Further, each irradiation center axis in the vertical direction of the radar devices 25 and 26 has a depression angle of 0 to 10 degrees in the depression direction, and about 5 degrees in this embodiment.
  • each radar device 25, 26 Since each radar device 25, 26 is mounted symmetrically with respect to the vehicle center plane C and installed so that the respective irradiation center axes intersect, it detects all objects in the rear area from the rear end of the vehicle body 2. can do.
  • the radar devices 25 and 26 are arranged with a small depression angle in the case of the rear axle 71 that is positioned lower than the cross member 70. As shown in FIGS. 10 and 11, an object hidden behind the vehicle body 2 and behind the vessel 4 can be detected simultaneously by the radar devices 25 and 26 installed at a low position on the vehicle body 2 with a small depression angle. .
  • the horizontal irradiation center axis of the radar device 25 and the horizontal irradiation center axis of the radar device 26 are 45 degrees with respect to the vehicle center plane C, but may be 45 degrees or less, for example, 30 degrees. It may be. This value may be determined by the degree of rearward protrusion of the radar devices 25 and 26 with respect to the rear end of the wheel 5B.
  • the radar devices 21 to 28 that detect obstacles in each direction of the vehicle body 2 are attached to members at positions lower than the imaging devices 11 to 16 that capture the direction of each vehicle body 2 in order to generate an overhead image. Even if a radar device having a small angle in the vertical direction is used, the obstacle information detected by the radar device can be seen from the overhead image even if the radar device is installed at a position lower than the imaging device. It is possible to display inside.
  • FIG. 12 is a plan view schematically showing an example of the imaging device 10 and the radar device 20 according to the present embodiment.
  • FIG. 13 shows an example of the imaging area 10C (11C to 16C) imaged by the plurality of imaging devices 10 (11 to 16) and the overhead image 200 generated based on the image information captured by the plurality of imaging devices 10. It is a schematic diagram shown.
  • the imaging device 10 (11 to 16) is arranged on the dump truck 1 and images the periphery of the dump truck 1.
  • the imaging device 10 images the periphery of the dump truck 1 and outputs image information to the controller 100.
  • the imaging device 10 is, for example, a wide dynamic range (WDR) camera.
  • the wide dynamic range camera is a camera having a function that can be adjusted so that a dark part can be brightly corrected and the whole part can be visually recognized while keeping a bright part at a level where the bright part can be visually recognized.
  • Each of the imaging devices 10 is disposed on the outer peripheral portion of the dump truck 1 in order to capture an image in a range of 360 degrees around the dump truck 1.
  • the imaging device 11 is disposed in the front part of the dump truck 1.
  • the imaging device 11 images the imaging area 11 ⁇ / b> C that is a part of the area around the dump truck 1, and outputs image information of the imaging area 11 ⁇ / b> C to the controller 100.
  • the imaging area 11 ⁇ / b> C is an area that extends in front of the vehicle body 2 of the dump truck 1.
  • the imaging device 12 is disposed at the right end of the front portion of the dump truck 1 in the left-right direction.
  • the imaging device 12 images an imaging area 12C that is a part of the area around the dump truck 1, and outputs image information of the imaging area 12C to the controller 100.
  • the imaging area 12 ⁇ / b> C is an area that extends obliquely forward to the right of the vehicle body 2 of the dump truck 1.
  • the imaging device 13 is disposed at the left end of the front portion of the dump truck 1 in the left-right direction.
  • the imaging device 13 images an imaging area 13C that is a part of the area around the dump truck 1, and outputs image information of the imaging area 13C to the controller 100.
  • the imaging area 13 ⁇ / b> C is an area that extends diagonally to the left of the vehicle body 2 of the dump truck 1.
  • the imaging device 14 is disposed on the right side of the dump truck 1 in the left-right direction.
  • the imaging device 14 images an imaging area 14 ⁇ / b> C that is a part of the area around the dump truck 1, and outputs image information of the imaging area 14 ⁇ / b> C to the controller 100.
  • the imaging area 14 ⁇ / b> C is an area that extends obliquely to the right rear of the vehicle body 2 of the dump truck 1.
  • the imaging device 15 is disposed on the left side of the dump truck 1 in the left-right direction.
  • the imaging device 15 images the imaging area 15C that is a part of the area around the dump truck 1, and outputs image information of the imaging area 15C to the controller 100.
  • the imaging area 15 ⁇ / b> C is an area that extends diagonally to the left of the vehicle body 2 of the dump truck 1.
  • the imaging device 16 is disposed at the rear part of the dump truck 1.
  • the imaging device 16 images an imaging area 16C that is a part of the area around the dump truck 1, and outputs image information of the imaging area 16C to the controller 100.
  • the imaging area 16 ⁇ / b> C is an area that extends to the rear of the vehicle body 2 of the dump truck 1.
  • the plurality of imaging areas 11C to 16C are different areas around the dump truck 1.
  • the periphery monitoring system 7 can capture an image of 360 degrees around the dump truck 1 and acquire the image information.
  • the imaging areas 11C to 16C are collectively referred to as the imaging area 10C as appropriate.
  • the periphery monitoring system 7 uses a wide dynamic range camera for the imaging device 10. For this reason, the imaging apparatus 10 can brightly correct a dark portion such as a shaded portion of the dump truck 1 while maintaining a level where the bright portion can be visually recognized. Therefore, the image captured by the image capturing apparatus 10 is less likely to be crushed black and overexposed, and as a whole is more easily understood. As a result, the periphery monitoring system 7 including the imaging device 10 can display the overhead image 200 on the display device 50 in which an object such as a vehicle existing in the shadowed area of the dump truck 1 is easily visible.
  • the periphery monitoring system 7 monitors the periphery of the dump truck 1 using the image captured by the imaging device 10, an overhead image of objects around the dump truck 1 is obtained even in an environment where the contrast difference between light and dark is large. 200 can be displayed. As a result, the operator of the dump truck 1 can surely visually recognize an object existing around the dump truck 1, particularly in a shadow area, regardless of the environment.
  • the surroundings monitoring system 7 can generate the bird's-eye view image 200 that reliably displays objects around the dump truck 1 even in an environment where the contrast difference between light and dark is large. Can be reliably recognized by the bird's-eye view image 200. Therefore, the periphery monitoring system 7 is very effective in monitoring the periphery of the very large dump truck 1 used in the mine as described above.
  • the dump truck 1 may form a very large shadow area, move while creating the shadow area itself, and the shadow area greatly changes as the vessel 4 moves up and down. The area that becomes a blind spot is large.
  • the periphery monitoring system 7 In such a dump truck 1, the periphery monitoring system 7 generates a bird's-eye view image 200 that reliably displays objects around the dump truck 1, and gives the operator of the dump truck 1 accurate information around the dump truck 1. Can be provided. In addition, the periphery monitoring system 7 provides the operator of the dump truck 1 around the dump truck 1 with respect to the dump truck 1 that operates in a place where the illuminance difference between the sun and the shade is very large, such as immediately below the equator. Provide accurate information.
  • FIG. 12 is a plan view schematically showing an example of the imaging device 10 and the radar device 20 according to the present embodiment.
  • FIG. 14 is a diagram illustrating an example of the radar apparatus 20.
  • FIG. 15 is a diagram illustrating an example of the radar apparatus 20.
  • FIG. 16 is a schematic diagram illustrating an example of a detection area 20C (21C to 28C) detected by a plurality of radar devices 20 (21 to 28).
  • the radar device 20 (21 to 28) is disposed on the dump truck 1 and can detect objects around the dump truck 1.
  • the radar device 20 detects a relative position between an object existing around the dump truck 1 and the dump truck 1.
  • the radar apparatus 20 detects an object around the dump truck 1 in a non-contact manner, and outputs the detection result to the controller 100.
  • the radar apparatus 20 has, for example, a detection angle of 80 degrees ( ⁇ 40 degrees) in the azimuth (horizontal) direction and 16 degrees ( ⁇ 8 degrees) in the vertical (vertical) direction, and a UWB (Ultra Wide) with a maximum detection distance of 15 m or more. Band) radar (ultra-wide band radar).
  • Each of the radar devices 20 is disposed on an outer peripheral portion of the dump truck 1 in order to detect an object in a range of 360 degrees around the dump truck 1.
  • the radar device 20 includes a launching unit that can emit radio waves and a receiving unit that can receive radio waves. At least a part of the radio wave emitted from the emission unit of the radar apparatus 20 and applied to the object is reflected by the object.
  • the radar apparatus 20 receives the radio wave from the object reflected by the reflecting unit at the receiving unit.
  • the radar apparatus 20 receives radio waves from the object and detects the relative position between the radar apparatus 20 and the object.
  • the radar apparatus 20 is fixed to the dump truck 1 via a bracket. By detecting the relative position between the radar device 20 and the object, the relative position between the dump truck 1 and the object is detected.
  • the radar apparatus 20 includes a radar main body 81 having a launching section and a receiving section, and a protection member 83 that is a hood surrounding the radar main body 81.
  • the protective member 83 has a cutout portion where the cable 82 is pulled out.
  • the radar apparatus 20 includes a protection member 84 that covers an opening of a space surrounded by the protection member 83, that is, an opening on the launch side.
  • This protection member 84 protects the front surface and has strength, but it is necessary that the protection member 84 be a member through which a radar signal is transmitted. Moreover, it is preferable that it is a transparent member. This is because if it is transparent, condensation on the surface of the radar main body 81 can be visually confirmed.
  • the protective member 84 is formed of, for example, polycarbonate.
  • Radar device 21 is arranged in front of dump truck 1.
  • the radar device 21 is disposed on the left side of the center portion of the dump truck 1 in the left-right direction.
  • the radar apparatus 21 can detect an object in the detection area 21 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar apparatus 21 outputs the detection result to the controller 100.
  • the detection area 21 ⁇ / b> C is an area that extends diagonally forward to the right from the front portion of the vehicle main body 2 of the dump truck 1.
  • Radar device 22 is arranged at the front of dump truck 1.
  • the radar device 22 is arranged on the right side of the center portion of the dump truck 1 in the left-right direction.
  • the radar apparatus 22 can detect an object in the detection area 22 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar apparatus 22 outputs the detection result to the controller 100.
  • the detection area 22 ⁇ / b> C is an area that extends diagonally forward left from the front portion of the vehicle body 2 of the dump truck 1.
  • Radar device 23 is disposed on the right side of dump truck 1.
  • the radar apparatus 23 can detect an object in the detection area 23 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar apparatus 23 outputs the detection result to the controller 100.
  • the detection area 23C is an area extending from the right side of the vehicle main body 2 of the dump truck 1 to the right side.
  • Radar device 24 is disposed on the right side of dump truck 1.
  • the radar device 24 is disposed behind the radar device 23.
  • the radar device 24 can detect an object in the detection area 24 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar device 24 outputs the detection result to the controller 100.
  • the detection area 24C is an area extending from the right side of the vehicle main body 2 of the dump truck 1 to the right side.
  • the detection area 24C is located behind the detection area 23C.
  • the radar device 25 is disposed at the rear part of the dump truck 1.
  • the radar device 25 is disposed on the right side of the center portion of the dump truck 1 in the left-right direction.
  • the radar apparatus 25 can detect an object in the detection area 25 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar device 25 outputs the detection result to the controller 100.
  • the detection area 25 ⁇ / b> C is an area that extends diagonally left rearward from the rear portion of the vehicle body 2 of the dump truck 1.
  • the radar device 26 is disposed at the rear part of the dump truck 1.
  • the radar device 26 is arranged on the left side of the central portion of the dump truck 1 in the left-right direction.
  • the radar apparatus 26 can detect an object in the detection area 26 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar apparatus 26 outputs the detection result to the controller 100.
  • the detection area 26 ⁇ / b> C is an area extending diagonally right rearward from the rear part of the vehicle body 2 of the dump truck 1.
  • Radar device 27 is arranged on the left side of dump truck 1.
  • the radar device 27 can detect an object in the detection area 27 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar device 27 outputs the detection result to the controller 100.
  • the detection area 27C is an area that extends from the left side of the vehicle main body 2 of the dump truck 1 to the left side.
  • Radar device 28 is disposed on the left side of dump truck 1.
  • the radar device 28 is disposed in front of the radar device 27.
  • the radar apparatus 28 can detect an object in the detection area 28 ⁇ / b> C that is a part of the area around the dump truck 1.
  • the radar device 28 outputs the detection result to the controller 100.
  • the detection area 28 ⁇ / b> C is an area extending from the left side of the vehicle main body 2 of the dump truck 1 to the left side.
  • the detection area 28C is located in front of the detection area 27C.
  • the plurality of detection areas 21C to 28C are different areas around the dump truck 1.
  • the periphery monitoring system 7 can detect an object having an entire circumference of 360 degrees of the dump truck 1 and acquire the object information.
  • the detection areas 21C to 28C are collectively referred to as the detection area 20C as appropriate.
  • the radar device 20 is disposed at a position lower than the imaging device 10.
  • the imaging device 10 is disposed at a high position in order to generate the overhead view image 200.
  • the controller 100 includes a memory such as a CPU (Central Processing Unit) and a VRAM (Video Random Access Memory) which are arithmetic devices.
  • the controller 100 displays the presence or absence of an object around the dump truck 1 on the display device 50 using the imaging device 10 and the radar device 20.
  • the controller 100 includes an overhead image synthesis unit 110 that generates an overhead image 200, an acquisition unit 120 that acquires a command signal (input signal, operation signal), and positional information that generates positional information of an object.
  • the generation unit 130 the display control unit 140 that controls the display device 50, the mode control unit 150 that sets the mode of the dump truck 1, the determination unit 210 that determines whether the operating state of the radar device 20 is good, and the radar device 20
  • a processing unit 220 that processes the detection results of the detection, an abnormality detection unit 230 that detects an abnormality of the radar device 20, a storage unit 160, and a timer 170.
  • the overhead image synthesis unit 110 acquires image information from the imaging device 10.
  • the overhead image synthesis unit 110 synthesizes the acquired plurality of pieces of image information to generate an overhead image 200 around the dump truck 1.
  • the overhead image synthesis unit 110 performs coordinate conversion of each of the plurality of pieces of image information, and generates overhead image information for displaying the overhead image 200.
  • the position information generation unit 130 acquires the position information of the object from the radar device 20. In the normal work state, the position information generation unit 130 generates object position information to be displayed together with the overhead image 200 from the position information of the object acquired from the radar device 20 and outputs the object position information to the display control unit 140.
  • the display control unit 140 acquires various types of information from the imaging device 10, the overhead image synthesis unit 110, and the position information generation unit 130.
  • the display control unit 140 generates the overhead image 200 including the position information of the object based on the overhead image information from the overhead image synthesis unit 110 and the object position information from the position information generation unit 130.
  • the display control unit 140 can display the overhead image 200 on the display device 50.
  • the display control unit 140 can cause the display device 50 to display an index MK indicating the object position information.
  • the display control unit 140 can cause the display device 50 to display the index MK and the bird's-eye view image 200 so that they overlap on the screen of the display device 50.
  • the display control unit 140 can display the image of the imaging area 10 ⁇ / b> C on the display device 50 based on the image information from the imaging device 10.
  • the display control unit 140 can switch the display mode of the display device 50 based on a command signal from the input device 80.
  • the display control unit 140 can display both the image of the dump truck 1 and the bird's-eye view image 200 around the dump truck 1 and the index MK at the same time, or can display only the bird's-eye view image 200.
  • the display control unit 140 can switch the display mode of the display device 50 based on a command signal from the shift lever position sensor 37S. Based on the command signal from the shift lever position sensor 37S, the display control unit 140 displays information related to the traveling state of the dump truck 1 (at least one of a forward state, a reverse state, a neutral state, a parking state, and a gear stage state). get.
  • the display control unit 140 can switch the imaging area 10C (11C to 16C) displayed on the display device 50 in accordance with the operation of the shift lever 37. For example, when the shift lever 37 is operated so that the dump truck 1 is in the reverse drive state, the display control unit 140 displays an image of the imaging area 16C behind the dump truck 1 based on the detection result of the shift lever position sensor 37S. Is displayed. When the shift lever 37 is operated so that the dump truck 1 is in the forward state, the display control unit 140 displays an image of the imaging area 11C in front of the dump truck 1 based on the detection result of the shift lever position sensor 37S. To do.
  • the acquisition unit 120 receives a command signal (input signal, operation signal) from the input device 80, a command signal (input signal, operation signal) from the shift lever position sensor 37S, and a command signal (input signal) from the parking brake operation switch 37P. , Operation signal). Acquisition unit 120 outputs control information corresponding to the command signal to mode control unit 150.
  • the mode control unit 150 acquires control information from the acquisition unit 120.
  • the mode control unit 150 switches between the normal work state and the operation check mode for the dump truck 1 based on the control information from the acquisition unit 120.
  • the operation confirmation mode is a mode for checking the radar apparatus 20.
  • the normal work state is a state in which the dump truck 1 is normally operated (running), and is a state other than the operation confirmation mode being executed.
  • the operation confirmation mode is a mode for confirming whether the operation state of the radar apparatus 20 is good or not while the dump truck 1 is in the parking state before the work of the dump truck 1 is started (before operation).
  • the mode control unit 150 does not execute the operation confirmation mode.
  • the mode control unit 150 can determine whether or not the vehicle is in the parking state based on the input signal from the parking brake operation switch 37P.
  • the mode control unit 150 may determine whether or not the vehicle is in the parking state based on an input signal from the shift lever position sensor 37S.
  • the mode control unit 150 can determine that the dump truck 1 has changed from the parking state to the non-parking state based on the input signal from the shift lever position sensor 37S.
  • the non-parking state includes at least one of a forward state, a reverse state, and a neutral state.
  • the storage unit 160 stores a computer program for executing control of the dump truck 1 in each of the normal work state and the operation confirmation mode, data necessary for the control, and the like.
  • the controller 100 reads out and executes the computer program stored in the storage unit 160, or reads out data necessary for control, and executes control.
  • Timer 170 measures the elapsed time from the reference time.
  • the time measurement result of the timer 170 is output to the mode control unit 150, the storage unit 160, and the like.
  • the storage unit 160 refers to the output from the timer 170 and stores the operation confirmation mode implementation timing and the detection result of the radar device 20 in the operation confirmation mode.
  • the determination unit 210 is connected to the radar device 20.
  • the determination unit 210 acquires the detection result of the object in the detection area 20C (21C to 28C) of the radar device 20 (21 to 28).
  • the determination unit 210 determines whether the operating state of the radar apparatus 20 is good or not based on the detection result of the radar apparatus 20.
  • the determination unit 210 outputs the position information of the object acquired from the radar apparatus 20 to the processing unit 220.
  • the processing unit 220 outputs the position information of the object acquired from the radar device 20 to the position information generation unit 130.
  • FIG. 17 is a diagram illustrating an example of an image displayed on the display device 50 by the display control unit 140 of the controller 100.
  • the display device 50 can perform color display.
  • the symbol UP indicates the upper side of the display device 50.
  • the symbol UN indicates the lower side of the display device 50.
  • a symbol L indicates the left side of the display device 50.
  • the symbol R indicates the right side of the display device 50.
  • Reference symbol F indicates the front side of the dump truck 1.
  • a symbol B indicates the rear side of the dump truck 1.
  • the dump truck 1 is displayed on the display device 50 such that the upper side of the display device 50 is the front side of the dump truck 1 and the lower side of the display device 50 is the rear side of the dump truck 1.
  • FIG. 17 shows an image of the display device 50 when the radar device 20 is operating normally in the normal working state.
  • an image in the normal work state is displayed on the display device 50 during a period in which the dump truck 1 is in a non-parking state and is traveling at a low speed.
  • an image in the normal working state is displayed on the display device 50 during a low-speed traveling period in which the traveling speed of the dump truck 1 is a predetermined threshold (for example, 15 km / h) or less.
  • the display device 50 does not perform display based on the imaging result of the imaging device 10.
  • the display based on the imaging result of the imaging device 10 includes at least one of the overhead image 200 and the image of the imaging area 10 ⁇ / b> C captured by the imaging device 10.
  • the input device 80 includes an operation button (forced display button) that causes the display device 50 to perform display based on the imaging result of the imaging device 10 even during a high-speed traveling period.
  • the display control unit 140 can display an image on the display device 50 even during a high-speed traveling period.
  • the display control unit 140 sets the first image area 50 ⁇ / b> A, the second image area 50 ⁇ / b> B, and the third image area 50 ⁇ / b> C on the screen of the display device 50 by starting the normal work state. To do.
  • the first image area 50A, the second image area 50B, and the third image area 50C are set on the same screen. Separate images (independent images) are displayed in the first image area 50A, the second image area 50B, and the third image area 50C.
  • the first image area 50A an overhead image 200 generated based on the imaging result of the imaging device 10 is displayed.
  • the first image area 50A includes a line L0 indicating the position of the edge of the vehicle main body 2, a line L1 indicating a position of 3 meters from the edge of the vehicle main body 2, and a line indicating a position of 5 meters from the edge of the vehicle main body 2.
  • L2 and a line L3 indicating a position 7 meters from the edge of the vehicle main body 2 are displayed.
  • Line L0, line L1, line L2, and line L3 are displayed in different colors. For example, the line L0 is displayed in white, the line L1 is displayed in red, the line L3 is displayed in yellow, and the line L4 is displayed in black.
  • the dump truck 1 is displayed in yellow, for example.
  • the first image area 50A has a center line C1 that passes through the center of the vehicle body 2 in the left-right direction and extends in the front-rear direction, and a center that passes through the center of the vehicle body 2 in the front-back direction and extends in the left-right direction.
  • a line C2 is displayed.
  • the center line C1 and the center line C2 are parallel to the horizontal plane.
  • the second image area 50B images picked up by one selected image pickup device 10 among the plurality of image pickup devices 10 (11 to 16) are displayed.
  • an image of the imaging area 11C in front of the vehicle body 2 is displayed.
  • a part of the vehicle main body 2 is reflected in an image captured by the imaging device 10 (see reference numeral 2IM).
  • the display control unit 140 has one imaging area 10C out of the plurality of imaging areas 10C (11C to 16C) based on the operation of the shift lever 37 (operation signal of the shift lever position sensor 37S). Selected.
  • the display control unit 140 moves the front of the dump truck 1 based on the detection result of the shift lever position sensor 37S.
  • the image of the imaging area 11C is displayed in the second image area 50B.
  • the display control unit 140 displays the image of the imaging area 16C behind the dump truck 1 based on the detection result of the shift lever position sensor 37S.
  • the image is displayed in the two-image area 50B.
  • the imaging area 10 ⁇ / b> C displayed on the display device 50 is switched by operating the shift lever 37.
  • one imaging area 10C may be selected from the plurality of imaging areas 10C (11C to 16C), and the selected imaging area 10C may be displayed on the display device 50. That is, the imaging area 10 ⁇ / b> C displayed on the display device 50 may be switched by operating the input device 80.
  • Various icons are displayed in the third image area 50C.
  • the icon 51 indicating the imaging area 10C displayed in the second image area 50B and the operating states of the radar apparatus 20 (21 to 28) are displayed.
  • An icon 52 is displayed.
  • the icon 52 is displayed in a predetermined color (in this example, green).
  • the icon 52 is lit in green (continuously lit) without blinking.
  • three image areas are set on the screen of one display device 50.
  • one image area may be set on the screen of one display device 50, two image areas may be set, or four or more image areas may be set. Good.
  • FIG. 18 shows a display example of the display device 50 when the radar device 20 detects an object while the radar device 20 is operating normally. For example, when an object is present in the detection area 23C of the radar device 23 among the plurality of radar devices 20 (21 to 28), the radar device 23 detects the object. The detection result of the radar device 23 is output to the processing unit 220.
  • the processing unit 220 outputs the detection result of the radar device 23 to the position information generation unit 130.
  • the position information generation unit 130 generates object position information indicating the position information of the object acquired by the radar device 23 and outputs the object position information to the display control unit 140.
  • the display control unit 140 displays an index MK indicating an object on the display device 50 based on the object position information acquired from the position information generation unit 130. As illustrated in FIG. 18, the display control unit 140 displays the index MK on the overhead image 200 generated based on the imaging result of the imaging device 10.
  • the display control unit 140 displays identification information for identifying the detection area 20C where the object is present in the vicinity of the dump truck 1 based on the detection result of the radar device 20.
  • identification information for identifying the radar device 20 that detected the object among the plurality of radar devices 20 is displayed on the display device 50.
  • the identification information is, for example, the imaging area 10C (or the detection area 20C), characters, numbers, icons, or a combination thereof displayed around the dump truck 1 on the screen of the display device 50.
  • identification information for identifying the radar device 20 that detected the object is displayed in association with the imaging area 10C. That is, the identification information for identifying the radar device 20 that detected the object among the plurality of radar devices 20 is not displayed in association with the detection area 20C, but is displayed in association with the imaging area 10C.
  • the radar device 23 detects an object, and the object exists in an overlapping portion between the detection area 23C and the imaging area 12C. Therefore, as illustrated in FIG. 18, the display control unit 140 displays a frame image indicating the outer shape of the imaging area 12C. Note that when the radar device 23 detects an object and the object exists in an overlapping portion of the detection area 23C and the imaging area 14C, the display control unit 140 shows the outer shape of the imaging area 14C as shown in FIG. Display a frame image.
  • the frame image in which the index MK is arranged on the inner side may blink or may be displayed in a highlighted color such as red.
  • the display device 50 displays the detection result of the object (position of the index MK) by the radar device 20 using the imaging area 10C without using the detection area 20C.
  • FIG. 20 is a flowchart illustrating an example of inspection work of the radar device 20.
  • the inspection work includes a step (step SP1) of operating the electronic equipment of the dump truck 1 including the radar device 20 and the controller 100 when the dump truck 1 is in the parking state, and an input device in the parking state.
  • step SP2 is operated to generate a command signal indicating an operation confirmation mode (starting inspection mode) for inspection of the radar apparatus 20 (step SP2), and the object is moved around the dump truck 1 to move the radar apparatus 20 In the detection area 20C (step SP3), on the basis of the detection result of the radar apparatus 20 (step SP4), on the basis of the detection result of the radar apparatus 20, and on the radar in which the operation state is determined to be defective
  • step SP5 includes a step of terminating the operation check mode (step SP6), the.
  • the operator activates the electric system of the dump truck 1 using, for example, an ignition key (step SP1).
  • an ignition key By operating the ignition key, the above-described internal combustion engine may be activated, or the internal combustion engine may not be activated, and only the accessory power supply may be activated.
  • the dump truck 1 including the controller 100, the display device 50, the input device 80, the shift lever position sensor 37S, the parking brake operation switch 37P, the imaging device 10, the radar device 20, and the like.
  • the electronic device starts up.
  • the inspection work is performed while the dump truck 1 is parked.
  • the dump truck 1 is parked by the operation of the parking brake operation switch 37P.
  • the inspection work is performed in a wide area where no other object such as an obstacle exists around the dump truck 1.
  • the inspection work is performed in an empty state where there is no load on the vessel 4.
  • the inspection work is performed with the vessel 4 loaded.
  • the inspection work may be performed in a loaded state in which there is a load on the vessel 4.
  • the inspection work may be performed with the vessel 4 standing upright. When the vessel 4 is in the standing posture, the operations of the radar device 25 and the radar device 26 for detecting the rear of the vehicle body 2 are stopped.
  • the operation confirmation mode is a mode for performing an inspection of the radar device 20.
  • the operation confirmation mode is started by operating the input device 80. For example, among the plurality of operation buttons of the input device 80, the start of the operation confirmation mode is instructed by simultaneously pressing and holding the display mode changeover switch on the screen of the display device 50 and the obstacle confirmation clear button for 3 seconds or more simultaneously. A command signal for generating is generated.
  • the command signal indicating the operation confirmation mode generated by operating the input device 80 is output to the acquisition unit 120.
  • the acquisition unit 120 transmits the command signal to the mode control unit 150.
  • the mode control unit 150 sets the dump truck 1 to the operation confirmation mode. As a result, the operation confirmation mode is activated (started).
  • the operation check mode is started when the acquisition unit 120 of the controller 100 acquires the command signal while the dump truck 1 is in the parking state.
  • FIG. 21 shows an example of display on the display device 50 immediately after the operation check mode is started.
  • the mode control unit 150 outputs a start command signal for the operation check mode to the display control unit 140.
  • the display control unit 140 displays the dump truck 1 in the first image area 50A of the screen of the display device 50, and detects the dump truck 1 around the dump truck 1 in the first image area 50A of the screen.
  • Area 20C (21C to 28C) is displayed.
  • the display device 50 displays the detection area 20C (21C to 28C) of each of the plurality of radar devices 20 (21 to 28) along with the dump truck 1 in the vicinity of the dump truck 1.
  • the display control unit 140 displays the overhead view image 200 around the dump truck 1 generated based on the imaging result of the imaging device 10. At 50, the information is displayed around the dump truck 1.
  • the display control unit 140 displays the detection area 20C (21C to 28C) so as to overlap the overhead image 200.
  • a graphic showing the detection area 20C is displayed.
  • the entire detection area 20C is displayed, for example, colored yellow.
  • a frame image indicating the outer shape of the detection area 20C may be displayed, or the detection area 20C may be viewed so that both the detection area 20C and the overhead image 200 can be viewed in a state where the detection area 20C and the overhead image 200 overlap. It may be displayed semi-transparently.
  • an icon 53M indicating the operation check mode period is displayed in the third image area 50C.
  • the icon 53M is displayed in yellow.
  • the icon 53M blinks.
  • the icon 53M may be continuously lit.
  • step SP3 After the operation confirmation mode is started and the display device 50 displays the display shown in FIG. 21, the operator moves the object around the dump truck 1 (step SP3).
  • FIG. 22 is a schematic diagram showing an example of an object used in the inspection work.
  • a reflecting member 300 called a corner reflector is used as an object used in the inspection work.
  • the reflection member 300 is supported by a support member 301 such as a tripod.
  • the support member 301 may not be provided.
  • the reflecting member 300 is a triangular pyramid member made of metal such as iron or aluminum.
  • the reflecting member 300 has a reflecting portion (reflecting surface) that can reflect the radio wave emitted from the radar device 20.
  • the reflectance (reflection intensity) of the reflecting portion of the reflecting member 300 with respect to the radio wave is higher than the reflectance (reflection intensity) of an object around the reflecting member 300.
  • Objects around the reflecting member 300 include mine rocks and the like.
  • FIG. 23 is a schematic diagram illustrating an example of a state in which the operation of moving the reflecting member 300 around the dump truck 1 is performed.
  • the operator WM makes a round around the dump truck 1 while holding the reflecting member 300.
  • the operator WM moves while holding the reflecting member 300 so that the reflecting member 300 is arranged in each of the plurality of detection areas 20C.
  • the detection results of each of the plurality of radar devices 20 are output to the determination unit 210 of the controller 100.
  • the determination unit 210 determines whether the operating state of the radar apparatus 20 is good or not based on the detection result of the radar apparatus 20 (step SP4).
  • the determination unit 210 determines whether the operating state is good or not for each of the plurality of radar devices 20.
  • the determination unit 210 determines that the radar device 20 is normal (the operation state is good) when the detection value (signal intensity) of the radar device 20 exceeds a predetermined threshold value. On the other hand, when the detection value of the radar device 20 is equal to or less than a predetermined threshold, the determination unit 210 determines that the radar device 20 is abnormal (the operating state is defective).
  • the determination result of the determination unit 210 is output to the display control unit 140.
  • the display control unit 140 displays, on the display device 50, the detection area 20C of the radar device 20 in which the operation state is determined to be defective by the determination unit 210 among the plurality of radar devices 20, and the radar in which the operation state is determined to be good.
  • the detection area 20C of the device 20 is not displayed (step SP5).
  • all of the detection areas 20C (21C to 28C) of the plurality of radar devices 20 (21 to 28) are displayed on the display device 50.
  • the display control unit 140 deletes the detection area 20C of the radar device 20 that has been determined to be good by the determination unit 210 from the screen of the display device 50, and the detection area 20C of the radar device 20 that has been determined to be defective. Is left on the display device 50 without being erased (the display is continued).
  • FIG. 24 shows a display example of the display device 50 when the reflecting member 300 is moving around the dump truck 1 in the operation confirmation mode.
  • the reflecting member 300 is sequentially arranged in the plurality of detection areas 20C (21C to 28C).
  • the detection member 20C is erased from the display device 50 by arranging the reflecting member 300 in the detection area 20C.
  • the operator WM installs the reflective member 300 shown in FIG. 22 in the order of, for example, the detection area 21C, the detection area 22C, and the detection area 23C, the detection area 21C, the detection area 22C, and the detection where the reflective member 300 is installed.
  • the area 23C is erased sequentially from the display device 50.
  • FIG. 25 shows a display example of the display device 50 after it has been determined that the operation state of all the radar devices 20 is good because the reflecting member 300 makes a round around the dump truck 1 in the operation check mode.
  • the detection area 20C is not displayed in the first image area 50A of the display device 50.
  • an icon 53F indicating that the operating state of all the radar devices 20 is good is displayed in the third image area 50C.
  • the icon 53F is displayed in a different form from the icon 53M.
  • the icon 53F is, for example, green and is continuously lit.
  • FIG. 26 shows the state after the reflecting member 300 makes a round around the dump truck 1 in the operation confirmation mode, and it is determined that the operating state of the radar device 23 among the plurality of radar devices 20 (21 to 28) is defective.
  • the example of a display of the display apparatus 50 is shown. As shown in FIG. 26, the detection area 23 ⁇ / b> C is displayed in the first image area 50 ⁇ / b> A of the display device 50.
  • the display control unit 140 displays the dump truck 1 on the screen of the display device 50, and displays the detection area 23 ⁇ / b> C of the radar device 23 determined to be defective around the dump truck 1 on the screen of the display device 50.
  • the operator WM who has finished the work of moving the reflecting member 300 around the dump truck 1 gets on the cab 3.
  • the operator WM can recognize whether or not the operating states of all the radar devices 21 to 28 are good by looking at the display device 50.
  • the parking state is released by operating the shift lever 37 by the operator WM. That is, when the shift lever 37 is operated so that the dump truck 1 is in the forward traveling state or the reverse traveling state, the parking state is released.
  • An operation signal indicating the operation of the shift lever 37 is output from the shift lever position sensor 37S to the acquisition unit 120 and the display control unit 140.
  • the acquisition unit 120 outputs the operation signal to the mode control unit 150.
  • the mode control unit 150 receives the operation signal, the mode control unit 150 ends the operation check mode and starts a normal work state (step SP6). As described above, in the present embodiment, when the parking state is released by the operation of the shift lever 37, the operation check mode is ended and the normal working state is started.
  • the operator WM when the operator WM recognizes that all the operating states of the plurality of radar devices 20 are good via the display device 50, the operator WM starts normal work. May be.
  • the operator WM starts traveling the dump truck 1 while confirming whether or not an object exists around the dump truck 1 based on the detection result (index MK) of the radar apparatus 20 displayed on the display device 50. can do.
  • the display device 50 displays an image as described with reference to FIGS. 17 and 18. indicate. Accordingly, it is possible to smoothly check the safety of the surroundings when the dump truck 1 starts or runs at a low speed. As shown in FIGS.
  • the icon (53F) indicating the operation confirmation mode is displayed. Then, it is erased from the screen of the display device 50.
  • the traveling speed of the dump truck 1 exceeds a threshold (for example, 15 km / h)
  • a threshold for example, 15 km / h
  • an image based on the imaging result of the imaging device 10 such as the overhead image 200 is not displayed on the display device 50.
  • the traveling speed of the dump truck 1 exceeds a threshold (for example, 15 km / h)
  • the operation of the radar device 20 is stopped, and the indicator MK based on the detection result of the radar device 20 is not displayed on the display device 50.
  • the detection area 23 ⁇ / b> C that is the identification information of the radar device 23 determined to be defective by the determination unit 210 is displayed on the display device 50. If the operator WM recognizes the user, a predetermined measure is taken. For example, measures such as a serviceman dispatch request and repair or replacement of the radar device 23 are taken.
  • the operation check mode is ended by operating the shift lever 37 and the normal working state is started. .
  • the operator WM can start normal work.
  • FIG. 27 shows a display example of the display device 50 when the dump truck 1 is in a normal working state when it is determined that some of the plurality of radar devices 20 are in an operating state. .
  • the icon 53M is displayed as shown in FIG.
  • the icon 53M is displayed in a form different from the icon 53F.
  • the icon 53M is, for example, yellow and blinks.
  • the display device 50 displays the icon 53M that is warning information indicating the presence of the radar device determined to be defective in the operation check mode.
  • the determination unit 210 does not arrange the reflection member 300. It is determined that the operating state of the radar device 20 in the detection area 20C is defective. Even in such a case, in the normal work state after the end of the operation check mode, the display device 50 displays the icon 53M that is warning information indicating the presence of the radar device 20 determined to be defective in the operation check mode.
  • the execution time of the operation check mode and the detection result (the quality of the operation state) of the radar device 20 in the operation check mode are stored in the storage unit 160.
  • the controller 100 has a timer 170 and stores in the storage unit 160 the timing for performing the operation check mode (inspection work) and the detection result of the radar device 20 in the operation check mode (operating state pass / fail) in association with the time. . Thereby, the performance analysis of the radar apparatus 20 etc. can be performed using the memory
  • the timer 170 has a calendar clock function.
  • the calendar clock function is a function for counting year, month, day, hour, minute, and second.
  • FIG. 28 is a flowchart showing an example of the operation of the periphery monitoring system 7 when an abnormality occurs in the radar apparatus 20. As shown in FIG. 28, a step of detecting an abnormality of the radar device 20 (step SQ1) and a step of displaying the detection area 20C of the radar device 20 where the abnormality has occurred on the display device 50 (step SQ2) are executed.
  • step SQ1 a step of detecting an abnormality of the radar device 20
  • step SQ2 a step of displaying the detection area 20C of the radar device 20 where the abnormality has occurred on the display device 50
  • an abnormality may occur in the radar device 20 for some reason.
  • the abnormality of the radar device 20 includes a failure or breakage of the radar device 20.
  • abnormalities in the radar device 20 include malfunctions due to temperature abnormalities, voltage abnormalities, noise (internal noise and external noise), and hardware failures (damage) such as semiconductor chips. including.
  • the abnormality of the radar device 20 includes disconnection of an electric cable connected to the radar device 20.
  • the temperature abnormality can be detected by a temperature sensor provided in the radar device 20.
  • the voltage abnormality can be detected with a voltmeter that can detect the voltage applied to the radar device 20.
  • the controller 100 includes an abnormality detection unit 230.
  • the abnormality detection unit 230 can detect the above-described abnormality and can acquire abnormality information. If the abnormality detection unit 230 determines that an abnormality has occurred in the radar apparatus 20, the abnormality detection unit 230 outputs an abnormality signal indicating the abnormality to the display control unit 140 (step SQ1).
  • FIG. 29 shows a display example of the display device 50 when an abnormality has occurred in the radar device 20.
  • the display control unit 140 displays the dump truck 1 in the first image area 50A of the screen of the display device 50, and displays the detection area 20C of the radar device 20 in which an abnormality has occurred in the display device 50. Displayed around the dump truck 1 on the screen.
  • an abnormality occurs in the radar device 21, the radar device 22, the radar device 23, and the radar device 24, and the radar device 21, the radar device 22, the radar device 23, and the detection area 21C of the radar device 24 in which the abnormality has occurred.
  • An example in which the detection area 22C, the detection area 23C, and the detection area 24C are displayed around the dump truck 1 on the screen of the display device 50 is shown.
  • the display control unit 140 displays a bird's-eye view image 200 around the dump truck 1 around the dump truck 1 and overlaps the bird's-eye view image 200 with a detection area 21C, a detection area 22C, The detection area 23C and the detection area 24C are displayed on the display device 50.
  • the display control unit 140 blinks the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C on the screen of the display device 50.
  • the display control unit 140 displays the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C in a color different from that in the operation check mode.
  • the detection area of the radar apparatus 20 that is determined to be defective in the operation check mode is displayed in yellow, and the detection area 20C of the radar apparatus 20 that is determined to have an abnormality is red. Is displayed.
  • the blinking of the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C indicates the display operation for displaying the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C, and the detection area 21C and the detection area 22C.
  • the display operation period in the display device 50, a part of the bird's-eye view image 200 is hidden by the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C (becomes invisible).
  • the overhead image 200 hidden in the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C is displayed (becomes visible) on the display device 50.
  • FIG. 31 is a timing chart showing an example of a non-display operation that does not display the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C, and a display operation that displays.
  • the non-display operation period T1 is longer than the display operation period T2.
  • the period during which a part of the overhead image 200 is hidden by the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C is shortened, and the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C Even in the displayed state, it is easy to visually recognize the overhead image 200.
  • FIG. 32 shows a display example of the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C of the radar apparatus 21, the radar apparatus 22, the radar apparatus 23, and the radar apparatus 24 in which an abnormality has occurred.
  • the display control unit 140 detects the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C and the detection area 24C in a state where the detection area 24C and the overhead image 200 overlap on the screen of the display device 50.
  • the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C may be displayed semi-transparently on the screen of the display device 50 so that both the detection area 24C and the overhead image 200 are visually recognized. . This also makes it easy to view the overhead image 200 in a situation where the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C are displayed.
  • the display control unit 140 displays an icon 54 and an icon 55 indicating that an abnormality has occurred in the third image area 50C. Further, the display control unit 140 sets the fourth image area 50D, displays the icon 56 in the fourth image area 50D, and displays the error code 57.
  • ER01 indicated by the error code 57 is an example in which the content of the abnormal phenomenon and the part where the abnormality has occurred are coded.
  • the radar device 21, the radar device 22, the radar device 23, and the radar device 24 are abnormal in the normal working state, the radar device 25, the radar device 26, the radar device 27, and the radar are detected.
  • Device 28 is normal. Therefore, for example, when the radar device 27 detects an object, as shown in FIG. 33, the display device 50 includes a detection area 21C, a detection area 22C, a detection area 23C, and a detection area 24C, and imaging in which the object exists. A frame image showing the outer shape of the area 15C is displayed.
  • the imaging area 15C is an imaging area 10C that overlaps the detection area 27C of the radar device 27 that has detected the object among the plurality of imaging areas 10C (11C to 16C).
  • the form of the imaging area 10C (11C to 16C) is different from the form of the detection area 20C (21C to 28C).
  • the form includes an outline, a size, and a design on the screen.
  • the radar device 21, the radar device 22, the radar device 23, and the radar device 24 in which an abnormality has occurred are displayed using the detection area 21C, the detection area 22C, the detection area 23C, and the detection area 24C. 50 screens.
  • the normal radar device 27 that has detected the object is displayed on the screen of the display device 50 using the imaging area 15C.
  • the display control unit 140 differs between the detection area 20C of the radar device 20 in which an abnormality has occurred and the detection area 20C (imaging area 10C) of the normal radar device 20 that has detected an object. Display in form.
  • the display control unit 140 includes a detection area 20C of the radar apparatus 20 in which an abnormality has occurred and a detection area 20C (imaging image) of the normal radar apparatus 27 that has detected an object among the plurality of radar apparatuses 20. Area 15C) is simultaneously displayed in different forms. This makes it easy for the operator WM to distinguish between the radar apparatus 20 in which an abnormality has occurred and the radar apparatus 20 performing normal operation. Further, the operator WM can simultaneously acquire a plurality of information on one screen.
  • the display control unit 140 displays the radar device 20 that has detected the object in the normal working state using the imaging area 10C, and detects the radar device 20 that is determined to be defective in the operation check mode. Display using area 20C.
  • the display device 50 includes the identification information of the radar device 20 that has detected the object in the normal operation state before or after the operation check mode is started, and the identification information of the radar device 20 that is determined to be defective in the operation check mode. Are displayed in different forms, so that the operator WM can easily distinguish these differences.
  • the identification information (detection areas 21C to 24C) of the radar apparatus 20 (21 to 24) in which an abnormality has occurred as shown in FIG. 29 is displayed even when the dump truck 1 is traveling at high speed in the normal working state. Also good.
  • the display control unit 140 displays the overhead image 200 in the first image area 50A and the detection area 21C, as shown in FIG. An image including the detection area 22C, the detection area 23C, and the detection area 24C may be displayed on the display device 50.
  • the operator WM can recognize the radar devices 21 to 24 in which an abnormality has occurred.
  • the identification information (detection areas 21C to 24C) of the radar devices 21 to 24 in which an abnormality has occurred is displayed even when the dump truck 1 is traveling at a high speed in the normal working state. It may be broken.
  • the identification information of the radar device 20 that is determined to be defective by the determination unit 210 in the operation confirmation mode for the inspection of the radar device 20 is displayed on the display device 50. As a result, it is possible to prevent the operator WM from continuing the work without recognizing the situation even though the radar apparatus 20 does not operate normally.
  • the identification information of the radar apparatus 20 that is determined to be abnormal by the abnormality detection unit 230 is displayed on the display device 50 in the normal working state. Nevertheless, the operator WM is prevented from continuing work without recognizing the situation.
  • the operator WM can execute a predetermined measure such as repair or continue the work carefully while recognizing the presence of the defective radar device 20. . Therefore, the contact between the object existing around the dump truck 1 and the dump truck 1 is suppressed. For example, when the dump truck 1 starts and travels at a low speed, a problem that the dump truck 1 traps an object is suppressed.
  • the periphery monitoring system 7 can assist the operator WM to recognize the state of the radar device 20 using the display device 50.
  • a plurality of radar devices 20 are arranged so that different regions around the dump truck 1 can be detected, and the controller 100 determines whether the operating state is good or not for each of the plurality of radar devices 20. be able to. As a result, the operator WM can individually recognize whether the operating states of the plurality of radar apparatuses 20 are good or bad.
  • the dump truck 1 when the operating state of the radar device 20 is defective or when an abnormality occurs, the dump truck 1 is displayed on the screen of the display device 50, and the radar device having a defective operating state. 20 or a detection area 20C of the radar device 20 in which an abnormality has occurred is displayed around the dump truck 1.
  • the periphery monitoring system 7 can visually appeal the detection area 20C of the defective or abnormal radar apparatus 20 to the operator WM.
  • the operator WM can intuitively grasp the detection area 20C of the radar device 20 in which the operating state is defective or abnormal. Therefore, the burden and stress on the operator WM are reduced, and safe work is performed.
  • the overhead image 200 around the dump truck 1 generated based on the imaging result of the imaging device 10 is displayed around the dump truck 1 on the screen of the display device 50, and the overhead image is displayed.
  • the detection area 20 ⁇ / b> C of the radar device 20 whose operation state is defective or abnormal is displayed so as to overlap with 200. Thereby, when an object exists in the detection area 20 ⁇ / b> C, the operator WM can visually recognize an image (optical image) of the object based on the imaging result of the imaging device 10.
  • the periphery monitoring system 7 detects all the objects around the dump truck 1 using both the radar device 20 and the imaging device 10, and sufficiently supports the recognition of the operator WM for the objects. can do.
  • the radar device 20 can detect an object in a wider range (far distance) than the imaging device 10, and the display device 50 can intuitively tell the operator WM the position of the object using the index MK.
  • the imaging apparatus 10 can cause the operator WM to recognize an object image (optical image).
  • both the information from the radar device 20 and the information from the imaging device 10 are displayed on the display device 50. Therefore, for example, when it is recognized that an object (reflecting member 300) exists around the dump truck 1 based on the imaging result of the imaging apparatus 10, the radar apparatus 20 does not detect the object.
  • the operator WM itself can determine that the operating state of the radar apparatus 20 is defective.
  • the radar device 20 outputs a detection result in which an object is present even though it is recognized that no object (reflecting member 300) exists around the dump truck 1. In this case, the operator WM itself can determine that the operating state of the radar apparatus 20 is defective. In this way, the operator WM can check the accuracy of the start-up inspection by itself based on both the information from the radar device 20 displayed on the display device 50 and the information from the imaging device 10. .
  • the display device 50 displays the detection area 20C of the radar device 20 determined to be defective, and does not display the detection area 20C of the detection device 20 determined to be good.
  • the operator WM can instantly recognize the radar device 20 in a good operating state and the bad radar device 20.
  • the display device 50 displays the detection area 20C of each of the plurality of radar devices 20, and the radar device 20 in which the operating state is determined to be good by the determination unit 210.
  • the detection area 20C is erased.
  • the operator WM can smoothly recognize the radar device 20 in a good operating state.
  • the operation confirmation mode is started when a command signal is acquired while the dump truck 1 is in the parking state. Thereby, the inspection work including the work of moving the reflecting member 300 around the dump truck 1 can be performed safely. Further, when the parking state is released, the operation confirmation mode is ended, so that the operation confirmation mode can be smoothly shifted to the normal work state.
  • the display device 50 does not perform the operation check even if the radar device 20 whose operation state is determined to be defective is repaired without changing the normal operation state.
  • Warning information (in this embodiment, the icon 53M shown in FIG. 27) indicating the presence of the radar apparatus 20 determined to be defective in the mode is displayed. Thereby, even if it transfers to a normal work state, it can continue making operator WM recognize presence of the radar apparatus 20 with a bad operation state.
  • the display device 50 displays the identification information of the radar device 20 that has detected the object in the normal working state and the identification information of the radar device 20 that has been determined to be defective in the operation check mode in different forms. To do.
  • the detection area 20C of the radar device 20 in which an abnormality has occurred in the normal work state and the detection area 20C (imaging area 10C) of the normal radar device 20 that detected the object are displayed in different forms. .
  • the operator WM can correctly recognize whether the display is an abnormal radar device 20 display or the result of detecting an object.
  • the detection area 20C of the radar device 20 in which an abnormality has occurred and the detection area 20C (imaging area 10C) of the normal radar device 20 that has detected the object are simultaneously displayed in different forms.
  • the operator WM can correctly recognize a plurality of pieces of information collectively.
  • the execution time of the operation check mode and the detection result of the radar device 20 in the operation check mode are stored in the storage unit 160. Thereby, the performance analysis of the radar apparatus 20 etc. can be performed using the memory
  • the display apparatus 50 when an abnormality occurs in the radar apparatus 20 in the normal work state, the display apparatus 50 blinks the detection area 20C on the screen. Accordingly, the periphery monitoring system 7 can visually appeal the presence of the radar device 20 in which an abnormality has occurred. Further, when the bird's-eye view image 200 is displayed on the screen of the display device 50 by blinking the detection area 20C, the display device 50 blinks even if the detection area 20C is displayed over the bird's-eye view image 200.
  • the overhead image 200 can be visually recognized by the operator WM during the non-display operation period of the detection area 20C.
  • the non-display operation period in which the detection area 20C is not displayed is longer than the display operation period in which the detection area 20C is displayed. Therefore, even if the detection area 20C is displayed so as to overlap the overhead image 200, the display device 50 can cause the operator WM to sufficiently view the overhead image 200 during the non-display operation period of the detection area 20C in blinking. it can.
  • the display device 50 may semi-transparently display the detection area 20C on the screen. Thereby, even if the detection area 20C is displayed so as to overlap the bird's-eye view image 200, the display device 50 can sufficiently make the operator WM visually recognize both the detection area 20C and the bird's-eye view image 200.
  • display is performed using the imaging area 10 ⁇ / b> C as identification information of the radar apparatus 20 that is determined to be defective in the operation state in the operation check mode. You may display using the detection area 20C.
  • the imaging area 10C (or the detection area 20C) around the dump truck 1 on the screen of the display device 50 is used as the identification information of the radar device 20 that is determined to be defective in the operation confirmation mode. Is to be displayed.
  • identification information of the radar apparatus 20 that is determined to have a poor operating state letters or numbers may be used, or icons may be used.
  • the radar device 20 that is determined to be defective in the operation check mode among the plurality of radar devices 20 is the radar device 23, the characters “radar device 23 is defective in operation” are displayed on the screen of the display device 50. May be displayed.
  • the detection device 20 is a radar device.
  • the detection device only needs to be able to detect an object around the dump truck 1 without contact.
  • the detection device may be, for example, a laser device that detects an object based on laser light applied to the object.
  • the display device 50 displays both the index MK (and icon) indicating the detection result of the radar device 20 and the image (including the overhead image 200) indicating the imaging result of the imaging device 10. I decided to display it.
  • the display device 50 may not display the imaging result of the imaging device 10.
  • the dump truck 1 may not have the imaging device 10.
  • the work vehicle 1 is a dump truck.
  • the work vehicle 1 may be a hydraulic excavator having a lower traveling body, an upper swing body, and a work implement.
  • an imaging device, a lator device, and the like may be installed on the upper swing body.

Abstract

 周辺監視システムは、作業車両に配置され、作業車両の周辺の物体を検出可能な検出装置と、作業車両に配置され、画面に作業車両を表示するとともに異常が発生した検出装置の検出エリアを画面において作業車両の周辺に表示する表示装置と、を備える。

Description

周辺監視システム、作業車両、及び周辺監視方法
 本発明は、周辺監視システム、作業車両、及び周辺監視方法に関する。
 鉱山の採掘現場において、ダンプトラック及び油圧ショベルのような作業車両が稼働する。鉱山において使用される作業車両は大型である。そのため、サイドミラーなどによって周辺の状況をオペレータが認識しやすくするため、作業車両の周辺の物体を検出可能な検出装置を用いて作業車両の周辺を監視する周辺監視システムが提案されている。カメラを使った周辺監視装置の一例が特許文献1に開示されている。
特開2008-248613号公報
 周辺監視システムにおいて、検出装置が正常に作動しない状況をオペレータに認識させるようにすることが好ましい。
 本発明の態様は、検出装置の状態の認識を支援できる周辺監視システム、作業車両、及び周辺監視方法を提供することを目的とする。
 本発明の第1の態様は、作業車両に配置され、前記作業車両の周辺の物体を検出可能な検出装置と、前記作業車両に配置され、画面に前記作業車両を表示するとともに異常が発生した前記検出装置の検出エリアを前記画面において前記作業車両の周辺に表示する表示装置と、を備える周辺監視システムを提供する。
 本発明の第1の態様において、作業車両に配置され、前記作業車両の周辺の物体を検出可能な検出装置と、前記作業車両に配置され、画面に前記作業車両を表示するとともに異常が発生した前記検出装置の検出エリアを前記画面において前記作業車両の周辺に表示する表示装置と、を備えることが好ましい。
 本発明の第1の態様において、前記作業車両に配置され、前記作業車両の周辺を撮像する撮像装置を備え、前記表示装置は、前記撮像装置の撮像結果に基づいて生成された前記作業車両の周辺の俯瞰画像を前記作業車両の周辺に表示し、前記俯瞰画像に重なるように前記検出エリアを表示することが好ましい。
 本発明の第1の態様において、前記表示装置は、前記画面の前記検出エリアを点滅させることが好ましい。
 本発明の第1の態様において、前記検出エリアの点滅は、前記検出エリアを表示する表示動作と前記検出エリアを表示しない非表示動作とを繰り返すことを含み、前記非表示動作の期間は前記表示動作の期間よりも長いことが好ましい。
 本発明の第1の態様において、前記表示装置は、前記検出エリアと前記俯瞰画像とが重なった状態で前記検出エリア及び前記俯瞰画像の両方が視認されるように前記検出エリアを半透明表示することが好ましい。
 本発明の第1の態様において、前記表示装置は、異常が発生した前記検出装置の検出エリアと、物体を検出した正常な検出装置の検出エリアとを異なる形態で表示することが好ましい。
 本発明の第1の態様において、前記検出装置は、前記作業車両の周辺の異なる領域が検出されるように複数配置され、前記表示装置は、複数の前記検出装置のうち、異常が発生した検出装置の検出エリアと、物体を検出した正常な検出装置の検出エリアとを異なる形態で同時に表示可能であることが好ましい。
 本発明の第2の態様は、第1の態様の周辺監視システムを備える作業車両を提供する。
 本発明の第3の態様は、作業車両に配置された前記作業車両の周辺の物体を検出装置で検出することと、前記作業車両に配置された表示装置の画面に前記作業車両を表示するとともに異常が発生した前記検出装置の検出エリアを前記画面において前記作業車両の周辺に表示することと、を含む周辺監視方法を提供する。
 本発明の態様によれば、検出装置の状態の認識を支援できる。
図1は、本実施形態に係る作業車両の一例を示す斜視図である。 図2は、本実施形態に係るキャブの一例を示す図である。 図3は、本実施形態に係る周辺監視システムの一例を示すブロック図である。 図4は、ダンプトラックに設けられる撮像装置の配置位置を示す図である。 図5は、ダンプトラックに設けられるレーダ装置の配置位置を示す図である。 図6は、車両本体の前方を検出するレーダ装置の具体的な配置を示す図である。 図7は、車両本体の左側方を検出するレーダ装置の具体的な配置を示す図である。 図8は、車両本体の右側方を検出するレーダ装置の具体的な配置を示す図である。 図9は、車両本体の後方を検出するレーダ装置の具体的な配置を示す図である。 図10は、車両本体の左側面とレーダ装置の照射状態を示す図である。 図11は、車両本体の後方とレーダ装置の照射状態を示す図である。 図12は、本実施形態に係る撮像装置及びレーダ装置の一例を模式的に示す平面図である。 図13は、本実施形態に係る撮像装置の撮像エリア及び俯瞰画像の一例を示す模式図である。 図14は、本実施形態に係るレーダ装置の一例を示す図である。 図15は、本実施形態に係るレーダ装置の一例を示す図である。 図16は、本実施形態に係るレーダ装置の検出エリアの一例を示す模式図である。 図17は、本実施形態に係る表示装置の一例を示す図である。 図18は、本実施形態に係る表示装置の一例を示す図である。 図19は、本実施形態に係る表示装置の一例を示す図である。 図20は、本実施形態に係るレーダ装置の点検作業の一例を示すフローチャートである。 図21は、本実施形態に係る表示装置の一例を示す図である。 図22は、本実施形態に係る点検作業において使用される物体の一例を示す模式図である。 図23は、本実施形態に係る点検作業の一例を示す模式図である。 図24は、本実施形態に係る表示装置の一例を示す図である。 図25は、本実施形態に係る表示装置の一例を示す図である。 図26は、本実施形態に係る表示装置の一例を示す図である。 図27は、本実施形態に係る表示装置の一例を示す図である。 図28は、本実施形態に係る周辺監視システムの動作の一例を示すフローチャートである。 図29は、本実施形態に係る表示装置の一例を示す図である。 図30は、本実施形態に係る表示装置の一例であって、検出エリアが点滅することを示す模式図である。 図31は、本実施形態に係る表示装置の動作を説明するためのタイミングチャートである。 図32は、本実施形態に係る表示装置の一例を示す図である。 図33は、本実施形態に係る表示装置の一例を示す図である。
 以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下の説明において、前方、後方、左方、及び右方は、運転席を基準とする。前方は、運転席に着座したオペレータの視線の前方であり、運転席からステアリングホイールに向かう方向である。後方は、前方の反対方向であり、ステアリングホイールから運転席に向かう方向である。作業車両の車幅方向は、作業車両の左右方向と一致する。
<作業車両>
 図1は、本実施形態に係る作業車両1の一例を示す斜視図である。本実施形態においては、作業車両1がダンプトラック(オフロードダンプトラック)1である例について説明する。ダンプトラック1は、鉱山における作業に使用される自走式の車両である。ダンプトラック1は、リジッドフレーム式でもよいし、アーティキュレート式でもよい。
 図1に示すように、ダンプトラック1は、車両本体2と、車両本体2に設けられたキャブ3と、車両本体2に支持され積荷が積載されるベッセル4と、車両本体2を支持して移動可能な走行装置5とを備えている。
 また、ダンプトラック1は、ダンプトラック1の周辺を監視して、ダンプトラック1の周辺の状況をオペレータに認識させるための周辺監視システム7を備えている。
 走行装置5は、前輪5A及び後輪5Bを有する。走行装置5は、ダンプトラック1に設けられた動力発生装置が発生する動力によって作動する。動力発生装置は、ディーゼルエンジンのような内燃機関及び電動機の少なくとも一方を含む。
 本実施形態において、ダンプトラック1は、ディーゼルエレクトリック駆動方式を採用する。ダンプトラック1は、ディーゼルエンジンと、ディーゼルエンジンが発生した動力によって駆動される発電機と、発電機が発生した電力によって駆動される電動機とを有する。走行装置5は、電動機から伝達された動力によって走行する。
 なお、内燃機関が発生した動力がパワートレインを介して走行装置5に伝達されることによって、走行装置5が走行してもよい。トロリーを介して架線から供給された電力で電動機が駆動され、その電動機から伝達された動力によって走行装置5が走行してもよい。
 車両本体2は、アッパデッキ2bと、前後方向に配置されたフレーム2fとを有する。フレーム2fは、動力発生装置と、前輪5A及び後輪5Bを含む走行装置5とを支持する。フレーム2fは、ロアデッキ2a及びアッパデッキ2bを有する。ダンプトラック1は、ロアデッキ2aとアッパデッキ2bとを有する二重デッキ構造である。
 ロアデッキ2aは、フレーム2fの前面の下部に配置される。アッパデッキ2bは、ロアデッキ2aの上方に配置される。ロアデッキ2aの下方に可動式ラダー2cが配置される。ロアデッキ2aとアッパデッキ2bとの間に斜めラダー2dが配置される。ロアデッキ2aとアッパデッキ2bとの間にラジエータが配置されている。アッパデッキ2bの上部に手すり2eが配置される。
 キャブ3は、運転席が配置される運転室である。キャブ3は、アッパデッキ2bに配置される。キャブ3にオペレータが搭乗する。キャブ3に配置されている各種の操作装置がオペレータに操作される。
 ベッセル4は、積荷を積載する。例えば、鉱山の積込場で砕石のような積荷がベッセル4に積み込まれる。ベッセル4は、油圧シリンダのようなアクチュエータによって昇降可能である。アクチュエータは、車両本体2とベッセルとの間に配置され、ベッセル4を昇降可能である。ベッセル4は、アクチュエータの作動により、積載姿勢及び起立姿勢の少なくとも一方の姿勢に調整される。積載姿勢は、ベッセル4の前部がキャブ3の上部に配置される姿勢である。起立姿勢は、積荷を排出するダンプ姿勢である。本実施形態において、ダンプトラック1は、リアダンプ方式であり、ベッセル4を後方に傾けることによってベッセル4から積荷が排出される。なお、ダンプトラック1は、ベッセル4を左右の側方に傾けることによってベッセル4から積荷を排出するサイドダンプ方式でもよい。ベッセル4は、プロテクタと呼ばれる鍔部4Fを有する。鍔部4Fは、ベッセル4の前部に配置され、キャブ3の上方に配置可能である。鍔部4Fは、キャブ3の上方に配置されることによって、キャブ3を保護する。
<キャブ>
 次に、本実施形態に係るキャブ3について、図2を参照して説明する。図2は、本実施形態に係るキャブ3の一例を示す図である。図2に示すように、キャブ3は、複数の支柱3a、3b、3c、3dを含むROPS(Roll-Over Protection System:転倒時保護構造)を有する。ダンプトラック1が転倒した場合、ROPSは、キャブ3のオペレータを保護する。
 キャブ3に、運転席31、ステアリングホイール32、ダッシュカバー33、無線装置34、アクセルペダル35A、ブレーキペダル35Bf、セカンダリブレーキペダル35Bs、リターダ36、シフトレバー37、シフトレバーポジションセンサ37S、パーキングブレーキ操作スイッチ37P、ダンプレバー38、操作パネル8、及びコントローラ100が配置される。
 運転席31にオペレータが着座する。ステアリングホイール32は、運転席31のオペレータによって操作される。ステアリングホイール32が操作されることにより、走行装置5の走行方向(進路)が調整される。シフトレバー37は、運転席31のオペレータによって操作される。シフトレバー37が操作されることにより、ダンプトラック1の進行方向(前進又は後進)が切り替えられる。また、シフトレバー37が操作されることにより、速度段が切り替えられる。
 操作パネル8は、複数の操作ボタンを含む入力装置80と、フラットパネルディスプレイのような表示装置50とを有する。表示装置50をモニタと称してもよい。入力装置80の操作により生成された指令信号(入力信号、操作信号)は、コントローラ100に出力される。表示装置50は、コントローラ100から出力された情報を表示する。周辺監視システム7は、コントローラ100、入力装置80、及び表示装置50を含む。
 操作パネル8は、ダッシュカバー33に配置されてもよいし、ダッシュカバー33の上に配置されてもよいし、キャブ3の天井から吊り下げられてもよい。操作パネル8は、オペレータが入力装置80を操作でき、表示装置50を視認できる位置に配置されればよい。コントローラ100が配置される位置も任意である。
 シフトレバーポジションセンサ37Sは、シフトレバー37の位置を検出する。シフトレバーポジションセンサ37Sの検出結果は、コントローラ100に出力される。コントローラ100は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の走行状態(走行モード)に関する情報を取得する。ダンプトラック1の走行状態は、前進状態、後進状態、中立状態、パーキング(駐車)状態、及び変速段状態の少なくとも一つを含む。
 パーキングブレーキ操作スイッチ37Pは、ダンプトラック1の駐車においてパーキングブレーキを作動させるために操作される。パーキングブレーキ操作スイッチ37Pの操作により生成された指令信号は、コントローラ100に出力される。コントローラ100は、パーキングブレーキ操作スイッチ37Pからの指令信号に基づいて、ダンプトラック1の走行状態(パーキング状態か否か)に関する情報を取得する。
<周辺監視システム>
 次に、本実施形態に係る周辺監視システム7の概要について、図3を参照して説明する。図3は、本実施形態に係る周辺監視システム7の一例を示すブロック図である。周辺監視システム7は、ダンプトラック1の周辺を監視して、ダンプトラック1の周辺の状況をオペレータに認識させる。周辺監視システム7は、例えば、コントローラ100と、コントローラ100に接続された入力装置80と、コントローラ100に接続されたシフトレバーボジションセンサ37Sと、コントローラ100に接続されたパーキングブレーキ操作スイッチ37Pと、コントローラ100に接続された表示装置50と、コントローラ100に接続され、ダンプトラック1の周辺の画像を撮像する撮像装置10(11~16)と、コントローラ100に接続され、ダンプトラック1の周辺の物体を非接触で検出可能な検出装置20(21~28)とを備えている。シフトレバーボジションセンサ37S、パーキングブレーキ操作スイッチ37P、及び操作パネル8の入力装置80は、コントローラ100に対する指令信号(入力信号、操作信号)を生成可能な入力部として機能する。
 撮像装置10は、ダンプトラック1に配置され、ダンプトラック1の周辺の画像を撮像するカメラを含む。周辺監視システム7は、ダンプトラック1の周辺の異なる領域が撮像されるように、複数の撮像装置10を有する。本実施形態において、撮像装置10は、ダンプトラック1に6台配置される。以下の説明においては、6台の撮像装置10のそれぞれを適宜、撮像装置11、撮像装置12、撮像装置13、撮像装置14、撮像装置15、及び撮像装置16、と称する。
 なお、以下の説明において、個々の撮像装置11~16を区別しない説明においては、撮像装置11~16を適宜、撮像装置10、と総称する。
 撮像装置10が複数配置されることにより、周辺監視システム7は、ダンプトラック1の周辺の異なる領域の画像を取得可能である。
 検出装置20は、ダンプトラック1に配置され、ダンプトラック1の周辺の物体を非接触で検出可能なレーダ装置を含む。周辺監視システム7は、ダンプトラック1の周辺の異なる領域が検出されるように、複数の検出装置(レーダ装置)20を有する。本実施形態において、レーダ装置20は、ダンプトラック1に8台配置される。以下の説明においては、8台のレーダ装置20のそれぞれを適宜、レーダ装置21、レーダ装置22、レーダ装置23、レーダ装置24、レーダ装置25、レーダ装置26、レーダ装置27、及びレーダ装置28と称する。
 なお、以下の説明において、個々のレーダ装置21~28を区別しない説明においては、レーダ装置21~28を適宜、レーダ装置20、と総称する。
 レーダ装置20が複数配置されることにより、周辺監視システム7は、ダンプトラック1の周辺の異なる領域に存在する物体を検出可能である。
<撮像装置及びレーダ装置の配置例>
 次に、本実施形態に係る撮像装置10及びレーダ装置20の配置例について説明する。図4は、本実施形態に係る撮像装置10(11~16)の配置位置の一例を示す図である。
 図4に示すように、各撮像装置11~16は、ダンプトラック1の周囲360度の範囲の画像を取得するために、ダンプトラック1の外周部分にそれぞれ取り付けられる。各撮像装置11~16は、左右(水平)方向に120度、高さ(垂直)方向に96度の視野範囲を有する。
 撮像装置11は、車両本体2の前方を撮像するカメラであり、図4に示すように、斜めラダー2dの最上段の踊り場部分の下部に配置される。撮像装置11は、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の前方に向かって固定される。撮像装置11の撮像範囲は、車両本体2の前方に拡がる範囲である。
 撮像装置12は、車両本体2の右斜め側方前方を撮像するカメラであり、図4に示すように、アッパデッキ2bの前側面右端部付近に配置される。撮像装置12は、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の右斜め前方に向かって固定される。撮像装置12の撮像範囲は、車両本体2の右斜め前方に拡がる範囲である。
 撮像装置13は、車両本体2の左斜め側方前方を撮像するカメラであり、図4に示すように、撮像装置12と左右対称位置、すなわち、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の左斜め前方に向かって固定される。撮像装置13の撮像範囲は、車両本体2の左斜め前方に拡がる範囲である。
 撮像装置14は、車両本体2の右斜め側方後方を撮像するカメラであり、図4に示すように、アッパデッキ2bの右側面前端部付近に配置される。撮像装置14は、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の右斜め後方に向かって固定される。撮像装置14の撮像範囲は、車両本体2の右斜め後方に拡がる範囲である。
 撮像装置15は、車両本体2の左斜め側方後方を撮像するカメラであり、図4に示すように、撮像装置14と左右対称位置、すなわち、アッパデッキ2bに取り付けられたブラケットを介して車両本体2の左斜め後方に向かって配置される。撮像装置15の撮像範囲は、車両本体の左斜め後方に拡がる範囲である。
 撮像装置16は、車両本体2の後方を撮像するカメラであり、図4に示すように、フレーム2fの後端であって、2つの後輪5Bを連結するリアアクスルの上方、かつ、ベッセル4の回動軸近傍に配置されており、クロスメンバーに取り付けられたブラケットを介して車両本体2の後方に向かって固定される。撮像装置16の撮像範囲は、車両本体2の後方に拡がる範囲である。
 これら撮像装置11~16を用いることによって、ダンプトラック1の全周囲の画像を取得することができる。なお、各撮像装置11~16は、それぞれ撮像した画像をコントローラ100に出力する。
 また、撮像装置11~16は、フレーム2fの高い位置にあるアッパデッキ2b及びクロスメンバーに設けている。このため、各撮像装置11~16によって上方から地面を見下ろすような撮像画像を得ることができ、地面に存在する障害物を広範囲に撮像することができる。また、俯瞰画像を形成する際に視点変換を行った場合でも、上方から撮像した画像を用いているため、立体物の変形の度合を抑制することができる。
 図5は、本実施形態に係るレーダ装置20(21~28)の配置位置の一例を示す図である。
 レーダ装置21~28は、方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)の検出角度を有し、検出距離が最大15m以上のUWB(Ultra Wide Band:超広帯域)レーダである。設置されるレーダ装置21~28により、ダンプトラック1の全周囲に存在する物体(障害物)の相対位置を検出する。各レーダ装置21~28は、ダンプトラック1の外周部分に配置される。なお、各レーダ装置21~28の方位(水平)方向の検出角度は、80度(±40度)としているが、これ以上の検出角度を有していてもよい。
 レーダ装置21,22は、図5及びダンプトラック1の前方視の図6を参照して説明する。レーダ装置21,22は、主に車両本体2の前方を撮像する撮像装置11が備えられるアッパデッキ2bの下方に位置する地上から1m程度の高さになるロアデッキ2a上及び斜めラダー2dの下方に設けられる。レーダ装置21,22は、それぞれブラケットB21,B22を介して車両中心面Cに対して左右対称に取り付けられる。レーダ装置22は、前方斜め左方向に向けられて配置され、レーダ装置21は、前方斜め右方向に向けられて配置される。具体的には、レーダ装置22の水平方向の照射中心軸は、車両中心面Cの進行方向の軸に対して車両本体2の左側に45度傾けられ、レーダ装置21の水平方向の照射中心軸は、車両中心面Cの進行方向の軸に対して車両本体2の右側に45度傾けられ、各照射中心軸は交差する。また、レーダ装置21,22の垂直方向の各照射中心軸は、約5度の俯角をもつ。これによって、車両本体2の前端部から前方の領域の物体を全て検出することができる。
 レーダ装置28及び車両中心面Cの対称の位置にあるレーダ装置23を、図5、ダンプトラック1の左側から側方視となる図7、及びダンプトラック1の右側からの側方視となる図8を参照して説明する。レーダ装置28は、主に車両本体1の左側側方を撮像する撮像装置13,15が備えられるアッパデッキ2bの下方に位置するロアデッキ2aの左側端部、可動式ラダー2c上端部近傍に設けられる。レーダ装置28は、ロアデッキ2bにブラケットB28を介し取り付けられ、車両本体2の左側側方外側に向けて配置される。
 レーダ装置23は、ダンプトラック1の左側からの側方視において設置されレーダ装置28とは車両中心面Cを基準に左右対称位置にある。レーダ装置23は、主に車両本体2の右側側方を撮像する撮像装置12,14が備えられるアッパデッキ2bの下方に位置するロアデッキ2aの右側端部、車両本体2の右側方に設けられた可動式ラダー2cに設けられる。レーダ装置23は、ロアデッキ2bにブラケットB28と車両中心面Cに対し左右対称に設けられるブラケットB23を介し取り付けられ、車両本体2の右側側方外側に向けて配置される。
 レーダ装置23の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の右側に70度傾けられ、レーダ装置28の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の左側に70度傾けられる。また、レーダ装置23,28の垂直方向の各照射中心軸は、約5度の俯角をもつ。
 レーダ装置23,28により、ダンプトラック1の側方、特に前輪5A,後輪5Bの前方側の物体の検出を可能とする。また、レーダ装置23,28は、ベッセル4及びアッパデッキ2bの下方に位置し、積載時にベッセル4から飛び出す飛石等の影響を受けない。
 レーダ装置27及び車両中心面Cの対称の位置にあるレーダ装置24を、図5、ダンプトラック1の左側から側方視となる図7、及びダンプトラック1の右側からの側方視となる図8を参照して説明する。レーダ装置27は、主に車両本体2の左側側方を撮像する撮像装置13,15が備えられるアッパデッキ2bより下方に位置するロアデッキ2aに向けて延伸する車両左側のフロントフェンダー2gから側方に張り出した位置に設けられたエアークリーナ62の側端部に配置される。レーダ装置27は、フロントフェンダー2gにブラケットB27を介し、後方に向けて取り付けられる。レーダ装置27の高さは、地上から2.5m程度である。
 レーダ装置24は、ダンプトラック1の左側からの側方視において設置されレーダ装置27とは車両中心面Cを基準に左右対称位置にある。レーダ装置24は、主に車両本体2の右側側方を撮像する撮像装置12,14が備えられるアッパデッキ2bの下方に位置するロアデッキ2aに向けて延伸する車両右側のフロントフェンダー2gから右側側方に張り出した位置に設けられたエアークリーナ62の側端部に配置させる。レーダ装置24は、フロントフェンダー2gにブラケットB24を介し、後方に向けて取り付けられる。
 レーダ装置24の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の右側に30度傾けられ、レーダ装置27の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の左側に30度傾けられる。また、レーダ装置24,27の垂直方向の各照射中心軸は、約15度の俯角をもつ。
 レーダ装置24,27により、ダンプトラック1の側方で前輪5A及び後輪6Bの中心軸線の後方に該当し、特にベッセル側方全域に該当する側方後方領域の障害物の検出を可能とする。また、各レーダ装置24,27は、ベッセル4及びアッパデッキ2bの下方に位置し、積載時にベッセル4から飛び出す飛石等の影響を受けない。
 レーダ装置25,26を、図5及びダンプトラック1の後方視となる図9を参照して説明する。レーダ装置25,26は、地上から2m程度の高さになり、ベッセル4の撮像装置16が設置されたクロスメンバー70よりも下方に位置する後輪5Bの駆動軸のリアアクスル71のケース後方側に配置される。レーダ装置25,26は、それぞれブラケットB25,B26を介して車両中心面Cに対して左右対称に取り付けられる。また、レーダ装置25,26は、リアサスペンションシリンダ72の接合部73間に設けられる。レーダ装置26は、後方斜め右方向に向けられて配置され、レーダ装置25は、後方斜め左方向に向けられて配置される。
 レーダ装置26の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両本体2の右側に45度傾けられ、レーダ装置25の水平方向の照射中心軸は、車両中心面Cの後退方向の軸に対して車両の左側に45度傾けられ、各照射中心軸はベッセル4の下方にて車両中心面C上で交差する。また、レーダ装置25,26の垂直方向の各照射中心軸は、俯角方向に0~10度、この実施の形態では約5度の俯角をもつ。
 各レーダ装置25,26は、車両中心面Cに対し左右対称に取り付けられ各照射中心軸が交差する様に設置されているため、車両本体2の後端部から後方の領域の物体を全て検出することができる。特に、レーダ装置25,26は、クロスメンバー70より低い位置となるリアアクスル71のケースに小さい俯角をもって配置される。図10及び図11に示すように、車両本体2の低い位置に小さい俯角をもって設置されたレーダ装置25、26により車両本体2の遠方及びベッセル4の後方に隠れた物体を同時に検出することができる。なお、レーダ装置25の水平方向の照射中心軸とレーダ装置26の水平方向の照射中心軸とは、車両中心面Cに対して45度としたが、45度以下であればよく、例えば30度であってもよい。この値は、レーダ装置25,26の車輪5B後端に対する後方への張り出し具合によって決定すればよい。
 車両本体2の各々の方向の障害物を検出するレーダ装置21~28は、俯瞰画像を生成するため車両本体2各々の方向を撮像する各撮像装置11~16より低い位置の部材に取り付けられる。垂直方向に小さい角度を有するレーダ装置を用いても、撮像装置より低い位置にレーダ装置を設置することにより撮像装置が撮像し生成した俯瞰画像においても、レーダ装置で検出した障害物情報を俯瞰画像中へ表示する事が可能になる。
<撮像装置>
 次に、本実施形態に係る撮像装置10について、図12及び図13を参照して説明する。図12は、本実施形態に係る撮像装置10及びレーダ装置20の一例を模式的に示す平面図である。図13は、複数の撮像装置10(11~16)によって撮像される撮像エリア10C(11C~16C)及び複数の撮像装置10によって撮像された画像情報に基づいて生成された俯瞰画像200の一例を示す模式図である。
 撮像装置10(11~16)は、ダンプトラック1に配置され、ダンプトラック1の周辺を撮像する。撮像装置10は、ダンプトラック1の周辺を撮像し、画像情報をコントローラ100に出力する。撮像装置10は、例えば、ワイドダイナミックレンジ(WDR:Wide Dynamic Range)カメラである。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。撮像装置10のそれぞれは、ダンプトラック1の周囲360度の範囲における画像を撮像するために、ダンプトラック1の外周部分に配置される。
 撮像装置11は、ダンプトラック1の前部に配置される。撮像装置11は、ダンプトラック1の周囲の領域の一部である撮像エリア11Cを撮像して、その撮像エリア11Cの画像情報をコントローラ100に出力する。撮像エリア11Cは、ダンプトラック1の車両本体2の前方に拡がる領域である。
 撮像装置12は、左右方向に関してダンプトラック1の前部の右端部に配置される。撮像装置12は、ダンプトラック1の周囲の領域の一部である撮像エリア12Cを撮像して、その撮像エリア12Cの画像情報をコントローラ100に出力する。撮像エリア12Cは、ダンプトラック1の車両本体2の右斜め前方に拡がる領域である。
 撮像装置13は、左右方向に関してダンプトラック1前部の左端部に配置される。撮像装置13は、ダンプトラック1の周囲の領域の一部である撮像エリア13Cを撮像して、その撮像エリア13Cの画像情報をコントローラ100に出力する。撮像エリア13Cは、ダンプトラック1の車両本体2の左斜め前方に拡がる領域である。
 撮像装置14は、左右方向に関してダンプトラック1の右側部に配置される。撮像装置14は、ダンプトラック1の周囲の領域の一部である撮像エリア14Cを撮像して、その撮像エリア14Cの画像情報をコントローラ100に出力する。撮像エリア14Cは、ダンプトラック1の車両本体2の右斜め後方に拡がる領域である。
 撮像装置15は、左右方向に関してダンプトラック1の左側部に配置される。撮像装置15は、ダンプトラック1の周囲の領域の一部である撮像エリア15Cを撮像して、その撮像エリア15Cの画像情報をコントローラ100に出力する。撮像エリア15Cは、ダンプトラック1の車両本体2の左斜め後方に拡がる領域である。
 撮像装置16は、ダンプトラック1の後部に配置される。撮像装置16は、ダンプトラック1の周囲の領域の一部である撮像エリア16Cを撮像して、その撮像エリア16Cの画像情報をコントローラ100に出力する。撮像エリア16Cは、ダンプトラック1の車両本体2の後方に拡がる領域である。
 複数の撮像エリア11C~16Cは、ダンプトラック1の周辺の異なるエリアである。周辺監視システム7は、複数の撮像装置10(11~16)を用いることにより、ダンプトラック1の全周360度の画像を撮像し、その画像情報を取得することができる。
 なお、以下の説明において、個々の撮像エリア11C~16Cを区別しない説明においては、撮像エリア11C~16Cを適宜、撮像エリア10C、と総称する。
 周辺監視システム7は、撮像装置10にワイドダイナミックレンジカメラを用いる。このため、撮像装置10は、明るい部分を視認できるレベルに保ちながら、ダンプトラック1の影になった部分のような暗い部分を明るく補正できる。したがって、撮像装置10が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。その結果、撮像装置10を備える周辺監視システム7は、ダンプトラック1の影となる領域に存在する車両等の物体が視認しやすくなった俯瞰画像200を表示装置50に表示することができる。このように、周辺監視システム7は、撮像装置10が撮像した画像を用いてダンプトラック1の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の物体を俯瞰画像200に表示することができる。その結果、ダンプトラック1のオペレータは、ダンプトラック1の周囲、特に影となる領域に存在する物体を、環境によらず、確実に視認することができる。
 このように、周辺監視システム7は、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の物体を確実に表示する俯瞰画像200を生成することができるので、オペレータの死角に存在する物体を、俯瞰画像200によって確実に視認できるようにすることができる。したがって、周辺監視システム7は、上述したような、鉱山で用いられる非常に大型のダンプトラック1の周辺を監視する際に非常に有効である。すなわち、ダンプトラック1は、非常に大きい影となる領域を形成する場合があり、かつ影となる領域を自身で作りながら移動し、さらにベッセル4の昇降によって影となる領域が大きく変化し、また、死角となる領域が大きい。周辺監視システム7は、このようなダンプトラック1において、ダンプトラック1の周囲の物体を確実に表示する俯瞰画像200を生成して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。また、周辺監視システム7は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック1に対して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。
<レーダ装置>
 次に、本実施形態に係るレーダ装置20について、図12、図14、図15、及び図16を参照して説明する。図12は、本実施形態に係る撮像装置10及びレーダ装置20の一例を模式的に示す平面図である。図14は、レーダ装置20の一例を示す図である。図15は、レーダ装置20の一例を示す図である。図16は、複数のレーダ装置20(21~28)によって検出される検出エリア20C(21C~28C)の一例を示す模式図である。
 レーダ装置20(21~28)は、ダンプトラック1に配置され、ダンプトラック1の周辺の物体を検出可能である。レーダ装置20は、ダンプトラック1の周囲に存在する物体とダンプトラック1との相対位置を検出する。レーダ装置20は、ダンプトラック1の周辺の物体を非接触で検出し、検出結果をコントローラ100に出力する。レーダ装置20は、例えば、方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)の検出角度を有し、検出距離が最大15m以上のUWB(Ultra Wide Band)レーダ(超広域帯レーダ)である。レーダ装置20のそれぞれは、ダンプトラック1の周囲360度の範囲における物体を検出するために、ダンプトラック1の外周部分に配置される。
 レーダ装置20は、電波を発射可能な発射部と、電波を受信可能な受信部とを有する。レーダ装置20の発射部から発射され、物体に照射された電波の少なくとも一部は、その物体で反射する。レーダ装置20は、反射部で反射した物体からの電波を受信部で受信する。レーダ装置20は、物体からの電波を受信して、レーダ装置20と物体との相対位置を検出する。レーダ装置20は、ブラケットを介してダンプトラック1に固定される。レーダ装置20と物体との相対位置が検出されることにより、ダンプトラック1と物体との相対位置が検出される。
 図14に示すように、レーダ装置20は、発射部及び受信部を有するレーダ本体81と、レーダ本体81の周囲を囲むフードである保護部材83とを有する。この保護部材83は、ケーブル82を引き出す部分が切り欠きとなっている。この保護部材83を設けることによって、レーダ本体81の発射部への泥除けを行うことができ、レーダ装置20の検出機能を維持できる。また、保護部材83によって、石跳ねなどによるレーダの破損防止を図ることができる。
 さらに、図15に示すように、レーダ装置20は、保護部材83によって囲まれた空間の開口部、すなわち発射側の開口部を覆う保護部材84を有する。この保護部材84は、前面保護を行うものであり、強度を有することはもちろんであるが、レーダ信号が透過する部材であることが必要である。また、透明部材であることが好ましい。透明であると、レーダ本体81表面での結露などを目視確認できるからである。この保護部材84は、たとえば、ポリカーボネートによって形成される。
 レーダ装置21は、ダンプトラック1の前部に配置される。レーダ装置21は、左右方向に関してダンプトラック1の中央部よりも左側に配置される。レーダ装置21は、ダンプトラック1の周囲の領域の一部である検出エリア21Cの物体を検出可能である。レーダ装置21は、検出結果をコントローラ100に出力する。検出エリア21Cは、ダンプトラック1の車両本体2の前部から右斜め前方に拡がる領域である。
 レーダ装置22は、ダンプトラック1の前部に配置される。レーダ装置22は、左右方向に関してダンプトラック1の中央部よりも右側に配置される。レーダ装置22は、ダンプトラック1の周囲の領域の一部である検出エリア22Cの物体を検出可能である。レーダ装置22は、検出結果をコントローラ100に出力する。検出エリア22Cは、ダンプトラック1の車両本体2の前部から左斜め前方に拡がる領域である。
 レーダ装置23は、ダンプトラック1の右側部に配置される。レーダ装置23は、ダンプトラック1の周囲の領域の一部である検出エリア23Cの物体を検出可能である。レーダ装置23は、検出結果をコントローラ100に出力する。検出エリア23Cは、ダンプトラック1の車両本体2の右側部から右側に拡がる領域である。
 レーダ装置24は、ダンプトラック1の右側部に配置される。レーダ装置24は、レーダ装置23よりも後方に配置される。レーダ装置24は、ダンプトラック1の周囲の領域の一部である検出エリア24Cの物体を検出可能である。レーダ装置24は、検出結果をコントローラ100に出力する。検出エリア24Cは、ダンプトラック1の車両本体2の右側部から右側に拡がる領域である。検出エリア24Cは、検出エリア23Cよりも後方に位置する。
 レーダ装置25は、ダンプトラック1の後部に配置される。レーダ装置25は、左右方向に関してダンプトラック1の中央部よりも右側に配置される。レーダ装置25は、ダンプトラック1の周囲の領域の一部である検出エリア25Cの物体を検出可能である。レーダ装置25は、検出結果をコントローラ100に出力する。検出エリア25Cは、ダンプトラック1の車両本体2の後部から左斜め後方に拡がる領域である。
 レーダ装置26は、ダンプトラック1の後部に配置される。レーダ装置26は、左右方向に関してダンプトラック1の中央部よりも左側に配置される。レーダ装置26は、ダンプトラック1の周囲の領域の一部である検出エリア26Cの物体を検出可能である。レーダ装置26は、検出結果をコントローラ100に出力する。検出エリア26Cは、ダンプトラック1の車両本体2の後部から右斜め後方に拡がる領域である。
 レーダ装置27は、ダンプトラック1の左側部に配置される。レーダ装置27は、ダンプトラック1の周囲の領域の一部である検出エリア27Cの物体を検出可能である。レーダ装置27は、検出結果をコントローラ100に出力する。検出エリア27Cは、ダンプトラック1の車両本体2の左側部から左側に拡がる領域である。
 レーダ装置28は、ダンプトラック1の左側部に配置される。レーダ装置28は、レーダ装置27よりも前方に配置される。レーダ装置28は、ダンプトラック1の周囲の領域の一部である検出エリア28Cの物体を検出可能である。レーダ装置28は、検出結果をコントローラ100に出力する。検出エリア28Cは、ダンプトラック1の車両本体2の左側部から左側に拡がる領域である。検出エリア28Cは、検出エリア27Cよりも前方に位置する。
 複数の検出エリア21C~28Cは、ダンプトラック1の周辺の異なるエリアである。周辺監視システム7は、複数のレーダ装置20(21~28)を用いることにより、ダンプトラック1の全周360度の物体を検出し、その物体情報を取得することができる。
 なお、以下の説明において、個々の検出エリア21C~28Cを区別しない説明においては、検出エリア21C~28Cを適宜、検出エリア20C、と総称する。
 レーダ装置20は、撮像装置10よりも低い位置に配置される。撮像装置10は、俯瞰画像200を生成するために高い位置に配置される。
<コントローラ>
 次に、本実施形態に係るコントローラ100について、図3を参照して説明する。コントローラ100は、演算装置であるCPU(Central Processing Unit)及びVRAM(Video Random Access Memory)のようなメモリを有する。コントローラ100は、撮像装置10及びレーダ装置20を用いて、ダンプトラック1の周辺の物体の有無を表示装置50に表示する。図3に示すように、コントローラ100は、俯瞰画像200を生成する俯瞰画像合成部110と、指令信号(入力信号、操作信号)を取得する取得部120と、物体の位置情報を生成する位置情報生成部130と、表示装置50を制御する表示制御部140と、ダンプトラック1のモードを設定するモード制御部150と、レーダ装置20の作動状態の良否を判断する判定部210と、レーダ装置20の検出結果を処理する処理部220と、レーダ装置20の異常を検出する異常検出部230と、記憶部160と、タイマー170とを有する。
 俯瞰画像合成部110は、撮像装置10から画像情報を取得する。俯瞰画像合成部110は、取得した複数の画像情報を合成して、ダンプトラック1の周辺の俯瞰画像200を生成する。俯瞰画像合成部110は、複数の画像情報のそれぞれを座標変換して、俯瞰画像200を表示するための俯瞰画像情報を生成する。
 位置情報生成部130は、レーダ装置20から物体の位置情報を取得する。通常作業状態において、位置情報生成部130は、レーダ装置20から取得した物体の位置情報から、俯瞰画像200と一緒に表示するための物体位置情報を生成し、表示制御部140に出力する。
 表示制御部140は、撮像装置10、俯瞰画像合成部110、及び位置情報生成部130から、各種の情報を取得する。表示制御部140は、俯瞰画像合成部110からの俯瞰画像情報と、位置情報生成部130からの物体位置情報とに基づいて、物体の位置情報を含む俯瞰画像200を生成する。表示制御部140は、俯瞰画像200を表示装置50に表示させることができる。表示制御部140は、物体位置情報を示す指標MKを表示装置50に表示させることができる。表示制御部140は、指標MKと俯瞰画像200とが表示装置50の画面において重なるように、表示装置50に表示させることができる。
 また、表示制御部140は、撮像装置10からの画像情報に基づいて、撮像エリア10Cの画像を表示装置50に表示させることができる。
 表示制御部140は、入力装置80からの指令信号に基づいて、表示装置50の表示モードを切り替えることができる。表示制御部140は、ダンプトラック1の画像とダンプトラック1の周辺の俯瞰画像200と指標MKとの両方を同時に表示させたり、俯瞰画像200のみを表示させたりすることができる。
 また、表示制御部140は、シフトレバーポジションセンサ37Sからの指令信号に基づいて、表示装置50の表示モードを切り替えることができる。表示制御部140は、シフトレバーポジションセンサ37Sからの指令信号に基づいて、ダンプトラック1の走行状態(前進状態、後進状態、中立状態、パーキング状態、及び変速段状態の少なくとも一つ)に関する情報を取得する。表示制御部140は、シフトレバー37の操作に応じて、表示装置50に表示する撮像エリア10C(11C~16C)を切り替えることができる。例えば、ダンプトラック1が後進状態になるようにシフトレバー37が操作された場合、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の後方の撮像エリア16Cの画像を表示する。ダンプトラック1が前進状態になるようにシフトレバー37が操作された場合、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の前方の撮像エリア11Cの画像を表示する。
 取得部120は、入力装置80からの指令信号(入力信号、操作信号)、シフトレバーポジションセンサ37Sからの指令信号(入力信号、操作信号)、及びパーキングブレーキ操作スイッチ37Pからの指令信号(入力信号、操作信号)を取得する。取得部120は、その指令信号に応じた制御情報をモード制御部150に出力する。
 モード制御部150は、取得部120からの制御情報を取得する。モード制御部150は、取得部120からの制御情報に基づいて、ダンプトラック1について、通常作業状態と動作確認モードとを切り替える。動作確認モードとは、レーダ装置20の点検のためのモードである。通常作業状態は、ダンプトラック1が通常稼動(走行)する状態であり、動作確認モードが実行されている以外の状態である。
 動作確認モードは、ダンプトラック1の作業開始前(稼動前)において、ダンプトラック1がパーキング状態で、レーダ装置20の作動状態の良否を確認するモードである。ダンプトラック1が非パーキング状態においては、モード制御部150は、動作確認モードを実施しない。モード制御部150は、パーキングブレーキ操作スイッチ37Pからの入力信号に基づいて、パーキング状態か否かを判断することができる。
 モード制御部150は、シフトレバーポジションセンサ37Sからの入力信号に基づいて、パーキング状態か否かを判断してもよい。モード制御部150は、シフトレバーポジションセンサ37Sからの入力信号に基づいて、ダンプトラック1がパーキング状態から非パーキング状態に変化したと判断することができる。非パーキング状態は、前進状態、後進状態、及び中立状態の少なくとも一つを含む。
 記憶部160は、通常作業状態及び動作確認モードのそれぞれにおいてダンプトラック1の制御を実行するためのコンピュータプログラム及びその制御に必要なデータ等を記憶する。コントローラ100は、記憶部160が記憶しているコンピュータプログラムを読み出して実行したり、制御に必要なデータを読み出したりして、制御を実行する。
 タイマー170は、基準時点からの経過時間を計測する。タイマー170の計時結果は、モード制御部150及び記憶部160などに出力される。
 本実施形態において、記憶部160は、タイマー170からの出力を参照して、動作確認モードの実施時期及び動作確認モードにおけるレーダ装置20の検出結果を記憶する。
 判定部210は、レーダ装置20と接続される。判定部210は、レーダ装置20(21~28)の検出エリア20C(21C~28C)の物体の検出結果を取得する。動作確認モードにおいて、判定部210は、レーダ装置20の検出結果に基づいて、レーダ装置20の作動状態の良否を判断する。判定部210は、レーダ装置20から取得した物体の位置情報を処理部220に出力する。
 処理部220は、レーダ装置20から取得した物体の位置情報を、位置情報生成部130へ出力する。
<表示装置の表示例>
 次に、本実施形態に係る表示装置50の画像の表示例について説明する。図17は、コントローラ100の表示制御部140が表示装置50に表示させる画像の一例を示す図である。表示装置50は、カラー表示可能である。図17において、符号UPは、表示装置50の上側を示す。符号UNは、表示装置50の下側を示す。符号Lは、表示装置50の左側を示す。符号Rは、表示装置50の右側を示す。符号Fは、ダンプトラック1の前側を示す。符号Bは、ダンプトラック1の後側を示す。ダンプトラック1は、表示装置50の上側がダンプトラック1の前側となり、表示装置50の下側がダンプトラック1の後側となるように、表示装置50に表示される。
 図17は、通常作業状態において、レーダ装置20が正常に作動しているときの表示装置50の画像を示す。本実施形態においては、ダンプトラック1が非パーキング状態となり、低速走行している期間において、通常作業状態における画像が表示装置50に表示される。本実施形態においては、ダンプトラック1の走行速度が所定の閾値(例えば時速15km)以下の低速走行期間において、通常作業状態における画像が表示装置50に表示される。ダンプトラック1の走行速度が閾値を超えた高速走行期間においては、表示装置50は、撮像装置10の撮像結果に基づく表示を行わない。撮像装置10の撮像結果に基づく表示とは、俯瞰画像200及び撮像装置10によって撮像された撮像エリア10Cの画像の少なくとも一方を含む。
 なお、本実施形態においては、入力装置80は、高速走行期間においても、撮像装置10の撮像結果に基づく表示を表示装置50に行わせる操作ボタン(強制表示ボタン)を含む。その強制表示ボタンが操作されることにより、表示制御部140は、高速走行期間においても、表示装置50に画像を表示させることができる。
 図17に示す例では、通常作業状態が開始されることにより、表示制御部140は、表示装置50の画面に、第1画像エリア50A、第2画像エリア50B、及び第3画像エリア50Cを設定する。本実施形態において、第1画像エリア50A、第2画像エリア50B、及び第3画像エリア50Cは、同一画面上に設定される。第1画像エリア50A、第2画像エリア50B、及び第3画像エリア50Cには、別々の画像(独立した画像)が表示される。
 第1画像エリア50Aには、撮像装置10の撮像結果に基づいて生成された俯瞰画像200が表示される。また、第1画像エリア50Aには、車両本体2のエッジの位置を示すラインL0、車両本体2のエッジから3メートルの位置を示すラインL1、車両本体2のエッジから5メートルの位置を示すラインL2、及び車両本体2のエッジから7メートルの位置を示すラインL3が表示される。ラインL0、ラインL1、ラインL2、及びラインL3は異なる色で表示される。例えば、ラインL0は白色、ラインL1は赤色、ラインL3は黄色、ラインL4は黒色で表示される。ダンプトラック1は、例えば黄色で表示される。また、第1画像エリア50Aには、左右方向に関して車両本体2の中心を通り、前後方向に延在する中心線C1と、前後方向に関して車両本体2の中心を通り、左右方向に延在する中心線C2とが表示される。中心線C1及び中心線C2は、水平面と平行である。
 第2画像エリア50Bには、複数の撮像装置10(11~16)のうち、選択された1つの撮像装置10によって撮像された画像が表示される。図17に示す例では、車両本体2の前方の撮像エリア11Cの画像が表示されている。なお、図17に示す例では、撮像装置10によって撮像された画像に車両本体2の一部が写り込んでいる(符号2IM参照)。本実施形態においては、表示制御部140は、シフトレバー37の操作(シフトレバーポジションセンサ37Sの操作信号)に基づいて、複数の撮像エリア10C(11C~16C)のうち、1つの撮像エリア10Cが選択される。図17に示す例では、ダンプトラック1が前進状態になるようにシフトレバー37が操作されているため、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の前方の撮像エリア11Cの画像を第2画像エリア50Bに表示する。ダンプトラック1が後進状態になるようにシフトレバー37が操作された場合、表示制御部140は、シフトレバーポジションセンサ37Sの検出結果に基づいて、ダンプトラック1の後方の撮像エリア16Cの画像を第2画像エリア50Bに表示する。このように、本実施形態においては、シフトレバー37の操作によって、表示装置50に表示される撮像エリア10Cが切り替わる。
 なお、入力装置80の操作により、複数の撮像エリア10C(11C~16C)のうち1つの撮像エリア10Cが選択され、その選択された撮像エリア10Cが表示装置50に表示されてもよい。すなわち、入力装置80の操作により、表示装置50に表示される撮像エリア10Cが切り替わってもよい。
 第3画像エリア50Cには、各種のアイコン(記号及び図形など)が表示される。本実施形態においては、6つの撮像エリア10C(11C~16C)のうち、第2画像エリア50Bに表示されている撮像エリア10Cを示すアイコン51と、レーダ装置20(21~28)の作動状態を示すアイコン52とが表示される。図17に示す例では、レーダ装置20が正常に作動しているため、アイコン52は、所定の色(本例では緑色)で表示される。コントローラ100により、レーダ装置20は正常に作動していると判断されている期間において、アイコン52は、点滅せずに、緑色で点灯(連続点灯)する。
 なお、図17に示す例では、1つの表示装置50の画面に3つの画像エリアが設定されることとした。入力装置80の操作により、1つの表示装置50の画面に1つの画像エリアが設定されてもよいし、2つの画像エリアが設定されてもよいし、4つ以上の画像エリアが設定されてもよい。
 図18は、レーダ装置20が正常に作動している状態において、レーダ装置20が物体を検出したときの表示装置50の表示例を示す。例えば、複数のレーダ装置20(21~28)のうち、レーダ装置23の検出エリア23Cに物体が存在する場合、レーダ装置23は、その物体を検出する。レーダ装置23の検出結果は、処理部220に出力される。
 処理部220は、レーダ装置23の検出結果を、位置情報生成部130に出力する。位置情報生成部130は、レーダ装置23によって取得された物体の位置情報を示す物体位置情報を生成し、表示制御部140に出力する。
 表示制御部140は、位置情報生成部130から取得した物体位置情報に基づいて、物体を示す指標MKを表示装置50に表示する。図18に示すように、表示制御部140は、撮像装置10の撮像結果に基づいて生成された俯瞰画像200に指標MKを表示する。
 本実施形態において、表示制御部140は、レーダ装置20の検出結果に基づいて、ダンプトラック1の周辺のうち、物体が存在している検出エリア20Cを識別するための識別情報を表示する。換言すれば、複数のレーダ装置20のうち、物体を検出したレーダ装置20を識別するための識別情報が表示装置50に表示される。本実施形態において、識別情報は、例えば、表示装置50の画面においてダンプトラック1の周辺に表示された撮像エリア10C(又は検出エリア20C)、文字、数字若しくはアイコン又はこれらの組み合わせである。
 本実施形態においては、物体を検出したレーダ装置20を識別するための識別情報が撮像エリア10Cに対応付けて表示される。すなわち、複数のレーダ装置20のうち、物体を検出したレーダ装置20を識別するための識別情報が、検出エリア20Cに対応付けて表示されず、撮像エリア10Cに対応付けて表示される。
 図18に示す例では、複数のレーダ装置20(21~28)のうち、レーダ装置23が物体を検出し、物体は、検出エリア23Cと撮像エリア12Cとの重複部分に存在する。そのため、図18に示すように、表示制御部140は、撮像エリア12Cの外形を示すフレーム画像を表示する。なお、レーダ装置23が物体を検出し、その物体が検出エリア23Cと撮像エリア14Cとの重複部分に存在するとき、図19に示すように、表示制御部140は、撮像エリア14Cの外形を示すフレーム画像を表示する。
 なお、内側に指標MKが配置されるフレーム画像は、点滅してもよいし、赤色などの強調色で表示されてもよい。
 このように、本実施形態においては、表示装置50は、レーダ装置20による物体の検出結果(指標MKの位置)を、検出エリア20Cを利用せずに、撮像エリア10Cを利用して表示する。
<周辺監視システムの動作>
 次に、本実施形態に係る周辺監視システム7の動作の一例について説明する。本実施形態においては、ダンプトラック1の作業前(稼動前)に、レーダ装置20の点検(始業時点検、日常点検)が行われる。図20は、レーダ装置20の点検作業の一例を示すフローチャートである。図20に示すように、点検作業は、ダンプトラック1がパーキング状態において、レーダ装置20及びコントローラ100などを含むダンプトラック1の電子機器を作動する工程(ステップSP1)と、パーキング状態において、入力装置80を操作して、レーダ装置20の点検のための動作確認モード(始業点検モード)を示す指令信号を生成する工程(ステップSP2)と、ダンプトラック1の周辺において物体を移動してレーダ装置20の検出エリア20Cに配置する工程(ステップSP3)と、レーダ装置20の検出結果に基づいてレーダ装置20の作動状態の良否を判断する工程(ステップSP4)と、作動状態が不良と判断されたレーダ装置20の検出エリア20Cを表示装置50に表示する工程(ステップSP5)と、シフトレバー37を操作して、動作確認モードを終了する工程(ステップSP6)と、を含む。
 始業のため、オペレータがキャブ3に搭乗する。オペレータは、例えばイグニッションキーを使って、ダンプトラック1の電気系統を作動させる(ステップSP1)。イグニッションキーの操作により、上述の内燃機関が作動してもよいし、内燃機関は作動せず、アクセサリー電源のみが作動してもよい。ダンプトラック1の電気系統が作動することにより、コントローラ100、表示装置50、入力装置80、シフトレバーポジションセンサ37S、パーキングブレーキ操作スイッチ37P、撮像装置10、及びレーダ装置20などを含むダンプトラック1の電子機器が起動する。
 点検作業は、ダンプトラック1がパーキング状態で行われる。本実施形態においては、パーキングブレーキ操作スイッチ37Pの操作により、ダンプトラック1がパーキング状となる。また、点検作業は、ダンプトラック1の周辺に障害物のような他の物体が存在しない広い場所で行われる。点検作業は、ベッセル4に積荷がない空荷状態で行われる。また、点検作業は、ベッセル4が積載姿勢で行われる。なお、点検作業は、ベッセル4に積荷がある積荷状態で行われてもよい。点検作業は、ベッセル4が起立姿勢で行われてもよい。なお、ベッセル4が起立姿勢の場合、車両本体2の後方を検出するためのレーダ装置25及びレーダ装置26の作動は停止される。
 次に、オペレータにより、レーダ装置20(21~28)の点検の実施のために、ダンプトラック1が動作確認モードに設定される(ステップSP2)。動作確認モードは、レーダ装置20の点検を実施するためのモードである。本実施形態においては、入力装置80が操作されることによって、動作確認モードが開始される。例えば、入力装置80の複数の操作ボタンのうち、表示装置50の画面の表示モード切替スイッチと障害物確認クリアボタンとが同時に3秒以上長押しされることによって、動作確認モードの開始を指令するための指令信号が生成される。
 入力装置80の操作により生成された、動作確認モードを示す指令信号は、取得部120に出力される。取得部120は、その指令信号をモード制御部150に送信する。モード制御部150は、ダンプトラック1を動作確認モードに設定する。これにより、動作確認モードが起動(開始)される。
 このように、本実施形態においては、ダンプトラック1がパーキング状態においてコントローラ100の取得部120が指令信号を取得したときに動作確認モードが開始される。
 図21は、動作確認モードが開始された直後の表示装置50の表示の一例を示す。取得部120が入力装置80から指令信号を取得後、モード制御部150は、表示制御部140に、動作確認モードの開始指令信号を出力する。図21に示すように、表示制御部140は、表示装置50の画面の第1画像エリア50Aにダンプトラック1を表示するとともに、その画面の第1画像エリア50Aにおいて、ダンプトラック1の周辺に検出エリア20C(21C~28C)を表示する。表示装置50には、ダンプトラック1とともに、そのダンプトラック1の周辺に複数のレーダ装置20(21~28)それぞれの検出エリア20C(21C~28C)が表示される。
 本実施形態においては、通常作業状態のみならず、動作確認モードにおいても、表示制御部140は、撮像装置10の撮像結果に基づいて生成されたダンプトラック1の周辺の俯瞰画像200を、表示装置50においてダンプトラック1の周辺に表示する。表示制御部140は、俯瞰画像200に重なるように、検出エリア20C(21C~28C)を表示する。
 本実施形態においては、検出エリア20Cを示す図形が表示される。検出エリア20C全面が、例えば黄色に着色されて表示される。なお、検出エリア20Cの外形を示すフレーム画像が表示されてもよいし、検出エリア20Cと俯瞰画像200とが重なった状態で検出エリア20C及び俯瞰画像200の両方が視認できるように検出エリア20Cが半透明表示されてもよい。
 また、本実施形態においては、第3画像エリア50Cに、動作確認モード期間であることを示すアイコン53Mが表示される。本実施形態において、アイコン53Mは、黄色で表示される。また、アイコン53Mは点滅する。なお、アイコン53Mは、連続点灯してもよい。
 動作確認モードが開始され、表示装置50が図21に示す表示になった後、オペレータにより、ダンプトラック1の周辺において物体を移動させる作業が実施される(ステップSP3)。
 図22は、点検作業において使用される物体の一例を示す模式図である。本実施形態においては、点検作業において使用される物体として、コーナリフレクタと呼ばれる反射部材300が使用される。反射部材300は、三脚のような支持部材301に支持される。なお、支持部材301は無くてもよい。反射部材300は、鉄又はアルミニウムのような金属製の三角錐の部材である。反射部材300は、レーダ装置20から発射された電波を反射可能な反射部(反射面)を有する。電波に対する反射部材300の反射部の反射率(反射強度)は、反射部材300の周囲の物体の反射率(反射強度)よりも高い。反射部材300の周囲の物体は、鉱山の岩石などを含む。
 図23は、ダンプトラック1の周辺において反射部材300を移動させる作業が実施されている状態の一例を示す模式図である。図23に示すように、オペレータWMが、反射部材300を保持して、ダンプトラック1の周囲を一周する。オペレータWMは、反射部材300が複数の検出エリア20Cのそれぞれに配置されるように、反射部材300を保持して移動する。
 複数のレーダ装置20それぞれの検出結果は、コントローラ100の判定部210に出力される。判定部210は、レーダ装置20の検出結果に基づいて、レーダ装置20の作動状態の良否を判断する(ステップSP4)。判定部210は、複数のレーダ装置20ごとに作動状態の良否を判断する。
 判定部210は、レーダ装置20の検出値(信号強度)が所定の閾値を超えたとき、そのレーダ装置20は正常である(作動状態は良好である)と判断する。一方、判定部210は、レーダ装置20の検出値が所定の閾値以下であるとき、そのレーダ装置20は異常である(作動状態は不良である)と判断する。
 例えば、レーダ装置20の検出信号をコントローラ100に送る系統に不具合があったり、レーダ装置20の発射部又は受信部に不具合があったり、レーダ装置20の発射部又は受信部に泥のような異物が付着したり、レーダ本体81を保護するための保護部材84に泥のような異物が付着したりして、レーダ装置20の検出値が所定の閾値以下になる可能性がある。動作確認モードにおいては、それら不具合を見つける作業が行われる。
 判定部210の判定結果は、表示制御部140に出力される。表示制御部140は、複数のレーダ装置20のうち、判定部210により作動状態が不良と判断されたレーダ装置20の検出エリア20Cを表示装置50に表示し、作動状態が良好と判断されたレーダ装置20の検出エリア20Cを表示しない(ステップSP5)。
 図21を参照して説明したように、動作確認モードの初期状態においては、複数のレーダ装置20(21~28)それぞれの検出エリア20C(21C~28C)の全部が表示装置50に表示される。表示制御部140は、判定部210により作動状態が良好と判断されたレーダ装置20の検出エリア20Cを表示装置50の画面から消去し、作動状態が不良と判断されたレーダ装置20の検出エリア20Cを消去せずに表示装置50に残す(表示させ続ける)。
 図24は、動作確認モードにおいてダンプトラック1の周辺を反射部材300が移動しているときの表示装置50の表示例を示す。反射部材300が複数の検出エリア20C(21C~28C)に順次配置される。レーダ装置20の作動状態が良好な場合、反射部材300が検出エリア20Cに配置されることにより、その検出エリア20Cが表示装置50から消去される。オペレータWMが、図22に示す反射部材300を、例えば、検出エリア21C、検出エリア22C、及び検出エリア23Cの順に設置した場合、反射部材300が設置された検出エリア21C、検出エリア22C、及び検出エリア23Cが表示装置50から順に消去される。
 図25は、動作確認モードにおいてダンプトラック1の周辺を反射部材300が一周し、全てのレーダ装置20の作動状態が良好であると判断された後の表示装置50の表示例を示す。図25に示すように、全てのレーダ装置20の作動状態が良好であると判断された場合、表示装置50の第1画像エリア50Aに検出エリア20Cは表示されない。また、全てのレーダ装置20の作動状態が良好であることを示すアイコン53Fが第3画像エリア50Cに表示される。アイコン53Fは、アイコン53Mとは異なる形態で表示される。本実施形態において、アイコン53Fは、例えば緑色であり、連続点灯する。
 図26は、動作確認モードにおいてダンプトラック1の周辺を反射部材300が一周し、複数のレーダ装置20(21~28)のうち、レーダ装置23の作動状態が不良であると判断された後の表示装置50の表示例を示す。図26に示すように、表示装置50の第1画像エリア50Aに検出エリア23Cが表示される。表示制御部140は、表示装置50の画面にダンプトラック1を表示するとともに、その表示装置50の画面においてダンプトラック1の周辺に、不良と判断されたレーダ装置23の検出エリア23Cを表示する。
 ダンプトラック1の周辺において反射部材300を移動させる作業を終えたオペレータWMは、キャブ3に搭乗する。オペレータWMは、表示装置50を見ることによって、全てのレーダ装置21~28の作動状態が良好であるか否かを認識することができる。
 点検作業を終えた後、オペレータWMによりシフトレバー37が操作されることにより、パーキング状態が解除される。すなわち、ダンプトラック1が前進状態又は後進状態になるようにシフトレバー37が操作された場合、パーキング状態が解除される。シフトレバー37の操作を示す操作信号が、シフトレバーポジションセンサ37Sから取得部120及び表示制御部140に出力される。取得部120は、その操作信号をモード制御部150に出力する。モード制御部150は、その操作信号を受信したとき、動作確認モードを終了し、通常作業状態を開始する(ステップSP6)。このように、本実施形態においては、シフトレバー37の操作によりパーキング状態が解除されたときに、動作確認モードが終了し、通常作業状態が開始される。
 図25を参照して説明したように、複数のレーダ装置20の全部の作動状態が良好であることを、表示装置50を介してオペレータWMが認識した場合、オペレータWMは、通常作業を開始してもよい。オペレータWMは、表示装置50に表示されるレーダ装置20の検出結果(指標MK)に基づいて、ダンプトラック1の周辺に物体が存在するか否かを確認しながら、ダンプトラック1の走行を開始することができる。複数のレーダ装置20の全部の作動状態が良好である場合において、ダンプトラック1が通常作業状態に設定された場合、表示装置50は、図17及び図18を参照して説明したような画像を表示する。これにより、ダンプトラック1の発進時又は低速走行時において、周辺の安全確認を円滑に行うことができる。図17及び図18に示すように、複数のレーダ装置20の全部の作動状態が良好である場合において、ダンプトラック1が通常作業状態に設定された場合、動作確認モードを示すアイコン(53F)は、表示装置50の画面から消去される。
 なお、本実施形態においては、ダンプトラック1の走行速度が閾値(例えば時速15km)を超えたとき、表示装置50には俯瞰画像200のような撮像装置10の撮像結果に基づく画像が表示されなくなる。また、ダンプトラック1の走行速度が閾値(例えば時速15km)を超えたとき、レーダ装置20の作動が停止され、表示装置50にはレーダ装置20の検出結果に基づく指標MKも表示されなくなる。
 図26を参照して説明したように、複数のレーダ装置20のうち、判定部210により作動状態が不良であると判断されたレーダ装置23の識別情報である検出エリア23Cを、表示装置50を介してオペレータWMが認識した場合、予め決められている措置が講じられる。例えば、サービスマンの派遣要請、レーダ装置23の修理又は交換などの措置が講じられる。
 複数のレーダ装置20のうち、一部のレーダ装置20の作動状態が不良であると判断された場合においても、シフトレバー37の操作により、動作確認モードが終了し、通常作業状態が開始される。オペレータWMは、通常作業を開始することができる。
 図27は、複数のレーダ装置20のうち一部のレーダ装置20の作動状態が不良であると判断された場合において、ダンプトラック1が通常作業状態である場合の表示装置50の表示例を示す。
 図17及び図18を参照して説明したように、複数のレーダ装置20の全部の作動状態が良好であると判断され場合、アイコン(53F)は消去されるものの、複数のレーダ装置20のうち一部のレーダ装置20の作動状態が不良であると判断された場合には、図27に示すように、アイコン53Mが表示される。アイコン53Mは、アイコン53Fとは異なる形態で表示される。本実施形態において、アイコン53Mは、例えば黄色であり、点滅する。このように、動作確認モードの終了後の通常作業状態において、表示装置50は、動作確認モードにおいて不良と判断されたレーダ装置の存在を示す警告情報であるアイコン53Mを表示する。
 なお、動作確認モードにおいて、オペレータWMにより反射部材300が全ての検出エリア20Cに配置されず、一部の検出エリア20Cにしか配置されなかった場合、判定部210は、反射部材300が配置されなかった検出エリア20Cのレーダ装置20の作動状態が不良であると判定することとなる。そのような場合においても、動作確認モードの終了後の通常作業状態において、表示装置50は、動作確認モードにおいて不良と判断されたレーダ装置20の存在を示す警告情報であるアイコン53Mを表示する。
<記憶部>
 本実施形態においては、動作確認モードの実施時期及び動作確認モードにおけるレーダ装置20の検出結果(作動状態の良否)が記憶部160に記憶される。コントローラ100は、タイマー170を有し、時間に対応付けて、動作確認モード(点検作業)の実施時期及び動作確認モードにおけるレーダ装置20の検出結果(作動状態の良否)を記憶部160に記憶する。これにより、その記憶部160の記憶情報を使って、レーダ装置20の性能分析等を実行することができる。タイマー170は、カレンダー時計機能を有している。カレンダー時計機能は、年、月、日、時、分及び秒を計数する機能である。
<レーダ装置の故障(異常)時の表示>
 次に、レーダ装置20に異常が発生したときの表示装置50の表示例について説明する。図28は、レーダ装置20に異常が発生したときの周辺監視システム7の動作の一例を示すフローチャートである。図28に示すように、レーダ装置20の異常が検出される工程(ステップSQ1)と、異常が発生したレーダ装置20の検出エリア20Cを表示装置50に表示する工程(ステップSQ2)とが実行される。
 通常作業状態において、何らかの原因で、レーダ装置20に異常が発生する可能性がある。レーダ装置20の異常は、レーダ装置20の故障又は破損を含む。また、レーダ装置20の異常は、レーダ装置20の温度異常、電圧異常、ノイズ(内部的なノイズ及び外部的なノイズ)の作用により誤作動、及び半導体チップのようなハードウエア故障(破損)などを含む。また、レーダ装置20の異常は、レーダ装置20に接続される電気ケーブルの切断を含む。温度異常は、レーダ装置20に設けられた温度センサで検出可能である。電圧異常は、レーダ装置20に印加される電圧を検出可能な電圧計で検出可能である。
 図3に示したように、本実施形態において、コントローラ100は、異常検出部230を有する。異常検出部230は、上述した内容の異常を検出可能であり、異常情報を取得可能である。異常検出部230は、レーダ装置20に異常が発生したと判断した場合、その異常を示す異常信号を表示制御部140に出力する(ステップSQ1)。
 図29は、レーダ装置20に異常が発生した場合の表示装置50の表示例を示す。図29に示すように、表示制御部140は、表示装置50の画面の第1画像エリア50Aにダンプトラック1を表示するとともに、異常が発生したレーダ装置20の検出エリア20Cを、表示装置50の画面においてダンプトラック1の周辺に表示する。
 図29は、レーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24に異常が発生し、異常が発生したレーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24の検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cが表示装置50の画面においてダンプトラック1の周辺に表示されている例を示す。
 また、図29に示すように、表示制御部140は、ダンプトラック1の周辺の俯瞰画像200をダンプトラック1の周辺に表示し、俯瞰画像200に重なるように、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示装置50に表示する。
 本実施形態においては、図30に示すように、表示制御部140は、表示装置50の画面において、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを点滅させる。なお、表示制御部140は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを、動作確認モードとは異なる色で表示する。本実施形態においては、動作確認モードで作動状態が不良と判断されたレーダ装置20の検出エリアは、黄色で表示され、異常が発生したと判断されたレーダ装置20の検出エリア20Cは、赤色で表示される。
 検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cの点滅は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示する表示動作と、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示しない非表示動作とを繰り返すことを含む。表示動作の期間においては、表示装置50において、俯瞰画像200の一部が、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cで隠れる(視認できなくなる)。非表示動作の期間においては、表示装置50において、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cで隠れていた俯瞰画像200が、表示される(視認できるようになる)。
 図31は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示しない非表示動作及び表示する表示動作の一例を示すタイミングチャートである。図31に示すように、非表示動作の期間T1は、表示動作の期間T2よりも長い。これにより、俯瞰画像200の一部が検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cで隠れる期間が短くなり、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cが表示される状況においても、俯瞰画像200を視認し易くなる。
 図32は、異常が発生したレーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24の検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cの表示例を示す。表示制御部140は、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cと俯瞰画像200とが表示装置50の画面において重なった状態で、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cと、俯瞰画像200の両方とが視認されるように、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを表示装置50の画面に半透明表示してもよい。こうすることによっても、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cが表示される状況において、俯瞰画像200を視認し易くなる。
 図29に戻って、レーダ装置20に異常が発生したと判断された場合、表示制御部140は、第3画像エリア50Cに、異常が発生したことを示すアイコン54及びアイコン55を表示する。さらに、表示制御部140は、第4画像エリア50Dを設定し、その第4画像エリア50Dにアイコン56を表示したり、エラーコード57を表示したりする。エラーコード57によって示されるER01は、異常現象の内容及び異常が発生した部位をコード化したものの一例である。
 図29に示す例では、通常作業状態において、レーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24に異常が生じているものの、レーダ装置25、レーダ装置26、レーダ装置27、及びレーダ装置28は正常である。したがって、例えば、レーダ装置27が物体を検出した場合、図33に示すように、表示装置50には、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cと、物体が存在する撮像エリア15Cの外形を示すフレーム画像とが表示される。撮像エリア15Cは、複数の撮像エリア10C(11C~16C)のうち、物体を検出したレーダ装置27の検出エリア27Cと重複する撮像エリア10Cである。
 表示装置50の画面上において、撮像エリア10C(11C~16C)の形態と、検出エリア20C(21C~28C)の形態とは異なる。形態は、画面上における外形、大きさ、及びデザインを含む。本実施形態においては、異常が発生したレーダ装置21、レーダ装置22、レーダ装置23、及びレーダ装置24については、検出エリア21C、検出エリア22C、検出エリア23C、及び検出エリア24Cを使って表示装置50の画面に表示される。物体を検出した正常なレーダ装置27については、撮像エリア15Cを使って表示装置50の画面に表示される。このように、本実施形態においては、表示制御部140は、異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置20の検出エリア20C(撮像エリア10C)とを異なる形態で表示する。また、本実施形態においては、表示制御部140は、複数のレーダ装置20のうち、異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置27の検出エリア20C(撮像エリア15C)とを異なる形態で同時に表示する。これにより、オペレータWMは、異常が発生しているレーダ装置20と、正常な動作を行っているレーダ装置20とを区別し易くなる。また、オペレータWMは、1つの画面で複数の情報を同時に取得することができる。
 また、上述したように、表示制御部140は、通常作業状態において物体を検出したレーダ装置20を、撮像エリア10Cを使って表示し、動作確認モードにおいて不良と判断されたレーダ装置20を、検出エリア20Cを使って表示する。このように、表示装置50は、動作確認モード開始前又は終了後の通常作業状態において物体を検出したレーダ装置20の識別情報と、動作確認モードにおいて不良と判断されたレーダ装置20の識別情報とを異なる形態で表示するため、オペレータWMはそれらの違いを区別し易くなる。
 通常作業状態において、ダンプトラック1が高速走行中にレーダ装置20の異常が発生した場合、図29に示したような第1画像エリア50A及び第2画像エリア50Bに画像は表示されないものの、第3画像エリア50C及び第4画像エリア50Dにおいて、アイコン54、アイコン55、アイコン56、及びエラーコード57などの表示は行われる。
 なお、図29に示したような、異常が発生したレーダ装置20(21~24)の識別情報(検出エリア21C~24C)が、通常作業状態においてダンプトラック1が高速走行時においても表示されてもよい。異常検出部230によってレーダ装置20(21~24)の異常が検出された場合、表示制御部140は、図29に示したような、第1画像エリア50Aの俯瞰画像200、及び検出エリア21C、検出エリア22C、検出エリア23C、検出エリア24Cを含む画像を表示装置50に表示してもよい。これによりダンプトラック1が高速走行時においても、オペレータWMは、異常が発生したレーダ装置21~24を認識することができる。
 なお、入力装置80の強制表示ボタンの操作により、通常作業状態においてダンプトラック1が高速走行時においても、異常が発生したレーダ装置21~24の識別情報(検出エリア21C~24C)の表示が行われてもよい。
 以上説明したように、本実施形態によれば、レーダ装置20の点検のための動作確認モードにおいて、判定部210により作動状態が不良と判断されたレーダ装置20の識別情報を表示装置50に表示するようにしたので、レーダ装置20が正常に作動しない状況であるにもかかわらず、オペレータWMがその状況を認識せずに作業を続けてしまうことが抑制される。
 また、本実施形態によれば、通常作業状態において、異常検出部230により異常が発生したと判断されたレーダ装置20の識別情報を表示装置50に表示するようにしたので、レーダ装置20が異常であるにもかかわらず、オペレータWMがその状況を認識せずに作業を続けてしまうことが抑制される。
 したがって、オペレータWMは、不良なレーダ装置20が存在する場合、修繕などの決められた措置を実行したり、不良なレーダ装置20の存在を認識しつつ、注意深く作業を継続したりすることができる。したがって、ダンプトラック1の周辺に存在する物体とダンプトラック1との接触が抑制される。例えば、ダンプトラック1の発進時及び低速走行時などにおいて、ダンプトラック1が物体をまきこんでしまう不具合が抑制される。
 このように、本実施形態においては、周辺監視システム7は、表示装置50を使って、レーダ装置20の状態をオペレータWMに認識させることを支援することができる。
 また、本実施形態においては、レーダ装置20は、ダンプトラック1の周辺の異なる領域が検出されるように複数配置され、コントローラ100は、複数のレーダ装置20ごとに、作動状態の良否を判断することができる。これにより、オペレータWMは、複数のレーダ装置20の作動状態の良否について、個別に認識することができる。
 また、本実施形態においては、レーダ装置20において作動状態が不良である場合又は異常が発生した場合、表示装置50の画面には、ダンプトラック1が表示されるとともに、作動状態が不良なレーダ装置20又は異常が発生したレーダ装置20の検出エリア20Cがダンプトラック1の周辺に表示される。これにより、周辺監視システム7は、不良又は異常なレーダ装置20の検出エリア20Cを、オペレータWMに視覚的に訴えることができる。また、オペレータWMは、作動状態が不良又は異常なレーダ装置20の検出エリア20Cを直感的に把握することができる。そのため、オペレータWMに対する負担及びストレスが低減され、安全な作業が行われる。
 また、本実施形態においては、表示装置50の画面には、撮像装置10の撮像結果に基づいて生成されたダンプトラック1の周辺の俯瞰画像200がダンプトラック1の周辺に表示され、その俯瞰画像200に重なるように、作動状態が不良又は異常なレーダ装置20の検出エリア20Cが表示される。これにより、検出エリア20Cに物体が存在する場合、オペレータWMは、撮像装置10の撮像結果に基づいて、物体の画像(光学像)を視認することができる。
 また、本実施形態において、周辺監視システム7は、レーダ装置20と撮像装置10との両方を使って、ダンプトラック1の周辺の物体をくまなく検出し、物体に対するオペレータWMの認識を十分に支援することができる。レーダ装置20は、撮像装置10よりも広範囲(遠距離)において物体を検出可能であり、表示装置50は、指標MKを使って物体の位置を直感的にオペレータWMに訴えることができる。撮像装置10は、物体の画像(光学像)をオペレータWMに認識させることができる。
 また、例えば動作確認モードにおいて、表示装置50には、レーダ装置20からの情報と撮像装置10からの情報との両方が表示される。そのため、例えば、撮像装置10の撮像結果に基づいて、ダンプトラック1の周辺に物体(反射部材300)が存在することが認識されたにもかかわらず、レーダ装置20がその物体を検出しない場合、オペレータWM自身が、レーダ装置20の作動状態が不良であると判断することができる。同様に、撮像装置10の撮像結果に基づいて、ダンプトラック1の周辺に物体(反射部材300)が存在しないことが認識されたにもかかわらず、レーダ装置20が物体が存在する検出結果を出力した場合、オペレータWM自身が、レーダ装置20の作動状態が不良であると判断することができる。このように、オペレータWMは、表示装置50に表示される、レーダ装置20からの情報を撮像装置10からの情報との両方の情報に基づいて、始業点検の正確さを自らチェックすることができる。
 また、本実施形態においては、動作確認モードにおいて、表示装置50は、不良と判断されたレーダ装置20の検出エリア20Cを表示し、良好と判断された検出装置20の検出エリア20Cを表示しない。これにより、オペレータWMは、作動状態が良好なレーダ装置20と不良なレーダ装置20とを瞬時に認識することができる。
 また、本実施形態においては、動作確認モードの初期状態において、表示装置50は、複数のレーダ装置20それぞれの検出エリア20Cを表示し、判定部210により作動状態が良好と判断されたレーダ装置20の検出エリア20Cを消去する。これにより、オペレータWMは、作動状態が良好なレーダ装置20を円滑に認識することができる。
 また、本実施形態においては、ダンプトラック1がパーキング状態において指令信号が取得されたときに動作確認モードが開始される。これにより、ダンプトラック1の周囲において反射部材300を移動させる作業を含む点検作業を安全に行うことができる。また、パーキング状態が解除されたときに、動作確認モードが終了されることにより、動作確認モードから通常作業状態に円滑に移行することができる。
 また、本実施形態においては、動作確認モードの終了後、作動状態が不良と判断されたレーダ装置20に対する修繕などを行うことなく、通常作業状態に移行しても、表示装置50は、動作確認モードにおいて不良と判断されたレーダ装置20の存在を示す警告情報(本実施形態においては図27に示したアイコン53M)を表示する。これにより、通常作業状態に移行しても、オペレータWMに、作動状態が不良なレーダ装置20の存在を認識させ続けることができる。
 また、本実施形態においては、表示装置50は、通常作業状態において物体を検出したレーダ装置20の識別情報と、動作確認モードにおいて不良と判断されたレーダ装置20の識別情報とを異なる形態で表示する。
 また、本実施形態においては、通常作業状態において異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置20の検出エリア20C(撮像エリア10C)とを異なる形態で表示する。これにより、オペレータWMは、異常なレーダ装置20の表示なのか、物体を検出した結果の表示なのかを正しく認識することができる。また、複数のレーダ装置20のうち、異常が発生したレーダ装置20の検出エリア20Cと、物体を検出した正常なレーダ装置20の検出エリア20C(撮像エリア10C)とが異なる形態で同時に表示されることにより、オペレータWMは、複数の情報を一括して正しく認識することができる。
 また、本実施形態においては、動作確認モードの実施時期及び動作確認モードにおけるレーダ装置20の検出結果が記憶部160に記憶される。これにより、その記憶部160の記憶情報を使って、レーダ装置20の性能分析等を実行することができる。
 また、本実施形態においては、通常作業状態において、レーダ装置20に異常が発生した場合、表示装置50は、画面の検出エリア20Cを点滅させる。これにより、周辺監視システム7は、異常が発生したレーダ装置20の存在を視覚的に訴えることができる。また、検出エリア20Cが点滅表示されることにより、表示装置50の画面に俯瞰画像200が表示される場合、その俯瞰画像200に検出エリア20Cが重ねて表示されても、表示装置50は、点滅における検出エリア20Cの非表示動作の期間において、俯瞰画像200をオペレータWMに視認させることができる。
 また、本実施形態においては、検出エリア20Cの点滅において、検出エリア20Cを表示しない非表示動作の期間は、検出エリア20Cを表示する表示動作の期間よりも長い。これにより、その俯瞰画像200に検出エリア20Cが重ねて表示されても、表示装置50は、点滅における検出エリア20Cの非表示動作の期間において、俯瞰画像200をオペレータWMに十分に視認させることができる。
 また、通常作業状態において、レーダ装置20に異常が発生した場合、表示装置50は、画面の検出エリア20Cを半透明表示してもよい。これにより、俯瞰画像200に検出エリア20Cが重ねて表示されても、表示装置50は、検出エリア20C及び俯瞰画像200の両方をオペレータWMに十分に視認させることができる。
 なお、上述の実施形態においては、動作確認モードにおいて作動状態が不良と判断されたレーダ装置20の識別情報として、撮像エリア10Cを利用して表示することとした。検出エリア20Cを利用して表示してもよい。
 なお、上述の実施形態においては、動作確認モードにおいて作動状態が不良と判断されたレーダ装置20の識別情報として、表示装置50の画面においてダンプトラック1の周辺に撮像エリア10C(又は検出エリア20C)を表示することとした。作動状態が不良と判断されたレーダ装置20の識別情報として、文字又は数字が用いられてもよいし、アイコンが用いられてもよい。例えば、複数のレーダ装置20のうち、動作確認モードにおいて作動状態が不良と判断されたレーダ装置20がレーダ装置23である場合、表示装置50の画面に「レーダ装置23が作動状態不良」という文字が表示されてもよい。
 なお、上述の実施形態においては、検出装置20がレーダ装置であることとした。検出装置は、非接触でダンプトラック1の周辺の物体を検出できればよい。検出装置は、例えば、物体に照射されたレーザ光に基づいて物体を検出するレーザ装置でもよい。
 なお、上述の実施形態においては、表示装置50は、レーダ装置20の検出結果を示す指標MK(及びアイコン)と、撮像装置10の撮像結果を示す画像(俯瞰画像200を含む)との両方を表示することとした。表示装置50は、撮像装置10の撮像結果を表示しなくてもよい。ダンプトラック1は撮像装置10を有しなくてもよい。
 なお、上述の実施形態においては、作業車両1がダンプトラックであることとした。作業車両1は、下部走行体と上部旋回体と作業機とを有する油圧ショベルでもよい。その油圧ショベルにおいて、上部旋回体に撮像装置及びレーター装置等が設置されてもよい。
 以上、本実施形態を説明したが、上述した内容により本実施形態が限定されるものではない。また、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 ダンプトラック
2 車両本体
2a ロアデッキ
2b アッパデッキ
2c 可動式ラダー
2d 斜めラダー
2e 手すり
2f フレーム
2g フロントフェンダー
3 キャブ
3a 支柱
3b 支柱
3c 支柱
3d 支柱
4 ベッセル
4F 鍔部
5 走行装置
5A 前輪
5B 後輪
7 周辺監視システム
8 操作パネル
10(11~16) 撮像装置
10C(11C~16C) 撮像エリア
20(21~28) レーダ装置
20C(21C~28C) 検出エリア
31 運転席
32 ステアリングホイール
33 ダッシュカバー
34 無線装置
35A アクセルペダル
35Bf ブレーキペダル
35Bs セカンダリブレーキペダル
36 リターダ
37 シフトレバー
37S シフトレバーポジションセンサ
37P パーキングブレーキ操作スイッチ
50 表示装置
50A 第1画像エリア
50B 第2画像エリア
50C 第3画像エリア
50D 第4画像エリア
51 アイコン
52 アイコン
53 アイコン
53F アイコン
53M アイコン
54 アイコン
55 アイコン
56 アイコン
57 エラーコード
62 エアクリーナ
70 クロスメンバー
71 リアアクスル
80 入力装置
81 レーダ本体
82 ケーブル
83 保護部材
84 保護部材
100 コントローラ
110 俯瞰画像合成部
120 取得部
130 位置情報生成部
140 表示制御部
150 モード制御部
200 俯瞰画像
210 判定部
220 処理部
230 異常検出部
300 反射部材
301 支持部材
B 後側
F 前側
L 左側
MK 指標
R 右側
UN 下側
UP 上側
WM オペレータ

Claims (9)

  1.  作業車両に配置され、前記作業車両の周辺の物体を検出可能な検出装置と、
     前記作業車両に配置され、画面に前記作業車両を表示するとともに異常が発生した前記検出装置の検出エリアを前記画面において前記作業車両の周辺に表示する表示装置と、
    を備える周辺監視システム。
  2.  前記作業車両に配置され、前記作業車両の周辺を撮像する撮像装置を備え、
     前記表示装置は、前記撮像装置の撮像結果に基づいて生成された前記作業車両の周辺の俯瞰画像を前記作業車両の周辺に表示し、前記俯瞰画像に重なるように前記検出エリアを表示する請求項1に記載の周辺監視システム。
  3.  前記表示装置は、前記画面の前記検出エリアを点滅させる請求項2に記載の周辺監視システム。
  4.  前記検出エリアの点滅は、前記検出エリアを表示する表示動作と前記検出エリアを表示しない非表示動作とを繰り返すことを含み、前記非表示動作の期間は前記表示動作の期間よりも長い請求項3に記載の周辺監視システム。
  5.  前記表示装置は、前記検出エリアと前記俯瞰画像とが重なった状態で前記検出エリア及び前記俯瞰画像の両方が視認されるように前記検出エリアを半透明表示する請求項2に記載の周辺監視システム。
  6.  前記表示装置は、異常が発生した前記検出装置の検出エリアと、物体を検出した正常な検出装置の検出エリアとを異なる形態で表示する請求項1から請求項5のいずれか一項に記載の周辺監視システム。
  7.  前記検出装置は、前記作業車両の周辺の異なる領域が検出されるように複数配置され、
     前記表示装置は、複数の前記検出装置のうち、異常が発生した検出装置の検出エリアと、物体を検出した正常な検出装置の検出エリアとを異なる形態で同時に表示可能である請求項6に記載の周辺監視システム。
  8.  請求項1から請求項7のいずれか一項に記載の周辺監視システムを備える作業車両。
  9.  作業車両に配置された前記作業車両の周辺の物体を検出装置で検出することと、
     前記作業車両に配置された表示装置の画面に前記作業車両を表示するとともに異常が発生した前記検出装置の検出エリアを前記画面において前記作業車両の周辺に表示することと、
    を含む周辺監視方法。
PCT/JP2014/061802 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法 WO2015162801A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480000817.7A CN105283777B (zh) 2014-04-25 2014-04-25 周边监视系统、作业车辆以及周边监视方法
US14/382,326 US9975485B2 (en) 2014-04-25 2014-04-25 Surroundings monitoring system, work vehicle, and surroundings monitoring method
CA2863648A CA2863648C (en) 2014-04-25 2014-04-25 Surroundings monitoring system, work vehicle, and surroundings monitoring method
PCT/JP2014/061802 WO2015162801A1 (ja) 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法
JP2014525253A JP6228538B2 (ja) 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/061802 WO2015162801A1 (ja) 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法

Publications (1)

Publication Number Publication Date
WO2015162801A1 true WO2015162801A1 (ja) 2015-10-29

Family

ID=54331988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/061802 WO2015162801A1 (ja) 2014-04-25 2014-04-25 周辺監視システム、作業車両、及び周辺監視方法

Country Status (5)

Country Link
US (1) US9975485B2 (ja)
JP (1) JP6228538B2 (ja)
CN (1) CN105283777B (ja)
CA (1) CA2863648C (ja)
WO (1) WO2015162801A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5933004B2 (ja) * 2014-04-25 2016-06-08 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
JP2019207585A (ja) * 2018-05-30 2019-12-05 株式会社デンソー 移動体、制御装置およびセンサの動作診断方法
JP2020165834A (ja) * 2019-03-29 2020-10-08 日立建機株式会社 作業車両
JP2022007283A (ja) * 2020-06-26 2022-01-13 酒井重工業株式会社 建設車両の障害物検知装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6315696B2 (ja) * 2014-09-29 2018-04-25 日立建機株式会社 運搬車両の停止位置算出装置
KR102484103B1 (ko) * 2016-02-23 2023-01-04 현대두산인프라코어(주) 표시 시스템
CN107539192B (zh) * 2016-06-29 2019-08-13 比亚迪股份有限公司 一种电动矿山自卸车
KR102386846B1 (ko) * 2016-07-05 2022-04-13 스미토모 겐키 가부시키가이샤 쇼벨
CN110114244B (zh) 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
EP3389026A1 (en) * 2017-04-12 2018-10-17 Volvo Car Corporation Apparatus and method for road vehicle driver assistance
CN107444269A (zh) * 2017-08-14 2017-12-08 四川鹏尧智运科技有限公司 可保障安全倾倒的电子监控货箱
CN107749946B (zh) * 2017-09-28 2020-02-18 宁波优泊停车服务有限公司 道路停车泊位拍摄方法、系统、计算机装置及计算机可读存储介质
JP6969983B2 (ja) 2017-11-10 2021-11-24 株式会社小松製作所 ダンプトラック
CN107911655A (zh) * 2017-11-17 2018-04-13 江苏艾思博信息技术有限公司 基于ar的智能装卸执行方法和系统
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
CN110865637B (zh) * 2018-08-10 2022-12-06 宝时得科技(中国)有限公司 自行走设备的控制方法、装置以及计算机设备
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
JP7239291B2 (ja) * 2018-09-28 2023-03-14 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
JP7038643B2 (ja) * 2018-11-26 2022-03-18 本田技研工業株式会社 映像表示装置
CN109532670B (zh) * 2018-11-28 2022-02-22 广州市网拓信息技术有限公司 一种车载安全距离判断装置及其软件使用原理
US11422229B2 (en) * 2019-02-01 2022-08-23 Preco Electronics, LLC Display and alarm for vehicle object detection radar
JP7111641B2 (ja) * 2019-03-14 2022-08-02 日立建機株式会社 建設機械
US11878694B2 (en) * 2019-06-24 2024-01-23 Andy Krejci Vehicle safety system
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN111142828A (zh) * 2019-12-31 2020-05-12 江苏常发农业装备股份有限公司 一种作业阴影显示方法、系统、设备及存储介质
USD955237S1 (en) 2020-02-03 2022-06-21 Preco Electronics, LLC Display unit
USD955902S1 (en) 2020-02-03 2022-06-28 Preco Electronics, LLC Display unit
US11421402B2 (en) * 2020-02-05 2022-08-23 Caterpillar Paving Products Inc. Operation-based object detection for a work machine
CN114495515B (zh) * 2021-12-23 2023-01-17 江苏宁沪高速公路股份有限公司无锡管理处 一种道路作业车辆安全监控预警方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199894A (ja) * 1997-09-30 1999-04-13 Mazda Motor Corp 車両用障害物検出装置
JPH11264871A (ja) * 1998-03-17 1999-09-28 Komatsu Ltd 車両用障害物検出装置の監視機構
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2010210412A (ja) * 2009-03-10 2010-09-24 Toshiba Tec Corp 障害物検知システム及びこのシステムの障害物センサ診断方法
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
JP2013242172A (ja) * 2012-05-18 2013-12-05 Sumitomo Heavy Ind Ltd 超音波センサ
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2014064192A (ja) * 2012-09-21 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01199894A (ja) * 1988-01-25 1989-08-11 Kanebo Ltd キャッピングマシーンのキャップホルダ
JP2000028717A (ja) * 1998-07-13 2000-01-28 Mitsubishi Electric Corp 障害物検出装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4847913B2 (ja) 2007-03-30 2011-12-28 日立建機株式会社 作業機械周辺監視装置
US20130265431A1 (en) * 2009-02-19 2013-10-10 Denso Corporation Outside view monitor system for vehicle
KR101039248B1 (ko) * 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
JP2011188134A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 監視システム、その制御方法及び監視装置
WO2011114366A1 (ja) 2010-03-16 2011-09-22 三菱電機株式会社 路車協調型安全運転支援装置
CN103080990B (zh) * 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
JP5991647B2 (ja) * 2013-03-28 2016-09-14 株式会社デンソー 車両用周辺監視制御装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199894A (ja) * 1997-09-30 1999-04-13 Mazda Motor Corp 車両用障害物検出装置
JPH11264871A (ja) * 1998-03-17 1999-09-28 Komatsu Ltd 車両用障害物検出装置の監視機構
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2010210412A (ja) * 2009-03-10 2010-09-24 Toshiba Tec Corp 障害物検知システム及びこのシステムの障害物センサ診断方法
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
JP2013242172A (ja) * 2012-05-18 2013-12-05 Sumitomo Heavy Ind Ltd 超音波センサ
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2014064192A (ja) * 2012-09-21 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5933004B2 (ja) * 2014-04-25 2016-06-08 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
JPWO2015162800A1 (ja) * 2014-04-25 2017-04-13 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
US10240323B2 (en) 2014-04-25 2019-03-26 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method
JP2019207585A (ja) * 2018-05-30 2019-12-05 株式会社デンソー 移動体、制御装置およびセンサの動作診断方法
WO2019230630A1 (ja) * 2018-05-30 2019-12-05 株式会社デンソー 移動体、制御装置およびセンサの動作診断方法
JP2020165834A (ja) * 2019-03-29 2020-10-08 日立建機株式会社 作業車両
JP7374602B2 (ja) 2019-03-29 2023-11-07 日立建機株式会社 作業車両
JP2022007283A (ja) * 2020-06-26 2022-01-13 酒井重工業株式会社 建設車両の障害物検知装置
JP7296345B2 (ja) 2020-06-26 2023-06-22 酒井重工業株式会社 転圧ローラの障害物検知装置

Also Published As

Publication number Publication date
US9975485B2 (en) 2018-05-22
CN105283777B (zh) 2019-09-24
CA2863648C (en) 2017-06-20
JP6228538B2 (ja) 2017-11-08
JPWO2015162801A1 (ja) 2017-04-13
US20160236616A1 (en) 2016-08-18
CN105283777A (zh) 2016-01-27
CA2863648A1 (en) 2015-10-25

Similar Documents

Publication Publication Date Title
JP6228538B2 (ja) 周辺監視システム、作業車両、及び周辺監視方法
JP5933004B2 (ja) 周辺監視システム、作業車両、及び周辺監視方法
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5324690B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5456123B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5550695B2 (ja) 作業車両用周辺監視システム及び作業車両
WO2013136564A1 (ja) 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5595565B2 (ja) 作業車両用周辺監視システム、作業車両及び作業車両用周辺監視方法
JP5788048B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2817863C (en) Work vehicle periphery monitoring system and work vehicle

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480000817.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2014525253

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2863648

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14382326

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14889882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14889882

Country of ref document: EP

Kind code of ref document: A1