WO2017131243A1 - 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法 - Google Patents

作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法 Download PDF

Info

Publication number
WO2017131243A1
WO2017131243A1 PCT/JP2017/004807 JP2017004807W WO2017131243A1 WO 2017131243 A1 WO2017131243 A1 WO 2017131243A1 JP 2017004807 W JP2017004807 W JP 2017004807W WO 2017131243 A1 WO2017131243 A1 WO 2017131243A1
Authority
WO
WIPO (PCT)
Prior art keywords
bending angle
image
vehicle body
work vehicle
wheel loader
Prior art date
Application number
PCT/JP2017/004807
Other languages
English (en)
French (fr)
Inventor
雅明 今泉
栗原 毅
将崇 尾崎
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN201780000493.0A priority Critical patent/CN107431789B/zh
Priority to EP17727786.0A priority patent/EP3226553B1/en
Priority to US15/535,808 priority patent/US10421400B2/en
Priority to JP2017509784A priority patent/JP6251453B1/ja
Priority to PCT/JP2017/004807 priority patent/WO2017131243A1/ja
Publication of WO2017131243A1 publication Critical patent/WO2017131243A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/0841Articulated frame, i.e. having at least one pivot point between two travelling gear units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the present invention relates to a work vehicle periphery monitoring system, a work vehicle, and a work vehicle periphery monitoring method.
  • the periphery monitoring system generates a bird's-eye view of the periphery of the work vehicle and displays it on a display device provided in the cab of the work vehicle.
  • a display device provided in the cab of the work vehicle.
  • the driver of the work vehicle can accurately recognize the relative position between the work vehicle and an obstacle around the work vehicle.
  • an articulated work vehicle such as a wheel loader or an articulated dump truck
  • the driver can detect the relative relationship between the articulated work vehicle and the obstacle. The position can be recognized accurately.
  • An aspect of the present invention aims to suppress an increase in cost and allow the driver to accurately recognize the relative position between the articulate work vehicle and the obstacle.
  • a work vehicle periphery monitoring system including a vehicle body front portion, a vehicle body rear portion, and a joint mechanism that flexibly connects the vehicle body front portion and the vehicle body rear portion.
  • a bending angle data acquisition unit for acquiring bending angle data indicating a bending angle between the front part of the vehicle body and the rear part of the vehicle body detected by a detection device mounted on the vehicle, and a plurality of cameras mounted on the work vehicle
  • a captured image data acquisition unit that acquires a captured image captured by each of the above, an overhead image synthesis unit that generates a bird's-eye view image of the periphery of the work vehicle by image processing the plurality of the captured image data, and the vehicle body front portion
  • a storage unit that stores representative images of the work vehicle belonging to each of a plurality of bending angle ranges of the vehicle body and a rear portion of the vehicle body, and a bending angle range to which the bending angle belongs is determined from the plurality of bending angle ranges
  • a determination unit a selection unit that selects a representative image belonging to the bending angle range determined by the determination unit from a plurality of the representative images; and the overhead image generated by the overhead image synthesis unit and the selection unit.
  • a work vehicle periphery monitoring system comprising: a display control unit that simultaneously displays the representative image on a display device.
  • a work vehicle including the work vehicle periphery monitoring system according to the first aspect is provided.
  • a work vehicle periphery monitoring method in which a vehicle body front portion and a vehicle body rear portion can be bent, each of the plurality of bending angle ranges of the vehicle body front portion and the vehicle body rear portion. Storing a representative image of the working vehicle to which the vehicle belongs, acquiring bending angle data indicating a bending angle between the front portion of the vehicle body and the rear portion of the vehicle body, and acquiring a photographed image of the periphery of the working vehicle.
  • a work vehicle periphery monitoring method comprising: selecting a representative image belonging to the determined bending angle range from a representative image; and simultaneously displaying the overhead image and the selected representative image. It is.
  • an increase in cost can be suppressed and the driver can accurately recognize the relative position between the articulated work vehicle and the obstacle.
  • FIG. 1 is a side view showing an example of a work vehicle according to the first embodiment.
  • FIG. 2 is a top view illustrating an example of the work vehicle according to the first embodiment.
  • FIG. 3 is a front view showing an example of the work vehicle according to the first embodiment.
  • FIG. 4 is a front view showing a part of the work vehicle according to the first embodiment.
  • FIG. 5 is a perspective view illustrating an example of a camera according to the first embodiment.
  • FIG. 6 is a schematic diagram for explaining a shooting region of the camera according to the first embodiment.
  • FIG. 7 is a schematic diagram for explaining an imaging region of the camera according to the first embodiment.
  • FIG. 8 is a schematic diagram for explaining a shooting region of the camera according to the first embodiment.
  • FIG. 1 is a side view showing an example of a work vehicle according to the first embodiment.
  • FIG. 2 is a top view illustrating an example of the work vehicle according to the first embodiment.
  • FIG. 3 is a front view showing an example of the
  • FIG. 9 is a schematic diagram for explaining a detection region of the non-contact sensor according to the first embodiment.
  • FIG. 10 is a schematic diagram for explaining a detection region of the non-contact sensor according to the first embodiment.
  • FIG. 11 is a functional block diagram illustrating an example of a control device according to the first embodiment.
  • FIG. 12 is a schematic diagram for explaining a bending angle range according to the first embodiment.
  • FIG. 13 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 14 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 15 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 16 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 17 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 18 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 16 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 17 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a
  • FIG. 19 is a diagram schematically illustrating an example of a representative image of a work vehicle belonging to each of a plurality of bending angle ranges according to the first embodiment.
  • FIG. 20 is a diagram schematically illustrating an example of a display screen displayed on the display device according to the first embodiment.
  • FIG. 21 is a diagram schematically illustrating an example of a cab according to the first embodiment.
  • FIG. 22 is a flowchart illustrating an example of a work vehicle periphery monitoring method according to the first embodiment.
  • FIG. 23 is a diagram schematically illustrating an example of a work vehicle according to the second embodiment.
  • FIG. 1 is a side view showing an example of a work vehicle 1 according to the present embodiment.
  • FIG. 2 is a top view illustrating an example of the work vehicle 1 according to the present embodiment.
  • FIG. 3 is a front view showing an example of the work vehicle 1 according to the present embodiment.
  • the work vehicle 1 is a wheel loader 1 that is a kind of articulate work vehicle.
  • the wheel loader 1 is operated at a mining site of a mine.
  • the wheel loader 1 loads the excavated material scooped with the bucket 12 into the vessel of the transport vehicle.
  • a dump truck is used as the transport vehicle.
  • the wheel loader 1 may discharge the excavated material scooped with the bucket 12 to a discharge place provided at a predetermined location in the mine.
  • the wheel loader 1 includes a vehicle body 2, a cab 3 provided with a driver's seat, a traveling device 4, and a work implement 10 supported by the vehicle body 2. .
  • the vehicle body 2 includes a vehicle body front portion 2F and a vehicle body rear portion 2R.
  • the vehicle body front part 2F and the vehicle body rear part 2R are connected via a joint mechanism 9 so as to be bendable.
  • the joint mechanism 9 is provided with an angle sensor 50 that is a detection device that detects a bending angle ⁇ between the vehicle body front portion 2F and the vehicle body rear portion 2R.
  • the joint mechanism 9 includes a pin member provided on one of the vehicle body front portion 2F and the vehicle body rear portion 2R, and a bearing member provided on the other.
  • the angle sensor 50 is provided on, for example, a pin member.
  • the cab 3 is supported by the vehicle body 2.
  • the wheel loader 1 is operated by a driver who has boarded the cab 3.
  • a driving operation device operated by the driver is arranged in the cab 3.
  • the driving operation device operates, for example, an accelerator pedal, a brake pedal, a shift lever, a steering lever for turning the wheel loader 1, a forward / backward changeover switch for switching between forward and reverse of the wheel loader 1, and the work machine 10. Including a working lever for.
  • the driver operates the driving operation device to adjust the traveling speed of the wheel loader 1, switch between forward or reverse, turn, and operate the work implement 10.
  • the traveling device 4 supports the vehicle body 2.
  • the traveling device 4 has wheels 5.
  • the wheel 5 is rotated by power generated by an engine mounted on the vehicle body 2.
  • a tire 6 is attached to the wheel 5.
  • the wheel 5 includes two front wheels 5F supported by the vehicle body front portion 2F and two rear wheels 5R supported by the vehicle body rear portion 2R.
  • the tire 6 includes a front tire 6F attached to the front wheel 5F and a rear tire 6R attached to the rear wheel 5R.
  • the traveling device 4 can travel on the ground RS.
  • the front wheel 5F and the front tire 6F can rotate around the rotation axis FX.
  • the rear wheel 5R and the rear tire 6R are rotatable about the rotation axis RX.
  • a direction parallel to the rotation axis FX of the front tire 6F is appropriately referred to as a vehicle width direction
  • a direction orthogonal to the ground contact surface of the front tire 6F that contacts the ground RS is appropriately referred to as a vertical direction
  • the direction orthogonal to both the vehicle width direction and the vertical direction is appropriately referred to as the front-rear direction.
  • a position or direction close to the center of the vehicle body 2 in the vehicle width direction will be referred to as the inside or inward of the vehicle width direction as appropriate, and a position or direction far from the center of the vehicle body 2 will be appropriately Called the outside or the outside of the direction.
  • the vehicle width direction one of the driver's seats of the cab 3 as a reference is appropriately referred to as the right side or the right side, and the right side or the right opposite side or the reverse direction is appropriately referred to as the left side or the left side.
  • the position or direction close to the work implement 10 with respect to the driver's seat of the cab 3 is appropriately referred to as the front side or the front side, and the front side or the reverse side or the reverse direction is appropriately set to the rear side or the rear side.
  • a position or direction close to the ground contact surface of the front tire 6F in the vertical direction is appropriately referred to as lower side or lower side, and a lower side or lower reverse side or reverse direction is appropriately referred to as upper side or upper side.
  • the vehicle body front part 2F is arranged in front of the vehicle body rear part 2R.
  • the front wheel 5F and the front tire 6F are disposed in front of the rear wheel 5R and the rear tire 6R.
  • the front wheels 5F and the front tires 6F are disposed on both sides of the vehicle body 2 in the vehicle width direction.
  • the rear wheel 5R and the rear tire 6R are disposed on both sides of the vehicle body 2 in the vehicle width direction.
  • the vehicle body front portion 2F is bent to the left and right with respect to the vehicle body rear portion 2R.
  • the work machine 10 is movably connected to the vehicle body 2. At least a part of the work machine 10 is disposed in front of the front tire 6F.
  • the work implement 10 includes a boom 11 that is movably connected to the vehicle body 2, a bucket 12 that is movably connected to the boom 11, a bell crank 15, and a link 16.
  • the boom 11 is operated by the power generated by the boom cylinder 13.
  • the boom cylinder 13 is a hydraulic cylinder that generates power for moving the boom 11.
  • One end of the boom cylinder 13 is connected to the vehicle body 2.
  • the other end of the boom cylinder 13 is connected to the boom 11.
  • Two boom cylinders 13 are provided.
  • One boom cylinder 13 is provided to the right of the center of the vehicle body 2 in the vehicle width direction.
  • the other boom cylinder 13 is provided to the left of the center of the vehicle body 2 in the vehicle width direction.
  • the boom cylinder 13 expands and contracts. As the boom cylinder 13 expands and contracts, the boom 11 moves up or down.
  • the lifting operation of the boom 11 refers to an operation of lifting the tip of the boom 11 away from the ground RS.
  • the lowering operation of the boom 11 refers to an operation of lowering so that the tip of the boom 11 approaches the ground RS.
  • the boom 11 is raised and lowered within the movable range of the boom 11.
  • the boom 11 that moves up is restricted from moving above the upper end of the movable range of the boom 11.
  • the boom 11 that is lowered is restricted from moving below the lower end of the movable range of the boom 11.
  • the bucket 12 is a working member having a tip 12B including a cutting edge.
  • the bucket 12 is disposed in front of the front tire 6F.
  • Bucket 12 is connected to the tip of boom 11.
  • the bucket 12 is operated by the power generated by the bucket cylinder 14.
  • the bucket cylinder 14 is a hydraulic cylinder that generates power for moving the bucket 12.
  • a central portion of the bell crank 15 is rotatably connected to the boom 11.
  • One end of the bucket cylinder 14 is connected to the vehicle body 2.
  • the other end of the bucket cylinder 14 is connected to one end of the bell crank 15.
  • the other end of the bell crank 15 is connected to the bucket 12 via a link 16.
  • One bucket cylinder 14 is provided.
  • the bucket cylinder 14 is provided at the center in the vehicle width direction. When the driver operates the work lever, the bucket cylinder 14 expands and contracts. As the bucket cylinder 14 expands and contracts, the bucket 12 performs a dumping operation or a tilting operation.
  • the dumping operation of the bucket 12 refers to an operation in which the bucket 12 rotates so that the opening of the bucket 12 faces downward and the tip 12B of the bucket 12 approaches the ground RS.
  • the tilting operation of the bucket 12 refers to an operation in which the bucket 12 rotates so that the opening of the bucket 12 faces upward and the tip 12B of the bucket 12 is separated from the ground RS.
  • the bucket 12 performs a dump operation and a tilt operation within a movable range of the bucket 12.
  • the bucket 12 that performs the dumping operation is restricted from moving below the lower end of the movable range of the bucket 12.
  • the bucket 12 that tilts is restricted from moving above the upper end of the movable range of the bucket 12.
  • the excavated material scooped up by the bucket 12 is discharged from the bucket 12. As the bucket 12 is tilted, the bucket 12 scoops up the excavated material.
  • the end portions 12E on both sides of the bucket 12 in the vehicle width direction are arranged outside the tire 6 in the vehicle width direction. That is, the distance in the vehicle width direction between the right end portion 12E and the left end portion 12E of the bucket 12 is larger than the distance in the vehicle width direction between the outer surface of the right tire 6 and the outer surface of the left tire 6. .
  • FIG. 4 is a front view showing a part of the wheel loader 1 according to the present embodiment, and corresponds to a view in which the bucket 12 and the bell crank 15 are omitted (shown by broken lines).
  • the traveling device 4 includes a power transmission mechanism 7 that transmits power generated by the engine to the front wheels 5 ⁇ / b> F, and a housing 8 that houses at least a part of the power transmission mechanism 7.
  • the engine is arranged in the rear part 2R of the vehicle body.
  • the power generated by the engine is transmitted to the left and right front wheels 5F via the differential gear of the power transmission mechanism 7.
  • the differential gear is accommodated in an axle ball 8 ⁇ / b> B that is a spherical portion of the housing 8.
  • the axle ball 8B is disposed at the center in the vehicle width direction. Further, the axle ball 8B is disposed below the bucket cylinder 14.
  • the wheel loader 1 includes a periphery monitoring system 100 that monitors the periphery of the wheel loader 1 and makes the driver of the wheel loader 1 recognize the state of the periphery of the wheel loader 1.
  • the periphery monitoring system 100 includes a plurality of cameras 20 that capture the periphery of the wheel loader 1, a plurality of non-contact sensors 40 that detect obstacles around the wheel loader 1 in a non-contact manner, a display device 60, and a control device 80.
  • the camera 20 is mounted on the wheel loader 1 and takes a photographed image around the wheel loader 1.
  • six cameras 20 are mounted on the wheel loader 1.
  • the periphery monitoring system 100 can acquire captured images of different areas around the wheel loader 1.
  • the camera 20 is provided on the outer surface of the vehicle body 2 of the wheel loader 1 in order to acquire a captured image around the wheel loader 1.
  • the camera 20 includes a camera 20A that captures the front of the vehicle body 2, a camera 20B that captures the right side of the vehicle body 2, a camera 20C that captures the right and right rear sides of the vehicle body 2, and A camera 20D that captures the rear, a camera 20E that captures the left and rear left of the vehicle body 2, and a camera 20F that captures the left of the vehicle 2 are included.
  • the camera 20A is provided in the vehicle body front portion 2F.
  • the cameras 20B, 20C, 20D, 20E, and 20F are provided on the vehicle body rear portion 2R.
  • FIG. 5 is a perspective view showing an example of the camera 20A according to the present embodiment.
  • the camera 20 ⁇ / b> A is disposed in the front part of the vehicle body front part 2 ⁇ / b> F.
  • the camera 20 ⁇ / b> A is disposed below the bucket cylinder 14 and is disposed above the axle ball 8 ⁇ / b> B of the housing 8.
  • One camera 20A is arranged at the center in the vehicle width direction.
  • the camera 20A is disposed slightly in front of the axle ball 8B.
  • the wheel loader 1 is supported by the vehicle body 2 and includes an illuminating device 30 that illuminates a shooting area of the camera 20A.
  • the illumination device 30 includes a headlamp that emits illumination light. In the present embodiment, two illumination devices 30 are provided above the camera 20A.
  • the lighting device 30 is accommodated in the casing 31.
  • the casing 31 includes a rod member 31L that protects the lighting device 30 without hindering illumination light irradiation.
  • the rod member 31L is disposed in front of the lighting device 30.
  • a cover member 32 that is disposed between the bucket cylinder 14 and the camera 20A in the vertical direction and protects the camera 20A is provided on the vehicle body front portion 2F of the wheel loader 1.
  • the cover member 32 is a gutter member disposed above the camera 20 ⁇ / b> A and the illumination device 30.
  • FIG. 6 and 7 are schematic diagrams for explaining the imaging area SA of the camera 20A according to the present embodiment.
  • FIG. 6 shows the imaging area SA viewed from above.
  • FIG. 7 shows the imaging area SA viewed from the side.
  • FIG. 8 shows the shooting area SA of the camera 20A, the shooting area SB of the camera 20B, the shooting area SC of the camera 20C, the shooting area SD of the camera 20D, the shooting area SE of the camera 20E, as viewed from above.
  • the shooting area of the camera 20 includes a visual field area of the optical system of the camera 20. For example, the camera 20 photographs an obstacle present in the photographing region.
  • the camera 20 ⁇ / b> A captures an imaging area SA defined in front of the vehicle body 2.
  • the shooting area SA of the camera 20A is defined so as to extend in front of the vehicle body 2.
  • the angle of view ⁇ of the camera 20A in the vehicle width direction is about 120 [°].
  • the angle of view ⁇ of the camera 20 ⁇ / b> A in the vertical direction is 90 [°] or more and 100 [°] or less.
  • the shooting area SA of the camera 20A includes at least a part of the front tire 6F.
  • the shooting area SA of the camera 20A includes the front portion of the front tire 6F.
  • the shooting area SA of the camera 20A includes the ground RS between the front tire 6F and the grounded bucket 12 disposed in front of the front tire 6F and in contact with the ground RS.
  • the imaging region SA of the camera 20A includes the end portions 12E on both sides of the bucket 12.
  • the camera 20A is configured such that the end portions 12E on both sides of the bucket 12 and the front portion of the front tire 6F are in a state where the boom 11 is lowered so that the bucket 12 contacts the ground RS.
  • the ground RS between the bucket 12 and the front tire 6F is photographed so as to be reflected.
  • the camera 20B images the imaging area SB defined on the right side of the vehicle body 2.
  • the shooting area SB of the camera 20B is defined so as to extend to the right side of the vehicle body 2.
  • the camera 20B is provided on the right side of the rear body 2F.
  • the camera 20 ⁇ / b> B is provided in the vicinity of the platform, which is an intermediate part of the steps leading to the cab of the cab 3.
  • the camera 20 ⁇ / b> C images the imaging area SC defined on the right side and the right rear side of the vehicle body 2.
  • the imaging area SC of the camera 20C is defined so as to extend to the right and rear right of the vehicle body 2.
  • the camera 20C is provided at the right part of the radiator guard provided at the rear part of the rear part 2F of the vehicle body.
  • the camera 20D takes an image of the imaging area SD defined behind the vehicle body 2.
  • the shooting area SD of the camera 20D is defined so as to extend to the rear of the vehicle body 2. As shown in FIGS. 2 and 8, etc., the camera 20D is provided at the center of the radiator guard provided at the rear part of the rear part 2F of the vehicle body.
  • the camera 20E photographs the left side and the left rear side of the vehicle body 2.
  • An imaging region SE of the camera 20E is defined so as to extend to the left and rear left of the vehicle body 2.
  • the camera 20 ⁇ / b> E is provided on the left side of the radiator guard provided at the rear part of the vehicle body rear part 2 ⁇ / b> F.
  • the camera 20F images the imaging area SF defined on the left side of the vehicle body 2.
  • the shooting area SF of the camera 20F is defined so as to extend to the left of the vehicle body 2.
  • the camera 20 ⁇ / b> F is provided on the left side of the vehicle body rear portion 2 ⁇ / b> F.
  • the camera 20 ⁇ / b> F is provided in the vicinity of the platform, which is an intermediate part of the steps leading to the cab of the cab 3.
  • the periphery monitoring system 100 can acquire a captured image of the periphery of the wheel loader 1 using the plurality of cameras 20.
  • the non-contact sensor 40 is mounted on the wheel loader 1 and detects an obstacle around the wheel loader 1 in a non-contact manner. Examples of the obstacle include a passenger car.
  • the non-contact sensor 40 is disposed below the camera 20.
  • the non-contact sensor 40 includes a radar device that can emit radio waves to an obstacle and detect the obstacle in a non-contact manner.
  • the non-contact sensor 40 may include a laser scanner device that can emit laser light onto an obstacle and detect the obstacle in a non-contact manner.
  • four non-contact sensors 40 are mounted on the wheel loader 1. By mounting a plurality of non-contact sensors 40 on the wheel loader 1, the periphery monitoring system 100 can detect obstacles existing in different areas around the wheel loader 1.
  • the non-contact sensor 40 is provided on the outer surface of the vehicle body 2 of the wheel loader 1 in order to detect an obstacle around the wheel loader 1.
  • the non-contact sensor 40 includes a non-contact sensor 40A that detects obstacles on the right and rear of the vehicle body 2, a non-contact sensor 40B that detects obstacles on the rear and right of the vehicle body 2, and A non-contact sensor 40C that detects obstacles behind the vehicle body 2 and the left rear, and a non-contact sensor 40D that detects obstacles on the left and rear left of the vehicle body 2 are included. That is, each non-contact sensor 40 is installed so that the radio wave emission direction of the non-contact sensor 40B and the radio wave emission direction of the non-contact sensor 40C intersect, and obstacles existing behind the vehicle body 2 can be detected without leakage. It has come to be.
  • the non-contact sensors 40A, 40B, 40C, and 40D are provided in the vehicle body rear portion 2R.
  • FIG. 9 and 10 are a detection area DA of the non-contact sensor 40A according to the present embodiment, a detection area DB of the non-contact sensor 40B, a detection area DC of the non-contact sensor 40C, and a detection area DD of the non-contact sensor 40D, respectively. It is a schematic diagram for demonstrating.
  • FIG. 9 shows the detection area of the non-contact sensor 40 as viewed from above.
  • FIG. 10 shows the detection area of the non-contact sensor 40 as viewed from the front or the rear.
  • the detection area of the non-contact sensor 40 includes an area where the emitted radio wave can reach.
  • the non-contact sensor 40 detects an obstacle existing in the detection area.
  • the detection angle ⁇ of the non-contact sensor 40 in the horizontal direction is about 80 [°].
  • the detection angle ⁇ of the non-contact sensor 40 in the vertical direction is about 30 [°].
  • the non-contact sensor 40A detects an obstacle in the detection area DA defined on the right side of the vehicle body 2.
  • the detection area DA of the non-contact sensor 40A is defined so as to extend to the right side of the vehicle body 2.
  • the non-contact sensor 40A is provided on the right side portion of the vehicle body rear portion 2F.
  • the non-contact sensor 40 ⁇ / b> A is provided, for example, in the vicinity of the lower part of the step leading to the cab of the cab 3.
  • the non-contact sensor 40B detects an obstacle in the detection area DB defined at the rear and left rear of the vehicle body 2.
  • the detection area DB of the non-contact sensor 40B is defined so as to extend to the rear and left rear of the vehicle body 2.
  • the non-contact sensor 40B is provided, for example, on the right part of the rear bumper provided on the rear part of the vehicle body rear part 2F.
  • the non-contact sensor 40C detects an obstacle in the detection area DC defined at the rear and right rear of the vehicle body 2.
  • the detection area DC of the non-contact sensor 40C is defined so as to extend to the rear and right rear of the vehicle body 2. As shown in FIG. 1, FIG. 2, FIG. 8 and the like, the non-contact sensor 40C is provided at the left part of the rear bumper provided at the rear part of the vehicle body rear part 2F.
  • the non-contact sensor 40D detects an obstacle in the detection area DD defined on the left side of the vehicle body 2.
  • the detection area DD of the non-contact sensor 40D is defined so as to extend to the left of the vehicle body 2.
  • the non-contact sensor 40 ⁇ / b> D is provided on the left side of the vehicle body rear portion 2 ⁇ / b> F.
  • the non-contact sensor 40D is provided in the vicinity of the lower part of the step that leads to the cab of the cab 3.
  • FIG. 11 is a functional block diagram illustrating an example of the periphery monitoring system 100 including the control device 80 according to the present embodiment.
  • the control device 80 is connected to each of the angle sensor 50, the plurality of cameras 20, the driving operation device 52 including the forward / reverse switching switch, the input device 70, the plurality of non-contact sensors 40, and the display device 60.
  • the control device 80, the angle sensor 50, the plurality of cameras 20, the driving operation device 52, the input device 70, the plurality of non-contact sensors 40, and the display device 60 are mounted on the wheel loader 1.
  • the control device 80 includes a computer system.
  • the control device 80 includes a processor such as a CPU (Central Processing Unit) and a storage device including a nonvolatile memory such as a ROM (Read Only Memory) or storage and a volatile memory such as a RAM (Random Access Memory). Have.
  • a processor such as a CPU (Central Processing Unit) and a storage device including a nonvolatile memory such as a ROM (Read Only Memory) or storage and a volatile memory such as a RAM (Random Access Memory).
  • the display device 60 and the input device 70 are arranged in the cab of the cab 3.
  • the display device 60 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (Organic Electroluminescence Display: OELD).
  • the input device 70 includes at least one of a switch button, a computer keyboard, a mouse, and a touch sensor provided on the display screen of the display device 60.
  • the control device 80 outputs display data to the display device 60.
  • the driver of the wheel loader 1 can visually recognize the display data displayed on the display device 60.
  • the display device 60 displays the display data output from the control device 80 on the display screen.
  • the input device 70 is operated by the driver of the wheel loader 1. By being operated by the driver, the input device 70 generates input data and outputs it to the control device 80.
  • the control device 80 includes a bending angle data acquisition unit 81, a captured image data acquisition unit 82, an obstacle data acquisition unit 83, an overhead image synthesis unit 84, a front image generation unit 85, a camera image switching unit 86, A storage unit 87, a determination unit 88, a selection unit 89, an obstacle position data generation unit 90, and a display control unit 91 are provided.
  • the bending angle data acquisition unit 81 acquires bending angle data indicating the bending angle ⁇ between the vehicle body front part 2F and the vehicle body rear part 2R detected by the angle sensor 50 mounted on the wheel loader 1 from the angle sensor 50.
  • the captured image data acquisition unit 82 acquires captured image data indicating captured images captured by each of the plurality of cameras 20 mounted on the wheel loader 1 from each of the plurality of cameras 20.
  • the obstacle data acquisition unit 83 acquires obstacle data indicating obstacles detected by each of the plurality of non-contact sensors 40 mounted on the wheel loader 1 from each of the plurality of non-contact sensors 40.
  • the overhead image synthesis unit 84 performs image processing on the plurality of captured image data acquired by the captured image data acquisition unit 82 to generate overhead image data indicating the overhead image BI around the wheel loader 1.
  • the bird's-eye view image synthesizing unit 84 is a bird's-eye view of the periphery of the wheel loader 1 based on a plurality of photographed image data acquired by the cameras 20B, 20C, 20D, 20E, and 20F provided in the vehicle body rear portion 2F. Generate image data.
  • the front image generation unit 85 generates front image data indicating an image ahead of the wheel loader 1 based on the captured image data acquired by the captured image data acquisition unit 82.
  • the front image generation unit 85 generates front image data based on the captured image data acquired by the camera 20A provided in the vehicle body front portion 2F.
  • the camera image switching unit 86 selects specific captured image data from a plurality of captured image data captured by each of the plurality of cameras 20. In the present embodiment, the camera image switching unit 86 selects specific captured image data from a plurality of captured image data based on the operation signal of the forward / reverse switching switch of the driving operation device 52. Further, the camera image switching unit 86 can select specific photographed image data from a plurality of photographed image data based on input data generated by the input device 70.
  • the storage unit 87 stores library image data indicating representative images of the wheel loader 1 belonging to each of a plurality of bending angle ranges FR of the vehicle body front part 2F and the vehicle body rear part 2R.
  • the representative image of the wheel loader 1 includes a state image corresponding to a top view of the wheel loader 1 as viewed from above.
  • FIG. 12 is a schematic diagram for explaining the bending angle range FR according to the present embodiment.
  • the vehicle body front portion 2F is bent to the left and right with respect to the vehicle body rear portion 2R.
  • a plurality of bending angle ranges FR are determined so as not to overlap between the first threshold bending angle ⁇ s1 on the right side and the second threshold bending angle ⁇ s2 on the left side. The same angle does not exist in any one of the plurality of bending angle ranges FR and the bending angle range FR defined next to the bending angle range FR.
  • a plurality of representative images are prepared, and one representative image is determined for each of the plurality of bending angle ranges FR.
  • the reference for the bending angle ⁇ is set to 0 [°].
  • a bending angle ⁇ of 0 [°] means that the wheel loader 1 is in a straight traveling state.
  • the bending angle ⁇ between the vehicle body front portion 2F and the vehicle body rear portion 2R when the vehicle body front portion 2F is bent to the right with respect to the bending angle ⁇ of 0 [°] is a positive value, and the vehicle body front portion 2F.
  • the bending angle ⁇ between the vehicle body front portion 2F and the vehicle body rear portion 2R when the vehicle is bent to the left side is a negative value.
  • the first threshold bending angle ⁇ s1 on the right side is +35 [°].
  • the second threshold bending angle ⁇ s2 on the left side is ⁇ 35 [°].
  • a plurality of bending angle ranges FR are determined so as not to overlap between +35 [°] and ⁇ 35 [°].
  • the bending angle range FR includes a reference bending angle range FRc including a bending angle of 0 [°], a plurality of right bending angle ranges FRr on the right side of the reference bending angle range FRc, and a reference bending angle range FRc. And a plurality of left bending angle ranges FR1 on the left side.
  • the absolute value of the bending angle ⁇ a1 that defines the right end of the reference bending angle range FRc is equal to the absolute value of the bending angle ⁇ a2 that defines the left end.
  • the bending angle ⁇ a1 is +5 [°]
  • the bending angle ⁇ a2 is ⁇ 5 [°].
  • the reference bending angle range FRc is a range where the bending angle ⁇ is ⁇ 5 [°] or more and +5 [°] or less ( ⁇ 5 [°] ⁇ ⁇ ⁇ + 5 [°]).
  • the size of the plurality of right bending angle ranges FRr is equal to the size of the plurality of left bending angle ranges FRl.
  • the right bending angle range FRr is the same as the first right bending angle range FRr1 in the range where the bending angle ⁇ is greater than +5 [°] and not more than +20 [°] (+5 [°] ⁇ ⁇ + 20 [°]). and a second right bending angle range FRr2 in a range where ⁇ is greater than +20 [°] and less than +35 [°] (+20 [°] ⁇ ⁇ + 35 [°]).
  • the left bending angle range FRl is the first left bending angle range FR11 in a range where the bending angle ⁇ is ⁇ 20 [°] or more and smaller than ⁇ 5 [°] ( ⁇ 20 [°] ⁇ ⁇ ⁇ 5 [°]). And a second left bending angle range FRl2 in a range where the bending angle ⁇ is ⁇ 35 [°] or more and smaller than ⁇ 20 [°] ( ⁇ 35 [°] ⁇ ⁇ ⁇ 20 [°]).
  • the representative image includes a state image showing a shape of the wheel loader 1 in a state in which the vehicle body front portion 2F is bent at the median bending angle ⁇ of the bending angle range FR.
  • the state image may be an image showing only a contour line when the wheel loader 1 is viewed from above. In this case, the display form of the outline may be a solid line or a broken line. Further, the state image may be an image in which the portion indicating the work machine 10 is omitted. Further, a plurality of state images corresponding to the size and shape of the attached bucket 12 are stored in the storage unit 87, and the state image corresponding to the actually attached bucket 12 is operated by, for example, operating the input device 70. May be selected.
  • FIG. 13 to 19 are diagrams schematically illustrating an example of a representative image of the wheel loader 1 belonging to each of the plurality of bending angle ranges FR according to the present embodiment.
  • FIG. 13 is a diagram showing a state image of the wheel loader 1 belonging to the reference bending angle range FRc in which the bending angle ⁇ is ⁇ 5 [°] or more and +5 [°] or less.
  • the median bending angle ⁇ of the reference bending angle range FRc is 0 [°].
  • the state image of the wheel loader 1 belonging to the reference bending angle range FRc represents a state where the bending angle ⁇ is 0 [°].
  • FIG. 14 is a diagram showing a state image of the wheel loader 1 belonging to the first right bending angle range FRr1 in which the bending angle ⁇ is larger than +5 [°] and not larger than +20 [°].
  • the median bending angle ⁇ of the first right bending angle range FRr1 is +12.5 [°].
  • the state image of the wheel loader 1 belonging to the first right bending angle range FRr1 represents a state where the bending angle ⁇ is +12.5 [°].
  • FIG. 15 is a diagram showing a state image of the wheel loader 1 belonging to the second right bending angle range FRr2 in which the bending angle ⁇ is larger than +20 [°] and not larger than +35 [°].
  • the median bending angle ⁇ of the second right bending angle range FRr2 is +27.5 [°].
  • the state image of the wheel loader 1 belonging to the second right bending angle range FRr2 represents a state where the bending angle ⁇ is +27.5 [°].
  • FIG. 16 is a diagram showing a state image of the wheel loader 1 belonging to the first left bending angle range FR11 whose bending angle ⁇ is ⁇ 20 [°] or more and smaller than ⁇ 5 [°].
  • the median bending angle ⁇ of the first left bending angle range FR11 is ⁇ 12.5 [°].
  • the state image of the wheel loader 1 belonging to the first left bending angle range FR11 represents a state where the bending angle ⁇ is ⁇ 12.5 [°].
  • FIG. 17 is a diagram showing a state image of the wheel loader 1 belonging to the second left bending angle range FRl2 in which the bending angle ⁇ is ⁇ 35 [°] or more and less than ⁇ 20 [°].
  • the median bending angle ⁇ of the second left bending angle range FRl2 is ⁇ 27.5 [°].
  • the state image of the wheel loader 1 belonging to the second left bending angle range FR12 represents a state where the bending angle ⁇ is ⁇ 27.5 [°].
  • the representative image is more than the right outside bending angle range FRro on the right side of +35 [°] which is the first threshold bending angle ⁇ s1 and ⁇ 35 [°] which is the second threshold bending angle ⁇ s2.
  • One is determined for each of the left outer left bending angle ranges FRlo.
  • the right outer bending angle range FRro is a range where the bending angle ⁇ is larger than +35 [°] (+35 [°] ⁇ ).
  • the left outer bending angle range FRlo is a range where the bending angle ⁇ is smaller than ⁇ 35 [°] ( ⁇ ⁇ 35 [°]).
  • FIG. 18 is a diagram showing a state image of the wheel loader 1 belonging to the right outer side bending angle range FRro in which the bending angle ⁇ is larger than +35 [°].
  • the bending angle ⁇ is, for example, +35 [°].
  • the bending angle ⁇ in the state image of the wheel loader 1 belonging to the right outer bending angle range FRro may be a constant value, and may represent a state where the bending angle ⁇ is +40 [°], for example.
  • FIG. 19 is a diagram showing a state image of the wheel loader 1 belonging to the left outer bending angle range FRlo where the bending angle ⁇ is smaller than ⁇ 35 [°].
  • the bending angle ⁇ is, for example, ⁇ 35 [°].
  • the bending angle ⁇ in the state image of the wheel loader 1 belonging to the left outer bending angle range FRlo may be a constant value, and may represent a state where the bending angle ⁇ is ⁇ 40 [°], for example.
  • the storage unit 87 has a plurality of bending angle ranges FR and one for each of the plurality of bending angle ranges FR as described with reference to FIGS.
  • Library image data indicating a representative image of the determined wheel loader 1 is stored.
  • the determination unit 88 determines the bending angle range FR to which the bending angle ⁇ acquired by the bending angle data acquisition unit 81 belongs, from the plurality of bending angle ranges FR stored in the storage unit 87. That is, the determination unit 88 determines which bending angle range FR of the plurality of bending angle ranges FR stored in the storage unit 87 the bending angle ⁇ of the wheel loader 1 detected by the angle sensor 50 belongs to. . For example, when the bending angle ⁇ of the wheel loader 1 detected by the angle sensor 50 is +15 [°], the determination unit 88 determines that the bending angle ⁇ belongs to the first right bending angle range FRr1. When the bending angle ⁇ of the wheel loader 1 detected by the angle sensor 50 is ⁇ 25 [°], the determination unit 88 determines that the bending angle ⁇ belongs to the second left bending angle range FRl2.
  • the selection unit 89 selects a representative image belonging to the bending angle range FR determined by the determination unit 88 from the plurality of representative images stored in the storage unit 87. For example, when it is determined that the bending angle range FR determined by the determination unit 88 is the first right bending angle range FRr1, the selection unit 89 selects a diagram from among a plurality of representative images stored in the storage unit 87. The representative image to which the first right bending angle range FRr1 as described with reference to FIG. 14 belongs is selected. Further, when it is determined that the bending angle range FR determined by the determination unit 88 is the second left bending angle range FRl2, the selection unit 89 selects a diagram among the plurality of representative images stored in the storage unit 87. A representative image to which the second left bending angle range FR12 as described with reference to FIG. 17 belongs is selected.
  • the obstacle position data generation unit 90 generates obstacle position data indicating the position of the obstacle based on the obstacle data acquired by the obstacle data acquisition unit 83.
  • the display control unit 91 causes the display device 60 to simultaneously display the overhead image generated by the overhead image synthesis unit 84 and the representative image selected by the selection unit 89.
  • the display control unit 91 displays the representative image selected by the selection unit 89 on the center of the display screen of the display device 60, and displays the overhead image around the representative image on the display screen of the display device 60.
  • the display control unit 91 causes the display device 60 to display a mark indicating the position of the obstacle based on the obstacle position data generated by the obstacle position data generation unit 90.
  • the display control unit 91 causes the display device 60 to display a mark indicating the position of the obstacle so as to overlap the overhead image.
  • FIG. 20 is a diagram schematically illustrating an example of a display screen displayed on the display device 60 according to the present embodiment.
  • the display control unit 91 displays the representative image CG and the overhead image BI in the first area 61 of the display screen of the display device 60, and the display screen next to the first area 61.
  • the photographed image is displayed in the second area 62 of FIG.
  • the bending angle ⁇ of the wheel loader 1 detected by the angle sensor 50 is +3 [°], and it is determined that the bending angle range FR to which the bending angle ⁇ belongs is the reference bending angle range FRc.
  • the display control unit 91 displays the representative image CG belonging to the reference bending angle range FRc at the center of the first region 61, and the overhead image BI around the wheel loader 1 is displayed around the representative image CG in the first region 61. Display.
  • the display control unit 91 also indicates the boundaries of the shooting areas SBp, SCp, SDp, SEp, SFp of the plurality of cameras 20B, 20C, 20D, 20E, 20F that acquire the shot image data for generating the overhead image BI.
  • the line LG is displayed superimposed on the overhead image BI.
  • the shooting areas SBp, SCp, SDp, SEp, and SFp indicate image data corresponding to the shooting areas SBp, SCp, SDp, SEp, and SFp of the actual cameras 20B, 20C, 20D, 20E, and 20F.
  • the display control unit 91 displays lines La, Lb, and Lc indicating the distance from the outer edge of the wheel loader 1 so as to overlap the overhead image BI.
  • the outer edge of the wheel loader 1 is a line that forms the outer shape of the wheel loader 1 shown in a plan view when the wheel loader 1 is viewed from above in a posture in which the wheel loader 1 can go straight.
  • the line La indicates a position 3 [m] from the outer edge of the wheel loader 1
  • the line Lb indicates a position 5 [m] from the outer edge of the wheel loader 1
  • the line Lc indicates the wheel A position of 7 [m] from the outer edge of the loader 1 is shown.
  • the distances indicated by the lines La, Lb, and Lc are examples, and can be arbitrarily determined. Further, the line indicating the distance from the outer edge of the wheel loader 1 may not be three, but may be one or two, or may be any plural number of four or more.
  • the display control unit 91 displays the mark 63 indicating the position of the obstacle detected by the non-contact sensor 40 so as to overlap the overhead image BI. For example, when an obstacle present behind the wheel loader 1 is detected by the non-contact sensor 40, the display control unit 91 displays obstacle position data indicating the position of the obstacle generated by the obstacle position data generation unit 90. Based on the above, the mark 63 is superimposed on the obstacle displayed in the overhead image BI. Thus, it is emphasized that an obstacle exists, and the driver of the wheel loader 1 can quickly recognize the presence of the obstacle.
  • the display control unit 91 may cause the mark 63 to blink.
  • the display control unit 91 highlights a shooting area where an obstacle exists among the plurality of shooting areas SBp, SCp, SDp, SEp, and SFp.
  • the display control unit 91 displays a shooting region where an obstacle exists (in the case of FIG. 20, a shooting region SDp) in a color different from other shooting regions where no obstacle exists, or there is an obstacle.
  • the shooting area can be blinked.
  • the display control unit 91 may blink the contour line of the imaging area where the obstacle exists.
  • FIG. 20 shows an example in which a captured image CI showing the front of the wheel loader 1 captured by the camera 20A and processed by the front image generation unit 85 is displayed.
  • guide lines Ld and Le indicating predetermined parts of the wheel loader 1 are displayed.
  • the lines La, Lb, and Lc and the guide lines Ld and Le may be displayed in broken lines as shown in FIG. 20, or may be displayed in solid lines. Alternatively, each line or guideline may be displayed in a color-coded display form.
  • the display control unit 91 when the wheel loader 1 is moving forward, the display control unit 91 causes the second region 62 to display a captured image CI indicating the front of the wheel loader 1 captured by the camera 20A. On the other hand, when the wheel loader 1 is moving backward, the display control unit 91 causes the second region 62 to display a photographed image CI showing the rear of the wheel loader 1 photographed by the camera 20D.
  • an operation signal of the forward / reverse switching switch of the driving operation device 52 is input to the camera image switching unit 86.
  • the camera image switching unit 86 outputs command data for switching the captured image CI to be displayed in the second region 62 to the display control unit 91 based on the operation signal output from the driving operation device 52.
  • the display control unit 91 displays the captured image CI captured by the camera 20A. It is displayed in the second area 62.
  • the display control unit 91 displays the captured image CI captured by the camera 20D. It is displayed in the second area 62.
  • an indicator 64 indicating the shooting area of the camera 20 displayed in the second area 62 among the shooting areas of the plurality of cameras 20 is displayed.
  • an icon 65 indicating that the non-contact sensor 40 is in an operating state is displayed.
  • the display control unit 91 does not display the second region 62, displays the representative image CG selected by the selection unit 89 in the center of the display screen of the display device 60, and displays the overhead image BI on the display device 60. It may be displayed around the representative image CG on the screen.
  • the display control unit 91 may display the captured image CI selected by the selection unit 89 in the center of the display screen of the display device 60 without displaying the first region 61. That is, the display control unit 91 may display so-called two screens or one screen.
  • FIG. 21 is a diagram schematically illustrating an example of a cab of the cab 3 according to the present embodiment.
  • FIG. 21 schematically shows the scenery viewed by the driver seated in the driver's seat of the cab.
  • the display device 60 is disposed in the cab of the vehicle body 2. The driver can check the situation around the wheel loader 1 by looking at the display device 60 provided in the cab.
  • the driver's cab is provided with a plurality of devices such as an accelerator pedal 52A and left and right brake pedals 52B, a meter 54, a monitor device 56, and a rear view monitor device 58, which are driving operation devices 52, for example.
  • a windshield is provided at the front of the cab.
  • the windshield is supported by pillars 33 in the cab.
  • the display device 60 is supported by the pillar 33. Since the display device 60 is supported by the pillar 33, the driver can visually recognize the external situation through the windshield without being blocked by the display device 60.
  • the driver in the cab can visually recognize the boom 11, the bucket cylinder 14, and the like through the windshield, but the area around the wheel loader 1 including the ground RS is not limited. It is difficult to see the situation.
  • captured image data around the wheel loader 1 is acquired by the camera 20 and displayed on the display device 60.
  • an obstacle present around the wheel loader 1 is detected by the non-contact sensor 40 and displayed on the display device 60. As a result, the driver can smoothly grasp the situation around the wheel loader 1.
  • FIG. 22 is a flowchart illustrating an example of a work vehicle periphery monitoring method according to the present embodiment.
  • the driver advances the wheel loader 1 toward the transport vehicle while the excavated material is held in the bucket 12.
  • the bending angle data acquisition unit 81 acquires bending angle data indicating the bending angle ⁇ between the vehicle body front part 2F and the vehicle body rear part 2R detected by the angle sensor 50 (step S10).
  • the captured image data acquisition unit 82 acquires captured image data indicating the captured images CI captured by each of the plurality of cameras 20 (step S20).
  • the overhead image synthesizing unit 84 performs image processing on the plurality of captured image data acquired by the cameras 20B, 20C, 20D, 20E, and 20F, and generates overhead image data indicating the overhead image BI around the wheel loader 1 (step). S30).
  • the determination unit 88 determines the bending angle range FR to which the bending angle ⁇ of the wheel loader 1 belongs from the plurality of bending angle ranges FR stored in the storage unit 87 based on the bending angle data acquired in step S10. (Step S40).
  • the selection unit 89 selects a representative image CG belonging to the bending angle range FR determined in step S40 from the plurality of representative images CG stored in the storage unit 87 (step S50).
  • the display control unit 91 simultaneously displays the overhead image BI generated in step S30 and the representative image CG selected in step S50 in the first area 61 of the display device 60 mounted in the cab of the wheel loader 1. It is displayed on the same display screen (step S60).
  • step S20 and step S30 may be performed first, and step S10 may be performed. That is, the processing for generating the overhead image BI may be performed first, the processing for selecting the representative image CG may be performed thereafter, and the respective processing may be performed in the reverse order.
  • the representative image CG described with reference to FIG. 13 is selected and displayed in the first region 61.
  • the representative image CG described with reference to FIG. 14 is selected and displayed in the first region 61.
  • the representative image CG described with reference to FIG. 15 is selected and displayed in the first region 61.
  • the representative image CG described with reference to FIG. 15 is selected and displayed in the first region 61.
  • the representative image CG described with reference to FIG. 17 is selected and displayed in the first region 61.
  • the representative image CG described with reference to FIG. 18 is selected and displayed in the first region 61.
  • the representative image CG described with reference to FIG. 19 is selected and displayed in the first region 61.
  • the captured image data acquired by the camera 20A is displayed in the second area 62 of the display device 60.
  • the driver operates the operation lever to load the excavated matter held in the bucket 12 in the vessel of the transport vehicle, and then operates the forward / reverse switching switch to move the wheel loader 1 backward. Thereby, the wheel loader 1 leaves
  • the captured image data acquired by the camera 20 ⁇ / b> D is displayed in the second area 62 of the display device 60.
  • the bending angle data acquisition unit 81 acquires bending angle data from the angle sensor 50. Even in the backward movement of the wheel loader 1, an overhead image BI around the wheel loader 1 is generated, the bending angle range FR to which the bending angle ⁇ belongs is determined, and the representative image CG belonging to the determined bending angle range FR is selected. The generated overhead image BI and the selected representative image CG are simultaneously displayed on the display device 60.
  • the display control unit 91 when the non-contact sensor 40 detects an obstacle present on the side (right or left) of the wheel loader 1 when the wheel loader 1 moves backward, the display control unit 91 generates obstacle position data. Based on the obstacle position data indicating the position of the obstacle generated by the unit 90, the photographed image data of the photographing region where the obstacle is present is displayed on the display device 60. For example, when the non-contact sensor 40 ⁇ / b> A detects that an obstacle exists in the shooting area SB of the camera 20 ⁇ / b> B in the backward movement of the wheel loader 1, the display control unit 91 displays the shot image data displayed in the second area 62. Is switched from the captured image data acquired by the camera 20D to the captured image data acquired by the camera 20B. As a result, the driver can visually recognize the state of the obstacle and the relative position between the obstacle and the wheel loader 1.
  • library image data indicating the representative image CG of the wheel loader 1 belonging to each of the plurality of bending angle ranges FR is created in advance, and the actual bending angle ⁇ of the wheel loader 1 is set. Accordingly, since the representative image CG is selected and displayed on the display device 60, the driver can recognize the bent state of the wheel loader 1 without increasing the load of image processing. Further, the bird's-eye view image BI is displayed together with the representative image CG showing the bent state of the wheel loader 1, so that the driver can sufficiently grasp the situation around the wheel loader 1.
  • the driver can recognize in which direction the wheel loader 1 is going to move, and there are obstacles around the wheel loader 1. In this case, it is possible to accurately recognize the relative position between the wheel loader 1 and the obstacle and whether or not the wheel loader 1 interferes with the obstacle in the planned traveling direction.
  • the bending angle ⁇ is grouped into a specified bending angle range FR.
  • the representative image CG representing the group is displayed on the display device 60.
  • the overhead image BI is displayed around the selected representative image CG. Accordingly, the driver can recognize the situation around the wheel loader 1 with the wheel loader 1 as a reference.
  • the representative image CG and the overhead image BI are displayed in the first area 61 of the display device 60, and the captured image CI of the camera 20 is displayed in the second area 62 adjacent to the first area 61.
  • the driver can acquire information on the surrounding situation from both the overhead image BI and the captured image CI of the camera 20.
  • the captured image CI acquired by the camera 20A is displayed in the second region 62. Since the representative image CG showing the bent state of the wheel loader 1 is displayed in the first region 61, the driver looks at the representative image CG in the first region 61, and the front part of the vehicle body on which the camera 20A is mounted. The direction in which 2F is facing can be intuitively recognized. Therefore, the driver can intuitively recognize the direction of the captured image CI of the camera 20A displayed in the second region 62.
  • a plurality of bending angle ranges FR are determined so as not to overlap between the first threshold bending angle ⁇ s1 on the right side and the second threshold bending angle ⁇ s2 on the left side, and the representative image CG includes a plurality of representative images CG.
  • One is determined for each of the bending angle ranges FR.
  • the representative image CG includes a state image showing the wheel loader 1 in which the vehicle body front portion 2F is bent at the median bending angle ⁇ of the bending angle range FR.
  • the bending angle range FR includes the reference bending angle range FRc including the bending angle ⁇ of zero degrees, the plurality of right bending angle ranges FRr1 and FRr2 on the right side of the reference bending angle range FRc, and the reference A plurality of left bending angle ranges FRl1 and FRl2 on the left side of the bending angle range FRc are included.
  • the absolute value of the bending angle ⁇ a1 that defines the right end of the reference bending angle range FRc is equal to the absolute value of the bending angle ⁇ a2 that defines the left end.
  • the size of the first right bending angle range FRr1, the size of the second right bending angle range FRr2, the size of the first left bending angle range FRl1, and the size of the second left bending angle range FRl2 are equal.
  • the driver can intuitively recognize the bending state of the wheel loader 1 by looking at the representative image CG that is bent based on the plurality of bending angle ranges FR.
  • the representative image CG includes the right outer bending angle range FRro on the right side of the first threshold bending angle ⁇ s1 and the left outer bending angle range FRlo on the left side of the second threshold bending angle ⁇ s2.
  • the wheel loader 1 is bent larger than the first threshold bending angle ⁇ s1, or when the wheel loader 1 is bent larger than the second threshold bending angle ⁇ s2, one representative image CG is displayed instead of a plurality of representative images CG. Therefore, the image processing load is sufficiently reduced, and the image displayed on the display device 60 is sufficiently suppressed from flickering.
  • the driving operation device 52, the display device 60, and the control device 80 are mounted on the wheel loader 1.
  • the driving operation device 52 and the display device 60 may be in a remote place of the wheel loader 1.
  • some or all of the plurality of functions of the control device 80 may be in a remote place of the wheel loader 1.
  • FIG. 23 is a diagram schematically illustrating an example of the wheel loader 1 according to the present embodiment.
  • the wheel loader 1 is remotely operated by a driving operation device 52 ⁇ / b> F provided in a remote place of the wheel loader 1.
  • the wheel loader 1 is mounted on the vehicle body 2 and at least the vehicle body front portion 2F, the vehicle body rear portion 2R, the joint mechanism 9 that flexibly connects the vehicle body front portion 2F and the vehicle body rear portion 2R.
  • the camera 20 is provided.
  • the display device 60F, the input device 70F, the control device 80F, and the driving operation device 52F are arranged in a remote operation facility provided in a remote place of the wheel loader 1.
  • the display device 60F, the input device 70F, the control device 80F, and the driving operation device 52F are provided separately from the wheel loader 1, respectively.
  • the wheel loader 1 and the control device 80F communicate wirelessly via a wireless communication system.
  • the wheel loader 1 is provided with a wireless communication device 201 of a wireless communication system, and a wireless communication device 202 of the wireless communication system is connected to the control device 80F.
  • the driving operation device 52F operates, for example, an accelerator pedal, a brake pedal, a shift lever, a steering lever for turning and steering the wheel loader 1, a forward / backward changeover switch for switching between forward and reverse of the wheel loader 1, and the work machine 10.
  • Including a working lever for The driver operates the driving operation device 52F in the remote operation facility.
  • the operation signal generated by operating the driving operation device 52F is transmitted to the wheel loader 1 via the wireless communication system. Thereby, the wheel loader 1 is remotely operated, and adjustment of the traveling speed of the wheel loader 1, forward or reverse switching, turning, and operation of the work machine 10 are performed.
  • the control device 80F includes a bending angle data acquisition unit 81, a captured image data acquisition unit 82, an obstacle data acquisition unit 83, an overhead image synthesis unit 84, and a front image generation as described with reference to FIG. Unit 85, camera image switching unit 86, storage unit 87, determination unit 88, selection unit 89, obstacle position data generation unit 90, and display control unit 91.
  • the captured image captured by the camera 20 provided in the wheel loader 1 is transmitted from the wheel loader 1 to the control device 80F via the wireless communication system.
  • the display control unit 91 of the control device 80F superimposes and displays the captured image captured by the camera 20 and transmitted from the wheel loader 1 via the wireless communication system and the selected representative image CG on the display device 60F.
  • the driver of the remote operation facility can visually recognize the display data displayed on the display device 60F.
  • the wheel loader 1 may be remotely operated via a wireless communication system.
  • the driver operates the driving operation device 52F at a remote place.
  • the operation signal of the driving operation device 52F is transmitted to the wheel loader 1 via the wireless communication system.
  • the wheel loader 1 can adjust the traveling speed, switch forward or reverse, turn, and operate the work implement 10 based on the operation signal of the driving operation device 52F.
  • the control device 80F is in a remote place, the bending angle data acquired by the angle sensor 50, the obstacle data acquired by the non-contact sensor 40, and the captured image data acquired by the camera 20 are stored in the wireless communication system. To the control device 80F at a remote location.
  • the control device 80F can display the representative image CG and the overhead image BI on the remote display device 60F based on the received bending angle data and captured image data. Further, the control device 80F can display a mark 63 indicating an obstacle on the display device 60F based on the received obstacle data.
  • the bending angle data acquisition unit 81 acquires the bending angle data from the angle sensor 50 provided on the pin member of the joint mechanism 9.
  • the bending angle data acquisition unit 81 may acquire an operation amount of a steering lever for steering the wheel loader 1 to calculate bending angle data.
  • the joint mechanism 9 includes a hydraulic cylinder that generates power for bending the vehicle body front portion 2F.
  • the bending angle data acquisition unit 81 may acquire the stroke amount of the hydraulic cylinder of the joint mechanism 9 and calculate bending angle data.
  • the bucket 12 that is a kind of work member is connected to the tip of the boom 11.
  • the working member connected to the tip of the boom 11 may be a blade having a cutting edge.
  • the wheel loader 1 is operated at the mining site of the mine.
  • the wheel loader 1 may be used at a construction site or a construction site, may be used for snow removal work, may be used for work in the agriculture and livestock industry, or may be used for work in forestry.
  • the work member connected to the tip of the boom 11 may be a snow plow or snow bucket used for snow removal work, a bale grab or fork used in agriculture and livestock industry work, or forestry work. Forks or buckets used in
  • the work vehicle 1 is a wheel loader.
  • the work vehicle 1 may be an articulated dump truck including a vehicle body front portion, a vehicle body rear portion, and a joint mechanism that connects the vehicle body front portion and the vehicle body rear portion so as to be bendable.
  • SYMBOLS 1 Wheel loader (work vehicle), 2 ... Vehicle body, 2F ... Vehicle body front part, 2R ... Vehicle body rear part, 3 ... Driver's cab, 4 ... Driving device, 5 ... Wheel, 5F ... Front wheel, 5R ... Rear wheel, 6 ... Tire , 6F ... front tire, 6R ... rear tire, 7 ... power transmission mechanism, 8 ... housing, 8B ... axle ball, 9 ... joint mechanism, 10 ... working machine, 11 ... boom, 12 ... bucket, 12B ... tip, 12E ... End, 13 ... Boom cylinder, 14 ... Bucket cylinder, 15 ... Bell crank, 16 ... Link, 20 ...
  • control device 81 ... bending angle data acquisition unit, 82 ... photographed image data acquisition unit, 83 ... obstacle data acquisition unit, 84: overhead image synthesis unit, 85 ... front image generation unit, 86 ... camera image switching unit, 87 ... storage unit, 88 ... determination unit, 89 ... selection unit, 90 ... obstacle position data generation unit, 91 ... display control unit , 100: Perimeter monitoring system, La, Lb, Lc ... line, Ld, Le ... guideline, LG ... line, RS ... ground.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

作業車両の周辺監視システムは、車体前部と車体後部との屈曲角度データを取得する屈曲角度データ取得部と、複数のカメラのそれぞれで撮影された撮影画像を取得する撮影画像データ取得部と、複数の撮影画像データを画像処理して俯瞰画像を生成する俯瞰画像合成部と、車体前部と車体後部との複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像を記憶する記憶部と、複数の屈曲角度範囲から屈曲角度が属する屈曲角度範囲を判定する判定部と、複数の代表画像から判定部で判定された屈曲角度範囲に属する代表画像を選択する選択部と、俯瞰画像合成部で生成された俯瞰画像と選択部で選択された代表画像とを表示装置に同時に表示させる表示制御部と、を備える。

Description

作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
 本発明は、作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法に関する。
 作業車両に係る技術分野において、特許文献1に開示されているような、作業車両の周辺を監視する周辺監視システムが知られている。
国際公開第2012/157379号
 周辺監視システムは、作業車両の周辺の俯瞰画像を生成して、作業車両の運転室に設けられている表示装置に表示させる。俯瞰画像が表示装置に表示されることにより、作業車両の運転者は作業車両と作業車両の周辺の障害物との相対位置を正確に認識することができる。ホイールローダ又はアーティキュレートダンプトラックのようなアーティキュレート作業車両の場合、アーティキュレート作業車両の屈曲状態を示す画像を表示装置に表示させることができれば、運転者はアーティキュレート作業車両と障害物との相対位置を正確に認識することができる。しかし、アーティキュレート作業車両の屈曲角度が変化する度にアーティキュレート作業車両の屈曲状態を示す画像を生成する場合、画像処理の負荷が大きくなるため、周辺監視システムは高性能な画像処理装置を必要とする。その結果、周辺監視システムのコストが増大する可能性がある。また、アーティキュレート作業車両の屈曲角度が変化する度に表示装置に表示させるアーティキュレート作業車両の屈曲状態を示す画像を変化させる場合、表示装置に表示される画像がちらつく可能性が高くなる。その結果、視認性が悪化し、運転者はアーティキュレート作業車両と障害物との相対位置を正確に認識することが困難となる。
 本発明の態様は、コストの増大を抑制して、アーティキュレート作業車両と障害物との相対位置を運転者に正確に認識させることを目的とする。
 本発明の第1の態様に従えば、車体前部、車体後部、及び前記車体前部と前記車体後部とを屈曲可能に連結する関節機構を備える作業車両の周辺監視システムであって、前記作業車両に搭載されている検出装置で検出された前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得する屈曲角度データ取得部と、前記作業車両に搭載されている複数のカメラのそれぞれで撮影された撮影画像を取得する撮影画像データ取得部と、複数の前記撮影画像データを画像処理して前記作業車両の周辺の俯瞰画像を生成する俯瞰画像合成部と、前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶する記憶部と、複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定する判定部と、複数の前記代表画像から前記判定部で判定された屈曲角度範囲に属する代表画像を選択する選択部と、前記俯瞰画像合成部で生成された前記俯瞰画像と前記選択部で選択された前記代表画像とを表示装置に同時に表示させる表示制御部と、を備える作業車両の周辺監視システムが提供される。
 本発明の第2の態様に従えば、第1の態様の作業車両の周辺監視システムを備える作業車両が提供される。
 本発明の第3の態様に従えば、車体前部と車体後部とが屈曲可能な作業車両の周辺監視方法であって、前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶することと、前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得することと、前記作業車両の周辺を撮影した撮影画像を取得することと、複数の前記撮影画像を画像処理して前記作業車両の周辺の俯瞰画像を生成することと、複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定することと、複数の前記代表画像から前記判定された屈曲角度範囲に属する代表画像を選択することと、前記俯瞰画像と前記選択された前記代表画像とを同時に表示することと、を含む作業車両の周辺監視方法が提供される。
 本発明の態様によれば、コストの増大を抑制して、アーティキュレート作業車両と障害物との相対位置を運転者に正確に認識させることができる。
図1は、第1実施形態に係る作業車両の一例を示す側面図である。 図2は、第1実施形態に係る作業車両の一例を示す上面図である。 図3は、第1実施形態に係る作業車両の一例を示す正面図である。 図4は、第1実施形態に係る作業車両の一部を示す正面図である。 図5は、第1実施形態に係るカメラの一例を示す斜視図である。 図6は、第1実施形態に係るカメラの撮影領域を説明するための模式図である。 図7は、第1実施形態に係るカメラの撮影領域を説明するための模式図である。 図8は、第1実施形態に係るカメラの撮影領域を説明するための模式図である。 図9は、第1実施形態に係る非接触センサの検出領域を説明するための模式図である。 図10は、第1実施形態に係る非接触センサの検出領域を説明するための模式図である。 図11は、第1実施形態に係る制御装置の一例を示す機能ブロック図である。 図12は、第1実施形態に係る屈曲角度範囲を説明するための模式図である。 図13は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図14は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図15は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図16は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図17は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図18は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図19は、第1実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図20は、第1実施形態に係る表示装置に表示される表示画面の一例を模式的に示す図である。 図21は、第1実施形態に係る運転室の一例を模式的に示す図である。 図22は、第1実施形態に係る作業車両の周辺監視方法の一例を示すフローチャートである。 図23は、第2実施形態に係る作業車両の一例を模式的に示す図である。
 以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
第1実施形態.
[ホイールローダの概要]
 第1実施形態について説明する。図1は、本実施形態に係る作業車両1の一例を示す側面図である。図2は、本実施形態に係る作業車両1の一例を示す上面図である。図3は、本実施形態に係る作業車両1の一例を示す正面図である。本実施形態においては、作業車両1が、アーティキュレート作業車両の一種であるホイールローダ1であることとする。また、本実施形態においては、ホイールローダ1が、鉱山の採掘現場において稼働することとする。ホイールローダ1は、バケット12ですくい取った掘削物を運搬車両のベッセルに積み込む。運搬車両として、例えばダンプトラックが用いられる。なお、ホイールローダ1は、バケット12ですくい取った掘削物を、鉱山の所定の場所に設けられた排出場所に排出する場合もある。
 図1、図2、及び図3に示すように、ホイールローダ1は、車体2と、運転席が設けられる運転台3と、走行装置4と、車体2に支持される作業機10とを備える。
 車体2は、車体前部2Fと車体後部2Rとを含む。車体前部2Fと車体後部2Rとは、関節機構9を介して屈曲可能に連結される。車体前部2Fと車体後部2Rとの屈曲角度θを検出する検出装置である角度センサ50が関節機構9に設けられる。関節機構9は、車体前部2F及び車体後部2Rの一方に設けられたピン部材と、他方に設けられたベアリング部材とを含む。角度センサ50は、例えばピン部材に設けられる。
 運転台3は、車体2に支持される。ホイールローダ1は、運転台3に搭乗した運転者によって操作される。運転者に操作される運転操作装置が運転台3に配置される。運転操作装置は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ホイールローダ1を旋回操舵するためのステアリングレバー、ホイールローダ1の前進と後進とを切り替える前後進切替スイッチ、及び作業機10を操作するための作業レバーを含む。運転者は、運転操作装置を操作して、ホイールローダ1の走行速度の調整、前進又は後進の切り替え、旋回、及び作業機10の操作を実施する。
 走行装置4は、車体2を支持する。走行装置4は、車輪5を有する。車輪5は、車体2に搭載されているエンジンが発生する動力により回転する。タイヤ6が車輪5に装着される。車輪5は、車体前部2Fに支持される2つの前輪5Fと、車体後部2Rに支持される2つの後輪5Rとを含む。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。走行装置4は、地面RSを走行可能である。
 前輪5F及び前タイヤ6Fは、回転軸FXを中心に回転可能である。後輪5R及び後タイヤ6Rは、回転軸RXを中心に回転可能である。
 以下の説明においては、前タイヤ6Fの回転軸FXと平行な方向を適宜、車幅方向、と称し、地面RSと接触する前タイヤ6Fの接地面と直交する方向を適宜、上下方向、と称し、車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。ホイールローダ1の車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
 また、以下の説明においては、車幅方向において車体2の中心に近い位置又は方向を適宜、車幅方向の内側又は内方、と称し、車体2の中心から遠い位置又は方向を適宜、車幅方向の外側又は外方、と称する。また、車幅方向において、運転台3の運転席を基準とする一方を適宜、右側又は右方、と称し、右側又は右方の逆側又は逆方向を適宜、左側又は左方、と称する。また、前後方向において、運転台3の運転席を基準として作業機10に近い位置又は方向を適宜、前側又は前方、と称し、前側又は前方の逆側又は逆方向を適宜、後側又は後方、と称する。また、上下方向において前タイヤ6Fの接地面に近い位置又は方向を適宜、下側又は下方、と称し、下側又は下方の逆側又は逆方向を適宜、上側又は上方、と称する。
 車体前部2Fは、車体後部2Rよりも前方に配置される。前輪5F及び前タイヤ6Fは、後輪5R及び後タイヤ6Rよりも前方に配置される。前輪5F及び前タイヤ6Fは、車体2の車幅方向の両側に配置される。後輪5R及び後タイヤ6Rは、車体2の車幅方向の両側に配置される。車体前部2Fは、車体後部2Rに対して左右に屈曲する。
 作業機10は、車体2に、移動可能に連結される。作業機10の少なくとも一部は、前タイヤ6Fよりも前方に配置される。本実施形態において、作業機10は、車体2に移動可能に連結されるブーム11と、ブーム11に、移動可能に連結されるバケット12と、ベルクランク15と、リンク16とを有する。
 ブーム11は、ブームシリンダ13が発生する動力によって作動する。ブームシリンダ13は、ブーム11を移動するための動力を発生する油圧シリンダである。ブームシリンダ13の一端部は、車体2に連結される。ブームシリンダ13の他端部は、ブーム11に連結される。ブームシリンダ13は、2つ設けられる。一方のブームシリンダ13は、車幅方向において車体2の中心よりも右方に設けられる。他方のブームシリンダ13は、車幅方向において車体2の中心よりも左方に設けられる。運転者が作業レバーを操作するとブームシリンダ13が伸縮する。ブームシリンダ13が伸縮することにより、ブーム11は上げ動作又は下げ動作する。
 ブーム11の上げ動作とは、ブーム11の先端部が地面RSから離れるように上昇する動作をいう。ブーム11の下げ動作とは、ブーム11の先端部が地面RSに近付くように下降する動作をいう。ブーム11は、ブーム11の可動範囲において上げ動作及び下げ動作する。上げ動作するブーム11は、ブーム11の可動範囲の上端部よりも上方の移動を規制される。下げ動作するブーム11は、ブーム11の可動範囲の下端部よりも下方の移動を規制される。
 バケット12は、刃先を含む先端部12Bを有する作業部材である。バケット12は、前タイヤ6Fよりも前方に配置される。バケット12は、ブーム11の先端部と連結される。バケット12は、バケットシリンダ14が発生する動力によって作動する。バケットシリンダ14は、バケット12を移動するための動力を発生する油圧シリンダである。ベルクランク15の中央部がブーム11に回転可能に連結される。バケットシリンダ14の一端部は、車体2に連結される。バケットシリンダ14の他端部は、ベルクランク15の一端部に連結される。ベルクランク15の他端部は、リンク16を介してバケット12に連結される。バケットシリンダ14は、1つ設けられる。バケットシリンダ14は、車幅方向の中央部に設けられる。運転者が作業レバーを操作するとバケットシリンダ14が伸縮する。バケットシリンダ14が伸縮することにより、バケット12はダンプ動作又はチルト動作する。
 バケット12のダンプ動作とは、バケット12の開口部が下方を向きバケット12の先端部12Bが地面RSに近付くようにバケット12が回転する動作をいう。バケット12のチルト動作とは、バケット12の開口部が上方を向きバケット12の先端部12Bが地面RSから離れるようにバケット12が回転する動作をいう。バケット12は、バケット12の可動範囲においてダンプ動作及びチルト動作する。ダンプ動作するバケット12は、バケット12の可動範囲の下端部よりも下方の移動を規制される。チルト動作するバケット12は、バケット12の可動範囲の上端部よりも上方の移動を規制される。
 バケット12のダンプ動作が実施されることにより、バケット12ですくい上げられた掘削物がバケット12から排出される。バケット12のチルト動作が実施されることにより、バケット12は掘削物をすくい取る。
 図2及び図3に示すように、車幅方向におけるバケット12の両側の端部12Eは、車幅方向においてタイヤ6よりも外側に配置される。すなわち、バケット12の右側の端部12Eと左側の端部12Eとの車幅方向の距離は、右側のタイヤ6の外側面と左側のタイヤ6の外側面との車幅方向の距離よりも大きい。
 図4は、本実施形態に係るホイールローダ1の一部を示す正面図であって、バケット12やベルクランク15を省略(破線で図示)した図に相当する。本実施形態において、走行装置4は、エンジンで発生した動力を前輪5Fに伝達する動力伝達機構7と、動力伝達機構7の少なくとも一部を収容するハウジング8とを有する。エンジンは、車体後部2Rに配置される。エンジンで発生した動力は、動力伝達機構7のデファレンシャルギアを介して、左右の前輪5Fに伝達される。デファレンシャルギアは、ハウジング8の球状部分であるアクスルボール8Bに収容される。アクスルボール8Bは、車幅方向の中央部に配置される。また、アクスルボール8Bは、バケットシリンダ14よりも下方に配置される。
[周辺監視システムの概要]
 本実施形態において、ホイールローダ1は、ホイールローダ1の周辺を監視して、ホイールローダ1の周辺の状況をホイールローダ1の運転者に認識させる周辺監視システム100を備える。周辺監視システム100は、ホイールローダ1の周辺を撮影する複数のカメラ20と、ホイールローダ1の周辺の障害物を非接触で検出する複数の非接触センサ40と、表示装置60と、制御装置80とを備える。
[カメラ]
 カメラ20は、ホイールローダ1に搭載され、ホイールローダ1の周辺の撮影画像を撮影する。本実施形態においては、6台のカメラ20がホイールローダ1に搭載される。複数のカメラ20がホイールローダ1に搭載されることにより、周辺監視システム100は、ホイールローダ1の周辺の異なる領域の撮影画像を取得可能である。
 図1、図2、図3、及び図4に示すように、カメラ20は、ホイールローダ1の周辺の撮影画像を取得するために、ホイールローダ1の車体2の外面に設けられる。本実施形態において、カメラ20は、車体2の前方を撮影するカメラ20Aと、車体2の右方を撮影するカメラ20Bと、車体2の右方及び右後方を撮影するカメラ20Cと、車体2の後方を撮影するカメラ20Dと、車体2の左方及び左後方を撮影するカメラ20Eと、車体2の左方を撮影するカメラ20Fとを含む。
 本実施形態において、カメラ20Aは、車体前部2Fに設けられる。カメラ20B,20C,20D,20E,20Fは、車体後部2Rに設けられる。
 図5は、本実施形態に係るカメラ20Aの一例を示す斜視図である。図4及び図5に示すように、カメラ20Aは、車体前部2Fの前部に配置される。また、カメラ20Aは、バケットシリンダ14よりも下方に配置され、ハウジング8のアクスルボール8Bよりも上方に配置される。カメラ20Aは、車幅方向の中央部に1つ配置される。カメラ20Aは、アクスルボール8Bよりも僅かに前方に配置される。
 ホイールローダ1は、車体2に支持され、カメラ20Aによる撮影領域を照明する照明装置30を備える。照明装置30は、照明光を射出する前照灯を含む。本実施形態において、照明装置30は、カメラ20Aの上方に2つ設けられる。照明装置30は、ケーシング31に収容される。ケーシング31は、照明光の照射を妨げずに照明装置30を保護するロッド部材31Lを含む。ロッド部材31Lは、照明装置30の前方に配置される。
 また、ホイールローダ1の車体前部2Fには、上下方向においてバケットシリンダ14とカメラ20Aとの間に配置され、カメラ20Aを保護するカバー部材32が設けられる。本実施形態において、カバー部材32は、カメラ20A及び照明装置30よりも上方に配置された庇部材である。
 図6及び図7は、本実施形態に係るカメラ20Aの撮影領域SAを説明するための模式図である。図6は、上方から見た撮影領域SAを示す。図7は、側方から見た撮影領域SAを示す。図8は、上方から見た、本実施形態に係るカメラ20Aの撮影領域SA、カメラ20Bの撮影領域SB、カメラ20Cの撮影領域SC、カメラ20Dの撮影領域SD、カメラ20Eの撮影領域SE、及びカメラ20Fの撮影領域SFのそれぞれを説明するための模式図である。カメラ20の撮影領域は、カメラ20の光学系の視野領域を含む。カメラ20は、例えば、撮影領域に存在する障害物を撮影する。
 カメラ20Aは、車体2の前方に規定された撮影領域SAを撮影する。カメラ20Aの撮影領域SAは、車体2の前方に拡がるように規定される。図6に示すように、車幅方向のカメラ20Aの画角αは、約120[°]である。図7に示すように、上下方向のカメラ20Aの画角βは、90[°]以上100[°]以下である。
 図6及び図7に示すように、カメラ20Aの撮影領域SAは、前タイヤ6Fの少なくとも一部を含む。本実施形態において、カメラ20Aの撮影領域SAは、前タイヤ6Fの前部を含む。また、カメラ20Aの撮影領域SAには、前タイヤ6Fと、前タイヤ6Fよりも前方に配置され地面RSに接触した接地状態のバケット12との間の地面RSが含まれる。また、カメラ20Aの撮影領域SAには、バケット12の両側の端部12Eが含まれる。
 すなわち、本実施形態においては、カメラ20Aは、バケット12が地面RSに接触するようにブーム11が下げ動作された状態で、バケット12の両側の端部12Eと、前タイヤ6Fの前部とが映り込むように、バケット12と前タイヤ6Fとの間の地面RSを撮影する。
 カメラ20Bは、車体2の右方に規定された撮影領域SBを撮影する。カメラ20Bの撮影領域SBは、車体2の右方に拡がるように規定される。図2及び図8等に示すように、カメラ20Bは、車体後部2Fの右側部に設けられる。本実施形態において、カメラ20Bは、運転台3の運転室に通じるステップの中間部であるプラットフォームの近傍に設けられる。
 カメラ20Cは、車体2の右方及び右後方に規定された撮影領域SCを撮影する。カメラ20Cの撮影領域SCは、車体2の右方及び右後方に拡がるように規定される。図2及び図8等に示すように、カメラ20Cは、車体後部2Fの後部に設けられているラジエータガードの右部に設けられる。
 カメラ20Dは、車体2の後方に規定された撮影領域SDを撮影する。カメラ20Dの撮影領域SDは、車体2の後方に拡がるように規定される。図2及び図8等に示すように、カメラ20Dは、車体後部2Fの後部に設けられているラジエータガードの中央部に設けられる。
 カメラ20Eは、車体2の左方及び左後方を撮影する。カメラ20Eの撮影領域SEは、車体2の左方及び左後方に拡がるように規定される。図1、図2、及び図8等に示すように、カメラ20Eは、車体後部2Fの後部に設けられているラジエータガードの左部に設けられる。
 カメラ20Fは、車体2の左方に規定された撮影領域SFを撮影する。カメラ20Fの撮影領域SFは、車体2の左方に拡がるように規定される。図1、図2、及び図8等に示すように、カメラ20Fは、車体後部2Fの左側部に設けられる。本実施形態において、カメラ20Fは、運転台3の運転室に通じるステップの中間部であるプラットフォームの近傍に設けられる。
 周辺監視システム100は、これら複数のカメラ20を用いて、ホイールローダ1の周辺の撮影画像を取得することができる。
[非接触センサ]
 非接触センサ40は、ホイールローダ1に搭載され、ホイールローダ1の周辺の障害物を非接触で検出する。障害物としては、例えば、乗用車などがある。非接触センサ40は、カメラ20よりも下方に配置される。本実施形態において、非接触センサ40は、電波を障害物に発射して障害物を非接触で検出可能なレーダ装置を含む。なお、非接触センサ40は、レーザ光を障害物に発射して障害物を非接触で検出可能なレーザスキャナ装置を含んでもよい。本実施形態においては、4台の非接触センサ40がホイールローダ1に搭載される。複数の非接触センサ40がホイールローダ1に搭載されることにより、周辺監視システム100は、ホイールローダ1の周辺の異なる領域に存在する障害物を検出可能である。
 図1、図2、及び図8等に示すように、非接触センサ40は、ホイールローダ1の周辺の障害物を検出するために、ホイールローダ1の車体2の外面に設けられる。本実施形態において、非接触センサ40は、車体2の右方及び右後方の障害物を検出する非接触センサ40Aと、車体2の後方及び右後方の障害物を検出する非接触センサ40Bと、車体2の後方及び左後方の障害物を検出する非接触センサ40Cと、車体2の左方及び左後方の障害物を検出する非接触センサ40Dとを含む。つまり、非接触センサ40Bの電波の発射方向と非接触センサ40Cの電波の発射方向とが交差するように、各非接触センサ40が設置され、車体2の後方に存在する障害物が漏れ無く検出されるようになっている。
 本実施形態において、非接触センサ40A,40B,40C,40Dは、車体後部2Rに設けられる。
 図9及び図10は、本実施形態に係る非接触センサ40Aの検出領域DA、非接触センサ40Bの検出領域DB、非接触センサ40Cの検出領域DC、及び非接触センサ40Dの検出領域DDのそれぞれを説明するための模式図である。図9は、上方から見た非接触センサ40の検出領域を示している。図10は、前方又は後方から見た非接触センサ40の検出領域を示している。非接触センサ40の検出領域は、発射した電波が到達可能な領域を含む。非接触センサ40は、検出領域に存在する障害物を検出する。
 図9に示すように、水平方向の非接触センサ40の検出角γは、約80[°]である。図10に示すように、垂直方向の非接触センサ40の検出角δは、約30[°]である。
 非接触センサ40Aは、車体2の右方に規定された検出領域DAの障害物を検出する。非接触センサ40Aの検出領域DAは、車体2の右方に拡がるように規定される。図2及び図8等に示すように、非接触センサ40Aは、車体後部2Fの右側部に設けられる。本実施形態において、非接触センサ40Aは、例えば、運転台3の運転室に通じるステップの下部の近傍に設けられる。
 非接触センサ40Bは、車体2の後方及び左後方に規定された検出領域DBの障害物を検出する。非接触センサ40Bの検出領域DBは、車体2の後方及び左後方に拡がるように規定される。図2及び図8等に示すように、非接触センサ40Bは、例えば、車体後部2Fの後部に設けられているリアバンパーの右部に設けられる。
 非接触センサ40Cは、車体2の後方及び右後方に規定された検出領域DCの障害物を検出する。非接触センサ40Cの検出領域DCは、車体2の後方及び右後方に拡がるように規定される。図1、図2、及び図8等に示すように、非接触センサ40Cは、車体後部2Fの後部に設けられているリアバンパーの左部に設けられる。
 非接触センサ40Dは、車体2の左方に規定された検出領域DDの障害物を検出する。非接触センサ40Dの検出領域DDは、車体2の左方に拡がるように規定される。図1、図2、及び図8等に示すように、非接触センサ40Dは、車体後部2Fの左側部に設けられる。本実施形態において、非接触センサ40Dは、運転台3の運転室に通じるステップの下部の近傍に設けられる。
 カメラ20の撮影領域と、非接触センサ40の検出領域の少なくとも一部とは、重複する。
[制御装置]
 次に、本実施形態に係る制御装置80について説明する。図11は、本実施形態に係る制御装置80を含む周辺監視システム100の一例を示す機能ブロック図である。制御装置80は、角度センサ50、複数のカメラ20、前後進切替スイッチを含む運転操作装置52、入力装置70、複数の非接触センサ40、及び表示装置60のそれぞれと接続される。制御装置80、角度センサ50、複数のカメラ20、運転操作装置52、入力装置70、複数の非接触センサ40、及び表示装置60は、ホイールローダ1に搭載されている。
 制御装置80は、コンピュータシステムを含む。制御装置80は、CPU(Central  Processing  Unit)のようなプロセッサと、ROM(Read Only Memory)又はストレージのような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含む記憶装置とを有する。
 表示装置60及び入力装置70は、運転台3の運転室に配置される。表示装置60は、液晶ディスプレイ(Liquid Crystal  Display:LCD)又は有機ELディスプレイ(Organic  Electroluminescence Display:OELD)のようなフラットパネルディスプレイを含む。入力装置70は、スイッチボタン、コンピュータ用キーボード、マウス、及び表示装置60の表示画面に設けられたタッチセンサの少なくとも1つを含む。制御装置80は、表示装置60に表示データを出力する。ホイールローダ1の運転者は、表示装置60に表示された表示データを視認可能である。表示装置60は、制御装置80から出力された表示データを表示画面に表示する。入力装置70は、ホイールローダ1の運転者によって操作される。運転者に操作されることにより、入力装置70は、入力データを生成し、制御装置80に出力する。
 制御装置80は、屈曲角度データ取得部81と、撮影画像データ取得部82と、障害物データ取得部83と、俯瞰画像合成部84と、フロント画像生成部85と、カメラ画像切替部86と、記憶部87と、判定部88と、選択部89と、障害物位置データ生成部90と、表示制御部91とを備える。
 屈曲角度データ取得部81は、ホイールローダ1に搭載されている角度センサ50で検出された車体前部2Fと車体後部2Rとの屈曲角度θを示す屈曲角度データを角度センサ50から取得する。
 撮影画像データ取得部82は、ホイールローダ1に搭載されている複数のカメラ20のそれぞれで撮影された撮影画像を示す撮影画像データを複数のカメラ20のそれぞれから取得する。
 障害物データ取得部83は、ホイールローダ1に搭載されている複数の非接触センサ40のそれぞれで検出された障害物を示す障害物データを複数の非接触センサ40のそれぞれから取得する。
 俯瞰画像合成部84は、撮影画像データ取得部82で取得された複数の撮影画像データを画像処理してホイールローダ1の周辺の俯瞰画像BIを示す俯瞰画像データを生成する。本実施形態において、俯瞰画像合成部84は、車体後部2Fに設けられているカメラ20B,20C,20D,20E,20Fで取得された複数の撮影画像データに基づいて、ホイールローダ1の周辺の俯瞰画像データを生成する。
 フロント画像生成部85は、撮影画像データ取得部82で取得された撮影画像データに基づいてホイールローダ1の前方の画像を示すフロント画像データを生成する。フロント画像生成部85は、車体前部2Fに設けられているカメラ20Aで取得された撮影画像データに基づいて、フロント画像データを生成する。
 カメラ画像切替部86は、複数のカメラ20のそれぞれが撮影した複数の撮影画像データから特定の撮影画像データを選択する。本実施形態において、カメラ画像切替部86は、運転操作装置52の前後進切替スイッチの操作信号に基づいて、複数の撮影画像データから特定の撮影画像データを選択する。また、カメラ画像切替部86は、入力装置70で生成された入力データに基づいて、複数の撮影画像データから特定の撮影画像データを選択することができる。
 記憶部87は、車体前部2Fと車体後部2Rとの複数の屈曲角度範囲FRのそれぞれに属するホイールローダ1の代表画像を示すライブラリ画像データを記憶する。ホイールローダ1の代表画像は、ホイールローダ1を上方から見た上面図に相当する状態画像を含む。
 図12は、本実施形態に係る屈曲角度範囲FRを説明するための模式図である。車体前部2Fは、車体後部2Rに対して左右に屈曲する。屈曲角度範囲FRは、右側の第1閾値屈曲角度θs1と左側の第2閾値屈曲角度θs2との間において重複しないように複数定められる。複数の屈曲角度範囲FRのうち、いずれかの屈曲角度範囲FRと、その屈曲角度範囲FRの隣に規定される屈曲角度範囲FRとにおいて、同一の角度は存在しない。代表画像は複数用意され、複数の屈曲角度範囲FRのそれぞれに1つずつ定められる。
 屈曲角度θの基準が0[°]に定められる。屈曲角度θが0[°]であることは、ホイールローダ1が直進状態であることを意味する。本実施形態においては、屈曲角度θが0[°]を基準として車体前部2Fが右側に屈曲したときの車体前部2Fと車体後部2Rとの屈曲角度θを正値とし、車体前部2Fが左側に屈曲したときの車体前部2Fと車体後部2Rとの屈曲角度θを負値とする。本実施形態において、右側の第1閾値屈曲角度θs1は+35[°]である。左側の第2閾値屈曲角度θs2は-35[°]である。屈曲角度範囲FRは、+35[°]と-35[°]との間において重複しないように複数定められる。
 本実施形態において、屈曲角度範囲FRは、0[°]の屈曲角度を含む基準屈曲角度範囲FRcと、基準屈曲角度範囲FRcよりも右側の複数の右屈曲角度範囲FRrと、基準屈曲角度範囲FRcよりも左側の複数の左屈曲角度範囲FRlとを含む。
 本実施形態において、基準屈曲角度範囲FRcの右側の端部を規定する屈曲角度θa1の絶対値と左側の端部を規定する屈曲角度θa2の絶対値とは等しい。本実施形態において、屈曲角度θa1は+5[°]であり、屈曲角度θa2は-5[°]である。すなわち、本実施形態において、基準屈曲角度範囲FRcは、屈曲角度θが-5[°]以上+5[°]以下の範囲(-5[°]≦θ≦+5[°])である。
 また、本実施形態において、複数の右屈曲角度範囲FRrの大きさと複数の左屈曲角度範囲FRlの大きさとは等しい。右屈曲角度範囲FRrは、屈曲角度θが+5[°]よりも大きく+20[°]以下の範囲(+5[°]<θ≦+20[°])の第1右屈曲角度範囲FRr1と、屈曲角度θが+20[°]よりも大きく+35[°]以下の範囲(+20[°]<θ≦+35[°])の第2右屈曲角度範囲FRr2とを含む。左屈曲角度範囲FRlは、屈曲角度θが-20[°]以上-5[°]よりも小さい範囲(-20[°]≦θ<-5[°])の第1左屈曲角度範囲FRl1と、屈曲角度θが-35[°]以上-20[°]よりも小さい範囲(-35[°]≦θ<-20[°])の第2左屈曲角度範囲FRl2とを含む。
 代表画像は、屈曲角度範囲FRの中央値の屈曲角度θで車体前部2Fが屈曲した状態のホイールローダ1を上方からみたときの形状を示す状態画像を含む。なお、状態画像は、ホイールローダ1を上方からみたときの輪郭線のみを示した画像でもよい。この場合、輪郭線の表示形態は実線でも破線でもよい。また、状態画像は、作業機10を示す部分を省略した画像でもよい。さらに、取り付けられるバケット12の大きさや形状に対応して複数の状態画像を記憶部87に記憶させておき、実際に取り付けられているバケット12に対応した状態画像を、例えば入力装置70を操作して選択できるようにしてもよい。
 図13から図19は、本実施形態に係る複数の屈曲角度範囲FRのそれぞれに属するホイールローダ1の代表画像の一例を模式的に示す図である。
 図13は、屈曲角度θが-5[°]以上+5[°]以下の基準屈曲角度範囲FRcに属するホイールローダ1の状態画像を示す図である。基準屈曲角度範囲FRcの中央値の屈曲角度θは0[°]である。図13に示すように、基準屈曲角度範囲FRcに属するホイールローダ1の状態画像は、屈曲角度θが0[°]の状態を表している。
 図14は、屈曲角度θが+5[°]よりも大きく+20[°]以下の第1右屈曲角度範囲FRr1に属するホイールローダ1の状態画像を示す図である。第1右屈曲角度範囲FRr1の中央値の屈曲角度θは+12.5[°]である。図14に示すように、第1右屈曲角度範囲FRr1に属するホイールローダ1の状態画像は、屈曲角度θが+12.5[°]の状態を表している。
 図15は、屈曲角度θが+20[°]よりも大きく+35[°]以下の第2右屈曲角度範囲FRr2に属するホイールローダ1の状態画像を示す図である。第2右屈曲角度範囲FRr2の中央値の屈曲角度θは+27.5[°]である。図15に示すように、第2右屈曲角度範囲FRr2に属するホイールローダ1の状態画像は、屈曲角度θが+27.5[°]の状態を表している。
 図16は、屈曲角度θが-20[°]以上-5[°]よりも小さい第1左屈曲角度範囲FRl1に属するホイールローダ1の状態画像を示す図である。第1左屈曲角度範囲FRl1の中央値の屈曲角度θは-12.5[°]である。図16に示すように、第1左屈曲角度範囲FRl1に属するホイールローダ1の状態画像は、屈曲角度θが-12.5[°]の状態を表している。
 図17は、屈曲角度θが-35[°]以上-20[°]よりも小さい第2左屈曲角度範囲FRl2に属するホイールローダ1の状態画像を示す図である。第2左屈曲角度範囲FRl2の中央値の屈曲角度θは-27.5[°]である。図17に示すように、第2左屈曲角度範囲FRl2に属するホイールローダ1の状態画像は、屈曲角度θが-27.5[°]の状態を表している。
 また、本実施形態において、代表画像は、第1閾値屈曲角度θs1である+35[°]よりも右側の右外側屈曲角度範囲FRro、及び第2閾値屈曲角度θs2である-35[°]よりも左側の左外側屈曲角度範囲FRloのそれぞれに1つずつ定められる。本実施形態において、右外側屈曲角度範囲FRroは、屈曲角度θが+35[°]よりも大きい範囲(+35[°]<θ)である。左外側屈曲角度範囲FRloは、屈曲角度θが-35[°]よりも小さい範囲(θ<-35[°])である。
 図18は、屈曲角度θが+35[°]よりも大きい右外側屈曲角度範囲FRroに属するホイールローダ1の状態画像を示す図である。図18に示すように、右外側屈曲角度範囲FRroに属するホイールローダ1の状態画像において、屈曲角度θは、例えば+35[°]である。なお、右外側屈曲角度範囲FRroに属するホイールローダ1の状態画像における屈曲角度θは、一定値であればよく、例えば屈曲角度θが+40[°]の状態を表してもよい。
 図19は、屈曲角度θが-35[°]よりも小さい左外側屈曲角度範囲FRloに属するホイールローダ1の状態画像を示す図である。図19に示すように、左外側屈曲角度範囲FRloに属するホイールローダ1の状態画像において、屈曲角度θは、例えば-35[°]である。なお、左外側屈曲角度範囲FRloに属するホイールローダ1の状態画像における屈曲角度θは、一定値であればよく、例えば屈曲角度θが-40[°]の状態を表してもよい。
 このように、本実施形態において、記憶部87には、図13から図19を参照して説明したような、複数の屈曲角度範囲FRと、それら複数の屈曲角度範囲FRのそれぞれに1つずつ定められるホイールローダ1の代表画像を示すライブラリ画像データとが記憶されている。
 判定部88は、記憶部87に記憶されている複数の屈曲角度範囲FRから、屈曲角度データ取得部81で取得された屈曲角度θが属する屈曲角度範囲FRを判定する。すなわち、判定部88は、角度センサ50で検出されたホイールローダ1の屈曲角度θが、記憶部87に記憶されている複数の屈曲角度範囲FRのうちどの屈曲角度範囲FRに属するかを判定する。例えば、角度センサ50で検出されたホイールローダ1の屈曲角度θが+15[°]である場合、判定部88は、屈曲角度θが第1右屈曲角度範囲FRr1に属すると判定する。また、角度センサ50で検出されたホイールローダ1の屈曲角度θが-25[°]である場合、判定部88は、屈曲角度θが第2左屈曲角度範囲FRl2に属すると判定する。
 選択部89は、記憶部87に記憶されている複数の代表画像から、判定部88で判定された屈曲角度範囲FRに属する代表画像を選択する。例えば、判定部88で判定された屈曲角度範囲FRが第1右屈曲角度範囲FRr1であると判定された場合、選択部89は、記憶部87に記憶されている複数の代表画像のうち、図14を参照して説明したような第1右屈曲角度範囲FRr1が属する代表画像を選択する。また、判定部88で判定された屈曲角度範囲FRが第2左屈曲角度範囲FRl2であると判定された場合、選択部89は、記憶部87に記憶されている複数の代表画像のうち、図17を参照して説明したような第2左屈曲角度範囲FRl2が属する代表画像を選択する。
 障害物位置データ生成部90は、障害物データ取得部83で取得された障害物データに基づいて、障害物の位置を示す障害物位置データを生成する。
 表示制御部91は、俯瞰画像合成部84で生成された俯瞰画像と選択部89で選択された代表画像とを表示装置60に同時に表示させる。本実施形態において、表示制御部91は、選択部89で選択された代表画像を表示装置60の表示画面の中央部に表示させ、俯瞰画像を表示装置60の表示画面において代表画像の周囲に表示させる。
 また、表示制御部91は、障害物位置データ生成部90で生成された障害物位置データに基づいて、障害物の位置を示すマークを表示装置60に表示させる。表示制御部91は、俯瞰画像に重ねるように、障害物の位置を示すマークを表示装置60に表示させる。
 図20は、本実施形態に係る表示装置60に表示される表示画面の一例を模式的に示す図である。図20に示すように、本実施形態において、表示制御部91は、表示装置60の表示画面の第1領域61に代表画像CG及び俯瞰画像BIを表示させ、第1領域61の隣の表示画面の第2領域62に撮影画像を表示させる。
 図20は、角度センサ50で検出されたホイールローダ1の屈曲角度θが+3[°]であり、その屈曲角度θが属する屈曲角度範囲FRが基準屈曲角度範囲FRcであると判定され、図13を参照して説明したような基準屈曲角度範囲FRcに属する代表画像CGが表示されている例を示す。表示制御部91は、基準屈曲角度範囲FRcに属する代表画像CGを第1領域61の中央部に表示させ、その第1領域61において代表画像CGの周囲にホイールローダ1の周辺の俯瞰画像BIを表示させる。
 また、表示制御部91は、俯瞰画像BIを生成するための撮影画像データを取得する複数のカメラ20B,20C,20D,20E,20Fの撮影領域SBp,SCp,SDp,SEp,SFpの境界を示すラインLGを俯瞰画像BIに重ねて表示させる。なお、撮影領域SBp,SCp,SDp,SEp,SFpは、実際のカメラ20B,20C,20D,20E,20Fの撮影領域SBp,SCp,SDp,SEp,SFpに対応する画像データを示す。
 また、表示制御部91は、ホイールローダ1の外縁からの距離を示すラインLa,Lb,Lcを俯瞰画像BIに重ねて表示させる。ホイールローダ1の外縁とは、ホイールローダ1が、直進できる姿勢において、ホイールローダ1を上方から見た平面視が示すホイールローダ1の外形を形成する線である。図20に示す例において、ラインLaは、ホイールローダ1の外縁から3[m]の位置を示し、ラインLbは、ホイールローダ1の外縁から5[m]の位置を示し、ラインLcは、ホイールローダ1の外縁から7[m]の位置を示す。なお、ラインLa,Lb,Lcが示す距離は一例であり、任意に定めることができる。また、ホイールローダ1の外縁からの距離を示すラインは、3本でなくてもよく、1本又は2本でもよいし、4本以上の任意の複数本でもよい。
 また、表示制御部91は、非接触センサ40によって検出された障害物の位置を示すマーク63を俯瞰画像BIに重ねて表示させる。例えば、ホイールローダ1の後方に存在する障害物が非接触センサ40によって検出されたとき、表示制御部91は、障害物位置データ生成部90で生成された障害物の位置を示す障害物位置データに基づいて、俯瞰画像BIにおいて表示されている障害物にマーク63を重ねて表示させる。これにより、障害物が存在することが強調して示され、ホイールローダ1の運転者は、障害物の存在を速やかに認識することができる。ここで、表示制御部91は、マーク63を点滅表示させてもよい。また、本実施形態においては、表示制御部91は、複数の撮影領域SBp,SCp,SDp,SEp,SFpのうち、障害物が存在する撮影領域を強調表示させる。例えば、表示制御部91は、障害物が存在する撮影領域(図20の場合、撮影領域SDp)を、障害物が存在しない他の撮影領域とは異なる色彩で表示させたり、障害物が存在する撮影領域を点滅表示させたりすることができる。また、表示制御部91は、障害物が存在する撮影領域の輪郭線を点滅表示させてもよい。
 第2領域62には、撮影画像データ取得部82で取得された撮影画像が表示される。図20は、カメラ20Aで撮影され、フロント画像生成部85において画像処理された、ホイールローダ1の前方を示す撮影画像CIが表示される例を示す。第2領域62には、ホイールローダ1の所定の部位を示すガイドラインLd,Leが表示される。なお、ラインLa,Lb,LcやガイドラインLd,Leは、図20に示すような破線による表示形態でも良いし、実線による表示形態であってもよい。また、それぞれのラインあるいはガイドラインを色分けした表示形態により表示させてもよい。
 本実施形態において、ホイールローダ1が前進しているとき、表示制御部91は、カメラ20Aで撮影されたホイールローダ1の前方を示す撮影画像CIを第2領域62に表示させる。一方、ホイールローダ1が後進しているとき、表示制御部91は、カメラ20Dで撮影されたホイールローダ1の後方を示す撮影画像CIを第2領域62に表示させる。
 本実施形態においては、運転操作装置52の前後進切替スイッチの操作信号がカメラ画像切替部86に入力される。カメラ画像切替部86は、運転操作装置52から出力された操作信号に基づいて、第2領域62に表示させる撮影画像CIを切り替えるための指令データを表示制御部91に出力する。ホイールローダ1が前進しており、ホイールローダ1の前方の撮影画像CIを表示させる指令データをカメラ画像切替部86から取得したとき、表示制御部91は、カメラ20Aで撮影された撮影画像CIを第2領域62に表示させる。ホイールローダ1が後進しており、ホイールローダ1の後方の撮影画像CIを表示させる指令データをカメラ画像切替部86から取得したとき、表示制御部91は、カメラ20Dで撮影された撮影画像CIを第2領域62に表示させる。
 また、第2領域62には、複数のカメラ20の撮影領域のうち第2領域62に表示されているカメラ20の撮影領域を示すインジケータ64が表示される。また、第2領域62は、非接触センサ40が作動状態であることを示すアイコン65が表示される。
 なお、表示制御部91は、第2領域62を表示させず、選択部89で選択された代表画像CGを表示装置60の表示画面の中央部に表示させ、俯瞰画像BIを表示装置60の表示画面において代表画像CGの周囲に表示させてもよい。あるいは、表示制御部91は、第1領域61を表示させず、選択部89で選択された撮影画像CIを表示装置60の表示画面の中央部に表示させてもよい。すなわち、表示制御部91は、所謂、二画面表示させてもよいし、一画面表示させてもよい。
 図21は、本実施形態に係る運転台3の運転室の一例を模式的に示す図である。図21は、運転室の運転席に着座した運転者が見ている景色を模式的に示す。
 表示装置60は、車体2の運転室に配置される。運転者は、運転室に設けられている表示装置60を見て、ホイールローダ1の周辺の状況を確認することができる。
 運転室には、例えば運転操作装置52であるアクセルペダル52A及び左右のブレーキペダル52B、計器54、モニタ装置56、及びリアビューモニタ装置58など、複数の機器が設けられている。運転室の前部にはフロントガラスが設けられる。フロントガラスは、運転室のピラー33に支持されている。表示装置60は、ピラー33に支持される。表示装置60がピラー33に支持されているので、運転者は、表示装置60に遮られることなく、フロントガラスを介して外部の状況を視認することができる。
 図21に示すように、ホイールローダ1においては、運転室の運転者は、フロントガラスを介して、ブーム11及びバケットシリンダ14等を視認可能であるものの、地面RSを含むホイールローダ1の周辺の状況を視認することは困難である。
 本実施形態においては、ホイールローダ1の周辺の撮影画像データがカメラ20で取得され、表示装置60に表示される。また、ホイールローダ1の周辺に存在する障害物が非接触センサ40によって検出され、表示装置60に表示される。これにより、運転者は、ホイールローダ1の周辺の状況を円滑に把握することができる。
[周辺監視方法]
 次に、本実施形態に係る作業車両の周辺監視方法について説明する。図22は、本実施形態に係る作業車両の周辺監視方法の一例を示すフローチャートである。
 例えばホイールローダ1を使って運搬車両のベッセルに掘削物を積み込むとき、運転者は、バケット12に掘削物が保持された状態で、運搬車両に向かってホイールローダ1を前進させる。
 屈曲角度データ取得部81は、角度センサ50で検出された車体前部2Fと車体後部2Rとの屈曲角度θを示す屈曲角度データを取得する(ステップS10)。
 また、撮影画像データ取得部82は、複数のカメラ20のそれぞれで撮影された撮影画像CIを示す撮影画像データを取得する(ステップS20)。
 俯瞰画像合成部84は、カメラ20B,20C,20D,20E,20Fで取得された複数の撮影画像データを画像処理してホイールローダ1の周辺の俯瞰画像BIを示す俯瞰画像データを生成する(ステップS30)。
 判定部88は、ステップS10で取得された屈曲角度データに基づいて、記憶部87に記憶されている複数の屈曲角度範囲FRから、ホイールローダ1の屈曲角度θが属する屈曲角度範囲FRを判定する(ステップS40)。
 選択部89は、記憶部87に記憶されている複数の代表画像CGから、ステップS40で判定された屈曲角度範囲FRに属する代表画像CGを選択する(ステップS50)。
 表示制御部91は、ステップS30で生成された俯瞰画像BIと、ステップS50で選択された代表画像CGとを、ホイールローダ1の運転室に搭載されている表示装置60の第1領域61に同時に同一の表示画面に表示させる(ステップS60)。なお、作業車両の周辺監視方法について、ステップS20及びステップS30を先に行い、ステップS10を実行してもよい。つまり、俯瞰画像BIを生成する処理を先に行い、代表画像CGを選択する処理をその後に実行してもよいし、その逆の順序でそれぞれの処理を実行してもよい。
 例えば、屈曲角度θが-5[°]以上+5[°]以下である場合、図13を参照して説明した代表画像CGが選択され、第1領域61に表示される。屈曲角度θが+5[°]よりも大きく+20[°]以下である場合、図14を参照して説明した代表画像CGが選択され、第1領域61に表示される。屈曲角度θが+20[°]よりも大きく+35[°]以下である場合、図15を参照して説明した代表画像CGが選択され、第1領域61に表示される。屈曲角度θが-20[°]以上であり-5[°]よりも小さい場合、図16を参照して説明した代表画像CGが選択され、第1領域61に表示される。屈曲角度θが-35[°]以上であり-20[°]よりも小さい場合、図17を参照して説明した代表画像CGが選択され、第1領域61に表示される。屈曲角度θが+35[°]よりも大きい場合、図18を参照して説明した代表画像CGが選択され、第1領域61に表示される。屈曲角度θが-35[°]よりも小さい場合、図19を参照して説明した代表画像CGが選択され、第1領域61に表示される。
 また、ホイールローダ1の前進においては、表示装置60の第2領域62に、カメラ20Aで取得された撮影画像データが表示される。
 運転者は、作業レバーを操作して、バケット12に保持されている掘削物を運搬車両のベッセルに積み込んだ後、前後進切替スイッチを操作して、ホイールローダ1を後進させる。これにより、ホイールローダ1は、運搬車両から離れる。ホイールローダ1の後進においては、表示装置60の第2領域62に、カメラ20Dで取得された撮影画像データが表示される。
 ホイールローダ1の後進においても、屈曲角度データ取得部81は、角度センサ50から屈曲角度データを取得する。ホイールローダ1の後進においても、ホイールローダ1の周辺の俯瞰画像BIが生成され、屈曲角度θが属する屈曲角度範囲FRが判定され、判定された屈曲角度範囲FRに属する代表画像CGが選択され、生成された俯瞰画像BIと選択された代表画像CGとが表示装置60に同時に表示される。
 また、例えばホイールローダ1の後進において、非接触センサ40によりホイールローダ1の側方(右方又は左方)に存在する障害物が検出された場合、表示制御部91は、障害物位置データ生成部90で生成された障害物の位置を示す障害物位置データに基づいて、障害物が存在する撮影領域の撮影画像データを表示装置60に表示させる。例えば、ホイールローダ1の後進において、カメラ20Bの撮影領域SBに障害物が存在することを非接触センサ40Aが検出したとき、表示制御部91は、第2領域62に表示されている撮影画像データを、カメラ20Dで取得された撮影画像データからカメラ20Bで取得された撮影画像データに切り替える。これにより、運転者は、障害物の状況や障害物とホイールローダ1との相対位置を視認することができる。
[効果]
 以上説明したように、本実施形態によれば、複数の屈曲角度範囲FRのそれぞれに属するホイールローダ1の代表画像CGを示すライブラリ画像データを予め作成し、ホイールローダ1の実際の屈曲角度θに応じて代表画像CGを選択して表示装置60に表示するようにしたので、画像処理の負荷を大きくすることなく、ホイールローダ1の屈曲状態を運転者に認識させることができる。また、ホイールローダ1の屈曲状態を示す代表画像CGとともに俯瞰画像BIが表示されることにより、運転者は、ホイールローダ1の周囲の状況を十分に把握することができる。しかも、代表画像CGは、ホイールローダ1の屈曲状態が表現されるため、ホイールローダ1がいずれの方向に進もうとするかを運転者は認識でき、ホイールローダ1の周辺に障害物が存在する場合には、ホイールローダ1と障害物との相対位置や、ホイールローダ1の進行予定方向において障害物と干渉するかどうかといったことを正確に認識することができる。
 本実施形態によれば、ホイールローダ1の屈曲角度θが変化する度に表示装置60に表示させるホイールローダ1の画像を変化させるのではなく、屈曲角度θを規定の屈曲角度範囲FRにグループ化し、そのグループを代表する代表画像CGを表示装置60に表示させる。これにより、画像処理の負荷が低減される。また、表示装置60に表示される画像がちらつく可能性が低減され、視認性の悪化が抑制される。したがって、コストの増大を抑制して、少なくともホイールローダ1の進行予定方向を運転者に正確に認識させることができる。
 また、本実施形態によれば、選択された代表画像CGの周囲に俯瞰画像BIが表示される。これにより、運転者は、ホイールローダ1を基準として、ホイールローダ1の周辺の状況を認識することができる。
 また、本実施形態によれば、表示装置60の第1領域61に代表画像CG及び俯瞰画像BIが表示され、第1領域61の隣の第2領域62にカメラ20の撮影画像CIが表示される。これにより、運転者は、俯瞰画像BIとカメラ20の撮影画像CIとの両方から周辺の状況に関する情報を取得することができる。
 また、本実施形態においては、例えばホイールローダ1が前進しているとき、カメラ20Aで取得された撮影画像CIが第2領域62に表示される。第1領域61にはホイールローダ1の屈曲状態を示す代表画像CGが表示されているので、運転者は、第1領域61の代表画像CGを見て、カメラ20Aが搭載されている車体前部2Fが向いている方向を直感的に認識することができる。そのため、運転者は、第2領域62に表示されているカメラ20Aの撮影画像CIの方向を直感的に認識することができる。
 また、本実施形態においては、屈曲角度範囲FRは、右側の第1閾値屈曲角度θs1と左側の第2閾値屈曲角度θs2との間において重複しないように複数定められ、代表画像CGは、複数の屈曲角度範囲FRのそれぞれに1つずつ定められる。これにより、画像処理の負荷が十分に低減され、表示装置60に表示される画像がちらつくことが十分に抑制される。
 また、本実施形態によれば、代表画像CGは、屈曲角度範囲FRの中央値の屈曲角度θで車体前部2Fが屈曲したホイールローダ1を示す状態画像を含む。状態画像の屈曲角度θを屈曲角度範囲FRの中央値とすることにより、運転者は、状態画像を見て、ホイールローダ1の屈曲状態を直感的に認識することができる。
 また、本実施形態によれば、屈曲角度範囲FRは、零度の屈曲角度θを含む基準屈曲角度範囲FRcと、基準屈曲角度範囲FRcよりも右側の複数の右屈曲角度範囲FRr1,FRr2と、基準屈曲角度範囲FRcよりも左側の複数の左屈曲角度範囲FRl1,FRl2とを含む。基準屈曲角度範囲FRcの右側の端部を規定する屈曲角度θa1の絶対値と左側の端部を規定する屈曲角度θa2の絶対値とは等しい。また、第1右屈曲角度範囲FRr1の大きさと、第2右屈曲角度範囲FRr2の大きさと、第1左屈曲角度範囲FRl1の大きさと、第2左屈曲角度範囲FRl2の大きさとは、等しい。これにより、運転者は、それら複数の屈曲角度範囲FRに基づいて屈曲する代表画像CGを見て、ホイールローダ1の屈曲状態を直感的に認識することができる。
 また、本実施形態によれば、代表画像CGは、第1閾値屈曲角度θs1よりも右側の右外側屈曲角度範囲FRro、及び第2閾値屈曲角度θs2よりも左側の左外側屈曲角度範囲FRloのそれぞれに1つずつ定められる。ホイールローダ1が第1閾値屈曲角度θs1よりも大きく屈曲した場合、又はホイールローダ1が第2閾値屈曲角度θs2よりも大きく屈曲した場合、複数の代表画像CGではなく、1つの代表画像CGが表示されるため、画像処理の負荷が十分に低減され、表示装置60に表示される画像がちらつくことが十分に抑制される。
第2実施形態.
 第2実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
 上述の第1実施形態において、運転操作装置52、表示装置60、及び制御装置80は、ホイールローダ1に搭載されることとした。運転操作装置52及び表示装置60がホイールローダ1の遠隔地にあってもよい。また、制御装置80の複数の機能の一部又は全部がホイールローダ1の遠隔地にあってもよい。
 図23は、本実施形態に係るホイールローダ1の一例を模式的に示す図である。本実施形態において、ホイールローダ1は、ホイールローダ1の遠隔地に設けられている運転操作装置52Fによって遠隔操作される。
 上述の実施形態と同様、ホイールローダ1は、少なくとも、車体前部2Fと、車体後部2Rと、車体前部2Fと車体後部2Rとを屈曲可能に連結する関節機構9と、車体2に搭載されたカメラ20とを備える。
 ホイールローダ1の遠隔地に設けられている遠隔操作施設に、表示装置60F、入力装置70F、制御装置80F、及び運転操作装置52Fが配置される。表示装置60F、入力装置70F、制御装置80F、及び運転操作装置52Fはそれぞれ、ホイールローダ1とは別体で設けられる。
 ホイールローダ1と制御装置80Fとは、無線通信システムを介して無線通信する。ホイールローダ1には無線通信システムの無線通信機201が設けられ、制御装置80Fには無線通信システムの無線通信機202が接続される。
 運転操作装置52Fは、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ホイールローダ1を旋回操舵するためのステアリングレバー、ホイールローダ1の前進と後進とを切り替える前後進切替スイッチ、及び作業機10を操作するための作業レバーを含む。運転者は、遠隔操作施設において運転操作装置52Fを操作する。運転操作装置52Fが操作されることにより生成された操作信号は、無線通信システムを介して、ホイールローダ1に送信される。これにより、ホイールローダ1は遠隔操作され、ホイールローダ1の走行速度の調整、前進又は後進の切り替え、旋回、及び作業機10の操作が実施される。
 制御装置80Fは、図11を参照して説明したような、屈曲角度データ取得部81と、撮影画像データ取得部82と、障害物データ取得部83と、俯瞰画像合成部84と、フロント画像生成部85と、カメラ画像切替部86と、記憶部87と、判定部88と、選択部89と、障害物位置データ生成部90と、表示制御部91とを有する。
 ホイールローダ1に設けられているカメラ20で撮影された撮影画像は、無線通信システムを介してホイールローダ1から制御装置80Fに送信される。制御装置80Fの表示制御部91は、カメラ20で撮影され無線通信システムを介してホイールローダ1から送信された撮影画像と、選択された代表画像CGとを表示装置60Fに重畳表示させる。遠隔操作施設の運転者は、表示装置60Fに表示された表示データを視認可能である。
 以上説明したように、ホイールローダ1が無線通信システムを介して遠隔操作されてもよい。運転者は、遠隔地で、運転操作装置52Fを操作する。運転操作装置52Fの操作信号は、無線通信システムを介してホイールローダ1に送信される。ホイールローダ1は、運転操作装置52Fの操作信号に基づいて、走行速度の調整、前進又は後進の切り替え、旋回、及び作業機10の操作を実施することができる。また、制御装置80Fが遠隔地にある場合、角度センサ50で取得された屈曲角度データ、非接触センサ40で取得された障害物データ、及びカメラ20で取得された撮影画像データは、無線通信システムを介して、遠隔地にある制御装置80Fに送信される。制御装置80Fは、受信した屈曲角度データ及び撮影画像データに基づいて、代表画像CG及び俯瞰画像BIを、遠隔地にある表示装置60Fに表示させることができる。また、制御装置80Fは、受信した障害物データに基づいて、障害物を示すマーク63を表示装置60Fに表示させることができる。
 なお、上述の実施形態においては、屈曲角度データ取得部81は、関節機構9のピン部材に設けられた角度センサ50から屈曲角度データを取得することとした。屈曲角度データ取得部81は、例えばホイールローダ1を操舵するためのステアリングレバーの操作量を取得して、屈曲角度データを算出してもよい。また、関節機構9は、車体前部2Fを屈曲させる動力を発生する油圧シリンダを有する。屈曲角度データ取得部81は、関節機構9の油圧シリンダのストローク量を取得して、屈曲角度データを算出してもよい。
 なお、上述の実施形態においては、ブーム11の先端部に作業部材の一種であるバケット12が連結されることとした。ブーム11の先端部に連結される作業部材は、刃先を有するブレードでもよい。
 なお、上述の実施形態においては、ホイールローダ1が鉱山の採掘現場で稼働することとした。ホイールローダ1は、施工現場又は建設現場で使用されてもよいし、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。また、ブーム11の先端部に連結される作業部材は、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。
 なお、上述の実施形態においては、作業車両1がホイールローダであることとした。作業車両1は、車体前部、車体後部、及び車体前部と車体後部とを屈曲可能に連結する関節機構を備えるアーティキュレートダンプトラックでもよい。
 1…ホイールローダ(作業車両)、2…車体、2F…車体前部、2R…車体後部、3…運転台、4…走行装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、7…動力伝達機構、8…ハウジング、8B…アクスルボール、9…関節機構、10…作業機、11…ブーム、12…バケット、12B…先端部、12E…端部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…リンク、20…カメラ、20A,20B,20C,20D,20E,20F…カメラ、30…照明装置、31…ケーシング、31L…ロッド部材、32…カバー部材、33…ピラー、40…非接触センサ(レーダ装置)、40A,40B,40C,40D…非接触センサ(レーダ装置)、50…角度センサ(検出装置)、52…運転操作装置、52A…アクセルペダル、52B…ブレーキペダル、54…計器、56…モニタ装置、58…リアビューモニタ装置、60…表示装置、61…第1領域、62…第2領域、63…マーク、64…インジケータ、65…アイコン、70…入力装置、80…制御装置、81…屈曲角度データ取得部、82…撮影画像データ取得部、83…障害物データ取得部、84…俯瞰画像合成部、85…フロント画像生成部、86…カメラ画像切替部、87…記憶部、88…判定部、89…選択部、90…障害物位置データ生成部、91…表示制御部、100…周辺監視システム、La,Lb,Lc…ライン、Ld,Le…ガイドライン、LG…ライン、RS…地面。

Claims (10)

  1.  車体前部、車体後部、及び前記車体前部と前記車体後部とを屈曲可能に連結する関節機構を備える作業車両の周辺監視システムであって、
     前記作業車両に搭載されている検出装置で検出された前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得する屈曲角度データ取得部と、
     前記作業車両に搭載されている複数のカメラのそれぞれで撮影された撮影画像を取得する撮影画像データ取得部と、
     複数の前記撮影画像データを画像処理して前記作業車両の周辺の俯瞰画像を生成する俯瞰画像合成部と、
     前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶する記憶部と、
     複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定する判定部と、
     複数の前記代表画像から前記判定部で判定された屈曲角度範囲に属する代表画像を選択する選択部と、
     前記俯瞰画像合成部で生成された前記俯瞰画像と前記選択部で選択された前記代表画像とを表示装置に同時に表示させる表示制御部と、
    を備える作業車両の周辺監視システム。
  2.  前記表示制御部は、前記選択部で選択された前記代表画像を前記表示装置の表示画面の中央部に表示させ、前記俯瞰画像を前記表示画面において前記代表画像の周囲に表示させる、
    請求項1に記載の作業車両の周辺監視システム。
  3.  前記表示制御部は、前記表示画面の第1領域に前記代表画像及び前記俯瞰画像を表示させ、前記第1領域の隣の前記表示画面の第2領域に前記撮影画像を表示させる、
    請求項1又は請求項2に記載の作業車両の周辺監視システム。
  4.  前記車体前部は、前記車体後部に対して左右に屈曲し、
     前記屈曲角度範囲は、右側の第1閾値屈曲角度と左側の第2閾値屈曲角度との間において重複しないように複数定められ、
     前記代表画像は、複数の前記屈曲角度範囲のそれぞれに1つずつ定められる、
    請求項1から請求項3のいずれか一項に記載の作業車両の周辺監視システム。
  5.  前記代表画像は、前記屈曲角度範囲の中央値の前記屈曲角度で前記車体前部が屈曲した前記作業車両の状態を示す、
    請求項4に記載の作業車両の周辺監視システム。
  6.  前記屈曲角度範囲は、零度の屈曲角度を含む基準屈曲角度範囲と、前記基準屈曲角度範囲よりも右側の複数の右屈曲角度範囲と、前記基準屈曲角度範囲よりも左側の複数の左屈曲角度範囲とを含み、
     前記基準屈曲角度範囲の右側の端部を規定する屈曲角度と左側の端部を規定する屈曲角度とは等しく、
     複数の前記右屈曲角度範囲の大きさと複数の前記左屈曲角度範囲の大きさとは等しい、
    請求項4又は請求項5に記載の作業車両の周辺監視システム。
  7.  前記代表画像は、前記第1閾値屈曲角度よりも右側の右外側屈曲角度範囲、及び前記第2閾値屈曲角度よりも左側の左外側屈曲角度範囲のそれぞれに1つずつ定められる、
    請求項4から請求項6のいずれか一項に記載の作業車両の周辺監視システム。
  8.  前記表示装置は、前記作業車両とは別体で設けられ、
     前記カメラで撮影され無線通信システムを介して前記作業車両から送信された前記撮影画像と、選択された前記代表画像とが前記表示装置に同時に表示される、
    請求項1から請求項7のいずれか一項に記載の作業車両の周辺監視システム。
  9.  請求項1から請求項8のいずれか一項に記載の作業車両の周辺監視システムを備える作業車両。
  10.  車体前部と車体後部とが屈曲可能な作業車両の周辺監視方法であって、
     前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶することと、
     前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得することと、
     前記作業車両の周辺を撮影した撮影画像を取得することと、
     複数の前記撮影画像を画像処理して前記作業車両の周辺の俯瞰画像を生成することと、
     複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定することと、
     複数の前記代表画像から前記判定された屈曲角度範囲に属する代表画像を選択することと、
     前記俯瞰画像と前記選択された前記代表画像とを同時に表示することと、
    を含む作業車両の周辺監視方法。
PCT/JP2017/004807 2017-02-09 2017-02-09 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法 WO2017131243A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780000493.0A CN107431789B (zh) 2017-02-09 2017-02-09 作业车辆的周边监视系统、作业车辆以及作业车辆的周边监视方法
EP17727786.0A EP3226553B1 (en) 2017-02-09 2017-02-09 Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method
US15/535,808 US10421400B2 (en) 2017-02-09 2017-02-09 Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle
JP2017509784A JP6251453B1 (ja) 2017-02-09 2017-02-09 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
PCT/JP2017/004807 WO2017131243A1 (ja) 2017-02-09 2017-02-09 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/004807 WO2017131243A1 (ja) 2017-02-09 2017-02-09 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法

Publications (1)

Publication Number Publication Date
WO2017131243A1 true WO2017131243A1 (ja) 2017-08-03

Family

ID=59399094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004807 WO2017131243A1 (ja) 2017-02-09 2017-02-09 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法

Country Status (5)

Country Link
US (1) US10421400B2 (ja)
EP (1) EP3226553B1 (ja)
JP (1) JP6251453B1 (ja)
CN (1) CN107431789B (ja)
WO (1) WO2017131243A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019180843A1 (ja) * 2018-03-20 2019-09-26 日立建機株式会社 作業車両
WO2022176586A1 (ja) * 2021-02-19 2022-08-25 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754594B2 (ja) * 2016-03-23 2020-09-16 株式会社小松製作所 モータグレーダ
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
JP6841159B2 (ja) * 2017-05-24 2021-03-10 トヨタ自動車株式会社 運転支援装置
JPWO2019031431A1 (ja) * 2017-08-08 2020-08-13 住友重機械工業株式会社 ショベル、ショベルの支援装置、及び、ショベルの管理装置
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
JP7286287B2 (ja) * 2018-09-14 2023-06-05 株式会社小松製作所 作業機械の表示システムおよびその制御方法
JP7197314B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 作業機械の表示システムおよびその制御方法
DE102018131220A1 (de) * 2018-12-06 2020-06-10 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
JP7267755B2 (ja) * 2019-01-23 2023-05-02 株式会社小松製作所 作業機械のためのシステム及び方法
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
US12035048B2 (en) * 2019-09-20 2024-07-09 Wise Automotive Corporation Front image generation device for heavy equipment
US11409299B2 (en) 2020-08-19 2022-08-09 Caterpillar Inc. Determining object detection area based on articulation angle
US20230017850A1 (en) * 2021-07-19 2023-01-19 Clark Equipment Company Systems and methods for obstacle detection for a power machine
DE102021130374A1 (de) * 2021-11-19 2023-05-25 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
US12077948B2 (en) * 2022-03-04 2024-09-03 Deere &Company System and method for maintaining a view of an area of interest proximate a work vehicle
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) * 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
US20160212352A1 (en) * 2015-01-21 2016-07-21 Caterpillar Inc. Vision system and method of monitoring surroundings of machine

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010009269A2 (en) * 2008-07-15 2010-01-21 Piedmont Healthcare, Inc. Method for coronary artery disease risk assessment
CN103649426B (zh) 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
US8720918B2 (en) * 2012-07-05 2014-05-13 Xin Xin Li Bicycle Fittings (Shenzhen) Co., Ltd. Foldable scooter
JP6323074B2 (ja) * 2014-03-06 2018-05-16 株式会社デンソー 表示物情報表示装置
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) * 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
US20160212352A1 (en) * 2015-01-21 2016-07-21 Caterpillar Inc. Vision system and method of monitoring surroundings of machine

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3226553A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019180843A1 (ja) * 2018-03-20 2019-09-26 日立建機株式会社 作業車両
JPWO2019180843A1 (ja) * 2018-03-20 2021-01-07 日立建機株式会社 作業車両
JP7002634B2 (ja) 2018-03-20 2022-01-20 日立建機株式会社 作業車両
WO2022176586A1 (ja) * 2021-02-19 2022-08-25 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

Also Published As

Publication number Publication date
JPWO2017131243A1 (ja) 2018-02-01
CN107431789B (zh) 2018-12-21
JP6251453B1 (ja) 2017-12-20
EP3226553A1 (en) 2017-10-04
EP3226553A4 (en) 2018-01-10
US10421400B2 (en) 2019-09-24
EP3226553B1 (en) 2018-12-12
CN107431789A (zh) 2017-12-01
US20180222390A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
JP6251453B1 (ja) 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
JP6346375B1 (ja) 作業車両及び表示装置
JP7450083B2 (ja) 周辺監視システム及び周辺監視方法
AU2013218883B2 (en) Periphery monitoring device for transportation vehicle
JP7103796B2 (ja) 作業機械
US20190168776A1 (en) Work vehicle periphery monitoring system and work vehicle periphery monitoring method
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
US10590629B2 (en) Working vehicle
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
WO2024071405A1 (ja) 作業車両の周辺画像を表示するためのシステム、方法、及び作業車両
JP2022157015A (ja) 建設機械
JP2022156495A (ja) 転圧機械
JP2023120743A (ja) 表示制御装置、及び遠隔操作装置
JP2023056118A (ja) 作業車両の状態判断システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017509784

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2017727786

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15535808

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17727786

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE