WO2021090678A1 - 作業機械の周囲監視装置 - Google Patents

作業機械の周囲監視装置 Download PDF

Info

Publication number
WO2021090678A1
WO2021090678A1 PCT/JP2020/039447 JP2020039447W WO2021090678A1 WO 2021090678 A1 WO2021090678 A1 WO 2021090678A1 JP 2020039447 W JP2020039447 W JP 2020039447W WO 2021090678 A1 WO2021090678 A1 WO 2021090678A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lower traveling
obstacle
range
imaging
Prior art date
Application number
PCT/JP2020/039447
Other languages
English (en)
French (fr)
Inventor
政樹 永井
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/770,904 priority Critical patent/US20220372732A1/en
Priority to EP20886038.7A priority patent/EP4043285A4/en
Priority to CN202080074158.7A priority patent/CN114630942A/zh
Publication of WO2021090678A1 publication Critical patent/WO2021090678A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a work machine surroundings monitoring device that monitors the surroundings of a work machine.
  • Patent Document 1 discloses a monitor device that displays an image taken by a surveillance camera on a monitor and compositely displays an arc-shaped boundary line that clearly indicates a turning operation area of the upper turning body on a monitor screen.
  • the monitoring device of Patent Document 1 can determine the contact between the upper swing body and the obstacle when the upper swing body is turning, but cannot determine the contact between the upper swing body and the obstacle when the lower traveling body is running. ..
  • the attachment when the lower traveling body is driven, there is a possibility that the attachment may come into contact with obstacles in front of and above the upper rotating body depending on the posture of the attachment. Further, when the lower traveling body travels while the upper rotating body is rotated, the side surface of the counterweight, which is the rear end of the upper rotating body, becomes a blind spot from the driver's cab, and the counterweight may come into contact with an obstacle. There is.
  • An object of the present invention is to provide a peripheral monitoring device for a work machine capable of making it easier for an operator to judge a contact between an upper swinging body and an obstacle when the lower traveling body is traveled.
  • the present invention is a peripheral monitoring device for a work machine, which monitors the surroundings of a work machine having a machine main body including a lower traveling body and an upper rotating body provided so as to be swivel on the upper part of the lower traveling body.
  • the upper swivel body has a working device that can rotate in the vertical direction with respect to the main body of the upper swivel body and a driver's cab, and determines the swivel angle of the upper swivel body with respect to the lower traveling body.
  • a device a display control unit that displays an image captured by the imaging device on the display device, a turning angle of the upper swivel body detected by the turning angle detecting device, and a working device detected by the posture detecting device.
  • the display control unit includes a passage prediction range calculation unit that calculates the range of the trajectory of the machine body when the lower traveling body travels in the imaging direction of the imaging device based on the posture as the passage prediction range. Is superimposed on the image captured by the imaging device and displayed on the display device, the range image indicating the expected passage range calculated by the passage prediction range calculation unit.
  • a range image showing a expected passage range which is the range of the trajectory of the machine body when the lower traveling body travels in the imaging direction of the imaging device, is superimposed on the image captured by the imaging device and displayed on the display device. Will be done.
  • the image captured by the image pickup device contains an obstacle
  • the operator who sees the display device can grasp whether or not there is an obstacle within the expected passage range. Therefore, it is possible to make it easier for the operator to determine the contact between the upper rotating body and the obstacle when the lower traveling body is traveled.
  • the first embodiment it is the figure which looked at the working machine which goes straight from above.
  • it is a figure which shows the screen of the display in the work machine which goes straight, and is the figure when the posture of the attachment is low.
  • it is a figure which shows the screen of the display in the work machine which goes straight, and is the figure when the posture of the attachment is high.
  • It which looked at the work machine in 2nd Embodiment from above.
  • It is a figure which shows the screen of the display in 2nd Embodiment.
  • the surroundings monitoring device (surrounding monitoring device) for a work machine according to the first embodiment of the present invention monitors the surroundings of the work machine.
  • FIG. 1 is a side view of the work machine 20.
  • the work machine 20 is a machine that performs work with the attachment 30, for example, a hydraulic excavator.
  • the work machine 20 has a machine body 24 including a lower traveling body 21 and an upper swivel body 22, an attachment (working device) 30, and a cylinder 40.
  • the lower traveling body 21 is a device for traveling the work machine 20, and includes a pair of crawlers 25.
  • the upper swivel body 22 is rotatably attached to the upper part of the lower traveling body 21 via a swivel device.
  • a cab (driver's cab) 23 is provided at the front portion of the upper swing body 22.
  • the cab 23 is arranged on the left side of the center of the upper swivel body 22 in the left-right direction of the upper swivel body 22.
  • a counterweight 26 is provided at the rear end of the upper swing body 22.
  • the rear end of the upper swing body 22 is the rear end of the counterweight 26.
  • the attachment 30 is attached to the upper swivel body 22 so as to be rotatable in the vertical direction with respect to the main body of the upper swivel body 22.
  • the attachment 30 includes a boom 31, an arm 32, and a bucket 33.
  • the boom 31 is rotatably (undulating) attached to the upper swing body 22.
  • the arm 32 is rotatably attached to the boom 31.
  • the bucket 33 is rotatably attached to the arm 32.
  • the bucket 33 is a device that performs work such as excavation, leveling, and scooping of a work target (earth and sand, etc.).
  • the cylinder 40 can rotate the attachment 30.
  • the cylinder 40 is a hydraulic telescopic cylinder.
  • the cylinder 40 includes a boom cylinder 41, an arm cylinder 42, and a bucket cylinder 43.
  • the boom cylinder 41 rotationally drives the boom 31 with respect to the upper swing body 22.
  • the base end portion of the boom cylinder 41 is rotatably attached to the upper swing body 22.
  • the tip of the boom cylinder 41 is rotatably attached to the boom 31.
  • the arm cylinder 42 rotationally drives the arm 32 with respect to the boom 31.
  • the base end portion of the arm cylinder 42 is rotatably attached to the boom 31.
  • the tip of the arm cylinder 42 is rotatably attached to the arm 32.
  • the bucket cylinder 43 rotates the bucket 33 with respect to the arm 32.
  • the base end portion of the bucket cylinder 43 is rotatably attached to the arm 32.
  • the tip of the bucket cylinder 43 is rotatably attached to a link member rotatably attached to the bucket 33.
  • FIG. 2 is a circuit diagram of the surrounding monitoring device 1.
  • the surrounding monitoring device 1 includes a traveling lever 2, an angle sensor 3, an inclination angle sensor 4, a camera 5, a display 6, and a controller 7.
  • the controller 7 is composed of a computer including a CPU, a memory, and the like.
  • the controller 7 includes a passage prediction range calculation unit 71, a display control unit 72, an image direction control unit 73, an obstacle information calculation unit 74, a determination unit 75, and a traveling direction detection unit 76.
  • These blocks may be realized by, for example, a computer executing a predetermined program, or may be composed of a dedicated electric circuit.
  • the traveling lever 2 is provided in the cab 23.
  • the traveling lever 2 includes a traveling lever 2 on the left side and a traveling lever 2 on the right side.
  • the traveling lever 2 on the left side and the traveling lever 2 on the right side are arranged side by side in front of the seat on which the operator who operates the work machine 20 is seated.
  • the traveling lever 2 on the right side corresponds to the crawler 25 on the right side
  • the traveling lever 2 on the left side corresponds to the crawler 25 on the left side.
  • the traveling lever 2 is operated by an operator.
  • each of the left and right traveling levers 2 is tilted forward when the lower traveling body 21 is advanced, and each of the left and right traveling levers 2 is tilted forward when the lower traveling body 21 is advanced. It is tilted to the rear side.
  • the traveling lever 2 may also serve as a traveling pedal.
  • the traveling direction detection unit 76 detects the traveling direction of the lower traveling body 21 based on the amount of tilt of the traveling lever 2.
  • the traveling lever 2 on the right side includes a right traveling operation amount sensor.
  • the right traveling operation amount sensor detects an operation amount (tilt amount) including the operation direction of the right traveling lever 2.
  • the traveling lever 2 on the left side includes a left traveling operation amount sensor.
  • the left travel operation amount sensor detects an operation amount (tilt amount) including the operation direction of the left travel lever 2.
  • the right travel operation amount sensor and the left travel operation amount sensor are composed of an angle sensor or a pressure sensor, and output a signal corresponding to the operation amount to the controller 7.
  • the traveling direction detection unit 76 advances the lower traveling body 21 from the operating amount of the left traveling lever 2 detected by the left traveling operation amount sensor and the operating amount of the right traveling lever 2 detected by the right traveling operation amount sensor. Detect the direction.
  • the traveling direction detection unit 76, the left traveling operation amount sensor, and the right traveling operation amount sensor are examples of the traveling direction detecting device.
  • the angle sensor (turning angle detection device) 3 detects the turning angle of the upper turning body 22 with respect to the lower traveling body 21.
  • the angle sensor 3 is, for example, an encoder, a resolver, or a gyro sensor.
  • the turning angle of the upper turning body 22 when the front of the upper turning body 22 coincides with the front of the lower traveling body 21 is set to 0 °.
  • the tilt angle sensor (posture detection device) 4 detects the posture of the attachment 30. As shown in FIG. 1, the tilt angle sensor 4 includes a boom tilt angle sensor 51, an arm tilt angle sensor 52, and a bucket tilt angle sensor 53.
  • the boom tilt angle sensor 51 is attached to the boom 31 and detects the posture of the boom 31.
  • the boom tilt angle sensor 51 is a sensor that acquires the tilt angle of the boom 31 with respect to the horizon, and is, for example, a tilt (acceleration) sensor or the like.
  • the boom tilt angle sensor 51 may be a rotation angle sensor that detects the rotation angle of the boom foot pin (boom base end) or a stroke sensor that detects the stroke amount of the boom cylinder 41.
  • the arm tilt angle sensor 52 is attached to the arm 32 and detects the posture of the arm 32.
  • the arm tilt angle sensor 52 is a sensor that acquires the tilt angle of the arm 32 with respect to the horizon, and is, for example, a tilt (acceleration) sensor or the like.
  • the arm tilt angle sensor 52 may be a rotation angle sensor that detects the rotation angle of the arm connecting pin (arm base end) or a stroke sensor that detects the stroke amount of the arm cylinder 42.
  • the bucket tilt angle sensor 53 is attached to the link member 34 and detects the posture of the bucket 33.
  • the bucket tilt angle sensor 53 is a sensor that acquires the tilt angle of the bucket 33 with respect to the horizon, and is, for example, a tilt (acceleration) sensor or the like.
  • the bucket tilt angle sensor 53 may be a rotation angle sensor that detects the rotation angle of the bucket connecting pin (bucket base end) or a stroke sensor that detects the stroke amount of the bucket cylinder 43.
  • FIG. 3 is a view of the work machine 20 from above.
  • the camera (imaging device) 5 is provided on the upper swing body 22.
  • the camera 5 images the surroundings of the upper swing body 22.
  • the camera 5 can rotate on a horizontal plane about a vertical axis at its mounting position.
  • the camera 5 may be oriented in any direction by rotating the camera 5.
  • the camera 5 may include a drive unit that rotates itself.
  • the drive unit is composed of, for example, an electric motor that can be controlled by the controller 7.
  • FIG. 3 a state in which the turning angle of the upper swinging body 22 with respect to the lower traveling body 21 is 90 ° is shown.
  • the camera 5 can take an image of the obstacle 50 on the right side of the upper swing body 22.
  • the display (display device) 6 is provided in the cab 23.
  • 4A and 4B are views showing a screen displayed by the display 6.
  • the display control unit 72 causes the display 6 to display the image captured by the camera 5.
  • the image displayed on the display 6 includes an obstacle 50.
  • the camera 5 captures an area that becomes a blind spot when viewed from the cab 23.
  • the camera 5 is arranged on the right side of the center of the upper swivel body 22 in the left-right direction of the upper swivel body 22, and images the right side of the upper swivel body 22.
  • the cab 23 is arranged on the left side of the center of the upper swivel body 22 in the left-right direction of the upper swivel body 22. Therefore, for the operator in the cab 23, the left side of the upper swivel body 22 is a visible area. Therefore, when the lower traveling body 21 travels to the left in the drawing in the state shown in FIG.
  • the operator in the cab 23 can use the upper rotating body 22. It is possible to visually determine whether or not the rear end portion comes into contact with an obstacle.
  • the right side of the upper swivel body 22 is a blind spot. Therefore, when the lower traveling body 21 travels to the right (in the direction of the arrow) in the figure in the state shown in FIG. 3, even if there is an obstacle on the right side of the upper rotating body 22, the operator in the cab 23 can move. It is not possible to visually determine whether or not the rear end portion of the upper swing body 22 comes into contact with an obstacle.
  • the expected passage range calculation unit 71 lowers the upper swivel body 22 in the imaging direction (arrow direction) of the camera 5 based on the swivel angle of the upper swivel body 22 detected by the angle sensor 3 and the posture of the attachment 30 detected by the tilt angle sensor 4.
  • the traveling body 21 travels, the range of the locus of the machine body 24 is calculated as the expected passage range.
  • the expected passage range calculation unit 71 sets the expected passage range in the three-dimensional coordinate system of the work machine 20 from, for example, the turning angle of the upper rotating body 22 and the posture of the attachment 30. Specifically, the expected passage range calculation unit 71 sets a plane perpendicular to the shooting direction (optical axis) of the camera 5 and passing through the center of the work machine 20 in the coordinate system. Next, the expected passage range calculation unit 71 projects the shape of the work machine 20 specified from the turning angle of the upper turning body 22 and the posture of the attachment 30 onto the plane.
  • the expected passage range calculation unit 71 sets an circumscribing rectangle on the work machine 20 projected onto the plane, and sets a rectangular parallelepiped region obtained by extending the circumscribing rectangle by a predetermined distance toward the shooting direction of the camera in the coordinate system. Set. This rectangular parallelepiped region is the expected passage range.
  • the display control unit 72 superimposes the range image 11 indicating the expected passage range calculated by the expected passage range calculation unit 71 on the image captured by the camera 5 and displays it on the display 6. .
  • the range image 11 shows lines a and b representing the width of the locus of the machine body 24, lines c and d representing the height of the locus of the machine body 24, and lines c and d of the machine body 24. It has a line image 12 including lines e, f, g, and h representing the depth of the locus. Further, the range image 11 has a contour image 13 showing the contour of the machine body 24.
  • the expected passage range is, for example, a range within a quadrangle surrounded by a line a, a line b, a line c, and a line d, a range above the lines f, c, and g, and a line e. , Line d, and the range below line h.
  • the quadrangle surrounded by the lines a to d is the circumscribed rectangle of the work machine 20.
  • the expected passage range calculation unit 71 further calculates the contour of the work machine 20 when the work machine 20 is viewed from the shooting direction of the camera 5 by using the turning angle of the upper turning body 22 and the posture of the attachment 30.
  • the display control unit 72 superimposes and displays the contour image 13 showing the contour of the work machine 20 calculated by the expected passage range calculation unit 71 on the image captured by the camera 5.
  • the line image 12 shown in FIG. 4A is a line image 12 when the posture of the attachment 30 is low.
  • the line image 12 shown in FIG. 4B is a line image 12 when the posture of the attachment 30 is high.
  • the posture of the attachment 30 is higher than in the case of FIG. 4A.
  • the lengths of the line a and the line b are longer than those in the case of FIG. 4A.
  • the turning radius of the work machine 20 is shortened as the posture of the attachment 30 is raised.
  • the lengths of the line c and the line d are shorter than those in the case of FIG. 4A.
  • the obstacle 50 is within the expected passage range. It is possible to let the operator who sees the display 6 grasp whether or not there is a display 6. Therefore, it is possible to make it easier for the operator to determine the contact between the upper rotating body 22 and the obstacle 50 when the lower traveling body 21 is driven.
  • the expected passage range is displayed on the display 6 as a line image 12, the area of the range image 11 superimposed on the image captured by the camera 5 can be minimized. Therefore, it is possible to make it easier for the operator to determine whether or not the image captured by the camera 5 includes the obstacle 50.
  • the upper swinging body 22 and the obstacle 50 when the lower traveling body 21 is driven are considered from the positional relationship between the contour image 13 and the obstacle 50. It is possible to make it easier for the operator to judge the contact with. Further, the posture of the machine body 24 can be objectively grasped by the operator from the contour of the machine body 24 shown by the contour image 13.
  • the display control unit 72 superimposes the range image 11 on the position in the image corresponding to the position separated from the machine main body 24 by a predetermined distance in the imaging direction of the camera 5.
  • the image captured by the camera 5 has a sense of depth, so that it is possible for the operator to easily determine the contact between the upper swinging body 22 and the obstacle 50 when the lower traveling body 21 is driven.
  • a distance larger than the amount of protrusion of the crawler 25 with respect to the upper rotating body 22 in the traveling direction of the lower traveling body 21 is set as a predetermined distance. The predetermined distance may be changed by the operator.
  • the display control unit 72 displays the range image 11 on the display 6 on condition that the lower traveling body 21 travels and the traveling direction of the lower traveling body 21 detected by the traveling direction detecting unit 76 is the imaging direction of the camera 5. Just let me do it. As a result, when the lower traveling body 21 is not traveling, or when the traveling direction of the lower traveling body 21 is not the imaging direction of the camera 5, the range image 11 is not superimposed and displayed on the display 6. In these cases, since the image captured by the camera 5 is not blocked by the range image 11, the image captured by the camera 5 can be easily seen.
  • the image direction control unit 73 makes the image captured by the camera 5 an image in which the traveling direction of the lower traveling body 21 detected by the traveling direction detecting unit 76 is the line of sight.
  • the image captured by the camera 5 is displayed on the display 6.
  • the image direction control unit 73 rotates the camera 5 so that the camera 5 faces the traveling direction of the lower traveling body 21.
  • the image displayed on the display 6 becomes an image in which the traveling direction of the lower traveling body 21 is the line of sight.
  • the image displayed on the display 6 is an image in which the traveling direction of the lower traveling body 21 is the line of sight. Therefore, it is possible for the operator who sees the display 6 to intuitively understand whether or not there is an obstacle 50 in the traveling direction of the lower traveling body 21.
  • the image direction control unit 73 corrects the image captured by the camera 5 without rotating the camera 5, so that the image displayed on the display 6 is made into an image in which the traveling direction of the lower traveling body 21 is the line of sight. You may. For example, the image direction control unit 73 sets a virtual screen in a direction orthogonal to the traveling direction of the lower traveling body 21, and projects an image captured by the camera 5 on the virtual screen to obtain an image captured by the camera 5. Should be corrected.
  • FIG. 3 shows a case where the lower traveling body 21 goes straight to the right in the figure.
  • whether or not the lower traveling body 21 is traveling is determined based on, for example, signals from the right traveling operation amount sensor and the left traveling operation amount sensor.
  • the operation amount of the traveling lever 2 is equal to or greater than the threshold value, it is determined that the lower traveling body 21 is traveling.
  • the operation amount threshold value is the operation amount at the boundary between when the crawler 25 does not travel and when it travels.
  • FIG. 5 is a view of the work machine 20 as viewed from above.
  • FIG. 6 is a diagram showing a screen displayed on the display 6 when the lower traveling body 21 travels on a curve as shown in FIG.
  • the display control unit 72 causes the display 6 to display a range image 11 that curves along the curve traveling trajectory of the lower traveling body 21.
  • the operator who sees the display 6 can grasp whether or not there is an obstacle 50 within the expected passage range.
  • the display control unit 72 determines the radius and turning direction (for example, right front or) of the curve traveling of the lower traveling body 21 from the difference between the operating amount of the traveling lever 2 on the right side and the operating amount of the traveling lever 2 on the left side. Right rear, etc.) is calculated. Then, the display control unit 72 curves the four lines e to h indicating the depth of the expected passage range according to the calculated radius of the orbit and the turning direction, and is surrounded by the four lines a to d.
  • the range image 11 may be curved by deforming the trapezoidal shape.
  • the display control unit 72 has a table in which the relationship between the radius and traveling direction of the track and the correction amount of the eight lines a to h is associated in advance.
  • the display control unit 72 specifies the correction amount of each of the eight lines a to h corresponding to the radius of the track and the traveling direction by referring to this table, and uses the specified correction amount to make eight lines. Lines a to h may be corrected.
  • the range indicating the expected passage range which is the range of the trajectory of the machine body 24 when the lower traveling body 21 travels in the image pickup direction of the camera 5.
  • the image 11 is superimposed on the image captured by the camera 5 and displayed on the display 6.
  • the operator who sees the display 6 can grasp whether or not the obstacle 50 is within the expected passage range. Therefore, it is possible to make it easier for the operator to determine the contact between the upper rotating body 22 and the obstacle 50 when the lower traveling body 21 is driven.
  • the range image 11 is superimposed and displayed on the display 6 on condition that the lower traveling body 21 travels and the direction is the imaging direction of the camera 5. Therefore, when the lower traveling body 21 is not traveling, or when the traveling direction of the lower traveling body 21 is not the imaging direction of the camera 5, the range image 11 is not superimposed and displayed on the display 6. In these cases, since the image captured by the camera 5 is not blocked by the range image 11, the image captured by the camera 5 can be easily seen.
  • the range image 11 is superimposed and displayed at a position in the image corresponding to a position separated from the machine main body 24 by a predetermined distance in the imaging direction of the camera 5.
  • the image captured by the camera 5 has a sense of depth, so that it is possible for the operator to easily determine the contact between the upper swinging body 22 and the obstacle 50 when the lower traveling body 21 is driven.
  • the display 6 displays a line image 12 in which the expected passage range indicates the width of the machine body 24, the height of the machine body 24, and the depth of the expected passage range.
  • the area of the range image 11 superimposed on the image captured by the camera 5 can be minimized. Therefore, it is possible to make it easier for the operator to determine whether or not the image captured by the camera 5 includes the obstacle 50.
  • the expected passage range is displayed on the display 6 as a contour image 13 showing the contour of the machine body 24.
  • the image is displayed on the display 6 so that the image captured by the camera 5 becomes an image with the traveling direction of the lower traveling body 21 as the line of sight.
  • the image displayed on the display 6 becomes an image in which the traveling direction of the lower traveling body 21 is the line of sight. Therefore, it is possible for the operator who sees the display 6 to intuitively understand whether or not there is an obstacle 50 in the traveling direction of the lower traveling body 21.
  • the range image 11 that curves along the curved traveling trajectory of the lower traveling body 21 is displayed on the display 6.
  • the operator who sees the display 6 can grasp whether or not there is an obstacle 50 within the expected passage range.
  • FIG. 7 is a view of the work machine 20 as viewed from above.
  • the ambient monitoring device 101 of the second embodiment has a plurality of cameras 5 having different imaging directions.
  • the camera 5a that images the right side of the upper swivel body 22 that is a blind spot when viewed from the cab 23 and the rear of the upper swivel body 22 that is a blind spot when viewed from the cab 23 are imaged. It has a camera 5b and.
  • the camera 5b is arranged at the rear end of the upper swing body 22.
  • FIG. 8 is a diagram showing a screen displayed on the display 6.
  • the display control unit 72 joins the images captured by each of the plurality of cameras 5 to generate one image, and displays the generated one image on the display 6.
  • the left half of FIG. 8 is an image captured by the camera 5a
  • the right half of FIG. 8 is an image captured by the camera 5b.
  • the obstacle information calculation unit 74 calculates the position and height of the obstacle 50 when the image captured by the camera 5 includes the obstacle 50. For example, the obstacle information calculation unit 74 detects an obstacle from an image captured by the camera 5 using an image recognition technique. The obstacle information calculation unit 74 calculates the position of the detected obstacle 50 on the image and the height on the image. Next, the obstacle information calculation unit 74 calculates the position and height of the obstacle in the three-dimensional coordinate system of the work machine 20 from the calculated position and height of the obstacle 50 on the image.
  • the determination unit 75 determines whether or not the obstacle 50 contacts the upper swing body 22 (including the attachment 30) based on the position and height of the obstacle 50 calculated by the obstacle information calculation unit 74. For example, in the coordinate system, if the position of the obstacle 50 is within the expected passage range and the height of the obstacle 50 in the coordinate system is equal to or greater than the threshold value, the determination unit 75 turns the obstacle 50 upward. It may be determined that the body 22 is in contact with the body 22.
  • the display control unit 72 emphasizes and displays the obstacle 50 determined by the determination unit 75 when it comes into contact with the upper swing body 22 on the display 6. Specifically, the display control unit 72 superimposes and displays the frame image 14 surrounding the obstacle 50 determined to come into contact with the upper swing body 22 on the display 6. As a result, the operator who sees the display 6 can intuitively understand that there is an obstacle 50 that comes into contact with the upper swing body 22.
  • the images captured by each of the cameras 5 are stitched together and displayed as one image on the display 6.
  • the positional relationship between the upper swing body 22 and the obstacle 50 can be grasped in a wide range by the operator who sees the display 6.
  • the present invention is not limited to this.
  • Whether or not the lower traveling body 21 is traveling may be determined by the state of the operator and the traveling lever 2 transitioning from the non-interacting state to the interacting state.
  • the non-interaction state is, for example, a state in which the operator is not holding or touching the traveling lever 2.
  • the interaction state is, for example, a state in which the operator is holding or touching the traveling lever 2.
  • whether or not the lower traveling body 21 is traveling may be determined based on whether or not the traveling lever 2 is operated by the operator in the dead zone.
  • the traveling lever 2 when a non-zero operation amount of the traveling lever 2 is detected, but the magnitude is less than the threshold value, whether or not the lower traveling body 21 is traveling is not in the state of the operator and the traveling lever 2. It may be determined whether or not the interaction state has changed to the interaction state, or whether or not the traveling lever 2 is operated by the operator in the dead zone. By doing so, it is highly probable that the operator intends to operate the lower traveling body 21, but the range image 11 is added to the image captured by the camera 5 at the initial stage of operation in which the lower traveling body 21 has not yet started to operate. Can be superimposed and displayed on the display 6. This makes it easier for the operator to determine the contact between the upper swing body 22 and the obstacle 50.
  • the peripheral monitoring device is a work machine that monitors the surroundings of a work machine having a machine body including a lower traveling body and an upper rotating body provided so as to be swivel on the upper part of the lower traveling body.
  • the upper swivel body includes a work device that can rotate in the vertical direction with respect to the main body of the upper swivel body and a driver's cab, and the upper swivel body with respect to the lower traveling body.
  • a swivel angle detection device that detects the swivel angle of the upper swivel body, an attitude detection device that detects the posture of the work device, an imaging device provided on the upper swivel body that captures the surroundings of the upper swivel body, and the above.
  • a display device provided in the driver's cab, a display control unit that displays an image captured by the imaging device on the display device, a turning angle of the upper swivel body detected by the turning angle detecting device, and the posture detecting device.
  • the passage prediction range calculation unit Based on the posture of the working device detected by, the passage prediction range calculation unit that calculates the range of the trajectory of the machine body when the lower traveling body travels in the imaging direction of the imaging device as the passage prediction range.
  • the display control unit superimposes a range image indicating the expected passage range calculated by the expected passage range calculation unit on the image captured by the imaging device and displays it on the display device.
  • a range image showing a expected passage range which is the range of the trajectory of the machine body when the lower traveling body travels in the imaging direction of the imaging device, is superimposed on the image captured by the imaging device and displayed on the display device.
  • the image captured by the image pickup device contains an obstacle
  • the operator who sees the display device can grasp whether or not there is an obstacle within the expected passage range. Therefore, it is possible to make it easier for the operator to determine the contact between the upper rotating body and the obstacle when the lower traveling body is traveled.
  • the peripheral monitoring device further includes a traveling direction detecting device that detects the traveling direction of the lower traveling body, and the display control unit includes the lower traveling body that the lower traveling body travels and the lower traveling that is detected by the traveling direction detecting device. It is preferable to display the range image on the display device on condition that the traveling direction of the body is the imaging direction of the image pickup device.
  • the range image is not superimposed and displayed on the display device. In these cases, the image captured by the imaging device is not blocked by the range image, so that the image captured by the imaging device can be easily seen.
  • the traveling direction detecting device for detecting the traveling direction of the lower traveling body and the image captured by the imaging device when the lower traveling body travels are detected by the traveling direction detecting device. It is preferable to further include an image direction control unit that displays an image captured by the image pickup device on the display device so that the image is an image in which the traveling direction of the lower traveling body is the line of sight.
  • the image displayed on the display device is an image in which the traveling direction of the lower traveling body is the line of sight. Therefore, it is possible for the operator who sees the display device to intuitively understand whether or not there is an obstacle in the traveling direction of the lower traveling body.
  • the display control unit may superimpose the range image on a position in the image corresponding to a position separated from the machine body by a predetermined distance in the imaging direction of the imaging device. preferable.
  • the image captured by the imaging device since the image captured by the imaging device has a sense of depth, it is possible for the operator to easily determine the contact between the upper swinging body and the obstacle when the lower traveling body is driven.
  • the range image includes a line representing the width of the locus of the machine body, a line representing the height of the locus of the machine body, and a line representing the depth of the locus of the machine body. It is preferable to include a line image including.
  • the area of the range image superimposed on the image captured by the imaging device can be minimized. Therefore, it is possible to make it easier for the operator to determine whether or not the image captured by the imaging device contains an obstacle.
  • the range image preferably includes a contour image showing the contour of the machine body.
  • the display control unit when the lower traveling body travels in a curve, the display control unit preferably bends the range image along the curve traveling trajectory of the lower traveling body.
  • the obstacle information calculation unit that calculates the position and height of the obstacle and the obstacle information calculation unit that calculates the obstacle information.
  • the display control unit has a determination unit for determining whether or not the obstacle contacts the upper swivel body based on the position and height of the obstacle, and when the display control unit contacts the upper swivel body. It is preferable that the obstacle determined by the determination unit is highlighted and displayed on the display device.
  • the operator who sees the display device can intuitively understand that there is an obstacle in contact with the upper swing body.
  • the imaging device has a plurality of imaging units having different imaging directions, and the display control unit connects the images captured by each of the imaging units to generate one image. It is preferable to display the generated image on the display device.
  • the positional relationship between the upper swing body and the obstacle can be grasped in a wide range by the operator who sees the display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

周辺監視装置は、上部旋回体の旋回角度と、アタッチメントの姿勢とに基づいて、カメラの撮像方向に下部走行体が走行した場合の機械本体の軌跡の範囲を示す通過予想範囲を算出し、算出した通過予想範囲を示す範囲画像を、カメラが撮像した画像に重畳させてディスプレイに表示させる。

Description

作業機械の周囲監視装置
　本発明は、作業機械の周囲を監視する作業機械の周囲監視装置に関する。
　特許文献１には、監視カメラによって撮影した画像をモニターに表示するとともに、上部旋回体の旋回動作領域を明示する円弧状の境界線をモニター画面に合成表示するモニター装置が開示されている。
　しかしながら、特許文献１のモニター装置は、上部旋回体の旋回時における上部旋回体と障害物との接触を判断できるが、下部走行体の走行時における上部旋回体と障害物との接触を判断できない。
　例えば、下部走行体を走行させたときに、アタッチメントの姿勢によっては、上部旋回体の前方及び上方にある障害物とアタッチメントとが接触する可能性がある。また、上部旋回体が旋回した状態で、下部走行体が走行した場合、上部旋回体の後端部であるカウンタウエイトの側面が運転室から死角となり、カウンタウエイトと障害物とが接触する可能性がある。
特開２０１１－１２５２２号公報
　本発明の目的は、下部走行体を走行させた際の上部旋回体と障害物との接触を作業者に判断させやすくすることが可能な作業機械の周囲監視装置を提供することである。
　本発明は、下部走行体と、前記下部走行体の上部に旋回可能に設けられた上部旋回体とを備えた機械本体を有する作業機械の周囲を監視する、作業機械の周囲監視装置であって、前記上部旋回体は、前記上部旋回体の本体に対して上下方向に回動可能な作業装置と、運転室と、を有しており、前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出装置と、前記作業装置の姿勢を検出する姿勢検出装置と、前記上部旋回体に設けられ、前記上部旋回体の周囲を撮像する撮像装置と、前記運転室内に設けられた表示装置と、前記撮像装置が撮像した画像を前記表示装置に表示させる表示制御部と、前記旋回角度検出装置が検出した前記上部旋回体の旋回角度と、前記姿勢検出装置が検出した前記作業装置の姿勢とに基づいて、前記撮像装置の撮像方向に前記下部走行体が走行した場合の前記機械本体の軌跡の範囲を通過予想範囲として算出する通過予想範囲算出部と、を備え、前記表示制御部は、前記通過予想範囲算出部が算出した前記通過予想範囲を示す範囲画像を、前記撮像装置が撮像した画像に重畳させて前記表示装置に表示させる。
　本発明によると、撮像装置の撮像方向に下部走行体が走行した場合の機械本体の軌跡の範囲である通過予想範囲を示す範囲画像が、撮像装置が撮像した画像に重畳されて表示装置に表示される。これにより、撮像装置が撮像した画像に障害物が含まれる場合に、通過予想範囲内に障害物があるか否かを、表示装置を見た作業者に把握させることができる。よって、下部走行体を走行させた際の上部旋回体と障害物との接触を作業者に判断させやすくすることができる。
作業機械の側面図である。 周囲監視装置の回路図である。 第１実施形態において、直進する作業機械を上方から見た図である。 第１実施形態において、直進する作業機械におけるディスプレイの画面を示す図であり、アタッチメントの姿勢が低い場合の図である。 第１実施形態において、直進する作業機械におけるディスプレイの画面を示す図であり、アタッチメントの姿勢が高い場合の図である。 第１実施形態において、カーブ走行する作業機械を上方から見た図である。 第１実施形態において、カーブ走行する作業機械におけるディスプレイの画面を示す図である。 第２実施形態における作業機械を上方から見た図である。 第２実施形態におけるディスプレイの画面を示す図である。
　以下添付図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
　以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。
［第１実施形態］
（作業機械の構成）
　本発明の第１実施形態による作業機械の周囲監視装置（周囲監視装置）は、作業機械の周囲を監視するものである。
　図１は、作業機械２０の側面図である。図１に示すように、作業機械２０は、アタッチメント３０で作業を行う機械であり、例えば油圧ショベルである。作業機械２０は、下部走行体２１と上部旋回体２２とを備えた機械本体２４と、アタッチメント（作業装置）３０と、シリンダ４０と、を有している。
　下部走行体２１は、作業機械２０を走行させる装置であり、一対のクローラ２５を備える。上部旋回体２２は、下部走行体２１の上部に旋回装置を介して旋回可能に取り付けられる。上部旋回体２２の前部には、キャブ（運転室）２３が設けられている。キャブ２３は、上部旋回体２２の左右方向において、上部旋回体２２の中央よりも左側に配置されている。上部旋回体２２の後端部には、カウンタウエイト２６が設けられている。上部旋回体２２の後端は、カウンタウエイト２６の後端である。
　アタッチメント３０は、上部旋回体２２の本体に対して上下方向に回動可能に上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、上部旋回体２２に回動可能（起伏可能）に取り付けられる。アーム３２は、ブーム３１に回動可能に取り付けられる。バケット３３は、アーム３２に回動可能に取り付けられる。バケット３３は、作業対象（土砂など）の、掘削、ならし、すくい、などの作業を行う装置である。
　シリンダ４０は、アタッチメント３０を回動させることが可能である。シリンダ４０は、油圧式の伸縮シリンダである。シリンダ４０は、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を備える。
　ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回転駆動させる。ブームシリンダ４１の基端部は、上部旋回体２２に回動可能に取り付けられる。ブームシリンダ４１の先端部は、ブーム３１に回動可能に取り付けられる。
　アームシリンダ４２は、ブーム３１に対してアーム３２を回転駆動させる。アームシリンダ４２の基端部は、ブーム３１に回動可能に取り付けられる。アームシリンダ４２の先端部は、アーム３２に回動可能に取り付けられる。
　バケットシリンダ４３は、アーム３２に対してバケット３３を回転駆動させる。バケットシリンダ４３の基端部は、アーム３２に回動可能に取り付けられる。バケットシリンダ４３の先端部は、バケット３３に回動可能に取り付けられたリンク部材に、回動可能に取り付けられる。
（周囲監視装置の構成）
　図２は、周囲監視装置１の回路図である。図２に示すように、周囲監視装置１は、走行レバー２と、角度センサ３と、傾斜角センサ４と、カメラ５と、ディスプレイ６と、コントローラ７とを有している。コントローラ７は、ＣＰＵ、メモリ等を含むコンピュータで構成されている。コントローラ７は、通過予想範囲算出部７１、表示制御部７２、画像方向制御部７３、障害物情報算出部７４、判定部７５、及び進行方向検出部７６を含む。これらのブロックは、例えばコンピュータが所定のプログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。
　走行レバー２は、キャブ２３内に設けられている。走行レバー２は、左側の走行レバー２と右側の走行レバー２とを含む。左側の走行レバー２と右側の走行レバー２とは、作業機械２０を操縦する作業者が着座するシートの前方において横並びに配置されている。右側の走行レバー２は、右側のクローラ２５に対応し、左側の走行レバー２は、左側のクローラ２５に対応している。走行レバー２は、作業者により操作される。本実施形態では、下部走行体２１を前進させる際に、左側及び右側の走行レバー２の各々が前側に傾動され、下部走行体２１を後進させる際に、左側及び右側の走行レバー２の各々が後側に傾動される。左側及び右側の走行レバー２のうち一方の走行レバー２の傾動量が他方の走行レバー２よりも大きい場合には、下部走行体２１はカーブ走行する。なお、走行レバー２は走行ペダルを兼ねていてもよい。
　進行方向検出部７６は、走行レバー２の傾動量に基づいて、下部走行体２１の進行方向を検出する。具体的には、右側の走行レバー２は、右走行操作量センサを備えている。右走行操作量センサは、右側の走行レバー２の操作方向を含む操作量（傾動量）を検出する。同様に、左側の走行レバー２は、左走行操作量センサを備えている。左走行操作量センサは、左側の走行レバー２の操作方向を含む操作量（傾動量）を検出する。右走行操作量センサおよび左走行操作量センサは、角度センサ又は圧力センサにより構成され、操作量に応じた信号をコントローラ７に出力する。進行方向検出部７６は、左走行操作量センサで検出された左側の走行レバー２の操作量と、右走行操作量センサで検出された右側の走行レバー２の操作量から下部走行体２１の進行方向を検出する。進行方向検出部７６、左走行操作量センサ、及び右走行操作量センサは進行方向検出装置の一例である。
　角度センサ（旋回角度検出装置）３は、下部走行体２１に対する上部旋回体２２の旋回角度を検出する。角度センサ３は、例えば、エンコーダ、レゾルバ、又は、ジャイロセンサである。本実施形態では、上部旋回体２２の前方が下部走行体２１の前方と一致するときの上部旋回体２２の旋回角度を０°としている。
　傾斜角センサ（姿勢検出装置）４は、アタッチメント３０の姿勢を検出する。図１にも示すように、傾斜角センサ４は、ブーム傾斜角センサ５１と、アーム傾斜角センサ５２と、バケット傾斜角センサ５３と、を備える。
　ブーム傾斜角センサ５１は、ブーム３１に取り付けられ、ブーム３１の姿勢を検出する。ブーム傾斜角センサ５１は、水平線に対するブーム３１の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、ブーム傾斜角センサ５１は、ブームフットピン（ブーム基端）の回転角度を検出する回転角度センサ、又はブームシリンダ４１のストローク量を検出するストロークセンサであってもよい。
　アーム傾斜角センサ５２は、アーム３２に取り付けられ、アーム３２の姿勢を検出する。アーム傾斜角センサ５２は、水平線に対するアーム３２の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、アーム傾斜角センサ５２は、アーム連結ピン（アーム基端）の回転角度を検出する回転角度センサ、又はアームシリンダ４２のストローク量を検出するストロークセンサであってもよい。
　バケット傾斜角センサ５３は、リンク部材３４に取り付けられ、バケット３３の姿勢を検出する。バケット傾斜角センサ５３は、水平線に対するバケット３３の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、バケット傾斜角センサ５３は、バケット連結ピン（バケット基端）の回転角度を検出する回転角度センサ、又はバケットシリンダ４３のストローク量を検出するストロークセンサであってもよい。
　図３は、作業機械２０を上方から見た図である。図３に示すように、カメラ（撮像装置）５は、上部旋回体２２に設けられている。カメラ５は、上部旋回体２２の周囲を撮像する。カメラ５は、その取付位置において鉛直軸心を中心に水平面上に回転可能である。なお、カメラ５を回転させることで、任意の方向にカメラ５を向かせることができる構成であってもよい。また、カメラ５は、自身を回転させる駆動部を備えていてもよい。駆動部は、例えば、コントローラ７で制御可能な電動モータにより構成される。図３においては、下部走行体２１に対する上部旋回体２２の旋回角度が９０°の状態が図示されている。カメラ５は、上部旋回体２２の右方にある障害物５０を撮像可能である。
　ディスプレイ（表示装置）６は、キャブ２３内に設けられている。図４Ａ及び図４Ｂは、ディスプレイ６が表示する画面を示す図である。図４Ａ、図４Ｂに示すように、表示制御部７２は、カメラ５が撮像した画像をディスプレイ６に表示させる。図４Ａ及び図４Ｂの例では、ディスプレイ６に表示される画像には、障害物５０が含まれている。
　図３に示すように、カメラ５は、キャブ２３から見て死角となる領域を撮像する。具体的には、カメラ５は、上部旋回体２２の左右方向において、上部旋回体２２の中央よりも右側に配置されており、上部旋回体２２の右方を撮像する。上述したように、キャブ２３は、上部旋回体２２の左右方向において、上部旋回体２２の中央よりも左側に配置されている。よって、キャブ２３内の作業者にとって、上部旋回体２２の左方は、視認可能な領域である。そのため、図３に示す状態で下部走行体２１が図中左方に走行する場合に、上部旋回体２２の左方に障害物があっても、キャブ２３内の作業者は、上部旋回体２２の後端部が障害物に接触するか否かを目視で判断することができる。一方、キャブ２３内の作業者にとって、上部旋回体２２の右方は、死角となる領域である。そのため、図３に示す状態で下部走行体２１が図中右方（矢印方向）に走行する場合に、上部旋回体２２の右方に障害物があっても、キャブ２３内の作業者は、上部旋回体２２の後端部が障害物に接触するか否かを目視で判断することができない。
　通過予想範囲算出部７１は、角度センサ３が検出した上部旋回体２２の旋回角度と、傾斜角センサ４が検出したアタッチメント３０の姿勢とに基づいて、カメラ５の撮像方向（矢印方向）に下部走行体２１が走行した場合に機械本体２４の軌跡の範囲を通過予想範囲として算出する。
　通過予想範囲算出部７１は、例えば、上部旋回体２２の旋回角度とアタッチメント３０の姿勢とから作業機械２０の３次元の座標系に通過予想範囲を設定する。具体的には、通過予想範囲算出部７１は、カメラ５の撮影方向（光軸）と直行し、且つ作業機械２０の中心を通る平面を前記座標系に設定する。次に、通過予想範囲算出部７１は、上部旋回体２２の旋回角度とアタッチメント３０の姿勢とから特定される作業機械２０の形状を前記平面に投影する。次に、通過予想範囲算出部７１は、前記平面に投影した作業機械２０に外接矩形を設定し、その外接矩形をカメラの撮影方向に向けて所定距離伸ばした直方体状の領域を前記座標系に設定する。この直方体状の領域が通過予想範囲となる。
　図４Ａ、図４Ｂに示すように、表示制御部７２は、通過予想範囲算出部７１が算出した通過予想範囲を示す範囲画像１１を、カメラ５が撮像した画像に重畳させてディスプレイ６に表示させる。図４Ａ、図４Ｂに示すように、範囲画像１１は、機械本体２４の軌跡の幅を表す線ａ，ｂ、機械本体２４の軌跡の高さを表す線ｃ，ｄ、および、機械本体２４の軌跡の奥行きを表す線ｅ，ｆ，ｇ，ｈを含む線画像１２を有している。また、範囲画像１１は、機械本体２４の輪郭を示す輪郭画像１３を有している。
　図４Ａにおいて、通過予想範囲は、例えば、線ａ、線ｂ、線ｃ、及び線ｄにより取り囲まれる四角形内の範囲と、線ｆ、線ｃ、及び線ｇよりも上側の範囲と、線ｅ、線ｄ、及び線ｈよりも下側の範囲とが該当する。線ａ～ｄで取り囲まれる四角形は作業機械２０の外接矩形である。
　通過予想範囲算出部７１は、上部旋回体２２の旋回角度と、アタッチメント３０の姿勢とを用いて、カメラ５の撮影方向から作業機械２０を見た場合の作業機械２０の輪郭をさらに算出する。
　表示制御部７２は、通過予想範囲算出部７１が算出した作業機械２０の輪郭を示す輪郭画像１３をカメラ５が撮像した画像に重畳表示する。
　ここで、図４Ａに示す線画像１２は、アタッチメント３０の姿勢が低い場合の線画像１２である。一方、図４Ｂに示す線画像１２は、アタッチメント３０の姿勢が高い場合の線画像１２である。図４Ｂでは、アタッチメント３０の姿勢が図４Ａの場合に比べて高くなっている。これに伴い、図４Ｂでは、線ａ及び線ｂの長さが図４Ａの場合に比べて長くなっている。また、図４Ｂでは、アタッチメント３０の姿勢が高くなったことに伴い作業機械２０の旋回半径が短くなっている。これに伴い、図４Ｂでは、線ｃ及び線ｄの長さが図４Ａの場合に比べて短くなっている。
　このように、カメラ５が撮像した画像に範囲画像１１を重畳させてディスプレイ６に表示させることにより、カメラ５が撮像した画像に障害物５０が含まれる場合に、通過予想範囲内に障害物５０があるか否かを、ディスプレイ６を見た作業者に把握させることができる。よって、下部走行体２１を走行させた際の上部旋回体２２と障害物５０との接触を作業者に判断させやすくすることができる。
　また、通過予想範囲が、線画像１２としてディスプレイ６に表示されるので、カメラ５が撮像した画像に重畳される範囲画像１１の面積を最小限に抑えることができる。よって、カメラ５が撮像した画像に障害物５０が含まれるか否かを作業者に判断させやすくすることができる。
　また、通過予想範囲が、輪郭画像１３としてディスプレイ６に表示されるので、輪郭画像１３と障害物５０との位置関係から、下部走行体２１を走行させた際の上部旋回体２２と障害物５０との接触を作業者により判断させやすくすることができる。また、輪郭画像１３が示す機械本体２４の輪郭から、機械本体２４の姿勢を作業者に客観的に把握させることができる。
　また、表示制御部７２は、カメラ５の撮像方向に機械本体２４から所定距離だけ離れた位置に対応する画像中の位置に、範囲画像１１を重畳させて表示させる。これにより、カメラ５が撮像した画像に奥行き感が生じるので、下部走行体２１を走行させた際の上部旋回体２２と障害物５０との接触を作業者により判断させやすくすることができる。上部旋回体２２に対してクローラ２５が下部走行体２１の進行方向に突出する突出量よりも大きな距離が、所定距離として設定される。所定距離は、作業者により変更可能であってもよい。
　表示制御部７２は、下部走行体２１が走行し、進行方向検出部７６が検出した下部走行体２１の進行方向がカメラ５の撮像方向であることを条件に、範囲画像１１をディスプレイ６に表示させればよい。これにより、下部走行体２１が走行していない場合、又は下部走行体２１の進行方向がカメラ５の撮像方向でない場合には、範囲画像１１がディスプレイ６に重畳表示されない。これらの場合、カメラ５が撮像した画像が範囲画像１１で遮られないので、カメラ５が撮像した画像を見やすくすることができる。
　また、画像方向制御部７３は、下部走行体２１が走行する場合、カメラ５により撮像された画像が、進行方向検出部７６が検出した下部走行体２１の進行方向を視線とする画像になるようにカメラ５が撮像した画像をディスプレイ６に表示させる。具体的には、画像方向制御部７３は、カメラ５が下部走行体２１の進行方向を向くように、カメラ５を回転させる。これにより、ディスプレイ６に表示される画像は、下部走行体２１の進行方向を視線とする画像になる。その結果、上部旋回体２２がどのように旋回しようとも、ディスプレイ６に表示される画像は下部走行体２１の進行方向を視線とする画像になる。よって、下部走行体２１の進行方向に障害物５０があるか否かを、ディスプレイ６を見た作業者に直感的に理解させることができる。
　なお、カメラ５を回転させずに、カメラ５が撮像した画像を画像方向制御部７３が補正することで、ディスプレイ６に表示される画像を、下部走行体２１の進行方向を視線とする画像にしてもよい。例えば、画像方向制御部７３は、下部走行体２１の進行方向と直行する方向に仮想スクリーンを設定し、その仮想スクリーン上にカメラ５が撮像した画像を投影することにより、カメラ５が撮像した画像を補正すればよい。
　なお、図３では、下部走行体２１が図中右方に直進する場合を図示している。ここで、下部走行体２１が走行しているか否かは、例えば、右走行操作量センサおよび左走行操作量センサからの信号に基づいて判定される。走行レバー２の操作量が閾値以上である場合に、下部走行体２１が走行していると判定される。走行レバー２の操作量には、所謂あそびがあり、あそびの範囲内で走行レバー２を傾動させても、クローラ２５は走行しない。操作量の閾値とは、クローラ２５が走行しないときと走行するときとの境目の操作量である。
　図５は、作業機械２０を上方から見た図である。図６は、図５に示すように、下部走行体２１がカーブ走行する場合にディスプレイ６に表示される画面を示す図である。図６に示すように、表示制御部７２は、下部走行体２１のカーブ走行の軌道に沿って湾曲する範囲画像１１をディスプレイ６に表示させる。これにより、下部走行体２１がカーブ走行する場合においても、通過予想範囲内に障害物５０があるか否かを、ディスプレイ６を見た作業者に把握させることができる。
　例えば、表示制御部７２は、右側の走行レバー２の操作量と、左側の走行レバー２の操作量との差分から下部走行体２１のカーブ走行の軌道の半径及び旋回方向（例えば、右前方又は右後方等）を算出する。そして、表示制御部７２は、算出した軌道の半径と旋回方向とに応じて通過予想範囲の奥行を示す４本の線ｅ～ｈを湾曲させ、且つ４本の線ａ～ｄにより取り囲まれる四角形を台形状に変形させることで、範囲画像１１を湾曲させればよい。例えば、表示制御部７２は、軌道の半径及び走行方向と８本の線ａ～ｈの補正量との関係が予め対応付けられたテーブルを有している。そして、表示制御部７２は、このテーブルを参照することで、軌道の半径及び走行方向に対応する８本の線ａ～ｈのそれぞれの補正量を特定し、特定した補正量を用いて８本の線ａ～ｈを補正すればよい。
（効果）
　以上に述べたように、本実施形態に係る周囲監視装置１によれば、カメラ５の撮像方向に下部走行体２１が走行した場合の機械本体２４の軌跡の範囲である通過予想範囲を示す範囲画像１１が、カメラ５が撮像した画像に重畳されてディスプレイ６に表示される。これにより、カメラ５が撮像した画像に障害物５０が含まれる場合に、通過予想範囲内に障害物５０があるか否かを、ディスプレイ６を見た作業者に把握させることができる。よって、下部走行体２１を走行させた際の上部旋回体２２と障害物５０との接触を作業者に判断させやすくすることができる。
　また、下部走行体２１が走行し、その方向がカメラ５の撮像方向であることを条件に、範囲画像１１がディスプレイ６に重畳表示される。よって、下部走行体２１が走行していない場合、又は下部走行体２１の進行方向がカメラ５の撮像方向でない場合には、範囲画像１１がディスプレイ６に重畳表示されない。これらの場合、カメラ５が撮像した画像が範囲画像１１で遮られないので、カメラ５が撮像した画像を見やすくすることができる。
　また、カメラ５の撮像方向に機械本体２４から所定距離だけ離れた位置に対応する画像中の位置に、範囲画像１１が重畳されて表示される。これにより、カメラ５が撮像した画像に奥行き感が生じるので、下部走行体２１を走行させた際の上部旋回体２２と障害物５０との接触を作業者により判断させやすくすることができる。
　また、通過予想範囲が、機械本体２４の幅を表す線、機械本体２４の高さを表す線、および、通過予想範囲の奥行きを表す線を示す線画像１２がディスプレイ６に表示される。これにより、カメラ５が撮像した画像に重畳される範囲画像１１の面積を最小限に抑えることができる。よって、カメラ５が撮像した画像に障害物５０が含まれるか否かを作業者に判断させやすくすることができる。
　また、通過予想範囲が、機械本体２４の輪郭を示す輪郭画像１３としてディスプレイ６に表示される。これにより、輪郭画像１３と障害物５０との位置関係から、下部走行体２１を走行させた際の上部旋回体２２と障害物５０との接触を作業者により判断させやすくすることができる。また、輪郭画像１３が示す機械本体２４の輪郭から、機械本体２４の姿勢を作業者に客観的に把握させることができる。
　また、下部走行体２１が走行する場合に、カメラ５により撮像された画像が下部走行体２１の進行方向を視線とする画像となるように、前記画像がディスプレイ６に表示される。これにより、上部旋回体２２がどのように旋回しようとも、ディスプレイ６に表示される画像は下部走行体２１の進行方向を視線とする画像になる。よって、下部走行体２１の進行方向に障害物５０があるか否かを、ディスプレイ６を見た作業者に直感的に理解させることができる。
　また、下部走行体２１がカーブ走行する場合に、下部走行体２１のカーブ走行の軌道に沿って湾曲する範囲画像１１がディスプレイ６に表示される。これにより、下部走行体２１がカーブ走行する場合においても、通過予想範囲内に障害物５０があるか否かを、ディスプレイ６を見た作業者に把握させることができる。
［第２実施形態］
　次に、第２実施形態の周囲監視装置について、図面を参照しつつ説明する。なお、第１実施形態と共通する構成およびそれにより奏される効果については説明を省略し、主に、第１実施形態と異なる点について説明する。なお、第１実施形態と同じ部材については、第１実施形態と同じ符号を付している。
　（周囲監視装置の構成）
　図７は、作業機械２０を上方から見た図である。第２実施形態の周囲監視装置１０１は、図７に示すように、撮像方向が互いに異なる複数のカメラ５を有している。本実施形態では、キャブ２３から見て死角となる領域である上部旋回体２２の右方を撮像するカメラ５ａと、キャブ２３から見て死角となる領域である上部旋回体２２の後方を撮像するカメラ５ｂと、を有している。カメラ５ｂは、上部旋回体２２の後端部に配置されている。
　図８は、ディスプレイ６に表示される画面を示す図である。図８に示すように、表示制御部７２は、複数のカメラ５の各々が撮像した画像を繋ぎ合わせて１つの画像を生成し、生成した１つの画像をディスプレイ６に表示させる。図８の左半分が、カメラ５ａが撮像した画像であり、図８の右半分が、カメラ５ｂが撮像した画像である。これにより、上部旋回体２２の後端部と障害物５０との位置関係を、ディスプレイ６を見た作業者により広い範囲で把握させることができる。
　障害物情報算出部７４は、カメラ５が撮像した画像に障害物５０が含まれる場合に、障害物５０の位置および高さを算出する。例えば、障害物情報算出部７４は、画像認識技術を用いてカメラ５が撮像した画像から障害物を検出する。障害物情報算出部７４は、検出した障害物５０の画像上での位置及び画像上での高さを算出する。次に、障害物情報算出部７４は、算出した障害物５０の画像上での位置及び高さから作業機械２０の３次元の座標系における障害物の位置及び高さを算出する。
　判定部７５は、障害物情報算出部７４が算出した障害物５０の位置および高さに基づいて、障害物５０が上部旋回体２２（アタッチメント３０を含む）に接触するか否かを判定する。例えば、判定部７５は、前記座標系において、障害物５０の位置が通過予想範囲内に位置し、且つ障害物５０の前記座標系における高さが閾値以上であれば、障害物５０が上部旋回体２２と接触すると判定すればよい。
　図８に示すように、表示制御部７２は、上部旋回体２２に接触すると判定部７５が判定した障害物５０をディスプレイ６に強調して表示させる。具体的には、表示制御部７２は、上部旋回体２２に接触すると判定された障害物５０を囲う枠画像１４をディスプレイ６に重畳表示させる。これにより、上部旋回体２２に接触する障害物５０があることを、ディスプレイ６を見た作業者に直感的に理解させることができる。
（効果）
　以上に述べたように、本実施形態に係る周囲監視装置１０１によれば、上部旋回体２２に接触すると判定された障害物５０がディスプレイ６に強調して表示される。これにより、上部旋回体２２に接触する障害物５０があることを、ディスプレイ６を見た作業者に直感的に理解させることができる。
　また、カメラ５の各々が撮像した画像が繋ぎ合わされて１つの画像としてディスプレイ６に表示される。これにより、上部旋回体２２と障害物５０との位置関係を、ディスプレイ６を見た作業者により広い範囲で把握させることができる。
　以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。
　例えば、上記実施形態では、走行レバー２の操作量が閾値以上である場合に、下部走行体２１が走行していると判定されているが、本発明はこれに限定されない。下部走行体２１が走行しているか否かは、作業者と走行レバー２との状態が、非相互作用状態から相互作用状態に遷移したことで判定されてもよい。ここで、非相互作用状態とは、例えば、作業者が走行レバー２に握っていない状態、または、触れていない状態である。また、相互作用状態とは、例えば、作業者が走行レバー２を握っている状態、または、触れている状態である。また、下部走行体２１が走行しているか否かは、作業者により走行レバー２が不感帯において操作されているか否かに基づいて判定されてもよい。
　また、走行レバー２の０ではない操作量が検知されたものの、その大きさが閾値未満である場合、下部走行体２１が走行しているか否かは、作業者と走行レバー２と状態が非相互作用状態から相互作用状態に遷移したか否か、または、作業者により走行レバー２が不感帯において操作されているか否かで判定されてもよい。こうすることで、作業者が下部走行体２１を動作させる意思がある蓋然性が高い一方で下部走行体２１がまだ動作を開始していない操作初期段階で、カメラ５が撮像した画像に範囲画像１１を重畳してディスプレイ６に表示することができる。これにより、上部旋回体２２と障害物５０との接触を作業者に判断させやすくすることができる。
　（実施の形態のまとめ）
　本実施の形態は以下のように纏められる。
　本実施の形態に係る周辺監視装置は、下部走行体と、前記下部走行体の上部に旋回可能に設けられた上部旋回体とを備えた機械本体を有する作業機械の周囲を監視する、作業機械の周囲監視装置であって、前記上部旋回体は、前記上部旋回体の本体に対して上下方向に回動可能な作業装置と、運転室と、を有しており、前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出装置と、前記作業装置の姿勢を検出する姿勢検出装置と、前記上部旋回体に設けられ、前記上部旋回体の周囲を撮像する撮像装置と、前記運転室内に設けられた表示装置と、前記撮像装置が撮像した画像を前記表示装置に表示させる表示制御部と、前記旋回角度検出装置が検出した前記上部旋回体の旋回角度と、前記姿勢検出装置が検出した前記作業装置の姿勢とに基づいて、前記撮像装置の撮像方向に前記下部走行体が走行した場合の前記機械本体の軌跡の範囲を通過予想範囲として算出する通過予想範囲算出部と、を備え、前記表示制御部は、前記通過予想範囲算出部が算出した前記通過予想範囲を示す範囲画像を、前記撮像装置が撮像した画像に重畳させて前記表示装置に表示させる。
　本構成によると、撮像装置の撮像方向に下部走行体が走行した場合の機械本体の軌跡の範囲である通過予想範囲を示す範囲画像が、撮像装置が撮像した画像に重畳されて表示装置に表示される。これにより、撮像装置が撮像した画像に障害物が含まれる場合に、通過予想範囲内に障害物があるか否かを、表示装置を見た作業者に把握させることができる。よって、下部走行体を走行させた際の上部旋回体と障害物との接触を作業者に判断させやすくすることができる。
　上記周辺監視装置において、前記下部走行体の進行方向を検出する進行方向検出装置をさらに有し、前記表示制御部は、前記下部走行体が走行し、前記進行方向検出装置が検出した前記下部走行体の進行方向が前記撮像装置の撮像方向であることを条件に、前記範囲画像を前記表示装置に表示させることが好ましい。
　本構成によれば、下部走行体が走行していない場合、又は下部走行体の進行方向が撮像装置の撮像方向でない場合には、範囲画像が表示装置に重畳表示されない。これらの場合、撮像装置が撮像した画像が範囲画像で遮られないので、撮像装置が撮像した画像を見やすくすることができる。
　上記周辺監視装置において、前記下部走行体の進行方向を検出する進行方向検出装置と、前記下部走行体が走行する場合、前記撮像装置により撮像された画像が、前記進行方向検出装置が検出した前記下部走行体の進行方向を視線とする画像になるように前記撮像装置により撮像された画像を前記表示装置に表示させる画像方向制御部とをさらに有することが好ましい。
　本構成によれば、上部旋回体がどのように旋回しようとも、表示装置に表示される画像は下部走行体の進行方向を視線とする画像になる。よって、下部走行体の進行方向に障害物があるか否かを、表示装置を見た作業者に直感的に理解させることができる。
　上記周辺監視装置において、前記表示制御部は、前記撮像装置の撮像方向に前記機械本体から所定距離だけ離れた位置に対応する前記画像中の位置に、前記範囲画像を重畳させて表示させることが好ましい。
　本構成によれば、撮像装置が撮像した画像に奥行き感が生じるので、下部走行体を走行させた際の上部旋回体と障害物との接触を作業者により判断させやすくすることができる。
　上記周辺監視装置において、前記範囲画像は、前記機械本体の前記軌跡の幅を表す線、前記機械本体の前記軌跡の高さを表す線、および、前記機械本体の前記軌跡の奥行きを表す線を含む線画像を含むことが好ましい。
　本構成によれば、撮像装置が撮像した画像に重畳される範囲画像の面積を最小限に抑えることができる。よって、撮像装置が撮像した画像に障害物が含まれるか否かを作業者に判断させやすくすることができる。
　上記周辺監視装置において、前記範囲画像は、前記機械本体の輪郭を示す輪郭画像を含むことが好ましい。
　本構成によれば、輪郭画像と障害物との位置関係から、下部走行体を走行させた際の上部旋回体と障害物との接触を作業者により判断させやすくすることができる。また、輪郭画像が示す機械本体の輪郭から、機械本体の姿勢を作業者に客観的に把握させることができる。
　上記周辺監視装置において、前記表示制御部は、前記下部走行体がカーブ走行する場合、前記範囲画像を前記下部走行体のカーブ走行の軌道に沿って湾曲させることが好ましい。
　本構成によれば、下部走行体がカーブ走行する場合においても、通過予想範囲内に障害物があるか否かを、表示装置を見た作業者に把握させることができる。
　上記周辺監視装置において、前記撮像装置が撮像した画像に障害物が含まれる場合に、前記障害物の位置および高さを算出する障害物情報算出部と、前記障害物情報算出部が算出した前記障害物の位置および高さに基づいて、前記障害物が前記上部旋回体に接触するか否かを判定する判定部と、をさらに有し、前記表示制御部は、前記上部旋回体に接触すると前記判定部が判定した前記障害物を前記表示装置に強調して表示させることが好ましい。
　本構成によれば、上部旋回体に接触する障害物があることを、表示装置を見た作業者に直感的に理解させることができる。
　上記周辺監視装置において、前記撮像装置は、撮像方向が互いに異なる複数の撮像部を有し、前記表示制御部は、前記撮像部の各々が撮像した画像を繋ぎ合わせて１つの画像を生成し、生成した画像を前記表示装置に表示させることが好ましい。
　本構成によれば、上部旋回体と障害物との位置関係を、表示装置を見た作業者により広い範囲で把握させることができる。

Claims (9)

  1. 　下部走行体と、前記下部走行体の上部に旋回可能に設けられた上部旋回体とを備えた機械本体を有する作業機械の周囲を監視する、作業機械の周囲監視装置であって、
    　前記上部旋回体は、前記上部旋回体の本体に対して上下方向に回動可能な作業装置と、運転室と、を有しており、
    　前記下部走行体に対する前記上部旋回体の旋回角度を検出する旋回角度検出装置と、
    　前記作業装置の姿勢を検出する姿勢検出装置と、
    　前記上部旋回体に設けられ、前記上部旋回体の周囲を撮像する撮像装置と、
    　前記運転室内に設けられた表示装置と、
    　前記撮像装置が撮像した画像を前記表示装置に表示させる表示制御部と、
    　前記旋回角度検出装置が検出した前記上部旋回体の旋回角度と、前記姿勢検出装置が検出した前記作業装置の姿勢とに基づいて、前記撮像装置の撮像方向に前記下部走行体が走行した場合の前記機械本体の軌跡の範囲を通過予想範囲として算出する通過予想範囲算出部と、
    を備え、
    　前記表示制御部は、前記通過予想範囲算出部が算出した前記通過予想範囲を示す範囲画像を、前記撮像装置が撮像した画像に重畳させて前記表示装置に表示させる作業機械の周囲監視装置。
  2. 　前記下部走行体の進行方向を検出する進行方向検出装置をさらに有し、
    　前記表示制御部は、前記下部走行体が走行し、前記進行方向検出装置が検出した前記下部走行体の進行方向が前記撮像装置の撮像方向であることを条件に、前記範囲画像を前記表示装置に表示させる請求項１に記載の作業機械の周囲監視装置。
  3. 　前記下部走行体の進行方向を検出する進行方向検出装置と、
    　前記下部走行体が走行する場合、前記撮像装置により撮像された画像が、前記進行方向検出装置が検出した前記下部走行体の進行方向を視線とする画像になるように前記撮像装置により撮像された画像を前記表示装置に表示させる画像方向制御部とをさらに備える請求項１に記載の作業機械の周囲監視装置。
  4. 　前記表示制御部は、前記撮像装置の撮像方向に前記機械本体から所定距離だけ離れた位置に対応する前記画像中の位置に、前記範囲画像を重畳させて表示させる請求項１～３のいずれか１項に記載の作業機械の周囲監視装置。
  5. 　前記範囲画像は、前記機械本体の前記軌跡の幅を表す線、前記機械本体の前記軌跡の高さを表す線、および、前記機械本体の前記軌跡の奥行きを表す線を含む線画像を含む請求項１～４のいずれか１項に記載の作業機械の周囲監視装置。
  6. 　前記範囲画像は、前記機械本体の輪郭を示す輪郭画像を含む請求項１～５のいずれか１項に記載の作業機械の周囲監視装置。
  7. 　前記表示制御部は、前記下部走行体がカーブ走行する場合、前記範囲画像を前記下部走行体のカーブ走行の軌道に沿って湾曲させることを特徴とする請求項１～６のいずれか１項に記載の作業機械の周囲監視装置。
  8. 　前記撮像装置が撮像した画像に障害物が含まれる場合に、前記障害物の位置および高さを算出する障害物情報算出部と、
    　前記障害物情報算出部が算出した前記障害物の位置および高さに基づいて、前記障害物が前記上部旋回体に接触するか否かを判定する判定部と、
    をさらに有し、
    　前記表示制御部は、前記上部旋回体に接触すると前記判定部が判定した前記障害物を前記表示装置に強調して表示させる請求項１～７のいずれか１項に記載の作業機械の周囲監視装置。
  9. 　前記撮像装置は、撮像方向が互いに異なる複数の撮像部を有し、
    　前記表示制御部は、前記撮像部の各々が撮像した画像を繋ぎ合わせて１つの画像を生成し、生成した画像を前記表示装置に表示させる請求項１～８のいずれか１項に記載の作業機械の周囲監視装置。
PCT/JP2020/039447 2019-11-07 2020-10-20 作業機械の周囲監視装置 WO2021090678A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/770,904 US20220372732A1 (en) 2019-11-07 2020-10-20 Periphery monitoring device for working machine
EP20886038.7A EP4043285A4 (en) 2019-11-07 2020-10-20 PERIPHERAL MONITORING DEVICE FOR A WORK MACHINE
CN202080074158.7A CN114630942A (zh) 2019-11-07 2020-10-20 工程机械的周边监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-202421 2019-11-07
JP2019202421A JP7255454B2 (ja) 2019-11-07 2019-11-07 作業機械の周囲監視装置

Publications (1)

Publication Number Publication Date
WO2021090678A1 true WO2021090678A1 (ja) 2021-05-14

Family

ID=75849762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039447 WO2021090678A1 (ja) 2019-11-07 2020-10-20 作業機械の周囲監視装置

Country Status (5)

Country Link
US (1) US20220372732A1 (ja)
EP (1) EP4043285A4 (ja)
JP (1) JP7255454B2 (ja)
CN (1) CN114630942A (ja)
WO (1) WO2021090678A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008240362A (ja) * 2007-03-27 2008-10-09 Komatsu Ltd 建設機械および建設機械の後進移動ガイダンス方法
JP2011012522A (ja) 2009-07-06 2011-01-20 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械のモニター装置
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JP5667638B2 (ja) * 2010-10-22 2015-02-12 日立建機株式会社 作業機械の周辺監視装置
DE112012004354T5 (de) * 2011-10-18 2014-07-10 Hitachi Construction Machinery Co., Ltd. Vorrichtung zum Überwachen der Umgebung von Maschinerie
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
WO2015198410A1 (ja) * 2014-06-25 2015-12-30 株式会社日立製作所 外界認識装置
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
JP7239291B2 (ja) * 2018-09-28 2023-03-14 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
CN113748247B (zh) * 2019-04-26 2024-02-20 住友建机株式会社 挖土机、作业现场的安全装备确认系统
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
DE112020002887T5 (de) * 2019-07-18 2022-04-07 Komatsu Ltd. Anzeigesystem für ein Arbeitsfahrzeug und Anzeigeverfahren für ein Arbeitsfahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008240362A (ja) * 2007-03-27 2008-10-09 Komatsu Ltd 建設機械および建設機械の後進移動ガイダンス方法
JP2011012522A (ja) 2009-07-06 2011-01-20 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械のモニター装置
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置

Also Published As

Publication number Publication date
JP2021075883A (ja) 2021-05-20
US20220372732A1 (en) 2022-11-24
EP4043285A1 (en) 2022-08-17
CN114630942A (zh) 2022-06-14
EP4043285A4 (en) 2022-11-30
JP7255454B2 (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
JP5546427B2 (ja) 作業機械の周囲監視装置
US10145087B2 (en) Surroundings display device for swing working machine
JP4996928B2 (ja) 作業機械の周囲監視装置
JP5775283B2 (ja) 作業機械のモニタ装置
KR20210021945A (ko) 굴삭기, 정보처리장치
KR20130138227A (ko) 작업 기계의 주위 감시 장치
KR20140060321A (ko) 작업기의 주위 감시 장치
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JPWO2019044316A1 (ja) 作業機械の計測システム、作業機械、及び作業機械の計測方法
WO2019181159A1 (ja) 建設機械
WO2019187560A1 (ja) 作業機械操縦装置
JP7045926B2 (ja) 油圧ショベル、およびシステム
JP7207127B2 (ja) 作業機械の周囲監視装置
JP2013002101A (ja) 作業機械の視野補助装置
JP5143481B2 (ja) 建設機械用モニター装置
WO2021090678A1 (ja) 作業機械の周囲監視装置
JP2017053092A (ja) 脇見検出装置
JP2022072598A (ja) 作業車両の表示システムおよび作業車両の表示方法
WO2023002796A1 (ja) 掘削機械の稼働範囲設定システムおよびその制御方法
JP2019173407A (ja) 作業機械
JP6901710B1 (ja) 安全装置および作業機械
US20220316188A1 (en) Display system, remote operation system, and display method
JP2016186205A (ja) カメラシステム
WO2023189216A1 (ja) 作業支援システム
JP2019214824A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886038

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020886038

Country of ref document: EP

Effective date: 20220421

NENP Non-entry into the national phase

Ref country code: DE