WO2016159012A1 - 作業機械の周辺監視装置 - Google Patents

作業機械の周辺監視装置 Download PDF

Info

Publication number
WO2016159012A1
WO2016159012A1 PCT/JP2016/060250 JP2016060250W WO2016159012A1 WO 2016159012 A1 WO2016159012 A1 WO 2016159012A1 JP 2016060250 W JP2016060250 W JP 2016060250W WO 2016159012 A1 WO2016159012 A1 WO 2016159012A1
Authority
WO
WIPO (PCT)
Prior art keywords
guide information
upper swing
swing body
image
work machine
Prior art date
Application number
PCT/JP2016/060250
Other languages
English (en)
French (fr)
Inventor
正臣 町田
栗原　毅
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to DE112016000127.4T priority Critical patent/DE112016000127B4/de
Priority to JP2017510058A priority patent/JP6216097B2/ja
Priority to KR1020177006581A priority patent/KR101895830B1/ko
Priority to US15/509,264 priority patent/US20170284069A1/en
Priority to CN201680002588.1A priority patent/CN106716988B/zh
Publication of WO2016159012A1 publication Critical patent/WO2016159012A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to a work machine periphery monitoring apparatus capable of displaying guideline information that can improve work efficiency.
  • a plurality of cameras are installed behind the vehicle body or on the side of the vehicle body so that the operator can visually recognize obstacles around the vehicle body. And the image which the camera imaged is projected on the monitor in the cab of a working machine as a single camera image.
  • an apparatus that generates a bird's-eye view image by synthesizing the images of each camera after converting the images of each camera into an upper viewpoint so that 360 degrees around the vehicle body can be monitored simultaneously.
  • a device that displays a single camera image captured by a camera selected by an operator on a monitor (see Patent Document 1).
  • a plurality of concentric circular broken lines may be displayed in the overhead image from the turning center of the upper turning body.
  • the plurality of concentric circular broken lines merely indicate the distance from the turning center of the upper turning body. Therefore, the operator stops at a position of 90 degrees or 180 degrees to the left or right with respect to an object other than the hydraulic excavator, for example, the direction of the dump truck, specifically, the hydraulic excavator that is performing excavation work, depending on the situation of the work.
  • the accuracy of the stop position of the dump truck does not increase and work efficiency is poor. There was a problem.
  • the present invention has been made in view of the above, and an object thereof is to provide a work machine periphery monitoring device capable of displaying guideline information capable of improving work efficiency.
  • a work machine periphery monitoring apparatus is a work machine periphery monitoring apparatus including a work machine on an upper swing body, and includes a periphery of the work machine.
  • a plurality of cameras for acquiring the situation, an image processing unit for generating an overhead image based on images captured by the plurality of cameras, a single camera image that is an image of one of the plurality of cameras, and / or Alternatively, a display unit that displays the bird's-eye view image, and display control that displays direction guide information arranged around the upper swing body from the reference position of the upper swing body on the single camera image and / or the overhead image. And a section.
  • the direction guide information is a straight line extending from a reference position of the upper swing body toward the periphery of the upper swing body. To do.
  • the direction guide information has a predetermined distance on each side in the circumferential direction from the reference direction guide information extending linearly from the turning center of the upper swing body. And parallel arrangement direction guide information arranged in parallel.
  • the work machine periphery monitoring device includes, in the above invention, a guideline display setting unit configured to set display / non-display of the direction guide information, and the display control unit includes the guide display setting unit.
  • the direction guide information is displayed / hidden according to the setting.
  • the work machine periphery monitoring device is characterized in that, in the above invention, the direction guide information is position information at a ground surface level.
  • the work machine periphery monitoring device is characterized in that, in the above invention, the display unit is provided in a remote control seat, a control room, or a portable terminal.
  • the direction guide information arranged around the upper swing body from the reference position of the upper swing body is displayed on the image.
  • the direction becomes easy to read, and the working efficiency can be improved.
  • FIG. 1 is a side view showing an overall configuration of a hydraulic excavator on which a working machine periphery monitoring device according to an embodiment of the present invention is mounted.
  • FIG. 2 is a diagram showing the internal arrangement of the cab.
  • FIG. 3 is a block diagram showing the detailed configuration of the entire control system of the excavator and the peripheral monitoring controller.
  • FIG. 4 is an explanatory diagram illustrating the overhead image generation process performed by the overhead image generation unit.
  • FIG. 5 is a side view showing the arrangement of the cameras.
  • FIG. 6 is a plan view schematically showing the arrangement of the cameras.
  • FIG. 7 is a side view showing the arrangement of the radar.
  • FIG. 8 is a plan view schematically showing the arrangement of the radar.
  • FIG. 1 is a side view showing an overall configuration of a hydraulic excavator on which a working machine periphery monitoring device according to an embodiment of the present invention is mounted.
  • FIG. 2 is a diagram showing the internal arrangement of the cab.
  • FIG. 9 is a diagram illustrating a display example of an overhead image and a single camera image.
  • FIG. 10 is a diagram illustrating a concept of guide information having a straight line portion.
  • FIG. 11 is a diagram illustrating a display example of a bird's-eye view image and a single camera image on which guide information having a straight line portion is displayed.
  • FIG. 12 is a diagram illustrating an example of work in the case of using guide information having a straight line portion.
  • FIG. 13 is a diagram illustrating a display example of guide information when the center of the overhead image is the center of gravity of the upper swing body.
  • FIG. 14 is a diagram illustrating an example in which the direction guide line information is displayed as dots.
  • FIG. 15 is a diagram illustrating another example in which the direction guide line information is displayed as dots.
  • FIG. 16 is a diagram showing an example in which the periphery monitoring monitor is provided in the remote control seat.
  • FIG. 17 is a diagram illustrating an example in which the periphery monitoring monitor is provided in the mobile terminal.
  • FIG. 1 is a side view showing an overall configuration of a hydraulic excavator on which a working machine periphery monitoring device according to an embodiment of the present invention is mounted.
  • This hydraulic excavator 1 is a large hydraulic excavator such as a mining excavator used in a mine or the like shown as an example of a work machine.
  • the hydraulic excavator 1 includes a self-propelled lower traveling body 2, an upper revolving body 3 that is pivotably installed on the lower traveling body 2, and a working machine that bends and undulates at the front center of the upper revolving body 3. 4.
  • the work machine 4 includes a boom 4a, an arm 4b, a bucket 4c, a boom cylinder 4d, an arm cylinder 4e, and a bucket cylinder 4f.
  • a base end portion of the boom 4a is rotatably connected to the upper swing body 3.
  • the distal end portion of the boom 4a is rotatably connected to the proximal end portion of the arm 4b.
  • the tip of the arm 4b is rotatably connected to the bucket 4c.
  • the boom cylinder 4d, the arm cylinder 4e, and the bucket cylinder 4f are hydraulic cylinders that are driven by hydraulic oil discharged from a hydraulic pump.
  • the boom cylinder 4d operates the boom 4a.
  • the arm cylinder 4e operates the arm 4b.
  • the bucket cylinder 4f is connected to the bucket 4c via a link member, and operates the bucket 4c.
  • the bucket 4c operates as the cylinder rod of the bucket cylinder 4f expands and contracts.
  • the opening of the bucket 4 c functions as a backhoe that faces the turning center, but the opening of the bucket 4 c may function as a front shovel that faces outward from the turning center.
  • a cab 6 is installed on the left side of the front part of the upper swing body 3 via a cab base 5.
  • a power container 7 is mounted on the rear part of the upper swing body 3.
  • an engine, a hydraulic pump, a radiator, an oil cooler, and the like are accommodated.
  • a counterweight 8 is attached to the rear end portion of the upper swing body 3.
  • An elevating ladder 9 is disposed on the left side of the upper swing body 3 so as to be positioned behind the cab base 5. The lifting ladder 9 supports the lifting and lowering of the driver and the maintenance worker with respect to the upper swing body 3.
  • FIG. 2 is a diagram showing the internal arrangement of the cab 6.
  • the operation levers 11 and 12 are disposed on the left and right sides of the operator seat 10 in the cab 6.
  • the operation lever 11 is disposed on the left hand side when the operator is seated on the operator seat 10.
  • the operation lever 11 corresponds to the turning operation of the upper swing body 3 and the operation of the arm 4b.
  • the operation lever 11 is operated to the left and right, the upper swing body 3 is turned to the left and right, and when the operation lever 11 is operated up and down, the arm 4b. Rotates in the front-rear direction.
  • the operation lever 12 corresponds to the operation of the boom 4a and the operation of the bucket 4c.
  • the traveling lever 13 can move forward and backward of the crawler track on the left side of the lower traveling body 2 according to the operation. Further, the traveling lever 14 can perform forward and backward movement of the right crawler belt of the lower traveling body 2 in accordance with an operation. If the traveling levers 13 and 14 are operated at the same time, the left and right crawler belts are driven simultaneously, and the entire excavator 1 can be moved forward and backward.
  • the periphery monitoring monitor 15 is an input / output device formed by a touch panel, and can display at least the surroundings of the excavator 1 acquired by a plurality of cameras as an overhead image and a single camera image.
  • the monitor 16 is an input / output device having a liquid crystal display unit and a key input unit.
  • the monitor 16 can display various information including the state of the engine and the hydraulic pump. For example, the monitor 16 can display warning information indicating an engine water temperature, an oil temperature, a remaining amount of combustion, an abnormality of the device, and the like.
  • the buzzer 17 issues a warning when an obstacle is detected by a plurality of radars. When an obstacle is detected, this obstacle information is also displayed on the image of the periphery monitoring monitor 15 described above.
  • FIG. 3 is a block diagram showing a configuration of the entire control system of the hydraulic excavator 1.
  • the periphery monitoring controller 40 is connected to a CAN 41 that is one of in-vehicle networks.
  • a communication controller 42, a monitor controller 43, an engine controller 44, a pump controller 45, etc. are connected to the CAN 41.
  • a camera group C including a plurality of cameras C1 to C7, a radar group R including a plurality of radars R1 to R8, a periphery monitoring monitor 15, and a buzzer 17 are connected to the periphery monitoring controller 40.
  • the periphery monitoring controller 40 performs periphery monitoring control.
  • the periphery monitoring controller 40 includes an image processing unit 51, an obstacle processing unit 52, and a display control unit 53. Further, the image processing unit 51 includes an overhead image generation unit 54 and an image composition unit 55.
  • the overhead image generation unit 54 generates the overhead image 61 based on the images obtained from the cameras C1 to C7. As shown in FIG. 4, the overhead image generation unit 54 converts the images P1 to P7 obtained from the cameras C1 to C7 into an upper viewpoint image. That is, the overhead image generation unit 54 converts the image into an image viewed from a predetermined virtual viewpoint located above the excavator 1. Specifically, the bird's-eye view image generation unit 54 performs image conversion to be projected from a virtual viewpoint above the excavator 1 onto a predetermined virtual projection plane corresponding to the ground level GL.
  • the overhead image generation unit 54 cuts out the converted images P11 to P17 corresponding to the regions E1 to E7 of the frame displaying the overhead image, and synthesizes the converted images P11 to P17 in the frame.
  • An image P corresponding to a plan view of the excavator 1 is pasted in advance on the overhead image 61 generated by the overhead image generation unit 54.
  • the obstacle processing unit 52 detects an obstacle based on the information of the radars R1 to R8.
  • the obstacle processing unit 52 sounds the buzzer 17 to notify the obstacle, and outputs obstacle information such as the size and position of the detected obstacle to the image composition unit 55.
  • the image composition unit 55 receives the above-described bird's-eye view image 61 and images (single camera images 62) captured by the cameras C1 to C7.
  • the image composition unit 55 When the obstacle information is input from the obstacle processing unit 52, the image composition unit 55 generates an image in which the obstacle information is combined with the above-described overhead image 61 and single camera image 62. For example, the obstacle information A1 in the area E4 of FIG.
  • the display control unit 53 performs control to display the overhead monitor image 61 input from the image composition unit 55 and the single camera image 62 selected from the images captured by the cameras C1 to C7 on the periphery monitoring monitor 15.
  • the monitor controller 43 is connected to the monitor 16.
  • the monitor controller 43 performs input / output control of various information such as information transmitted from various sensors via the CAN 41 and information input via the monitor 16.
  • the monitor 16 can display, for example, warning information indicating an engine water temperature, an oil temperature, a remaining amount of fuel, a device abnormality, and the like.
  • each of the cameras C1 to C7 may be attached to the upper swing body 3.
  • each of the cameras C1 to C7 has a visual field range of 120 degrees in the left-right direction (60 degrees left and right) and 96 degrees in the height direction.
  • a CCD (Charge-Coupled Device) camera can be used as the camera.
  • Each of the cameras C1 to C7 may have a wide dynamic range function.
  • the camera C ⁇ b> 1 is provided on the front surface of the cab base 5 which is the lower part of the cab 6 of the upper swing body 3 and images the front of the upper swing body 3.
  • the camera C ⁇ b> 2 is provided at the lower right front of the upper swing body 3 and images the right front of the upper swing body 3.
  • the camera C3 is provided at the lower part of the right side surface of the upper swing body 3 and images the right rear of the upper swing body 3.
  • the camera C ⁇ b> 4 is provided in the lower rear center of the counterweight 8 disposed behind the upper swing body 3 and images the rear of the upper swing body 3.
  • the camera C5 is provided at the lower part of the left side surface of the upper swing body 3 and images the left rear of the upper swing body 3.
  • the camera C6 is provided on the upper left side surface of the cab base 5 and images the left front of the upper swing body 3.
  • the camera C ⁇ b> 7 is provided in the lower part of the power container 7 and images the lower area of the power container 7 and the counterweight 8. Since the imaging ranges of the adjacent cameras C1 to C7 overlap, it is possible to take an image of the outer circumference of 360 degrees near the excavator.
  • each of the radars R1 to R8 detects the relative position (relative position) and direction between the obstacle and the excavator 1 around the excavator 1.
  • the radars R1 to R8 are attached to the outer peripheral portion of the excavator 1 as shown in FIGS.
  • each of the radars R1 to R8 has a detection angle of 80 degrees ( ⁇ 40 degrees) in the azimuth (horizontal) direction and 16 degrees ( ⁇ 8 degrees) in the vertical (vertical) direction, and a UWB (maximum detection distance of 15 m or more).
  • Ultra Wide Band (radar) radar Ultra Wide Band
  • the radar R1 is provided at the lower left end of the front part of the upper swing body 3 and detects an obstacle on the left front side of the upper swing body 3.
  • the radar R ⁇ b> 2 is provided at the front lower right end of the upper swing body 3 and detects an obstacle on the right front side of the upper swing body 3. Further, the installation directions of the radars R1 and R2 are adjusted so as not to detect the work machine 4 such as the bucket 4c, and the detection areas of the radars R1 and R2 do not overlap.
  • the radar R3 is provided at the lower right side of the upper swing body 3 and detects an obstacle on the right rear side of the upper swing body 3.
  • the radar R ⁇ b> 4 is provided at the lower right side of the upper swing body 3 and detects an obstacle on the right front side of the upper swing body 3.
  • the radar R3 is adjacent to the radar R4 and is disposed in front of the position of the radar R4.
  • the radars R3 and R4 detect obstacles on the entire right side of the upper swing body 3 by irradiating radar signals so as to cross each other.
  • the radar R5 is provided below the counterweight 8 of the upper swing body 3 and detects an obstacle on the left rear of the upper swing body 3.
  • the radar R6 is provided below the counterweight 8 and detects an obstacle on the right rear side of the upper swing body 3.
  • the radar R5 is adjacent to the radar R6 and is arranged on the right side with respect to the position of the radar R6.
  • the radars R5 and R6 detect obstacles on the entire rear surface of the upper swing body 3 by irradiating radar signals so as to cross each other.
  • the radar R8 is provided on the lower left side of the upper swing body 3 and detects an obstacle on the left front side of the upper swing body 3.
  • the radar R ⁇ b> 7 is provided at the lower left side of the upper swing body 3 and detects an obstacle on the left rear side of the upper swing body 3.
  • the radar R8 is disposed adjacent to the radar R7 and rearward with respect to the position of the radar R7.
  • the radars R8 and R7 detect obstacles on the entire left side of the upper swing body 3 by radiating radar signals so as to cross each other.
  • the periphery monitoring monitor 15 shown in FIG. 9 is an example of an initial screen that is displayed first when the key is turned on.
  • a bird's-eye view image 61 is displayed in the upper area of the periphery monitoring monitor 15, and a single camera image 62 is displayed in the lower area.
  • icons I1 and I2 are displayed on the lower right of the periphery monitoring monitor 15.
  • the displayed single camera image 62 is a rear image of the upper swing body 3 captured by the camera C4.
  • the icon I1 indicates the seven image positions displayed by the single camera image 62. Since the single camera image 62 shown in FIG.
  • FIG. 9 is a rear image, the lower region of the icon I1 corresponding to the rear position of the upper swing body 3 is filled and displayed.
  • the dump truck TR exists behind the upper swing body 3.
  • the dump truck TR is at a position 180 degrees from the front where the work implement 4 is disposed, and is parked facing outward.
  • the bird's-eye view image 61 and the single camera image 62 display guide information D indicating the distance and direction from the upper swing body 3 described later.
  • the icon I2 reference display setting unit
  • FIG. 10 is a diagram showing the concept of the guide information D.
  • the standard information D includes distance standard information D1 and direction standard information D2.
  • the guide information D is, for example, position information on the ground level GL. By doing so, it becomes easier to discriminate the positional relationship with the obstacle around the hydraulic excavator in the single camera image 62 described later.
  • the distance guide information D1 is information indicating a distance from the turning center CT of the upper swing body 3, and includes first distance guide information D11, second distance guide information D12, and third distance guide information D13.
  • the first distance guide information D11 is information indicating the distance from the turning center CT of the upper swing body 3 to the left and right front-rear direction to the end of the counterweight 8 provided at the rear part of the upper swing body 3. That is, when there is an obstacle in the area inside the first distance guide information D11, it means that the hydraulic excavator 1 may collide when turning.
  • the second distance guide information D12 is information indicating a distance that is further increased from the first distance guide information D11 by a predetermined distance d1 in the radial direction and prohibits the proximity of an external work vehicle such as the dump truck TR. .
  • the predetermined distance d1 is, for example, when the excavator 1 is traveling by operating the traveling levers 13 and 14 toward the stopped dump truck TR, and the dump truck is located inside the second distance guide information D12. This is a distance that can be safely stopped without interrupting the operation of the travel levers 13 and 14 after determining that TR has entered and without entering the dump truck TR inside the first distance guide information D11.
  • the predetermined distance d1 is 2 m, for example. Therefore, it is preferable that the second distance guide information D12 is set so that the obstacle processing unit 52 detects an obstacle and issues an alarm such as a buzzer when an obstacle enters the area.
  • the third distance guide information D13 is information indicating a distance that is further increased from the second distance guide information D12 by a predetermined distance d2 in the radial direction.
  • the third distance guide information D13 is information indicating the limit of the turning area of the work machine 4 in a state where the work machine 4 is extended to the maximum.
  • the area between the second distance guide information D12 and the third distance guide information D13 is a work area by the work implement 4. In this case, even if there is a dump truck TR located between the second distance guide information D12 and the third distance guide information D13, the buzzer 17 may not be notified.
  • the direction guide information D2 is information indicating the front / rear and left / right directions of the upper swing body 3 from the turning center CT of the upper swing body 3, and includes front reference direction guide information D21, left reference direction guide information D22, and rear reference direction guide. Information D23 and right reference direction guide information D24.
  • the direction guide information D2 is a straight line that extends linearly from the turning center CT toward the front / rear / right / left direction of the upper swing body 3 and connects the intersections of the first distance guide information D11 and the third distance guide information D13. .
  • the distance guide information D1 will be described in more detail.
  • the first distance guide information D11 is the intersection of the front reference direction guide information D21, the left reference direction guide information D22, the rear reference direction guide information D23, and the right reference direction guide information D24 with respect to the guide information D21 to D24.
  • Each has four straight portions 101 extending vertically.
  • Each of the straight portions 101 has a predetermined length d3.
  • the straight line portions 101 are provided at positions spaced equidistantly in the front-rear and left-right directions from the turning center CT.
  • the predetermined length d3 coincides with the length in the left-right width direction of the upper swing body of the excavator 1.
  • each of the second distance guide information D12 and the third distance guide information D13 includes straight portions 102 and 103 having the same predetermined length d3.
  • the 1st distance standard information D11 connects between each end of four straight parts 101 by the same circle centering on turning center CT, respectively, and forms four circular arc parts 111.
  • the second distance guide information D12 is formed by connecting the end portions of the four linear portions 102 by the same circle centered on the turning center CT, thereby forming four arc portions 112.
  • the third distance guide information D13 is formed by connecting the end portions of the four linear portions 103 by the same circle centering on the turning center CT, thereby forming four arc portions 113.
  • parallel placement direction guide information 201 and 202 connecting the end portions of the straight portions 101 to 103 may be provided.
  • Two pieces of parallel arrangement direction guide information 201 and 202 are arranged in parallel to the front reference direction guide information D21, the left reference direction guide information D22, the rear reference direction guide information D23, and the right reference direction guide information D24. Therefore, a belt-like portion having a predetermined length d3 with respect to the front / rear / left / right direction of the upper swing body 3 is formed.
  • FIG. 11 is a diagram illustrating a display example of the overhead image 61 and the single camera image 62 on which the above-described parallel arrangement direction guide information 201 and 202 are displayed.
  • the direction guide information D21 ′, D22 ′, D23 ′, and D24 ′ constituting the direction guide information D2 ′ includes the parallel placement direction guide information 201 and 202 in the direction guide information D21, D22, D23, and D24. It is added.
  • the dump truck TR is positioned 180 degrees from the front where the work implement 4 is disposed, facing outward, and positioned outside the second distance guide information D12.
  • the straight lines 101 to 103 of the distance guide information D1 and the parallel placement direction guide information 201 and 202 can be displayed in a grid pattern, the direction and direction of the work vehicle such as the dump truck TR (FIG. 10).
  • the side of the dump truck or the rear surface is compared with the straight portions 101 to 103, so that the dump truck TR It is possible to confirm whether the vehicle is parked diagonally), and the distance from the excavator can be easily recognized.
  • some of the above areas are displayed in a grid pattern, other areas are displayed with arc-shaped lines, making it easy to grasp the distance between the images without complicating the whole overhead view image. .
  • the first distance guide information D11, the second distance guide information D12, and the third distance guide information D13 constituting the guide information D described above are displayed in colors or different line types according to the distance.
  • the first distance guide information D11 may be displayed as a red dotted line
  • the second distance guide information D12 may be displayed as a yellow dotted line
  • the third distance guide information D13 may be displayed as a white, green, or blue dotted line.
  • the direction guide information D2 between the first distance guide information D11 and the second distance guide information D12 is displayed in the same yellow dotted line as the second distance guide information D12
  • the second distance guide information D12 and the third distance guide are displayed.
  • the direction guide information D2 between the information D13 and the third distance guide information D13 is preferably displayed in the same green or blue dotted line.
  • the guide information D may be information in which marks are arranged instead of lines.
  • the central portion of the vessel and the hydraulic excavator 1 are disposed.
  • the left 90 degrees, right 90 degrees, and 180 degrees can be easily matched. By doing so, it is possible to efficiently carry out the loading work of the earth and sand onto the dump truck TR by the excavator 1 (when the position of the dump truck TR is deviated from the position described in FIG. 12, the loading is performed). Work efficiency decreases).
  • the horizontal position of the dump truck TR with respect to the straight portion 102 may be at the rear end of the dump truck TR or at the side.
  • the guide information D is displayed centering on the turning center CT.
  • the present invention is not limited to this, and as shown in FIG.
  • the guide information D may be displayed.
  • the direction guide line information D2 is displayed as a broken line or a straight line.
  • the direction guide line information D2 and the distance guide line information D1 include Direction guide line information D3 (D31 to D34) displaying points may be displayed at the intersecting positions.
  • direction guide line information D4 (D41 to D44) displaying a point at a position where the direction guide line information D2 and one of the distance guide line information D1 (distance guide line information D13) intersect. ) May be displayed.
  • the peripheral monitoring monitor 15 is provided separately from the monitor 16, but the present invention is not limited to this, and the overhead image 61 and the single camera image 62 may be displayed on the monitor 16. Good.
  • the periphery monitoring monitor 15 is configured as a touch panel display, a normal display without a built-in touch sensor may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明は、上部旋回体に作業機を備えた作業機械に設けられた作業機械の周辺監視装置であって、前記作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した俯瞰画像６１及び単カメラ画像６２を表示する周辺監視モニタ１５と、前記上部旋回体の旋回中心から該上部旋回体の周囲に向けて直線状に延びる方向目安情報Ｄ２´を俯瞰画像６１及び単カメラ画像６２上に表示する表示制御部と、を備える。これにより、上部旋回体の旋回中心からの方向が読み取りやすくなり、作業効率を向上させることができる。

Description

作業機械の周辺監視装置
　本発明は、作業効率を向上させることができる目安情報を表示することができる作業機械の周辺監視装置に関する。
　油圧ショベルなどの作業機械の分野では、車体の周辺に存在する障害物をオペレータが視認できるように、ミラーに加え、車体後方や車体側方に複数台のカメラを設置しているものがある。そして、カメラが撮像した画像を単カメラ画像として作業機械の運転室内のモニタに映し出している。
　また、車体の周囲３６０度を同時に監視できるように、各カメラの画像を上方視点に変換した上で各カメラの画像を合成することにより俯瞰画像を生成してモニタに表示するものがある。そして、俯瞰画像に加えてオペレータが選択したカメラが撮像した単カメラ画像をモニタに表示するものもある（特許文献１参照）。
特開２０１２－７４９２９号公報
　ところで、上述した特許文献１のように、俯瞰画像には、上部旋回体の旋回中心から同心円状の複数の円形の破線が表示されることがある。この同心円状の複数の円形の破線は、単に上部旋回体の旋回中心からの距離を表示しているに過ぎない。したがって、オペレータは、作業の状況に応じて油圧ショベル以外の対象物、例えばダンプトラックの方向、具体的には掘削作業をしている油圧ショベルに対して左右９０度や１８０度の位置に停止しているかを認識する必要があるものの、実際のダンプトラックを目視したり、表示されている俯瞰画像から目分量で停車位置を推測するため、ダンプトラックの停車位置の精度が高まらず作業効率が悪いという問題点があった。
　本発明は、上記に鑑みてなされたものであって、作業効率を向上させることができる目安情報を表示することができる作業機械の周辺監視装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる作業機械の周辺監視装置は、上部旋回体に作業機を備えた作業機械の周辺監視装置であって、前記作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、前記複数のカメラのうちの１つのカメラの画像である単カメラ画像及び／または前記俯瞰画像を表示する表示部と、前記上部旋回体の基準位置から該上部旋回体の周囲に配置された方向目安情報を前記単カメラ画像上及び／または前記俯瞰画像上に表示する表示制御部と、を備えたことを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報は、前記上部旋回体の基準位置から該上部旋回体の周囲に向けて延びる直線であることを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報は、前記上部旋回体の旋回中心から直線状に延びる基準方向目安情報から周方向両側にそれぞれ所定距離をおいて平行配置される平行配置方向目安情報を有することを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報の表示／非表示の設定を行う目安表示設定部を備え、前記表示制御部は、前記目安表示設定部の設定に従って前記方向目安情報の表示／非表示を行うことを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記方向目安情報は、地表面レベルの位置情報であることを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記表示部が、遠隔操作席、管制室、または携帯端末に設けられたことを特徴とする。
　本発明によれば、上部旋回体の基準位置から該上部旋回体の周囲に配置された方向目安情報を画像上に表示するようにしているので、上部旋回体の旋回中心などの基準位置からの方向が読み取りやすくなり、作業効率を向上させることができる。
図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。 図２は、運転室の内部配置を示す図である。 図３は、油圧ショベルの制御系全体および周辺監視コントローラの詳細な構成を示すブロック図である。 図４は、俯瞰画像生成部による俯瞰画像の生成処理を説明する説明図である。 図５は、カメラの配置を示す側面図である。 図６は、カメラの配置を模式的に示した平面図である。 図７は、レーダの配置を示す側面図である。 図８は、レーダの配置を模式的に示した平面図である。 図９は、俯瞰画像及び単カメラ画像の表示例を示す図である。 図１０は、直線部を有する目安情報の概念を示す図である。 図１１は、直線部を有する目安情報が表示された俯瞰画像及び単カメラ画像の表示例を示す図である。 図１２は、直線部を有する目安情報を用いた場合における作業の一例を示す図である。 図１３は、俯瞰画像の中心を上部旋回体の重心とした場合における目安情報の表示例を示す図である。 図１４は、方向目安線情報を点で表示した一例を示す図である。 図１５は、方向目安線情報を点で表示した他の一例を示す図である。 図１６は、周辺監視モニタを遠隔操作席に設けた一例を示す図である。 図１７は、周辺監視モニタを携帯端末に設けた一例を示す図である。
　以下、添付図面を参照して本発明を実施するための形態について説明する。 
［油圧ショベルの全体構成］
　まず、図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。この油圧ショベル１は、作業機械の一例として示した、鉱山などで使用されるマイニングショベルなどの大型油圧ショベルである。油圧ショベル１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に設置された上部旋回体３と、上部旋回体３の前部中央に屈曲起伏自在に動作する作業機４とを備える。
　作業機４は、ブーム４ａ、アーム４ｂ、バケット４ｃ、ブームシリンダ４ｄ，アームシリンダ４ｅ、及びバケットシリンダ４ｆを有する。ブーム４ａの基端部は、上部旋回体３に回転可能に連結される。ブーム４ａの先端部は、アーム４ｂの基端部に回転可能に連結される。アーム４ｂの先端部は、バケット４ｃに回転可能に連結される。ブームシリンダ４ｄ、アームシリンダ４ｅ、及びバケットシリンダ４ｆは、油圧ポンプから吐出された作動油によって駆動する油圧シリンダである。ブームシリンダ４ｄは、ブーム４ａを動作させる。アームシリンダ４ｅは、アーム４ｂを動作させる。バケットシリンダ４ｆは、リンク部材を介してバケット４ｃに連結され、バケット４ｃを動作させる。バケットシリンダ４ｆのシリンダロッドが伸縮動作することによってバケット４ｃが動作する。なお、図１では、バケット４ｃの開口が旋回中心に向いたバックホウとして機能するが、バケット４ｃの開口を旋回中心から外側に向けたフロントショベルとして機能させてもよい。
　上部旋回体３の前部左側部分には、キャブベース５を介して運転室６が設置される。上部旋回体３の後部には、パワーコンテナ７が搭載される。パワーコンテナ７内には、エンジン、油圧ポンプ、ラジエータ、オイルクーラなどが収容されている。上部旋回体３の後端部には、カウンタウェイト８が装着される。上部旋回体３の左側部には、キャブベース５の後方に位置するように昇降ラダー９が配置される。昇降ラダー９は、上部旋回体３に対する運転者や整備作業者の昇降を支援する。
［運転席］
　図２は、運転室６の内部配置を示す図である。図２に示すように、操作レバー１１，１２は、運転室６内のオペレータシート１０の左右に配置される。操作レバー１１は、オペレータがオペレータシート１０に着座した時に左手側に配置される。操作レバー１１は上部旋回体３の旋回動作とアーム４ｂの動作に対応しており、操作レバー１１を左右に操作すると上部旋回体３が左右に旋回し、操作レバー１１を上下に操作するとアーム４ｂが前後方向に回動する。操作レバー１２はブーム４ａの動作とバケット４ｃの動作に対応しており、操作レバー１２を左右に操作するとバケット４ｃが掘削・排土方向に回動し、操作レバー１２を上下に操作するとブーム４ａが上下方向に回動する。尚、操作レバー１１，１２の操作と、どの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
　走行レバー１３は、操作に応じて下部走行体２の左側の履帯の前進後進を行うことができる。また、走行レバー１４は、操作に応じて下部走行体２の右履帯の前進後進を行うことができる。走行レバー１３、１４を同時に操作すれば左右の履帯が同時に駆動し、油圧ショベル１全体を前進後進することができる。
　また、運転室６の左前のフレームには、周辺監視モニタ１５とモニタ１６とブザー１７とが配置される。周辺監視モニタ１５は、タッチパネルで形成される入出力装置であり、少なくとも、複数のカメラによって取得された油圧ショベル１の周囲状況を俯瞰画像及び単カメラ画像として表示することができる。モニタ１６は、液晶表示部とキー入力部とを有した入出力装置である。モニタ１６は、エンジンや油圧ポンプなどの状態を含む各種情報を表示することができる。例えば、モニタ１６は、エンジン水温、油温、燃焼の残量、機器の異常などを示す警告情報などを表示することができる。ブザー１７は、複数のレーダによって障害物が検出された場合に、発報する。なお、障害物が検出された場合、この障害物の情報は、上述した周辺監視モニタ１５の画像上にも表示される。
［制御系の全体構成］
　図３は、油圧ショベル１の制御系全体の構成を示すブロック図である。図３に示すように、周辺監視コントローラ４０は、車内ネットワークの一つであるＣＡＮ４１に接続される。ＣＡＮ４１には、通信コントローラ４２、モニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５等が接続される。また、周辺監視コントローラ４０には、複数のカメラＣ１～Ｃ７からなるカメラ群Ｃ、複数のレーダＲ１～Ｒ８からなるレーダ群Ｒ、周辺監視モニタ１５、及びブザー１７が接続される。
　周辺監視コントローラ４０は、周辺監視制御を行う。周辺監視コントローラ４０は、画像処理部５１、障害物処理部５２、表示制御部５３を有する。さらに画像処理部５１は、俯瞰画像生成部５４及び画像合成部５５を有する。
　俯瞰画像生成部５４は、各カメラＣ１～Ｃ７から得られた画像をもとに俯瞰画像６１を生成する。図４に示すように、俯瞰画像生成部５４は、各カメラＣ１～Ｃ７から得られた画像Ｐ１～Ｐ７を上方視点画像に変換する。すなわち、俯瞰画像生成部５４は、油圧ショベル１の上方に位置する所定の仮想視点から見た画像に変換する。具体的に、俯瞰画像生成部５４は、油圧ショベル１の上方の仮想視点から地表面レベルＧＬに対応する所定の仮想投影面に投影する画像変換を行う。その後、俯瞰画像生成部５４は、俯瞰画像を表示するフレームの各領域Ｅ１～Ｅ７に対応する変換画像Ｐ１１～Ｐ１７を切り出し、各変換画像Ｐ１１～Ｐ１７をフレーム内で合成する。俯瞰画像生成部５４が生成する俯瞰画像６１には、油圧ショベル１の平面図に対応する画像Ｐが予め貼り付けられている。
　一方、障害物処理部５２は、レーダＲ１～Ｒ８の情報をもとに障害物を検出する。障害物処理部５２は、障害物を検出した場合、ブザー１７を鳴動して報知するとともに、検出した障害物の大きさや位置などの障害物情報を画像合成部５５に出力する。画像合成部５５には、上述した俯瞰画像６１と各カメラＣ１～Ｃ７が撮像した画像（単カメラ画像６２）とが入力される。画像合成部５５は、障害物処理部５２から障害物情報が入力された場合、上述した俯瞰画像６１及び単カメラ画像６２に障害物情報を合成した画像を生成する。例えば、図４の領域Ｅ４における障害物情報Ａ１を俯瞰画像６１に合成する。
　表示制御部５３は、画像合成部５５から入力された俯瞰画像６１及びカメラＣ１～Ｃ７が撮像した画像のうち選択された単カメラ画像６２を周辺監視モニタ１５に表示する制御を行う。
　モニタコントローラ４３は、モニタ１６に接続される。モニタコントローラ４３は、ＣＡＮ４１を介して各種センサから送信された情報や、モニタ１６を介して入力された情報といった各種情報の入出力制御を行う。モニタ１６は、上述したように、例えば、エンジン水温、油温、燃料の残量、機器の異常などを示す警告情報などを表示することができる。
［カメラの構成と配置］
　つぎに、図５及び図６を参照して、各カメラＣ１～Ｃ７の構成と配置とについて説明する。すべてのカメラＣ１～Ｃ７は、上部旋回体３に取り付けられてもよい。例えば、各カメラＣ１～Ｃ７は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有する。カメラとしてＣＣＤ（Charge-Coupled　Device）カメラを用いることができる。また、各カメラＣ１～Ｃ７は、ワイドダイナミックレンジ（Wide Dynamic Range）機能を有してもよい。
　図５及び図６に示すように、具体的に、カメラＣ１は、上部旋回体３の運転室６下部であるキャブベース５の前面に設けられて上部旋回体３の前方を撮像する。カメラＣ２は、上部旋回体３の右側前方下部に設けられて上部旋回体３の右前方を撮像する。カメラＣ３は、上部旋回体３の右側側面下部に設けられて上部旋回体３の右後方を撮像する。カメラＣ４は、上部旋回体３の後方に配置されるカウンタウェイト８の後方下部中央に設けられて上部旋回体３の後方を撮像する。カメラＣ５は、上部旋回体３の左側側面下部に設けられて上部旋回体３の左後方を撮像する。カメラＣ６は、キャブベース５の上部左側面に設けられて上部旋回体３の左前方を撮像する。カメラＣ７は、パワーコンテナ７の下部に設けられ、パワーコンテナ７及びカウンタウェイト８の下部領域を撮像する。隣合うカメラＣ１～Ｃ７の撮像範囲はオーバーラップしているため、油圧ショベルの近接位置の外周３６０度を撮像することができる。
［レーダの構成と配置］
　つぎに、図７及び図８を参照して、各レーダＲ１～Ｒ８の構成と配置とについて説明する。すべてのレーダＲ１～Ｒ８は、上部旋回体３に設けられてもよい。各レーダＲ１～Ｒ８は、油圧ショベル１の周囲に存在する障害物と油圧ショベル１との相対的な位置（相対位置）と方向とを検出する。例えば、レーダＲ１～Ｒ８は、図７及び図８に示すように、油圧ショベル１の外周部分に取り付けられる。また、各レーダＲ１～Ｒ８は、方位（水平）方向８０度（±４０度）、上下（垂直）方向１６度（±８度）の検出角度を有し、検出距離が最大１５ｍ以上のＵＷＢ（Ultra Wide Band：超広帯域）レーダである。
　図７及び図８に示すように、具体的に、レーダＲ１は、上部旋回体３の前部下方左端に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ２は、上部旋回体３の前部下方右端に設けられて上部旋回体３の右前方の障害物を検出する。また、レーダＲ１，Ｒ２は、バケット４ｃ等の作業機４を検出しないよう、その設置向きが調整されており、レーダＲ１，Ｒ２の検出領域はオーバーラップしていない。レーダＲ３は、上部旋回体３の右側方下部に設けられて上部旋回体３の右後方の障害物を検出する。レーダＲ４は、上部旋回体３の右側側方下部に設けられて上部旋回体３の右前方の障害物を検出する。ここで、レーダＲ３は、レーダＲ４に隣接するとともに、レーダＲ４の位置に対して前方に配置される。そして、レーダＲ３，Ｒ４は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の右側方全面の障害物を検出する。また、レーダＲ５は、上部旋回体３のカウンタウェイト８の下部に設けられて上部旋回体３の左後方の障害物を検出する。レーダＲ６は、カウンタウェイト８の下部に設けられて上部旋回体３の右後方の障害物を検出する。ここで、レーダＲ５は、レーダＲ６に隣接するとともに、レーダＲ６の位置に対して右側に配置される。そして、レーダＲ５，Ｒ６は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の後方全面の障害物を検出する。また、レーダＲ８は、上部旋回体３の左側方下部に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ７は、上部旋回体３の左側側方下部に設けられて上部旋回体３の左後方の障害物を検出する。ここで、レーダＲ８は、レーダＲ７に隣接するとともに、レーダＲ７の位置に対して後方に配置される。そして、レーダＲ８，Ｒ７は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の左側方全面の障害物を検出する。
［周辺監視モニタの手動画像切替処理］
　図９に示した周辺監視モニタ１５は、キーオンしたときに最初に表示される初期画面の例である。図９では、周辺監視モニタ１５の上部領域に俯瞰画像６１が表示され、下部領域に単カメラ画像６２が表示されている。また、周辺監視モニタ１５の右下には、アイコンＩ１，Ｉ２が表示されている。表示されている単カメラ画像６２は、カメラＣ４によって撮像された上部旋回体３の後方画像である。アイコンＩ１は、単カメラ画像６２が表示する７つの画像位置を示すものである。図９に示した単カメラ画像６２は、後方画像であるため、上部旋回体３の後方位置に対応するアイコンＩ１の下側領域が塗りつぶされて表示されている。なお、図９に示した俯瞰画像６１及び単カメラ画像６２では、上部旋回体３の後方にダンプトラックＴＲが存在している。図９では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き停車していることがわかる。さらに、俯瞰画像６１及び単カメラ画像６２には、後述する上部旋回体３からの距離及び方向を示す目安情報Ｄが表示されている。また、アイコンＩ２（目安表示設定部）は、このアイコンを選択することによって、目安情報Ｄの表示、非表示を切り替えるものである。
［目安情報の表示］
　次に、俯瞰画像６１及び単カメラ画像６２に表示される目安情報Ｄについて説明する。図１０は、目安情報Ｄの概念を示す図である。図１０に示すように、目安情報Ｄは、距離目安情報Ｄ１と方向目安情報Ｄ２とを有する。なお、目安情報Ｄは、例えば地表面レベルＧＬの位置情報である。そうすることにより、後述する単カメラ画像６２において、油圧ショベルの周辺にある障害物との位置関係がより判別しやすくなる。
　距離目安情報Ｄ１は、上部旋回体３の旋回中心ＣＴから距離を示す情報であり、第１距離目安情報Ｄ１１、第２距離目安情報Ｄ１２、第３距離目安情報Ｄ１３を有する。第１距離目安情報Ｄ１１は、上部旋回体３の旋回中心ＣＴから左右前後方向への距離が上部旋回体３の後部に設けられたカウンタウェイト８端部までの距離を示す情報である。すなわち、第１距離目安情報Ｄ１１よりも内側の領域に障害物があった場合、油圧ショベル１が旋回する際に衝突する可能性がある領域であることを意味する。
　また、第２距離目安情報Ｄ１２は、第１距離目安情報Ｄ１１からさらに半径方向に対して所定距離ｄ１だけ大きくし、ダンプトラックＴＲなどの外部の作業車両の近接を禁止する距離を示す情報である。この所定距離ｄ１は、例えば、油圧ショベル１が、停止しているダンプトラックＴＲに向かって走行レバー１３，１４を操作して走行している場合、第２距離目安情報Ｄ１２よりも内側にダンプトラックＴＲが入ったと判断してから走行レバー１３，１４の操作を中断して第１距離目安情報Ｄ１１の内側にダンプトラックＴＲが入らずに安全に停止できる距離である。所定距離ｄ１は、例えば、２ｍである。そのため、第２距離目安情報Ｄ１２は、その領域内に障害物が侵入してきた場合に障害物処理部５２が障害物を検知しブザー等の警報を発するよう設定することが好ましい。
　さらに、第３距離目安情報Ｄ１３は、第２距離目安情報Ｄ１２からさらに半径方向に対して所定距離ｄ２分、大きくした距離を示す情報である。具体的に、第３距離目安情報Ｄ１３は、作業機４を最大に伸ばした状態における作業機４の旋回領域の限界を示す情報である。換言すれば、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間の領域は、作業機４による作業領域であると言える。この場合、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間に位置するダンプトラックＴＲが存在しても、ブザー１７の鳴動による発報を行わないようにしてもよい。
　一方、方向目安情報Ｄ２は、上部旋回体３の旋回中心ＣＴから、上部旋回体３の前後左右方向を示す情報であり、前基準方向目安情報Ｄ２１、左基準方向目安情報Ｄ２２、後基準方向目安情報Ｄ２３、右基準方向目安情報Ｄ２４を有する。方向目安情報Ｄ２は、上部旋回体３の前後左右方向の周囲に向けて旋回中心ＣＴから直線状に延び、第１距離目安情報Ｄ１１と第３距離目安情報Ｄ１３との各交点を結ぶ直線である。
　距離目安情報Ｄ１についてより詳細に説明する。第１距離目安情報Ｄ１１は、前基準方向目安情報Ｄ２１、左基準方向目安情報Ｄ２２、後基準方向目安情報Ｄ２３、右基準方向目安情報Ｄ２４との交差部に、それら目安情報Ｄ２１～Ｄ２４に対してそれぞれ垂直に伸びた４つの直線部１０１を有する。この直線部１０１はいずれも所定長さｄ３の長さを有する。直線部１０１は、旋回中心ＣＴからそれぞれ前後左右方向に等間隔離れた位置に設けられる。この所定長さｄ３は、油圧ショベル１の上部旋回体の左右幅方向長さと一致している。同様にして、第２距離目安情報Ｄ１２及び第３距離目安情報Ｄ１３のそれぞれは、同じ所定長さｄ３の長さをもつ直線部１０２，１０３を有する。
　そして、第１距離目安情報Ｄ１１は、４つの直線部１０１の各端部間を、それぞれ旋回中心ＣＴを中心とする同一円によって結合し、４つの円弧部１１１が形成されている。同様にして、第２距離目安情報Ｄ１２は、４つの直線部１０２の各端部間を、それぞれ旋回中心ＣＴを中心とする同一円によって結合し、４つの円弧部１１２が形成されている。また、第３距離目安情報Ｄ１３は、４つの直線部１０３の各端部間を、それぞれ旋回中心ＣＴを中心とする同一円によって結合し、４つの円弧部１１３が形成されている。
　方向目安情報Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４に加えて、直線部１０１～１０３の各端部を結んだ、平行配置方向目安情報２０１，２０２を設けてもよい。平行配置方向目安情報２０１，２０２は、前基準方向目安情報Ｄ２１、左基準方向目安情報Ｄ２２、後基準方向目安情報Ｄ２３、右基準方向目安情報Ｄ２４に対して平行に２つ配置される。したがって、上部旋回体３の前後左右方向に対して所定長さｄ３を有する帯状部分が形成される。
［目安情報の変形例の表示形態］
　図１１は、上述した平行配置方向目安情報２０１，２０２が表示された俯瞰画像６１及び単カメラ画像６２の表示例を示す図である。なお、図１１において、方向目安情報Ｄ２´を構成する方向目安情報Ｄ２１´，Ｄ２２´，Ｄ２３´，Ｄ２４´は、方向目安情報Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４に平行配置方向目安情報２０１，２０２を加えたものである。図１１では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き、第２距離目安情報Ｄ１２の外側に位置していることがわかる。また、距離目安情報Ｄ１の直線部１０１～１０３と平行配置方向目安情報２０１，２０２とにより線を格子状に表示することができるので、ダンプトラックＴＲ等の作業車両の方向やその向き（図１０に記載されているダンプトラックＴＲのように、油圧ショベルに対し横向きや縦向きに停車する場合には、ダンプトラックの側面や背面と直線部１０１～１０３とを比較することにより、ダンプトラックＴＲが斜めに停車していないか確認することができる）、油圧ショベルとの距離を容易に認識することができる。さらに、上記の一部領域は格子状に表示されているが、他の領域は円弧状の線が表示されているため、俯瞰画像全体が煩雑とならずに画像内の距離間を把握しやすい。
　なお、上述した目安情報Ｄを構成する第１距離目安情報Ｄ１１、第２距離目安情報Ｄ１２、第３距離目安情報Ｄ１３は、距離に応じた色表示や異なる線種表示とすることが好ましい。例えば、第１距離目安情報Ｄ１１を赤色の点線表示、第２距離目安情報Ｄ１２を黄色の点線表示、第３距離目安情報Ｄ１３を白色、緑色または青色の点線表示としてもよい。また、方向目安情報Ｄ２も同様である。例えば、第１距離目安情報Ｄ１１と第２距離目安情報Ｄ１２との間の方向目安情報Ｄ２を、第２距離目安情報Ｄ１２と同じ黄色の点線表示とし、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間の方向目安情報Ｄ２を、第３距離目安情報Ｄ１３と同じ緑色または青色の点線表示とすることが好ましい。また、目安情報Ｄは、線でなく、マークを配列したものであってもよい。
［目安線の表示による効果］
　図１２は、上述した目安情報Ｄを用いた場合における作業の一例を示す図である。図１２に示すように、上述した目安情報Ｄを用いると、上部旋回体３の前後左右方向に対する旋回中心ＣＴからの方向と全周に対する距離とを把握しやすくなる。具体的には、距離目安情報Ｄ１を表示することにより、障害物がどの程度油圧ショベル１に近づいているか把握することができると共に、直線部１０１～１０３を有することにより、ダンプトラックＴＲが油圧ショベルに対し横向きや縦向きに停車する場合に、ダンプトラックの側面や背面と直線部１０１～１０３とを比較することにより、ダンプトラックＴＲが斜めに停車していないか確認することができる。
　また、方向目安情報Ｄ２を表示することにより、ダンプトラックＴＲを、作業機４が配置される前方から左９０度、右９０度、１８０度に配置する際に、ベッセルの中央部と油圧ショベル１の左９０度、右９０度、１８０度とを容易に一致させることができる。そうすることにより、油圧ショベル１によるダンプトラックＴＲへの土砂の積み込み作業を効率的に行うことができる（ダンプトラックＴＲの位置が図１２に記載されている位置からずれている場合には、積み込み作業の効率が低下する）。そして、ダンプトラックＴＲを、上部旋回体３の前後左右方向で、第２距離目安情報Ｄ１２と第３距離目安情報Ｄ１３との間の領域に配置しようとする場合、オペレータは、俯瞰画像６１あるいは単カメラ画像６２を監視しながら、方向目安情報Ｄ２で方向を認識しつつ、第２距離目安情報Ｄ１２の直線部１０２の適切な位置にダンプトラックＴＲが到達したときにホーンを鳴らすことによって、ダンプトラックＴＲのオペレータに、直線部１０２と平行な向きで近づいたことを知らせて停止させることができる。これによって、ダンプトラックＴＲを直線部１０２に対して適切な位置関係で配置することができる。特に、ダンプトラックＴＲのベッセルの位置を適切な位置に配置誘導することができる。
　そして、このようなダンプトラックＴＲを配置することによって、９０度ローディング、１８０度ローディング、両サイドローディングなどの作業を行うことができる。ダンプトラックＴＲの直線部１０２に対する横付けは、ダンプトラックＴＲの後端であってもよいし、側部であってもよい。
　上述した実施の形態では、旋回中心ＣＴを中心として目安情報Ｄを表示するようにしていたが、これに限らず、図１３に示すように、上部旋回体３上の任意の点Ｇを中心として目安情報Ｄを表示するようにしてもよい。
　また、上述した実施の形態では、方向目安線情報Ｄ２を破線や直線で表示していたが、これに限らず、図１４に示すように、方向目安線情報Ｄ２と距離目安線情報Ｄ１とが交差する位置に、点を表示した方向目安線情報Ｄ３（Ｄ３１～Ｄ３４）を表示してもよい。また、図１５に示すように、方向目安線情報Ｄ２と距離目安線情報Ｄ１の１つ（距離目安線情報Ｄ１３）とが交差する位置に、点を表示した方向目安線情報Ｄ４（Ｄ４１～Ｄ４４）を表示してもよい。
　なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　前記実施形態では、モニタ１６とは別に、周辺監視モニタ１５を設けていたが、本発明はこれに限られず、モニタ１６上に俯瞰画像６１や単カメラ画像６２を表示するように構成してもよい。また、周辺監視モニタ１５をタッチパネルディスプレイとして構成していたが、タッチセンサを内蔵しない通常のディスプレイを用いてもよい。
　前記実施形態では、周辺監視モニタ１５上に俯瞰画像６１と、単カメラ画像６２を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを周辺監視モニタ１５上に表示するように構成してもよい。
　また、前記実施形態では、タッチパネルディスプレイ６０におけるカメラ６１～６７で撮像された画像が表示される領域には、カメラ６１～６７の内いずれかのカメラで撮像した画像しか表示されないよう構成していたが、同時に二つ以上の画像を表示できるように構成してもよい。
　また、上述した実施の形態では、上部旋回体３の外周にカメラを７台設けていたが、これよりも少ないカメラの台数で周辺監視装置を構成してもよく、さらにはこれよりも多くのカメラの台数で周辺監視装置を構成してもよい。
　さらに、上述した実施の形態では、周辺監視装置は、レーダとカメラが協働するように構成していたが、これに限らず、カメラ単独で周辺監視装置を構成してもよい。
　加えて、上述の実施形態では、距離目安情報Ｄ１と方向目安情報Ｄ２とを同時に表示する形態のみ開示しているが、距離目安情報Ｄ１のみ、もしくは方向目安情報Ｄ２のみ表示するように構成してもよい。
　また、鉱山などで使用されるマイニング用油圧ショベルに基づいて説明したが、建設現場において用いられる油圧ショベルにて本発明を適用してもよい。
　また、上述した実施の形態では、作業機械の運転席６に周辺監視モニタ１５やブザー１７を設けた構成で説明したが、その他の場所、例えば、作業機械の遠隔操作を行うための図１６に示した遠隔操作席３００や、鉱山内にある、複数の作業機械を全体的に管理・統制する管制室内に設けてもよい。また、図１６に示した遠隔操作用モニタ３０１を周辺監視モニタとして用いてもよい。さらに、図１７に示すように、周辺監視モニタ１５やブザー１７を携帯端末３０２に設け、オペレータが携帯端末３０２に表示された俯瞰画像などを見るようにしてもよい。ここで、遠隔操作席３００や管制室において周辺監視モニタ１５に俯瞰画像を表示する場合や、携帯端末３０２を周辺監視モニタ１５やブザー１７として用いる場合には、作業機械と、遠隔操作席３００・管制室・携帯端末３０２等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
　　１　油圧ショベル
　　２　下部走行体
　　３　上部旋回体
　　４ａ　ブーム
　　４ｂ　アーム
　　４ｃ　バケット
　　４ｄ　ブームシリンダ
　　４ｅ　アームシリンダ
　　４ｆ　バケットシリンダ
　　４　作業機
　　５　キャブベース
　　６　運転室
　　７　パワーコンテナ
　　８　カウンタウェイト
　　１０　オペレータシート
　　１１，１２　操作レバー
　　１３，１４　走行レバー
　　１５　周辺監視モニタ
　　１６　モニタ
　　１７　ブザー
　　４０　周辺監視コントローラ
　　４２　通信コントローラ
　　４３　モニタコントローラ
　　４４　エンジンコントローラ
　　４５　ポンプコントローラ
　　５１　画像処理部
　　５２　障害物処理部
　　５３　表示制御部
　　５４　俯瞰画像生成部
　　５５　画像合成部
　　６１　俯瞰画像
　　６２　単カメラ画像
　　６３　領域
　　１０１～１０３　直線部
　　１１１～１１３　円弧部
　　２０１，２０２　平行配置方向目安情報
　　３００　遠隔操作席
　　３０１　遠隔操作用モニタ
　　３０２　携帯端末
　　Ａ１　障害物情報
　　Ｂ１０　ボタン
　　Ｃ　カメラ群
　　Ｃ１～Ｃ７　カメラ
　　ＣＴ　旋回中心
　　Ｄ　目安情報
　　Ｄ１　距離目安情報
　　Ｄ１１　第１距離目安情報
　　Ｄ１２　第２距離目安情報
　　Ｄ１３　第３距離目安情報
　　Ｄ２，Ｄ２´，Ｄ３，Ｄ４　方向目安情報
　　Ｄ２１，Ｄ２１´　前基準方向目安情報
　　Ｄ２２，Ｄ２２´　左基準方向目安情報
　　Ｄ２３，Ｄ２３´　後基準方向目安情報
　　Ｄ２４，Ｄ２４´　右基準方向目安情報
　　Ｅ０，Ｅ１～Ｅ８，Ｅ２０　領域
　　Ｅ２１　昇降ラダー周辺領域
　　ＧＬ　地表面レベル
　　Ｉ１，Ｉ２　アイコン
　　Ｐ，Ｐ１～Ｐ７　画像
　　Ｐ１１～Ｐ１７　変換画像
　　Ｒ　レーダ群
　　Ｒ１～Ｒ８　レーダ
　　ＴＲ　ダンプトラック

Claims (6)

  1. 　上部旋回体に作業機を備えた作業機械の周辺監視装置であって、
    　前記作業機械の周囲状況を取得する複数のカメラと、
    　前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、
    　前記複数のカメラのうちの１つのカメラの画像である単カメラ画像及び／または前記俯瞰画像を表示する表示部と、
    　前記上部旋回体の基準位置から該上部旋回体の周囲に配置された方向目安情報を前記単カメラ画像上及び／または前記俯瞰画像上に表示する表示制御部と、
    　を備えたことを特徴とする作業機械の周辺監視装置。
  2. 　前記方向目安情報は、前記上部旋回体の基準位置から該上部旋回体の周囲に向けて延びる直線であることを特徴とする請求項１に記載の作業機械の周辺監視装置。
  3. 　前記方向目安情報は、前記上部旋回体の旋回中心から直線状に延びる基準方向目安情報から周方向両側にそれぞれ所定距離をおいて平行配置される平行配置方向目安情報を有することを特徴とする請求項１または２に記載の作業機械の周辺監視装置。
  4. 　前記方向目安情報の表示／非表示の設定を行う目安表示設定部を備え、
    　前記表示制御部は、前記目安表示設定部の設定に従って前記方向目安情報の表示／非表示を行うことを特徴とする請求項１～３のいずれか一つに記載の作業機械の周辺監視装置。
  5. 　前記方向目安情報は、地表面レベルの位置情報であることを特徴とする請求項１～４のいずれか一つに記載の作業機械の周辺監視装置。
  6. 　前記表示部が、遠隔操作席、管制室、または携帯端末に設けられたことを特徴とする請求項１に記載の作業機械の周辺監視装置。
PCT/JP2016/060250 2015-03-31 2016-03-29 作業機械の周辺監視装置 WO2016159012A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112016000127.4T DE112016000127B4 (de) 2015-03-31 2016-03-29 Umgebungsüberwachungsvorrichtung für Arbeitsmaschine
JP2017510058A JP6216097B2 (ja) 2015-03-31 2016-03-29 作業機械の周辺監視装置
KR1020177006581A KR101895830B1 (ko) 2015-03-31 2016-03-29 작업 기계의 주변 감시 장치
US15/509,264 US20170284069A1 (en) 2015-03-31 2016-03-29 Surrounding monitoring device for work machine
CN201680002588.1A CN106716988B (zh) 2015-03-31 2016-03-29 作业机械的周边监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/060295 WO2016157463A1 (ja) 2015-03-31 2015-03-31 作業機械の周辺監視装置
JPPCT/JP2015/060295 2015-03-31

Publications (1)

Publication Number Publication Date
WO2016159012A1 true WO2016159012A1 (ja) 2016-10-06

Family

ID=57006821

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2015/060295 WO2016157463A1 (ja) 2015-03-31 2015-03-31 作業機械の周辺監視装置
PCT/JP2016/060250 WO2016159012A1 (ja) 2015-03-31 2016-03-29 作業機械の周辺監視装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060295 WO2016157463A1 (ja) 2015-03-31 2015-03-31 作業機械の周辺監視装置

Country Status (6)

Country Link
US (1) US20170284069A1 (ja)
JP (2) JPWO2016157463A1 (ja)
KR (1) KR101895830B1 (ja)
CN (1) CN106716988B (ja)
DE (1) DE112016000127B4 (ja)
WO (2) WO2016157463A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220914A1 (ja) * 2017-05-31 2018-12-06 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
CN109314769A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用周边监视系统
JP2020017829A (ja) * 2018-07-24 2020-01-30 株式会社リコー 通信端末、プログラム、表示方法、記録媒体
CN112519679A (zh) * 2020-11-26 2021-03-19 哈尔滨北方防务装备股份有限公司 一种基于4g传输的双节履带车环境辅助观察系统
JP6940907B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP6940906B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
US11135975B2 (en) 2018-02-28 2021-10-05 Komatsu Ltd. Periphery monitoring device, work machine, periphery monitoring control method, and display device
DE112020004151T5 (de) 2019-10-18 2022-07-14 Komatsu Ltd. Arbeitsmaschinenperipherie-überwachungssystem, arbeitsmaschine und arbeitsmaschinenperipherie-überwachungsverfahren
KR20220127330A (ko) 2020-03-19 2022-09-19 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 주변 감시 시스템, 작업 기계, 및 작업 기계의 주변 감시 방법
WO2022230939A1 (ja) * 2021-04-28 2022-11-03 株式会社小松製作所 表示制御装置、表示制御方法および作業機械
WO2023190704A1 (ja) * 2022-03-30 2023-10-05 住友重機械建機クレーン株式会社 作業機械の周囲監視装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
JP6779759B2 (ja) * 2016-11-21 2020-11-04 日立建機株式会社 建設機械
DE102017106893B4 (de) * 2017-03-30 2020-07-30 Komatsu Ltd. Arbeitsfahrzeug
US10919584B2 (en) 2017-10-17 2021-02-16 Tadano Ltd. Work vehicle
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
GB2573509B (en) * 2018-04-26 2020-09-02 Caterpillar Inc Method and system for providing display redundancy on a machine
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
CA3106884A1 (en) 2018-07-19 2020-01-23 Clark Equipment Company Display position for cab with overhead door
CN112218988B (zh) 2018-07-31 2023-06-09 住友建机株式会社 挖土机
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
DE102019105855A1 (de) * 2019-03-07 2020-09-10 Deutsche Post Ag Fahrzeug mit Anzeigeeinrichtung
DE102019116759A1 (de) * 2019-06-21 2020-12-24 Tadano Demag Gmbh Verfahren zum Betrieb eines Fahrzeugkrans
WO2021054758A1 (ko) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 건설장비용 전방 영상 생성 장치
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
WO2021241033A1 (ja) * 2020-05-29 2021-12-02 日立建機株式会社 作業機械
KR102578690B1 (ko) * 2022-07-05 2023-09-18 에이치디현대건설기계 주식회사 건설장비의 사각지대 표시 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2009100401A (ja) * 2007-10-19 2009-05-07 Fujitsu Ten Ltd 車載機、車両位置確認用の基準表示方法および表示装置
JP2013034142A (ja) * 2011-08-03 2013-02-14 Nippon Seiki Co Ltd 周辺画像表示装置
JP2014161087A (ja) * 2014-04-17 2014-09-04 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5128566B2 (ja) 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
KR102102133B1 (ko) * 2011-12-26 2020-04-20 스미도모쥬기가이고교 가부시키가이샤 쇼벨의 화상표시장치
CN103649426B (zh) * 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
CN104969544B (zh) * 2013-02-08 2018-02-27 日立建机株式会社 回转式作业机械的周围监视装置
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
US9667875B2 (en) * 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2009100401A (ja) * 2007-10-19 2009-05-07 Fujitsu Ten Ltd 車載機、車両位置確認用の基準表示方法および表示装置
JP2013034142A (ja) * 2011-08-03 2013-02-14 Nippon Seiki Co Ltd 周辺画像表示装置
JP2014161087A (ja) * 2014-04-17 2014-09-04 Komatsu Ltd 作業車両用周辺監視システム及び作業車両

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256384B1 (ko) 2016-11-01 2021-05-25 스미토모 겐키 가부시키가이샤 작업기계용 주변감시시스템
CN109314769A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用周边监视系统
KR20190077246A (ko) * 2016-11-01 2019-07-03 스미토모 겐키 가부시키가이샤 작업기계용 주변감시시스템
JP2018207244A (ja) * 2017-05-31 2018-12-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
WO2018220914A1 (ja) * 2017-05-31 2018-12-06 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
US11447928B2 (en) 2017-05-31 2022-09-20 Komatsu Ltd. Display system, display method, and remote control system
US11135975B2 (en) 2018-02-28 2021-10-05 Komatsu Ltd. Periphery monitoring device, work machine, periphery monitoring control method, and display device
JP2020017829A (ja) * 2018-07-24 2020-01-30 株式会社リコー 通信端末、プログラム、表示方法、記録媒体
JP7115097B2 (ja) 2018-07-24 2022-08-09 株式会社リコー 通信端末、プログラム、表示方法、記録媒体
DE112020004151T5 (de) 2019-10-18 2022-07-14 Komatsu Ltd. Arbeitsmaschinenperipherie-überwachungssystem, arbeitsmaschine und arbeitsmaschinenperipherie-überwachungsverfahren
DE112021000609T5 (de) 2020-03-19 2022-12-15 Komatsu Ltd. Arbeitsmaschinenperipherie-überwachungssystem, arbeitsmaschine und arbeitsmaschinenperipherieüberwachungsverfahren
CN115176058A (zh) * 2020-03-19 2022-10-11 株式会社小松制作所 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
KR20220127330A (ko) 2020-03-19 2022-09-19 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 주변 감시 시스템, 작업 기계, 및 작업 기계의 주변 감시 방법
CN112519679A (zh) * 2020-11-26 2021-03-19 哈尔滨北方防务装备股份有限公司 一种基于4g传输的双节履带车环境辅助观察系统
JP6940906B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP2022152362A (ja) * 2021-03-29 2022-10-12 株式会社レグラス 作業機械の周辺監視装置
JP2022152363A (ja) * 2021-03-29 2022-10-12 株式会社レグラス 作業機械の周辺監視装置
JP6940907B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
WO2022230939A1 (ja) * 2021-04-28 2022-11-03 株式会社小松製作所 表示制御装置、表示制御方法および作業機械
WO2023190704A1 (ja) * 2022-03-30 2023-10-05 住友重機械建機クレーン株式会社 作業機械の周囲監視装置

Also Published As

Publication number Publication date
KR20170040349A (ko) 2017-04-12
CN106716988A (zh) 2017-05-24
DE112016000127T5 (de) 2017-08-03
KR101895830B1 (ko) 2018-09-07
US20170284069A1 (en) 2017-10-05
WO2016157463A1 (ja) 2016-10-06
DE112016000127B4 (de) 2019-06-13
JPWO2016157463A1 (ja) 2018-01-18
CN106716988B (zh) 2019-01-22
JPWO2016159012A1 (ja) 2017-06-15
JP6216097B2 (ja) 2017-10-18

Similar Documents

Publication Publication Date Title
JP6216097B2 (ja) 作業機械の周辺監視装置
JP6200121B2 (ja) 作業機械の周辺監視装置
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6659673B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP7108750B2 (ja) システムおよび方法
JP2016194237A (ja) 作業機械
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP7145137B2 (ja) 作業機械の制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017510058

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15509264

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20177006581

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112016000127

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16772893

Country of ref document: EP

Kind code of ref document: A1