WO2015125979A1 - 作業機械の周辺監視装置及び作業機械の周辺監視方法 - Google Patents

作業機械の周辺監視装置及び作業機械の周辺監視方法 Download PDF

Info

Publication number
WO2015125979A1
WO2015125979A1 PCT/JP2015/062910 JP2015062910W WO2015125979A1 WO 2015125979 A1 WO2015125979 A1 WO 2015125979A1 JP 2015062910 W JP2015062910 W JP 2015062910W WO 2015125979 A1 WO2015125979 A1 WO 2015125979A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
work machine
cameras
unit
Prior art date
Application number
PCT/JP2015/062910
Other languages
English (en)
French (fr)
Inventor
正臣 町田
栗原　毅
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to PCT/JP2015/062910 priority Critical patent/WO2015125979A1/ja
Priority to JP2015526806A priority patent/JPWO2015125979A1/ja
Publication of WO2015125979A1 publication Critical patent/WO2015125979A1/ja
Priority to AU2016255874A priority patent/AU2016255874B2/en
Priority to JP2016567871A priority patent/JP6427597B2/ja
Priority to CA2959480A priority patent/CA2959480C/en
Priority to CN201680002543.4A priority patent/CN107075840B/zh
Priority to PCT/JP2016/058396 priority patent/WO2016174953A1/ja
Priority to US15/507,867 priority patent/US10717200B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/147—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using electro-magnetic technology, e.g. tags or radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems

Definitions

  • the present invention relates to a work machine periphery monitoring device and a work machine periphery monitoring method capable of reducing the troublesomeness of a display screen operation by an operator when an operation for operating the work machine is performed.
  • an apparatus that generates a bird's-eye view image by synthesizing the images of each camera after converting the images of each camera into an upper viewpoint so that 360 degrees around the vehicle body can be monitored simultaneously.
  • a bird's-eye view image there is one that displays a single camera image captured by a camera selected by an operator on a monitor (see Patent Document 1).
  • the working machine of the hydraulic excavator is swiveled all around, when there is an obstacle around the hydraulic excavator, the working machine collides with the obstacle when the upper turning body is turned. there is a possibility.
  • the bird's-eye view image is a combination of a group of images obtained by converting a single camera image into an upper viewpoint, and is not suitable for confirming in detail the object shown in the image. Therefore, as described above, there is a case where a single camera image is displayed together with an overhead image on the same monitor.
  • the screen size of the bird's-eye view image becomes smaller than when only a bird's-eye view image is displayed because the size of the monitor screen is limited. Since the bird's-eye view image is formed by combining a plurality of camera images into one image, there is a problem that if the bird's-eye view image is small, it is difficult to determine an object reflected in the image.
  • An object of the present invention is to provide a work machine periphery monitoring device and a work machine periphery monitoring method.
  • a work machine periphery monitoring apparatus configured to display a display unit, a plurality of cameras that acquire a surrounding state of the work machine, and the plurality of cameras.
  • An image processing unit that generates an overhead image based on the image, a work machine operation detection unit for detecting the operation of the work machine, and a single camera that is an image of one or a plurality of cameras of the plurality of cameras
  • a display control unit that displays an image, and / or the overhead image, and / or mechanical gauge display, and / or menu display, and / or failure information display on the display unit, and the display control unit includes the work When the operation of the machine is detected, the display area of the overhead image on the display unit is controlled to be larger than the display area of the overhead image before the operation of the work machine is detected. And butterflies.
  • the work machine periphery monitoring apparatus is characterized in that, in the above invention, the work machine operation detection unit detects an operation of an operation lever and / or a travel lever.
  • the work machine periphery monitoring device includes, in the above invention, a plurality of radars that detect obstacles around the work machine, and the display control unit includes information acquired by the plurality of radars. According to the present invention, an obstacle is detected, and when the obstacle exists, obstacle information is displayed on the display unit.
  • the work machine periphery monitoring device further includes an abnormality determination unit for determining that an abnormality has occurred in the work machine in the above invention, wherein the abnormality determination unit has some abnormality in the work machine.
  • the display control unit detects that the work machine has been operated, the display control unit does not enlarge the display area of the overhead image on the display unit.
  • the work machine periphery monitoring apparatus includes a display unit, a plurality of cameras that acquire the surrounding state of the work machine, and image processing that generates an overhead image based on images captured by the plurality of cameras.
  • a single camera image that is an image of one or more of the plurality of cameras, and / or a mechanical gauge display, and / or a menu display, and / or
  • a display control unit for displaying a failure information display, and an instruction unit for instructing an enlargement of the display area of the bird's-eye view image, and the display control unit An enlargement process is performed.
  • the work machine periphery monitoring method includes an acquisition step of acquiring surrounding conditions by a plurality of cameras provided around the work machine, and an overhead image based on images captured by the plurality of cameras.
  • An image processing step for generating a work machine operation detection step for detecting an operation of the work machine, a single camera image that is an image of one or more of the plurality of cameras, and / or the overhead view
  • a display control step for causing a display unit to display an image and / or a machine gauge display, and / or a menu display, and / or a failure information display, wherein the display control step detects an operation of the work machine
  • the display area of the overhead image on the display unit is larger than the display area of the overhead image before the operation of the work machine is detected. And performing.
  • the display area of the overhead image on the display unit is controlled to be larger than the display area of the overhead image before the operation of the work machine is detected. Therefore, the troublesome operation of the display screen by the operator can be reduced.
  • FIG. 1 is a side view showing an overall configuration of a hydraulic excavator on which a working machine periphery monitoring device according to an embodiment of the present invention is mounted.
  • FIG. 2 is a diagram showing the internal arrangement of the cab.
  • FIG. 3 is a block diagram showing the configuration of the entire control system of the hydraulic excavator.
  • FIG. 4 is an explanatory diagram illustrating the overhead image generation process performed by the overhead image generation unit.
  • FIG. 5 is a side view showing the arrangement of the cameras.
  • FIG. 6 is a plan view schematically showing the arrangement of the cameras.
  • FIG. 7 is a side view showing the arrangement of the radar.
  • FIG. 8 is a plan view schematically showing the arrangement of the radar.
  • FIG. 9 is an explanatory diagram for explaining manual image switching processing of the periphery monitoring monitor.
  • FIG. 10 is a flowchart showing the automatic image switching processing procedure of the periphery monitoring monitor by the controller.
  • FIG. 1 is a side view showing an overall configuration of a hydraulic excavator on which a working machine periphery monitoring device according to an embodiment of the present invention is mounted.
  • This hydraulic excavator 1 is a large hydraulic excavator such as a mining excavator used in a mine or the like shown as an example of a work machine.
  • the hydraulic excavator 1 includes a self-propelled lower traveling body 2, an upper revolving body 3 that is pivotably installed on the lower traveling body 2, and a working machine that bends and undulates at the front center of the upper revolving body 3. 4.
  • the work machine 4 includes a boom 4a, an arm 4b, a bucket 4c, a boom cylinder 4d, an arm cylinder 4e, and a bucket cylinder 4f.
  • a base end portion of the boom 4a is rotatably connected to the upper swing body 3.
  • the distal end portion of the boom 4a is rotatably connected to the proximal end portion of the arm 4b.
  • the tip of the arm 4b is rotatably connected to the bucket 4c.
  • the boom cylinder 4d, the arm cylinder 4e, and the bucket cylinder 4f are hydraulic cylinders that are driven by hydraulic oil discharged from a hydraulic pump (not shown).
  • the boom cylinder 4d operates the boom 4a.
  • the arm cylinder 4e operates the arm 4b.
  • the bucket cylinder 4f is connected to the bucket 4c via a link member, and operates the bucket 4c.
  • the bucket 4c operates as the cylinder rod of the bucket cylinder 4f expands and contracts.
  • the opening of the bucket 4 c functions as a backhoe that faces the turning center, but the opening of the bucket 4 c may function as a front shovel that faces outward from the turning center.
  • a cab 6 is installed on the left side of the front part of the upper swing body 3 via a cab base 5.
  • a power container 7 is mounted on the rear part of the upper swing body 3.
  • an engine, a hydraulic pump, a radiator, an oil cooler, and the like are accommodated.
  • a counterweight 8 is attached to the rear end portion of the upper swing body 3.
  • An elevating ladder 9 is disposed on the left side of the upper swing body 3 so as to be positioned behind the cab base 5. The lifting ladder 9 supports the lifting and lowering of the driver and the maintenance worker with respect to the upper swing body 3.
  • FIG. 2 is a diagram showing the internal arrangement of the cab 6.
  • the operation levers 11 and 12 are disposed on the left and right sides of the operator seat 10 in the cab 6.
  • the operation lever 11 is disposed on the left hand side when the operator is seated on the operator seat 10.
  • the operation lever 12 is arranged on the right hand side when the operator is seated on the operator seat 10.
  • the operation lever 11 corresponds to the turning operation of the upper swing body 3 and the operation of the arm 4b.
  • the operation lever 11 is operated to the left and right, the upper swing body 3 is turned to the left and right, and when the operation lever 11 is operated up and down, the arm 4b. Rotates in the front-rear direction.
  • the operation lever 12 corresponds to the operation of the boom 4a and the operation of the bucket 4c.
  • the operation lever 12 When the operation lever 12 is operated to the left and right, the bucket 4c rotates in the excavation and soil removal direction, and when the operation lever 12 is operated up and down, the boom 4a. Pivots up and down.
  • the combination of the operation of the operation levers 11 and 12 and which work machine is operated is not limited to that of the present embodiment.
  • the traveling lever 13 can move forward and backward of the crawler track on the left side of the lower traveling body 2 according to the operation. Further, the traveling lever 14 can perform forward and backward movement of the right crawler belt of the lower traveling body 2 in accordance with an operation. For example, if the left crawler is advanced by operating only the travel lever 13, only the left crawler is advanced, but the right crawler remains stopped. Further, when the right crawler belt is advanced by operating only the traveling lever 14, only the right crawler belt is advanced, but the left crawler belt remains stopped. If the traveling levers 13 and 14 are operated simultaneously, the left and right crawler belts are driven simultaneously, and the entire hydraulic excavator moves forward and backward.
  • the periphery monitoring monitor 15 is an input / output device formed by a touch panel, and can display at least the surroundings of the excavator 1 acquired by a plurality of cameras as an overhead image and a single camera image.
  • the monitor 16 is an input / output device having a liquid crystal display unit and a key input unit.
  • the monitor 16 can display various information including the state of the engine and the hydraulic pump.
  • the monitor 16 shows mechanical gauge display such as engine water temperature, oil temperature, remaining amount of fuel, information on what kind of abnormality has occurred in various devices of the hydraulic excavator, information on abnormality that has occurred in the past, and the like.
  • failure information including an icon for warning the occurrence of abnormality
  • menu display for the operator to make various settings, and the like.
  • a plurality of display items may be displayed on one screen among mechanical gauge display, failure information display, and menu display.
  • the buzzer 17 issues a warning when an obstacle is detected by any of a plurality of radars described later.
  • this obstacle information is also displayed on the image of the periphery monitoring monitor 15 described above.
  • FIG. 3 is a block diagram showing a configuration of the entire control system of the hydraulic excavator 1.
  • the periphery monitoring controller 40 is connected to a CAN 41 that is one of in-vehicle networks. Connected to the CAN 41 are a communication controller 42, a monitor controller 43, an engine controller 44, a pump controller 45, operation levers 11 and 12, travel levers 13 and 14, and the like.
  • a camera group C including a plurality of cameras C1 to C7, a radar group R including a plurality of radars R1 to R8, a periphery monitoring monitor 15, and a buzzer 17 are connected to the periphery monitoring controller 40.
  • the periphery monitoring controller 40 performs periphery monitoring control.
  • the periphery monitoring controller 40 includes an image processing unit 51, an obstacle processing unit 52, and a display control unit 53. Further, the image processing unit 51 includes an overhead image generation unit 54 and an image composition unit 55.
  • the overhead image generation unit 54 generates the overhead image 61 based on the images obtained from the cameras C1 to C7. As shown in FIG. 4, the overhead image generation unit 54 converts the images P1 to P7 obtained from the cameras C1 to C7 into an upper viewpoint image. That is, the overhead image generation unit 54 converts the image into an image viewed from a predetermined virtual viewpoint located above the excavator 1. Specifically, the bird's-eye view image generation unit 54 performs image conversion to be projected from a virtual viewpoint above the excavator 1 onto a predetermined virtual projection plane corresponding to the ground level GL.
  • the overhead image generation unit 54 cuts out the converted images P11 to P17 corresponding to the regions E1 to E7 of the frame displaying the overhead image, and synthesizes the converted images P11 to P17 in the frame.
  • An image P corresponding to a plan view of the excavator 1 is pasted in advance on the overhead image 61 generated by the overhead image generation unit 54.
  • the obstacle processing unit 52 detects an obstacle based on the information of the radars R1 to R8.
  • the buzzer 17 is sounded and notified, and information about the obstacle such as the size and position of the detected obstacle is output to the image composition unit 55.
  • the above-described overhead image and the camera image captured by each of the cameras C1 to C7 are input to the image composition unit 55, and information related to the obstacle is input from the obstacle processing unit 52, the above-described overhead image and An image in which obstacle information is combined with the camera image is generated.
  • the obstacle information may be configured, for example, as a point A1 in the area E4 of FIG. 4, and the overhead image is displayed on the peripheral monitoring monitor 15 after the point A1 is synthesized with the overhead image 61. By doing so, the operator can easily grasp the position of the obstacle and the distance from the hydraulic excavator.
  • the outer frame of the areas E1 to E7 of the overhead image 61 where the obstacle is present or the outer frame of the single camera image 62 where the obstacle is present blinks.
  • You may display (a frame line blinks).
  • the blink display allows the operator to easily grasp the presence of an obstacle.
  • other highlighted display may be used instead of blink display.
  • the thickness of the frame may be changed, or the color of the frame may be changed.
  • the obstacle information may be the point A1 described in FIG. 4 or any configuration as long as the buzzer sounds, blink display, and other configurations that notify the operator of the presence of the obstacle.
  • the display control unit 53 displays the overhead image output from the image synthesis unit 55 as the overhead image 61 and the selected camera image among the images captured by the cameras C1 to C7 as the single camera image 62 on the peripheral monitoring monitor 15. Take control.
  • the display control unit 53 receives operation signals from the operation levers 11 and 12 and the travel levers 13 and 14 in order to perform display control on the periphery monitoring monitor 15.
  • the monitor controller 43 is connected to the monitor 16.
  • the monitor controller 43 performs input / output control of various information such as information transmitted from various sensors via the CAN 41 and information input via the monitor 16.
  • the monitor 16 can display, for example, warning information indicating an engine water temperature, an oil temperature, a remaining amount of fuel, a device abnormality, and the like.
  • the pump controller 45 receives signals transmitted from the engine controller 44, the monitor controller 43, the operation levers 11 and 12, the travel levers 13 and 14, and the like, and adjusts the discharge amount of hydraulic oil from a hydraulic pump (not shown).
  • the control command signal is generated.
  • a control valve 80 connects the hydraulic pump to the boom cylinder 4d, arm cylinder 4e, bucket cylinder 4f, swing hydraulic motor 73, and hydraulic travel motors 71 and 72.
  • the boom cylinder 4d, the arm cylinder 4e, the bucket cylinder 4f, and the swing hydraulic motor 73 are driven.
  • the hydraulic travel motors 71 and 72 are driven by the control valve 80 according to the operation of the travel levers 13 and 14.
  • the operation amounts of the operation levers 11 and 12 and the travel levers 13 and 14 are detected by the operation amount detection unit 70 and output to the pump controller 45 as electric signals.
  • FIG. 5 is a side view of the excavator
  • FIG. 6 is a simplified plan view of the excavator upper swing body.
  • All the cameras C1 to C7 may be attached to the upper swing body 3.
  • each of the cameras C1 to C7 has a visual field range of 120 degrees in the left-right direction (60 degrees left and right) and 96 degrees in the height direction.
  • a CCD (Charge-Coupled Device) camera may be used as the camera.
  • the camera C ⁇ b> 1 is provided on the front surface of the cab base 5 which is the lower part of the cab 6 of the upper swing body 3 and images the front of the upper swing body 3.
  • the camera C ⁇ b> 2 is provided at the lower right front of the upper swing body 3 and images the right front of the upper swing body 3.
  • the camera C3 is provided at the lower part of the right side surface of the upper swing body 3 and images the right rear of the upper swing body 3.
  • the camera C ⁇ b> 4 is provided in the lower rear center of the counterweight 8 disposed behind the upper swing body 3 and images the rear of the upper swing body 3.
  • the camera C5 is provided at the lower part of the left side surface of the upper swing body 3 and images the left rear of the upper swing body 3.
  • the camera C6 is provided on the upper left side surface of the cab base 5 and images the left front of the upper swing body 3.
  • the camera C ⁇ b> 7 is provided in the lower part of the power container 7 and images the lower area of the power container 7 and the counterweight 8. Since the imaging ranges of the adjacent cameras C1 to C7 overlap, it is possible to take an image of the outer circumference of 360 degrees near the excavator.
  • All the radars R1 to R8 may be provided in the upper swing body 3.
  • Each of the radars R1 to R8 detects the relative position (relative position) and direction between the obstacle and the excavator 1 around the excavator 1.
  • the radars R1 to R8 are attached to the outer peripheral portion of the excavator 1 as shown in FIGS.
  • each of the radars R1 to R8 has a detection angle of 80 degrees ( ⁇ 40 degrees) in the azimuth (horizontal) direction and 16 degrees ( ⁇ 8 degrees) in the vertical (vertical) direction, and a UWB having a maximum detection distance of 15 m or more. (Ultra Wide Band) radar.
  • the radar R1 is provided at the lower left end of the front part of the upper swing body 3 and detects an obstacle on the left front side of the upper swing body 3.
  • the radar R ⁇ b> 2 is provided at the front lower right end of the upper swing body 3 and detects an obstacle on the right front side of the upper swing body 3. Further, the installation directions of the radars R1 and R2 are adjusted so as not to detect the work machine 4 such as the bucket 4c, and the detection areas of the radars R1 and R2 do not overlap.
  • the radar R3 is provided at the lower right side of the upper swing body 3 and detects an obstacle on the right rear side of the upper swing body 3.
  • the radar R ⁇ b> 4 is provided at the lower right side of the upper swing body 3 and detects an obstacle on the right front side of the upper swing body 3.
  • the radar R3 is adjacent to the radar R4 and is disposed in front of the position of the radar R4.
  • the radars R3 and R4 detect obstacles on the entire right side of the upper swing body 3 by irradiating radar signals so as to cross each other.
  • the radar R5 is provided below the counterweight 8 of the upper swing body 3 and detects an obstacle on the left rear of the upper swing body 3.
  • the radar R6 is provided below the counterweight 8 and detects an obstacle on the right rear side of the upper swing body 3.
  • the radar R5 is adjacent to the radar R6 and is arranged on the right side with respect to the position of the radar R6.
  • the radars R5 and R6 detect obstacles on the entire rear surface of the upper swing body 3 by irradiating radar signals so as to cross each other.
  • the radar R8 is provided on the lower left side of the upper swing body 3 and detects an obstacle on the left front side of the upper swing body 3.
  • the radar R ⁇ b> 7 is provided at the lower left side of the upper swing body 3 and detects an obstacle on the left rear side of the upper swing body 3.
  • the radar R8 is disposed adjacent to the radar R7 and rearward with respect to the position of the radar R7.
  • the radars R8 and R7 detect obstacles on the entire left side of the upper swing body 3 by radiating radar signals so as to cross each other.
  • the periphery monitoring monitor 15 shown in FIG. 9A is an example of an initial screen that is displayed first when the key is turned on.
  • an overhead image 61 is displayed in the upper area of the display unit of the periphery monitoring monitor 15, and a single camera image 62 is displayed in the lower area.
  • the area of the overhead image 61 is set smaller than the area of the single camera image 62.
  • An icon I1 is displayed at the lower right of the periphery monitoring monitor 15.
  • the displayed single camera image 62 is a rear image of the upper swing body 3 captured by the camera C4.
  • the icon I1 indicates which of the cameras C1 to C7 the single camera image 62 displayed on the periphery monitoring monitor 15 is captured by.
  • the single camera image 62 shown in FIG. 9A is a rear image
  • the lower region of the icon I1 corresponding to the rear position of the upper swing body 3 is filled and displayed.
  • the dump truck TR exists behind the upper swing body 3.
  • FIG. 9A it can be seen that the dump truck TR is at a position of 180 degrees from the front side where the work implement 4 is disposed, and is stopped facing outward.
  • the periphery monitoring monitor 15 is configured by a touch panel.
  • a plan view of the hydraulic excavator is displayed at the center position of the overhead image 61 so that the operator can easily determine the positional / directional relationship between the overhead image 61 and the hydraulic excavator.
  • a partial region of the hydraulic excavator is defined as E11 (instruction unit 56).
  • the display control unit 53 touches the region E10 by the operator while the screen of the periphery monitoring monitor 15 is in the state shown in FIG. 9B, the single camera image 62 is reduced and displayed, and the overhead image 61 is enlarged and displayed.
  • the area E10 of the reduced single camera image 62 in FIG. 9B is touched, the single camera image 62 is enlarged and displayed as shown in FIG. 9A and the overhead image 61 is reduced. indicate.
  • the areas of the overhead image 61 and the single camera image 62 are used as the areas E10 and E11.
  • FIG. 9A and FIG. 9 (b) may be manually switched.
  • the physical switch may be provided in the peripheral monitoring monitor, console, operation lever, or the like.
  • the size and content of the overhead view image 61 and the single camera image 62 can be automatically switched under predetermined conditions by the automatic image switching process of the periphery monitoring monitor described below.
  • FIG. 10 is a flowchart showing an automatic image switching process procedure of the periphery monitoring monitor 15 by the periphery monitoring controller 40.
  • the initial screen of the periphery monitoring monitor 15 in FIG. 10 is the screen in FIG. 9A that is a screen at the time of key-on.
  • the display control unit 53 Since the display control unit 53 is configured to receive operation signals from the travel levers 13 and 14, the display control unit 53 determines whether the travel operation by the travel levers 13 and 14 has been performed based on the input signals. Is determined (step S101). When the traveling operation is performed (step S101, Yes), it is further determined whether or not the obstacle processing unit 52 has detected an obstacle (step S102). When an obstacle is detected (step S102, Yes), the single camera image 62 on the screen of the periphery monitoring monitor 15 is switched to the single camera image 62 including the obstacle in the imaging range (step S103), and the process returns to step S101.
  • step S104 the display area of the overhead image 61 is enlarged.
  • the display area of the overhead image 61 is small as the initial screen.
  • the display state is maintained as it is.
  • the traveling turning operation is an operation of turning the entire hydraulic excavator 1 without turning the upper turning body 3 by moving forward or backward only one of the right and left crawler tracks.
  • this traveling and turning operation is right (that is, forward only the left crawler track or reverse only the right crawler track) (step S105, right)
  • the single camera image 62 is switched to the left rear image by the camera C5 (step S106).
  • step S101 This is because the rear part of the upper swing body 3 (such as the power container 7 and the counterweight 8) rotates leftward when turning right, so that the operator can easily recognize the left rear state of the upper swing body 3. Because.
  • step S105 When the traveling turning operation is left (that is, only the right crawler belt moves forward or the left crawler belt moves backward) (step S105, left), the single camera image 62 is switched to the right rear image by the camera C3 (step S107). Return to step S101. Further, when there is no traveling turning operation (that is, both the right crawler belt and the left crawler belt move forward or backward) (step S105, none), the single camera image 62 remains as the rear image and the process returns to step S101.
  • step S101, No when the driving operation is not performed (step S101, No), the display control unit 53 is configured to receive operation signals from the operation levers 11 and 12 as well. Based on the input signal, it is determined whether or not the turning operation of the upper swing body 3 by the operation levers 11 and 12 has been performed (step S108). When the turning operation is performed (step S108, Yes), it is further determined whether or not the obstacle processing unit 52 has detected an obstacle (step S109). When an obstacle is detected (Yes in step S109), the single camera image 62 on the screen of the periphery monitoring monitor 15 is switched to the single camera image 62 including the obstacle in the imaging range (step S110), and the process goes to step S101. Return.
  • step S111 the display area of the overhead image 61 is enlarged.
  • the display area of the single camera image 62 is reduced.
  • step S112 it is determined whether or not the turning operation is a right turning operation (step S112). If it is a right turn operation (step S112, Yes), the single camera image 62 is switched to the left rear image by the camera C5 (step S113), and the process returns to step S101. On the other hand, if it is not a right turn operation (step S112, No), that is, if it is a left turn operation, the single camera image 62 is switched to a right rear image by the camera C3 (step S114), and the process returns to step S101. On the other hand, when the turning operation of the upper-part turning body is not performed (No at Step S108), the single camera image 62 remains as the rear image and the process returns to Step S101.
  • the image is switched to the left rear image in the case of the right turn operation, and is switched to the right rear image in the case of the left turn operation.
  • the position of the single camera image to be switched at the time of the turn operation is appropriately set. May be.
  • the right front image and the right rear image are switched during the right turn operation, and the left front image and the left rear image are displayed during the left turn operation so that it can be determined in advance that the work implement collides with an obstacle during the turn. You may do it.
  • step S101 whether there is a traveling operation (step S101), whether there is an obstacle (step S102), whether the traveling turning operation is right, left or none (step S105), and the turning operation of the upper turning body is
  • step S108 whether it is present
  • step S112 right-turning
  • the display area of the overhead image 61 is changed. Since the enlargement is performed, when the operation of the excavator 1 is started, the bird's-eye view image 61 that can monitor the entire circumference becomes a display area of an appropriate size, and manual operation by the operator can be reduced. In addition, since control for switching a single camera image to an appropriate camera image is performed according to the operation of the hydraulic excavator 1, manual operation by the operator can be reduced.
  • the peripheral monitor 15 displays Although the screen is maintained, even if an obstacle is detected by the radars R1 to R8, the buzzer 17 may not be sounded and the obstacle information may not be displayed on the peripheral monitoring monitor 15. This is because if there are people or vehicles around the hydraulic excavator at the time of parking, it is troublesome for the operator if the buzzer 17 and the obstacle information are displayed on the peripheral monitoring monitor.
  • the present invention is not limited to this embodiment, and an embodiment in which only the overhead image 61 or only the single camera image 62 is displayed on the periphery monitoring monitor 15 may be used.
  • the processing for enlarging the overhead image display area in steps S104 and S111 includes processing for displaying the overhead image 61 from a state in which the overhead image 61 is not displayed. In that case, both the overhead image 61 and the single camera image 62 may be displayed, or only the overhead image 61 may be displayed.
  • the display area of the overhead image 61 may be larger or smaller than the display area of the single camera image 62.
  • the bird's-eye view image 61 only needs to have a larger display area than the current bird's-eye view image 61, and is not necessarily the maximum display area.
  • a machine gauge display, a menu display, a failure information display, and the like may be displayed on the periphery monitoring monitor 15 in the above-described embodiment.
  • mechanical gauge display, menu display, and failure information display may be displayed instead of the overhead view image 61 or the single camera image 62, or such information is displayed in addition to the overhead view image 61 and the single camera image 62. (Each information alone may be displayed, or a plurality of display items such as a mechanical gauge display and a failure information display may be displayed simultaneously). Then, the display area enlargement process of the overhead image 61 in the above embodiment may be applied.
  • the display area of the overhead image 61 is made larger than the single camera image, the machine gauge display, the menu display, and the failure information display by the display area expansion process in steps S104 and S111. It may be small or small.
  • the communication controller 42, the monitor controller 43, the engine controller 44, and the pump controller 45 are connected to various sensors, and based on the sensor detection results, it is determined whether an abnormality has occurred in each component in the hydraulic excavator. Yes. And when abnormality has generate
  • “when the work machine is operated” described in the claims includes at least one of a traveling operation, a turning operation, and a work machine operation.
  • the means for detecting the operation of the work machine is not limited to detecting the operation of various operation levers, and for example, a change in hydraulic pressure of an actuator (each cylinder or each hydraulic motor) accompanying the operation of the operation lever may be detected.
  • the screen of FIG. 9A has been described as the initial screen of the periphery monitoring monitor 15, but the screen of FIG. 9B may be set as the initial screen.
  • the peripheral monitoring monitor 15 is provided separately from the monitor 16, but the present invention is not limited to this, and the overhead image 61 and the single camera image 62 may be displayed on the monitor 16.
  • the periphery monitoring monitor 15 is configured as a touch panel display, a normal display without a built-in touch sensor may be used.
  • the overhead view image 61 and the single camera image 62 are displayed on the periphery monitoring monitor 15 at the same time.
  • the present invention is not limited to this, and only the overhead view image or only the single camera image is displayed in the periphery. You may comprise so that it may display on the monitoring monitor 15. FIG.
  • the touch panel display 60 is configured such that only the images captured by any one of the cameras 61 to 67 are displayed in the area where the images captured by the cameras 61 to 67 are displayed. However, it may be configured such that two or more images can be displayed simultaneously. Further, in the above-described embodiment, seven cameras are provided on the outer periphery of the upper swing body 3, but the periphery monitoring device may be configured with a smaller number of cameras, and more than this. The perimeter monitoring device may be configured by the number of cameras.
  • the periphery monitoring device is configured such that the radar and the camera cooperate.
  • the present invention is not limited to this, and the periphery monitoring device may be configured by the camera alone.
  • the present invention may be applied to a hydraulic excavator used in a construction site.
  • a hydraulic excavator is used.
  • a dump truck including a steering and an accelerator as an operation lever
  • a bulldozer including a steering and an accelerator as an operation lever
  • a wheel loader including a steering and an accelerator as an operation lever

Abstract

　本発明は、周辺監視モニタ１５と、作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに俯瞰画像６１を生成する画像処理部と、前記作業機械の動作を検出するための作業機械動作検出部と、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像６２、及び／または俯瞰画像６１、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を周辺監視モニタ１５に表示させる表示制御部と、を備え、前記表示制御部は、前記作業機械の動作を検出した場合に、周辺監視モニタ１５における俯瞰画像６１の表示領域を、作業機械の動作を検出する前における俯瞰画像６１の表示領域よりも拡大させる制御を行う。これにより、オペレータによる表示画面操作の煩わしさを低減することができる。

Description

作業機械の周辺監視装置及び作業機械の周辺監視方法
　本発明は、作業機械を動作させる操作が行われた場合、オペレータによる表示画面操作の煩わしさを低減することができる作業機械の周辺監視装置及び作業機械の周辺監視方法に関する。
　油圧ショベルなどの作業機械の分野では、車体の周辺に存在する障害物をオペレータ（運転者）が視認できるように、ミラーに加え、車体後方や車体側方に複数台のカメラを設置しているものがある。そして、カメラが撮像した画像を単カメラ画像として作業機械の運転室内のモニタに映し出している。
　また、車体の周囲３６０度を同時に監視できるように、各カメラの画像を上方視点に変換した上で各カメラの画像を合成することにより俯瞰画像を生成してモニタに表示するものがある。そして、俯瞰画像に加えてオペレータが選択したカメラが撮像した単カメラ画像をモニタに表示するものがある（特許文献１参照）。
特開２０１２－７４９２９号公報
　ところで、油圧ショベルの作業機は全周に旋回されるものであるため、油圧ショベルの周囲に障害物が存在する場合、上部旋回体を旋回させた際に作業機が障害物に衝突してしまう可能性がある。そのような衝突を防ぐため、油圧ショベルの周囲３６０度を俯瞰的に表示する画像をオペレータに提供することは重要である。しかし、俯瞰画像は単カメラ画像を上方視点に変換した画像群を合成したものであり、その画像内に映っている対象物をより詳細に確認するには適していない。そのため、上述したように、同一のモニタ上に、俯瞰画像とともに単カメラ画像が表示されるものもある。そのようなモニタにおいて、俯瞰画像と単カメラ画像とを同時に表示する場合、モニタ画面の大きさに制約があるため、俯瞰画像のみを表示した場合よりも俯瞰画像の画面サイズが小さくなる。俯瞰画像は、複数のカメラ画像を合成して１つの画像としていることから、俯瞰画像が小さいとその画像に映りこんでいる対象物を判別することが困難になるという問題がある。
　また、油圧ショベルの周囲に障害物が存在する場合、走行や旋回等の動作を行った際に障害物と衝突する可能性が高くなる。そのため、走行レバーや旋回レバーを操作した際に、油圧ショベルの周囲状況を表示することができる俯瞰画像をより大きく表示することが好ましい。
　本発明は、上記に鑑みてなされたものであって、作業機械を動作させる操作が行われた場合、俯瞰画像の表示領域を大きくさせ、オペレータによる作業機械の周囲状況を容易にすることができる作業機械の周辺監視装置及び作業機械の周辺監視方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる作業機械の周辺監視装置は、表示部と、作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、前記作業機械の動作を検出するための作業機械動作検出部と、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記作業機械の動作を検出した場合に、前記表示部における前記俯瞰画像の表示領域を、作業機械の動作を検出する前における俯瞰画像の表示領域よりも拡大させる制御を行うことを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記作業機械動作検出部は、操作レバー及び／または走行レバーの操作を検出することを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記作業機械の周囲の障害物を検出する複数のレーダを含み、前記表示制御部は、前記複数のレーダが取得した情報をもとに障害物を検出し、該障害物が存在する場合、前記表示部に障害物情報を表示させることを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、上記の発明において、前記作業機械に異常が発生したと判断するための異常判断部を備え、前記異常判断部が作業機械に何らかの異常が発生したと判断した場合に、前記表示制御部は、前記作業機械の動作を検出しても、前記表示部における前記俯瞰画像の表示領域を拡大しないことを特徴とする。
　また、本発明にかかる作業機械の周辺監視装置は、表示部と、作業機械の周囲状況を取得する複数のカメラと、前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、前記表示部に、前記俯瞰画像に加え、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示させる表示制御部と、前記俯瞰画像の表示領域の拡大を指示する指示部と、を備え、前記表示制御部は、前記指示部による操作に応じて前記俯瞰画像の表示領域の拡大処理を行うことを特徴とする。
　また、本発明にかかる作業機械の周辺監視方法は、作業機械の周囲に設けられた複数のカメラによって周囲の状況を取得する取得ステップと、前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理ステップと、前記作業機械の動作を検出するための作業機械動作検出ステップと、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御ステップと、を含み、前記表示制御ステップは、前記作業機械の動作を検出した場合に、前記表示部における前記俯瞰画像の表示領域を、作業機械の動作を検出する前における俯瞰画像の表示領域よりも拡大させる制御を行うことを特徴とする。
　本発明によれば、作業機械の動作を検出した場合に、表示部における俯瞰画像の表示領域を、作業機械の動作を検出する前における俯瞰画像の表示領域よりも拡大させる制御を行うようにしているので、オペレータによる表示画面操作の煩わしさを低減することができる。
図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。 図２は、運転室の内部配置を示す図である。 図３は、油圧ショベルの制御系全体の構成を示すブロック図である。 図４は、俯瞰画像生成部による俯瞰画像の生成処理を説明する説明図である。 図５は、カメラの配置を示す側面図である。 図６は、カメラの配置を模式的に示した平面図である。 図７は、レーダの配置を示す側面図である。 図８は、レーダの配置を模式的に示した平面図である。 図９は、周辺監視モニタの手動画像切替処理を説明する説明図である。 図１０は、コントローラによる周辺監視モニタの自動画像切替処理手順を示すフローチャートである。
　以下、添付図面を参照して本発明を実施するための形態について説明する。 
［油圧ショベルの全体構成］
　まず、図１は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。この油圧ショベル１は、作業機械の一例として示した、鉱山などで使用されるマイニングショベルなどの大型油圧ショベルである。油圧ショベル１は、自走可能な下部走行体２と、下部走行体２上に旋回自在に設置された上部旋回体３と、上部旋回体３の前部中央に屈曲起伏自在に動作する作業機４とを備える。
　作業機４は、ブーム４ａ、アーム４ｂ、バケット４ｃ、ブームシリンダ４ｄ，アームシリンダ４ｅ、及びバケットシリンダ４ｆを有する。ブーム４ａの基端部は、上部旋回体３に回転可能に連結される。ブーム４ａの先端部は、アーム４ｂの基端部に回転可能に連結される。アーム４ｂの先端部は、バケット４ｃに回転可能に連結される。ブームシリンダ４ｄ、アームシリンダ４ｅ、及びバケットシリンダ４ｆは、図示しない油圧ポンプから吐出された作動油によって駆動する油圧シリンダである。ブームシリンダ４ｄは、ブーム４ａを動作させる。アームシリンダ４ｅは、アーム４ｂを動作させる。バケットシリンダ４ｆは、リンク部材を介してバケット４ｃに連結され、バケット４ｃを動作させる。バケットシリンダ４ｆのシリンダロッドが伸縮動作することによってバケット４ｃが動作する。なお、図１では、バケット４ｃの開口が旋回中心に向いたバックホウとして機能するが、バケット４ｃの開口を旋回中心から外側に向けたフロントショベルとして機能させてもよい。
　上部旋回体３の前部左側部分には、キャブベース５を介して運転室６が設置される。上部旋回体３の後部には、パワーコンテナ７が搭載される。パワーコンテナ７内には、エンジン、油圧ポンプ、ラジエータ、オイルクーラなどが収容されている。上部旋回体３の後端部には、カウンタウェイト８が装着される。上部旋回体３の左側部には、キャブベース５の後方に位置するように昇降ラダー９が配置される。昇降ラダー９は、上部旋回体３に対する運転者や整備作業者の昇降を支援する。
［運転席］
　図２は、運転室６の内部配置を示す図である。図２に示すように、操作レバー１１，１２は、運転室６内のオペレータシート１０の左右に配置される。操作レバー１１は、オペレータがオペレータシート１０に着座した時に左手側に配置される。操作レバー１２は、オペレータがオペレータシート１０に着座した時に右手側に配置される。操作レバー１１は上部旋回体３の旋回動作とアーム４ｂの動作に対応しており、操作レバー１１を左右に操作すると上部旋回体３が左右に旋回し、操作レバー１１を上下に操作するとアーム４ｂが前後方向に回動する。操作レバー１２はブーム４ａの動作とバケット４ｃの動作に対応しており、操作レバー１２を左右に操作するとバケット４ｃが掘削・排土方向に回動し、操作レバー１２を上下に操作するとブーム４ａが上下方向に回動する。尚、操作レバー１１，１２の操作とどの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
　走行レバー１３は、操作に応じて下部走行体２の左側の履帯の前進後進を行うことができる。また、走行レバー１４は、操作に応じて下部走行体２の右履帯の前進後進を行うことができる。例えば、走行レバー１３のみを操作して左履帯を前進させると、左履帯のみ前進するものの右履帯は停止したままなので、右回りに走行旋回操作することになる。また、走行レバー１４のみを操作して右履帯を前進させると、右履帯のみ前進するものの左履帯は停止したままなので、左回りに走行旋回操作することになる。そして、走行レバー１３、１４を同時に操作すれば左右の履帯が同時に駆動し、油圧ショベル全体が前進後進することになる。
　また、運転室６の左前のフレームには、周辺監視モニタ１５とモニタ１６とブザー１７とが配置される。周辺監視モニタ１５は、タッチパネルで形成される入出力装置であり、少なくとも、複数のカメラによって取得された油圧ショベル１の周囲状況を俯瞰画像及び単カメラ画像として表示することができる。モニタ１６は、液晶表示部とキー入力部とを有した入出力装置である。モニタ１６は、エンジンや油圧ポンプなどの状態を含む各種情報を表示することができる。例えば、モニタ１６は、エンジン水温、油温、燃料の残量等の機械ゲージ表示、油圧ショベルの各種機器にどのような異常が発生しているかといった情報や過去に発生した異常に関する情報などを示す故障情報（異常発生を警告するためのアイコン等を含む）表示、オペレータが各種設定を行うためのメニュー表示などを表示することができる。また、機械ゲージ表示、故障情報表示、メニュー表示のうち、複数の表示項目を一画面に表示するようにしてもよい。
　ブザー１７は、後述する複数のレーダのいずれかによって障害物が検出された場合に、発報する。なお、障害物が検出された場合、この障害物の情報は、上述した周辺監視モニタ１５の画像上にも表示される。
［制御系の全体構成］
　図３は、油圧ショベル１の制御系全体の構成を示すブロック図である。図３に示すように、周辺監視コントローラ４０は、車内ネットワークの一つであるＣＡＮ４１に接続される。ＣＡＮ４１には、通信コントローラ４２、モニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５、操作レバー１１，１２、走行レバー１３，１４等が接続される。また、周辺監視コントローラ４０には、複数のカメラＣ１～Ｃ７からなるカメラ群Ｃ、複数のレーダＲ１～Ｒ８からなるレーダ群Ｒ、周辺監視モニタ１５、及びブザー１７が接続される。
　周辺監視コントローラ４０は、周辺監視制御を行う。周辺監視コントローラ４０は、画像処理部５１、障害物処理部５２、表示制御部５３を有する。さらに画像処理部５１は、俯瞰画像生成部５４及び画像合成部５５を有する。
　俯瞰画像生成部５４は、各カメラＣ１～Ｃ７から得られた画像をもとに俯瞰画像６１を生成する。図４に示すように、俯瞰画像生成部５４は、各カメラＣ１～Ｃ７から得られた画像Ｐ１～Ｐ７を上方視点画像に変換する。すなわち、俯瞰画像生成部５４は、油圧ショベル１の上方に位置する所定の仮想視点から見た画像に変換する。具体的に、俯瞰画像生成部５４は、油圧ショベル１の上方の仮想視点から地表面レベルＧＬに対応する所定の仮想投影面に投影する画像変換を行う。その後、俯瞰画像生成部５４は、俯瞰画像を表示するフレームの各領域Ｅ１～Ｅ７に対応する変換画像Ｐ１１～Ｐ１７を切り出し、各変換画像Ｐ１１～Ｐ１７をフレーム内で合成する。俯瞰画像生成部５４が生成する俯瞰画像６１には、油圧ショベル１の平面図に対応する画像Ｐが予め貼り付けられている。
　一方、障害物処理部５２は、レーダＲ１～Ｒ８の情報をもとに障害物を検出する。障害物処理部５２は、障害物を検出した場合、ブザー１７を鳴動して報知するとともに、検出した障害物の大きさや位置などの障害物に関する情報を画像合成部５５に出力する。画像合成部５５には、上述した俯瞰画像と各カメラＣ１～Ｃ７が撮像したカメラ画像とが入力されると共に、障害物処理部５２から障害物に関する情報が入力された場合、上述した俯瞰画像及びカメラ画像に障害物情報を合成した画像を生成する。障害物情報は、例えば、図４の領域Ｅ４における点Ａ１のような構成でよく、この点Ａ１を俯瞰画像６１に合成した上で俯瞰画像を周辺監視モニタ１５に表示する。そうすることにより、オペレータは障害物の位置や油圧ショベルからの距離を容易に把握することができる。
　障害物情報のその他の態様として、例えば、障害物が検出された場合、障害物が存在する俯瞰画像６１の領域Ｅ１～Ｅ７の外枠あるいは障害物が存在する単カメラ画像６２の外枠がブリンク表示（枠線が点滅表示）してもよい。このブリンク表示によってオペレータは障害物が存在すること自体を容易に把握することができる。なお、ブリンク表示に替えて他の強調表示にしてもよい。例えば、枠の太さを変えたり、枠の色を変えたりするようにしてもよい。上記障害物情報は、図４に記載された点Ａ１でもよいし、ブザー鳴動、ブリンク表示、その他障害物の存在をオペレータに強調させて知らせる構成であればどのような構成であってもよい。
　表示制御部５３は、画像合成部５５から出力された俯瞰画像を俯瞰画像６１として、カメラＣ１～Ｃ７が撮像した画像のうち選択されたカメラ画像を単カメラ画像６２として周辺監視モニタ１５に表示する制御を行う。また、表示制御部５３には、周辺監視モニタ１５への表示制御を行うため、操作レバー１１，１２や走行レバー１３，１４等からの操作信号が入力されるようになっている。
　モニタコントローラ４３は、モニタ１６に接続される。モニタコントローラ４３は、ＣＡＮ４１を介して各種センサから送信された情報や、モニタ１６を介して入力された情報といった各種情報の入出力制御を行う。モニタ１６は、上述したように、例えば、エンジン水温、油温、燃料の残量、機器の異常などを示す警告情報などを表示することができる。
　ポンプコントローラ４５は、エンジンコントローラ４４、モニタコントローラ４３、操作レバー１１，１２、走行レバー１３，１４等から送信された信号を受信して、図示しない油圧ポンプからの作動油の吐出量を調整するための制御指令の信号を生成する。
　操作レバー１１，１２の操作に応じて、コントロールバルブ８０により、油圧ポンプと、ブームシリンダ４ｄ，アームシリンダ４ｅ，バケットシリンダ４ｆ，旋回油圧モータ７３，油圧走行モータ７１，７２との間を接続するメインバルブの開口が制御されることにより、ブームシリンダ４ｄ、アームシリンダ４ｅ、バケットシリンダ４ｆ、旋回油圧モータ７３を駆動する。また、走行レバー１３，１４の操作に応じて、コントロールバルブ８０により油圧走行モータ７１，７２を駆動する。なお、操作レバー１１，１２、走行レバー１３，１４の操作量は、操作量検出部７０によって検出され、電気信号としてポンプコントローラ４５に出力される。
［カメラの構成と配置］
　つぎに、図５及び図６を参照して、各カメラＣ１～Ｃ７の構成と配置とについて説明する。図５は油圧ショベルの側面図を、図６は油圧ショベル上部旋回体の簡略化した平面図を示している。図６における上部旋回体の左右の端部領域には履帯が表示されるはずであるが、便宜上、左右の履帯を表示せず上部旋回体のみ表示している。すべてのカメラＣ１～Ｃ７は、上部旋回体３に取り付けられてもよい。例えば、各カメラＣ１～Ｃ７は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有する。カメラとしてＣＣＤ（Charge-Coupled　Device）カメラを用いてもよい。
　図５及び図６に示すように、具体的に、カメラＣ１は、上部旋回体３の運転室６下部であるキャブベース５の前面に設けられて上部旋回体３の前方を撮像する。カメラＣ２は、上部旋回体３の右側前方下部に設けられて上部旋回体３の右前方を撮像する。カメラＣ３は、上部旋回体３の右側側面下部に設けられて上部旋回体３の右後方を撮像する。カメラＣ４は、上部旋回体３の後方に配置されるカウンタウェイト８の後方下部中央に設けられて上部旋回体３の後方を撮像する。カメラＣ５は、上部旋回体３の左側側面下部に設けられて上部旋回体３の左後方を撮像する。カメラＣ６は、キャブベース５の上部左側面に設けられて上部旋回体３の左前方を撮像する。カメラＣ７は、パワーコンテナ７の下部に設けられ、パワーコンテナ７及びカウンタウェイト８の下部領域を撮像する。隣り合うカメラＣ１～Ｃ７の撮像範囲はオーバーラップしているため、油圧ショベルの近接位置の外周３６０度を撮像することができる。
［レーダの構成と配置］
　つぎに、図７及び図８を参照して、各レーダＲ１～Ｒ８の構成と配置とについて説明する。すべてのレーダＲ１～Ｒ８は、上部旋回体３に設けられてもよい。各レーダＲ１～Ｒ８は、油圧ショベル１の周囲に存在する障害物と油圧ショベル１との相対的な位置（相対位置）と方向とを検出する。例えば、レーダＲ１～Ｒ８は、図７及び図８に示すように、油圧ショベル１の外周部分に取り付けられる。また、例えば各レーダＲ１～Ｒ８は、方位（水平）方向８０度（±４０度）、上下（垂直）方向１６度（±８度）の検出角度を有し、検出距離が最大１５ｍ以上のＵＷＢ（Ultra Wide Band：超広帯域）レーダである。
　図７及び図８に示すように、具体的に、レーダＲ１は、上部旋回体３の前部下方左端に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ２は、上部旋回体３の前部下方右端に設けられて上部旋回体３の右前方の障害物を検出する。また、レーダＲ１，Ｒ２は、バケット４ｃ等の作業機４を検出しないよう、その設置向きが調整されており、レーダＲ１，Ｒ２の検出領域はオーバーラップしていない。レーダＲ３は、上部旋回体３の右側方下部に設けられて上部旋回体３の右後方の障害物を検出する。レーダＲ４は、上部旋回体３の右側側方下部に設けられて上部旋回体３の右前方の障害物を検出する。ここで、レーダＲ３は、レーダＲ４に隣接するとともに、レーダＲ４の位置に対して前方に配置される。そして、レーダＲ３，Ｒ４は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の右側方全面の障害物を検出する。また、レーダＲ５は、上部旋回体３のカウンタウェイト８の下部に設けられて上部旋回体３の左後方の障害物を検出する。レーダＲ６は、カウンタウェイト８の下部に設けられて上部旋回体３の右後方の障害物を検出する。ここで、レーダＲ５は、レーダＲ６に隣接するとともに、レーダＲ６の位置に対して右側に配置される。そして、レーダＲ５，Ｒ６は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の後方全面の障害物を検出する。また、レーダＲ８は、上部旋回体３の左側方下部に設けられて上部旋回体３の左前方の障害物を検出する。レーダＲ７は、上部旋回体３の左側側方下部に設けられて上部旋回体３の左後方の障害物を検出する。ここで、レーダＲ８は、レーダＲ７に隣接するとともに、レーダＲ７の位置に対して後方に配置される。そして、レーダＲ８，Ｒ７は、互いに交差するようにレーダ信号を照射することによって、上部旋回体３の左側方全面の障害物を検出する。
［周辺監視モニタの手動画像切替処理］
　図９（ａ）に示した周辺監視モニタ１５は、キーオンしたときに最初に表示される初期画面の一例である。図９（ａ）では、周辺監視モニタ１５の表示部の上部領域に俯瞰画像６１が表示され、下部領域に単カメラ画像６２が表示されている。俯瞰画像６１の領域は、単カメラ画像６２の領域よりも小さく設定されている。また、周辺監視モニタ１５の右下には、アイコンＩ１が表示されている。表示されている単カメラ画像６２は、カメラＣ４によって撮像された上部旋回体３の後方画像である。アイコンＩ１は、周辺監視モニタ１５に表示されている単カメラ画像６２が、カメラＣ１～Ｃ７の内どのカメラによって撮像された画像であるかを示すものである。図９（ａ）に示した単カメラ画像６２は、後方画像であるため、上部旋回体３の後方位置に対応するアイコンＩ１の下側領域が塗りつぶされて表示されている。なお、図９（ａ）に示した俯瞰画像６１及び単カメラ画像６２では、上部旋回体３の後方にダンプトラックＴＲが存在している。図９（ａ）では、ダンプトラックＴＲが、作業機４が配置される前方から１８０度の位置であって、外側を向き停車していることがわかる。なお、周辺監視モニタ１５は、タッチパネルで構成されている。
　俯瞰画像６１の中心位置には俯瞰画像６１と油圧ショベルの位置・方向関係をオペレータが判別しやすくするため、油圧ショベルの平面図が表示されている。その油圧ショベルの一部領域をＥ１１（指示部５６）とする。表示制御部５３は、周辺監視モニタ１５の画面が図９（ａ）の状態で、領域Ｅ１１がオペレータによってタッチされると、図９（ｂ）のように俯瞰画像６１を拡大して表示するとともに単カメラ画像６２を縮小して表示する。また、図９（ｂ）の拡大された俯瞰画像６１内の領域Ｅ１１がタッチされると、図９（ａ）のように、俯瞰画像６１を縮小して表示するとともに単カメラ画像６２を拡大して表示する。すなわち、オペレータは領域Ｅ１１をスイッチとして、図９（ａ）と図９（ｂ）の周辺監視モニタ１５の全体画像を手動切替させることができる。
　同様に、単カメラ画像６２の領域をＥ１０（指示部５６）と定義すると、表示制御部５３は、周辺監視モニタ１５の画面が図９（ａ）の状態で、領域Ｅ１０がオペレータによってタッチされると、図９（ｂ）のように単カメラ画像６２を縮小して表示するとともに俯瞰画像６１を拡大して表示する。また、図９（ｂ）の縮小された単カメラ画像６２の領域Ｅ１０がタッチされると、図９（ａ）のように単カメラ画像６２を拡大して表示するとともに俯瞰画像６１を縮小して表示する。
　本実施例では、領域Ｅ１０やＥ１１として、俯瞰画像６１や単カメラ画像６２の領域を用いたが、別途設けたアイコンをタッチしたり物理的なスイッチを切り替えることにより、図９（ａ）と図９（ｂ）とを手動にて切り替えられるようにしてもよい。なお、物理スイッチは、周辺監視モニタ、コンソール、操作レバー等に設けてもよい。
　なお、以下で説明する周辺監視モニタの自動画像切替処理により、俯瞰画像６１及び単カメラ画像６２の大きさや内容を、所定条件のもとに自動で切替処理することができる。
［周辺監視モニタの自動画像切替処理］
　図１０は、周辺監視コントローラ４０による周辺監視モニタ１５の自動画像切替処理手順を示すフローチャートである。図１０における周辺監視モニタ１５の初期画面は、キーオン時の画面である図９（ａ）の画面である。表示制御部５３には走行レバー１３，１４から操作信号が入力される構成になっているので、表示制御部５３は、入力される信号に基づき走行レバー１３，１４による走行操作が行われたか否かを判断する（ステップＳ１０１）。走行操作が行われた場合（ステップＳ１０１，Ｙｅｓ）、さらに障害物処理部５２が障害物を検出したか否かを判断する（ステップＳ１０２）。障害物が検出された場合（ステップＳ１０２，Ｙｅｓ）、周辺監視モニタ１５の画面における単カメラ画像６２を、障害物を撮像範囲に含む単カメラ画像６２に切り替え（ステップＳ１０３）、ステップＳ１０１に戻る。
　一方、障害物が検出されない場合（ステップＳ１０２，Ｎｏ）には、俯瞰画像６１の表示領域を拡大する（ステップＳ１０４）。なお、この場合、俯瞰画像６１の表示領域の拡大に伴って、単カメラ画像６２の表示領域は縮小する。なお、本実施例では初期画面として俯瞰画像６１の表示領域が小さい状態で説明したが、初期画面として俯瞰画像６１の表示領域が最大になっている場合には、そのままの表示状態を維持する。
　このように、走行レバーの操作に応じて俯瞰画像６１の表示領域を拡大することによって、オペレータが油圧ショベルの走行時に周囲の障害物を容易に認識することができるようになる。
　その後、走行レバー１３，１４による走行旋回操作が右か、左か、無しかを判断する（ステップＳ１０５）。走行旋回操作とは、右履帯もしく左履帯の一方のみを前進もしくは後進させることにより、上部旋回体３を旋回させることなく油圧ショベル１全体を旋回させる操作である。この走行旋回操作が右（すなわち、左履帯のみ前進、もしくは右履帯のみ後進）である場合（ステップＳ１０５，右）、単カメラ画像６２をカメラＣ５による左後方の画像に切り替えて（ステップＳ１０６）、ステップＳ１０１に戻る。これは、右旋回時に上部旋回体３の後部（パワーコンテナ７やカウンタウェイト８など）が左方向に旋回するため、オペレータが上部旋回体３の左後方の状況を容易に認識できるようにするためである。また、走行旋回操作が左（すなわち、右履帯のみ前進、もしくは左履帯のみ後進）である場合（ステップＳ１０５，左）、単カメラ画像６２をカメラＣ３による右後方の画像に切り替えて（ステップＳ１０７）、ステップＳ１０１に戻る。さらに、走行旋回操作が無い（すなわち、右履帯および左履帯が共に前進もしくは後進）ある場合（ステップＳ１０５，無し）、単カメラ画像６２を後方の画像のままとして、ステップＳ１０１に戻る。
　一方、走行操作が行われていない場合（ステップＳ１０１，Ｎｏ）、表示制御部５３には、操作レバー１１，１２からも操作信号が入力される構成となっているため、表示制御部５３は、入力される信号に基づき操作レバー１１，１２による上部旋回体３の旋回操作が行われたか否かを判断する（ステップＳ１０８）。旋回操作が行われた場合（ステップＳ１０８，Ｙｅｓ）、さらに障害物処理部５２が障害物を検出したか否かを判断する（ステップＳ１０９）。障害物が検出された場合（ステップＳ１０９，Ｙｅｓ）には、周辺監視モニタ１５の画面における単カメラ画像６２を、障害物を撮像範囲に含む単カメラ画像６２に切り替え（ステップＳ１１０）、ステップＳ１０１に戻る。
　障害物が検出されない場合（ステップＳ１０９３，Ｎｏ）には、俯瞰画像６１の表示領域を拡大する（ステップＳ１１１）。なお、この場合、俯瞰画像６１の表示領域の拡大に伴って、単カメラ画像６２の表示領域は縮小する。また、初期画面として俯瞰画像６１の表示領域が最大になっている場合は、そのままの表示状態を維持する。
　その後、旋回操作は、右旋回操作か否かを判断する（ステップＳ１１２）。右旋回操作である場合（ステップＳ１１２，Ｙｅｓ）には、単カメラ画像６２をカメラＣ５による左後方の画像に切り替えて（ステップＳ１１３）、ステップＳ１０１に戻る。一方、右旋回操作でない場合（ステップＳ１１２，Ｎｏ）、すなわち、左旋回操作である場合、単カメラ画像６２をカメラＣ３による右後方の画像に切り替えて（ステップＳ１１４）、ステップＳ１０１に戻る。一方、上部旋回体の旋回操作が行われない場合（ステップＳ１０８，Ｎｏ）には、単カメラ画像６２を後方の画像のままとして、ステップＳ１０１に戻る。なお、本実施例では、右旋回操作の場合に左後方画像に切り替え、左旋回操作の場合に右後方画像に切り替えるようにしていたが、旋回操作時に切り替える単カメラ画像の位置は適宜設定してもよい。例えば、旋回時に作業機が障害物に衝突することを事前に判別できるように、右旋回操作時に右前方画像や右後方画像を、左旋回操作時に左前方画像や左後方画像を切替表示するようにしてもよい。また、図１０のフローチャートでは、走行操作があるか（ステップＳ１０１）、障害物があるか（ステップＳ１０２）、走行旋回操作は右、左もしくは無しか（ステップＳ１０５）、上部旋回体の旋回操作はあるか（ステップＳ１０８）、右旋回であるか（ステップＳ１１２）といった分岐を一つのフローチャートに組み込んだもので説明したが、それぞれの分岐が単独のフローチャートにおいて行われてもよいし、これらの分岐を適宜組み合わせてもよい。
　本実施の形態による周辺監視モニタ１５の自動画像切替処理では、操作レバー１１，１２や走行レバー１３，１４を用いて油圧ショベル１を動作させる操作が行われた場合、俯瞰画像６１の表示領域を拡大させるようにしているので、油圧ショベル１の操作開始時に、全周を監視できる俯瞰画像６１が適切な大きさの表示領域となり、オペレータによる手動操作を軽減することができる。また、油圧ショベル１の操作に応じて単カメラ画像を適切なカメラの画像に切り替える制御を行っているので、オペレータによる手動操作を軽減することができる。
　なお、ロックレバー（作業機、旋回、走行のすべての油圧回路の流路を遮断するレバー）が作動されていたり旋回ロックなどが設定されている駐車時であっても、周辺監視モニタ１５の表示画面は維持されるが、レーダＲ１～Ｒ８によって障害物が検出されても、ブザー１７による鳴動や障害物情報の周辺監視モニタ１５への表示を行わないようにしてもよい。駐車時に油圧ショベルの周囲に人や車両が存在していた場合に、ブザー１７による鳴動や障害物情報が周辺監視モニタに表示されているとオペレータにとって煩わしいからである。
　また、上述した実施の形態では、俯瞰画像６１と単カメラ画像６２とが共に表示された状態を前提として説明した。しかし、この実施形態に限らず、俯瞰画像６１のみ、もしくは単カメラ画像６２のみを周辺監視モニタ１５に表示する実施形態でもよい。例えば、単カメラ画像６２のみが表示されていた場合、ステップＳ１０４，Ｓ１１１による俯瞰画像の表示領域拡大処理は、俯瞰画像６１が表示されていない状態から俯瞰画像６１を表示させる処理も含まれる。その場合、俯瞰画像６１と単カメラ画像６２を両方表示するようにしてもよいし、俯瞰画像６１のみを表示するようにしてもよい。俯瞰画像６１と単カメラ画像６２を両方表示するようにした場合、俯瞰画像６１の表示領域が、単カメラ画像６２の表示領域に比して大きくてもよいし小さくてもよい。なお、俯瞰画像６１は、現在の俯瞰画像６１よりも表示領域が拡大すればよく、必ずしも最大表示領域とする必要はない。
　また、上述の実施形態における周辺監視モニタ１５に、機械ゲージ表示、メニュー表示、故障情報表示などを表示させるようにしてもよい。具体的には、俯瞰画像６１または単カメラ画像６２の代わりに機械ゲージ表示、メニュー表示、故障情報表示を表示させてもよいし、俯瞰画像６１、単カメラ画像６２に加えてそれらの情報を表示させてもよい（それぞれの情報単独を表示させてもよいし、機械ゲージ表示と故障情報表示といった複数の表示項目を同時に表示させてもよい）。その上で上記実施形態における俯瞰画像６１の表示領域拡大処理を適用してもよい。
　例えば、機械ゲージ表示、メニュー表示、故障情報表示のいずれかが周辺監視モニタ１５に表示されている場合において、操作レバー１１，１２や走行レバー１３，１４が操作された際に俯瞰画像が表示されるようになるため、レバー操作前にどのような画面であっても確実に周囲の状況を確認することができる。また、例えば、俯瞰画像に加え、単カメラ画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示が表示されている場合において、操作レバーなどが操作された際に俯瞰画像が拡大して表示されるようになるため、より詳細に周囲の状況を確認することができる。上記２つの例は、手動切替処理の場合であっても同様の効果が奏される。
　なお自動切替処理のケースでは、ステップＳ１０４，Ｓ１１１による俯瞰画像の表示領域拡大処理により、俯瞰画像６１の表示領域を単カメラ画像や機械ゲージ表示、メニュー表示、故障情報表示に比して大きくするようにしてもよいし小さくてもよい。
　なお、通信コントローラ４２やモニタコントローラ４３、エンジンコントローラ４４、ポンプコントローラ４５には、各種センサと接続されており、そのセンサ検出結果に基づいて油圧ショベルにおける各コンポーネントに異常が発生しているか判断している。そして、各コンポーネントのいずれかに異常が発生している場合には、異常の内容によっては、それ以上の油圧ショベルの運転を継続することが好ましくない。そのため、油圧ショベルに何らかの異常が発生したと判断した場合には、操作レバーなどが操作されたとしても俯瞰画像を拡大表示しないようにしてもよい。
　加えて、上述した実施形態では、走行操作、旋回操作の場合で説明したが、作業機を操作した場合に同様の表示領域拡大処理がなされてもよい。油圧ショベルの周辺に障害物が存在していた場合、オペレータが油圧ショベルの周囲の状況を確認する必要があるためである。
　よって、請求項に記載された「作業機械を動作させた場合」とは、少なくとも走行操作、旋回操作、作業機操作のいずれかを含んでいる。また、作業機械の動作を検出する手段として、各種操作レバーの操作検出に限らず、例えば操作レバーの操作に伴うアクチュエータ（各シリンダや各油圧モータ）の油圧変化を検出する等してもよい。
　なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　前記実施形態では、図９（ａ）の画面を周辺監視モニタ１５の初期画面として説明したが、図９（ｂ）の画面を初期画面に設定してもよい。また、モニタ１６とは別に周辺監視モニタ１５を設けていたが、本発明はこれに限られず、モニタ１６上に俯瞰画像６１や単カメラ画像６２を表示するように構成してもよい。また、周辺監視モニタ１５をタッチパネルディスプレイとして構成していたが、タッチセンサを内蔵しない通常のディスプレイを用いてもよい。
　前記実施形態では、周辺監視モニタ１５上に俯瞰画像６１と、単カメラ画像６２を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを周辺監視モニタ１５上に表示するように構成してもよい。
　また、前記実施形態では、タッチパネルディスプレイ６０におけるカメラ６１～６７で撮像された画像が表示される領域には、カメラ６１～６７の内いずれかのカメラで撮像した画像しか表示されないよう構成していたが、同時に二つ以上の画像を表示できるように構成してもよい。また、上述した実施の形態では、上部旋回体３の外周にカメラを７台設けていたが、これよりも少ないカメラの台数で周辺監視装置を構成してもよく、さらにはこれよりも多くのカメラの台数で周辺監視装置を構成してもよい。
　さらに、上述した実施の形態では、周辺監視装置は、レーダとカメラが協働するように構成していたが、これに限らず、カメラ単独で周辺監視装置を構成してもよい。
　また、鉱山などで使用されるマイニング用油圧ショベルに基づいて説明したが、建設現場において用いられる油圧ショベルにて本発明を適用してもよい。
　なお、上記実施形態では油圧ショベルを用いて説明したが、作業機械であれば、ダンプトラック（操作レバーとしてステアリングやアクセルも含む）、ブルドーザー、ホイールローダー（操作レバーとしてステアリングやアクセルも含む）等の作業機械に本発明を適用してもよい。
　　１　油圧ショベル
　　２　下部走行体
　　３　上部旋回体
　　４ａ　ブーム
　　４ｂ　アーム
　　４ｃ　バケット
　　４ｄ　ブームシリンダ
　　４ｅ　アームシリンダ
　　４ｆ　バケットシリンダ
　　４　作業機
　　５　キャブベース
　　６　運転室
　　７　パワーコンテナ
　　８　カウンタウェイト
　　９　昇降ラダー
　　１０　オペレータシート
　　１１，１２　操作レバー
　　１３，１４　走行レバー
　　１５　周辺監視モニタ
　　１６　モニタ
　　１７　ブザー
　　４０　周辺監視コントローラ
　　４２　通信コントローラ
　　４３　モニタコントローラ
　　４４　エンジンコントローラ
　　４５　ポンプコントローラ
　　５１　画像処理部
　　５２　障害物処理部
　　５３　表示制御部
　　５４　俯瞰画像生成部
　　５５　画像合成部
　　５６　指示部
　　６１　俯瞰画像
　　６２　単カメラ画像
　　６３　領域
　　７０　操作量検出部
　　７１，７２　油圧走行モータ
　　７３　旋回油圧モータ
　　８０　コントロールバルブ
　　Ｃ　カメラ群
　　Ｃ１～Ｃ７　カメラ
　　ＣＴ　旋回中心
　　Ｅ１～Ｅ７，Ｅ１０，Ｅ１１　領域
　　ＧＬ　地表面レベル
　　Ｉ１　アイコン
　　Ｐ，Ｐ１～Ｐ７　画像
　　Ｐ１１～Ｐ１７　変換画像
　　Ｒ　レーダ群
　　Ｒ１～Ｒ８　レーダ
　　ＴＲ　ダンプトラック

Claims (6)

  1. 　表示部と、
    　作業機械の周囲状況を取得する複数のカメラと、
    　前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、
    　前記作業機械の動作を検出するための作業機械動作検出部と、
    　前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御部と、を備え、
    　前記表示制御部は、前記作業機械の動作を検出した場合に、前記表示部における前記俯瞰画像の表示領域を、作業機械の動作を検出する前における俯瞰画像の表示領域よりも拡大させる制御を行うことを特徴とする作業機械の周辺監視装置。
  2. 　前記作業機械動作検出部は、操作レバー及び／または走行レバーの操作を検出することを特徴とする請求項１に記載の作業機械の周辺監視装置。
  3. 　前記作業機械の周囲の障害物を検出する複数のレーダを含み、
    　前記表示制御部は、前記複数のレーダが取得した情報をもとに障害物を検出し、該障害物が存在する場合、前記表示部に障害物情報を表示させることを特徴とする請求項１に記載の作業機械の周辺監視装置。
  4. 　前記作業機械に異常が発生したと判断するための異常判断部を備え、
    　前記異常判断部が作業機械に何らかの異常が発生したと判断した場合に、前記表示制御部は、前記作業機械の動作を検出しても、前記表示部における前記俯瞰画像の表示領域を拡大しないことを特徴とする請求項１に記載の作業機械の周辺監視装置。
  5. 　表示部と、
    　作業機械の周囲状況を取得する複数のカメラと、
    　前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理部と、
    　前記表示部に、前記俯瞰画像に加え、前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示させる表示制御部と、
    　前記俯瞰画像の表示領域の拡大を指示する指示部と、を備え、
    　前記表示制御部は、前記指示部による操作に応じて前記俯瞰画像の表示領域の拡大処理を行うことを特徴とする作業機械の周辺監視装置。
  6. 　作業機械の周囲に設けられた複数のカメラによって周囲の状況を取得する取得ステップと、
    　前記複数のカメラが撮像した画像をもとに俯瞰画像を生成する画像処理ステップと、
    　前記作業機械の動作を検出するための作業機械動作検出ステップと、
    　前記複数のカメラのうち１つもしくは複数のカメラの画像である単カメラ画像、及び／または前記俯瞰画像、及び／または機械ゲージ表示、及び／またはメニュー表示、及び／または故障情報表示を表示部に表示させる表示制御ステップと、を含み、
    　前記表示制御ステップは、前記作業機械の動作を検出した場合に、前記表示部における前記俯瞰画像の表示領域を、作業機械の動作を検出する前における俯瞰画像の表示領域よりも拡大させる制御を行うことを特徴とする作業機械の周辺監視方法。
PCT/JP2015/062910 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法 WO2015125979A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
PCT/JP2015/062910 WO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2015526806A JPWO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法
AU2016255874A AU2016255874B2 (en) 2015-04-28 2016-03-16 Surrounding monitoring device of work machine and method of monitoring surroundings of work machine
JP2016567871A JP6427597B2 (ja) 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法
CA2959480A CA2959480C (en) 2015-04-28 2016-03-16 Surrounding monitoring device of work machine and method of monitoring surroundings of work machine
CN201680002543.4A CN107075840B (zh) 2015-04-28 2016-03-16 作业机械的周边监视装置以及作业机械的周边监视方法
PCT/JP2016/058396 WO2016174953A1 (ja) 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法
US15/507,867 US10717200B2 (en) 2015-04-28 2016-03-16 Surrounding monitoring device of work machine and method of monitoring surroundings of work machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062910 WO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法

Publications (1)

Publication Number Publication Date
WO2015125979A1 true WO2015125979A1 (ja) 2015-08-27

Family

ID=53878473

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2015/062910 WO2015125979A1 (ja) 2015-04-28 2015-04-28 作業機械の周辺監視装置及び作業機械の周辺監視方法
PCT/JP2016/058396 WO2016174953A1 (ja) 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058396 WO2016174953A1 (ja) 2015-04-28 2016-03-16 作業機械の周辺監視装置及び作業機械の周辺監視方法

Country Status (6)

Country Link
US (1) US10717200B2 (ja)
JP (2) JPWO2015125979A1 (ja)
CN (1) CN107075840B (ja)
AU (1) AU2016255874B2 (ja)
CA (1) CA2959480C (ja)
WO (2) WO2015125979A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017068934A1 (ja) * 2015-10-22 2017-04-27 新明和工業株式会社 コンテナ荷役車両
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017102606A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017102605A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017101420A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
CN107034941A (zh) * 2015-10-28 2017-08-11 住友建机株式会社 挖土机
WO2017191853A1 (ja) * 2017-06-28 2017-11-09 株式会社小松製作所 作業機械の表示装置及び表示システム
WO2018047954A1 (ja) * 2016-09-09 2018-03-15 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法及びプログラム
JP2018039476A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2018042205A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JPWO2017047654A1 (ja) * 2015-09-15 2018-06-28 住友建機株式会社 ショベル
WO2018123001A1 (ja) * 2016-12-28 2018-07-05 株式会社小松製作所 作業車両および作業車両の制御システム
CN110121739A (zh) * 2017-12-06 2019-08-13 株式会社小松制作所 作业车辆的周边监视系统及作业车辆的周边监视方法
KR20200133720A (ko) * 2018-03-30 2020-11-30 스미토모 겐키 가부시키가이샤 쇼벨
CN117565087A (zh) * 2024-01-16 2024-02-20 陕西开来机电设备制造有限公司 Ai视觉矿用固定监测机器人及其监测方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6480830B2 (ja) * 2015-08-24 2019-03-13 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP6713190B2 (ja) * 2015-10-09 2020-06-24 住友重機械工業株式会社 ショベル操作装置及びショベル操作方法
US10023450B2 (en) * 2016-08-22 2018-07-17 Joseph Jeffries Boom truck bucket remote control assembly
DE102016011354A1 (de) * 2016-09-20 2018-03-22 Liebherr-Werk Biberach Gmbh Steuerstand für einen Kran, Bagger und dergleichen
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP6980391B2 (ja) * 2017-01-25 2021-12-15 住友重機械工業株式会社 作業機械用周辺監視システム
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
JPWO2019026802A1 (ja) * 2017-07-31 2020-07-27 住友重機械工業株式会社 ショベル
WO2019049288A1 (ja) * 2017-09-07 2019-03-14 日立建機株式会社 建設機械
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
WO2019239725A1 (ja) * 2018-06-14 2019-12-19 日立オートモティブシステムズ株式会社 車両制御装置
CN109781726B (zh) * 2018-12-06 2021-02-19 浙江省海洋水产研究所 沉底式产卵场监测设备
CN109653269B (zh) * 2018-12-11 2021-02-26 龙岩学院 一种基于模式识别的工程机械智能控制系统
JP7099358B2 (ja) * 2019-02-20 2022-07-12 コベルコ建機株式会社 作業機械用表示システム
JP2020136914A (ja) * 2019-02-20 2020-08-31 コベルコ建機株式会社 作業機械用周辺監視装置
KR20220002343A (ko) * 2019-04-26 2022-01-06 스미토모 겐키 가부시키가이샤 표시장치, 쇼벨, 정보처리장치
CN109968385A (zh) * 2019-05-13 2019-07-05 金陵科技学院 一种农业用软体机器人
JP7201548B2 (ja) * 2019-07-12 2023-01-10 株式会社小松製作所 作業機械
CN111002905A (zh) * 2019-11-15 2020-04-14 安徽机电职业技术学院 一种具有碰撞预警功能的汽车全景辅助系统及其使用方法
CN111061211A (zh) * 2019-12-24 2020-04-24 中联重科股份有限公司 用于工程机械的监控系统及其控制方法
JP7291645B2 (ja) * 2020-01-31 2023-06-15 株式会社小松製作所 作業機械の誤操作を防止するためのシステム、制御方法、およびショベル
JP7476558B2 (ja) 2020-02-15 2024-05-01 コベルコ建機株式会社 作業機械の遠隔操作支援システム
JP2021134482A (ja) * 2020-02-21 2021-09-13 株式会社小松製作所 作業機械及び作業機械の遠隔操作システム
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP2021147895A (ja) * 2020-03-19 2021-09-27 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7438807B2 (ja) * 2020-03-25 2024-02-27 住友建機株式会社 ショベルの施工支援システム
US20230123942A1 (en) * 2020-05-29 2023-04-20 Hitachi Construction Machinery Co., Ltd. Work machine
CN111645077A (zh) * 2020-06-19 2020-09-11 国电南瑞科技股份有限公司 配网线路带电作业机器人地面监控系统及监控方法
DE102020214291B3 (de) * 2020-11-13 2022-03-17 Tadano Faun Gmbh Kran, insbesondere Mobilkran
US20220410803A1 (en) * 2021-06-23 2022-12-29 Caterpillar Paving Products Inc. Asphalt compactor birds eye camera integration
CN116022174A (zh) * 2023-03-29 2023-04-28 北京易控智驾科技有限公司 远程驾驶信息显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012046124A (ja) * 2010-08-30 2012-03-08 Fujitsu Ten Ltd 画像表示システム、画像処理装置、および、画像表示方法
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置
JP2014180046A (ja) * 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2015076645A (ja) * 2013-10-04 2015-04-20 本田技研工業株式会社 車両周辺表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP5476687B2 (ja) * 2008-07-24 2014-04-23 株式会社デンソー 車両用表示装置
JP5128566B2 (ja) 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP5269026B2 (ja) 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP5719040B1 (ja) * 2013-08-20 2015-05-13 株式会社小松製作所 建設機械用コントローラ
JP6106754B2 (ja) 2013-08-26 2017-04-05 日立建機株式会社 作業機械の周囲監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012046124A (ja) * 2010-08-30 2012-03-08 Fujitsu Ten Ltd 画像表示システム、画像処理装置、および、画像表示方法
JP2014180046A (ja) * 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置
JP2015076645A (ja) * 2013-10-04 2015-04-20 本田技研工業株式会社 車両周辺表示装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10927528B2 (en) 2015-09-15 2021-02-23 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel
JPWO2017047654A1 (ja) * 2015-09-15 2018-06-28 住友建機株式会社 ショベル
JPWO2017068934A1 (ja) * 2015-10-22 2018-08-16 新明和工業株式会社 コンテナ荷役車両
WO2017068934A1 (ja) * 2015-10-22 2017-04-27 新明和工業株式会社 コンテナ荷役車両
CN107034941A (zh) * 2015-10-28 2017-08-11 住友建机株式会社 挖土机
CN107034941B (zh) * 2015-10-28 2021-01-19 住友建机株式会社 挖土机
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
US11697920B2 (en) 2015-11-30 2023-07-11 Sumitomo Heavy Industries, Ltd. Surroundings monitoring system for work machine
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017102606A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017102605A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2017101420A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP2018042207A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2018042205A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2018039476A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
WO2018047954A1 (ja) * 2016-09-09 2018-03-15 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法及びプログラム
WO2018123001A1 (ja) * 2016-12-28 2018-07-05 株式会社小松製作所 作業車両および作業車両の制御システム
JPWO2018123001A1 (ja) * 2016-12-28 2019-10-31 株式会社小松製作所 作業車両および作業車両の制御システム
CN109644250A (zh) * 2016-12-28 2019-04-16 株式会社小松制作所 作业车辆及作业车辆的控制系统
US11549237B2 (en) 2016-12-28 2023-01-10 Komatsu Ltd. Work vehicle and control system for work vehicle
WO2017191853A1 (ja) * 2017-06-28 2017-11-09 株式会社小松製作所 作業機械の表示装置及び表示システム
US10294635B2 (en) 2017-06-28 2019-05-21 Komatsu Ltd. Display device and display system of work machine
JPWO2017191853A1 (ja) * 2017-06-28 2018-05-17 株式会社小松製作所 作業機械の表示装置及び表示システム
JPWO2019111357A1 (ja) * 2017-12-06 2019-12-12 株式会社小松製作所 ホイールローダの周辺監視システム及びホイールローダの周辺監視方法
US10442442B2 (en) 2017-12-06 2019-10-15 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle periphery monitoring method
CN110121739A (zh) * 2017-12-06 2019-08-13 株式会社小松制作所 作业车辆的周边监视系统及作业车辆的周边监视方法
KR20200133720A (ko) * 2018-03-30 2020-11-30 스미토모 겐키 가부시키가이샤 쇼벨
KR102652955B1 (ko) 2018-03-30 2024-03-28 스미토모 겐키 가부시키가이샤 쇼벨
CN117565087A (zh) * 2024-01-16 2024-02-20 陕西开来机电设备制造有限公司 Ai视觉矿用固定监测机器人及其监测方法
CN117565087B (zh) * 2024-01-16 2024-03-29 陕西开来机电设备制造有限公司 Ai视觉矿用固定监测机器人及其监测方法

Also Published As

Publication number Publication date
JPWO2016174953A1 (ja) 2017-05-18
US10717200B2 (en) 2020-07-21
CA2959480C (en) 2019-07-30
JP6427597B2 (ja) 2018-11-21
JPWO2015125979A1 (ja) 2018-02-15
CA2959480A1 (en) 2016-11-03
CN107075840B (zh) 2020-03-17
WO2016174953A1 (ja) 2016-11-03
US20170305018A1 (en) 2017-10-26
AU2016255874A1 (en) 2017-03-23
AU2016255874B2 (en) 2018-07-26
CN107075840A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
WO2015125979A1 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6216097B2 (ja) 作業機械の周辺監視装置
JP6200121B2 (ja) 作業機械の周辺監視装置
WO2016174754A1 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6901605B2 (ja) 油圧ショベル
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
JP6071786B2 (ja) 作業機械の周囲監視装置
JP2016194237A (ja) 作業機械
JP7349880B2 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP6188858B2 (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015526806

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15752485

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15752485

Country of ref document: EP

Kind code of ref document: A1