WO2015008751A1 - 作業機械の周囲監視装置 - Google Patents

作業機械の周囲監視装置 Download PDF

Info

Publication number
WO2015008751A1
WO2015008751A1 PCT/JP2014/068791 JP2014068791W WO2015008751A1 WO 2015008751 A1 WO2015008751 A1 WO 2015008751A1 JP 2014068791 W JP2014068791 W JP 2014068791W WO 2015008751 A1 WO2015008751 A1 WO 2015008751A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work machine
virtual viewpoint
camera
excavator
Prior art date
Application number
PCT/JP2014/068791
Other languages
English (en)
French (fr)
Inventor
守飛 太田
石本　英史
古渡　陽一
慶仁 稲野辺
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Publication of WO2015008751A1 publication Critical patent/WO2015008751A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a surrounding monitoring device for a work machine.
  • Patent Document 1 discloses a monitoring camera device in which a front monitoring camera is provided at a lower portion of a boom of a front attachment pivotally attached to a hydraulic excavator.
  • a surrounding monitoring device for a work machine having a front work machine and a machine main body includes a first imaging unit provided on a machine main body on one side of the front work machine, and the front work machine.
  • a second imaging unit provided on the other machine body, and an imaging device that images a front region of the work machine including a part of the machine body, and an image acquired by the imaging device is an upper viewpoint
  • the display device that displays the virtual viewpoint image generated by the image generation device the display device displays a partial image representing a part of the work machine,
  • the virtual viewpoint image is displayed superimposed on the virtual viewpoint image so that the virtual viewpoint image can be viewed through the partial image.
  • the imaging area of the first imaging unit is located on the side of one side of the work machine in addition to the front area of the work machine. It preferably includes a region.
  • the first imaging unit and the second imaging unit are arranged substantially symmetrically with respect to the front work machine. Is preferable.
  • the imaging device in the work machine surrounding monitoring apparatus according to any one of the first to third aspects, includes a side region and a rear side of the work machine in addition to the front region of the work machine. It is preferable that the area is imaged and the display device displays a virtual viewpoint image around the entire working machine.
  • the present invention it is possible to provide a work machine surroundings monitoring device capable of monitoring the front area of the work machine without being blocked by the front work machine regardless of the operating state of the front work machine.
  • FIG. 1 is a side view of a hydraulic excavator equipped with a surrounding monitoring device according to a first embodiment of the present invention.
  • FIG. 2 is a front view of the excavator shown in FIG.
  • FIG. 3 is a top view of the excavator shown in FIG.
  • FIG. 4 is a top view schematically showing the cab.
  • FIG. 5 is a block diagram showing the configuration of the surroundings monitoring apparatus according to the first embodiment.
  • FIG. 6 is a top view schematically showing the excavator and the surroundings.
  • FIG. 7 is a diagram illustrating an example of a surrounding image of the hydraulic excavator displayed on the display monitor.
  • FIG. 8 is a diagram illustrating an example of a surrounding image of the hydraulic excavator displayed on the display monitor.
  • FIGS. 9A and 9B are a top view schematically showing the surroundings when the excavator is turning, and an example of an image around the excavator displayed on the display monitor.
  • FIGS. 10A and 10B are a top view schematically showing a surrounding state when the excavator advances, and an example of a surrounding image of the excavator displayed on the display monitor.
  • FIG. 11 is a side view of a hydraulic excavator equipped with a surrounding monitoring apparatus according to the second embodiment of the present invention.
  • 12 is a front view of the excavator shown in FIG. 13 is a top view of the excavator shown in FIG.
  • FIG. 14 is a block diagram showing the configuration of the surroundings monitoring apparatus according to the second embodiment.
  • FIG. 15 is a top view schematically showing the excavator and the surroundings.
  • FIGS. 16A and 16B are examples of images taken by the left front camera and the right front camera.
  • FIG. 17 is a diagram illustrating an example of a surrounding image of the hydraulic excavator displayed on the display monitor.
  • FIG. 1 is a side view of a hydraulic excavator 10 equipped with a surrounding monitoring device according to a first embodiment of the present invention
  • FIG. 2 is a front view of the hydraulic excavator 10 shown in FIG. 1
  • FIG. 3 is shown in FIG. 1 is a top view of a hydraulic excavator 10.
  • FIG. 1 the illustration of the front working machine (front attachment) of the excavator 10 is omitted.
  • the hydraulic excavator 10 includes a lower traveling body 13 having a pair of crawlers 11 and 12 and an upper revolving body 14 provided on the lower traveling body 13 so as to be able to swivel.
  • the upper swing body 14 includes an upper step portion 14a and a lower step portion 14b. In FIG. 3, the hatched portion corresponds to the lower step portion 14b.
  • a cab 15 is provided on the front left side of the upper swing body 14, and a front work machine 19 including a boom 16, an arm 17, and a bucket 18 is provided at the front center of the upper swing body 14.
  • a portion of the excavator 10 excluding the front working machine 19 is a machine body of the excavator 10.
  • the crawlers 11 and 12 of the lower traveling body 13 are each driven by a traveling motor (not shown).
  • the upper turning body 14 turns with respect to the lower traveling body 13 by a turning motor (not shown) provided at the center thereof.
  • the boom 16, the arm 17 and the bucket 18 are moved up and down (rotated) by expansion and contraction of a boom cylinder, an arm cylinder and a bucket cylinder (not shown).
  • Each of these motors and each cylinder is driven by pressure oil from a hydraulic pump provided in the engine compartment of the upper swing body 14.
  • FIG. 4 is a top view schematically showing the inside of the cab 15.
  • the cab 15 includes a driver's seat 20, console boxes 21 a and 21 b provided on the left and right sides of the driver seat 20, and travel pedals 23 a and 23 b provided on the floor in front of the driver seat 20.
  • a controller 110 provided behind the driver's seat 20 and a display device 120 provided on the front left side of the driver's seat 20.
  • the console boxes 21a and 21b are provided with operation levers 22a and 22b that are operated by an operator in order to drive the front work machine 19 and to turn the upper swing body 14.
  • the operation levers 22a and 22b are configured to be swingable in the front-rear and left-right directions.
  • the travel pedals 23a and 23b are depressed in the front-rear direction by an operator to drive and control the crawlers 11 and 12.
  • the travel pedals 23a and 23b are provided with operation levers 24a and 24b for travel.
  • FIG. 5 is a block diagram showing a configuration of the surroundings monitoring apparatus 100 according to the first embodiment.
  • the surrounding monitoring device 100 includes a controller 110, a display device 120, and an imaging device 130.
  • the imaging device 130 is a device for acquiring an image of the entire periphery of the excavator 10, and includes a left front side camera 131, a right front camera 132, a right side camera 133, and a rear camera 134.
  • the left front side camera 131 is installed in the lower left front part of the cab 15 and is configured to be able to image a region from the front left side to the left side of the excavator 10 as indicated by a broken line in FIGS. Has been.
  • the imaging area of the left front side camera 131 is set so as to include a part of the excavator 10.
  • the left front side camera 131 is configured to be able to capture an image directly below the cab 15 that is a blind spot for the operator.
  • the right front camera 132 is installed in the right front portion of the upper swing body 14, and is configured to be able to image the front right region of the excavator 10 as indicated by a broken line in FIG.
  • the imaging area of the right front camera 132 is set so as to include a part of the excavator 10.
  • some of the crawlers 11 and 12 of the lower traveling body 13 are also included in the image captured by the left front side camera 131 and the right front camera 132. It will be included (see FIG. 7).
  • the right side camera 133 is installed in the right side portion of the upper swing body 14 and is configured to be able to image the right side region of the excavator 10.
  • the rear camera 134 is installed at the rear part of the upper swing body 14 and is configured to be able to image a region behind the hydraulic excavator 10.
  • Each of the cameras 131 to 134 has an angle of view and an optical axis direction set so that a part of the imaging area overlaps as shown by a broken line in FIGS. 1 and 2, for example. Images of the entire periphery of the excavator 10 can be acquired by 131 to 134.
  • the left front side camera 131 and the right front camera 132 position the left side of the front work machine 19 so that the left front area and the right front area of the front work machine 19 are respectively imaged. It is installed at each position on the right side. Thereby, the front area of the hydraulic excavator 10 can be imaged by the left front side camera 131 and the right front camera 132 without being blocked by the front work machine 19 regardless of the operating state and the operation posture of the front work machine 19. .
  • the right front camera 132 is disposed near the front work machine 19 in the right front portion of the excavator 10 in order to capture an area on the right front side of the excavator 10.
  • the left front side camera 131 captures the left side area in addition to the left side area in front of the excavator, so that the left end of the left front portion of the excavator 10, that is, the farthest position from the front work machine 19 is used. Has been placed.
  • the left front side camera 131, the right front camera 132, the right side camera 133, and the rear camera 134 capture an image including the immediate area of the excavator 10 that becomes a blind spot from the operator in the cab 15. Therefore, it is arranged at a position that is the outermost edge of the upper swing body 14. Further, since the images captured by the cameras 131 to 134 are combined as will be described later, the cameras 131 to 134 are arranged at substantially the same height in the upper stage portion 14a of the upper swing body 14.
  • the lower step portion 14b of the upper swing body 14 has a portion protruding outward from the upper step portion 14a, the left front side camera 131, the right front camera 132, and the rear camera 134 are the outermost edges of the lower step portion 14b. It is supported by extension bars 131a, 132a, 134a so as to be arranged at a position corresponding to the outermost edge of the upper swing body 14.
  • the image data of the surrounding image of the excavator 10 captured by the cameras 131 to 134 is input to the controller 110.
  • the controller 110 is an electronic control unit composed of a CPU and CPU peripheral components such as a ROM and a RAM, and controls the entire surroundings monitoring device 100.
  • the controller 110 configures an image correction processing unit 111, an image conversion unit 112, an image composition processing unit 113, and a display screen setting unit 114, for example, depending on the software form of the CPU.
  • the controller 110 performs viewpoint conversion on the image data input from the imaging device 130 so as to become the upper viewpoint, and displays the virtual viewpoint image on the display device 120.
  • the image correction processing unit 111, the image conversion unit 112, and the image composition processing unit 113 constitute an image generation apparatus. The control in the controller 110 will be described later.
  • the display device 120 includes a display monitor 121 that is an image display unit including a liquid crystal panel, for example, and a screen switching operation member 122. Characters and images are displayed on the display monitor 121 in accordance with signals from the controller 110.
  • the screen switching operation member 122 is an operation member that is operated by an operator to switch the display screen displayed on the display monitor 121, and includes, for example, a switch.
  • image data from the rear camera 134 will be described as an example.
  • image data input from the rear camera 134 is input to the image correction processing unit 111.
  • the image correction processing unit 111 performs image correction such as aberration correction, contrast correction, and color tone correction based on camera optical system parameters on the image data, and improves the image quality of the input image.
  • the image conversion unit 112 generates a virtual viewpoint image based on the image data input from the image correction processing unit 111. As indicated by a one-dot chain line in FIG. 1, the angle formed by the optical axis of the rear camera 134 with respect to the ground contact surface L of the excavator 10 is ⁇ . That is, an image having an angle ⁇ with respect to the ground plane L is obtained from the rear camera 134.
  • the image conversion unit 112 performs coordinate conversion on the image data obtained from the rear camera 134 so that the optical axis of the virtual viewpoint VF with the ground plane L as a virtual plane is vertical, thereby creating a virtual viewpoint image. Thereby, the camera image from obliquely above with an angle ⁇ with respect to the ground plane L is converted into a virtual viewpoint image from the upper viewpoint, that is, an overhead image.
  • the image conversion unit 112 similarly performs coordinate conversion on the image data obtained from the left front side camera 131, the right front camera 132, and the right side camera 133 to create a virtual viewpoint image.
  • the image composition processing unit 113 is a virtual viewpoint left front side image based on the image data of the left front side camera 131, a virtual viewpoint right front image based on the image data of the right front camera 132, and a virtual viewpoint based on the image data of the right side camera 133.
  • the right side image and the virtual viewpoint rear image based on the image data of the rear camera 134 are combined to generate a virtual viewpoint image corresponding to the bird's-eye view image of the entire periphery of the excavator 10.
  • the image composition processing unit 113 rotates the image data obtained from the right-side camera 133 by 90 degrees in the right direction, and rotates the image data obtained from the rear camera 134 by 180 degrees to compose the image data.
  • the display screen setting unit 114 sets a display range when displaying the virtual viewpoint image generated by the image composition processing unit 113 in accordance with a signal from the image switching operation member 122.
  • a virtual viewpoint image of the entire periphery of the excavator 10 is displayed in accordance with a signal from the controller 110.
  • the virtual viewpoint image displayed on the display monitor 121 is sequentially updated based on the image data input from the imaging device 130.
  • FIG. 6 schematically shows the excavator 10 and the surroundings.
  • FIG. 7 shows a display example of the display device 120 in the situation as shown in FIG. As shown in FIG. 6, a dump truck 50 a is stopped in front of the excavator 10, and a dump truck 50 b is stopped on the left side of the excavator 10.
  • the display monitor 121 displays a work machine image 60 in which a plan view of the hydraulic excavator 10 is formed in the center position.
  • the work machine image 60 is an illustration corresponding to the upper swing body 14 of the excavator 10.
  • a cab frame image 61 is displayed at a position corresponding to the cab 15, and a front frame image 62 is displayed at a position corresponding to the front work machine 19.
  • the cab frame image 61 is a rectangular frame-shaped illustration representing the outer shape of the cab 15.
  • the front frame image 62 is a rectangular frame-shaped illustration representing the outer shape of the front work machine 19.
  • the frame images 61 and 62 are partial images representing a part of the excavator 10.
  • the virtual viewpoint image 70 includes the virtual viewpoint left front side image 71 based on the image data of the left front side camera 131, the virtual viewpoint right front image 72 based on the image data of the right front camera 132, and the right side camera 133.
  • the virtual viewpoint right side image 73 based on the image data and the virtual viewpoint rear image 74 based on the image data of the rear camera 134 are configured.
  • the virtual viewpoint image 70 includes a part of the crawler 11 captured by the left front side camera 131 and a part of the crawler 12 captured by the right front camera 132.
  • the direction actually present when the subject imaged by each of the cameras 131 to 134 is looked down from above with the hydraulic excavator 10 as the center is displayed. Displayed in position (distance).
  • the dump truck 50a that exists in front of the excavator 10 and the dump truck 50b that exists on the left side are displayed at positions corresponding to the direction and position that actually exist with the excavator 10 as the center.
  • some of the crawlers 11 and 12 of the hydraulic excavator 10 are also displayed at positions corresponding to directions and positions that actually exist around the hydraulic excavator 10, more specifically, the upper swing body 14.
  • the virtual viewpoint image 70 As shown in FIG. 7, in the virtual viewpoint image 70, the cab frame image 61 and the front frame image 62 are displayed so as to overlap each other, but the cab frame image 61 and the front frame image 62 are frame-shaped illustrations. Therefore, the virtual viewpoint image 70 where the frame images 61 and 62 are superimposed, that is, the virtual viewpoint image inside the frame is also visible. Therefore, for example, the visibility of a part of the crawler 11 existing immediately below the cab 15 and the vicinity thereof is not hindered by the cab image 61.
  • FIG. 8 shows another display example of the display monitor 121.
  • a specific range is cut out and displayed as a display image from the virtual viewpoint image generated by the image composition processing unit 113.
  • the display image that is, the display range can be switched by the operator operating the screen switching operation member 122 of the display device 120.
  • the screen switching operation member 122 By operating the screen switching operation member 122, it is possible to switch and display the virtual viewpoint image of the maximum range generated by the image composition processing unit 113 and the display image of the range corresponding to the working radius of the excavator 10, for example. it can.
  • FIG. 9A and 9B are a top view schematically showing a surrounding state when the excavator 10 is turned, and a display example of the display monitor 121.
  • FIG. FIG. 9A shows a state where the excavator 10 turns rightward from the state shown in FIG. Since the work machine image 60 is fixed and displayed at the center position of the display monitor 121, the display image of the display monitor 121 shown in FIG.
  • the surrounding image that is, the virtual viewpoint image 70 appears to rotate in the direction opposite to the turning direction.
  • the front work machine 19 may come into contact with the front dump truck 50a. Further, the rear end portion of the hydraulic excavator 10 may collide with the dump truck 50b.
  • the virtual viewpoint image 70 updated in response to the turning operation of the excavator 10 is displayed on the display monitor 121.
  • the turning operation can be safely performed while confirming the direction and position of the dump trucks 50a and 50b existing around the hydraulic excavator 10 from the display image.
  • FIGS. 10A and 10B are a top view schematically showing a surrounding state when the excavator 10 moves forward, and a display example of the display monitor 121.
  • FIG. 10A the service car 50c is stopped at the front right of the excavator 10. There is a possibility that the service car 50c is hidden by the front work machine 19 from the operator in the cab 15 on the left front side of the excavator 10 and cannot be seen.
  • the virtual viewpoint image 70 that is updated corresponding to the forward movement of the excavator 10 is displayed on the display monitor 121. While confirming the direction and position where the service car 50c actually exists from the display image, the forward movement can be performed safely.
  • the surroundings monitoring device 100 is provided in the left front side camera (first imaging unit) 131 provided in the machine main body on one side of the front work machine 19 and the machine main body on the other side of the front work machine 19.
  • the virtual viewpoint image 70 can be viewed through the frame images 61 and 62 through the frame images 61 and 62 representing the cab 15 and the front work machine 19 that are part of the excavator 10. Are superimposed on the virtual viewpoint image 70 and displayed.
  • the operator can monitor the front area of the excavator 10 without being blocked by the front work machine 19 regardless of the operation status of the front work machine 19. .
  • the operator instantaneously determines the positional relationship with an obstacle such as the dump truck 50 a existing in the front area of the excavator 10. Can grasp.
  • the imaging device 130 images the front area so as to include a part of the crawlers 11 and 12, the status of the area immediately adjacent to the excavator 10, which is a blind spot from the operator, particularly the area immediately below the cab 15 is also displayed on the display monitor. 121 is displayed. In this way, the operator's surrounding confirmation can be assisted by the image displayed on the display monitor 121. The operator can perform a comfortable operation while grasping the situation of the front area including the immediate area of the excavator 10.
  • the imaging area of the left front side camera 131 includes a side area on one side of the excavator 10, specifically, a left side area in addition to the front area of the excavator 10 as shown in FIG. It is configured. Thereby, it is not necessary to install a camera for imaging only one side region of the hydraulic excavator 10, and an increase in the number of components can be suppressed.
  • the imaging device 130 of the surrounding monitoring device 100 also includes a right side camera 133 and a rear camera 134, and can capture a side region and a rear region in addition to the front region of the excavator 10.
  • a virtual viewpoint image 70 around the entire circumference of the excavator 10 is displayed on the display monitor 121 of the display device 120.
  • the operator can monitor the entire periphery including the front area of the excavator 10 from the image displayed on the display monitor 121, and can perform a comfortable operation while grasping the surrounding situation of the excavator 10. Can do.
  • FIG. 11 is a side view of a hydraulic excavator 10A equipped with a surrounding monitoring device according to a modification of the second embodiment of the present invention
  • FIG. 12 is a front view of the hydraulic excavator 10A shown in FIG. 11
  • FIG. 11 is a top view of the excavator 10A shown in FIG.
  • illustration of the front working machine 19 of the excavator 10A is omitted.
  • FIG. 14 is a block diagram showing a configuration of the surroundings monitoring apparatus 100A according to the second embodiment.
  • FIGS. 11 to 14 portions having the same functions as those in the first embodiment are denoted by the same reference numerals.
  • the second embodiment is different from the above-described first embodiment in the number of cameras that capture the periphery of the hydraulic excavator 10A and the installation positions of the cameras.
  • differences from the above-described first embodiment will be mainly described.
  • the imaging device 130A constituting the surrounding monitoring device 100A has five cameras 132, 133, 134, 135, and 136. Specifically, a left front camera 135 and a left side camera 136 are provided instead of the left front side camera 131 in the first embodiment described above.
  • the left front camera 135 is set at the lower left front part of the cab 15 and is configured to be able to image the area on the left front side of the excavator 10A as shown by a broken line in FIGS.
  • the imaging area of the left front camera 135 is set to include a part of the excavator 10A.
  • the left side camera 136 is installed on the left side portion of the upper swing body 14, and is configured to be able to image the left side region of the excavator 10A.
  • the left-side camera 136 is supported by the extension bar 136a so as to be disposed at the outermost edge of the lower step portion 14b, that is, the position corresponding to the outermost edge of the upper swing body 14.
  • the right front camera 132 is disposed at the outermost side of the right front portion of the upper swing body 14, that is, the position farthest from the front work machine 19. As shown in FIG. 12, the right front camera 132 and the left front camera 135 are arranged symmetrically with respect to the front work machine 19. The cameras 132 to 136 are arranged at substantially the same height in the upper stage portion 14a of the upper swing body 14.
  • the image data of the surrounding image of the excavator 10A captured by the cameras 132 to 136 is input to the controller 110A.
  • the controller 110A performs viewpoint conversion on the image data input from the imaging apparatus 130A and combines the image data as in the first embodiment described above, and causes the display apparatus 120 to display the image data as a virtual viewpoint image.
  • the image composition processing unit 113 synthesizes the image data obtained from the left-side camera 136 after rotating 90 degrees to the left when generating the virtual viewpoint image.
  • FIG. 15 schematically shows the excavator 10A and the surroundings.
  • FIGS. 16A and 16B show an example of an image captured by the left front camera 135 and an image captured by the right front camera 132.
  • an image captured by the left front camera 135 and the right front camera 132 includes a part of the hydraulic excavator 10A together with the dump truck 50a existing in front of the hydraulic excavator 10A.
  • some of the crawlers 11 and 12 are included.
  • the image composition processing unit 113 is the lower side of the image data, that is, the inner side in the image after composition, for the image data FL of the left front camera 135 and the image data FR of the right front camera 132 shown in FIGS. Are compressed, and the upper side of the image data, that is, the outer side of the combined image is expanded, and then the combining process is performed. Further, the image data of the right side camera 133, the image data of the rear camera 134, and the image data of the left side camera 136 are similarly subjected to compression or expansion processing and then combined.
  • FIG. 17 shows a display example of the display device 120 in the situation shown in FIG.
  • a virtual viewpoint image 70A is generated based on images obtained by the five cameras 132 to 136.
  • the virtual viewpoint image 70A includes a virtual viewpoint left front image 71a based on the image data of the left front camera 135, a virtual viewpoint left side image 71b based on the image data of the left side camera 136, and image data of the right front camera 132.
  • a virtual viewpoint right front image 73 based on the image data of the right camera 133, and a virtual viewpoint rear image 74 based on the image data of the rear camera 134.
  • a boundary line 79 as a boundary of the display area is displayed between the virtual viewpoint left front image 71a and the virtual viewpoint left side image 71b.
  • the image data of each of the cameras 132 to 136 is combined after being compressed or decompressed.
  • each camera is similarly combined.
  • the image data 131 to 134 may be combined after being compressed or expanded.
  • a correction process for compressing or expanding the image data is not essential as long as the images of the entire periphery of the excavators 10 and 10A can be synthesized from the image data of the cameras 131 to 136.
  • the imaging regions of the cameras 131 to 136 partially overlap, it is possible to use the image data of one camera for the overlapping range and not use the image data of the other camera.
  • the image data of one camera may be overwritten on the image data of the other camera.
  • the correction processing in the image correction processing unit 111 is not essential.
  • the entire periphery of the hydraulic excavators 10 and 10A is imaged using the cameras 131 to 136, and the upper viewpoint image of the entire periphery is displayed on the display monitor 121.
  • the present invention is not limited to this.
  • only the upper viewpoint image of the front area based on the image data of the left front side camera 131 or the left front camera 135 and the image data of the right front camera 132 may be displayed on the display monitor 121.
  • only the upper viewpoint image of the rear area based on the image data of the rear camera 134 may be displayed on the display monitor 121.
  • An upper viewpoint image only in the front area, an upper viewpoint image only in the rear area, and an upper viewpoint image around the entire periphery may be switched and displayed.
  • the cab frame image 61 and the front frame image 62 are superimposed on the virtual viewpoint image 70 and displayed, but the present invention is not limited to this.
  • only one of the cab frame image 61 and the front frame image 62 may be displayed.
  • the shapes of the frame images 61 and 62 are not limited to those described above.
  • an image that allows the virtual viewpoint image 70 to be seen through through is superimposed and displayed at a position corresponding to the cab 15 and the front work machine 19 in the virtual viewpoint image 70. It may be.
  • the design of the work machine image 60 is not limited to the above-described embodiment.
  • the present invention is not limited to this, and the surrounding monitoring devices 100 and 100A according to the present invention are used.
  • the present invention can be similarly applied to other work machines such as small and medium-sized hydraulic excavators or cranes other than hydraulic excavators.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　作業機械の周囲監視装置は、フロント作業機と機械本体とを有する作業機械の周囲監視装置であって、フロント作業機の一方側の機械本体に設けられた第１の撮像部と、フロント作業機の他方側の機械本体に設けられた第２の撮像部とを有し、機械本体の一部分を含む作業機械の前方領域を撮像する撮像装置と、撮像装置によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成装置と、画像生成装置によって生成された仮想視点画像を表示する表示装置とを備え、表示装置は、作業機械の一部分を表す部分画像を、部分画像を通して仮想視点画像が視認可能となるように仮想視点画像に重ね合わせて表示する。

Description

作業機械の周囲監視装置
　本発明は、作業機械の周囲監視装置に関する。
　従来から、油圧ショベル等の作業機械には、機体の周囲を監視するためにカメラを搭載したものがある（例えば、特許文献１参照）。特許文献１には、油圧ショベルに起伏自在に枢着されたフロントアタッチメントのブームの下部に前方監視カメラを設けた監視カメラ装置が開示されている。
日本国実開平７－２０３５４号公報
　しかしながら、上記特許文献１に記載の装置においては、ブームの下部に前方監視カメラが設けられているため、フロントアタッチメントの動作位置によっては前方監視カメラによって撮像される前方領域の画像がフロントアタッチメントによって遮られてしまう。
　本発明の第１の態様によると、フロント作業機と機械本体とを有する作業機械の周囲監視装置は、フロント作業機の一方側の機械本体に設けられた第１の撮像部と、フロント作業機の他方側の機械本体に設けられた第２の撮像部とを有し、機械本体の一部分を含む作業機械の前方領域を撮像する撮像装置と、撮像装置によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成装置と、画像生成装置によって生成された仮想視点画像を表示する表示装置とを備え、表示装置は、作業機械の一部分を表す部分画像を、部分画像を通して仮想視点画像が視認可能となるように仮想視点画像に重ね合わせて表示する。
　本発明の第２の態様によると、第１の態様の作業機械の周囲監視装置において、第１の撮像部の撮像領域は、作業機械の前方領域に加えて、作業機械の一方側の側方領域を含む、ことが好ましい。
　本発明の第３の態様によると、第１の態様の作業機械の周囲監視装置において、第１の撮像部と第２の撮像部は、フロント作業機を基準として略左右対称に配置されている、ことが好ましい。
　本発明の第４の態様によると、第１から第３のいずれか１態様の作業機械の周囲監視装置において、撮像装置は、作業機械の前方領域に加えて、作業機械の側方領域および後方領域を撮像し、表示装置は、作業機械の全周囲の仮想視点画像を表示する、ことが好ましい。
　本発明によれば、フロント作業機の稼働状況に拘わらず、フロント作業機に遮られることなく作業機械の前方領域を監視することができる作業機械の周囲監視装置を提供することができる。
図１は、本発明の第１の実施の形態による周囲監視装置を搭載した油圧ショベルの側面図である。 図２は、図１に示す油圧ショベルの正面図である。 図３は、図１に示す油圧ショベルの上面図である。 図４は、運転室内を模式的に示した上面図である。 図５は、第１の実施の形態による周囲監視装置の構成を示すブロック図である。 図６は、油圧ショベルとその周囲の様子を概略的に示す上面図である。 図７は、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図８は、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図９（ａ）（ｂ）は、油圧ショベル旋回時の周囲の様子を概略的に示す上面図と、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図１０（ａ）（ｂ）は、油圧ショベル前進時の周囲の様子を概略的に示す上面図と、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図１１は、本発明の第２の実施の形態による周囲監視装置を搭載した油圧ショベルの側面図である。 図１２は、図１１に示す油圧ショベルの正面図である。 図１３は、図１１に示す油圧ショベルの上面図である。 図１４は、第２の実施の形態による周囲監視装置の構成を示すブロック図である。 図１５は、油圧ショベルとその周囲の様子を概略的に示す上面図である。 図１６（ａ）（ｂ）は、左前方カメラおよび右前方カメラによって撮影される画像の一例である。 図１７は、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。
　≪第１の実施の形態≫
　以下、図面に基づいて本発明の第１の実施の形態による周囲監視装置について詳細に説明する。なお、第１の実施の形態では、作業機械として大型の油圧ショベルに周囲監視装置を搭載した場合を例として説明する。図１は、本発明の第１の実施の形態による周囲監視装置を搭載した油圧ショベル１０の側面図、図２は、図１に示す油圧ショベル１０の正面図、図３は、図１に示す油圧ショベル１０の上面図である。なお、図１においては、油圧ショベル１０のフロント作業機（フロントアタッチメント）の図示を省略している。
　油圧ショベル１０は、一対のクローラ１１，１２を有する下部走行体１３と、下部走行体１３上に旋回可能に設けられた上部旋回体１４とを備える。上部旋回体１４は、上段部１４ａと下段部１４ｂから構成されている。図３において斜線のハッチングを施した部分が下段部１４ｂに相当する。上部旋回体１４の前方左側には運転室１５が設けられ、上部旋回体１４の前方中央にはブーム１６、アーム１７およびバケット１８からなるフロント作業機１９が設けられている。油圧ショベル１０のフロント作業機１９を除く部分が油圧ショベル１０の機械本体である。
　下部走行体１３のクローラ１１，１２は、それぞれ不図示の走行モータにより駆動される。上部旋回体１４は、その中心部に設けられた旋回モータ（不図示）により下部走行体１３に対して旋回する。ブーム１６、アーム１７およびバケット１８は、それぞれ不図示のブームシリンダ、アームシリンダおよびバケットシリンダの伸縮により俯仰動（回動）される。これらの各モータおよび各シリンダは上部旋回体１４のエンジン室に設けられた油圧ポンプからの圧油によって駆動される。
　図４は、運転室１５内を模式的に示した上面図である。図４に示すように、運転室１５には、運転席２０と、運転席２０の左右に設けられたコンソールボックス２１ａ，２１ｂと、運転席２０の前方のフロアに設けられた走行ペダル２３ａ，２３ｂと、運転席２０の後方に設けられたコントローラ１１０と、運転席２０の前方左側に設けられた表示装置１２０とが設けられている。コンソールボックス２１ａ，２１ｂには、フロント作業機１９の駆動操作、上部旋回体１４の旋回操作を行うためにオペレータによって操作される操作レバー２２ａ，２２ｂが設置されている。操作レバー２２ａ，２２ｂは、前後左右方向に揺動可能に構成されている。走行ペダル２３ａ，２３ｂは、クローラ１１，１２を駆動制御するためにオペレータによって前後方向に踏込操作される。走行ペダル２３ａ，２３ｂには、走行用の操作レバー２４ａ，２４ｂが設置されている。
　図５は、第１の実施の形態による周囲監視装置１００の構成を示すブロック図である。周囲監視装置１００は、コントローラ１１０と、表示装置１２０と、撮像装置１３０とから構成される。撮像装置１３０は、油圧ショベル１０の全周囲の画像を取得するための装置であり、左前側方カメラ１３１と、右前方カメラ１３２と、右側方カメラ１３３と、後方カメラ１３４とを備えている。
　左前側方カメラ１３１は、運転室１５の左前方の下部に設置されており、図１、図２に破線で示すように、油圧ショベル１０の前方左側から左側方までの領域を撮像可能に構成されている。左前側方カメラ１３１の撮像領域は、油圧ショベル１０の一部も含むように設定されている。すなわち、左前側方カメラ１３１によって、オペレータにとって死角となる運転室１５の直下も撮像できるように構成されている。右前方カメラ１３２は、上部旋回体１４の右前方部分に設置されており、図２に破線で示すように、油圧ショベル１０の前方右側の領域を撮像可能に構成されている。右前方カメラ１３２の撮像領域は、油圧ショベル１０の一部も含むように設定されている。これにより、油圧ショベル１０が図３に示すように前方を向いている場合は、左前側方カメラ１３１および右前方カメラ１３２によって撮像される画像に下部走行体１３のクローラ１１，１２の一部も含まれることになる（図７参照）。
　右側方カメラ１３３は、上部旋回体１４の右側方部分に設置され、油圧ショベル１０の右側方の領域を撮像可能に構成されている。後方カメラ１３４は、上部旋回体１４の後部に設置され、油圧ショベル１０の後方の領域を撮像可能に構成されている。なお、各カメラ１３１～１３４は、例えば図１および図２に破線で示すように撮像領域の一部がオーバーラップするように画角および光軸方向が設定されており、これにより、４つのカメラ１３１～１３４によって油圧ショベル１０の全周囲の画像を取得できるように構成されている。
　図２に示すように、左前側方カメラ１３１と右前方カメラ１３２は、フロント作業機１９の左側の前方領域と右側の前方領域をそれぞれ撮像するように、フロント作業機１９の左側の位置、および右側の位置にそれぞれ設置されている。これにより、フロント作業機１９の稼働状況や動作姿勢に拘わらず、フロント作業機１９に遮られることなく、左前側方カメラ１３１と右前方カメラ１３２によって油圧ショベル１０の前方領域を撮像することができる。なお、右前方カメラ１３２は油圧ショベル１０の前方右側の領域を撮像するために、油圧ショベル１０の右前方部分のうちフロント作業機１９寄りに配置されている。一方、左前側方カメラ１３１は油圧ショベルの前方左側の領域に加えて左側方の領域を撮像するために、油圧ショベル１０の左前方部分の左側端部、すなわちフロント作業機１９から最も遠い位置に配置されている。
　図３に示すように、左前側方カメラ１３１、右前方カメラ１３２、右側方カメラ１３３、および後方カメラ１３４は、運転室１５のオペレータから死角となる油圧ショベル１０の直近の領域を含めて撮像するために、上部旋回体１４の最外縁となる位置に配置されている。また、各カメラ１３１～１３４で撮像された画像は、後述するように合成されるので、各カメラ１３１～１３４は上部旋回体１４の上段部１４ａにおいて略同じ高さの位置に配置されている。ただし、上部旋回体１４の下段部１４ｂは上段部１４ａよりも外側に張り出している部分があるので、左前側方カメラ１３１、右前方カメラ１３２および後方カメラ１３４は、下段部１４ｂの最外縁、すなわち上部旋回体１４の最外縁相当の位置に配置されるように、エクステンションバー１３１ａ，１３２ａ，１３４ａによって支持されている。
　各カメラ１３１～１３４で撮像された油圧ショベル１０の周囲画像の画像データはコントローラ１１０に入力される。
　コントローラ１１０は、ＣＰＵと、ＲＯＭおよびＲＡＭ等のＣＰＵ周辺部品とから構成される電子制御ユニットであり、周囲監視装置１００全体の制御を行う。コントローラ１１０は、例えばＣＰＵのソフトウェア形態により、画像補正処理部１１１、画像変換部１１２、画像合成処理部１１３、および表示画面設定部１１４を構成する。コントローラ１１０は、撮像装置１３０から入力された画像データに対し、上方視点となるように視点変換して合成し、仮想視点画像として表示装置１２０に表示させる。画像補正処理部１１１、画像変換部１１２、および画像合成処理部１１３が画像生成装置を構成する。コントローラ１１０における制御については、後述する。
　表示装置１２０は、例えば液晶パネル等から構成される画像表示部である表示モニタ１２１と、画面切替操作部材１２２とを有する。表示モニタ１２１には、コントローラ１１０からの信号に応じて文字や画像が表示される。画面切替操作部材１２２は、表示モニタ１２１に表示される表示画面を切り替えるためにオペレータによって操作される操作部材であり、例えばスイッチ等から構成される。
　次に、周囲監視装置１００における仮想視点画像の生成表示制御について説明する。ここでは、後方カメラ１３４の画像データを例として説明する。まず、後方カメラ１３４から入力された画像データは、画像補正処理部１１１に入力される。画像補正処理部１１１は、画像データに対して、カメラ光学系パラメータに基づく収差補正、コントラスト補正、色調補正等の画像補正を行い、入力された画像の画質を向上させる。
　画像変換部１１２は、画像補正処理部１１１から入力された画像データに基づいて仮想視点画像を生成する。図１に一点鎖線で示すように、後方カメラ１３４の光軸が油圧ショベル１０の接地面Ｌに対してなす角度はθである。すなわち、後方カメラ１３４からは、接地面Ｌに対して角度θを持った画像が得られる。画像変換部１１２は、後方カメラ１３４から得た画像データに対し、接地面Ｌを仮想平面とした仮想視点ＶＦの光軸が垂直となるように座標変換し、仮想視点画像を作成する。これにより、接地面Ｌに対して角度θを持った斜め上方からのカメラ画像が、上方視点からの仮想視点画像、すなわち俯瞰画像に変換される。
　画像変換部１１２は、左前側方カメラ１３１、右前方カメラ１３２、および右側方カメラ１３３から得た画像データに対しても、同様に座標変換を施し、仮想視点画像を作成する。
　画像合成処理部１１３は、左前側方カメラ１３１の画像データに基づく仮想視点左前側方画像、右前方カメラ１３２の画像データに基づく仮想視点右前方画像、右側方カメラ１３３の画像データに基づく仮想視点右側方画像、および後方カメラ１３４の画像データに基づく仮想視点後方画像を合成し、油圧ショベル１０の全周囲の俯瞰画像に相当する仮想視点画像を生成する。なお、画像合成処理部１１３は、右側方カメラ１３３から得た画像データを右方向に９０度回転するとともに、後方カメラ１３４から得た画像データを１８０度回転したうえで、合成している。
　表示画面設定部１１４は、画像切替操作部材１２２からの信号に応じて、画像合成処理部１１３で生成された仮想視点画像を表示する際の表示範囲を設定する。表示装置１２０の表示モニタ１２１には、コントローラ１１０からの信号に応じて油圧ショベル１０の全周囲の仮想視点画像が表示される。表示モニタ１２１に表示される仮想視点画像は、撮像装置１３０から入力される画像データに基づいて逐次、更新される。
　以下に、表示装置１２０に表示される画像について説明する。図６には、油圧ショベル１０とその周囲の様子を概略的に示している。図７に、図６に示すような状況における表示装置１２０の表示例を示す。図６に示すように、油圧ショベル１０の前方にはダンプトラック５０ａが停車しており、油圧ショベル１０の左側方にはダンプトラック５０ｂが停車している。
　表示モニタ１２１には、その中央位置に油圧ショベル１０の平面図を図形化した作業機械画像６０が表示されている。作業機械画像６０は、油圧ショベル１０の上部旋回体１４に相当するイラストである。作業機械画像６０において、運転室１５に相当する位置には運転室枠画像６１が表示され、フロント作業機１９に相当する位置にはフロント枠画像６２が表示されている。運転室枠画像６１は運転室１５の外形を表す矩形の枠状のイラストである。同様に、フロント枠画像６２は、フロント作業機１９の外形を表す矩形の枠状のイラストである。枠画像６１，６２は、油圧ショベル１０の一部分を表す部分画像である。
　作業機械画像６０の周囲には、各カメラ１３１～１３４の画像データに基づいて視点変換し合成した仮想視点画像７０が表示される。仮想視点画像７０は、上述したように、左前側方カメラ１３１の画像データに基づく仮想視点左前側方画像７１、右前方カメラ１３２の画像データに基づく仮想視点右前方画像７２、右側方カメラ１３３の画像データに基づく仮想視点右側方画像７３、および後方カメラ１３４の画像データに基づく仮想視点後方画像７４から構成される。図７に示すように、仮想視点画像７０は、左前側方カメラ１３１によって撮像されたクローラ１１の一部、および右前方カメラ１３２によって撮像されたクローラ１２の一部も含んでいる。
　仮想視点左前側方画像７１と仮想視点右前方画像７２との間、仮想視点右前方画像７２と仮想視点右側方画像７３との間、および仮想視点右側方画像７３と仮想視点後方画像７４との間、仮想視点後方画像７４と仮想視点左前方画像７１との間には、それぞれ、表示領域の境界としての境界ライン７５，７６，７７，７８が表示されている。
　このように仮想視点画像７０を表示することにより、表示モニタ１２１には、各カメラ１３１～１３４が撮像している被写体が、油圧ショベル１０を中心として上方から見下ろしたときに実際に存在する方向および位置（距離）に表示される。図７の表示例においては、油圧ショベル１０の前方に存在するダンプトラック５０ａと左側方に存在するダンプトラック５０ｂが、油圧ショベル１０を中心として実際に存在する方向および位置に対応する位置に表示されている。また、油圧ショベル１０のクローラ１１，１２の一部も油圧ショベル１０、より具体的には上部旋回体１４を中心として実際に存在する方向および位置に対応する位置に表示されている。
　図７に示すように、仮想視点画像７０には、運転室枠画像６１およびフロント枠画像６２が重ね合わせて表示されているが、運転室枠画像６１とフロント枠画像６２は枠形のイラストであるので、枠画像６１，６２が重畳された部分の仮想視点画像７０、すなわち枠の内部の仮想視点画像も視認可能である。したがって、例えば運転室１５の直下に存在するクローラ１１の一部およびその近辺も、運転室画像６１によって視認性が妨げられることはない。
　図８に、表示モニタ１２１の別の表示例を示す。図８の表示例においては、画像合成処理部１１３で生成された仮想視点画像のうち、特定の範囲を表示画像として切り出して表示している。上述したように、表示画像、すなわち表示範囲の切換えは、オペレータが表示装置１２０の画面切替操作部材１２２を操作することによって行うことができる。画面切替操作部材１２２を操作することによって、画像合成処理部１１３で生成された最大範囲の仮想視点画像と、例えば油圧ショベル１０の作業半径に対応する範囲の表示画像とを切換えて表示することができる。
　以下に、油圧ショベル１０の動作時における周囲監視装置１００の作用について説明する。
　図９（ａ）（ｂ）に、油圧ショベル１０の旋回時の周囲の様子を概略的に示す上面図と、表示モニタ１２１の表示例を示す。図９（ａ）は図６に示す状態から油圧ショベル１０が右方向に旋回する様子を示している。作業機械画像６０は表示モニタ１２１の中央位置に固定して表示されているので、油圧ショベル１０の旋回動作に伴い、図９（ｂ）に示す表示モニタ１２１の表示画像上は、油圧ショベル１０の周囲画像、すなわち仮想視点画像７０が旋回方向とは反対方向に回転するように見える。前方を向いていた油圧ショベル１０が矢印で示すように右方向に旋回する場合、フロント作業機１９が前方のダンプトラック５０ａと接触する可能性がある。また、油圧ショベル１０の後端部がダンプトラック５０ｂと衝突する可能性がある。周囲監視装置１００においては、図９（ｂ）に示すように、表示モニタ１２１に油圧ショベル１０の旋回動作に対応して更新される仮想視点画像７０が表示されるので、オペレータは表示モニタ１２１の表示画像から油圧ショベル１０の周囲に存在するダンプトラック５０ａ，５０ｂの存在方向および位置を確認しながら、安全に旋回動作を行うことができる。
　図１０（ａ）（ｂ）に、油圧ショベル１０の前進時の周囲の様子を概略的に示す上面図と、表示モニタ１２１の表示例を示す。図１０（ａ）に示すように、油圧ショベル１０の右前方にはサービスカー５０ｃが停車している。油圧ショベル１０の左前方の運転室１５にいるオペレータからは、フロント作業機１９によってサービスカー５０ｃが隠れて目視できない可能性がある。周囲監視装置１００においては、図１０（ｂ）に示すように、表示モニタ１２１に油圧ショベル１０の前進動作に対応して更新される仮想視点画像７０が表示されるので、オペレータは表示モニタ１２１の表示画像からサービスカー５０ｃが実際に存在する方向および位置を確認しながら、安全に前進動作を行うことができる。
　このように、以上説明した第１の実施の形態においては、以下のような作用効果を奏することができる。
（１）周囲監視装置１００は、フロント作業機１９の一方側の機械本体に設けられた左前側方カメラ（第１の撮像部）１３１と、フロント作業機１９の他方側の機械本体に設けられた右前方カメラ（第２の撮像部）１３２とを有し、機械本体の一部分であるクローラ１１，１２の一部を含む油圧ショベル１０の前方領域を撮像する撮像装置１００と、撮像装置１００によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成するコントローラ１１０と、コントローラ１１０によって生成された仮想視点画像７０を表示する表示装置１２０とを備えている。表示装置１２０の表示モニタ１２１には、油圧ショベル１０の一部分である運転室１５およびフロント作業機１９を表す枠画像６１，６２を、枠画像６１，６２を通して仮想視点画像７０が視認可能となるように仮想視点画像７０に重ね合わせて表示する。フロント作業機１９の両側に一つずつカメラを設けることにより、フロント作業機１９の稼働状況に拘わらず、オペレータはフロント作業機１９に遮られることなく油圧ショベル１０の前方領域を監視することができる。また、撮像装置１３０によって取得された画像に基づく仮想視点画像を表示モニタ１２１に表示することにより、オペレータは、油圧ショベル１０の前方領域に存在するダンプトラック５０ａ等の障害物との位置関係を瞬時に把握することができる。さらに、撮像装置１３０はクローラ１１，１２の一部も含むように前方領域を撮像するので、オペレータから死角となる油圧ショベル１０の直近の領域、とくに運転室１５の直下の領域の状況も表示モニタ１２１に表示される。このように、表示モニタ１２１に表示される画像によって、オペレータの周囲確認を補助することができる。オペレータは、油圧ショベル１０の直近の領域を含む前方領域の状況を把握しながら快適な操作を行うことが可能となる。
（２）左前側方カメラ１３１の撮像領域は、図１に示すように油圧ショベル１０の前方領域に加えて、油圧ショベル１０の一方側の側方領域、具体的には左側方領域を含むように構成されている。これにより、油圧ショベル１０の一方側の側方領域のみを撮像するためのカメラの設置が不要となり、部品点数の増加を抑制できる。
（３）周囲監視装置１００の撮像装置１３０は、右側方カメラ１３３と後方カメラ１３４も備えており、油圧ショベル１０の前方領域に加えて側方領域および後方領域も撮像することができる。表示装置１２０の表示モニタ１２１には、図７，８に示すように油圧ショベル１０の全周囲の仮想視点画像７０が表示される。これにより、オペレータは、表示モニタ１２１に表示された画像から、油圧ショベル１０の前方領域を含む全周囲を監視することができ、油圧ショベル１０の周囲状況を把握しながら、快適な操作を行うことができる。
　≪第２の実施の形態≫
　図１１は、本発明の第２の実施の形態の変形例による周囲監視装置を搭載した油圧ショベル１０Ａの側面図、図１２は、図１１に示す油圧ショベル１０Ａの正面図、図１３は、図１１に示す油圧ショベル１０Ａの上面図である。なお、図１１においては、油圧ショベル１０Ａのフロント作業機１９の図示を省略している。図１４は、第２の実施の形態による周囲監視装置１００Ａの構成を示すブロック図である。図１１～１４において、第１の実施の形態と同様の機能を有する箇所には同一の符号を付している。第２の実施の形態は、油圧ショベル１０Ａの周囲を撮像するカメラの数およびカメラの設置位置が、上述した第１の実施の形態と異なっている。以下では、上述した第１の実施の形態との相違点を主に説明する。
　周囲監視装置１００Ａを構成する撮像装置１３０Ａは、５つのカメラ１３２，１３３，１３４，１３５，１３６を有している。具体的には、上述した第１の実施の形態における左前側方カメラ１３１の代わりに、左前方カメラ１３５と左側方カメラ１３６が設けられている。左前方カメラ１３５は、運転室１５の左前方の下部に設定されており、図１１，１２に破線で示すように、油圧ショベル１０Ａの前方左側の領域を撮像可能に構成されている。左前方カメラ１３５の撮像領域は、油圧ショベル１０Ａの一部も含むように設定されている。
　左側方カメラ１３６は、上部旋回体１４の左側方部分に設置され、油圧ショベル１０Ａの左側方の領域を撮像可能に構成されている。左側方カメラ１３６は、下段部１４ｂの最外縁、すなわち上部旋回体１４の最外縁相当の位置に配置されるように、エクステンションバー１３６ａによって支持されている。
　右前方カメラ１３２は、第１の実施の形態とは異なり、上部旋回体１４の右前方部分のうち最も外側、すなわちフロント作業機１９から最も遠い位置に配置されている。図１２に示すように、右前方カメラ１３２と左前方カメラ１３５は、フロント作業機１９を基準として左右対称に配置されている。また、各カメラ１３２～１３６は上部旋回体１４の上段部１４ａにおいて略同じ高さの位置に配置されている。
　各カメラ１３２～１３６で撮像された油圧ショベル１０Ａの周囲画像の画像データはコントローラ１１０Ａに入力される。コントローラ１１０Ａは、撮像装置１３０Ａから入力された画像データを、上述した第１の実施の形態と同様に視点変換して合成し、仮想視点画像として表示装置１２０に表示させる。なお、画像合成処理部１１３は、仮想視点画像生成の際に、左側方カメラ１３６から得た画像データを左方向に９０度回転したうえで合成する。
　図１５に、油圧ショベル１０Ａとその周囲の様子を概略的に示す。図１６（ａ）（ｂ）は、左前方カメラ１３５によって撮像される画像、右前方カメラ１３２によって撮像される画像の一例を示す。図１６（ａ）（ｂ）に示すように、左前方カメラ１３５および右前方カメラ１３２によって撮像される画像には、油圧ショベル１０Ａの前方に存在するダンプトラック５０ａとともに、油圧ショベル１０Ａの一部、具体的には、クローラ１１，１２の一部が含まれている。
　画像合成処理部１１３は、図１６（ａ）（ｂ）に示す左前方カメラ１３５の画像データＦＬと右前方カメラ１３２の画像データＦＲについて、それぞれ画像データの下側、すなわち合成後の画像における内側を圧縮するとともに、画像データの上側、すなわち合成後の画像における外側を伸長したうえで合成処理を行っている。また、右側方カメラ１３３の画像データ、後方カメラ１３４の画像データ、左側方カメラ１３６の画像データについても同様に圧縮または伸長処理を行ったうえで合成する。
　図１７に、図１６に示す状況における表示装置１２０の表示例を示す。第２の実施の形態においては、５つのカメラ１３２～１３６で得られた画像に基づいて仮想視点画像７０Ａが生成される。具体的には、仮想視点画像７０Ａは、左前方カメラ１３５の画像データに基づく仮想視点左前方画像７１ａ、左側方カメラ１３６の画像データに基づく仮想視点左側方画像７１ｂ、右前方カメラ１３２の画像データに基づく仮想視点右前方画像７２、右側方カメラ１３３の画像データに基づく仮想視点右側方画像７３、および後方カメラ１３４の画像データに基づく仮想視点後方画像７４から構成される。仮想視点左前方画像７１ａと仮想視点左側方画像７１ｂとの間には、表示領域の境界としての境界ライン７９が表示されている。
　このように、以上説明した第２の実施の形態においては、上述した第１の実施の形態による効果に加えて、以下のような作用効果を奏することができる。
　左前方カメラ１３５と右前方カメラ１３２を、フロント作業機１９を基準として略左右対称に配置することにより、油圧ショベル１０の左前方領域と右前方領域の対称的な画像を取得することができる。
　以上説明した第２の実施の形態においては、各カメラ１３２～１３６の画像データに対して圧縮または伸長処理を施したうえで合成したが、第１の実施の形態においても、同様に、各カメラ１３１～１３４の画像データに対して圧縮または伸長処理を施したうえで合成してもよい。ただし、各カメラ１３１～１３６の画像データから油圧ショベル１０，１０Ａの全周囲の画像を合成できれば、画像データを圧縮または伸長する補正処理は必須ではない。例えば、各カメラ１３１～１３６の撮像領域が部分的に重なる場合は、重なる範囲については一方のカメラの画像データを利用し、他方のカメラの画像データを利用しないようにすることができる。または、重なる範囲については他方のカメラの画像データに一方のカメラの画像データを上書きしてもよい。画像補正処理部１１１における補正処理も必須ではない。
　以上説明した第１および第２の実施の形態においては、各カメラ１３１～１３６を用いて油圧ショベル１０，１０Ａの全周囲を撮像し、全周囲の上方視点画像を表示モニタ１２１に表示するように構成したが、これには限定されない。例えば、左前側方カメラ１３１もしくは左前方カメラ１３５の画像データと、右前方カメラ１３２の画像データとに基づく前方領域の上方視点画像のみを表示モニタ１２１に表示するように構成してもよい。この場合は、例えば、図１７の仮想視点左前方画像７１ａと仮想視点右前方画像７２とからなる画像が表示モニタ１２１に表示される。また、後方カメラ１３４の画像データによる後方領域の上方視点画像のみを表示モニタ１２１に表示するように構成してもよい。前方領域のみの上方視点画像、後方領域のみの上方視点画像、および全周囲の上方視点画像を切換えて表示するように構成してもよい。
　上述した第１および第２の実施の形態においては、仮想視点画像７０に運転室枠画像６１とフロント枠画像６２とを重ね合わせて表示したが、これには限定されない。例えば、運転室枠画像６１とフロント枠画像６２のいずれか一方のみを表示するようにしてもよい。また、枠画像６１，６２の形状は上述したものには限定されない。枠画像６１，６２の代わりに、仮想視点画像７０において運転室１５とフロント作業機１９に相当する位置に、仮想視点画像７０が透過して視認可能となるような画像を重ね合わせて表示するようにしてもよい。また、作業機械画像６０のデザインも、上述した実施の形態には限定されない。
　上述した第１および第２の実施の形態では、作業機械として大型の油圧ショベルに周囲監視装置を適用する例を説明したが、これには限定されず、本発明による周囲監視装置１００，１００Ａを、小型や中型の油圧ショベル、または油圧ショベル以外のクレーン等、他の作業機械にも同様に適用することができる。
　また、以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、本発明は上述した実施の形態および変形例に限定されるものではない。第１の実施の形態と第２の実施の形態を組み合わせることも可能である。さらに、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１３年第１４８５９２号（２０１３年７月１７日出願）
１０：油圧ショベル、１３：下部走行体、１４：上部旋回体、１５：運転室、１９：フロント作業機、１００：周囲監視装置、１１０：コントローラ、１２０：表示装置、１３０：撮像装置、１３１：左前側方カメラ、１３２：右前方カメラ、１３３：右側方カメラ、１３４：後方カメラ、１３５：左前方カメラ、１３６：左側方カメラ

Claims (4)

  1. 　フロント作業機と機械本体とを有する作業機械の周囲監視装置であって、
    　前記フロント作業機の一方側の前記機械本体に設けられた第１の撮像部（１３１，１３５）と、前記フロント作業機の他方側の前記機械本体に設けられた第２の撮像部（１３３）とを有し、前記機械本体の一部分を含む前記作業機械の前方領域を撮像する撮像装置（１３０，１３０Ａ）と、
    　前記撮像装置（１３０，１３０Ａ）によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成装置（１１２，１１３）と、
    　前記画像生成装置（１１２，１１３）によって生成された前記仮想視点画像を表示する表示装置（１２０）とを備え、
    　前記表示装置（１２０）は、前記作業機械の一部分を表す部分画像を、前記部分画像を通して前記仮想視点画像が視認可能となるように前記仮想視点画像に重ね合わせて表示する、作業機械の周囲監視装置。
  2. 　請求項１に記載の作業機械の周囲監視装置において、
    　前記第１の撮像部（１３１）の撮像領域は、前記作業機械の前方領域に加えて、前記作業機械の一方側の側方領域を含む、作業機械の周囲監視装置。
  3. 　請求項１に記載の作業機械の周囲監視装置において、
    　前記第１の撮像部（１３５）と前記第２の撮像部（１３３）は、前記フロント作業機を基準として略左右対称に配置されている、作業機械の周囲監視装置。
  4. 　請求項１から請求項３のいずれか１項に記載の作業機械の周囲監視装置において、
    　前記撮像装置（１３０，１３０Ａ）は、前記作業機械の前方領域に加えて、前記作業機械の側方領域および後方領域を撮像し、
    　前記表示装置（１２０）は、前記作業機械の全周囲の仮想視点画像を表示する、作業機械の周囲監視装置。
    　
PCT/JP2014/068791 2013-07-17 2014-07-15 作業機械の周囲監視装置 WO2015008751A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013148592A JP6071786B2 (ja) 2013-07-17 2013-07-17 作業機械の周囲監視装置
JP2013-148592 2013-07-17

Publications (1)

Publication Number Publication Date
WO2015008751A1 true WO2015008751A1 (ja) 2015-01-22

Family

ID=52346203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/068791 WO2015008751A1 (ja) 2013-07-17 2014-07-15 作業機械の周囲監視装置

Country Status (2)

Country Link
JP (1) JP6071786B2 (ja)
WO (1) WO2015008751A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019173444A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械操縦装置
CN112218988A (zh) * 2018-07-31 2021-01-12 住友建机株式会社 挖土机
AU2018333191B2 (en) * 2017-09-15 2021-07-29 Komatsu Ltd. Display system, display method, and display apparatus
US11447928B2 (en) 2017-05-31 2022-09-20 Komatsu Ltd. Display system, display method, and remote control system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256874B2 (ja) * 2014-02-14 2018-01-10 株式会社フジタ 建設機械用俯瞰画像表示装置
JP2016211149A (ja) * 2015-04-29 2016-12-15 日立建機株式会社 建設機械
US10435868B2 (en) 2015-08-24 2019-10-08 Komatsu Ltd. Control system for wheel loader, control method thereof, and method of controlling wheel loader
JP6589468B2 (ja) * 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置
JP6713884B2 (ja) * 2016-09-09 2020-06-24 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP6787729B2 (ja) * 2016-09-09 2020-11-18 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP7474024B2 (ja) * 2018-03-23 2024-04-24 住友重機械工業株式会社 ショベル

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009007860A (ja) * 2007-06-28 2009-01-15 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2010093567A (ja) * 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176641A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP4996928B2 (ja) * 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009007860A (ja) * 2007-06-28 2009-01-15 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用モニター装置
JP2010093567A (ja) * 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11447928B2 (en) 2017-05-31 2022-09-20 Komatsu Ltd. Display system, display method, and remote control system
AU2018333191B2 (en) * 2017-09-15 2021-07-29 Komatsu Ltd. Display system, display method, and display apparatus
US11230825B2 (en) 2017-09-15 2022-01-25 Komatsu Ltd. Display system, display method, and display apparatus
JP2019173444A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械操縦装置
EP3751845A4 (en) * 2018-03-29 2020-12-16 Kobelco Construction Machinery Co., Ltd. WORK MACHINE CONTROL DEVICE
US20210054597A1 (en) * 2018-03-29 2021-02-25 Kobelco Construction Machinery Co., Ltd. Working machine control device
JP7000957B2 (ja) 2018-03-29 2022-01-19 コベルコ建機株式会社 作業機械操縦装置
US11970837B2 (en) 2018-03-29 2024-04-30 Kobelco Construction Machinery Co., Ltd. Working machine control device
CN112218988A (zh) * 2018-07-31 2021-01-12 住友建机株式会社 挖土机

Also Published As

Publication number Publication date
JP2015021246A (ja) 2015-02-02
JP6071786B2 (ja) 2017-02-01

Similar Documents

Publication Publication Date Title
JP6071786B2 (ja) 作業機械の周囲監視装置
JP5779244B2 (ja) 作業機械の周囲監視装置
JP6095592B2 (ja) 油圧ショベルの監視画像表示装置
JP5988683B2 (ja) 自走式産業機械の表示装置
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
JP5814187B2 (ja) 自走式産業機械の表示装置
WO2016174953A1 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP5269026B2 (ja) 作業機械の周囲監視装置
JP5775283B2 (ja) 作業機械のモニタ装置
WO2013038874A1 (ja) 作業機の周囲監視装置
WO2012164712A1 (ja) 作業機械の周囲監視装置
JP2013253402A (ja) 作業機械の周囲監視装置
WO2013183536A1 (ja) 自走式産業機械の表示装置
JP5066198B2 (ja) 作業機械のモニタ装置
JP6802008B2 (ja) 建設機械
JP6188858B2 (ja) 作業機械の周囲監視装置
JP2010070929A (ja) 後方確認用モニタ装置
WO2020080294A1 (ja) 油圧ショベル
JP6224770B2 (ja) ダンプトラックの表示装置
WO2022230939A1 (ja) 表示制御装置、表示制御方法および作業機械
JP2008008122A (ja) 建設機械のモニタ
JP7467294B2 (ja) 建設機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14826934

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14826934

Country of ref document: EP

Kind code of ref document: A1