WO2017056266A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017056266A1
WO2017056266A1 PCT/JP2015/077839 JP2015077839W WO2017056266A1 WO 2017056266 A1 WO2017056266 A1 WO 2017056266A1 JP 2015077839 W JP2015077839 W JP 2015077839W WO 2017056266 A1 WO2017056266 A1 WO 2017056266A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging unit
stereo camera
imaging
optical axis
vehicle body
Prior art date
Application number
PCT/JP2015/077839
Other languages
English (en)
French (fr)
Inventor
晶祥 出口
俊 齊藤
博義 山口
駿 川本
大樹 菅原
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN201580077010.8A priority Critical patent/CN107250725B/zh
Priority to JP2017542620A priority patent/JP6553201B2/ja
Priority to US15/557,496 priority patent/US11008735B2/en
Priority to DE112015006347.1T priority patent/DE112015006347T5/de
Priority to PCT/JP2015/077839 priority patent/WO2017056266A1/ja
Priority to KR1020177023659A priority patent/KR102065477B1/ko
Publication of WO2017056266A1 publication Critical patent/WO2017056266A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Definitions

  • the present invention relates to an imaging apparatus.
  • One of the means for acquiring current terrain data is distance measurement using a stereo camera.
  • Patent Document 1 Japanese Patent Laid-Open No. 2013-2013.
  • Patent Document 2 Japanese Patent Laid-Open No. 2014-215039
  • JP 2013-36243 A Japanese Patent Laid-Open No. 2014-215039
  • the stereo camera mounted on the work vehicle is arranged so that the optical axis becomes a depression angle.
  • the shape of the work target is not limited to the flat ground, but may be inclined upward from the current position of the work vehicle. In that case, the stereo camera with the depression angle of the optical axis cannot fit the entire tilted terrain within the imaging range, and there is a possibility that imaging data regarding the current terrain to be worked cannot be obtained sufficiently.
  • Patent Document 1 discloses a technique that enables a wide range of images to be captured by moving the stereo camera to change the imaging direction of the stereo camera.
  • a time lag occurs between the imaging data before and after the movement. Therefore, it is difficult to accurately grasp the current topography of the work target.
  • An object of the present invention is to provide an imaging apparatus capable of accurately imaging a current terrain to be worked over a wide range.
  • the imaging device is provided in a work vehicle.
  • the work vehicle has a vehicle body.
  • the imaging device includes a first stereo camera attached to the vehicle main body and a second stereo camera attached to the vehicle main body.
  • the first stereo camera images the first imaging range.
  • the second stereo camera images the second imaging range above or farther than the first imaging range.
  • the first imaging range of the first stereo camera and the second imaging range of the second stereo camera partially overlap.
  • the work vehicle further includes a work machine attached to the vehicle body.
  • the work machine has a central axis in plan view.
  • the optical axis of the first stereo camera and the optical axis of the second stereo camera are inclined with respect to the central axis in a plan view so as to approach the work implement as they move away from the vehicle body.
  • the optical axis of the first stereo camera and the optical axis of the second stereo camera form an angle downward with respect to the horizontal direction in front of the vehicle body.
  • the first stereo camera and the second stereo camera are arranged side by side in the left-right direction of the vehicle body.
  • the first stereo camera and the second stereo camera are arranged at the same position in the vertical direction.
  • the first stereo camera has a first imaging unit and a second imaging unit arranged on the right side of the vehicle body in the left-right direction with respect to the first imaging unit.
  • the second stereo camera has a third imaging unit and a fourth imaging unit arranged on the right side of the vehicle body in the left-right direction with respect to the third imaging unit.
  • the first imaging unit and the third imaging unit form a left imaging unit group.
  • the second imaging unit and the fourth imaging unit constitute a right imaging unit group.
  • the left imaging unit group and the right imaging unit group are arranged with a space in the left-right direction of the vehicle body.
  • the first stereo camera and the second stereo camera are configured to be able to capture a vertically long image.
  • the vehicle body has a cab.
  • the imaging device is attached to the cab.
  • FIG. 1 is a perspective view schematically showing a configuration of a hydraulic excavator in an embodiment of the present invention.
  • FIG. 2 is a hydraulic circuit diagram applied to the hydraulic excavator shown in FIG. 1. It is a figure which shows schematically the relationship between the hydraulic cylinder of the hydraulic shovel shown in FIG. 1, a position sensor, and a controller. It is a perspective view which shows the state which looked up the front upper edge part in a cab from back. It is a perspective view which shows the state which looked up the front upper edge part in a cab from back. It is a perspective view which shows the attachment condition to the base part of a stereo camera. It is a perspective view which shows the outline of a structure of a front window.
  • FIG. 1 is a perspective view schematically showing a configuration of a hydraulic excavator 1 according to an embodiment of the present invention.
  • the excavator 1 according to the present embodiment mainly includes a traveling body 2, a revolving body 3, and a work implement 4.
  • the traveling body 2 and the swing body 3 constitute a vehicle main body of the excavator 1.
  • the traveling body 2 has a pair of left and right crawler belts 2a.
  • the hydraulic excavator 1 is configured to be capable of self-running when the pair of left and right crawler belts 2a are rotationally driven.
  • the turning body 3 is installed so as to be turnable with respect to the traveling body 2.
  • the swivel body 3 mainly includes a cab 5, an engine hood 6, and a counterweight 7.
  • the cab 5 is disposed on the front left side (vehicle front side) of the revolving structure 3.
  • a cab is formed inside the cab 5.
  • the cab is a space for the operator to operate the excavator 1.
  • a driver's seat 8 for an operator to sit on is arranged in the driver's cab.
  • An antenna 9 is installed on the upper surface of the revolving unit 3.
  • the boom 4 a of the work machine 4 rotates with respect to the swing body 3 around the boom pin.
  • a specific part of the boom 4a that rotates with respect to the revolving body 3, for example, a trajectory along which the tip of the boom 4a moves has an arc shape, and a plane including the arc is specified.
  • the plane is represented as a straight line.
  • the direction in which the straight line extends is the front-rear direction of the vehicle body or the front-rear direction of the revolving structure 3, and is also simply referred to as the front-rear direction below.
  • the left-right direction (vehicle width direction) of the vehicle body or the left-right direction of the revolving structure 3 is a direction orthogonal to the front-rear direction in plan view, and is also simply referred to as the left-right direction below.
  • the left-right direction refers to the direction in which the boom pin extends.
  • the vertical direction of the vehicle body or the vertical direction of the revolving structure 3 is a direction orthogonal to a plane defined by the front-rear direction and the left-right direction, and is also simply referred to as a vertical direction below.
  • the side from which the work implement 4 protrudes from the vehicle body is the front direction
  • the direction opposite to the front direction is the rear direction.
  • the right and left sides in the left-right direction are the right direction and the left direction, respectively.
  • the side with the ground is the lower side
  • the side with the sky is the upper side.
  • the front-rear direction is the front-rear direction of the operator seated on the driver's seat 8 in the cab 5.
  • the left-right direction is the left-right direction of the operator seated on the driver's seat 8.
  • the up-down direction is the up-down direction of the operator seated on the driver's seat 8.
  • the direction facing the operator seated on the driver's seat 8 is the forward direction
  • the backward direction of the operator seated on the driver's seat 8 is the backward direction.
  • the right side and the left side are the right direction and the left direction, respectively.
  • the feet of the operator seated on the driver's seat 8 are the lower side
  • the upper head is the upper side.
  • Each of the engine hood 6 and the counterweight 7 is disposed on the rear side (rear side of the vehicle) of the revolving structure 3.
  • the engine hood 6 is disposed so as to cover at least the upper part of the engine room.
  • An engine unit (engine, exhaust treatment unit, etc.) is housed in the engine room.
  • the counterweight 7 is disposed behind the engine room in order to balance the vehicle body during mining.
  • the work machine 4 is for performing work such as earth excavation.
  • the work machine 4 is attached to the front side of the revolving unit 3.
  • the work machine 4 has, for example, a boom 4a, an arm 4b, a bucket 4c, hydraulic cylinders 4d, 4e, 4f and the like.
  • the work implement 4 can be driven by each of the boom 4a, the arm 4b, and the bucket 4c being driven by the hydraulic cylinders 4f, 4e, and 4d.
  • the base end of the boom 4a is connected to the revolving unit 3 via a boom pin.
  • the boom 4a is rotatably provided around the boom pin.
  • the base end portion of the arm 4b is connected to the tip end portion of the boom 4a via an arm pin.
  • the arm 4b is rotatably provided around the arm pin.
  • Bucket 4c is connected to the tip of arm 4b via a bucket pin.
  • the bucket 4c is provided to be rotatable around a bucket pin.
  • the work machine 4 is provided on the right side with respect to the cab 5.
  • the arrangement of the cab 5 and the work implement 4 is not limited to the example shown in FIG. 1.
  • the work implement 4 may be provided on the left side of the cab 5 arranged on the right front side of the revolving structure 3. .
  • the rotary encoder 15 is attached to the boom 4a.
  • the rotary encoder 15 outputs a pulse signal corresponding to the rotation angle of the arm 4b with respect to the boom 4a.
  • a rotary encoder is also attached to the vehicle body.
  • the rotary encoder attached to the vehicle main body outputs a pulse signal corresponding to the rotation angle of the boom 4a with respect to the vehicle main body.
  • the cab 5 includes a roof portion disposed so as to cover the driver's seat 8 and a plurality of pillars that support the roof portion.
  • the plurality of pillars include a front pillar 40, a rear pillar 46, and an intermediate pillar 44.
  • the front pillar 40 is disposed in a corner portion of the cab 5 in front of the driver seat 8.
  • the rear pillar 46 is disposed at a corner portion of the cab 5 behind the driver seat 8.
  • the intermediate pillar 44 is disposed between the front pillar 40 and the rear pillar 46.
  • Each pillar has a lower end connected to the floor portion of the cab 5 and an upper end connected to the roof portion of the cab 5.
  • the front pillar 40 has a right pillar 41 and a left pillar 42.
  • the right pillar 41 is disposed at the front right corner of the cab 5.
  • the left pillar 42 is disposed at the front left corner of the cab 5.
  • a work machine 4 is arranged on the right side of the cab 5.
  • the right pillar 41 is disposed on the side close to the work machine 4.
  • the left pillar 42 is disposed on the side away from the work machine 4.
  • the driver's seat 8 is accommodated in the indoor space of the cab 5.
  • the driver's seat 8 is disposed almost at the center of the floor of the cab 5.
  • a front window 47 is disposed between the right pillar 41 and the left pillar 42.
  • the front window 47 is disposed in front of the driver seat 8.
  • the front window 47 is made of a transparent material.
  • An operator seated in the driver's seat 8 can visually recognize the outside of the cab 5 through the front window 47. For example, an operator sitting in the driver's seat 8 can directly see the bucket 4c excavating earth and sand, the current topography of the construction object, and the like through the front window 47.
  • FIG. 2 is a hydraulic circuit diagram applied to the excavator 1 shown in FIG.
  • the engine 25 is mounted in an engine room on the rear side of the revolving structure 3.
  • a PTO (abbreviation of Power Take Off) device 29 is attached to the engine 25.
  • a plurality of hydraulic pumps 31a, 31b, 32a, 32b, 33a, 33b, and 34 are connected to the PTO device.
  • the hydraulic pump 34 supplies pilot pressure to the pilot pressure operation valve 12 operated by the operation lever 13.
  • the other hydraulic pumps 31a to 33b include hydraulic cylinders 4d, 4e, and 4f that drive the work machine 4, a turning motor that drives the turning body 3 to turn, and left and right traveling motors 37a and 37b that are provided on the traveling body 2. Supply pressure oil to each actuator.
  • the pressure oil discharged from the hydraulic pumps 31a and 31b is supplied to the right travel motor 37b, the boom cylinder via the right travel motor switching valve 14a, the boom switching valve 14b, the bucket switching valve 14c, and the arm switching valve 14d, respectively. 4f, supplied to the arm cylinder 4e and the bucket cylinder 4d.
  • a pilot pressure corresponding to each of the pilot operating portions of the switching valves 14a to 14d is supplied from the pilot pressure operating valve 12.
  • Pressure sensors 35a and 35b for detecting respective pump discharge pressures are provided on the discharge pipes of the hydraulic pumps 31a and 31b and the hydraulic pumps 32a and 32b.
  • Pressure sensors 36 for detecting the respective pump discharge pressures are provided in the discharge pipes of the hydraulic pumps 33a and 33b.
  • Pressure sensors 16a, 16b, 17a, 17b, 18a, 18b, 19a, and 19b that detect load pressures of the actuators are provided on the pipe lines that connect the switching valves 14a to 14d and the actuators, respectively.
  • pressure sensors (not shown) for detecting the respective load pressures are provided in the connection pipelines.
  • the detection signals of these pressure sensors are input to the controller 20.
  • the controller 20 Based on the load pressure detection value of each actuator from the pressure sensor, the controller 20 is the load frequency (the occurrence frequency for each load level) of each work machine, the traveling drive unit of the traveling body 2, and the like corresponding to the load amount. .)
  • a fuel injection amount command is input from the engine controller 22 to the fuel injection pump 26 of the engine 25.
  • a detection signal from an engine speed sensor 27 provided on the output rotation shaft of the engine 25 is input to the engine controller 22 as a feedback signal.
  • the engine controller 22 calculates and outputs a fuel injection amount command so as to drive the engine 25 with a predetermined horsepower based on the feedback signal of the engine speed, and outputs the engine speed and the output fuel injection amount command to the controller 20. Enter a value.
  • the controller 20, the engine controller 22, and the monitor 21 are connected via a bidirectional communication cable 23 to form a communication network in the excavator 1.
  • the monitor 21, the controller 20, and the engine controller 22 can transmit and receive information to and from each other via network communication cables 23 and 23.
  • Each of the monitor 21, the controller 20, and the engine controller 22 is mainly composed of a computer device such as a microcomputer.
  • a communication terminal 71 is connected to the controller 20.
  • the communication terminal 71 is connected to the antenna 9 mounted on the swing body 3 shown in FIG.
  • the communication earth station 74 communicates with the communication satellite 73 via a dedicated communication line.
  • the network control station 75 is connected to the communication earth station 74 by a dedicated line.
  • the ground monitoring station 76 is connected to the network control station 75 via the Internet or the like. As a result, data is transmitted and received between the controller 20 and the predetermined monitoring station 76 via the communication terminal 71, the communication satellite 73, the communication earth station 74, and the network control station 75.
  • Construction design data created by 3D CAD is stored in the controller 20 in advance.
  • the monitor 21 is disposed in the cab 5.
  • the monitor 21 updates and displays the current position of the hydraulic excavator 1 and the current topography of the enforcement target on the screen in real time so that the operator can always check the working state of the hydraulic excavator 1.
  • the controller 20 compares the construction design data, the position and posture of the work machine 4, and the current topography in real time.
  • the controller 20 controls the work machine 4 by driving the hydraulic circuit based on the comparison result. More specifically, the position to be constructed in accordance with the construction design data and the position of the bucket 4c are matched, and thereafter, construction such as predetermined excavation or leveling is performed. Thereby, since the working machine 4 of the hydraulic excavator 1 is automatically controlled based on the construction design data, construction efficiency and construction accuracy can be improved, and high-quality construction can be easily performed.
  • FIG. 3 is a diagram schematically showing the relationship among the hydraulic cylinder, the position sensor 10 and the controller 20 of the excavator 1 shown in FIG.
  • each of the hydraulic cylinders (bucket cylinder 4d, arm cylinder 4e, boom cylinder 4f) is provided with a position sensor 10 that detects the stroke amount of the hydraulic cylinder as a rotation amount.
  • the position sensor 10 is electrically connected to the controller 20. Based on the detection signal of the position sensor 10, the controller 20 measures the stroke length of the bucket cylinder 4d, the arm cylinder 4e, and the boom cylinder 4f.
  • the hydraulic cylinder has a cylinder tube and a cylinder rod that can move relative to the cylinder tube.
  • the position sensor 10 has a rotating roller that rotates in accordance with the linear motion of the cylinder rod.
  • the position sensor 10 measures the displacement amount (stroke length) of the cylinder rod with respect to the cylinder tube based on the rotation speed and the rotation speed of the rotating roller.
  • FIG. 4 is a perspective view showing a state where the front upper edge portion in the cab 5 is looked up from the rear.
  • the upper part of the right pillar 41 is connected to the right roof beam 48a.
  • the upper part of the left pillar 42 is connected to the left roof beam 48b.
  • the right roof beam 48 a is bridged between the upper part of the right pillar 41 and the upper part of the right rear pillar 46.
  • the left roof beam 48 b is bridged between the upper part of the left pillar 42 and the upper part of the left rear pillar 46.
  • a roof panel 49 is mounted between the right roof beam 48a and the left roof beam 48b.
  • the roof panel 49 constitutes the roof portion of the cab 5.
  • a base portion 90 is disposed along the upper edge of the front window 47.
  • the base portion 90 is attached to the upper frame portion of the front window 47 as will be described in detail later.
  • the base portion 90 extends in the left-right direction between the right pillar 41 and the left pillar 42.
  • the base portion 90 is disposed along the front edge of the roof panel 49.
  • a left case 81 is attached to the base portion 90 in the vicinity of the left pillar 42.
  • a right case 82 is attached to the base portion 90 in the vicinity of the right pillar 41.
  • the left case 81 and the right case 82 are hollow.
  • the left case 81 and the right case 82 are disposed so as to protrude rearward from the base portion 90.
  • the cable 24 is arranged along the direction in which the base portion 90 extends.
  • the cable 24 extends in the left-right direction along the upper edge of the front window 47, and further extends in the front-rear direction along the right roof beam 48a.
  • the cable 24 is connected to the internal space of the left case 81 and is connected to the internal space of the right case 82.
  • the cable 24 is supported by the base portion 90 via a support 98 (FIG. 6).
  • FIG. 5 is a perspective view showing a state in which the front upper edge portion in the cab 5 is looked up from the rear as in FIG.
  • FIG. 5 shows a state in which the left case 81 and the right case 82 shown in FIG. Since the left case 81 and the right case 82 are removed from the base portion 90, the first imaging unit 51 and the third imaging unit 61 housed in the left case 81 and the first housing housed in the right case 82.
  • Two imaging units 52 and a fourth imaging unit 62 are shown in FIG.
  • the first imaging unit 51 and the second imaging unit 52 are synchronized with each other, and constitute the first stereo camera 50.
  • the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52.
  • the first stereo camera 50 is an imaging device for imaging a front area ahead of the vehicle body.
  • the first stereo camera 50 can capture an image of a work area where the work machine 4 performs work.
  • the first imaging unit 51 is arranged on the left side in the left-right direction with respect to the second imaging unit 52.
  • the second imaging unit 52 is disposed on the right side in the left-right direction with respect to the first imaging unit 51.
  • the third imaging unit 61 and the fourth imaging unit 62 are synchronized with each other, and constitute a second stereo camera 60.
  • the second stereo camera 60 is configured to include a third imaging unit 61 and a fourth imaging unit 62.
  • the second stereo camera 60 is an imaging device for imaging a front area ahead of the vehicle body.
  • the second stereo camera 60 can image a work area in which the work machine 4 performs work.
  • the third imaging unit 61 is disposed on the left side in the left-right direction with respect to the fourth imaging unit 62.
  • the fourth imaging unit 62 is disposed on the right side in the left-right direction with respect to the third imaging unit 61.
  • the first stereo camera 50 and the second stereo camera 60 are arranged side by side in the left-right direction.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are arranged side by side in the left-right direction.
  • a first imaging unit 51, a third imaging unit 61, a second imaging unit 52, and a fourth imaging unit 62 are arranged in order from the left side to the right side in the left-right direction.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are the same device.
  • the interval between the third imaging unit 61 and the second imaging unit 52 in the left-right direction is wider than the interval between the first imaging unit 51 and the third imaging unit 61 in the left-right direction.
  • the interval between the third imaging unit 61 and the second imaging unit 52 in the left-right direction is wider than the interval between the second imaging unit 52 and the fourth imaging unit 62 in the left-right direction.
  • the interval between the first imaging unit 51 and the second imaging unit 52 in the left-right direction and the interval between the third imaging unit 61 and the fourth imaging unit 62 in the left-right direction are equal to each other.
  • the first stereo camera 50 and the second stereo camera 60 are arranged inside the cab 5 along the upper edge of the front window 47.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are disposed inside the cab 5 along the upper edge of the front window 47. ing.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are arranged facing the front window 47.
  • the first stereo camera 50 and the second stereo camera 60 are arranged along the broken line extending in the left-right direction shown in FIG.
  • the first imaging unit 51 and the second imaging unit 52 of the first stereo camera 50 are arranged at the same height.
  • the third imaging unit 61 and the fourth imaging unit 62 of the second stereo camera 60 are arranged at the same height.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are aligned on the broken line shown in FIG. Has been placed.
  • the first imaging unit 51 and the third imaging unit 61 constitute a left imaging unit group.
  • the second imaging unit 52 and the fourth imaging unit 62 constitute a right imaging unit group.
  • the left imaging unit group is accommodated in the left case 81 shown in FIG.
  • the right imaging unit group is accommodated in the right case 82 shown in FIG.
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction.
  • the left imaging unit group is disposed in the vicinity of the left pillar 42.
  • the distance between the center of the cab 5 and the left imaging unit group in the left-right direction is larger than the distance between the left pillar 42 and the left imaging unit group.
  • the left imaging unit group is disposed closer to the left pillar 42 than the center of the cab 5 in the left-right direction.
  • the left imaging unit is located within the area near the left pillar 42 of the two divided areas.
  • a group is arranged.
  • the left imaging unit group is disposed near the left pillar 42.
  • the right imaging unit group is disposed in the vicinity of the right pillar 41.
  • the distance between the center of the cab 5 and the right imaging unit group in the left-right direction is larger than the distance between the right pillar 41 and the right imaging unit group.
  • the right imaging unit group is disposed closer to the right pillar 41 than the center of the cab 5 in the left-right direction.
  • the right imaging unit is located in the area near the right pillar 41 of the two divided areas.
  • a group is arranged.
  • the right imaging unit group is disposed near the right pillar 41.
  • Each imaging unit includes an optical processing unit, a light receiving processing unit, and an image processing unit.
  • the optical processing unit has a lens for condensing light.
  • the optical axis of the imaging unit described later is an axis that passes through the center of the lens surface and is perpendicular to the lens surface.
  • the light reception processing unit has an image sensor.
  • the image sensor is, for example, a CMOS.
  • the imaging element has a light receiving surface.
  • the light receiving surface is a surface orthogonal to the optical axis.
  • the light receiving surface has a flat rectangular shape and is arranged vertically.
  • the imaging unit is arranged so that the vertical side (long side) of the light receiving surface of the imaging element is along the vertical direction.
  • FIG. 6 is a perspective view showing how the first stereo camera 50 and the second stereo camera 60 are attached to the base portion 90.
  • the right side in FIG. 6 corresponds to the right direction of the vehicle body
  • the left side in FIG. 6 corresponds to the left direction of the vehicle body.
  • the base portion 90 has an attachment angle 91 that is attached to the upper frame portion of the front window 47.
  • the mounting angle 91 has an angle steel shape and has two sides that are bent substantially at right angles to each other.
  • a plurality of through holes penetrating one side in the thickness direction are formed on one side of the mounting angle 91.
  • the mounting angle 91 is attached to the front window 47 by the bolt 95 passing through each of the through holes and fastening the bolt 95 to the upper frame portion of the front window 47.
  • a mounting piece 92 is fixed to the other side of the mounting angle 91.
  • the attachment piece 92 has a rectangular box-shaped outer shape. One surface of the outer surface of the mounting piece 92 is in contact with one side of the mounting angle 91, and the other surface is in contact with the other side of the mounting angle 91.
  • a nut hole is formed in the attachment piece 92.
  • a mounting plate 93 is also provided on the other side of the mounting angle 91.
  • the base portion 90 includes a mounting angle 91, a mounting piece 92, and a mounting plate 93.
  • the mounting plate 93 has an elongated flat plate shape.
  • the mounting plate 93 extends in parallel with the extending direction of the mounting angle 91.
  • the mounting plate 93 extends in a direction perpendicular to the other side of the mounting angle 91 and parallel to one side of the mounting angle 91.
  • the mounting angle 91 and the mounting plate 93 are integrated and have a shape similar to a Greek letter capital pie.
  • the mounting plate 93 is formed with a plurality of through holes penetrating the mounting plate 93 in the thickness direction.
  • the bolt 96 passes through each of a plurality of through holes, and the bolt 96 is fastened to a nut hole formed in the mounting piece 92, whereby the mounting plate 93 is fixed to the mounting angle 91 via the mounting piece 92. Is done.
  • the edge portion of the mounting plate 93 may be directly fixed to the other side of the mounting angle 91.
  • the bracket 101 is attached to the attachment plate 93.
  • the bolts 97 pass through the through holes formed in the bracket 101 and the through holes formed in the mounting plate 93, and the bolts 97 are fastened to the nut holes formed in the mounting piece 92, whereby the bracket 101 is It is fixed to the mounting plate 93.
  • the bracket 101 is fixed to the mounting angle 91 via the mounting plate 93 and the mounting piece 92.
  • the bracket 101 has an angular C-shape.
  • the bracket 101 may be formed by bending both end portions of one elongated flat plate.
  • the bracket 101 has a fixed portion 102 that forms the central portion of the bracket 101, a protruding portion 103 that forms one end of the bracket 101, and a protruding portion 104 that forms the other end of the bracket 101. is doing.
  • the fixed portion 102 is fixed to the mounting plate 93 by bolts 97.
  • the protruding portion 103 and the protruding portion 104 are bent with respect to the fixed portion 102 and protrude to the side away from the mounting plate 93.
  • the first imaging unit 51 of the first stereo camera 50 is attached to the protruding portion 103.
  • the first imaging unit 51 is attached to the surface facing the right direction among the surfaces of the flat protrusion 103.
  • a third imaging unit 61 of the second stereo camera 60 is attached to the protruding portion 104.
  • the third imaging unit 61 is attached to the surface facing the right direction among the surfaces of the flat protrusion 104.
  • the bracket 111 is attached to the attachment plate 93.
  • the bolts 97 respectively pass through the through holes formed in the bracket 111 and the through holes formed in the mounting plate 93, and the bolts 97 are fastened to the nut holes formed in the mounting piece 92. It is fixed to the mounting plate 93.
  • the bracket 111 is fixed to the mounting angle 91 via the mounting plate 93 and the mounting piece 92.
  • the bracket 111 has an angular C-shape.
  • the bracket 111 may be formed by bending both end portions of one elongated flat plate.
  • the bracket 111 has a fixed portion 112 that constitutes the central portion of the bracket 111, a protruding portion 113 that constitutes one end of the bracket 111, and a protruding portion 114 that constitutes the other end of the bracket 111. is doing.
  • the fixing portion 112 is fixed to the mounting plate 93 with bolts 97.
  • the protruding portion 113 and the protruding portion 114 are bent with respect to the fixed portion 112 and protrude to the side away from the mounting plate 93.
  • the second imaging unit 52 of the first stereo camera 50 is attached to the protruding portion 113.
  • the second imaging unit 52 is attached to the surface facing the right direction among the surfaces of the flat projection 113.
  • a fourth imaging unit 62 of the second stereo camera 60 is attached to the protruding portion 104.
  • the fourth imaging unit 62 is attached to the surface of the flat protrusion 114 facing the right direction.
  • FIG. 7 is a perspective view showing an outline of the configuration of the front window 47.
  • the front window 47 is formed by surrounding a periphery of a transparent material such as tempered glass with a rectangular annular frame formed by an upper frame portion 47a, a left frame portion 47b, a right frame portion 47c and a lower frame portion (not shown). ing.
  • the upper frame portion 47a of the front window 47 is provided with a plurality of seats 47s.
  • the seats 47s are formed in the same number as the through holes formed in one side of the mounting angle 91 shown in FIG.
  • the seat 47s is formed in the same number as the bolts 95 shown in FIG.
  • a nut hole is formed in the seat 47s.
  • the bolt 95 passes through each of the through holes formed on one side of the mounting angle 91, and the bolt 95 is fastened to the seat 47s, whereby the mounting angle 91 is attached to the seat 47s.
  • the mounting angle 91 By attaching the mounting angle 91 to the seat 47 s, the entire base portion 90, the brackets 101 and 111 attached to the base portion 90, the first imaging unit 51 and the third imaging unit 61 attached to the bracket 101.
  • the second imaging unit 52 and the fourth imaging unit 62 attached to the bracket 111 are disposed along the upper edge of the front window 47.
  • the first imaging unit 51 and the second imaging unit 52 constitute a first stereo camera 50.
  • the third imaging unit 61 and the fourth imaging unit 62 constitute a second stereo camera 60. As shown in FIG. 5, the first stereo camera 50 and the second stereo camera 60 are arranged in the cab 5 along the upper edge of the front window 47.
  • FIG. 8 is a schematic diagram of the first stereo camera 50 viewed from the side.
  • the left side in FIG. 8 is the front side of the vehicle body
  • the right side in FIG. 8 is the rear side of the vehicle body
  • the upper side in FIG. 8 is the upper side of the vehicle body
  • the lower side in FIG. It is the lower side.
  • the left-right direction in FIG. 8 is the front-rear direction of the vehicle body
  • the up-down direction in FIG. 8 is the up-down direction of the vehicle body.
  • FIG. 8 only the second imaging unit 52 is illustrated among the imaging units constituting the first stereo camera 50.
  • An optical axis AX ⁇ b> 2 indicated by a one-dot chain line in FIG. 8 indicates the optical axis of the second imaging unit 52.
  • the second imaging unit 52 is disposed facing the front window 47.
  • the second imaging unit 52 is disposed at an angle that looks down at the front of the cab 5.
  • the optical axis AX2 of the second imaging unit 52 forms a downward angle with respect to the horizontal direction in front of the cab 5.
  • the optical axis AX2 is inclined in front of the vehicle body with a depression angle with respect to the horizontal direction.
  • the second imaging unit 52 is representatively illustrated among the imaging units constituting the first stereo camera 50, but the first imaging unit 51 is the second imaging in a side view. It is arranged at the same position as the part 52. In a side view, the optical axis of the first imaging unit 51 extends in the same direction as the optical axis AX2 of the second imaging unit 52 shown in FIG. The optical axis of the first imaging unit 51 is tilted at a depression angle with respect to the horizontal direction in front of the vehicle body.
  • FIG. 9 is a schematic diagram of the second stereo camera 60 viewed from the side. 9 shows a fourth imaging unit 62 of the second stereo camera 60 in place of the second imaging unit 52 shown in FIG. In FIG. 9, only the fourth imaging unit 62 among the imaging units constituting the second stereo camera 60 is illustrated.
  • An optical axis AX4 indicated by a one-dot chain line in FIG. 9 indicates the optical axis of the fourth imaging unit 62.
  • the fourth imaging unit 62 is disposed facing the front window 47.
  • the fourth imaging unit 62 is disposed at an angle that slightly looks down the front of the cab 5.
  • the optical axis AX4 of the fourth imaging unit 62 forms a downward angle with respect to the horizontal direction in front of the cab 5.
  • the optical axis AX4 is tilted at a depression angle with respect to the horizontal direction in front of the vehicle body.
  • the fourth imaging unit 62 is representatively illustrated among the imaging units constituting the second stereo camera 60, but the third imaging unit 61 is the fourth imaging in a side view. It is arranged at the same position as the part 62. In a side view, the optical axis of the third imaging unit 61 extends in the same direction as the optical axis AX4 of the fourth imaging unit 62 shown in FIG. The optical axis of the third imaging unit 61 is inclined at an included angle with respect to the horizontal direction in front of the vehicle body.
  • the optical axis of the first stereo camera 50 (in the side view shown in FIGS. 8 and 9), the optical axis of the first imaging unit 51 and the light of the second imaging unit 52 are compared.
  • the axis AX2 coincides with the optical axis of the second stereo camera 60 (in the side view shown in FIGS. 8 and 9), the optical axis of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62. Tilted at a larger angle with respect to the horizontal direction than The depression angle of the optical axis of the first stereo camera 50 is larger than the depression angle of the optical axis of the second stereo camera 60.
  • FIG. 10 is a schematic diagram showing an imaging range R1 by the first stereo camera 50 and an imaging range R2 by the second stereo camera 60.
  • the first stereo camera 50 and the second stereo camera 60 are arranged in the upper front part in the cab 5.
  • the first stereo camera 50 and the second stereo camera 60 are arranged at the same position in the vertical direction.
  • the first stereo camera 50 and the second stereo camera 60 overlap each other when viewed from the side.
  • the first image pickup unit 51, the second image pickup unit 52, the third image pickup unit 61, and the fourth image pickup unit 62 are arranged at positions that overlap each other in the side view.
  • An optical axis AX2 shown in FIG. 10 indicates the optical axis of the second imaging unit 52 described with reference to FIG.
  • the optical axis AX1 is the optical axis of the first imaging unit 51, and extends in the same direction as the optical axis AX2 in a side view shown in FIG.
  • An optical axis AX4 illustrated in FIG. 10 indicates the optical axis of the fourth imaging unit 62 described with reference to FIG.
  • the optical axis AX3 is the optical axis of the third imaging unit 61, and extends in the same direction as the optical axis AX4 in the side view shown in FIG.
  • the slope T1 is a ground that is inclined with respect to the vertical direction between the upper ground T4 and the lower ground T5.
  • the shoulder T2 is the uppermost end of the slope T1.
  • the slope T3 is the lowermost end of the slope T1.
  • the shoulder T2 forms a boundary between the slope T1 and the upper ground T4.
  • the slope bottom T3 forms a boundary between the slope T1 and the lower ground T5.
  • the hatched range extending from the upper right to the lower left indicates the range within the angle of view on the vertical plane of the first stereo camera 50 mounted on the hydraulic excavator 1 on the horizontal plane.
  • the first stereo camera 50 images the terrain included within the angle of view.
  • An imaging range R1 illustrated in FIG. 10 indicates a first imaging range on a vertical plane captured by the first stereo camera 50.
  • the imaging range R1 includes a part of the lower ground T5, a slope T3, and a part of the slope T1.
  • the hatched range extending from the upper left to the lower right indicates the range within the angle of view on the vertical plane of the second stereo camera 60 mounted on the hydraulic excavator 1 on the horizontal plane.
  • the second stereo camera 60 images the terrain included in the angle of view.
  • An imaging range R2 illustrated in FIG. 10 indicates a second imaging range on a vertical plane captured by the second stereo camera 60.
  • the imaging range R2 includes a part of the slope T1.
  • the depression angle of the optical axis of the first stereo camera 50 (which coincides with the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 in the side view shown in FIG. 10) is the second 10 is larger than the depression angle of the optical axis of the stereo camera 60 (which coincides with the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 in the side view shown in FIG. 10). Therefore, the first stereo camera 50 images the relatively lower imaging range R1.
  • the second stereo camera 60 images a relatively upper imaging range R2.
  • the second stereo camera 60 images an imaging range R2 above the imaging range R1 captured by the first stereo camera 50.
  • the imaging range R1 and the imaging range R2 partially overlap.
  • the upper edge portion of the imaging range R1 and the lower edge portion of the imaging range R2 overlap each other.
  • the angle of view of the first stereo camera 50 and the angle of view of the second stereo camera 60 are partially overlapped.
  • the angles of view of the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are partially overlapped.
  • the lower edge of the imaging range R1 and the upper edge of the imaging range R2 form an angle of about 90 degrees (in FIG. 10, the angle is smaller than 90 degrees to make the drawing easier to see). With a vertical angle of view of about 90 degrees, it is possible to image an area including a work area where the work machine 4 of the excavator 1 works.
  • FIG. 11 is a schematic diagram showing the imaging range R1 on the vertical plane by the first stereo camera 50 and the imaging range R2 on the vertical plane by the second stereo camera 60, as in FIG.
  • the hydraulic excavator 1 illustrated in FIG. 11 performs a work on a plane T6, which is a terrain different from the terrain having the slope T1 illustrated in FIG.
  • the depression angle of the optical axis of the first stereo camera 50 (which coincides with the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 in the side view shown in FIG. 11) is the second 11 is larger than the depression angle of the optical axis of the stereo camera 60 (corresponding to the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 in the side view shown in FIG. 11). Therefore, the first stereo camera 50 images the imaging range R1 that is relatively close to the vehicle body.
  • the second stereo camera 60 captures an imaging range R2 that is relatively far from the vehicle body.
  • the second stereo camera 60 captures an imaging range R2 that is farther than the imaging range R1 captured by the first stereo camera 50.
  • the imaging range R1 and the imaging range R2 partially overlap. With the imaging range R2, it is possible to capture an area farther from the vehicle body than the work area where the work implement 4 works.
  • FIG. 12 is a schematic diagram of the first to fourth imaging units of the first stereo camera 50 and the second stereo camera 60 in plan view.
  • a base unit 90 attached in the cab 5 a first imaging unit 51, a second imaging unit 52, a third imaging unit 61, and a fourth imaging unit supported by the base unit 90. 62 and the state in which the work machine 4 is viewed in plan are schematically illustrated.
  • the right side in FIG. 12 corresponds to the right direction of the vehicle body
  • the left side in FIG. 12 corresponds to the left direction of the vehicle body.
  • the upper side in FIG. 12 corresponds to the front direction of the vehicle body
  • the lower side in FIG. 12 corresponds to the rear direction of the vehicle body.
  • the optical axes AX1, AX2, AX3, and AX4 of the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 described above are illustrated.
  • the center axis C of the work machine 4 is also indicated by a one-dot chain line.
  • the central axis C of the working machine 4 extends in the front-rear direction of the vehicle body.
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are inclined with respect to the direction in which the central axis C of the work implement 4 extends in plan view, as shown in FIG. ing.
  • the optical axes AX1 and AX2 extend in a direction approaching the work implement 4 as they move away from the vehicle body in plan view.
  • the optical axes AX1 and AX2 in plan view intersect the central axis C of the work implement 4 in front of the vehicle body.
  • the optical axis of the first stereo camera 50 in plan view passes through the intersection of the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52, and the optical axis AX1 and the optical axis AX2 Is defined as a direction in which a straight line passing through an intermediate point between the first imaging unit 51 and the second imaging unit 52 extends.
  • the first imaging unit 51 is disposed at a position farther from the work implement 4 than the second imaging unit 52 in the left-right direction of the vehicle body.
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are inclined at different angles with respect to the direction in which the central axis C of the work implement 4 extends in plan view. .
  • the angle at which the optical axis AX1 of the first imaging unit 51 is inclined with respect to the direction in which the central axis C of the work implement 4 extends is the direction in which the optical axis AX2 of the second imaging unit 52 extends in the central axis C of the work implement 4 It is larger than the angle inclined with respect to.
  • the first imaging unit 51 and the second imaging unit 52 are arranged such that the optical axes AX1 and AX2 are not parallel and the optical axes AX1 and AX2 intersect each other in front of the vehicle body. For this reason, the imaging range captured by the first imaging unit 51 and the imaging range captured by the second imaging unit 52 partially overlap each other. Thereby, even when the first image pickup unit 51 and the second image pickup unit 52 are arranged at an interval in the left-right direction of the vehicle body, a pair of images of an object to be imaged by the first stereo camera 50 Can be reliably acquired, and a three-dimensional image of the object to be imaged can be constructed by stereo-processing these pair of images.
  • the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 are inclined with respect to the direction in which the central axis C of the work implement 4 extends in a plan view, as shown in FIG. ing.
  • the optical axes AX3 and AX4 extend in a direction approaching the work implement 4 as they move away from the vehicle body in plan view.
  • the optical axes AX3 and AX4 in plan view intersect the central axis C of the work implement 4 in front of the vehicle body.
  • the optical axis of the second stereo camera 60 in plan view passes through the intersection of the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62, and the optical axis AX3 and the optical axis AX4. Is defined as a direction in which a straight line passing through an intermediate point between the third imaging unit 61 and the fourth imaging unit 62 extends.
  • the third imaging unit 61 is arranged at a position farther from the work implement 4 than the fourth imaging unit 62 in the left-right direction of the vehicle body.
  • the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 are inclined at different angles with respect to the extending direction of the central axis C of the work implement 4 in plan view. .
  • the angle at which the optical axis AX3 of the third imaging unit 61 extends with respect to the direction in which the central axis C of the work implement 4 extends is the direction in which the optical axis AX4 of the fourth imaging unit 62 extends in the central axis C of the work implement 4 It is larger than the angle inclined with respect to.
  • the third imaging unit 61 and the fourth imaging unit 62 are arranged such that the optical axes AX3 and AX4 are not parallel and the optical axes AX3 and AX4 intersect each other in front of the vehicle body. Therefore, the imaging range captured by the third imaging unit 61 and the imaging range captured by the fourth imaging unit 62 partially overlap each other. Thereby, even when the third imaging unit 61 and the fourth imaging unit 62 are arranged with a space in the left-right direction of the vehicle body, a pair of images of the object to be imaged by the second stereo camera 60. Can be reliably acquired, and a three-dimensional image of the object to be imaged can be constructed by stereo-processing these pair of images.
  • FIG. 13 is a functional block diagram showing a configuration of an image data generation system using the first stereo camera 50 and the second stereo camera 60.
  • the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52.
  • the second stereo camera 60 includes a third imaging unit 61 and a fourth imaging unit 62.
  • the first stereo camera 50 is electrically connected to the controller 20.
  • the first imaging unit 51 and the second imaging unit 52 image the front area in front of the vehicle body (imaging range R1 shown in FIGS. 10 and 11) in synchronization.
  • the two-dimensional images captured by the first imaging unit 51 and the second imaging unit 52 are input to the controller 20.
  • the controller 20 transmits the data related to the two input two-dimensional images to the external monitoring station 76.
  • the monitoring station 76 has a stereo matching unit 761.
  • the stereo matching unit 761 constitutes a part of the image data generation system.
  • the stereo matching unit 761 stereo-matches two-dimensional images that are simultaneously captured from different angles by the first imaging unit 51 and the second imaging unit 52, and obtains image data related to the three-dimensional shape of the front region that is the imaging target. calculate. More specifically, the stereo matching unit 761 uses the triangulation principle based on the parallax between the first imaging unit 51 and the second imaging unit 52 as the imaging target from the first imaging unit 51. A distance to a certain front area and a distance from the second imaging unit 52 to the front area are calculated to obtain a three-dimensional shape of the front area.
  • the second stereo camera 60 is electrically connected to the controller 20.
  • the 3rd imaging part 61 and the 4th imaging part 62 image the front area
  • Two-dimensional images captured by the third imaging unit 61 and the fourth imaging unit 62 are input to the controller 20.
  • the controller 20 transmits the data related to the two input two-dimensional images to the external monitoring station 76.
  • the monitoring station 76 has a stereo matching unit 762.
  • the stereo matching unit 762 constitutes a part of the image data generation system.
  • the stereo matching unit 762 stereo-matches the two-dimensional image captured simultaneously from different angles by the third image capturing unit 61 and the fourth image capturing unit 62, and the image data relating to the three-dimensional shape of the front region that is the imaging target. calculate. More specifically, the stereo matching unit 761 uses the triangulation principle based on the parallax between the third imaging unit 61 and the fourth imaging unit 62 as an imaging target. A distance to a certain front area and a distance from the fourth imaging unit 62 to the front area are calculated to obtain a three-dimensional shape of the front area.
  • the second stereo camera 60 captures an imaging range R2 above or farther than the imaging range R1 captured by the first stereo camera 50.
  • the upper edge portion of the imaging range R1 and the lower edge portion of the imaging range R2 overlap each other. Therefore, the three-dimensional shape of the front area obtained by the stereo matching unit 762 indicates the topography that is above or far away from the three-dimensional shape of the front area obtained by the stereo matching unit 761.
  • the lower edge portion of the three-dimensional shape obtained by the stereo matching unit 762 and the upper edge portion of the three-dimensional shape obtained by the stereo matching unit 761 have the same shape.
  • the monitoring station 76 further includes an upper and lower stereo image data synthesis unit 763.
  • the upper and lower stereo image data combining unit 763 combines the image data calculated by the stereo matching unit 761 and the image data calculated by the stereo matching unit 762 into one.
  • the composition of the image data is performed by projecting the other image data on the coordinate system of one image data based on the relative position between the first stereo camera 50 and the second stereo camera 60.
  • FIG. 14 is a diagram illustrating an example of image data synthesis.
  • An acquired image I1 illustrated in FIG. 14 indicates a two-dimensional image captured by the first imaging unit 51 of the first stereo camera 50.
  • the acquired image I2 indicates a two-dimensional image captured by the second imaging unit 52 of the first stereo camera 50.
  • the acquired image I3 indicates a two-dimensional image captured by the third imaging unit 61 of the second stereo camera 60.
  • the acquired image I4 indicates a two-dimensional image captured by the fourth imaging unit 62 of the second stereo camera 60.
  • the acquired images I1 to I4 have a vertically long shape. As described above, since the light receiving surfaces of the imaging elements of the respective imaging units are arranged vertically, the acquired images I1 to I4 captured by each imaging unit have a vertically long shape. Each imaging unit is configured to be able to capture a vertically long image. The first stereo camera 50 and the second stereo camera 60 are configured to be able to capture a vertically long image.
  • the parallax image D1 indicates an image generated by performing a stereo matching process between the acquired image I1 and the acquired image I2.
  • the parallax image D2 indicates an image generated by performing a stereo matching process between the acquired image I3 and the acquired image I4.
  • a parallax image D1 is created by calculating a parallax value between a pixel in the acquired image I1 and a pixel in the acquired image I2.
  • a parallax image D2 is created by calculating a parallax value between a pixel in the acquired image I3 and a pixel in the acquired image I4.
  • the terrain data T is image data that is obtained by synthesizing the parallax image D1 and the parallax image D2 and three-dimensionally shows the current terrain ahead of the vehicle body.
  • the terrain data T is generated in which the range from the slope T3 to the shoulder T2 of the slope T1 shown in FIG.
  • the terrain data T includes the three-dimensional shape of the current terrain ahead of the vehicle body.
  • FIG. 15 is a schematic diagram showing an example of the terrain to be imaged.
  • the terrain shown in FIG. 15 has a slope T1 like the terrain described with reference to FIG.
  • the slope T1 is inclined with respect to the vertical direction between the upper ground T4 and the lower ground T5.
  • the boundary between the slope T1 and the upper ground T4 is the shoulder T2
  • the boundary between the slope T1 and the lower ground T5 is the slope T3.
  • FIG. 16 is a diagram illustrating an example of imaging by each imaging unit.
  • FIG. 16A shows a two-dimensional image in which the first imaging unit 51 images the terrain shown in FIG.
  • FIG. 16B shows a two-dimensional image in which the third imaging unit 61 images the terrain shown in FIG.
  • FIG. 16C shows a two-dimensional image in which the second imaging unit 52 images the terrain shown in FIG.
  • FIG. 16D shows a two-dimensional image in which the fourth imaging unit 62 images the terrain shown in FIG.
  • the shoulder T2 and the modulo are used to capture images captured by the first imaging unit 51 and the second imaging unit 52 that constitute the first stereo camera 50. Both the bottom T3 are included.
  • the imaging by the first stereo camera 50 includes the entire slope T1 in the height direction.
  • the image picked up by the third image pickup unit 61 and the fourth image pickup unit 62 constituting the second stereo camera 60 includes a shoulder T2 as shown in FIGS. 16 (b) and 16 (d). However, the butt T3 is not included.
  • the imaging by the second stereo camera 60 includes the upper end portion of the slope T1 in the height direction and the topography above the slope T1.
  • the upper edge portion of the image captured by the first stereo camera 50 and the lower edge portion of the image captured by the second stereo camera 60 have the same shape as shown in FIG. There is an overlapping area between the imaging range of the first stereo camera 50 and the imaging range of the second stereo camera 60. Therefore, the imaging by the first stereo camera 50 and the imaging by the second stereo camera 60 are arranged vertically with the imaging by the first stereo camera 50 on the lower side and the imaging by the second stereo camera 60 on the upper side. By synthesizing, it is possible to generate image data in which a range from the lower ground T5 below the slope T1 to the upper ground T4 above the slope T1 is widely synthesized.
  • FIG. 17 is a diagram illustrating an example of imaging by each imaging unit.
  • FIG. 17 shows an image obtained by imaging the same topography as the image shown in FIG. 16, but the work implement 4 is included in the image taken by the first stereo camera 50 and the second stereo camera 60. .
  • the work machine 4 exists within the angle of view of the first stereo camera 50 and the second stereo camera 60. Since the current topography of the slope T1 is partially hidden by the work machine 4, the current topography cannot be accurately grasped even using the imaging shown in FIG. Below, the image data generation method which can generate
  • FIG. 18 is a flowchart illustrating an image data generation method based on the embodiment.
  • the work implement 4 within the angle of view of the stereo camera is moved out of the angle of view (step S1).
  • FIG. 19 is a schematic diagram illustrating movement of the work machine 4 outside the angle of view of the stereo camera.
  • FIG. 19A shows the hydraulic excavator 1 on which the work machine 4 is working
  • FIG. 19B shows the hydraulic pressure in a state where the work machine 4 has moved outside the angle of view of the stereo camera.
  • Excavator 1 is shown.
  • the controller 20 measures the current position of the work implement 4. Based on the current position of the work machine 4 and the setting values of the angle of view of the first stereo camera 50 and the second stereo camera 60, the controller 20 determines that the work machine 4 has the first stereo camera 50 and the second stereo camera 50. It is determined whether or not the angle of view of the stereo camera 60 is within.
  • the controller 20 moves the work machine 4 outside the angle of view of the stereo camera. Specifically, the controller 20 transmits an operation signal to the boom switching valve 14b and the arm switching valve 14d shown in FIG. 2 to raise the boom 4a and raise the arm 4b.
  • the controller 20 detects from the position sensor 10 shown in FIG. 3 a detection signal indicating that the arm cylinder 4e has reached the contraction side stroke end, and detection indicating that the boom cylinder 4f has reached the contraction side stroke end. Receive a signal. Receiving these detection signals, the controller 20 recognizes that the work machine 4 has moved to the position shown in FIG. 19B, and determines that the work machine 4 has moved outside the angle of view of the stereo camera.
  • Imaging is performed (step S2).
  • First imaging unit 51 and second imaging unit 52 constituting the first stereo camera 50, and third imaging unit 61 and fourth imaging unit constituting the second stereo camera 60 62 images all of the front areas in front of the vehicle body in synchronization. Since the work machine 4 has moved outside the angle of view of the stereo camera in the previous step S1, as shown in FIG. 16, the work machine 4 does not exist for imaging.
  • the imaging device performs imaging of the front area in a state where the work machine 4 is moved out of the angle of view.
  • stereo matching is performed (step S3). Imaging of the first imaging unit 51 shown in FIG. 16A (corresponding to the acquired image I1 in FIG. 14) and imaging of the second imaging unit 52 shown in FIG. 16C (acquired image I2 in FIG. 14). And stereo matching processing to generate image data of the parallax image D1 shown in FIG. In addition, the imaging of the third imaging unit 61 shown in FIG. 16B (corresponding to the acquired image I3 in FIG. 14) and the imaging of the fourth imaging unit 62 shown in FIG. 16D (acquisition in FIG. 14). (Corresponding to the image I4) is subjected to stereo matching processing to generate image data of the parallax image D2 shown in FIG.
  • step S4 the upper and lower stereo image data are synthesized.
  • the image data of the parallax image D1 and the image data of the parallax image D2 obtained in step S3 are vertically arranged so that the common shape is superimposed with the parallax image D1 on the lower side and the parallax image D2 on the upper side. .
  • the image data of the parallax image D1 and the image data of the parallax image D2 are combined in the longitudinal direction of each image data. Thereby, the terrain data T shown in FIG. 14 is created.
  • step S5 the image data is displayed (step S5).
  • the controller 20 displays the terrain data T of the current terrain created in step S4 on the monitor 21 shown in FIG.
  • the monitor 21 displays construction design data to be worked and terrain data T indicating the current terrain.
  • the operator can confirm the current working state by confirming the display on the monitor 21 in the cab 5.
  • step S6 the work machine 4 is moved to the work area where the work is performed.
  • step S6 the work machine 4 that has moved outside the angle of view of the stereo camera is returned to the angle of view of the stereo camera in front of the vehicle body during imaging.
  • preparation for the next work by the work machine 4 is performed.
  • END a series of processes relating to image data generation
  • the work machine 4 has moved outside the angle of view of the stereo camera by the arm cylinder 4e and the boom cylinder 4f reaching the contraction side stroke end.
  • the boom cylinder 4f reaches the contraction side stroke end and the arm cylinder 4e and the bucket cylinder 4d reach the expansion side stroke end, the movement of the work implement 4 outside the angle of view may be determined.
  • FIG. 20 is a schematic diagram showing the arrangement of each imaging unit with respect to the base unit 90.
  • 20 includes a base unit 90 described with reference to FIGS. 4, 5, and 6, a first imaging unit 51 and a second imaging unit 52 that constitute the first stereo camera 50, and a second imaging unit 52.
  • a third imaging unit 61 and a fourth imaging unit 62, a left case 81, and a right case 82 that constitute the stereo camera 60 are schematically shown.
  • the second imaging unit 52 is disposed on the right side of the first imaging unit 51.
  • the fourth imaging unit 62 is disposed on the right side of the third imaging unit 61.
  • the first imaging unit 51 and the third imaging unit 61 constitute a left imaging unit group.
  • the left imaging unit group is accommodated in the left case 81.
  • the second imaging unit 52 and the fourth imaging unit 62 constitute a right imaging unit group.
  • the right imaging unit group is accommodated in the right case 82.
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction.
  • a first imaging unit 51, a third imaging unit 61, a second imaging unit 52, and a fourth imaging unit 62 are arranged in order from the left side to the right side.
  • the interval between the third imaging unit 61 and the second imaging unit 52 in the left-right direction is wider than the interval between the first imaging unit 51 and the third imaging unit 61.
  • the interval between the third imaging unit 61 and the second imaging unit 52 in the left-right direction is wider than the interval between the second imaging unit 52 and the fourth imaging unit 62.
  • FIG. 21 is a schematic diagram showing the arrangement of each imaging unit with respect to the base unit 90, as in FIG. Similarly to FIG. 20, the first imaging unit 51 and the third imaging unit 61 constitute a left imaging unit group and are accommodated in the left case 81.
  • the second imaging unit 52 and the fourth imaging unit 62 constitute a right imaging unit group and are accommodated in the right case 82.
  • the modification shown in FIG. 21 is different from the example shown in FIG. 20 in that the arrangement of the second imaging unit 52 and the fourth imaging unit 62 in the left-right direction is switched.
  • a first imaging unit 51, a third imaging unit 61, a fourth imaging unit 62, and a second imaging unit 52 are arranged in order from the left side to the right side. .
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction.
  • the third imaging unit 61 on the right side of the left imaging unit group and the fourth imaging unit 62 on the left side of the right imaging unit are arranged with an interval in the left-right direction.
  • the interval between the third imaging unit 61 and the fourth imaging unit 62 in the left-right direction is wider than the interval between the first imaging unit 51 and the third imaging unit 61 constituting the left imaging unit group,
  • the interval between the second imaging unit 52 and the fourth imaging unit 62 constituting the right imaging unit group is wider.
  • FIG. 22 is a schematic diagram showing an arrangement of each imaging unit in a plan view with respect to the vehicle body.
  • FIG. 22 schematically shows the revolving structure 3, the work implement 4, the cab 5, and the counterweight 7 described with reference to FIG.
  • FIG. 22 also schematically shows the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are disposed in the cab 5 as shown in FIG.
  • the optical axes of the first imaging unit 51 and the second imaging unit 52 are inclined in a direction intersecting the central axis C of the work implement 4 described with reference to FIG.
  • the optical axes of the first imaging unit 51 and the second imaging unit 52 are inclined at different angles with respect to the central axis C of the work implement 4 in plan view.
  • the first imaging unit 51 is arranged at a position farther from the work implement 4 than the second imaging unit 52 in the left-right direction.
  • the angle at which the first imaging unit 51 is inclined with respect to the central axis C of the work implement 4 is larger than the angle at which the second imaging unit 52 is inclined with respect to the central axis C of the work implement 4.
  • the optical axes of the third imaging unit 61 and the fourth imaging unit 62 are inclined in a direction intersecting with the central axis C of the work machine 4 in plan view.
  • the optical axes of the third imaging unit 61 and the fourth imaging unit 62 are inclined at different angles with respect to the central axis C of the work implement 4 in plan view.
  • the third imaging unit 61 is arranged at a position farther from the work implement 4 than the fourth imaging unit 62 in the left-right direction.
  • the angle at which the third imaging unit 61 is inclined with respect to the central axis C of the work implement 4 is larger than the angle at which the fourth imaging unit 62 is inclined with respect to the central axis C of the work implement 4.
  • FIG. 23 is a schematic diagram showing the arrangement of each imaging unit in a plan view with respect to the vehicle body, as in FIG.
  • the excavator 1 has the first stereo camera 50 and the second stereo camera 60, but the present invention is not limited to this configuration. As shown in FIG. 23, the excavator 1 may have only the first stereo camera 50.
  • the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52.
  • the first image pickup unit 51 and the second image pickup unit 52 are arranged with an interval in the left-right direction.
  • the first imaging unit 51 is disposed closer to the left pillar 42 shown in FIGS. 4 and 5 than the center of the cab 5 in the left-right direction.
  • the second imaging unit 52 is disposed closer to the right pillar 41 shown in FIGS. 4 and 5 than the center of the cab 5 in the left-right direction.
  • each imaging unit constituting the stereo camera 50 is arranged inside the cab 5 .
  • Each imaging unit may be mounted on the roof panel 49 (FIGS. 4 and 5) of the cab 5 while maintaining the arrangement in the plan view shown in FIG. 20 or FIG.
  • FIG. 24 is a schematic diagram showing the arrangement of each imaging unit in a plan view with respect to the vehicle body, as in FIG.
  • the excavator 1 has the cab 5, and each imaging unit constituting the stereo camera is attached to the cab 5.
  • the excavator 1 does not necessarily have the cab 5.
  • the hydraulic excavator 1 is not limited to a specification in which an operator gets on the hydraulic excavator 1 and operates the hydraulic excavator 1, but may be a specification that operates by remote operation from the outside. In this case, the hydraulic excavator 1 does not need the cab 5 for the operator to superimpose, so the cab 5 may not be provided.
  • the left-right direction and the front-rear direction in the hydraulic excavator 1 without the cab 5 indicate the same direction as the left-right direction and the front-rear direction defined in the hydraulic excavator 1 with the cab 5 described so far.
  • the front-rear direction is a direction in which a surface on which the work machine 4 operates in a plan view extends.
  • the front-rear direction refers to a surface through which the boom 4a of the working machine 4 that rotates and moves around the boom pin with respect to the swing body 3 in a plan view.
  • the left-right direction is a direction orthogonal to the front-rear direction in plan view.
  • the arrangement of the first imaging unit 51 and the second imaging unit 52 in plan view is the same as that shown in FIG. Similarly to FIG. 23, the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 approach the work machine as they move away from the vehicle body with respect to the central axis C of the work machine 4. Inclined to the side.
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are inclined at different angles with respect to the central axis C of the work implement 4.
  • the angle at which the first imaging unit 51 is inclined with respect to the central axis C of the work implement 4 is larger than the angle at which the second imaging unit 52 is inclined with respect to the central axis C of the work implement 4.
  • FIG. 25 is a schematic diagram showing the arrangement of each imaging unit in a plan view with respect to the vehicle body, as in FIG. In the embodiment described so far, the first imaging unit 51 and the second imaging unit 52 are arranged on the left side with respect to the work machine 4. The first imaging unit 51 and the second imaging unit 52 may be arranged on the right side with respect to the work implement 4.
  • the optical axis AX1 of the first image pickup unit 51 and the optical axis AX2 of the second image pickup unit 52 are With respect to the central axis C of 4, it inclines to the side which approaches a working machine as it leaves
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are inclined at different angles with respect to the central axis C of the work implement 4.
  • the angle at which the first imaging unit 51 is inclined with respect to the central axis C of the work implement 4 is larger than the angle at which the second imaging unit 52 is inclined with respect to the central axis C of the work implement 4.
  • FIG. 26 is a schematic diagram showing the arrangement of each imaging unit in a plan view with respect to the vehicle body, as in FIGS.
  • both the first imaging unit 51 and the second imaging unit 52 are arranged on either the left side or the right side with respect to the work machine 4.
  • the first imaging unit 51 and the second imaging unit 52 may be arranged separately on the left side of the work machine 4 and the right side of the work machine 4.
  • the first imaging unit 51 is disposed on the left side of the work implement 4 and the second imaging unit 52 is disposed on the right side of the work implement 4.
  • the axis AX1 and the optical axis AX2 of the second imaging unit 52 are inclined with respect to the central axis C of the work machine 4 toward the work machine as the distance from the vehicle body increases.
  • a hydraulic excavator 1 as an example of a work vehicle according to the present embodiment includes a vehicle body configured by a traveling body 2 and a revolving body 3, and a work machine 4 attached to the revolving body 3. ing. As shown in FIG. 12, the work machine 4 has a central axis C in plan view.
  • the excavator 1 also includes a first stereo camera 50 as shown in FIG. The first stereo camera 50 is attached to the swing body 3. As illustrated in FIG. 5, the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52.
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are closer to the working machine 4 as they move away from the vehicle body in plan view. 4 is inclined with respect to the central axis C.
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are inclined at different angles with respect to the central axis C of the work implement 4.
  • the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 are set to the central axis C of the work implement 4 in a direction intersecting the central axis C of the work implement 4 in front of the vehicle body. It is inclined with respect to it.
  • the first image pickup unit 51 and the second image pickup unit 52 are arranged with an interval in the left-right direction of the vehicle main body, so that the accuracy of the image pickup data of the first stereo camera 50 is improved. ing. Further, in the present embodiment, the first imaging unit 51 and the second imaging unit 52 are at different angles with respect to the central axis C of the work implement 4 and closer to the work implement 4 as they move away from the vehicle body. Inclined.
  • the first imaging unit 51 is arranged at a position farther from the work implement 4 than the second imaging unit 52 in the left-right direction of the vehicle body.
  • the angle at which the optical axis AX1 of the first imaging unit 51 is inclined with respect to the central axis C of the work implement 4 is the angle at which the optical axis AX2 of the second imaging unit 52 is inclined with respect to the central axis C of the work implement 4 Is bigger than.
  • the first stereo camera 50 is configured to be able to capture a vertically long image.
  • the image pickup device of the first image pickup unit 51 and the image pickup device of the second image pickup unit 52 have a rectangular light receiving surface.
  • the light receiving surface has a long side having a relatively long length and a short side having a relatively short length, and the long side is arranged in a direction along the vertical direction. In this way, the first stereo camera 50 capable of capturing a vertically long image can be realized.
  • the first stereo camera 50 By configuring the first stereo camera 50 to be able to capture a vertically long image, the first stereo camera 50 can be used to simultaneously capture a wider range in the vertical direction or the front-rear direction. Accordingly, it is possible to accurately capture the current terrain over a wide range of work objects.
  • the excavator 1 further includes a second stereo camera 60.
  • the second stereo camera 60 is attached to the swing body 3.
  • the second stereo camera 60 includes a third imaging unit 61 and a fourth imaging unit 62.
  • the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 are arranged closer to the working machine 4 as they move away from the vehicle body in plan view. 4 is inclined with respect to the central axis C.
  • the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 are inclined at different angles with respect to the central axis C of the work implement 4.
  • the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 are set to the central axis C of the work implement 4 in a direction intersecting with the central axis C of the work implement 4 in front of the vehicle body. It is inclined with respect to it.
  • the third imaging unit 61 and the fourth imaging unit 62 are arranged with a space in the left-right direction of the vehicle main body, so that the accuracy of the imaging data of the second stereo camera 60 is improved. ing. Further, in the present embodiment, the third imaging unit 61 and the fourth imaging unit 62 are at different angles with respect to the central axis C of the work implement 4 and closer to the work implement 4 as they move away from the vehicle body. Inclined. Thereby, even when the interval between the third imaging unit 61 and the fourth imaging unit 62 is increased, the third imaging unit 61 and the fourth imaging unit 62 can simultaneously image the same object. Can do. Therefore, the current topography of the work target can be accurately imaged, and the productivity of the enforcement process in the construction business can be improved.
  • the first stereo camera 50 images the imaging range R1.
  • the second stereo camera 60 images the imaging range R2.
  • the imaging range R ⁇ b> 2 of the second stereo camera 60 is above the imaging range R ⁇ b> 1 of the first stereo camera 50.
  • the imaging range R2 of the second stereo camera 60 is farther than the imaging range R1 of the first stereo camera 50.
  • the two stereo cameras can be used to move in the vertical direction or the front-rear direction. A wide range can be imaged simultaneously. Accordingly, it is possible to accurately capture the current terrain over a wide range of work objects.
  • the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 of the second stereo camera 60 are in the horizontal direction in front of the vehicle body. A downward angle is formed.
  • the second stereo camera 60 that images the imaging range R2 above or farther than the imaging range R1 of the first stereo camera 50 is arranged such that the optical axes AX3 and AX4 form a depression angle.
  • the second stereo camera 60 Since the work target in the construction business is the ground, if the second stereo camera 60 is arranged so that the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 form a depression angle, The terrain that is the work target is surely included in the imaging range R2 of the second stereo camera 60. Therefore, it is possible to accurately capture the current topography in a wider range in the vertical direction or the front-rear direction of the work target using the two stereo cameras.
  • the second stereo camera 60 is configured to be able to capture a vertically long image.
  • the image pickup element of the third image pickup unit 61 and the image pickup element of the fourth image pickup unit 62 have a rectangular light receiving surface.
  • the light receiving surface has a long side having a relatively long length and a short side having a relatively short length, and the long side is arranged in a direction along the vertical direction. In this way, the second stereo camera 60 capable of capturing a vertically long image can be realized.
  • the second stereo camera 60 By configuring the second stereo camera 60 so that a vertically long image can be captured, it is possible to simultaneously capture a wider range in the vertical direction or the front-rear direction using two stereo cameras. Accordingly, it is possible to accurately capture the current terrain over a wide range of work objects.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 are arranged at the same position in the vertical direction. ing.
  • the cab 5 When the first stereo camera 50 and the second stereo camera 60 are arranged in the cab 5, if the first stereo camera 50 and the second stereo camera 60 are arranged in the vertical direction, the cab 5 is boarded. The operator's field of view may be blocked by the stereo camera.
  • the imaging units of the first stereo camera 50 and the second stereo camera 60 By arranging the imaging units of the first stereo camera 50 and the second stereo camera 60 at the same position in the vertical direction and arranging the imaging units side by side in the cab 5 in the horizontal direction, the operator's field of view Therefore, the efficiency of work by the operator can be improved.
  • the excavator 1 further includes a cab 5.
  • the cab 5 is disposed on the revolving unit 3.
  • the first imaging unit 51 and the second imaging unit 52 are disposed in the cab 5.
  • the third imaging unit 61 and the fourth imaging unit 62 are disposed in the cab 5.
  • a hydraulic excavator 1 as an example of a work vehicle according to the present embodiment includes a vehicle main body constituted by a traveling body 2 and a turning body 3 as shown in FIG.
  • the hydraulic excavator 1 is provided with an imaging device.
  • the imaging apparatus includes a first stereo camera 50 and a second stereo camera 60.
  • the first stereo camera 50 and the second stereo camera 60 are attached to the swing body 3.
  • the first stereo camera 50 images the imaging range R1.
  • the second stereo camera 60 images the imaging range R2.
  • the imaging range R ⁇ b> 2 of the second stereo camera 60 is above the imaging range R ⁇ b> 1 of the first stereo camera 50.
  • the imaging range R2 of the second stereo camera 60 is farther than the imaging range R1 of the first stereo camera 50.
  • the two stereo cameras can be used to move in the vertical direction or the front-rear direction.
  • a wide range can be imaged simultaneously. Therefore, when the work target includes the slope T1, it is possible to accurately capture a wide range of current topography in the vertical direction.
  • the work target is a flat ground, a wide range of current landforms in the front-rear direction can be accurately imaged.
  • All the imaging units of the two stereo cameras are synchronized to capture the imaging ranges R1 and R2 at the same time, so that it is possible to obtain highly accurate current terrain data in a wide area.
  • the imaging range R1 of the first stereo camera 50 and the imaging range R2 of the second stereo camera 60 partially overlap.
  • the two stereo cameras can be used so that it is wider in the vertical direction or the front-rear direction.
  • the range can be imaged simultaneously.
  • the hydraulic excavator 1 further includes a work machine 4 attached to the swing body 3.
  • the work machine 4 has a central axis C in plan view.
  • the optical axis of the first stereo camera 50 in plan view is defined from the optical axis AX1 of the first imaging unit 51 and the optical axis AX2 of the second imaging unit 52 shown in FIG.
  • the optical axis of the second stereo camera 60 in plan view is defined from the optical axis AX3 of the third imaging unit 61 and the optical axis AX4 of the fourth imaging unit 62 shown in FIG.
  • the optical axis of the first stereo camera 50 and the optical axis of the second stereo camera 60 are inclined with respect to the central axis C of the work implement 4 toward the work implement 4 as it moves away from the vehicle body in plan view. is doing.
  • the optical axis of the first stereo camera 50 and the optical axis of the second stereo camera 60 are inclined at different angles with respect to the central axis C of the work machine 4.
  • the optical axis of the first stereo camera 50 and the optical axis of the second stereo camera 60 are in front of the vehicle body and intersect the central axis C of the work implement 4 with respect to the central axis C of the work implement 4. Inclined.
  • the same object can be simultaneously imaged by the first stereo camera 50 and the second stereo camera 60. Therefore, the current topography of the work target can be accurately imaged, and the productivity of the enforcement process in the construction business can be improved.
  • the optical axis of the first stereo camera 50 and the optical axis of the second stereo camera 60 form a downward angle with respect to the horizontal direction in front of the vehicle body.
  • the first stereo camera 50 and the second stereo camera 60 are arranged such that the optical axes form a depression angle.
  • the work target in the construction business is the ground
  • the first stereo camera 50 and the second stereo camera 60 are arranged so that their optical axes form a depression angle, the topography as the work target is the first. This is surely included in the imaging range R1 of the stereo camera 50 and the imaging range R2 of the second stereo camera 60. Therefore, it is possible to accurately capture the current terrain in a wider range of work objects using two stereo cameras.
  • the first stereo camera 50 and the second stereo camera 60 are arranged side by side in the left-right direction of the vehicle body.
  • the cab 5 When the first stereo camera 50 and the second stereo camera 60 are arranged in the cab 5, if the first stereo camera 50 and the second stereo camera 60 are arranged in the vertical direction, the cab 5 is boarded. The operator's field of view may be blocked by the stereo camera. By arranging the first stereo camera 50 and the second stereo camera 60 side by side in the cab 5 in the left-right direction, the operator's field of view can be secured widely, so that the efficiency of work by the operator can be improved.
  • the first stereo camera 50 and the second stereo camera 60 are arranged at the same position in the vertical direction.
  • the operator's field of view can be secured widely, so that the efficiency of work by the operator can be improved.
  • the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52.
  • the second imaging unit 52 is disposed on the right side of the vehicle body in the left-right direction with respect to the first imaging unit 51.
  • the second stereo camera 60 includes a third imaging unit 61 and a fourth imaging unit 62.
  • the fourth imaging unit 62 is disposed on the right side of the vehicle body in the left-right direction with respect to the third imaging unit 61.
  • the first imaging unit 51 and the third imaging unit 61 constitute a left imaging unit group.
  • the second imaging unit 52 and the fourth imaging unit 62 constitute a right imaging unit group.
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction of the vehicle body.
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction of the vehicle body. Therefore, it is possible to improve the accuracy of the imaging data of the first stereo camera 50 and the second stereo camera 60.
  • the first stereo camera 50 and the second stereo camera 60 are configured to be able to capture a vertically long image.
  • the image pickup device of the first image pickup unit 51 and the image pickup device of the second image pickup unit 52 have a rectangular light receiving surface.
  • the light receiving surface has a long side having a relatively long length and a short side having a relatively short length, and the long side is arranged in a direction along the vertical direction. In this way, the first stereo camera 50 capable of capturing a vertically long image can be realized.
  • the image pickup element of the third image pickup unit 61 and the image pickup element of the fourth image pickup unit 62 have a rectangular light receiving surface.
  • the light receiving surface has a long side having a relatively long length and a short side having a relatively short length, and the long side is arranged in a direction along the vertical direction. In this way, the second stereo camera 60 capable of capturing a vertically long image can be realized.
  • the first stereo camera 50 and the second stereo camera 60 By configuring the first stereo camera 50 and the second stereo camera 60 so that a vertically long image can be captured, it is possible to simultaneously capture a wider range in the vertical direction or the front-back direction using two stereo cameras. Accordingly, it is possible to accurately capture the current terrain over a wide range of work objects.
  • the vehicle body has a cab 5.
  • the imaging device is attached to the cab 5.
  • the current topography of the work target viewed from a position closer to the viewpoint of the operator boarding the cab 5 can be imaged, so that the current topography of the work target can be accurately imaged.
  • a hydraulic excavator 1 as an example of a work vehicle according to the present embodiment includes a vehicle main body constituted by a traveling body 2 and a turning body 3 as shown in FIG.
  • the hydraulic excavator 1 is provided with an imaging device.
  • the imaging apparatus includes a first stereo camera 50 and a second stereo camera 60.
  • the first stereo camera 50 and the second stereo camera 60 are attached to the swing body 3.
  • the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52.
  • the second imaging unit 52 is disposed on the right side of the vehicle body in the left-right direction with respect to the first imaging unit 51.
  • the second stereo camera 60 includes a third imaging unit 61 and a fourth imaging unit 62.
  • the fourth imaging unit 62 is disposed on the right side of the vehicle body in the left-right direction with respect to the third imaging unit 61.
  • the first imaging unit 51 and the third imaging unit 61 constitute a left imaging unit group.
  • the second imaging unit 52 and the fourth imaging unit 62 constitute a right imaging unit group.
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction of the vehicle body.
  • the left imaging unit group and the right imaging unit group are arranged with an interval in the left-right direction of the vehicle body. Therefore, the accuracy of the imaging data of the first stereo camera 50 and the second stereo camera 60 is improved. Therefore, it is possible to accurately image the current topography of the work target.
  • a first imaging unit 51, a third imaging unit 61, a second imaging unit 52, and a fourth imaging unit 62 are arranged in order from the left side to the right side in the left-right direction of the vehicle body. ing.
  • the difference between the distance between the first imaging unit 51 and the second imaging unit 52 in the left-right direction and the distance between the third imaging unit 61 and the fourth imaging unit 62 in the left-right direction is calculated.
  • the distance between the first imaging unit 51 and the second imaging unit 52 in the left-right direction is equal to the distance between the third imaging unit 61 and the fourth imaging unit 62 in the left-right direction.
  • the distance between the third imaging unit 61 and the second imaging unit 52 in the left-right direction of the vehicle body is the same as the distance between the first imaging unit 51 and the third imaging unit 61 in the left-right direction. It is wider than the interval and wider than the interval between the second imaging unit 52 and the fourth imaging unit 62 in the left-right direction.
  • the first imaging unit 51 and the second imaging unit 52 can be reliably arranged with a wide space in the left-right direction of the vehicle main body, and the third imaging unit 61 is arranged.
  • the fourth imaging unit 62 can be reliably arranged with a wide space in the left-right direction of the vehicle body. Therefore, the accuracy of the imaging data of the first stereo camera 50 and the second stereo camera 60 is improved. Therefore, it is possible to accurately image the current topography of the work target.
  • the excavator 1 further has a cab 5.
  • the cab 5 has a pair of front pillars 40.
  • the front pillar 40 includes a right pillar 41 and a left pillar 42.
  • the left imaging unit group is disposed closer to the left pillar 42 than the center of the cab 5 in the left-right direction of the vehicle body.
  • the right imaging unit group is disposed closer to the right pillar 41 than the center of the cab 5 in the left-right direction of the vehicle body.
  • the left imaging unit group and the right imaging unit group can be reliably arranged with a wide interval in the left-right direction of the vehicle body. Therefore, the accuracy of the imaging data of the first stereo camera 50 and the second stereo camera 60 is improved. Therefore, it is possible to accurately image the current topography of the work target. Further, since the driver's seat 8 on which the operator is seated is disposed at a substantially central portion in the cab 5, the image capturing unit obstructs the operator's field of view by placing each image capturing unit close to the front pillar 40. And the operator's field of view can be secured widely.
  • the cab 5 has a front window 47.
  • the first stereo camera 50 and the second stereo camera 60 are disposed in the cab 5 along the upper edge of the front window 47.
  • the first stereo camera 50 and the second stereo camera 60 By arranging the first stereo camera 50 and the second stereo camera 60 in the cab 5, the current terrain of the work object viewed from a position closer to the viewpoint of the operator on the cab 5 can be imaged. The current topography can be imaged accurately. In addition, it is possible to protect the first stereo camera 50 and the second stereo camera 60 from vibrations generated when the hydraulic excavator 1 is working, flying objects, or interference with the work machine 4.
  • the first stereo camera 50 and the second stereo camera 60 are arranged in the cab 5, it is necessary to arrange the field of view of an operator boarding the cab 5 so as not to be blocked by the stereo camera.
  • the imaging units of the first stereo camera 50 and the second stereo camera 60 are arranged side by side along the upper edge of the front window 47, it is possible to secure a wide field of view of the operator. Work efficiency can be improved.
  • the front window 47 shown in FIG. 5 is configured to be immovable.
  • the stereo camera is arranged along the upper edge of the front window 47, when the front window 47 is opened and closed, the structure in the cab 5 interferes with the stereo camera, and each imaging unit of the stereo camera and the cab 5 Collisions with structures can occur.
  • each imaging unit of the stereo camera can be prevented from colliding with a structure in the cab 5, so that an unexpected displacement of the imaging unit can be prevented and the imaging unit is protected. can do.
  • the front window 47 cannot be moved when the front window 47 is completely fixed to the cab 5 or when the front window 47 is movable with respect to the cab 5. This is a concept that includes both the case where the front window 47 cannot move as a result of the configuration not functioning.
  • the image data generation method of the present embodiment is an image data generation method for a work vehicle represented by the excavator 1.
  • the excavator 1 has a work machine 4.
  • the excavator 1 also has an imaging device.
  • the imaging device images a work area where the work machine 4 performs work.
  • the image data generation method includes a step (step S1) of moving the working machine 4 outside the angle of view of the imaging device, and a state where the working machine 4 is moved outside the angle of view of the imaging device.
  • the image processing apparatus includes a step (Step S2) of imaging the work area with an imaging device, and a step (Step S3) of generating image data of the imaged work area.
  • step S1 the step (step S1) of moving the work machine 4 outside the angle of view of the image pickup apparatus prior to image pickup, the work machine 4 is present within the angle of view of the image pickup apparatus when performing image pickup. Will not.
  • step S1 since the work machine 4 is not included in the image pickup by the image pickup apparatus, high-precision image pickup of the current landform of the work area becomes possible. Therefore, the image data of the work area can be generated with higher accuracy.
  • the imaging apparatus has a first stereo camera 50.
  • the first stereo camera 50 includes a first imaging unit 51 and a second imaging unit 52. With such a configuration, the work area can be accurately imaged using the first imaging unit 51 and the second imaging unit 52.
  • the imaging apparatus has a second stereo camera 60.
  • the second stereo camera 60 includes a third imaging unit 61 and a fourth imaging unit 62.
  • the first stereo camera 50 images the imaging range R1.
  • the second stereo camera 60 images the imaging range R2.
  • the imaging range R ⁇ b> 2 of the second stereo camera 60 is above the imaging range R ⁇ b> 1 of the first stereo camera 50.
  • the imaging range R2 of the second stereo camera 60 is farther than the imaging range R1 of the first stereo camera 50.
  • the two stereo cameras can be used to move in the vertical direction or the front-rear direction.
  • a wide range can be imaged simultaneously. Therefore, when the work target includes the slope T1, it is possible to accurately capture a wide range of current topography in the vertical direction.
  • the work target is a flat ground, a wide range of current landforms in the front-rear direction can be accurately imaged.
  • the generated image data of the work area includes terrain data T indicating the three-dimensional shape of the work area.
  • Stereo matching processing is performed on two two-dimensional images obtained by imaging the work area from different angles using the first stereo camera 50 and the second stereo camera 60, so that the current topography in a wide range of the work area can be obtained in a three-dimensional manner. Can be recognized.
  • the first imaging unit 51, the second imaging unit 52, the third imaging unit 61, and the fourth imaging unit 62 image the work area in synchronization.
  • the image capturing ranges R1 and R2 By capturing the image capturing ranges R1 and R2 at the same time in synchronism with all the image capturing units of the two stereo cameras, it is possible to obtain highly accurate current landform data in a wide area.
  • the first stereo camera 50 and the second stereo camera 60 are configured to be able to capture a vertically long image.
  • the image pickup device of the first image pickup unit 51 and the image pickup device of the second image pickup unit 52 have a rectangular light receiving surface.
  • the light receiving surface has a long side having a relatively long length and a short side having a relatively short length, and the long side is arranged in a direction along the vertical direction. In this way, the first stereo camera 50 capable of capturing a vertically long image can be realized.
  • the image pickup element of the third image pickup unit 61 and the image pickup element of the fourth image pickup unit 62 have a rectangular light receiving surface.
  • the light receiving surface has a long side having a relatively long length and a short side having a relatively short length, and the long side is arranged in a direction along the vertical direction. In this way, the second stereo camera 60 capable of capturing a vertically long image can be realized.
  • the first stereo camera 50 and the second stereo camera 60 By configuring the first stereo camera 50 and the second stereo camera 60 so that a vertically long image can be captured, it is possible to simultaneously capture a wider range in the vertical direction or the front-back direction using two stereo cameras. Accordingly, it is possible to accurately capture the current terrain over a wide range of work objects.
  • the image data generation method uses image data generated from the image captured by the first stereo camera 50 and image data generated from the image captured by the second stereo camera 60.
  • the method further includes a step of combining data in the longitudinal direction (step S4). In this way, it is possible to generate image data related to the current landform of a wider work area with high accuracy using the imaging of two stereo cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

 撮像装置は、旋回体(3)に取り付けられた第1のステレオカメラ(50)と、旋回体(3)に取り付けられた第2のステレオカメラ(60)とを備えている。第1のステレオカメラ(50)は、第1の撮像範囲(R1)を撮像する。第2のステレオカメラ(60)は、第1の撮像範囲(R1)よりも上方または遠方の第2の撮像範囲(R2)を撮像する。

Description

撮像装置
 本発明は、撮像装置に関する。
 作業車両による作業では、現況地形は作業の進行に伴って変化する。そのため、作業の進行に平行して、現況地形データの取得が必要となる。現況地形データを取得するための手段の1つとして、ステレオカメラによる距離計測がある。
 従来、第1の撮像部および第2の撮像部を有するステレオカメラと、ステレオカメラの撮像方向を変更可能な撮像方向変更手段とを備える、建設機械が提案されている(たとえば、特開2013-36243号公報(特許文献1)参照)。また、車体に複数のステレオカメラが取り付けられ、複数のステレオカメラによりステレオ画像を得る建設機械が提案されている(たとえば、特開2014-215039号公報(特許文献2))。
特開2013-36243号公報 特開2014-215039号公報
 作業車両の作業機による作業対象は地面なので、作業車両に搭載されるステレオカメラは、光軸が俯角になるように配設される。作業対象の形状は、平坦な地面に限られず、作業車両の現在位置から上方へ向かって傾斜している場合がある。その場合、光軸が俯角のステレオカメラでは傾斜する地形の全体を撮像範囲に収めることができず、作業対象の現況地形に関する撮像データを十分に入手できない可能性がある。
 上記特許文献1には、ステレオカメラを移動させることでステレオカメラの撮像方向を変更して、広範囲を撮像可能とする技術が開示されている。しかし、ステレオカメラを移動させると、移動前と移動後の撮像データに時間的なずれが生じる。そのため、作業対象の現況地形を正確に把握することが困難である。
 本発明の目的は、作業対象の現況地形を広範囲に精度よく撮像できる、撮像装置を提供することである。
 本発明に係る撮像装置は、作業車両に設けられている。作業車両は、車両本体を有している。撮像装置は、車両本体に取り付けられた第1のステレオカメラと、車両本体に取り付けられた第2のステレオカメラと、を備えている。第1のステレオカメラは、第1の撮像範囲を撮像する。第2のステレオカメラは、第1の撮像範囲よりも上方または遠方の第2の撮像範囲を撮像する。
 上記の撮像装置において、第1のステレオカメラの第1の撮像範囲と、第2のステレオカメラの第2の撮像範囲とが、一部重なっている。
 上記の撮像装置において、作業車両は、車両本体に取り付けられた作業機をさらに有している。作業機は、平面視で中心軸を有している。第1のステレオカメラの光軸と第2のステレオカメラの光軸とは、平面視において、車両本体から離れるにつれて作業機に近づく側に、中心軸に対して傾斜している。
 上記の撮像装置において、第1のステレオカメラの光軸と第2のステレオカメラの光軸とは、車両本体の前方で、水平方向に対して下向きの角度を形成している。
 上記の撮像装置において、第1のステレオカメラと第2のステレオカメラとは、車両本体の左右方向に並んで配置されている。
 上記の撮像装置において、第1のステレオカメラと第2のステレオカメラとは、上下方向において同じ位置に配置されている。
 上記の撮像装置において、第1のステレオカメラは、第1の撮像部と、第1の撮像部よりも車両本体の左右方向の右側に配置される第2の撮像部とを有している。第2のステレオカメラは、第3の撮像部と、第3の撮像部よりも車両本体の左右方向の右側に配置される第4の撮像部とを有している。第1の撮像部と第3の撮像部とは、左撮像部群を構成している。第2の撮像部と第4の撮像部とは、右撮像部群を構成している。左撮像部群と右撮像部群とは、車両本体の左右方向に間隔を空けて配置されている。
 上記の撮像装置において、第1のステレオカメラと第2のステレオカメラとは、縦長の画像を撮像可能に構成されている。
 上記の撮像装置において、車両本体はキャブを有している。撮像装置は、キャブに取り付けられている。
 本発明によれば、作業対象の現況地形を広範囲に精度よく撮像することができる。
本発明の一実施形態における油圧ショベルの構成を概略的に示す斜視図である。 図1に示す油圧ショベルに適用される油圧回路図である。 図1に示す油圧ショベルの油圧シリンダ、位置センサおよびコントローラの関係を概略的に示す図である。 キャブ内の前方上縁部分を後方から見上げた状態を示す斜視図である。 キャブ内の前方上縁部分を後方から見上げた状態を示す斜視図である。 ステレオカメラのベース部への取り付け状況を示す斜視図である。 前窓の構成の概略を示す斜視図である。 側面視した第1のステレオカメラの撮像部の模式図である。 側面視した第2のステレオカメラの撮像部の模式図である。 ステレオカメラによる撮像範囲を示す模式図である。 ステレオカメラによる撮像範囲を示す模式図である。 平面視したステレオカメラの撮像部の模式図である。 ステレオ画像データ合成システムの構成を示す機能ブロック図である。 画像データの合成の一例を示す図である。 撮像される地形の一例を示す模式図である。 各々の撮像部による撮像の例を示す図である。 各々の撮像部による撮像の例を示す図である。 実施形態に基づく画像データ生成方法を説明するフロー図である。 ステレオカメラの画角外への作業機の移動を示す模式図である。 ベース部に対する各々の撮像部の配置を示す模式図である。 ベース部に対する各々の撮像部の配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。 車両本体に対する各々の撮像部の平面視における配置を示す模式図である。
 以下、本発明の実施形態について図に基づいて説明する。
 まず、本発明の一実施形態における油圧ショベルの構成について説明する。
 図1は、本発明の一実施形態における油圧ショベル1の構成を概略的に示す斜視図である。図1に示されるように、本実施形態の油圧ショベル1は、走行体2と、旋回体3と、作業機4とを主に有している。走行体2と旋回体3とにより、油圧ショベル1の車両本体が構成されている。
 走行体2は、左右一対の履帯2aを有している。左右一対の履帯2aが回転駆動することにより、油圧ショベル1が自走可能に構成されている。
 旋回体3は、走行体2に対して旋回自在に設置されている。旋回体3は、キャブ5と、エンジンフード6と、カウンタウェイト7とを主に有している。
 キャブ5は、旋回体3の前方左側(車両前側)に配置されている。キャブ5の内部に、運転室が形成されている。運転室は、オペレータが油圧ショベル1を操作するための空間である。運転室内には、オペレータが着座するための運転席8が配置されている。旋回体3の上面には、アンテナ9が設置されている。
 なお本実施形態においては、作業機4を基準として各部の位置関係について説明する。
 作業機4のブーム4aは、旋回体3に対して、ブームピンを中心に回転移動する。旋回体3に対して回動するブーム4aの特定の部分、たとえばブーム4aの先端部が移動する軌跡は円弧状であり、その円弧を含む平面が特定される。油圧ショベル1を平面視した場合に、当該平面は直線として表される。この直線の延びる方向が、車両本体の前後方向、または旋回体3の前後方向であり、以下では単に前後方向ともいう。車両本体の左右方向(車幅方向)、または旋回体3の左右方向とは、平面視において前後方向と直交する方向であり、以下では単に左右方向ともいう。左右方向とは、ブームピンの延びる方向をいう。車両本体の上下方向、または旋回体3の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向であり、以下では単に上下方向ともいう。
 前後方向において、車両本体から作業機4が突き出している側が前方向であり、前方向と反対方向が後方向である。前方向を視て左右方向の右側、左側がそれぞれ右方向、左方向である。上下方向において地面のある側が下側、空のある側が上側である。
 前後方向とは、キャブ5内の運転席8に着座したオペレータの前後方向である。左右方向とは、運転席8に着座したオペレータの左右方向である。上下方向とは、運転席8に着座したオペレータの上下方向である。運転席8に着座したオペレータに正対する方向が前方向であり、運転席8に着座したオペレータの背後方向が後方向である。運転席8に着座したオペレータが正面に正対したときの右側、左側がそれぞれ右方向、左方向である。運転席8に着座したオペレータの足元側が下側、頭上側が上側である。
 エンジンフード6およびカウンタウェイト7の各々は、旋回体3の後方側(車両後側)に配置されている。エンジンフード6は、エンジンルームの少なくとも上方を覆うように配置されている。エンジンルーム内には、エンジンユニット(エンジン、排気処理ユニットなど)が収納されている。カウンタウェイト7は、採掘時などにおいて車両本体のバランスをとるために、エンジンルームの後方に配置されている。
 作業機4は、土砂の掘削などの作業を行うためのものである。作業機4は、旋回体3の前方側に取り付けられている。作業機4は、たとえばブーム4a、アーム4b、バケット4c、油圧シリンダ4d,4e,4fなどを有している。ブーム4a、アーム4bおよびバケット4cの各々が油圧シリンダ4f,4e,4dによって駆動されることにより、作業機4は駆動可能である。
 ブーム4aの基端部は、ブームピンを介して、旋回体3に連結されている。ブーム4aは、ブームピンを中心に回転可能に設けられている。アーム4bの基端部は、アームピンを介して、ブーム4aの先端部に連結されている。アーム4bは、アームピンを中心に回転可能に設けられている。バケット4cは、バケットピンを介して、アーム4bの先端部に連結されている。バケット4cは、バケットピンを中心に回転可能に設けられている。
 作業機4は、キャブ5に対し右側に設けられている。なお、キャブ5と作業機4との配置は図1に示す例に限られるものではなく、たとえば旋回体3の前方右側に配置されたキャブ5の左側に作業機4が設けられていてもよい。
 ブーム4aに、ロータリエンコーダ15が取り付けられている。ロータリエンコーダ15は、ブーム4aに対するアーム4bの回動角度に対応するパルス信号を出力する。車両本体にも、ロータリエンコーダが取り付けられている。車両本体に取り付けられているロータリエンコーダは、車両本体に対するブーム4aの回動角度に対応するパルス信号を出力する。
 キャブ5は、運転席8を覆って配置されている屋根部分と、屋根部分を支持する複数のピラーとを含んでいる。複数のピラーは、フロントピラー40と、リアピラー46と、中間ピラー44とを有している。フロントピラー40は、運転席8に対し前方の、キャブ5のコーナ部に配置されている。リアピラー46は、運転席8に対し後方の、キャブ5のコーナ部に配置されている。中間ピラー44は、フロントピラー40とリアピラー46との間に配置されている。各々のピラーは、キャブ5の床部に連結されている下端と、キャブ5の屋根部分に連結されている上端とを有している。
 フロントピラー40は、右ピラー41と、左ピラー42とを有している。右ピラー41は、キャブ5の前方右隅に配置されている。左ピラー42は、キャブ5の前方左隅に配置されている。キャブ5に対し右方に、作業機4が配置されている。右ピラー41は、作業機4に近い側に配置されている。左ピラー42は、作業機4から離れる側に配置されている。
 右ピラー41と、左ピラー42と、一対のリアピラー46とによって囲まれた空間は、キャブ5の室内空間を形成している。運転席8は、キャブ5の室内空間に収容されている。運転席8は、キャブ5の床部のほぼ中央部に配置されている。キャブ5の左側面には、オペレータがキャブ5に乗降するためのドアが設けられている。
 右ピラー41と左ピラー42との間には、前窓47が配置されている。前窓47は、運転席8に対し前方に配置されている。前窓47は、透明材料により形成されている。運転席8に着座しているオペレータは、前窓47を通して、キャブ5の外部を視認可能である。たとえば運転席8に着座しているオペレータは、前窓47を通して、土砂を掘削するバケット4c、および施工対象の現況地形などを、直接見ることができる。
 図2は、図1に示す油圧ショベル1に適用される油圧回路図である。エンジン25は、旋回体3の後方側のエンジンルーム内に搭載されている。図2に示されるように、エンジン25には、PTO(Power Take Offの略称)装置29が取り付けられている。PTO装置には、複数の油圧ポンプ31a,31b,32a,32b,33a,33b,34が連結されている。
 油圧ポンプ34は、操作レバー13により操作されるパイロット圧操作弁12に、パイロット圧を供給する。他の油圧ポンプ31a~33bは、作業機4を駆動する各油圧シリンダ4d,4e,4f、旋回体3を旋回駆動する旋回モータ、および走行体2に設けた左右走行モータ37a,37bなどの、各アクチュエータに圧油を供給する。
 油圧ポンプ31a,31bから吐出された圧油は、それぞれ右走行モータ用切換弁14a、ブーム用切換弁14b、バケット用切換弁14cおよびアーム用切換弁14dを介して、右走行モータ37b、ブームシリンダ4f、アームシリンダ4eおよびバケットシリンダ4dに供給される。これら切換弁14a~14dのパイロット操作部には、それぞれに対応したパイロット圧が、パイロット圧操作弁12から供給される。
 油圧ポンプ31a,31bおよび油圧ポンプ32a,32bの吐出管路には、それぞれのポンプ吐出圧を検出する圧力センサ35a,35bが設けられている。油圧ポンプ33a,33bの吐出管路には、それぞれのポンプ吐出圧を検出する圧力センサ36が設けられている。
 切換弁14a~14dと各アクチュエータとを接続する管路には、各アクチュエータの負荷圧を検出する圧力センサ16a,16b,17a,17b,18a,18b,19a,19bがそれぞれ設けられている。旋回モータ、左走行モータ37aに関しても、上記と同様に、その接続管路にそれぞれの負荷圧を検出する圧力センサ(図示せず)が設けられている。
 これらの圧力センサの検出信号は、コントローラ20に入力される。コントローラ20は、上記圧力センサからの各アクチュエータの負荷圧検出値に基づき、それぞれの作業機や走行体2の走行駆動部などの負荷頻度(負荷レベル毎の発生頻度であり、負荷量に対応する。)を求める。
 エンジン25の燃料噴射ポンプ26には、エンジンコントローラ22から燃料噴射量指令が入力される。エンジンコントローラ22には、エンジン25の出力回転軸に設けたエンジン回転数センサ27の検出信号が、フィードバック信号として入力される。エンジンコントローラ22は、このエンジン回転数のフィードバック信号に基づき、エンジン25を所定馬力で駆動するように燃料噴射量指令を演算して出力すると共に、コントローラ20にエンジン回転数および出力した燃料噴射量指令値を入力する。
 コントローラ20と、エンジンコントローラ22と、モニタ21とは、双方向の通信ケーブル23を介して接続されており、油圧ショベル1内の通信ネットワークを形成している。モニタ21、コントローラ20およびエンジンコントローラ22は、ネットワーク通信ケーブル23,23を経由して互いに情報を送受信可能となっている。モニタ21、コントローラ20、エンジンコントローラ22はそれぞれ、マイクロコンピュータなどのコンピュータ装置を主体として構成されている。
 コントローラ20と外部の監視局76との間で、情報の送受信が可能となっている。コントローラ20と監視局76とは、衛星通信を介して通信している。コントローラ20には、通信端末71が接続されている。通信端末71には、図1に示す旋回体3に搭載されたアンテナ9が接続されている。
 通信地球局74は、通信衛星73と専用通信回線で通信する。ネットワーク管制局75は、通信地球局74に、専用回線で結ばれている。地上の監視局76は、ネットワーク管制局75に、インターネットなどを経由して接続されている。これにより、通信端末71、通信衛星73、通信地球局74およびネットワーク管制局75を経由して、コントローラ20と所定の監視局76との間でデータが送受信される。
 3次元CAD(Computer Aided Design)で作成された施工設計データは、予めコントローラ20に保存されている。モニタ21は、キャブ5内に配置されている。モニタ21は、画面上に、油圧ショベル1の現状位置および施行対象の現況地形をリアルタイムで更新表示し、オペレータが油圧ショベル1の作業状態を常時確認できるようになっている。
 コントローラ20は、施工設計データ、作業機4の位置および姿勢、ならびに現況地形をリアルタイムで比較する。コントローラ20は、その比較結果に基づいて、油圧回路を駆動することにより、作業機4を制御する。より具体的には、施工設計データに従った施工されるべき位置とバケット4cの位置とを合わせ、その後所定の掘削または整地などの施工が行われる。これにより、施工設計データに基づいて油圧ショベル1の作業機4が自動制御されるので、施工効率および施工精度を向上することができ、高品質の建設施工を容易に行うことが可能になる。
 図3は、図1に示す油圧ショベル1の油圧シリンダ、位置センサ10およびコントローラ20の関係を概略的に示す図である。図3に示されるように、油圧シリンダ(バケットシリンダ4d、アームシリンダ4e、ブームシリンダ4f)にはそれぞれ、油圧シリンダのストローク量を回転量として検出する位置センサ10が取り付けられている。
 位置センサ10は、コントローラ20に電気的に接続されている。コントローラ20は、位置センサ10の検出信号に基づいて、バケットシリンダ4d、アームシリンダ4e、ブームシリンダ4fのストローク長を計測する。
 油圧シリンダは、シリンダチューブと、シリンダチューブに対して相対的に移動可能なシリンダロッドとを有している。位置センサ10は、シリンダロッドの直線運動に従って回転する回転ローラを有している。位置センサ10は、回転ローラの回転速度と回転数とに基づいて、シリンダチューブに対するシリンダロッドの変位量(ストローク長)を計測する。
 図4は、キャブ5内の前方上縁部分を後方から見上げた状態を示す斜視図である。右ピラー41の上部は、右ルーフビーム48aにつながっている。左ピラー42の上部は、左ルーフビーム48bにつながっている。右ルーフビーム48aは、右ピラー41の上部と右側のリアピラー46の上部との間に架け渡されている。左ルーフビーム48bは、左ピラー42の上部と左側のリアピラー46の上部との間に架け渡されている。右ルーフビーム48aと左ルーフビーム48bとの間には、ルーフパネル49が装着されている。ルーフパネル49は、キャブ5の屋根部分を構成している。
 前窓47の上縁に沿って、ベース部90が配置されている。ベース部90は、詳細を後述するように、前窓47の上枠部分に取り付けられている。ベース部90は、右ピラー41と左ピラー42との間に、左右方向に延在している。ベース部90は、ルーフパネル49の前縁に沿って配置されている。
 左ピラー42の近傍において、ベース部90に、左ケース81が取り付けられている。右ピラー41の近傍において、ベース部90に、右ケース82が取り付けられている。左ケース81と右ケース82とは、中空に形成されている。左ケース81と右ケース82とは、ベース部90から後方に突き出すように配置されている。
 ベース部90の延びる方向に沿って、ケーブル24が配置されている。ケーブル24は、前窓47の上縁に沿って左右方向に延び、さらに右ルーフビーム48aに沿って前後方向に延びている。ケーブル24は、左ケース81の内部空間につながり、かつ右ケース82の内部空間につながっている。ケーブル24は、サポート98(図6)を介して、ベース部90によって支持されている。
 図5は、図4と同様に、キャブ5内の前方上縁部分を後方から見上げた状態を示す斜視図である。図5には、図4に示す左ケース81および右ケース82がベース部90から取り外された状態が図示されている。左ケース81および右ケース82がベース部90から取り外されたため、左ケース81内に収容されている第1の撮像部51および第3の撮像部61と、右ケース82内に収容されている第2の撮像部52および第4の撮像部62とが、図5において図示されている。
 第1の撮像部51と第2の撮像部52とは、互いに同期がとられており、第1のステレオカメラ50を構成している。第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを含んで構成されている。第1のステレオカメラ50は、車両本体よりも前方の前方領域を撮像するための撮像装置である。第1のステレオカメラ50は、たとえば、作業機4が作業を行う作業領域を撮像可能である。第1の撮像部51は、第2の撮像部52よりも左右方向の左側に配置されている。第2の撮像部52は、第1の撮像部51よりも左右方向の右側に配置されている。
 第3の撮像部61と第4の撮像部62とは、互いに同期がとられており、第2のステレオカメラ60を構成している。第2のステレオカメラ60は、第3の撮像部61と第4の撮像部62とを含んで構成されている。第2のステレオカメラ60は、車両本体よりも前方の前方領域を撮像するための撮像装置である。第2のステレオカメラ60は、たとえば、作業機4が作業を行う作業領域を撮像可能である。第3の撮像部61は、第4の撮像部62よりも左右方向の左側に配置されている。第4の撮像部62は、第3の撮像部61よりも左右方向の右側に配置されている。
 第1のステレオカメラ50と第2のステレオカメラ60とは、左右方向に並んで配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、左右方向に並んで配置されている。左右方向の左側から右側へ順に、第1の撮像部51、第3の撮像部61、第2の撮像部52、第4の撮像部62が配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、同じ装置である。
 左右方向における第3の撮像部61と第2の撮像部52との間隔は、左右方向における第1の撮像部51と第3の撮像部61との間隔より広くなっている。左右方向における第3の撮像部61と第2の撮像部52との間隔は、左右方向における第2の撮像部52と第4の撮像部62との間隔より広くなっている。左右方向における第1の撮像部51と第2の撮像部52との間隔と、左右方向における第3の撮像部61と第4の撮像部62との間隔とは、互いに等しくなっている。
 第1のステレオカメラ50と第2のステレオカメラ60とは、キャブ5の内部に、前窓47の上縁に沿って配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、キャブ5の内部に、前窓47の上縁に沿って配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、前窓47に面して配置されている。
 第1のステレオカメラ50と第2のステレオカメラ60とは、図5中に示す左右方向に延びる破線上に並んで、上下方向において同じ位置に配置されている。第1のステレオカメラ50の第1の撮像部51と第2の撮像部52とは、同じ高さに配置されている。第2のステレオカメラ60の第3の撮像部61と第4の撮像部62とは、同じ高さに配置されている。第1の撮像部51と、第2の撮像部52と、第3の撮像部61と、第4の撮像部62とは、図5中に示す破線上に並んで、上下方向において同じ位置に配置されている。
 第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。左撮像部群は、図4に示す左ケース81内に収容されている。右撮像部群は、図4に示す右ケース82内に収容されている。左撮像部群と右撮像部群とは、左右方向に間隔を空けて配置されている。
 左撮像部群は、左ピラー42の近傍に配置されている。左右方向における、キャブ5の中心と左撮像部群との距離は、左ピラー42と左撮像部群との距離よりも大きい。左撮像部群は、左右方向におけるキャブ5の中心よりも、左ピラー42に近く配置されている。左右方向におけるキャブ5の中心と左ピラー42との間の領域を、仮想的に左右方向に2分割した場合、2分割された2つの領域のうち左ピラー42に近い領域内に、左撮像部群が配置されている。左撮像部群は、左ピラー42に寄って配置されている。
 右撮像部群は、右ピラー41の近傍に配置されている。左右方向における、キャブ5の中心と右撮像部群との距離は、右ピラー41と右撮像部群との距離よりも大きい。右撮像部群は、左右方向におけるキャブ5の中心よりも、右ピラー41に近く配置されている。左右方向におけるキャブ5の中心と右ピラー41との間の領域を、仮想的に左右方向に2分割した場合、2分割された2つの領域のうち右ピラー41に近い領域内に、右撮像部群が配置されている。右撮像部群は、右ピラー41に寄って配置されている。
 各々の撮像部は、光学処理部と、受光処理部と、画像処理部とを備えている。光学処理部は、集光のためのレンズを有している。後述する撮像部の光軸は、レンズ面中央を通り、レンズ面に垂直な軸である。受光処理部は、撮像素子を有している。撮像素子は、たとえばCMOSである。撮像素子は、受光面を有している。受光面は、上記の光軸に直交する面である。受光面は、平坦な矩形状であり、縦長に配置されている。撮像部は、撮像素子の受光面の縦の辺(長尺の辺)が鉛直方向に沿うように、配置されている。
 図6は、第1のステレオカメラ50と第2のステレオカメラ60とのベース部90への取り付け状況を示す斜視図である。図5を併せて参照して、図6中の右側が車両本体の右方向に相当し、図6中の左側が車両本体の左方向に相当する。図6に示すように、ベース部90は、前窓47の上枠部分に取り付けられる取付アングル91を有している。取付アングル91は、山形鋼状の形状を有しており、互いに略直角に折れ曲がった2つの辺を有している。
 取付アングル91の一方の辺には、厚み方向に一方の辺を貫通する複数の貫通孔が形成されている。この貫通孔の各々をボルト95が貫通して、前窓47の上枠部分にボルト95が締結されることにより、取付アングル91は前窓47に取り付けられる。
 取付アングル91の他方の辺には、取付片92が固定されている。取付片92は矩形箱状の外形を有している。取付片92の外表面のうち一面が取付アングル91の一方の辺に接触しており、他の一面が取付アングル91の他方の辺に接触している。取付片92にはナット穴が形成されている。
 取付アングル91の他方の辺にはまた、取付プレート93が設けられている。ベース部90は、取付アングル91と、取付片92と、取付プレート93とを含んで構成されている。取付プレート93は、細長い平板状の形状を有している。取付プレート93は、取付アングル91の延在方向と平行に延びている。取付プレート93は、取付アングル91の他方の辺に直交し取付アングル91の一方の辺に平行な方向に延びている。取付アングル91と取付プレート93とは一体で、ギリシャ文字の大文字のパイ状に似た形状を有している。
 取付プレート93には、厚み方向に取付プレート93を貫通する複数の貫通孔が形成されている。複数の貫通孔の一部をボルト96が各々貫通して、取付片92に形成されたナット穴にボルト96が締結されることにより、取付プレート93は取付片92を介して取付アングル91に固定される。取付プレート93の縁部分が取付アングル91の他方の辺に直接固定されていてもよい。
 取付プレート93には、ブラケット101が取り付けられている。ブラケット101に形成された貫通孔と取付プレート93に形成された貫通孔とをボルト97が各々貫通して、取付片92に形成されたナット穴にボルト97が締結されることにより、ブラケット101は取付プレート93に固定される。ブラケット101は、取付プレート93と取付片92とを介して、取付アングル91に固定される。
 ブラケット101は、角張ったC字状の形状を有している。ブラケット101は、細長い一枚の平板の両端部分を屈曲することによって形成されてもよい。ブラケット101は、ブラケット101の中央部分を構成している固定部102と、ブラケット101の一方端を構成している突出部103と、ブラケット101の他方端を構成している突出部104とを有している。固定部102は、ボルト97によって取付プレート93に固定されている。突出部103および突出部104は、固定部102に対して屈曲して、取付プレート93から離れる側に突き出している。
 突出部103には、第1のステレオカメラ50の第1の撮像部51が取り付けられている。第1の撮像部51は、平板状の突出部103の表面のうち、右方向を向く表面に取り付けられている。突出部104には、第2のステレオカメラ60の第3の撮像部61が取り付けられている。第3の撮像部61は、平板状の突出部104の表面のうち、右方向を向く表面に取り付けられている。
 取付プレート93には、ブラケット111が取り付けられている。ブラケット111に形成された貫通孔と取付プレート93に形成された貫通孔とをボルト97が各々貫通して、取付片92に形成されたナット穴にボルト97が締結されることにより、ブラケット111は取付プレート93に固定される。ブラケット111は、取付プレート93と取付片92とを介して、取付アングル91に固定される。
 ブラケット111は、角張ったC字状の形状を有している。ブラケット111は、細長い一枚の平板の両端部分を屈曲することによって形成されてもよい。ブラケット111は、ブラケット111の中央部分を構成している固定部112と、ブラケット111の一方端を構成している突出部113と、ブラケット111の他方端を構成している突出部114とを有している。固定部112は、ボルト97によって取付プレート93に固定されている。突出部113および突出部114は、固定部112に対して屈曲して、取付プレート93から離れる側に突き出している。
 突出部113には、第1のステレオカメラ50の第2の撮像部52が取り付けられている。第2の撮像部52は、平板状の突出部113の表面のうち、右方向を向く表面に取り付けられている。突出部104には、第2のステレオカメラ60の第4の撮像部62が取り付けられている。第4の撮像部62は、平板状の突出部114の表面のうち、右方向を向く表面に取り付けられている。
 図7は、前窓47の構成の概略を示す斜視図である。前窓47は、上枠部分47a、左枠部分47b、右枠部分47cおよび図示しない下枠部分によって形成された矩形環状の枠体が、強化ガラスなどの透明材料の周縁を取り囲んで、形成されている。
 図7に示すように、前窓47の上枠部分47aには、複数の座47sが設けられている。座47sは、図6に示す取付アングル91の一方の辺に形成された貫通孔と同数形成されている。座47sは、図6に示すボルト95と同数形成されている。座47sには、ナット穴が形成されている。取付アングル91の一方の辺に形成された貫通孔の各々をボルト95が貫通して、座47sにボルト95が締結されることにより、取付アングル91は座47sに取り付けられる。
 取付アングル91の座47sへの取り付けによって、ベース部90の全体と、ベース部90に取り付けられたブラケット101,111と、ブラケット101に取り付けられた第1の撮像部51および第3の撮像部61と、ブラケット111に取り付けられた第2の撮像部52および第4の撮像部62とが、前窓47の上縁に沿って配置される。第1の撮像部51と第2の撮像部52とは、第1のステレオカメラ50を構成している。第3の撮像部61と第4の撮像部62とは、第2のステレオカメラ60を構成している。第1のステレオカメラ50と第2のステレオカメラ60とは、図5に示すように、キャブ5内に、前窓47の上縁に沿って配置されている。
 図8は、側面視した第1のステレオカメラ50の模式図である。図8中の左側は車両本体の前側であり、図8中の右側は車両本体の後側であり、図8中の上側は車両本体の上側であり、図8中の下側は車両本体の下側である。図8中の左右方向は車両本体の前後方向であり、図8中の上下方向は車両本体の上下方向である。図8中には、第1のステレオカメラ50を構成する撮像部のうち、第2の撮像部52のみが図示されている。図8中に一点鎖線で示す光軸AX2は、第2の撮像部52の光軸を示している。
 図8に示すように、第2の撮像部52は、前窓47に面して配置されている。第2の撮像部52は、キャブ5の前方を見下ろす角度で配置されている。第2の撮像部52の光軸AX2は、キャブ5の前方で、水平方向に対して下向きの角度を形成している。光軸AX2は、車両本体の前方で、水平方向に対して俯角をなして傾斜している。
 図8中には、第1のステレオカメラ50を構成する撮像部のうち、第2の撮像部52が代表的に図示されているが、側面視において第1の撮像部51は第2の撮像部52と同じ位置に配置されている。側面視において、第1の撮像部51の光軸は、図8に示す第2の撮像部52の光軸AX2と同じ方向に延びている。第1の撮像部51の光軸は、車両本体の前方で、水平方向に対して俯角をなして傾いている。
 図9は、側面視した第2のステレオカメラ60の模式図である。図9には、図8に示した第2の撮像部52に替えて、第2のステレオカメラ60の第4の撮像部62が図示されている。図9中には、第2のステレオカメラ60を構成する撮像部のうち、第4の撮像部62のみが図示されている。図9中に一点鎖線で示す光軸AX4は、第4の撮像部62の光軸を示している。
 図9に示すように、第4の撮像部62は、前窓47に面して配置されている。第4の撮像部62は、キャブ5の前方を僅かに見下ろす角度で配置されている。第4の撮像部62の光軸AX4は、キャブ5の前方で、水平方向に対して下向きの角度を形成している。光軸AX4は、車両本体の前方で、水平方向に対して俯角をなして傾斜している。
 図9中には、第2のステレオカメラ60を構成する撮像部のうち、第4の撮像部62が代表的に図示されているが、側面視において第3の撮像部61は第4の撮像部62と同じ位置に配置されている。側面視において、第3の撮像部61の光軸は、図9に示す第4の撮像部62の光軸AX4と同じ方向に延びている。第3の撮像部61の光軸は、車両本体の前方で、水平方向に対して俯角をなして傾いている。
 図8と図9とを比較して、第1のステレオカメラ50の光軸(図8,9に示す側面視においては、第1の撮像部51の光軸および第2の撮像部52の光軸AX2と一致する)は、第2のステレオカメラ60の光軸(図8,9に示す側面視においては、第3の撮像部61の光軸および第4の撮像部62の光軸AX4と一致する)よりも、水平方向に対して大きな角度で傾いている。第1のステレオカメラ50の光軸の俯角は、第2のステレオカメラ60の光軸の俯角よりも、大きくなっている。
 図10は、第1のステレオカメラ50による撮像範囲R1、および第2のステレオカメラ60による撮像範囲R2を示す模式図である。上述したように、第1のステレオカメラ50と第2のステレオカメラ60とは、キャブ5内の前方上部に配置されている。第1のステレオカメラ50と第2のステレオカメラ60とは、上下方向において同じ位置に配置されている。図10に示すように、側方視において、第1のステレオカメラ50と第2のステレオカメラ60とは、互いに重なっている。第1の撮像部51と第2の撮像部52と第3の撮像部61と第4の撮像部62とは、側方視において互いに重なる位置に、配置されている。
 図10中に示す光軸AX2は、図8を参照して説明した第2の撮像部52の光軸を示す。光軸AX1は、第1の撮像部51の光軸であり、図10に示す側面視において光軸AX2と同じ方向に延びている。図10中に示す光軸AX4は、図9を参照して説明した第4の撮像部62の光軸を示す。光軸AX3は、第3の撮像部61の光軸であり、図10に示す側面視において光軸AX4と同じ方向に延びている。
 図10に示す油圧ショベル1は、作業機4で法面T1の作業を行っている。法面T1は、上方地面T4と下方地面T5との間で、上下方向に対して傾斜している地面である。法肩T2は、法面T1の最上部の端である。法尻T3は、法面T1の最下部の端である。法肩T2は、法面T1と上方地面T4との境界をなしている。法尻T3は、法面T1と下方地面T5との境界をなしている。
 図10中に右上から左下へ延びる斜線によるハッチングが施された範囲は、水平面にある油圧ショベル1に搭載される第1のステレオカメラ50の垂直面における画角内の範囲を示す。第1のステレオカメラ50は、その画角内に含まれる地形を撮像する。図10中に示す撮像範囲R1は、第1のステレオカメラ50が撮像する垂直面における第1の撮像範囲を示す。撮像範囲R1は、下方地面T5の一部と、法尻T3と、法面T1の一部とを含んでいる。
 図10中に左上から右下へ延びる斜線によるハッチングが施された範囲は、水平面にある油圧ショベル1に搭載される第2のステレオカメラ60の垂直面における画角内の範囲を示す。第2のステレオカメラ60は、その画角内に含まれる地形を撮像する。図10中に示す撮像範囲R2は、第2のステレオカメラ60が撮像する垂直面における第2の撮像範囲を示す。撮像範囲R2は、法面T1の一部を含んでいる。
 第1のステレオカメラ50の光軸(図10に示す側面視においては、第1の撮像部51の光軸AX1および第2の撮像部52の光軸AX2と一致する)の俯角は、第2のステレオカメラ60の光軸(図10に示す側面視においては、第3の撮像部61の光軸AX3および第4の撮像部62の光軸AX4と一致する)の俯角よりも大きい。そのため、第1のステレオカメラ50は、相対的に下方の撮像範囲R1を撮像する。第2のステレオカメラ60は、相対的に上方の撮像範囲R2を撮像する。第2のステレオカメラ60は、第1のステレオカメラ50が撮像する撮像範囲R1よりも上方の撮像範囲R2を撮像する。
 撮像範囲R1と撮像範囲R2とは、一部重なっている。撮像範囲R1の上縁部分と、撮像範囲R2の下縁部分とは、互いに重畳している。第1のステレオカメラ50の画角と第2のステレオカメラ60の画角とは、一部が重畳している。第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62の画角は、一部が重畳している。撮像範囲R1の下縁と撮像範囲R2の上縁とは、約90度の角を成す(図10では、図を見やすくするため、90度より小さい角にされている)。約90度の垂直画角により、油圧ショベル1の作業機4が作業する作業領域を含む領域を撮像することができる。
 図11は、図10と同様に、第1のステレオカメラ50による垂直面における撮像範囲R1、および第2のステレオカメラ60による垂直面における撮像範囲R2を示す模式図である。図11に示す油圧ショベル1は、図10に示す法面T1を有する地形とは異なる地形である、平面T6の作業を行っている。
 第1のステレオカメラ50の光軸(図11に示す側面視においては、第1の撮像部51の光軸AX1および第2の撮像部52の光軸AX2と一致する)の俯角は、第2のステレオカメラ60の光軸(図11に示す側面視においては、第3の撮像部61の光軸AX3および第4の撮像部62の光軸AX4と一致する)の俯角よりも大きい。そのため、第1のステレオカメラ50は、相対的に車両本体に近い撮像範囲R1を撮像する。第2のステレオカメラ60は、相対的に車両本体から離れる撮像範囲R2を撮像する。第2のステレオカメラ60は、第1のステレオカメラ50が撮像する撮像範囲R1よりも遠方の撮像範囲R2を撮像する。撮像範囲R1と撮像範囲R2とは、一部重なっている。撮像範囲R2により、作業機4が作業する作業領域より車両本体から遠い領域を撮像することができる。
 図12は、平面視した第1のステレオカメラ50および第2のステレオカメラ60の、第1~4の撮像部の模式図である。図12中には、キャブ5内に取り付けられたベース部90、ベース部90に支持された第1の撮像部51、第2の撮像部52、第3の撮像部61および第4の撮像部62、ならびに作業機4を平面視した状態が、模式的に図示されている。図12中の右側が車両本体の右方向に相当し、図12中の左側が車両本体の左方向に相当する。図12中の上側が車両本体の前方向に相当し、図12中の下側が車両本体の後方向に相当する。
 図12中には、上述した第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62の各々の光軸AX1,AX2,AX3,AX4が図示されている。図12中にはまた、作業機4の中心軸Cが一点鎖線で図示されている。図12に示すように、平面視した作業機4の延在方向に延び、かつ、当該延在方向に直交する方向である短手方向における作業機4の中心を通る線を、作業機4の中心軸Cという。上述した通り、本実施形態の作業機4は旋回体3の前方側に軸支されているため、作業機4の中心軸Cは、車両本体の前後方向に延びている。
 第1の撮像部51の光軸AX1と、第2の撮像部52の光軸AX2とは、図12に示すように、平面視において作業機4の中心軸Cの延びる方向に対して傾斜している。光軸AX1,AX2は、平面視において、車両本体から前方に離れるにつれて作業機4に近づく方向に延びている。平面視した光軸AX1,AX2は、車両本体の前方で、作業機4の中心軸Cと交差する。
 なお、平面視における第1のステレオカメラ50の光軸は、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2との交点を通り、光軸AX1と光軸AX2とのなす角を二等分し、第1の撮像部51と第2の撮像部52との中間点を通る直線の延びる方向として、定義される。
 第1の撮像部51は、車両本体の左右方向において、第2の撮像部52よりも作業機4から離れる位置に配置されている。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、平面視において、作業機4の中心軸Cの延びる方向に対して、互いに異なる角度で傾斜している。第1の撮像部51の光軸AX1が作業機4の中心軸Cの延びる方向に対して傾斜する角度は、第2の撮像部52の光軸AX2が作業機4の中心軸Cの延びる方向に対して傾斜する角度よりも、大きくなっている。
 第1の撮像部51と第2の撮像部52とは、各々の光軸AX1,AX2が平行ではなく、各々の光軸AX1,AX2が車両本体の前方において交差するように配置されている。そのため、第1の撮像部51が撮像する撮像範囲と、第2の撮像部52が撮像する撮像範囲とが、確実に一部重なり合っている。これにより、第1の撮像部51と第2の撮像部52とを車両本体の左右方向に間隔を空けて配置した場合でも、第1のステレオカメラ50で撮像しようとする対象物の一対の画像を確実に取得することができ、これら一対の画像をステレオ処理することで撮像対象物の3次元画像を構築することが可能である。
 第3の撮像部61の光軸AX3と、第4の撮像部62の光軸AX4とは、図12に示すように、平面視において作業機4の中心軸Cの延びる方向に対して傾斜している。光軸AX3,AX4は、平面視において、車両本体から前方に離れるにつれて作業機4に近づく方向に延びている。平面視した光軸AX3,AX4は、車両本体の前方で、作業機4の中心軸Cと交差する。
 なお、平面視における第2のステレオカメラ60の光軸は、第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4との交点を通り、光軸AX3と光軸AX4とのなす角を二等分し、第3の撮像部61と第4の撮像部62との中間点を通る直線の延びる方向として、定義される。
 第3の撮像部61は、車両本体の左右方向において、第4の撮像部62よりも作業機4から離れる位置に配置されている。第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、平面視において、作業機4の中心軸Cの延びる方向に対して、互いに異なる角度で傾斜している。第3の撮像部61の光軸AX3が作業機4の中心軸Cの延びる方向に対して傾斜する角度は、第4の撮像部62の光軸AX4が作業機4の中心軸Cの延びる方向に対して傾斜する角度よりも、大きくなっている。
 第3の撮像部61と第4の撮像部62とは、各々の光軸AX3,AX4が平行ではなく、各々の光軸AX3,AX4が車両本体の前方において交差するように配置されている。そのため、第3の撮像部61が撮像する撮像範囲と、第4の撮像部62が撮像する撮像範囲とが、確実に一部重なり合っている。これにより、第3の撮像部61と第4の撮像部62とを車両本体の左右方向に間隔を空けて配置した場合でも、第2のステレオカメラ60で撮像しようとする対象物の一対の画像を確実に取得することができ、これら一対の画像をステレオ処理することで撮像対象物の3次元画像を構築することが可能である。
 図13は、第1のステレオカメラ50および第2のステレオカメラ60を用いた画像データ生成システムの構成を示す機能ブロック図である。図13に示すように、第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを有している。第2のステレオカメラ60は、第3の撮像部61と第4の撮像部62とを有している。
 第1のステレオカメラ50は、コントローラ20に電気的に接続されている。第1の撮像部51と第2の撮像部52とは、車両本体に対して前方の前方領域(図10,11に示す撮像範囲R1)を、同期して撮像する。第1の撮像部51および第2の撮像部52が撮像した2次元画像は、コントローラ20に入力される。コントローラ20は、入力された2つの2次元画像に係るデータを、外部の監視局76へ送信する。
 監視局76は、ステレオマッチング部761を有している。ステレオマッチング部761は、画像データ生成システムの一部を構成している。ステレオマッチング部761は、第1の撮像部51と第2の撮像部52とが異なる角度から同時に撮像した2次元画像をステレオマッチングし、撮像対象である前方領域の3次元形状に係る画像データを算出する。より具体的には、ステレオマッチング部761は、第1の撮像部51と第2の撮像部52との視差に基づいて、三角測量の原理を用いて、第1の撮像部51から撮像対象である前方領域までの距離と、第2の撮像部52から前方領域までの距離を算出して、前方領域の3次元形状を求める。
 第2のステレオカメラ60は、コントローラ20に電気的に接続されている。第3の撮像部61と第4の撮像部62とは、車両本体に対して前方の前方領域(図10,11に示す撮像範囲R2)を、同期して撮像する。第3の撮像部61および第4の撮像部62が撮像した2次元画像は、コントローラ20に入力される。コントローラ20は、入力された2つの2次元画像に係るデータを、外部の監視局76へ送信する。
 監視局76は、ステレオマッチング部762を有している。ステレオマッチング部762は、画像データ生成システムの一部を構成している。ステレオマッチング部762は、第3の撮像部61と第4の撮像部62とが異なる角度から同時に撮像した2次元画像をステレオマッチングし、撮像対象である前方領域の3次元形状に係る画像データを算出する。より具体的には、ステレオマッチング部761は、第3の撮像部61と第4の撮像部62との視差に基づいて、三角測量の原理を用いて、第3の撮像部61から撮像対象である前方領域までの距離と、第4の撮像部62から前方領域までの距離を算出して、前方領域の3次元形状を求める。
 図10,11を参照して説明した通り、第2のステレオカメラ60は、第1のステレオカメラ50が撮像する撮像範囲R1よりも上方または遠方の撮像範囲R2を撮像する。撮像範囲R1の上縁部分と、撮像範囲R2の下縁部分とは、互いに重畳している。そのため、ステレオマッチング部762で求められる前方領域の3次元形状は、ステレオマッチング部761で求められる前方領域の3次元形状に対して上方または遠方の地形を示している。ステレオマッチング部762で求められる3次元形状の下縁部分と、ステレオマッチング部761で求められる三次元形状の上縁部分とは、形状を共通している。
 監視局76はさらに、上下ステレオ画像データ合成部763を有している。上下ステレオ画像データ合成部763は、ステレオマッチング部761により算出された画像データと、ステレオマッチング部762により算出された画像データとを、1つに合成する。この画像データの合成は、第1のステレオカメラ50と第2のステレオカメラ60との相対位置に基づいて、一方の画像データの座標系上に他方の画像データを投影することにより、行われる。2つの画像データを、共通した3次元形状が重畳するように縦に並べて合成することにより、図10に示す法面T1の法尻T3から法肩T2に至る範囲が広く合成された画像データを取得できる。
 図14は、画像データの合成の一例を示す図である。図14中に示す取得画像I1は、第1のステレオカメラ50の第1の撮像部51が撮像した2次元画像を示す。取得画像I2は、第1のステレオカメラ50の第2の撮像部52が撮像した2次元画像を示す。取得画像I3は、第2のステレオカメラ60の第3の撮像部61が撮像した2次元画像を示す。取得画像I4は、第2のステレオカメラ60の第4の撮像部62が撮像した2次元画像を示す。
 図14において模式的に示し、かつ後述する図16,17でより詳細に示すように、取得画像I1~I4は、縦長の形状を有している。上述したように、各々の撮像部の撮像素子の受光面が縦長に配置されていることにより、各々の撮像部が撮像した取得画像I1~I4は、縦長の形状を有している。各々の撮像部は、縦長の画像を撮像可能に構成されている。第1のステレオカメラ50と第2のステレオカメラ60とは、縦長の画像を撮像可能に構成されている。
 視差画像D1は、取得画像I1と取得画像I2とのステレオマッチング処理を行うことにより生成された画像を示す。視差画像D2は、取得画像I3と取得画像I4とのステレオマッチング処理を行うことにより生成された画像を示す。取得画像I1中の画素と取得画像I2中の画素との視差値を算出することにより、視差画像D1が作成される。取得画像I3中の画素と取得画像I4中の画素との視差値を算出することにより、視差画像D2が作成される。
 地形データTは、視差画像D1と視差画像D2とを合成して得られる、車両本体の前方の現況地形を3次元的に示す画像データである。視差画像D1と視差画像D2とを縦に並べて合成することにより、図10に示す法面T1の法尻T3から法肩T2に至る範囲が広く合成された、地形データTが作成される。地形データTは、車両本体の前方の現況地形の3次元形状を含んでいる。
 図15は、撮像される地形の一例を示す模式図である。図15に示す地形は、図10を参照して説明した地形と同様に、法面T1を有している。法面T1は、上方地面T4と下方地面T5との間で、上下方向に対して傾斜している。法面T1と上方地面T4との境界が法肩T2であり、法面T1と下方地面T5との境界が法尻T3である。
 図16は、各々の撮像部による撮像の例を示す図である。図16(a)は、第1の撮像部51が図15に示す地形を撮像した2次元画像を示す。図16(b)は、第3の撮像部61が図15に示す地形を撮像した2次元画像を示す。図16(c)は、第2の撮像部52が図15に示す地形を撮像した2次元画像を示す。図16(d)は、第4の撮像部62が図15に示す地形を撮像した2次元画像を示す。
 第1のステレオカメラ50を構成する第1の撮像部51および第2の撮像部52が撮像した撮像には、図16(a)および図16(c)に示すように、法肩T2と法尻T3との両方が含まれている。第1のステレオカメラ50による撮像には、高さ方向における法面T1の全体が含まれている。
 第2のステレオカメラ60を構成する第3の撮像部61および第4の撮像部62が撮像した撮像には、図16(b)および図16(d)に示すように、法肩T2が含まれているが、法尻T3は含まれていない。第2のステレオカメラ60による撮像には、高さ方向における法面T1の上端部分と、法面T1よりも上方の地形とが含まれている。
 第1のステレオカメラ50による撮像の上縁部分と、第2のステレオカメラ60による撮像の下縁部分とは、図16に示すように、形状を共通している。第1のステレオカメラ50の撮像範囲と、第2のステレオカメラ60の撮像範囲とで、互いに重畳する領域が存在している。そのため、第1のステレオカメラ50による撮像と、第2のステレオカメラ60による撮像とを、第1のステレオカメラ50による撮像を下側、第2のステレオカメラ60による撮像を上側にして縦に並べて合成することにより、法面T1に対して下方の下方地面T5から法面T1に対して上方の上方地面T4にまで至る範囲が広く合成された画像データを生成することが可能になる。
 図17は、各々の撮像部による撮像の例を示す図である。図17には、図16に示す撮像と同じ地形を撮像した画像が示されているが、第1のステレオカメラ50および第2のステレオカメラ60による撮像内に、作業機4が含まれている。第1のステレオカメラ50および第2のステレオカメラ60の画角内に、作業機4が存在している。作業機4によって法面T1の現況地形が一部隠されているため、図17に示す撮像を使用しても現況地形を正確に把握することができない。以下では、車両本体の前方の前方領域の画像データをより高精度に生成できる画像データ生成方法について説明する。
 図18は、実施形態に基づく画像データ生成方法を説明するフロー図である。まず、図17に示したようにステレオカメラの画角内にある作業機4を、画角外へ移動する(ステップS1)。図19は、ステレオカメラの画角外への作業機4の移動を示す模式図である。図19(a)には、作業機4が作業を行っている油圧ショベル1が示されており、図19(b)には、作業機4がステレオカメラの画角外へ移動した状態の油圧ショベル1が示されている。
 図2,3に示すコントローラ20は、位置センサ10の検出信号に基づいて、バケットシリンダ4d、アームシリンダ4e、ブームシリンダ4fのストローク長を計測する。各油圧シリンダのストローク長に基づいて、コントローラ20は、作業機4の現在位置を計測する。作業機4の現在位置と、第1のステレオカメラ50および第2のステレオカメラ60の画角の設定値とに基づいて、コントローラ20は、作業機4が第1のステレオカメラ50および第2のステレオカメラ60の画角内にあるか否かを判断する。
 作業機4がステレオカメラの画角内にあると判断されれば、コントローラ20は、ステレオカメラの画角外に作業機4を移動させる。具体的には、コントローラ20は、図2に示すブーム用切換弁14bおよびアーム用切換弁14dに操作信号を送信し、ブーム4aを上昇させるとともに、アーム4bを上昇させる。コントローラ20は、図3に示す位置センサ10から、アームシリンダ4eが縮み側のストロークエンドにまで到達したことを示す検出信号、およびブームシリンダ4fが縮み側のストロークエンドにまで到達したことを示す検出信号を受け取る。これらの検出信号を受信したコントローラ20は、作業機4が図19(b)に示す位置まで移動したと認識し、作業機4がステレオカメラの画角外にまで移動したことを判断する。
 次に、撮像を行う(ステップS2)。第1のステレオカメラ50を構成している第1の撮像部51および第2の撮像部52、ならびに、第2のステレオカメラ60を構成している第3の撮像部61および第4の撮像部62が、全て同期して、車両本体の前方の前方領域を撮像する。先のステップS1で作業機4がステレオカメラの画角外に移動しているため、図16に示すように、撮像には作業機4が存在していない。撮像装置は、作業機4を画角外に移動させた状態で、前方領域の撮像を行う。
 次に、ステレオマッチングを行う(ステップS3)。図16(a)に示す第1の撮像部51の撮像(図14における取得画像I1に相当する)と、図16(c)に示す第2の撮像部52の撮像(図14における取得画像I2に相当する)とを、ステレオマッチング処理し、図14に示す視差画像D1の画像データを生成する。また、図16(b)に示す第3の撮像部61の撮像(図14における取得画像I3に相当する)と、図16(d)に示す第4の撮像部62の撮像(図14における取得画像I4に相当する)とを、ステレオマッチング処理し、図14に示す視差画像D2の画像データを生成する。
 次に、上下のステレオ画像データの合成を行う(ステップS4)。ステップS3で得られた視差画像D1の画像データと視差画像D2の画像データとを、視差画像D1を下側、視差画像D2を上側にして、共通した形状が重畳するように縦に並べて合成する。このとき、視差画像D1の画像データと視差画像D2の画像データとが、各々の画像データの長手方向に合成される。これにより、図14に示す地形データTが作成される。
 次に、画像データを表示する(ステップS5)。コントローラ20は、ステップS4で作成された現況地形の地形データTを、図2に示すモニタ21に表示する。モニタ21には、作業対象の施工設計データと、現況地形を示す地形データTとが表示される。オペレータは、キャブ5内でモニタ21の表示を確認することにより、現時点での作業状態を確認可能である。
 次に、作業機4を、作業を行う作業領域へ移動させる(ステップS6)。撮像中には図19(b)に示すようにステレオカメラの画角外に移動していた作業機4を、車両本体の前方の、ステレオカメラの画角内に復帰させる。これにより、作業機4による次なる作業の準備が行われる。このようにして、画像データ生成に係る一連の処理を終了する(エンド)。
 上記実施形態では、作業機4がステレオカメラの画角外に移動したことを、アームシリンダ4eとブームシリンダ4fとが縮み側のストロークエンドに達したことにより判定している。別の実施形態として、ブームシリンダ4fが縮み側のストロークエンド、アームシリンダ4eとバケットシリンダ4dとが伸び側のストロークエンドに達することにより作業機4の画角外移動を判定してもよい。
 図20は、ベース部90に対する各々の撮像部の配置を示す模式図である。図20には、図4、図5および図6を参照して説明したベース部90、第1のステレオカメラ50を構成している第1の撮像部51および第2の撮像部52、第2のステレオカメラ60を構成している第3の撮像部61および第4の撮像部62、左ケース81、ならびに右ケース82が、模式的に図示されている。
 図20に示すように、第2の撮像部52は、第1の撮像部51よりも右側に配置されている。第4の撮像部62は、第3の撮像部61よりも右側に配置されている。第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。左撮像部群は、左ケース81内に収容されている。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。右撮像部群は、右ケース82内に収容されている。左撮像部群と右撮像部群とは、左右方向に間隔を空けて配置されている。
 左右方向において、左側から右側へ順に、第1の撮像部51、第3の撮像部61、第2の撮像部52、第4の撮像部62が配置されている。左右方向における第3の撮像部61と第2の撮像部52との間隔は、第1の撮像部51と第3の撮像部61との間隔よりも広くなっている。左右方向における第3の撮像部61と第2の撮像部52との間隔は、第2の撮像部52と第4の撮像部62との間隔よりも広くなっている。
 図21は、図20と同様に、ベース部90に対する各々の撮像部の配置を示す模式図である。図20と同様に、第1の撮像部51と第3の撮像部61とは、左撮像部群を構成しており、左ケース81内に収容されている。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成しており、右ケース82内に収容されている。図21に示す変形例は、左右方向における第2の撮像部52と第4の撮像部62との配置が入れ替えられている点で、図20に示す例と異なっている。図21に示す変形例では、左右方向において、左側から右側へ順に、第1の撮像部51、第3の撮像部61、第4の撮像部62、第2の撮像部52が配置されている。
 図21に示す変形例においても、左撮像部群と右撮像部群とは、左右方向に間隔を空けて配置されている。左撮像部群のうち右側の第3の撮像部61と、右撮像部のうち左側の第4の撮像部62とは、左右方向に間隔を空けて配置されている。左右方向における第3の撮像部61と第4の撮像部62との間隔は、左撮像部群を構成している第1の撮像部51と第3の撮像部61との間隔よりも広く、かつ、右撮像部群を構成している第2の撮像部52と第4の撮像部62との間隔よりも広くなっている。
 図22は、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。図22には、図1を参照して説明した旋回体3、作業機4、キャブ5、およびカウンタウェイト7が、模式的に図示されている。図22にはまた、第1の撮像部51、第2の撮像部52、第3の撮像部61および第4の撮像部62が、模式的に図示されている。
 第1の撮像部51、第2の撮像部52、第3の撮像部61および第4の撮像部62は、図5にも示すように、キャブ5内に配置されている。
 第1の撮像部51および第2の撮像部52の各々の光軸は、平面視において、図12を参照して説明した作業機4の中心軸Cと交差する方向に傾いている。第1の撮像部51および第2の撮像部52の各々の光軸は、平面視において、作業機4の中心軸Cに対して互いに異なる角度で傾いている。第1の撮像部51は、左右方向において、第2の撮像部52よりも作業機4から離れる位置に配置されている。第1の撮像部51が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
 第3の撮像部61および第4の撮像部62の各々の光軸は、平面視において、作業機4の中心軸Cと交差する方向に傾いている。第3の撮像部61および第4の撮像部62の各々の光軸は、平面視において、作業機4の中心軸Cに対して互いに異なる角度で傾いている。第3の撮像部61は、左右方向において、第4の撮像部62よりも作業機4から離れる位置に配置されている。第3の撮像部61が作業機4の中心軸Cに対して傾斜する角度は、第4の撮像部62が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
 図23は、図22と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、油圧ショベル1が第1のステレオカメラ50と第2のステレオカメラ60とを有していたが、この構成に限られるものではない。図23に示すように、油圧ショベル1は、第1のステレオカメラ50のみを有していてもよい。
 図23に示すように、第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを有している。第1の撮像部51と第2の撮像部52とは、左右方向に間隔を空けて配置されている。第1の撮像部51は、左右方向におけるキャブ5の中心よりも、図4,5に示す左ピラー42に近く配置されている。第2の撮像部52は、左右方向におけるキャブ5の中心よりも、図4,5に示す右ピラー41に近く配置されている。
 なおこれまでに説明した実施形態では、ステレオカメラ50を構成している各々の撮像部がキャブ5の内部に配置される例について説明した。各々の撮像部は、図20または図21に示す平面視における配置を維持しながら、キャブ5のルーフパネル49(図4,5)上に搭載されてもよい。
 図24は、図23と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、油圧ショベル1がキャブ5を有しており、ステレオカメラを構成している各々の撮像部はキャブ5に取り付けられていた。油圧ショベル1は、キャブ5を必ずしも有しなくてもよい。油圧ショベル1は、オペレータが油圧ショベル1に搭乗して油圧ショベル1を操作する仕様に限られず、外部からの遠隔操作によって動作する仕様であってもよい。この場合油圧ショベル1は、オペレータが重畳するためのキャブ5を必要としないため、キャブ5を有しなくてもよい。
 なおキャブ5を有しない油圧ショベル1における左右方向および前後方向は、これまでに説明したキャブ5を有する油圧ショベル1において定義される左右方向および前後方向と、同じ方向を指すものとする。前後方向とは、平面視において作業機4が動作する面の延びる方向である。前後方向とは、平面視において、旋回体3に対してブームピンを中心に回転移動する作業機4のブーム4aが通る面をいう。左右方向とは、平面視において前後方向と直交する方向である。
 図24に示すキャブ5を有しない場合においても、第1の撮像部51と第2の撮像部52との平面視における配置は、図23と同様の配置とされている。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、図23と同様に、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機に近づく側に傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1の撮像部51が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
 図25は、図24と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、作業機4に対して左側に第1の撮像部51および第2の撮像部52が配置されていた。第1の撮像部51と第2の撮像部52とは、作業機4に対して右側に配置されていてもよい。
 図25に示す、ステレオカメラが作業機4に対して右側に配置されている場合においても、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機に近づく側に傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1の撮像部51が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。
 図26は、図24,25と同様に、車両本体に対する各々の撮像部の平面視における配置を示す模式図である。これまでに説明した実施形態では、作業機4に対して左側と右側とのいずれか一方に、第1の撮像部51と第2の撮像部52との両方が配置されていた。第1の撮像部51と第2の撮像部52とは、作業機4の左側と作業機4の右側とに別れて配置されていてもよい。
 図26に示す、第1の撮像部51が作業機4の左側に配置され、第2の撮像部52が作業機4の右側に配置されている場合においても、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機に近づく側に傾斜している。
 次に、本実施形態の作用効果について説明する。
 本実施形態の作業車両の一例としての油圧ショベル1は、図1に示すように、走行体2および旋回体3によって構成される車両本体と、旋回体3に取り付けられた作業機4とを備えている。作業機4は、図12に示すように、平面視で中心軸Cを有している。油圧ショベル1はまた、図5に示すように、第1のステレオカメラ50を備えている。第1のステレオカメラ50は、旋回体3に取り付けられている。図5に示すように、第1のステレオカメラ50は、第1の撮像部51と、第2の撮像部52とを有している。
 図12に示すように、第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、平面視において、車両本体から離れるにつれて作業機4に近づく側に、作業機4の中心軸Cに対して傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とは、車両本体の前方において作業機4の中心軸Cと交差する方向に、作業機4の中心軸Cに対して傾斜している。
 ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましい。本実施形態では、第1の撮像部51と第2の撮像部52とは車両本体の左右方向において間隔を空けて配置されており、そのため第1のステレオカメラ50の撮像データの精度が向上している。本実施形態ではさらに、第1の撮像部51と第2の撮像部52とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機4に近づく側に、互いに異なる角度で傾斜している。これにより、第1の撮像部51と第2の撮像部52との間隔を大きくした場合にも、第1の撮像部51と第2の撮像部52とによって同一の対象物を同時に撮像することができる。したがって、作業対象の現況地形を精度よく撮像することができ、建設事業における施行工程の生産性を向上することができる。
 また図12に示すように、第1の撮像部51は、車両本体の左右方向において、第2の撮像部52よりも作業機4から離れる位置に配置されている。第1の撮像部51の光軸AX1が作業機4の中心軸Cに対して傾斜する角度は、第2の撮像部52の光軸AX2が作業機4の中心軸Cに対して傾斜する角度よりも、大きくなっている。これにより、第1の撮像部51と第2の撮像部52とは、作業機4の前方の領域を同時に撮像することができる。したがって、油圧ショベル1の作業機4による作業対象の現況地形などの、作業対象の現況地形を精度よく撮像することができる。
 また図16,17に示すように、第1のステレオカメラ50は、縦長の画像を撮像可能に構成されている。
 第1の撮像部51の撮像素子、および第2の撮像部52の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第1のステレオカメラ50を実現できる。
 第1のステレオカメラ50を縦長の画像を撮像可能に構成することにより、第1のステレオカメラ50を用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
 また図5に示すように、油圧ショベル1は、第2のステレオカメラ60をさらに備えている。第2のステレオカメラ60は、旋回体3に取り付けられている。図5に示すように、第2のステレオカメラ60は、第3の撮像部61と、第4の撮像部62とを有している。
 図12に示すように、第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、平面視において、車両本体から離れるにつれて作業機4に近づく側に、作業機4の中心軸Cに対して傾斜している。第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、車両本体の前方において作業機4の中心軸Cと交差する方向に、作業機4の中心軸Cに対して傾斜している。
 本実施形態では、第3の撮像部61と第4の撮像部62とは車両本体の左右方向において間隔を空けて配置されており、そのため第2のステレオカメラ60の撮像データの精度が向上している。本実施形態ではさらに、第3の撮像部61と第4の撮像部62とは、作業機4の中心軸Cに対して、車両本体から離れるにつれて作業機4に近づく側に、互いに異なる角度で傾斜している。これにより、第3の撮像部61と第4の撮像部62との間隔を大きくした場合にも、第3の撮像部61と第4の撮像部62とによって同一の対象物を同時に撮像することができる。したがって、作業対象の現況地形を精度よく撮像することができ、建設事業における施行工程の生産性を向上することができる。
 また図10,11に示すように、第1のステレオカメラ50は、撮像範囲R1を撮像する。第2のステレオカメラ60は、撮像範囲R2を撮像する。図10に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、上方にある。または図11に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、遠方にある。
 2台のステレオカメラの撮像範囲R1,R2を、撮像範囲R2が撮像範囲R1よりも上方または遠方にあるように設定することにより、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
 また図9~11に示すように、第2のステレオカメラ60の第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とは、車両本体の前方で、水平方向に対して下向きの角度を形成している。第1のステレオカメラ50の撮像範囲R1よりも上方または遠方の撮像範囲R2を撮像する第2のステレオカメラ60は、光軸AX3,AX4が俯角を形成するように配置されている。
 建設事業における作業対象は地面なので、第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とが俯角を形成するように第2のステレオカメラ60を配設すれば、作業対象である地形が、第2のステレオカメラ60の撮像範囲R2に確実に含まれる。したがって、2台のステレオカメラを用いて、作業対象の上下方向または前後方向のより広い範囲の現況地形を、精度よく撮像することができる。
 また図16,17に示すように、第2のステレオカメラ60は、縦長の画像を撮像可能に構成されている。
 第3の撮像部61の撮像素子、および第4の撮像部62の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第2のステレオカメラ60を実現できる。
 第2のステレオカメラ60を縦長の画像を撮像可能に構成することにより、2台のステレオカメラを用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
 また図5,10,11に示すように、第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62は、上下方向において同じ位置に配置されている。
 第1のステレオカメラ50と第2のステレオカメラ60とがキャブ5内に配置される場合、第1のステレオカメラ50と第2のステレオカメラ60とを上下方向に並べて配置すると、キャブ5に搭乗するオペレータの視界がステレオカメラによって遮られる可能性がある。第1のステレオカメラ50と第2のステレオカメラ60との各々の撮像部を上下方向において同じ位置に配置し、各々の撮像部をキャブ5内に左右方向に並べて配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
 また図1に示すように、油圧ショベル1は、キャブ5をさらに備えている。キャブ5は、旋回体3上に配置されている。第1の撮像部51と第2の撮像部52とは、キャブ5内に配置されている。第3の撮像部61と第4の撮像部62とは、キャブ5内に配置されている。各々の撮像部をキャブ5内に配置することにより、キャブ5に搭乗するオペレータの視点により近い位置から見た作業対象の現況地形を撮像できるので、作業対象の現況地形を精度よく撮像することができる。加えて、油圧ショベル1の作業時に発生する振動、飛翔物、または作業機4との干渉などから撮像部を保護することができる。
 本実施形態の作業車両の一例としての油圧ショベル1は、図1に示すように、走行体2および旋回体3によって構成される車両本体を有している。油圧ショベル1には、撮像装置が設けられている。撮像装置は、図5に示すように、第1のステレオカメラ50と、第2のステレオカメラ60とを備えている。第1のステレオカメラ50と第2のステレオカメラ60とは、旋回体3に取り付けられている。
 図10,11に示すように、第1のステレオカメラ50は、撮像範囲R1を撮像する。第2のステレオカメラ60は、撮像範囲R2を撮像する。図10に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、上方にある。または図11に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、遠方にある。
 2台のステレオカメラの撮像範囲R1,R2を、撮像範囲R2が撮像範囲R1よりも上方または遠方にあるように設定することにより、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像できる。したがって、作業対象が法面T1を含む場合に、上下方向における広い範囲の現況地形を精度よく撮像することができる。または、作業対象が平坦な地面である場合には、前後方向における広い範囲の現況地形を精度よく撮像することができる。
 2台のステレオカメラの全ての撮像部が同期して、同時刻において撮像範囲R1,R2を撮像することにより、広い領域で精度の高い現況地形のデータを入手することができる。
 また図10,11および図16に示すように、第1のステレオカメラ50の撮像範囲R1と、第2のステレオカメラ60の撮像範囲R2とが、一部重なっている。撮像範囲R1の上縁部分と撮像範囲R2の下縁部分とが重複するように2台のステレオカメラを配設することで、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像することができる。
 また図1に示すように、油圧ショベル1は、旋回体3に取り付けられた作業機4をさらに有している。作業機4は、図12に示すように、平面視で中心軸Cを有している。図12に示す第1の撮像部51の光軸AX1と第2の撮像部52の光軸AX2とから、平面視における第1のステレオカメラ50の光軸が定義される。図12に示す第3の撮像部61の光軸AX3と第4の撮像部62の光軸AX4とから、平面視における第2のステレオカメラ60の光軸が定義される。
 第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、平面視において、車両本体から離れるにつれて作業機4に近づく側に、作業機4の中心軸Cに対して傾斜している。第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、作業機4の中心軸Cに対して、互いに異なる角度で傾斜している。第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、車両本体の前方において作業機4の中心軸Cと交差する方向に、作業機4の中心軸Cに対して傾斜している。
 これにより、第1のステレオカメラ50と第2のステレオカメラ60とによって、同一の対象物を同時に撮像することができる。したがって、作業対象の現況地形を精度よく撮像することができ、建設事業における施行工程の生産性を向上することができる。
 また図8,9に示すように、第1のステレオカメラ50の光軸と第2のステレオカメラ60の光軸とは、車両本体の前方で、水平方向に対して下向きの角度を形成する。第1のステレオカメラ50と第2のステレオカメラ60とは、光軸が俯角を形成するように配置されている。
 建設事業における作業対象は地面なので、第1のステレオカメラ50と第2のステレオカメラ60とを、各々の光軸が俯角を形成するように配設すれば、作業対象である地形が、第1のステレオカメラ50の撮像範囲R1および第2のステレオカメラ60の撮像範囲R2に確実に含まれる。したがって、2台のステレオカメラを用いて、作業対象のより広い範囲の現況地形を、精度よく撮像することができる。
 また図5に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、車両本体の左右方向に並んで配置されている。
 第1のステレオカメラ50と第2のステレオカメラ60とがキャブ5内に配置される場合、第1のステレオカメラ50と第2のステレオカメラ60とを上下方向に並べて配置すると、キャブ5に搭乗するオペレータの視界がステレオカメラによって遮られる可能性がある。第1のステレオカメラ50と第2のステレオカメラ60とをキャブ5内に左右方向に並べて配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
 また図5に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、上下方向において同じ位置に配置されている。第1のステレオカメラ50と第2のステレオカメラ60とを上下方向において同じ位置に配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
 また図5に示すように、第1のステレオカメラ50は、第1の撮像部51と、第2の撮像部52とを有している。第2の撮像部52は、第1の撮像部51よりも、車両本体の左右方向の右側に配置されている。第2のステレオカメラ60は、第3の撮像部61と、第4の撮像部62とを有している。第4の撮像部62は、第3の撮像部61よりも、車両本体の左右方向の右側に配置されている。第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。図5に示すように、左撮像部群と右撮像部群とは、車両本体の左右方向に間隔を空けて配置されている。
 ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましい。本実施形態では、左撮像部群と右撮像部群とは、車両本体の左右方向において間隔を空けて配置されている。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度を向上することができる。
 また図16,17に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、縦長の画像を撮像可能に構成されている。
 第1の撮像部51の撮像素子、および第2の撮像部52の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第1のステレオカメラ50を実現できる。
 第3の撮像部61の撮像素子、および第4の撮像部62の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第2のステレオカメラ60を実現できる。
 第1のステレオカメラ50と第2のステレオカメラ60とを縦長の画像を撮像可能に構成することにより、2台のステレオカメラを用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
 また図1に示すように、車両本体は、キャブ5を有している。撮像装置は、図5に示すように、キャブ5に取り付けられている。撮像装置をキャブ5に取り付けることにより、キャブ5に搭乗するオペレータの視点により近い位置から見た作業対象の現況地形を撮像できるので、作業対象の現況地形を精度よく撮像することができる。
 本実施形態の作業車両の一例としての油圧ショベル1は、図1に示すように、走行体2および旋回体3によって構成される車両本体を有している。油圧ショベル1には、撮像装置が設けられている。撮像装置は、図5に示すように、第1のステレオカメラ50と、第2のステレオカメラ60とを備えている。第1のステレオカメラ50と第2のステレオカメラ60とは、旋回体3に取り付けられている。
 図5に示すように、第1のステレオカメラ50は、第1の撮像部51と、第2の撮像部52とを有している。第2の撮像部52は、第1の撮像部51よりも、車両本体の左右方向の右側に配置されている。第2のステレオカメラ60は、第3の撮像部61と、第4の撮像部62とを有している。第4の撮像部62は、第3の撮像部61よりも、車両本体の左右方向の右側に配置されている。第1の撮像部51と第3の撮像部61とは、左撮像部群を構成している。第2の撮像部52と第4の撮像部62とは、右撮像部群を構成している。図5に示すように、左撮像部群と右撮像部群とは、車両本体の左右方向に間隔を空けて配置されている。
 ステレオカメラで撮像される撮像データの精度を向上するためには、三角測量の原理上、ステレオカメラを構成する2つの撮像部の間隔を大きくするのが望ましい。本実施形態では、左撮像部群と右撮像部群とは、車両本体の左右方向において間隔を空けて配置されている。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度が向上されている。したがって、作業対象の現況地形を精度よく撮像することができる。
 また図5に示すように、車両本体の左右方向の左側から右側へ順に、第1の撮像部51、第3の撮像部61、第2の撮像部52、第4の撮像部62が配置されている。このようにすれば、第1の撮像部51と第2の撮像部52との左右方向における間隔と、第3の撮像部61と第4の撮像部62との左右方向における間隔との差を、より小さくすることができる。典型的には、第1の撮像部51と第2の撮像部52との左右方向における間隔と、第3の撮像部61と第4の撮像部62との左右方向における間隔とを、等しくすることができる。これにより、第1のステレオカメラ50の撮像データの精度と、第2のステレオカメラ60の撮像データの精度とを、等価な精度にすることができる。
 また図5に示すように、車両本体の左右方向における第3の撮像部61と第2の撮像部52との間隔は、左右方向における第1の撮像部51と第3の撮像部61との間隔より広く、かつ、左右方向における第2の撮像部52と第4の撮像部62との間隔より広い。
 このようにすれば、第1の撮像部51と第2の撮像部52とを、車両本体の左右方向において、確実に広い間隔を空けて配置することができ、かつ、第3の撮像部61と第4の撮像部62とを、車両本体の左右方向において、確実に広い間隔を空けて配置することができる。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度が向上されている。したがって、作業対象の現況地形を精度よく撮像することができる。
 また図1に示すように、油圧ショベル1は、キャブ5をさらに有している。キャブ5は、一対のフロントピラー40を有している。フロントピラー40は、右ピラー41と、左ピラー42とを有している。図5に示すように、左撮像部群は、車両本体の左右方向におけるキャブ5の中心よりも、左ピラー42に近く配置されている。右撮像部群は、車両本体の左右方向におけるキャブ5の中心よりも、右ピラー41に近く配置されている。
 このようにすれば、左撮像部群と右撮像部群とを、車両本体の左右方向において、確実に広い間隔を空けて配置することができる。そのため、第1のステレオカメラ50および第2のステレオカメラ60の撮像データの精度が向上されている。したがって、作業対象の現況地形を精度よく撮像することができる。また、オペレータが着座する運転席8は、キャブ5内のほぼ中央部に配置されているので、各々の撮像部をフロントピラー40に寄せて配置することにより、撮像部がオペレータの視界を妨げることを抑制でき、オペレータの視界を広く確保することができる。
 また図1に示すように、キャブ5は、前窓47を有している。図5に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、キャブ5内に、前窓47の上縁に沿って配置されている。
 第1のステレオカメラ50と第2のステレオカメラ60とをキャブ5内に配置することにより、キャブ5に搭乗するオペレータの視点により近い位置から見た作業対象の現況地形を撮像できるので、作業対象の現況地形を精度よく撮像することができる。加えて、油圧ショベル1の作業時に発生する振動、飛翔物、または作業機4との干渉などから第1のステレオカメラ50および第2のステレオカメラ60を保護することができる。
 第1のステレオカメラ50と第2のステレオカメラ60とがキャブ5内に配置される場合、キャブ5に搭乗するオペレータの視界がステレオカメラによって遮られない配置にする必要がある。第1のステレオカメラ50と第2のステレオカメラ60との各々の撮像部を、前窓47の上縁に沿って左右方向に並べて配置することにより、オペレータの視界を広く確保できるので、オペレータによる作業の効率を向上することができる。
 また、図5に示す前窓47は、移動不能に構成されている。ステレオカメラを前窓47の上縁に沿って配置する場合、前窓47を開閉すると、キャブ5内の構造物とステレオカメラとが干渉して、ステレオカメラの各々の撮像部とキャブ5内の構造物との衝突が発生する可能性がある。前窓47を移動不能に構成することにより、ステレオカメラの各々の撮像部がキャブ5内の構造物に衝突することを回避できるので、撮像部の予期しない変位を防止でき、また撮像部を保護することができる。
 なお、前窓47が移動不能、とは、キャブ5に前窓47が完全に固定されている場合と、前窓47はキャブ5に対して可動式であるが前窓47を移動させるための構成が機能しないことで結果的に前窓47が移動できない場合との、両方を含む概念である。
 本実施形態の画像データ生成方法は、油圧ショベル1に代表される作業車両のための画像データ生成方法である。油圧ショベル1は、図1に示すように、作業機4を有している。油圧ショベル1はまた、撮像装置を有している。撮像装置は、作業機4が作業を行う作業領域を撮像する。画像データ生成方法は、図18に示すように、撮像装置の画角外に作業機4を移動するステップ(ステップS1)と、作業機4を撮像装置の画角外に移動させた状態で、作業領域を撮像装置により撮像するステップ(ステップS2)と、撮像された作業領域の画像データを生成するステップ(ステップS3)とを備えている。
 撮像装置の画角内に作業機4が存在していると、作業領域の現況地形が作業機4によって一部隠されるため、現況地形を正確に把握することが困難である。本実施形態のように、撮像に先立って撮像装置の画角外に作業機4を移動するステップ(ステップS1)を備えることにより、撮像を行うときには撮像装置の画角内に作業機4が存在しないことになる。これにより、撮像装置による撮像には作業機4が含まれていないことになるため、作業領域の現況地形の高精度の撮像が可能になる。したがって、作業領域の画像データをより高精度に生成することができる。
 また図5に示すように、撮像装置は、第1のステレオカメラ50を有している。第1のステレオカメラ50は、第1の撮像部51と第2の撮像部52とを含んでいる。このような構成とすることにより、第1の撮像部51と第2の撮像部52とを用いて、作業領域を精度よく撮像することができる。
 また図5に示すように、撮像装置は、第2のステレオカメラ60を有している。第2のステレオカメラ60は、第3の撮像部61と第4の撮像部62とを含んでいる。図10,11に示すように、第1のステレオカメラ50は、撮像範囲R1を撮像する。第2のステレオカメラ60は、撮像範囲R2を撮像する。図10に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、上方にある。または図11に示すように、第2のステレオカメラ60の撮像範囲R2は、第1のステレオカメラ50の撮像範囲R1よりも、遠方にある。
 2台のステレオカメラの撮像範囲R1,R2を、撮像範囲R2が撮像範囲R1よりも上方または遠方にあるように設定することにより、2台のステレオカメラを用いて、上下方向または前後方向のより広い範囲を同時に撮像できる。したがって、作業対象が法面T1を含む場合に、上下方向における広い範囲の現況地形を精度よく撮像することができる。または、作業対象が平坦な地面である場合には、前後方向における広い範囲の現況地形を精度よく撮像することができる。
 また図14に示すように、生成される作業領域の画像データは、作業領域の3次元形状を示す地形データTを含んでいる。第1のステレオカメラ50および第2のステレオカメラ60を用いて異なる角度から作業領域を撮像した2枚の2次元画像をステレオマッチング処理することにより、作業領域の広い範囲の現況地形を3次元的に認識することができる。
 また図16,17に示すように、第1の撮像部51、第2の撮像部52、第3の撮像部61、および第4の撮像部62は、作業領域を同期して撮像する。2台のステレオカメラの全ての撮像部が同期して、同時刻において撮像範囲R1,R2を撮像することにより、広い領域で精度の高い現況地形のデータを入手することができる。
 また図16,17に示すように、第1のステレオカメラ50と第2のステレオカメラ60とは、縦長の画像を撮像可能に構成されている。
 第1の撮像部51の撮像素子、および第2の撮像部52の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第1のステレオカメラ50を実現できる。
 第3の撮像部61の撮像素子、および第4の撮像部62の撮像素子は、矩形状の受光面を有している。受光面は、相対的に長さが大きい長尺の辺と相対的に長さの小さい短尺の辺とを有しており、長尺の辺を鉛直方向に沿う方向に配置されている。このようにして、縦長の画像を撮像可能な第2のステレオカメラ60を実現できる。
 第1のステレオカメラ50と第2のステレオカメラ60とを縦長の画像を撮像可能に構成することにより、2台のステレオカメラを用いて、上下方向または前後方向のさらに広い範囲を同時に撮像できる。したがって、作業対象の広い範囲の現況地形を精度よく撮像することができる。
 また図18に示すように、画像データ生成方法は、第1のステレオカメラ50の撮像から生成された画像データと、第2のステレオカメラ60の撮像から生成された画像データとを、各々の画像データの長手方向に合成するステップ(ステップS4)をさらに備えている。このようにすれば、2台のステレオカメラの撮像を用いて、より広い範囲の作業領域の現況地形に係る画像データを、高精度の生成することができる。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 1 油圧ショベル、2 走行体、3 旋回体、4 作業機、5 キャブ、8 運転席、20 コントローラ、21 モニタ、40 フロントピラー、41 右ピラー、42 左ピラー、47 前窓、47a 上枠部分、47s 座、50 第1のステレオカメラ、51 第1の撮像部、52 第2の撮像部、60 第2のステレオカメラ、61 第3の撮像部、62 第4の撮像部、76 監視局、81 左ケース、82 右ケース、90 ベース部、91 取付アングル、92 取付片、93 取付プレート、95,96,97 ボルト、101,111 ブラケット、102,112 固定部、103,104,113,114 突出部、761,762 ステレオマッチング部、763 上下ステレオ画像データ合成部、AX1,AX2,AX3,AX4 光軸、C 中心軸、D1,D2 視差画像、I1,I2,I3,I4 取得画像、R1,R2 撮像範囲、T 地形データ、T1 法面、T2 法肩、T3 法尻、T4 上方地面、T5 下方地面、T6 平面。

Claims (9)

  1.  作業車両に設けられる撮像装置において、
     前記作業車両は、車両本体を有し、
     前記撮像装置は、前記車両本体に取り付けられた第1のステレオカメラと、前記車両本体に取り付けられた第2のステレオカメラと、を備え、
     前記第1のステレオカメラは、第1の撮像範囲を撮像し、
     前記第2のステレオカメラは、前記第1の撮像範囲よりも上方または遠方の第2の撮像範囲を撮像する、撮像装置。
  2.  前記第1の撮像範囲と前記第2の撮像範囲とが一部重なる、請求項1に記載の撮像装置。
  3.  前記作業車両は、前記車両本体に取り付けられた作業機をさらに有し、
     前記作業機は、平面視で中心軸を有し、
     前記第1のステレオカメラの光軸と前記第2のステレオカメラの光軸とは、平面視において、前記車両本体から離れるにつれて前記作業機に近づく側に、前記中心軸に対して傾斜する、請求項1または2に記載の撮像装置。
  4.  前記第1のステレオカメラの光軸と前記第2のステレオカメラの光軸とは、前記車両本体の前方で、水平方向に対して下向きの角度を形成する、請求項1~3のいずれか1項に記載の撮像装置。
  5.  前記第1のステレオカメラと前記第2のステレオカメラとは、前記車両本体の左右方向に並んで配置される、請求項1~4のいずれか1項に記載の撮像装置。
  6.  前記第1のステレオカメラと前記第2のステレオカメラとは、上下方向において同じ位置に配置される、請求項5に記載の撮像装置。
  7.  前記第1のステレオカメラは、第1の撮像部と、前記第1の撮像部よりも前記車両本体の左右方向の右側に配置される第2の撮像部とを有し、
     前記第2のステレオカメラは、第3の撮像部と、前記第3の撮像部よりも前記車両本体の左右方向の右側に配置される第4の撮像部とを有し、
     前記第1の撮像部と前記第3の撮像部とは、左撮像部群を構成し、
     前記第2の撮像部と前記第4の撮像部とは、右撮像部群を構成し、
     前記左撮像部群と前記右撮像部群とは、前記車両本体の左右方向に間隔を空けて配置される、請求項1~6のいずれか1項に記載の撮像装置。
  8.  前記第1のステレオカメラと前記第2のステレオカメラとは、縦長の画像を撮像可能に構成される、請求項1~7のいずれか1項に記載の撮像装置。
  9.  前記車両本体はキャブを有し、
     前記キャブに取り付けられる、請求項1~8のいずれか1項に記載の撮像装置。
PCT/JP2015/077839 2015-09-30 2015-09-30 撮像装置 WO2017056266A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201580077010.8A CN107250725B (zh) 2015-09-30 2015-09-30 摄像装置
JP2017542620A JP6553201B2 (ja) 2015-09-30 2015-09-30 作業車両
US15/557,496 US11008735B2 (en) 2015-09-30 2015-09-30 Image pick-up apparatus
DE112015006347.1T DE112015006347T5 (de) 2015-09-30 2015-09-30 Bildaufnahmevorrichtung
PCT/JP2015/077839 WO2017056266A1 (ja) 2015-09-30 2015-09-30 撮像装置
KR1020177023659A KR102065477B1 (ko) 2015-09-30 2015-09-30 촬상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077839 WO2017056266A1 (ja) 2015-09-30 2015-09-30 撮像装置

Publications (1)

Publication Number Publication Date
WO2017056266A1 true WO2017056266A1 (ja) 2017-04-06

Family

ID=58423029

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077839 WO2017056266A1 (ja) 2015-09-30 2015-09-30 撮像装置

Country Status (6)

Country Link
US (1) US11008735B2 (ja)
JP (1) JP6553201B2 (ja)
KR (1) KR102065477B1 (ja)
CN (1) CN107250725B (ja)
DE (1) DE112015006347T5 (ja)
WO (1) WO2017056266A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109429505A (zh) * 2017-06-30 2019-03-05 株式会社小松制作所 拍摄装置、建筑机械以及拍摄系统
JP2019203291A (ja) * 2018-05-22 2019-11-28 株式会社小松製作所 油圧ショベル、およびシステム
JP2020017824A (ja) * 2018-07-24 2020-01-30 株式会社東芝 鉄道車両用撮像システム
JP2020045688A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
JP6857147B2 (ja) * 2018-03-15 2021-04-14 株式会社日立製作所 三次元画像処理装置、及び三次元画像処理方法
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183530A (ja) * 1997-09-11 1999-03-26 Fuji Heavy Ind Ltd 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP2013002101A (ja) * 2011-06-15 2013-01-07 Hitachi Constr Mach Co Ltd 作業機械の視野補助装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522218B1 (ko) * 1999-10-12 2005-10-14 마츠시타 덴끼 산교 가부시키가이샤 감시 시스템, 카메라 조정방법 및 차량감시 시스템
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
JP2006214735A (ja) 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
JP2010109452A (ja) 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
EP2754125B1 (en) * 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9598836B2 (en) 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械
US9789462B2 (en) * 2013-06-25 2017-10-17 The Boeing Company Apparatuses and methods for accurate structure marking and marking-assisted structure locating
KR102123127B1 (ko) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 화면모드 선택 장치 및 방법
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
WO2015162710A1 (ja) * 2014-04-23 2015-10-29 株式会社日立製作所 掘削装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183530A (ja) * 1997-09-11 1999-03-26 Fuji Heavy Ind Ltd 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP2013002101A (ja) * 2011-06-15 2013-01-07 Hitachi Constr Mach Co Ltd 作業機械の視野補助装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109429505A (zh) * 2017-06-30 2019-03-05 株式会社小松制作所 拍摄装置、建筑机械以及拍摄系统
CN113202155B (zh) * 2017-06-30 2022-09-30 株式会社小松制作所 建筑机械以及拍摄系统
CN113202155A (zh) * 2017-06-30 2021-08-03 株式会社小松制作所 建筑机械以及拍摄系统
US11136745B2 (en) 2017-06-30 2021-10-05 Komatsu Ltd. Image pick-up apparatus, earth-moving machine and image pick-up system
JP7045926B2 (ja) 2018-05-22 2022-04-01 株式会社小松製作所 油圧ショベル、およびシステム
JP2019203291A (ja) * 2018-05-22 2019-11-28 株式会社小松製作所 油圧ショベル、およびシステム
WO2019225133A1 (ja) * 2018-05-22 2019-11-28 株式会社小松製作所 油圧ショベル、およびシステム
US11713560B2 (en) 2018-05-22 2023-08-01 Komatsu Ltd. Hydraulic excavator and system
JP2020017824A (ja) * 2018-07-24 2020-01-30 株式会社東芝 鉄道車両用撮像システム
JP7150508B2 (ja) 2018-07-24 2022-10-11 株式会社東芝 鉄道車両用撮像システム
WO2020021949A1 (ja) * 2018-07-24 2020-01-30 株式会社東芝 鉄道車両用撮像システム
JP7065002B2 (ja) 2018-09-19 2022-05-11 日立建機株式会社 作業機械
JP2020045688A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
DE112015006347T5 (de) 2017-12-07
KR20170107068A (ko) 2017-09-22
CN107250725B (zh) 2021-04-20
US20180058044A1 (en) 2018-03-01
JP6553201B2 (ja) 2019-07-31
US11008735B2 (en) 2021-05-18
CN107250725A (zh) 2017-10-13
JPWO2017056266A1 (ja) 2018-03-15
KR102065477B1 (ko) 2020-01-13

Similar Documents

Publication Publication Date Title
JP6616837B2 (ja) 作業車両
JP6595609B2 (ja) 画像データ生成方法
JP6553201B2 (ja) 作業車両
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR102089454B1 (ko) 계측 시스템, 작업 기계 및 계측 방법
JP6778214B2 (ja) 建設機械および撮像システム
JP7462710B2 (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
WO2017056267A1 (ja) 撮像装置
WO2019225133A1 (ja) 油圧ショベル、およびシステム
JP2020134319A (ja) 画像センサの情報補正方法及び移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15905420

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177023659

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15557496

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017542620

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006347

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15905420

Country of ref document: EP

Kind code of ref document: A1