WO2012169353A1 - 作業車両の周辺監視装置 - Google Patents

作業車両の周辺監視装置 Download PDF

Info

Publication number
WO2012169353A1
WO2012169353A1 PCT/JP2012/063136 JP2012063136W WO2012169353A1 WO 2012169353 A1 WO2012169353 A1 WO 2012169353A1 JP 2012063136 W JP2012063136 W JP 2012063136W WO 2012169353 A1 WO2012169353 A1 WO 2012169353A1
Authority
WO
WIPO (PCT)
Prior art keywords
work vehicle
projection plane
virtual projection
image
range
Prior art date
Application number
PCT/JP2012/063136
Other languages
English (en)
French (fr)
Inventor
光田　慎治
原田　茂
富和 田貫
栄伸 増谷
幸宏 中西
栗原　毅
大 坪根
正臣 町田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN201280003138.6A priority Critical patent/CN103155552B/zh
Priority to AU2012268477A priority patent/AU2012268477B2/en
Priority to US13/819,137 priority patent/US8982212B2/en
Priority to CA2805665A priority patent/CA2805665C/en
Publication of WO2012169353A1 publication Critical patent/WO2012169353A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated

Definitions

  • the present invention relates to a work vehicle periphery monitoring device.
  • the periphery monitoring device includes an imaging unit such as a camera mounted on the vehicle.
  • the periphery monitoring device creates an overhead image showing the periphery of the work vehicle by synthesizing the images captured by the imaging unit.
  • the bird's-eye view image is created by projecting an image captured by the imaging unit onto a virtual projection plane.
  • the virtual projection plane has a flat shape, an object that is farther from the vehicle is displayed larger in the overhead view image.
  • the virtual projection plane has a shape that gradually rises in the traveling direction of the vehicle. Thereby, it is suppressed that an image spreads and displays toward the advancing direction of a vehicle.
  • An object of the present invention is to provide a work vehicle periphery monitoring device that allows an operator to easily recognize the position of a work vehicle when the work vehicle is traveling.
  • the work vehicle periphery monitoring device includes an imaging unit, an overhead image creation unit, a display unit, and a traveling state determination unit.
  • the imaging unit is attached to the work vehicle and images a region around the work vehicle to obtain image data.
  • the overhead image creating unit creates an overhead image around the work vehicle by projecting the image data onto the virtual projection plane.
  • the display unit displays an overhead image.
  • the traveling state determination unit determines whether the work vehicle is in a traveling state or a stopped state. When the work vehicle is in a stop state, the overhead image creation unit creates an overhead image using the first virtual projection plane. At least the outer edge portion of the first virtual projection plane has a shape in which the height from the ground increases as the distance from the work vehicle increases. When the work vehicle is in a traveling state, the overhead image creation unit creates an overhead image using the second virtual projection plane. At least the outer edge of the second virtual projection plane has a flat shape with a constant height from the ground.
  • the work vehicle periphery monitoring device is the work vehicle periphery monitoring device according to the first aspect, and the virtual projection plane includes a first range and a second range.
  • the first range is located around the work vehicle.
  • the second range is farther from the work vehicle than the first range.
  • the first range of the first virtual projection plane is a flat shape having a constant height from the ground.
  • the second range of the first virtual projection plane is a shape in which the height from the ground increases as the distance from the work vehicle increases.
  • the first range and the second range of the second virtual projection plane are flat shapes having a constant height from the ground.
  • a work vehicle periphery monitoring apparatus is the work vehicle periphery monitoring apparatus according to the second aspect, wherein the second range of the first virtual projection plane includes a plurality of curved surfaces, and a plurality of curved surfaces. Including spherical surfaces.
  • the plurality of curved surfaces are curved around a virtual axis parallel to each side of the rectangle corresponding to the outer shape of the work vehicle.
  • the plurality of spherical surfaces are respectively disposed between a pair of adjacent curved surfaces and are continuously connected to the pair of curved surfaces.
  • a work vehicle periphery monitoring apparatus is the work vehicle periphery monitoring apparatus according to the first aspect, wherein the entire second virtual projection plane is flat with a constant height from the ground. Shape.
  • a work vehicle periphery monitoring device is the work vehicle periphery monitoring device according to the first aspect, and further includes a vehicle speed detection unit.
  • the vehicle speed detection unit detects the vehicle speed of the work vehicle.
  • the traveling state determination unit determines that the work vehicle is in a traveling state when the vehicle speed is equal to or higher than a predetermined threshold.
  • the traveling state determination unit determines that the work vehicle is in a stopped state when the vehicle speed is smaller than a predetermined threshold.
  • a work vehicle includes the periphery monitoring device according to any one of the first to fifth aspects.
  • the overhead image creation unit when the work vehicle is in a stopped state, creates an overhead image using the first virtual projection plane. At least the outer edge portion of the first virtual projection plane has a shape in which the height from the ground increases as the distance from the work vehicle increases. Therefore, a phenomenon that an object located farther from the work vehicle is displayed larger in the overhead image can be suppressed. For this reason, the operator can easily grasp the shape and size of the object from the overhead image. Further, when the work vehicle is in the traveling state, the overhead image creation unit creates an overhead image using the second virtual projection plane. At least the outer edge of the second virtual projection plane has a flat shape with a constant height from the ground.
  • the first range of the first virtual projection plane has a flat shape with a constant height from the ground.
  • the second range of the first virtual projection plane has a shape in which the height from the ground increases as the distance from the work vehicle increases. For this reason, in the first range closer to the work vehicle than the second range, a natural bird's-eye view image can be created as if the ground is imaged from above the work vehicle. Further, in the second range that is farther from the work vehicle than the first range, a phenomenon that an object located farther from the work vehicle is displayed larger in the overhead image can be suppressed.
  • the operator can easily grasp the shape and size of the object from the overhead image.
  • the first range and the second range of the second virtual projection plane are flat shapes having a constant height from the ground. For this reason, when the work vehicle is in a traveling state, the distortion of the ground at the outer edge of the overhead image is suppressed. Thus, the operator can easily recognize the position of the work vehicle when the work vehicle is traveling.
  • the plurality of curved surfaces and the plurality of spherical surfaces are continuously connected on the first virtual projection plane. For this reason, a smooth bird's-eye view image with little discomfort given to the operator is created.
  • the entire second virtual projection plane has a flat shape with a constant height from the ground. For this reason, the distortion of the ground in the outer edge part of a bird's-eye view image is suppressed. Thus, the operator can easily recognize the position of the work vehicle when the work vehicle is traveling.
  • the traveling state determination unit determines that the work vehicle is in a stopped state when the vehicle speed is smaller than a predetermined threshold value. For this reason, it is determined that the work vehicle is in a stopped state even when the work vehicle is traveling at a low speed. Thus, the operator can easily grasp the shape and size of the object from the overhead view image when the work vehicle is traveling at a low speed.
  • the overhead image creation unit when the work vehicle is in a stopped state, creates an overhead image using the first virtual projection plane. At least the outer edge portion of the first virtual projection plane has a shape in which the height from the ground increases as the distance from the work vehicle increases. Therefore, a phenomenon that an object located farther from the work vehicle is displayed larger in the overhead image can be suppressed. For this reason, the operator can easily grasp the shape and size of the object from the overhead image. Further, when the work vehicle is in the traveling state, the overhead image creation unit creates an overhead image using the second virtual projection plane. At least the outer edge of the second virtual projection plane has a flat shape with a constant height from the ground.
  • FIG. 1 is a perspective view showing an overall configuration of a work vehicle according to an embodiment of the present invention.
  • the block diagram which shows the structure of the periphery monitoring apparatus which concerns on one Embodiment of this invention.
  • the perspective view of the work vehicle which shows the mounting position of the some imaging part of a periphery monitoring apparatus.
  • the top view which shows the mounting position and imaging range of a some imaging part of a periphery monitoring apparatus.
  • the figure which shows the method of the image conversion using a virtual projection surface.
  • the schematic diagram which shows an example of a 1st virtual projection surface.
  • the schematic diagram which shows an example of a 2nd virtual projection surface.
  • FIG. 6 is a top view showing positions of first to close ranges included in a virtual projection plane.
  • the flowchart which shows the process which the controller of a periphery monitoring apparatus performs.
  • the schematic diagram which shows the example of the bird's-eye view image in a stop state.
  • the schematic diagram which shows the example of the bird's-eye view image in a driving
  • the schematic diagram which shows an example of the 2nd virtual projection surface which concerns on other embodiment.
  • FIG. 1 is a perspective view showing a work vehicle 1 according to an embodiment of the present invention.
  • the work vehicle 1 is a self-propelled super large dump truck used for mining work or the like.
  • the work vehicle 1 mainly includes a body frame 2, a cab 3, a vessel 4, a front wheel 5, and a rear wheel 6. Moreover, the work vehicle 1 is provided with the periphery monitoring apparatus 10 (refer FIG. 2) which monitors the periphery of the work vehicle 1 and displays the result. Details of the periphery monitoring device 10 will be described later.
  • the body frame 2 supports a power mechanism (not shown) such as a diesel engine and a transmission, and other auxiliary machines. Also, left and right front wheels 5 (only the right front wheel is shown in FIG. 1) are supported at the front portion of the body frame 2. Left and right rear wheels 6 (only the right rear wheel is shown in FIG. 1) are supported at the rear portion of the vehicle body frame 2.
  • the vehicle body frame 2 includes a lower deck 2a and an upper deck 2b.
  • the lower deck 2 a is attached to the lower part of the front surface of the vehicle body frame 2.
  • the upper deck 2b is disposed above the lower deck 2a.
  • a movable ladder 2c is disposed between the lower deck 2a and the ground.
  • An oblique ladder 2d is disposed between the lower deck 2a and the upper deck 2b.
  • a rail-like handrail 2e is disposed on the upper deck 2b.
  • the cab 3 is disposed on the upper deck 2b.
  • the cab 3 is positioned on the upper deck 2b so as to be biased to one side in the vehicle width direction from the center in the vehicle width direction. Specifically, the cab 3 is located on the left side of the center in the vehicle width direction on the upper deck 2b.
  • operation members such as a driver's seat, a handle, a shift lever, an accelerator pedal, and a brake pedal are arranged.
  • the vessel 4 is a container for loading heavy objects such as crushed stones.
  • the rear portion of the bottom surface of the vessel 4 is rotatably connected to the rear portion of the vehicle body frame 2 via a rotation pin (not shown).
  • the vessel 4 can take a loading posture and a standing posture by an actuator such as a hydraulic cylinder (not shown).
  • the loading posture is a posture in which the front portion of the vessel 4 is positioned above the cab 3 as shown in FIG.
  • the standing posture is a posture for discharging the load, and the vessel 4 is tilted backward and downward. By rotating the front part of the vessel 4 upward, the vessel 4 changes from the loading posture to the standing posture.
  • FIG. 2 is a block diagram illustrating a configuration of the periphery monitoring device 10 included in the work vehicle 1.
  • the periphery monitoring device 10 includes a plurality of imaging units 11-16, a vehicle speed detection unit 17, a display unit 18, and a controller 19.
  • the imaging unit 11-16 is attached to the work vehicle 1.
  • the imaging unit 11-16 captures an area around the work vehicle 1 and acquires image data.
  • the imaging unit 11-16 includes a camera 11a-16a and a frame memory 11b-16b, respectively.
  • the frame memory 11b-16b temporarily stores image data picked up by the cameras 11a-16a.
  • the plurality of imaging units 11-16 include first to sixth imaging units 11-16.
  • FIG. 3 is a perspective view of the work vehicle 1 showing the mounting positions of the first to sixth imaging units 11-16.
  • FIG. 4 is a top view of the work vehicle 1 showing the mounting positions and imaging ranges of the first to sixth imaging units 11-16.
  • the first imaging unit 11 is attached to the front surface of the work vehicle 1. Specifically, the 1st imaging part 11 is arrange
  • the second imaging unit 12 is attached to one side of the front surface of the work vehicle 1. Specifically, the second imaging unit 12 is disposed on the left side of the front surface of the upper deck 2b. As illustrated in FIG. 4, the second imaging unit 12 captures a second area 12 ⁇ / b> R around the work vehicle 1 to obtain second image data.
  • the second region 12R is located diagonally to the left of the work vehicle 1.
  • the third imaging unit 13 is attached to the other side of the front surface of the work vehicle 1. Specifically, the third imaging unit 13 is disposed in a symmetrical position with the second imaging unit 12. That is, the third imaging unit 13 is disposed on the right side of the front surface of the upper deck 2b. As illustrated in FIG. 4, the third imaging unit 13 captures a third area 13 ⁇ / b> R around the work vehicle 1 to obtain third image data.
  • Third region 13 ⁇ / b> R is located obliquely forward and to the right of work vehicle 1.
  • the fourth imaging unit 14 is attached to one side surface of the work vehicle 1. Specifically, the fourth imaging unit 14 is disposed in the front part on the left side surface of the upper deck 2b. As shown in FIG. 4, the fourth imaging unit 14 images a fourth region 14 ⁇ / b> R around the work vehicle 1 to obtain fourth image data. The fourth region 14 ⁇ / b> R is located diagonally to the left of the work vehicle 1. As shown in FIG. 3, the fifth imaging unit 15 is attached to the other side surface of the work vehicle 1. Specifically, the fifth imaging unit 15 is arranged at a symmetrical position with respect to the fourth imaging unit 14. That is, the fifth imaging unit 15 is disposed in the front part on the right side surface of the upper deck 2b. As illustrated in FIG. 4, the fifth imaging unit 15 captures a fifth region 15 ⁇ / b> R around the work vehicle 1 to obtain fifth image data. The fifth region 15R is located obliquely rearward to the right of the work vehicle 1.
  • the sixth imaging unit 16 is attached to the rear part of the work vehicle 1. Specifically, the sixth imaging unit 16 is disposed above an axle shaft (not shown) that connects the two rear wheels 6 and in the vicinity of the rotation shaft of the vessel 4. As illustrated in FIG. 4, the sixth imaging unit 16 captures a sixth area 16 ⁇ / b> R around the work vehicle 1 to obtain sixth image data.
  • the sixth region 16R is located behind the work vehicle 1.
  • an image of almost the entire periphery of the work vehicle 1 can be acquired as shown in the central view of FIG.
  • two adjacent regions of the first to sixth regions 16R partially overlap each other.
  • the first region 11R partially overlaps the second region 12R in the first overlapping region OA1.
  • the first region 11R partially overlaps the third region 13R in the second overlapping region OA2.
  • the second region 12R partially overlaps the fourth region 14R in the third overlapping region OA3.
  • the third region 13R partially overlaps the fifth region 15R in the fourth overlapping region OA4.
  • the fourth region 14R partially overlaps the sixth region 16R in the fifth overlapping region OA5.
  • the fifth region 15R partially overlaps the sixth region 16R in the sixth overlap region OA6.
  • the first to sixth imaging units 11-16 transmit image data indicating the captured images to the controller 19, respectively.
  • the vehicle speed detection unit 17 detects the vehicle speed of the work vehicle 1.
  • the vehicle speed detector 17 detects the vehicle speed of the work vehicle 1 based on, for example, the rotational speed of the output shaft of the transmission.
  • the vehicle speed detection unit 17 transmits vehicle speed data indicating the detected vehicle speed to the controller 19.
  • the display unit 18 is a monitor arranged in the cab 3.
  • the display unit 18 is disposed in front of the driver's seat in the cab 3.
  • the display unit 18 displays an image according to the control of the controller 19.
  • the controller 19 creates an overhead image showing the surroundings of the work vehicle 1 based on the image data from the imaging unit 11-16.
  • the controller 19 outputs an output signal indicating the created overhead image to the display unit 18.
  • the display unit 18 displays an overhead image according to an output signal from the controller 19.
  • the controller 19 includes a traveling state determination unit 21, a storage unit 22, and an overhead image creation unit 23.
  • the traveling state determination unit 21 determines the traveling state of the work vehicle 1 based on the vehicle speed data from the vehicle speed detection unit 17. The traveling state determination unit 21 determines that the work vehicle 1 is in the traveling state when the vehicle speed is equal to or higher than a predetermined threshold. The traveling state determination unit 21 determines that the work vehicle 1 is in a stopped state when the vehicle speed is smaller than a predetermined threshold value. Accordingly, not only when the vehicle speed is zero, but also a low-speed traveling state where the vehicle speed is low is also included in the stop state.
  • the storage unit 22 stores various information necessary for the controller 19 to create an overhead image. Specifically, the storage unit 22 stores first conversion information, second conversion information, and a composition ratio described later.
  • the overhead image creation unit 23 receives image data from each of the imaging units 11-16.
  • the overhead image creation unit 23 creates an overhead image around the work vehicle 1 based on a plurality of images indicated by a plurality of image data.
  • the bird's-eye view image creation unit 23 performs coordinate conversion of image data using conversion information stored in the storage unit 22.
  • the conversion information is information indicating the correspondence between the position coordinates of each pixel of the input image and the position coordinates of each pixel of the output image.
  • the input image is an image captured by each imaging unit 11-16.
  • the output image is a bird's-eye view image displayed on the display unit 18.
  • the overhead image creation unit 23 uses the conversion information to convert the image captured by the imaging unit 11-16 into an image viewed from a predetermined virtual viewpoint located above the work vehicle 1. Specifically, as shown in FIG. 5, an image captured by the imaging unit 11-16 is projected onto a predetermined virtual projection plane 30 so that a virtual viewpoint 20 positioned above the work vehicle 1 is projected. It will be converted to the image you saw. The conversion information represents this virtual projection plane 30.
  • the overhead image creation unit 23 creates an overhead image around the work vehicle 1 by projecting and synthesizing the image data from the plurality of imaging units 11-16 onto a predetermined virtual projection plane. That is, the overhead image around the work vehicle 1 is created by projecting and synthesizing the first to sixth image data on a predetermined virtual projection plane.
  • the bird's-eye view image creation unit 23 displays the image of the image data from the two imaging units 11-16 adjacent to each other in each overlapping area OA1-OA6 in the overhead view image. Specifically, the overhead image creation unit 23 superimposes the image of the first image data from the first imaging unit 11 and the image of the second image data from the second imaging unit 12 in the first overlapping area OA1. To display. The overhead image creation unit 23 displays the image of the first image data from the first imaging unit 11 and the image of the third image data from the third imaging unit 13 in an overlapping manner in the second overlapping area OA2.
  • the overhead image creation unit 23 displays the image of the second image data from the second imaging unit 12 and the image of the fourth image data from the fourth imaging unit 14 in a superimposed manner in the third overlapping area OA3.
  • the overhead image creation unit 23 displays the image of the third image data from the third imaging unit 13 and the image of the fifth image data from the fifth imaging unit 15 in an overlapping manner in the fourth overlapping area OA4.
  • the overhead image creation unit 23 displays the image of the fourth image data from the fourth imaging unit 14 and the image of the sixth image data from the sixth imaging unit 16 in the fifth overlapping area OA5.
  • the overhead image creation unit 23 displays the image of the fifth image data from the fifth imaging unit 15 and the image of the sixth image data from the sixth imaging unit 16 in an overlapping manner in the sixth overlapping area OA6.
  • the composition ratio is a value corresponding to each image data, and is stored in the storage unit 22.
  • the composition ratio is determined for each image data such that the composition ratio of the first image data is 0.5 and the composition ratio of the second image data is 0.5.
  • the overhead image creation unit 23 generates overhead image data indicating the overhead image synthesized as described above, and transmits the overhead image data to the display unit 18.
  • the overhead image creation unit 23 creates an overhead image by selectively using a plurality of virtual projection planes. Specifically, the overhead image creation unit 23 creates an overhead image using the first virtual projection plane 31 shown in FIG. 6 and the second virtual projection plane 32 shown in FIG.
  • FIG. 6A is a perspective view of the first virtual projection plane 31.
  • FIG. 6B is an A1-A1 cross-sectional view of the first virtual projection plane 31 in FIG.
  • FIG. 6C is a B1-B1 cross-sectional view of the first virtual projection plane 31 in FIG.
  • FIG. 7A is a perspective view of the second virtual projection plane 32.
  • FIG. 7B is an A2-A2 cross-sectional view of the second virtual projection plane 32 in FIG.
  • the 7C is a B2-B2 cross-sectional view of the second virtual projection plane 32 in FIG.
  • the storage unit 22 stores the first conversion information and the second conversion information.
  • the first conversion information is data indicating the first virtual projection plane 31.
  • the second conversion information is data indicating the second virtual projection plane 32.
  • the overhead image creation unit 23 performs coordinate transformation of the image data using the first conversion information, thereby creating an overhead image in which the image captured by each imaging unit 11-16 is projected onto the first virtual projection plane 31.
  • the bird's-eye view image creation unit 23 creates a bird's-eye view image obtained by projecting the image captured by each imaging unit 11-16 onto the second virtual projection plane 32 by performing coordinate conversion of the image data using the second conversion information.
  • the first virtual projection plane 31 includes a shape whose height from the ground increases as the work vehicle 1 is approached.
  • the central portion of the first virtual projection plane 31 has a shape in which the height from the ground increases as the work vehicle 1 is approached.
  • the outer edge portion of the first virtual projection plane 31 has a shape in which the height from the ground increases as the distance from the work vehicle 1 increases.
  • a range up to a position separated by a predetermined distance on the left side, right side, and rear is defined as a proximity range R0.
  • a range adjacent to the proximity range R0 and further away from the work vehicle 1 than the proximity range R0 is defined as a first range R1.
  • a range adjacent to the first range R1 and further away from the work vehicle 1 than the first range R1 is defined as a second range R2.
  • the second range R2 includes the outer edge portions of the virtual projection planes 31 and 32.
  • the first virtual projection plane 31 includes a first change portion 33, a flat portion 34, and a second change portion 35.
  • the first change unit 33 is located in the proximity range R0 shown in FIG.
  • the height from the ground of the 1st change part 33 becomes so high that it approaches vehicle center C1. That is, the height from the ground of the 1st change part 33 becomes so high that the work vehicle 1 is approached. Therefore, the proximity range R0 of the first virtual projection plane 31 has a shape that increases as the height from the ground approaches the work vehicle 1.
  • the 1st change part 33 is the shape which inclined upwards toward the vehicle center C1.
  • the vertex of the first change unit 33 is located at a position corresponding to the inside of the work vehicle 1.
  • the first changing unit 33 is located below the imaging unit installed at the lowest position among the plurality of imaging units 11-16.
  • the flat portion 34 is located in the first range R1 of the first virtual projection plane 31.
  • the flat portion 34 is continuously connected to the first change portion 33 at a position farther from the work vehicle 1 than the first change portion 33.
  • a connection portion between the first change portion 33 and the flat portion 34 is located on the ground.
  • the height of the flat part 34 from the ground is constant. Accordingly, the first range R1 of the first virtual projection plane 31 is a flat shape having a constant height from the ground.
  • the flat part 34 is a plane having the same height as the ground. Accordingly, the first range R1 of the first virtual projection plane 31 is a flat shape having the same height as the ground.
  • the second change unit 35 is located in the second range R ⁇ b> 2 of the first virtual projection plane 31.
  • the second change portion 35 is continuously connected to the flat portion 34 at a position farther from the work vehicle 1 than the flat portion 34.
  • the height of the second change unit 35 from the ground increases as the distance from the work vehicle 1 increases.
  • the second range R ⁇ b> 2 of the first virtual projection plane 31 has a shape in which the height from the ground increases as the distance from the work vehicle 1 increases.
  • Second changing portion 35 has a shape inclined upward in the direction away from work vehicle 1.
  • a connection portion between the second change portion 35 and the flat portion 34 is located on the ground.
  • the second range R2 of the first virtual projection plane 31, that is, the second changing portion 35 includes a plurality of curved surfaces 35a to 35d and a plurality of spherical surfaces 35e to 35h.
  • the curved surfaces 35a to 35d are curved around a virtual axis parallel to each side of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the spherical surfaces 35e-35h are disposed between a pair of adjacent curved surfaces 35a-35d, respectively.
  • the spherical surfaces 35e-35h are continuously connected to a pair of adjacent curved surfaces 35a-35d.
  • the second changing portion 35 includes first to fourth curved surfaces 35a to 35d and first to fourth spherical surfaces 35e to 35h.
  • the first curved surface 35 a is located in front of the work vehicle 1. As shown in FIG. 6A, the first curved surface 35a is curved around the virtual axis C2.
  • the virtual axis C2 is an axis parallel to the rectangular front side corresponding to the outer shape of the work vehicle 1.
  • the second curved surface 35 b is located behind the work vehicle 1. As shown in FIG. 6A, the second curved surface 35b is curved around the virtual axis C3.
  • the virtual axis C ⁇ b> 3 is an axis parallel to the side of the rear surface of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the third curved surface 35 c is located on the left side of the work vehicle 1. As shown in FIG.
  • the third curved surface 35c is curved around the virtual axis C4.
  • the virtual axis C4 is an axis parallel to the left side of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the fourth curved surface 35 d is located on the right side of the work vehicle 1. As shown in FIG. 6B, the fourth curved surface 35d is curved around the virtual axis C5.
  • the virtual axis C5 is an axis parallel to the right side surface of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the first spherical surface 35e is disposed between the first curved surface 35a and the third curved surface 35c.
  • the first spherical surface 35e is continuously connected to the first curved surface 35a and the third curved surface 35c.
  • the second spherical surface 35f is disposed between the first curved surface 35a and the fourth curved surface 35d.
  • the second spherical surface 35f is continuously connected to the first curved surface 35a and the fourth curved surface 35d.
  • the third spherical surface 35g is disposed between the second curved surface 35b and the third curved surface 35c.
  • the third spherical surface 35g is continuously connected to the second curved surface 35b and the third curved surface 35c.
  • the fourth spherical surface 35h is disposed between the second curved surface 35b and the fourth curved surface 35d.
  • the fourth spherical surface 35h is continuously connected to the second curved surface 35b and the fourth curved surface 35d.
  • the second virtual projection plane 32 has a flat shape. Specifically, the whole including the outer edge portion of the second virtual projection plane 32 has a flat shape with a constant height from the ground. Accordingly, the first range R1, the second range R2, and the proximity range R0 of the second virtual projection plane 32 are flat shapes having a constant height from the ground. Specifically, the entire second virtual projection plane 32 has a flat shape located at the same height as the ground.
  • FIG. 9 is a flowchart showing processing executed by the controller 19 of the periphery monitoring device 10. Hereinafter, based on FIG. 9, the process for the periphery monitoring apparatus 10 to display an overhead image is demonstrated.
  • step S1 image capture is executed.
  • images are picked up by the cameras 11a-16a of the image pickup units 11-16, and the image data is stored in the frame memories 11b-16b of the image pickup units 11-16.
  • step S2 it is determined whether the work vehicle 1 is in a traveling state.
  • the traveling state determination unit 21 determines whether the work vehicle 1 is in a traveling state based on the vehicle speed. As described above, the traveling state determination unit 21 determines that the work vehicle 1 is in the traveling state when the vehicle speed is equal to or higher than the predetermined threshold. The traveling state determination unit 21 determines that the work vehicle 1 is in a stopped state when the vehicle speed is smaller than a predetermined threshold.
  • the process proceeds to step S3. That is, when the work vehicle 1 is stopped, the process proceeds to step S3.
  • an overhead image is created on the first virtual projection plane 31.
  • the overhead image creation unit 23 creates an overhead image using the first virtual projection plane 31 shown in FIG.
  • the bird's-eye view image is created by projecting the image data from each imaging unit 11-16 onto the first virtual projection plane 31 and synthesizing the image data.
  • FIG. 10 is an example of a bird's-eye view image created using the first virtual projection plane 31 (hereinafter referred to as “first bird's-eye view image 41”).
  • the outer frame of the first overhead image 41 has a rectangular shape.
  • the first bird's-eye view image 41 includes a model diagram 50 showing the work vehicle 1 in a top view and an image 51 around the work vehicle 1 in a top view.
  • the first bird's-eye view image 41 includes a plurality of reference lines 52-54 that indicate the distance from the work vehicle 1.
  • the reference line 52-54 includes a first reference line 52, a second reference line 53, and a third reference line 54.
  • the first reference line 52 indicates a position 10 m away from the work vehicle 1.
  • the second reference line 53 indicates a position 15 m away from the work vehicle 1.
  • the third reference line 54 indicates a position 20 m away from the work vehicle 1.
  • the second range R2 including the outer edge portion of the first virtual projection surface 31 is configured by the curved surfaces 35a to 35d and the spherical surfaces 35e to 35h. For this reason, in the part near the outer frame of the 1st bird's-eye view image 41, the image 51 is curved and displayed.
  • step S2 When it is determined in step S2 that the work vehicle 1 is in the traveling state, the process proceeds to step S4. That is, when the vehicle speed is equal to or higher than the predetermined threshold, the process proceeds to step S4.
  • step S ⁇ b> 4 an overhead image is created on the second virtual projection plane 32.
  • FIG. 11 is an example of an overhead image created using the second virtual projection plane 32 (hereinafter referred to as “second overhead image 42”). Similar to the first bird's-eye view image 41, the second bird's-eye view image 42 includes a model diagram 50 showing the work vehicle 1 in a top view and an image 51 around the work vehicle 1 in a top view.
  • the second bird's-eye view image 42 includes a plurality of reference lines 52-54, like the first bird's-eye view image 41.
  • the second virtual projection plane 32 has a generally flat shape. For this reason, in the 2nd bird's-eye view image 42, even if it is a part near an outer frame, like the 1st bird's-eye view image 41, it is prevented that image 51 is curving and displayed.
  • step S5 an overhead image is displayed on the display unit 18.
  • the first overhead image 41 or the second overhead image 42 described above is displayed on the display unit 18.
  • the first overhead image 41 is displayed on the display unit 18.
  • the second overhead image 42 is displayed on the display unit 18.
  • the overhead image creation unit 23 creates an overhead image using the first virtual projection plane 31 when the work vehicle 1 is in a stopped state.
  • the second change portion 35 is disposed in the second range R ⁇ b> 2 including the outer edge portion of the first virtual projection plane 31, the second change portion 35 is disposed.
  • the second change portion 35 has a shape in which the height from the ground increases as the distance from the work vehicle 1 increases. For this reason, in the 1st bird's-eye view image 41, the phenomenon displayed more largely is displayed as the object located farther from the work vehicle 1. For this reason, when the work vehicle 1 is in a stopped state, the operator can easily grasp the shape and size of the object from the first overhead image 41.
  • the overhead image creation unit 23 creates an overhead image using the second virtual projection plane 32.
  • the second virtual projection plane 32 has a flat shape with a constant height from the ground. For this reason, the distortion of the ground in the outer edge part of the 2nd bird's-eye view image 42 is suppressed. Accordingly, the road around the work vehicle 1 is suppressed from being distorted and displayed in the second overhead image 42. Thus, the operator can easily recognize where the work vehicle 1 is running when the work vehicle 1 is running.
  • the entire second virtual projection surface 32 has a flat shape with a constant height from the ground. For this reason, the 2nd bird's-eye view image 42 with little distortion is produced. Thus, the operator can easily recognize where the work vehicle 1 is running when the work vehicle 1 is running.
  • the traveling state determination unit 21 determines that the work vehicle 1 is in a stopped state when the vehicle speed is smaller than a predetermined threshold value. For this reason, it is determined that the work vehicle 1 is in a stopped state even when the work vehicle 1 is traveling at a low speed. Thus, the operator can easily grasp the shape and size of the object from the first overhead image 41 when the work vehicle 1 is traveling at a low speed.
  • a dump truck is cited as an example of the work vehicle 1, but the present invention can also be applied to other types of work vehicles such as a bulldozer.
  • the second virtual projection plane 32 may have a shape whose height from the ground changes in a region excluding the second range R2.
  • you may be comprised by the change part 61 and the flat part 62.
  • FIG. The changing part 61 has the same shape as the first changing part 33 in the above embodiment. Therefore, the changing unit 61 has a shape in which the height from the ground increases as the work vehicle 1 is approached.
  • the changing unit 61 is located in the proximity range R0.
  • the flat portion 62 is farther from the work vehicle 1 than the changing portion 61 and extends to the outer frame of the second virtual projection plane 32. That is, the flat part 62 is located in a range that combines the first range R1 and the second range R2.
  • the first range R1 and the second range R2 of the second virtual projection plane 32 are flat shapes with a constant height from the ground. It is not limited to six.
  • the arrangement of the imaging units of the present invention is not limited to the arrangement of the imaging units 11-16 of the above-described embodiment.
  • the first changing portion 33 of the first virtual projection plane 31 is an inclined surface whose height from the ground continuously changes, but the height of the first changing portion 33 from the ground is a staircase. The shape may change. Similarly, the height from the ground of the second change unit 35 may change stepwise.
  • the first changing portion 33 is preferably an inclined surface whose height from the ground changes continuously.
  • the second change portion 35 is an inclined surface whose height from the ground changes continuously.
  • the inclined surface of the first change portion 33 may be linear or curved.
  • the inclined surface of the second change portion 35 may be linear or curved.
  • the flat portion 34 of the first virtual projection plane 31 is not limited to the same height as the ground, and may be located at a height different from the ground.
  • the work vehicle is determined to be in the traveling state when the vehicle speed is equal to or higher than the predetermined threshold.
  • This threshold value is not limited to a value larger than 0, and may be 0. That is, it may be determined that the work vehicle is in a stopped state when the vehicle speed is zero, and may be determined that the work vehicle is in a traveling state when the vehicle speed is greater than zero.
  • the traveling state and the stopped state of the work vehicle may be determined based on parameters other than the vehicle speed. For example, even if it is determined that the work vehicle is in a running state when the accelerator operation amount is equal to or greater than a predetermined threshold, and the work vehicle is determined to be in a stopped state when the accelerator operation amount is smaller than a predetermined threshold. Good.
  • the present invention can provide a work vehicle periphery monitoring device that allows an operator to easily recognize the position of the work vehicle when the work vehicle is traveling.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

　周辺監視装置の俯瞰画像作成部は、作業車両（１）が停止状態であるときには、第１仮想投影面（３１）を用いて俯瞰画像を作成する。第１仮想投影面（３１）の少なくとも外縁部は、作業車両（１）から遠ざかるほど地面からの高さが高くなる形状である。作業車両１が走行状態であるときには、俯瞰画像作成部は、第２仮想投影面（３２）を用いて俯瞰画像を作成する。第２仮想投影面（３２）の少なくとも外縁部は、地面からの高さが一定の平坦な形状である。

Description

作業車両の周辺監視装置
　本発明は、作業車両の周辺監視装置に関する。
　従来、超大型の作業車両として、鉱山等で砕石を運搬するためのダンプトラックが広く用いられている。このようなダンプトラックは、一般的な車両に比較して著しく車幅が広く、また前後長が長いため、サイドミラー等によって作業車両周辺の状況を運転者が把握することは困難である。
　一方、車両周辺の状況を運転者に簡便に把握させることを目的として、周辺監視装置が提案されている。周辺監視装置は、車両に装着されたカメラなどの撮像部を含む。周辺監視装置は、撮像部によって撮像された画像を合成することにより、作業車両の周囲を示す俯瞰画像を作成する。例えば、特許文献１に示されている自動車の周辺監視装置では、俯瞰画像は、撮像部によって撮像された画像を仮想投影面上に投影することにより作成される。一般的に、仮想投影面が平坦な形状である場合、俯瞰画像では、車両から遠くにある物体ほど大きく表示される。このため、上記の俯瞰画像では、車両の進行方向に向かって画像が広がって表示される。そこで、特許文献１の周辺監視装置では、仮想投影面は、車両の進行方向に向かって徐々に立ち上がる形状を有する。これにより、車両の進行方向に向かって画像が広がって表示されることが抑えられる。
特開２００４-２１３０７号公報
　しかし、上記のように、仮想投影面が、車両の進行方向に向かって徐々に立ち上がる形状である場合、俯瞰画像の外縁部において、物体が歪んで表示される。従って、車両の周囲の道路も、俯瞰画像において歪んで表示される。このため、車両の走行時には、車両が道路上のどの位置を走っているのかオペレータが認識し難いという問題がある。超大型のダンプトラックのように作業車両ではオペレータが直接的に目視できない領域が作業車両の周囲に多く存在するため、このような問題は特に顕著となる。
　本発明の課題は、作業車両の走行時に作業車両の位置をオペレータが容易に認識することができる作業車両の周辺監視装置を提供することにある。
　本発明の第１の態様に係る作業車両の周辺監視装置は、撮像部と、俯瞰画像作成部と、表示部と、走行状態判定部と、を備える。撮像部は、作業車両に装着され、作業車両の周囲の領域を撮像して画像データを得る。俯瞰画像作成部は、画像データを仮想投影面に投影することにより、作業車両の周囲の俯瞰画像を作成する。表示部は、俯瞰画像を表示する。走行状態判定部は、作業車両が走行状態であるのか停止状態であるのかを判定する。作業車両が停止状態であるときには、俯瞰画像作成部は、第１仮想投影面を用いて俯瞰画像を作成する。第１仮想投影面の少なくとも外縁部は、作業車両から遠ざかるほど地面からの高さが高くなる形状である。作業車両が走行状態であるときには、俯瞰画像作成部は、第２仮想投影面を用いて俯瞰画像を作成する。第２仮想投影面の少なくとも外縁部は、地面からの高さが一定の平坦な形状である。
　本発明の第２の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、第１範囲と第２範囲とを含む。第１範囲は、作業車両の周囲に位置する。第２範囲は、第１範囲よりも作業車両から離れている。第１仮想投影面の第１範囲は、地面からの高さが一定の平坦な形状である。第１仮想投影面の第２範囲は、作業車両から遠ざかるほど地面からの高さが高くなる形状である。第２仮想投影面の第１範囲及び第２範囲は、地面からの高さが一定の平坦な形状である。
　本発明の第３の態様に係る作業車両の周辺監視装置は、第２の態様の作業車両の周辺監視装置であって、第１仮想投影面の第２範囲は、複数の湾曲面と、複数の球面とを含む。複数の湾曲面は、作業車両の外形に対応する矩形の各辺に平行な仮想軸を中心に湾曲している。複数の球面は、隣接する一対の湾曲面の間にそれぞれ配置されて、一対の湾曲面と連続的につながっている。
　本発明の第４の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、第２仮想投影面の全体が、地面からの高さが一定の平坦な形状である。
　本発明の第５の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、車速検知部をさらに備える。車速検知部は、作業車両の車速を検知する。走行状態判定部は、車速が所定の閾値以上であるときに、作業車両が走行状態であると判定する。走行状態判定部は、車速が所定の閾値より小さいときに、作業車両が停止状態であると判定する。
　本発明の第６の態様に係る作業車両は、第１から第５の態様のいずれかの周辺監視装置を備える。
　本発明の第１の態様に係る作業車両の周辺監視装置では、作業車両が停止状態であるときには、俯瞰画像作成部は、第１仮想投影面を用いて俯瞰画像を作成する。第１仮想投影面の少なくとも外縁部は、作業車両から遠ざかるほど地面からの高さが高くなる形状である。従って、作業車両から遠くに位置する物体ほど、俯瞰画像において大きく表示される現象を抑えることができる。このため、オペレータは、俯瞰画像によって物体の形状と大きさとを把握しやすい。また、作業車両が走行状態であるときには、俯瞰画像作成部は、第２仮想投影面を用いて俯瞰画像を作成する。第２仮想投影面の少なくとも外縁部は、地面からの高さが一定の平坦な形状である。このため、俯瞰画像の外縁部における地面の歪みが抑えられる。従って、作業車両の周囲の道路が俯瞰画像において歪んで表示されることが抑えられる。これにより、オペレータは、作業車両の走行時に作業車両の位置を容易に認識することができる。
　本発明の第２の態様に係る作業車両の周辺監視装置では、第１仮想投影面の第１範囲は、地面からの高さが一定の平坦な形状である。また、第１仮想投影面の第２範囲は、作業車両から遠ざかるほど地面からの高さが高くなる形状である。このため、第２範囲よりも作業車両に近い第１範囲では、あたかも作業車両の上方から地面を撮像しているかのように自然な俯瞰画像を作成することができる。また、第１範囲よりも作業車両から離れた第２範囲では、作業車両から遠くに位置する物体ほど、俯瞰画像において大きく表示される現象を抑えることができる。このため、作業車両が停止状態であるときには、オペレータは、俯瞰画像によって物体の形状と大きさとを把握しやすい。さらに、第２仮想投影面の第１範囲及び第２範囲は、地面からの高さが一定の平坦な形状である。このため、作業車両が走行状態であるときには、俯瞰画像の外縁部における地面の歪みが抑えられる。これにより、オペレータは、作業車両の走行時に作業車両の位置を容易に認識することができる。
　本発明の第３の態様に係る作業車両の周辺監視装置では、第１仮想投影面では、複数の湾曲面と複数の球面とが連続的につながっている。このため、オペレータに与える違和感が少ない滑らかな俯瞰画像が作成される。
　本発明の第４の態様に係る作業車両の周辺監視装置では、第２仮想投影面の全体が、地面からの高さが一定の平坦な形状である。このため、俯瞰画像の外縁部における地面の歪みが抑えられる。これにより、オペレータは、作業車両の走行時に作業車両の位置を容易に認識することができる。
　本発明の第５の態様に係る作業車両の周辺監視装置では、では、走行状態判定部は、車速が所定の閾値より小さいときに、作業車両が停止状態であると判定する。このため、作業車両が低速で走行しているときにも、作業車両が停止状態にあると判断される。これにより、オペレータは、作業車両が低速で走行しているときに、俯瞰画像によって物体の形状と大きさとを容易に把握することができる。
　本発明の第７の態様に係る作業車両では、作業車両が停止状態であるときには、俯瞰画像作成部は、第１仮想投影面を用いて俯瞰画像を作成する。第１仮想投影面の少なくとも外縁部は、作業車両から遠ざかるほど地面からの高さが高くなる形状である。従って、作業車両から遠くに位置する物体ほど、俯瞰画像において大きく表示される現象を抑えることができる。このため、オペレータは、俯瞰画像によって物体の形状と大きさとを把握しやすい。また、作業車両が走行状態であるときには、俯瞰画像作成部は、第２仮想投影面を用いて俯瞰画像を作成する。第２仮想投影面の少なくとも外縁部は、地面からの高さが一定の平坦な形状である。このため、俯瞰画像の外縁部における地面の歪みが抑えられる。従って、作業車両の周囲の道路が俯瞰画像において歪んで表示されることが抑えられる。これにより、オペレータは、作業車両の走行時に作業車両の位置を容易に認識することができる。
本発明の一実施形態に係る作業車両の全体構成を示す斜視図。 本発明の一実施形態に係る周辺監視装置の構成を示すブロック図。 周辺監視装置の複数の撮像部の装着位置を示す作業車両の斜視図。 周辺監視装置の複数の撮像部の装着位置と撮像範囲とを示す上面図。 仮想投影面を用いた画像変換の手法を示す図。 第１仮想投影面の一例を示す模式図。 第２仮想投影面の一例を示す模式図。 仮想投影面に含まれる第１～近接範囲の位置を示す上面図。 周辺監視装置のコントローラが実行する処理を示すフローチャート。 停止状態での俯瞰画像の例を示す模式図。 走行状態での俯瞰画像の例を示す模式図。 他の実施形態に係る第２仮想投影面の一例を示す模式図。
　以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前」「後」「左」「右」とは、運転席に着座した運転者を基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
　図１は、本発明の一実施形態に係る作業車両１を示す斜視図である。作業車両１は、鉱山作業などに用いられる自走式の超大型のダンプトラックである。
　作業車両１は主に、車体フレーム２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを備える。また、作業車両１は、作業車両１の周囲を監視して、その結果を表示する周辺監視装置１０（図２参照）を備える。周辺監視装置１０の詳細については後述する。
　車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構と、その他の補機類とを支持している。また、車体フレーム２の前部には、左右の前輪５（図１では右前輪のみ図示）が支持されている。車体フレーム２の後部に左右の後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、ロアデッキ２ａと、アッパデッキ２ｂとを有する。ロアデッキ２ａは、車体フレーム２の前面の下部に取り付けられている。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａと地面との間には例えば可動式ラダー２ｃが配置されている。また、ロアデッキ２ａとアッパデッキ２ｂとの間には斜めラダー２ｄが配置されている。アッパデッキ２ｂ上には、柵状の手すり２ｅが配置されている。
　キャブ３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも車幅方向における一方側に偏っては位置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側方に位置している。キャブ３内には、運転席、ハンドル、シフトレバー、アクセルペダル、ブレーキペダル等の操作部材（図示せず）が配置されている。
　ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の底面の後部は、回動ピン（図示せず）を介して、車体フレーム２の後部に回動可能に連結されている。ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取り得る。積載姿勢は、図１に示すようにベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積載物を排出する姿勢であり、ベッセル４が後方且つ下方へ向かった傾斜した状態となる。ベッセル４の前部が上方に回動することにより、ベッセル４は積載姿勢から起立姿勢に変化する。
　図２は、作業車両１が備える周辺監視装置１０の構成を示すブロック図である。周辺監視装置１０は、複数の撮像部１１－１６と、車速検知部１７と、表示部１８と、コントローラ１９と、を有する。
　撮像部１１－１６は、作業車両１に装着される。撮像部１１－１６は、作業車両１の周囲の領域を撮像して画像データを取得する。撮像部１１－１６は、それぞれカメラ１１ａ－１６ａとフレームメモリ１１ｂ－１６ｂとを有する。フレームメモリ１１ｂ－１６ｂはカメラ１１ａ－１６ａによって撮像された画像データを一時的に保存する。複数の撮像部１１－１６は、第１～第６撮像部１１－１６を有する。図３は、第１～第６撮像部１１－１６の装着位置を示す作業車両１の斜視図である。図４は、第１～第６撮像部１１－１６の装着位置と撮像範囲とを示す作業車両１の上面図である。
　図３に示すように、第１撮像部１１は、作業車両１の前面に取り付けられる。具体的には、第１撮像部１１は、斜めラダー２ｄの上端部に配置される。図４に示すように、第１撮像部１１は、作業車両１の周囲の第１領域１１Ｒを撮像して第１画像データを得る。第１領域１１Ｒは、作業車両１の前方に位置する。
　図３に示すように、第２撮像部１２は、作業車両１の前面の一方の側部に取り付けられる。具体的には、第２撮像部１２は、アッパデッキ２ｂの前面の左側部に配置される。図４に示すように、第２撮像部１２は、作業車両１の周囲の第２領域１２Ｒを撮像して第２画像データを得る。第２領域１２Ｒは、作業車両１の左斜め前方に位置する。図３に示すように、第３撮像部１３は、作業車両１の前面の他方の側部に取り付けられる。具体的には、第３撮像部１３は、第２撮像部１２と左右対称位置に配置される。すなわち、第３撮像部１３は、アッパデッキ２ｂの前面の右側部に配置される。図４に示すように、第３撮像部１３は、作業車両１の周囲の第３領域１３Ｒを撮像して第３画像データを得る。第３領域１３Ｒは、作業車両１の右斜め前方に位置する。
　図３に示すように、第４撮像部１４は、作業車両１の一方の側面に取り付けられる。具体的には、第４撮像部１４は、アッパデッキ２ｂの左側面の前部に配置される。図４に示すように、第４撮像部１４は、作業車両１の周囲の第４領域１４Ｒを撮像して、第４画像データを得る。第４領域１４Ｒは、作業車両１の左斜め後方に位置する。図３に示すように、第５撮像部１５は、作業車両１の他方の側面に取り付けられる。具体的には、第５撮像部１５は、第４撮像部１４と左右対称位置に配置される。すなわち、第５撮像部１５は、アッパデッキ２ｂの右側面の前部に配置される。図４に示すように、第５撮像部１５は、作業車両１の周囲の第５領域１５Ｒを撮像して第５画像データを得る。第５領域１５Ｒは、作業車両１の右斜め後方に位置する。
　図３に示すように、第６撮像部１６は、作業車両１の後部に取り付けられる。具体的には、第６撮像部１６は、２つの後輪６を連結するアクスル軸（図示せず）の上方であって、ベッセル４の回動軸付近に配置される。図４に示すように、第６撮像部１６は、作業車両１の周囲の第６領域１６Ｒを撮像して第６画像データを得る。第６領域１６Ｒは、作業車両１の後方に位置する。
　以上の６台の撮像部１１－１６によれば、図４の中央図に示すように、作業車両１のほぼ全周囲の画像を取得することができる。図４の中央図に示すように、第１～第６領域１６Ｒのうち隣接する２つの領域は、部分的に互いに重なっている。具体的には、第１領域１１Ｒは、第１重複領域ＯＡ１において第２領域１２Ｒと部分的に重なっている。また、第１領域１１Ｒは、第２重複領域ＯＡ２において第３領域１３Ｒと部分的に重なっている。第２領域１２Ｒは、第３重複領域ＯＡ３において第４領域１４Ｒと部分的に重なっている。第３領域１３Ｒは、第４重複領域ＯＡ４において第５領域１５Ｒと部分的に重なっている。第４領域１４Ｒは、第５重複領域ＯＡ５において第６領域１６Ｒと部分的に重なっている。また、第５領域１５Ｒは、第６重複領域ＯＡ６において第６領域１６Ｒと部分的に重なっている。第１～第６撮像部１１－１６は、それぞれ撮像した画像を示す画像データをコントローラ１９に送信する。
　車速検知部１７は、作業車両１の車速を検知する。車速検知部１７は、例えばトランスミッションの出力軸の回転速度などに基づいて作業車両１の車速を検知する。車速検知部１７は、検知した車速を示す車速データをコントローラ１９に送信する。
　表示部１８は、キャブ３内に配置されるモニタである。表示部１８は、キャブ３内において運転席の前方に配置される。表示部１８は、コントローラ１９の制御に応じて画像を表示する。
　コントローラ１９は、撮像部１１－１６からの画像データに基づき、作業車両１の周囲を示す俯瞰画像を作成する。コントローラ１９は、作成した俯瞰画像を示す出力信号を表示部１８に出力する。表示部１８は、コントローラ１９からの出力信号により俯瞰画像を表示する。図２に示すように、コントローラ１９は、走行状態判定部２１と、記憶部２２と、俯瞰画像作成部２３とを有する。
　走行状態判定部２１は、車速検知部１７からの車速データに基づいて、作業車両１の走行状態を判定する。走行状態判定部２１は、車速が所定の閾値以上であるときには、作業車両１が走行状態であると判定する。走行状態判定部２１は、車速が所定の閾値より小さいときには、作業車両１が停止状態であると判定する。従って、車速がゼロであるときだけではなく、車速の小さい低速走行状態も上記の停止状態に含まれる。
　記憶部２２は、コントローラ１９が俯瞰画像を作成するために必要な各種の情報を記憶している。具体的には、記憶部２２は、後述する第１変換情報と第２変換情報と合成比率とを記憶している。
　俯瞰画像作成部２３は、撮像部１１－１６のそれぞれから画像データを受信する。俯瞰画像作成部２３は、複数の画像データによって示される複数の画像に基づいて、作業車両１の周囲の俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、記憶部２２に保存されている変換情報を用いて画像データの座標変換を行う。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。ここで、入力画像は、各撮像部１１－１６によって撮像された画像である。また、出力画像は、表示部１８に表示される俯瞰画像である。俯瞰画像作成部２３は、変換情報を用いて、撮像部１１－１６によって撮像された画像を、作業車両１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図５に示すように、撮像部１１－１６によって撮像された画像は、所定の仮想投影面３０上に投影されることにより、作業車両１の上方に位置する仮想視点２０から見た画像に変換される。変換情報は、この仮想投影面３０を表している。俯瞰画像作成部２３は、複数の撮像部１１－１６からの画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。すなわち、第１～第６画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。
　上述したように、各撮像部１１－１６が撮像する作業車両１の周囲の領域は、第１～第６重複領域ＯＡ１－ＯＡ６において重複している。俯瞰画像作成部２３は、俯瞰画像において、各重複領域ＯＡ１－ＯＡ６において互いに隣接する２つの撮像部１１－１６からの画像データの画像を重ねて表示する。具体的には、俯瞰画像作成部２３は、第１重複領域ＯＡ１では、第１撮像部１１からの第１画像データの画像と、第２撮像部１２からの第２画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第２重複領域ＯＡ２では、第１撮像部１１からの第１画像データの画像と、第３撮像部１３からの第３画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第３重複領域ＯＡ３では、第２撮像部１２からの第２画像データの画像と、第４撮像部１４からの第４画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第４重複領域ＯＡ４では、第３撮像部１３からの第３画像データの画像と、第５撮像部１５からの第５画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第５重複領域ＯＡ５では、第４撮像部１４からの第４画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第６重複領域ＯＡ６では、第５撮像部１５からの第５画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。このように重複領域ＯＡ１－ＯＡ６において２つの画像データを重ねて合成する場合には、各画像データの値に合成比率を乗じた値が足し合わされる。合成比率は、各画像データに対応した値であり、記憶部２２に記憶されている。例えば、第１画像データの合成比率が０．５であり、第２画像データの合成比率が０．５であるなど、画像データごとに合成比率が定められている。このように合成比率が用いられることにより、重複領域ＯＡ１－ＯＡ６において複数の画像データが平均化されて表示される。これにより、色やコントラストの急激な変化が抑えられ、自然な俯瞰画像を作成することができる。俯瞰画像作成部２３は、上記のように合成された俯瞰画像を示す俯瞰画像データを生成して、俯瞰画像データを表示部１８に送信する。
　俯瞰画像作成部２３は、複数の仮想投影面を選択的に用いて、俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１と、図７に示す第２仮想投影面３２とを用いて俯瞰画像を作成する。図６（ａ）は、第１仮想投影面３１の斜視図である。図６（ｂ）は、図６（ａ）における第１仮想投影面３１のＡ１－Ａ１断面図である。図６（ｃ）は、図６（ａ）における第１仮想投影面３１のＢ１－Ｂ１断面図である。図７（ａ）は、第２仮想投影面３２の斜視図である。図７（ｂ）は、図７（ａ）における第２仮想投影面３２のＡ２－Ａ２断面図である。図７（ｃ）は、図７（ａ）における第２仮想投影面３２のＢ２－Ｂ２断面図である。上述したように、記憶部２２は、第１変換情報と第２変換情報とを記憶している。第１変換情報は、第１仮想投影面３１を示すデータである。第２変換情報は、第２仮想投影面３２を示すデータである。俯瞰画像作成部２３は、第１変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１－１６が撮像した画像を第１仮想投影面３１に投影した俯瞰画像を作成する。俯瞰画像作成部２３は、第２変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１－１６が撮像した画像を第２仮想投影面３２に投影した俯瞰画像を作成する。
　図６に示すように、第１仮想投影面３１は、作業車両１に近づくほど地面からの高さが高くなる形状を含む。第１仮想投影面３１の中央部は、作業車両１に近づくほど地面からの高さが高くなる形状である。第１仮想投影面３１の外縁部は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。ここで、図８に示すように、仮想投影面３１，３２上において、作業車両１の前後方向及び車幅方向の中心Ｃ１（以下、「車両中心Ｃ１」と呼ぶ）から作業車両１の前方、左側方、右側方、後方にそれぞれ所定距離、離れた位置までの範囲を近接範囲Ｒ０と規定する。近接範囲Ｒ０に隣接して近接範囲Ｒ０よりも作業車両１から離れた範囲を第１範囲Ｒ１と規定する。また、第１範囲Ｒ１に隣接して第１範囲Ｒ１よりも作業車両１から離れた範囲を第２範囲Ｒ２と規定する。第２範囲Ｒ２は、各仮想投影面３１，３２の外縁部を含む。
　図６に示すように、第１仮想投影面３１は、第１変化部３３と、平坦部３４と、第２変化部３５とを含む。第１変化部３３は、図８に示す近接範囲Ｒ０に位置する。第１変化部３３の地面からの高さは、車両中心Ｃ１に近づくほど高くなる。すなわち、第１変化部３３の地面からの高さは、作業車両１に近づくほど高くなる。従って、第１仮想投影面３１の近接範囲Ｒ０は、地面からの高さが作業車両１に近づくほど高くなる形状である。第１変化部３３は、車両中心Ｃ１に向かって上方に傾斜した形状である。第１変化部３３の頂点は、作業車両１の内部に相当する位置に位置している。第１変化部３３は、複数の撮像部１１－１６のうち最も低い位置に設置されている撮像部よりも下方に位置している。平坦部３４は、第１仮想投影面３１の第１範囲Ｒ１に位置する。平坦部３４は、第１変化部３３よりも作業車両１から離れた位置において第１変化部３３に連続的に繋がっている。第１変化部３３と平坦部３４との接続部分は、地面上に位置する。平坦部３４の地面からの高さは一定である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面からの高さが一定の平坦な形状である。具体的には、平坦部３４は、地面と同じ高さの平面である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面と同じ高さの平坦な形状である。第２変化部３５は、第１仮想投影面３１の第２範囲Ｒ２に位置している。第２変化部３５は、平坦部３４よりも作業車両１から離れた位置において、平坦部３４に連続的に繋がっている。第２変化部３５の地面からの高さは、作業車両１から遠ざかるほど高くなる。従って、第１仮想投影面３１の第２範囲Ｒ２は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。第２変化部３５は、作業車両１から離れる方向に向かって上方に傾斜した形状である。第２変化部３５と平坦部３４との接続部分は、地面上に位置する。
　第１仮想投影面３１の第２範囲Ｒ２すなわち第２変化部３５は、複数の湾曲面３５ａ－３５ｄと、複数の球面３５ｅ－３５ｈとを含む。湾曲面３５ａ－３５ｄは、作業車両１の外形に対応する矩形の各辺に平行な仮想軸を中心に湾曲している。球面３５ｅ－３５ｈは、隣接する一対の湾曲面３５ａ－３５ｄの間にそれぞれ配置されている。球面３５ｅ－３５ｈは、隣接する一対の湾曲面３５ａ－３５ｄと連続的につながっている。具体的には、第２変化部３５は、第１～第４湾曲面３５ａ－３５ｄと、第１～第４球面３５ｅ－３５ｈとを含む。第１湾曲面３５ａは、作業車両１の前方に位置する。図６（ａ）に示すように、第１湾曲面３５ａは、仮想軸Ｃ２を中心に湾曲している。仮想軸Ｃ２は、作業車両１の外形に対応する矩形の前面の辺に平行な軸線である。第２湾曲面３５ｂは、作業車両１の後方に位置する。図６（ａ）に示すように、第２湾曲面３５ｂは、仮想軸Ｃ３を中心に湾曲している。仮想軸Ｃ３は、作業車両１の外形に対応する矩形の後面の辺に平行な軸線である。第３湾曲面３５ｃは、作業車両１の左側方に位置する。図６（ｂ）に示すように、第３湾曲面３５ｃは、仮想軸Ｃ４を中心に湾曲している。仮想軸Ｃ４は、作業車両１の外形に対応する矩形の左側面の辺に平行な軸線である。第４湾曲面３５ｄは、作業車両１の右側方に位置する。図６（ｂ）に示すように、第４湾曲面３５ｄは、仮想軸Ｃ５を中心に湾曲している。仮想軸Ｃ５は、作業車両１の外形に対応する矩形の右側面の辺に平行な軸線である。
　第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとの間に配置されている。第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとに連続的につながっている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとの間に配置されている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとに連続的につながっている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとの間に配置されている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとに連続的につながっている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとの間に配置されている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとに連続的につながっている。
　図７に示すように、第２仮想投影面３２は平坦な形状を有する。詳細には、第２仮想投影面３２の外縁部を含む全体が、地面からの高さが一定の平坦な形状である。従って、第２仮想投影面３２の第１範囲Ｒ１と第２範囲Ｒ２と近接範囲Ｒ０は、地面からの高さが一定の平坦な形状である。具体的には、第２仮想投影面３２の全体が、地面と同じ高さに位置する平坦な形状を有する。
　図９は、周辺監視装置１０のコントローラ１９によって実行される処理を示すフローチャートである。以下、図９に基づいて、周辺監視装置１０が俯瞰画像を表示するための処理について説明する。
　まず、ステップＳ１において、画像の取り込みが実行される。ここでは、各撮像部１１－１６のカメラ１１ａ－１６ａによって画像が撮像され、画像データが各撮像部１１－１６のフレームメモリ１１ｂ－１６ｂに保存される。
　ステップＳ２では、作業車両１が走行状態であるのか否かが判定される。ここでは、走行状態判定部２１が、車速に基づいて作業車両１が走行状態であるのか否かを判定する。上述したように、走行状態判定部２１は、車速が所定の閾値以上であるときに、作業車両１が走行状態であると判定する。また、走行状態判定部２１は、車速が所定の閾値より小さいときに、作業車両１が停止状態であると判定する。作業車両１が走行状態ではないときにはステップＳ３に進む。すなわち、作業車両１が停止状態であるときには、ステップＳ３に進む。
　ステップＳ３では、第１仮想投影面３１にて俯瞰画像が作成される。ここでは、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１を用いて、俯瞰画像を作成する。具体的には、各撮像部１１－１６からの画像データを第１仮想投影面３１上に投影して合成することにより、俯瞰画像を作成する。図１０は、第１仮想投影面３１を用いて作成された俯瞰画像（以下、「第１俯瞰画像４１」と呼ぶ）の一例である。第１俯瞰画像４１の外枠は長方形の形状を有する。第１俯瞰画像４１は、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第１俯瞰画像４１は、作業車両１からの距離を示す複数の基準線５２－５４を含む。基準線５２－５４は、第１基準線５２と第２基準線５３と第３基準線５４とを含む。例えば、第１基準線５２は、作業車両１から１０ｍ離れた位置を示す。第２基準線５３は、作業車両１から１５ｍ離れた位置を示す。第３基準線５４は、作業車両１から２０ｍ離れた位置を示す。上述したように、第１仮想投影面３１の外縁部を含む第２範囲Ｒ２は湾曲面３５ａ－３５ｄ及び球面３５ｅ－３５ｈによって構成されている。このため、第１俯瞰画像４１の外枠に近い部分では、画像５１が湾曲して表示される。
　ステップＳ２において、作業車両１が走行状態であると判定されたときには、ステップＳ４に進む。すなわち、車速の所定の閾値以上であるときには、ステップＳ４に進む。ステップＳ４では、第２仮想投影面３２にて俯瞰画像が作成される。図１１は、第２仮想投影面３２を用いて作成された俯瞰画像（以下、「第２俯瞰画像４２」と呼ぶ）の一例である。第２俯瞰画像４２は、第１俯瞰画像４１と同様に、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第２俯瞰画像４２は、第１俯瞰画像４１と同様に、複数の基準線５２－５４を含む。上述したように、第２仮想投影面３２は全体的に平坦な形状である。このため、第２俯瞰画像４２では、外枠に近い部分であっても、第１俯瞰画像４１のように、画像５１が湾曲して表示されることが防止される。
　ステップＳ５では、俯瞰画像が表示部１８に表示される。ここでは、上述した第１俯瞰画像４１又は第２俯瞰画像４２が表示部１８に表示される。具体的には、作業車両１が停止状態であるときには、第１俯瞰画像４１が表示部１８に表示される。作業車両１が走行状態であるときには、第２俯瞰画像４２が表示部１８に表示される。
　次に、本実施形態に係る作業車両１の周辺監視装置１０の特徴について説明する。
　本実施形態に係る作業車両１の周辺監視装置１０では、作業車両１が停止状態であるときには、俯瞰画像作成部２３は、第１仮想投影面３１を用いて俯瞰画像を作成する。第１仮想投影面３１の外縁部を含む第２範囲Ｒ２には、第２変化部３５が配置されている。第２変化部３５は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。このため、第１俯瞰画像４１において、作業車両１から遠くに位置する物体ほど大きく表示される現象が抑えられる。このため、作業車両１が停止状態であるときには、オペレータは、第１俯瞰画像４１によって物体の形状と大きさとを把握しやすい。
　また、作業車両１が走行状態であるときには、俯瞰画像作成部２３は、第２仮想投影面３２を用いて俯瞰画像を作成する。第２仮想投影面３２は、全体的に、地面からの高さが一定の平坦な形状である。このため、第２俯瞰画像４２の外縁部における地面の歪みが抑えられる。従って、作業車両１の周囲の道路が第２俯瞰画像４２において歪んで表示されることが抑えられる。これにより、オペレータは、作業車両１の走行時に作業車両１がどこを走っているのかを容易に認識することができる。
　第１仮想投影面３１では、複数の湾曲面３５ａ－３５ｄと複数の球面３５ｅ－３５ｈとが連続的につながっている。このため、オペレータに与える違和感が少ない滑らかな第１俯瞰画像４１が作成される。
　第２仮想投影面３２の全体が、地面からの高さが一定の平坦な形状である。このため、歪みの少ない第２俯瞰画像４２が作成される。これにより、オペレータは、作業車両１の走行時に作業車両１がどこを走っているのかを容易に認識することができる。
　走行状態判定部２１は、車速が所定の閾値より小さいときに、作業車両１が停止状態であると判定する。このため、作業車両１が低速で走行しているときにも、作業車両１が停止状態にあると判断される。これにより、オペレータは、作業車両１が低速で走行しているときに、第１俯瞰画像４１によって物体の形状と大きさとを容易に把握することができる。
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　上記の実施形態では、作業車両１の一例としてダンプトラックが挙げられているが、本発明は、例えばブルドーザーなどの他の種類の作業車両にも適用することができる。
　第２仮想投影面３２は、第２範囲Ｒ２を除く領域において地面からの高さが変化する形状を有してもよい。例えば、図１２に示す第２仮想投影面３２のように、変化部６１と平坦部６２とによって構成されてもよい。変化部６１は、上記の実施形態の第１変化部３３と同様の形状である。従って、変化部６１は、作業車両１に近づくほど地面からの高さが高くなる形状である。変化部６１は、近接範囲Ｒ０に位置する。平坦部６２は、変化部６１よりも作業車両１から離れており、第２仮想投影面３２の外枠まで延びている。すなわち、平坦部６２は、第１範囲Ｒ１と第２範囲Ｒ２とを合わせた範囲に位置する。さらに言い換えれば、第２仮想投影面３２の第１範囲Ｒ１及び第２範囲Ｒ２は、地面からの高さが一定の平坦な形状である
　本発明の撮像部の数は上記の実施形態のように６台に限られない。また、本発明の撮像部の配置は上記の実施形態の撮像部１１－１６の配置に限られない。上記の実施形態では、第１仮想投影面３１の第１変化部３３は、地面からの高さが連続的に変化する傾斜面であるが、第１変化部３３の地面からの高さが階段状に変化してもよい。同様に、第２変化部３５の地面からの高さが階段状に変化してもよい。ただし、違和感の少ない自然な俯瞰画像を形成する観点からは、第１変化部３３は、地面からの高さが連続的に変化する傾斜面であることが好ましい。同様に、違和感の少ない自然な俯瞰画像を形成する観点からは、第２変化部３５は、地面からの高さが連続的に変化する傾斜面であることが好ましい。また、第１変化部３３の傾斜面は、直線状であっても、曲線状であってもよい。同様に、第２変化部３５の傾斜面は、直線状であっても、曲線状であってもよい。また、第１仮想投影面３１の平坦部３４は、地面と同じ高さに限らず、地面と異なる高さに位置してもよい。
　上記の実施形態では、車速が所定の閾値以上であるときに作業車両が走行状態と判定されている。この閾値は０より大きい値に限らず、０であってもよい。すなわち、車速が０であるときに作業車両が停止状態であると判定され、車速が０より大きいときに作業車両が走行状態であると判定されてもよい。或いは、車速以外のパラメータによって、作業車両の走行状態と停止状態とが判定されてもよい。例えば、アクセルの操作量が所定の閾値以上であるときに作業車両が走行状態であると判定され、アクセルの操作量が所定の閾値より小さいときに作業車両が停止状態であると判定されてもよい。
　本発明は、作業車両の走行時に作業車両の位置をオペレータが容易に認識することができる作業車両の周辺監視装置を提供することができる。
１　　　　　作業車両
１０　　　　周辺監視装置
１１－１６　第１～第６撮像部
１７　　　　車速検知部
１８　　　　表示部
２３　　　　俯瞰画像作成部
３１　　　　第１仮想投影面
３２　　　　第２仮想投影面
Ｒ１　　　　第１範囲
Ｒ２　　　　第２範囲
 

Claims (6)

  1. 　作業車両に装着され、前記作業車両の周囲の領域を撮像して画像データを得る撮像部と、
    　前記画像データを仮想投影面に投影することにより、前記作業車両の周囲の俯瞰画像を作成する俯瞰画像作成部と、
    　前記俯瞰画像を表示する表示部と、
    　前記作業車両が走行状態であるのか停止状態であるのかを判定する走行状態判定部と、
    を備え、
    　前記作業車両が停止状態であるときには、前記俯瞰画像作成部は、第１仮想投影面を用いて前記俯瞰画像を作成し、
    　前記第１仮想投影面の少なくとも外縁部は、前記作業車両から遠ざかるほど地面からの高さが高くなる形状であり、
    　前記作業車両が走行状態であるときには、前記俯瞰画像作成部は、第２仮想投影面を用いて前記俯瞰画像を作成し、
    　前記第２仮想投影面の少なくとも外縁部は、地面からの高さが一定の平坦な形状である、
    作業車両の周辺監視装置。
  2. 　前記仮想投影面は、前記作業車両の周囲の第１範囲と、前記第１範囲よりも前記作業車両から離れた第２範囲とを含み、
    　前記第１仮想投影面の前記第１範囲は、地面からの高さが一定の平坦な形状であり、
    　前記第１仮想投影面の前記第２範囲は、前記作業車両から遠ざかるほど地面からの高さが高くなる形状であり、
    　前記第２仮想投影面の前記第１範囲及び前記第２範囲は、地面からの高さが一定の平坦な形状である、
    請求項１に記載の作業車両の周辺監視装置。
  3. 　前記第１仮想投影面の前記第２範囲は、前記作業車両の外形に対応する矩形の各辺に平行な仮想軸を中心に湾曲した複数の湾曲面と、隣接する一対の前記湾曲面の間にそれぞれ配置されて前記一対の湾曲面と連続的につながった複数の球面とを含む、
    請求項２に記載の作業車両の周辺監視装置。
  4. 　前記第２仮想投影面の全体が、地面からの高さが一定の平坦な形状である、
    請求項１に記載の作業車両の周辺監視装置。
  5. 　前記作業車両の車速を検知する車速検知部をさらに備え、
    　前記走行状態判定部は、前記車速が所定の閾値以上であるときに、前記作業車両が走行状態であると判定し、前記車速が前記所定の閾値より小さいときに、前記作業車両が停止状態であると判定する、
    請求項１に記載の作業車両の周辺監視装置。
  6. 　請求項１から５のいずれかに記載の周辺監視装置を備える作業車両。
     
PCT/JP2012/063136 2011-06-07 2012-05-23 作業車両の周辺監視装置 WO2012169353A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280003138.6A CN103155552B (zh) 2011-06-07 2012-05-23 作业车辆的周边监视装置
AU2012268477A AU2012268477B2 (en) 2011-06-07 2012-05-23 Surrounding area monitoring device for work vehicle
US13/819,137 US8982212B2 (en) 2011-06-07 2012-05-23 Surrounding area monitoring device for work vehicle
CA2805665A CA2805665C (en) 2011-06-07 2012-05-23 Surrounding area monitoring device for work vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-127307 2011-06-07
JP2011127307A JP5124672B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置

Publications (1)

Publication Number Publication Date
WO2012169353A1 true WO2012169353A1 (ja) 2012-12-13

Family

ID=47295921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063136 WO2012169353A1 (ja) 2011-06-07 2012-05-23 作業車両の周辺監視装置

Country Status (6)

Country Link
US (1) US8982212B2 (ja)
JP (1) JP5124672B2 (ja)
CN (1) CN103155552B (ja)
AU (1) AU2012268477B2 (ja)
CA (1) CA2805665C (ja)
WO (1) WO2012169353A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780564A (zh) * 2016-03-22 2018-11-09 株式会社电装 图像处理装置、图像处理方法、以及程序

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
JP5813439B2 (ja) * 2011-09-27 2015-11-17 クラリオン株式会社 俯瞰画像表示装置
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6302622B2 (ja) * 2013-03-19 2018-03-28 住友重機械工業株式会社 作業機械用周辺監視装置
US9767561B2 (en) * 2013-11-18 2017-09-19 Texas Instruments Incorporated Method and apparatus for a optimal seam for surround view synthesis
WO2016038905A1 (ja) 2015-02-23 2016-03-17 株式会社小松製作所 油圧ショベル
DE102015205507B3 (de) * 2015-03-26 2016-09-29 Zf Friedrichshafen Ag Rundsichtsystem für ein Fahrzeug
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
EP3142066B1 (en) 2015-09-10 2024-06-12 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
EP3144162B1 (en) 2015-09-17 2018-07-25 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Apparatus and method for controlling a pressure on at least one tyre of a vehicle
DE102015221356B4 (de) 2015-10-30 2020-12-24 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugrundumansicht
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
US11225777B2 (en) * 2018-03-14 2022-01-18 Hitachi Construction Machinery Co., Ltd. Work machine
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
JP7458850B2 (ja) * 2020-03-26 2024-04-01 住友重機械建機クレーン株式会社 作業機械の周囲表示装置
JP2022155631A (ja) * 2021-03-31 2022-10-14 住友重機械建機クレーン株式会社 作業機械の周囲監視装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
CN100456828C (zh) * 2004-04-27 2009-01-28 松下电器产业株式会社 车辆周围环境显示装置
US7423521B2 (en) * 2004-12-07 2008-09-09 Kabushiki Kaisha Honda Lock Vehicular visual assistance system
JP4927512B2 (ja) * 2006-12-05 2012-05-09 株式会社日立製作所 画像生成装置
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780564A (zh) * 2016-03-22 2018-11-09 株式会社电装 图像处理装置、图像处理方法、以及程序

Also Published As

Publication number Publication date
US8982212B2 (en) 2015-03-17
JP2012256960A (ja) 2012-12-27
CA2805665A1 (en) 2012-12-13
AU2012268477A1 (en) 2013-02-07
JP5124672B2 (ja) 2013-01-23
CN103155552A (zh) 2013-06-12
CA2805665C (en) 2014-05-06
CN103155552B (zh) 2015-01-21
AU2012268477B2 (en) 2014-10-09
US20130162830A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
JP5124672B2 (ja) 作業車両の周辺監視装置
JP5124671B2 (ja) 作業車両の周辺監視装置
JP5722127B2 (ja) 作業車両の周辺監視装置
JP5938222B2 (ja) 運搬車両の周囲監視装置
JP5961659B2 (ja) 作業車両の周辺監視装置
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5597596B2 (ja) 作業車両の周辺監視装置
JP5781978B2 (ja) ダンプトラック
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5964353B2 (ja) ダンプトラック
JP2014222877A (ja) 作業車両の周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280003138.6

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2805665

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12797378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012268477

Country of ref document: AU

Date of ref document: 20120523

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13819137

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12797378

Country of ref document: EP

Kind code of ref document: A1