WO2012169361A1 - 作業車両の周辺監視装置 - Google Patents

作業車両の周辺監視装置 Download PDF

Info

Publication number
WO2012169361A1
WO2012169361A1 PCT/JP2012/063254 JP2012063254W WO2012169361A1 WO 2012169361 A1 WO2012169361 A1 WO 2012169361A1 JP 2012063254 W JP2012063254 W JP 2012063254W WO 2012169361 A1 WO2012169361 A1 WO 2012169361A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
work vehicle
warning
monitor
periphery monitoring
Prior art date
Application number
PCT/JP2012/063254
Other languages
English (en)
French (fr)
Inventor
光田　慎治
原田　茂
富和 田貫
栄伸 増谷
幸宏 中西
栗原　毅
大 坪根
正臣 町田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CA2807166A priority Critical patent/CA2807166C/en
Priority to US13/814,192 priority patent/US9597997B2/en
Priority to CN201280002706.0A priority patent/CN103098112B/zh
Priority to AU2012268485A priority patent/AU2012268485A1/en
Publication of WO2012169361A1 publication Critical patent/WO2012169361A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to a periphery monitoring device that monitors the periphery of a work vehicle.
  • the periphery monitoring system provided with the obstacle detection sensor, the monitor, and the controller connected to these is proposed for the purpose of making a driver
  • the presence of the obstacle is displayed on the monitor to warn the driver of the presence of the obstacle.
  • This invention is made in view of the above-mentioned situation, and it aims at providing the periphery monitoring apparatus which can suppress an unnecessary warning.
  • a work vehicle periphery monitoring device is mounted on a work vehicle, and detects obstacles around the work vehicle, thereby acquiring a relative position of the obstacle with respect to the work vehicle, respectively.
  • the sensor a warning area setting unit that sets a warning area that needs to warn the driver of the presence of an obstacle according to the traveling state of the work vehicle, and that the relative position is within the warning area.
  • a warning unit for warning a person is mounted on a work vehicle, and detects obstacles around the work vehicle, thereby acquiring a relative position of the obstacle with respect to the work vehicle, respectively.
  • the sensor a warning area setting unit that sets a warning area that needs to warn the driver of the presence of an obstacle according to the traveling state of the work vehicle, and that the relative position is within the warning area.
  • a warning unit for warning a person is mounted on a work vehicle, and detects obstacles around the work vehicle, thereby acquiring a relative position of the obstacle with respect to the work vehicle, respectively.
  • the sensor a warning area setting unit that sets a warning area
  • the warning area is set according to the traveling state of the working vehicle, there is a need to warn the driver of the presence of an obstacle in view of the traveling state. It is possible to suppress a warning when the value is low.
  • the work vehicle periphery monitoring apparatus relates to the first aspect, and the traveling state is defined by a combination of the traveling direction and the vehicle speed.
  • the work vehicle periphery monitoring device it is possible to easily determine the travel state while corresponding to various travel states of the work vehicle.
  • a work vehicle periphery monitoring device relates to the first or second aspect, and is acquired by a plurality of cameras that are attached to a work vehicle and that respectively acquire images around the work vehicle, and a plurality of cameras.
  • An overhead image acquisition unit that acquires an overhead image around the work vehicle based on the plurality of images.
  • the warning unit includes a determination unit that determines whether or not the relative position is located in the warning area on the overhead image.
  • the work vehicle periphery monitoring apparatus includes a monitor capable of displaying an image according to the third aspect.
  • the warning unit includes a display control unit that displays a camera image of a camera that is shooting an obstacle among a plurality of cameras when the relative position is determined to be within the warning region on the overhead image.
  • the driver can be visually warned of the presence of an obstacle, so that the driver can easily recognize the presence of the obstacle. it can.
  • the work vehicle periphery monitoring apparatus relates to the fourth aspect, and the display control unit displays the overhead image along with the camera image on the monitor.
  • the driver can visually confirm the position of the obstacle in the overhead view image, so that the driver can more easily understand the presence of the obstacle. be able to.
  • the work vehicle periphery monitoring apparatus according to a sixth aspect relates to the fifth aspect, and the display control unit displays an identification mark on the obstacle in an overhead view image displayed on the monitor.
  • the obstacle can be made more conspicuous, the presence of the obstacle can be more easily recognized by the driver.
  • the work vehicle periphery monitoring apparatus relates to the fifth or sixth aspect, and the display control unit displays an identification frame surrounding the obstacle in the overhead image displayed on the monitor.
  • the obstacle can be made more conspicuous, the presence of the obstacle can be more easily recognized by the driver.
  • FIG. 1 is a perspective view showing an overall configuration of a dump truck 1.
  • FIG. The block diagram which shows the structure of the periphery monitoring apparatus 10 with which the dump truck 1 is provided.
  • the top view which shows the mounting position and imaging range of six cameras 11-16.
  • the top view which shows the mounting position and detection range of eight radar apparatuses 21-28.
  • the top view which shows a warning area
  • FIG. 5 is a flowchart for explaining the operation of the periphery monitoring device 10.
  • the schematic diagram which shows the example of a display in the monitor 50.
  • FIG. 1 is a perspective view showing the overall configuration of the dump truck 1.
  • the dump truck 1 is a self-propelled super large work vehicle used for mining work or the like.
  • the dump truck 1 mainly includes a vehicle body frame 2, a cab 3, a vessel 4, two front wheels 5, two rear wheels 6, and a base 7. Moreover, this dump truck 1 is provided with the periphery monitoring apparatus 10 which monitors the periphery of a vehicle and displays the result on a monitor. The configuration and operation of the periphery monitoring device 10 will be described later.
  • the vehicle body frame 2 supports a power mechanism such as a diesel engine and a transmission and other auxiliary machines (not shown). Further, front wheels 5 (only the right front wheel is shown in FIG. 1) are supported on the left and right of the front part of the vehicle body frame 2, and a rear wheel 6 (only the right rear wheel is shown in FIG. 1) are supported on the left and right of the rear part.
  • the body frame 2 has a lower deck 2A on the side close to the ground, and an upper deck 2B above the lower deck 2A. Two movable ladders 2C are provided between the lower deck 2A and the ground, and an oblique ladder 2D is provided between the lower deck 2A and the upper deck 2B. On the upper deck 2B, rail-like handrails are fixed to the left and right of the front part, the side part, and a part of the rear part.
  • the cab is arranged on the upper deck 2B so as to be deviated from the center in the vehicle width direction to the left side.
  • a driver's seat In the cab 3, a driver's seat, a shift lever, a controller, a monitor, a handle, an accelerator pedal, a brake pedal, and the like are provided.
  • the controller, the monitor, and the shift lever constitute a part of the periphery monitoring device 10.
  • the vessel 4 is a container for loading heavy objects such as crushed stones.
  • a bottom portion on the rear side of the vessel 4 is rotatably connected to a rear end portion of the vehicle body frame 2 via a rotation pin (not shown).
  • the vessel 4 has an upright posture in which the front part is rotated upward by an actuator such as a hydraulic cylinder (not shown) to discharge the load, and the front part is positioned above the cab as shown in FIG. It can take a posture.
  • the base 7 is disposed on the upper deck 2B.
  • the base 7 is a power feeding device for installing a pantograph that receives power from a trolley overhead wire.
  • FIG. 2 is a block diagram illustrating a configuration of the periphery monitoring device 10 provided in the dump truck 1.
  • the periphery monitoring device 10 includes six cameras 11 to 16, eight radar devices 21 to 28, a shift lever 30, a vehicle speed sensor 40, a monitor 50, and a controller 100.
  • FIG. 3 is a top view of the dump truck 1 showing the mounting positions of the six cameras 11 to 16 and the photographing range. However, FIG. 3 shows a photographing range in a range used for an overhead image 200 (see FIG. 7) described later.
  • the first camera 11 is disposed at the upper end of the oblique ladder 2D, and the first shooting range 11R is the front of the vehicle.
  • the second camera 12 is disposed at the right end of the front side surface of the upper deck 2B, and the second shooting range 12R is diagonally forward to the right of the vehicle.
  • the third camera 13 is disposed symmetrically with the second camera 12, that is, at the left end of the front side surface of the upper deck 2B, and the third shooting range 13R is obliquely left frontward.
  • the fourth camera 14 is disposed at the front end portion of the right side surface of the upper deck 2B, and the fourth imaging range 14R is obliquely rearward to the right.
  • the fifth camera 15 is arranged symmetrically with the fourth camera, that is, at the front end of the left side surface of the upper deck 2B, and the fifth imaging range 15R is diagonally left rearward.
  • the sixth camera 16 is disposed above the axle shaft connecting the two rear wheels 6 and in the vicinity of the rotation axis of the vessel 4, and the sixth imaging range 16R is rearward.
  • each of the six cameras 11 to 16 transmits image data indicating an image captured by the own device to the controller 100.
  • FIG. 4 is a top view of the dump truck 1 showing the mounting positions and detection ranges of the eight radar devices 21 to 28. As shown in FIG. However, in FIG. 4, the detection range in the range used for the bird's-eye view image 200 (refer FIG. 7) mentioned later is shown.
  • the first radar device 21 is arranged on the lower deck 2A, and the first detection range 21R is diagonally forward left from the front of the vehicle.
  • the second radar device 22 is arranged on the left side of the first radar device 21, and the second detection range 22R is diagonally forward right from the front of the vehicle.
  • the third radar device 23 is disposed at the front end of the right side surface of the lower deck 2A, and the third detection range 23R is from the right front to the right.
  • the fourth radar device 24 is disposed between the lower deck 2A and the upper deck 2B on the side of the vehicle, and the fourth detection range 24R is rearward from the right.
  • the fifth radar device 25 is disposed in the vicinity of the axle shaft that connects the two rear wheels 6, and the fifth detection range 25 ⁇ / b> R is from the right rear to the rear.
  • the sixth radar device 26 is disposed on the right side of the fifth radar device 25, and the sixth detection range 25R is obliquely left rearward from the rear.
  • the seventh radar device 27 is arranged at a symmetrical position with respect to the fourth radar device 24, and the seventh detection range 27R is leftward from the rear.
  • the eighth radar device 28 is disposed at a symmetrical position with respect to the third radar device 23, and the eighth detection range 28R is obliquely left forward from the left.
  • the relative position of the obstacle with respect to the dump truck 1 can be detected over almost the entire circumference of the dump truck 1 as shown in the central view of FIG. .
  • Each of the eight radar devices 21 to 28 transmits relative position data indicating the relative position of the obstacle detected by the own device to the controller 100.
  • the shift lever 30 is disposed around the driver seat in the cab 3.
  • the shift lever 30 is an operation tool for the operator to switch the traveling direction and speed stage of the dump truck 1.
  • the shift lever 30 transmits to the controller 100 shift lever position data indicating whether the shift lever 30 is positioned forward or reverse.
  • the vehicle speed sensor 40 acquires the vehicle speed of the dump truck 1.
  • the vehicle speed sensor 40 can acquire the vehicle speed of the dump truck 1 based on the engine speed and the like.
  • the vehicle speed sensor 40 transmits vehicle speed data indicating the acquired vehicle speed to the controller 100.
  • the monitor 50 is disposed in front of the driver's seat in the cab 3.
  • the monitor 50 can display an image according to the control of the controller 100.
  • a display example on the monitor 50 will be described later.
  • Controller 100 monitors the presence or absence of obstacles around the dump truck 1 and warns the driver of the presence of obstacles as necessary. As shown in FIG. 2, the controller 100 includes a traveling state determination unit 110, a warning area setting unit 120, an overhead image acquisition unit 130, and a warning unit 140.
  • the traveling state determination unit 110 receives shift lever position data from the shift lever 30 and receives vehicle speed data from the vehicle speed sensor 40. The traveling state determination unit 110 determines the traveling state of the dump truck 1 based on the combination of the traveling direction and the vehicle speed. The traveling state determination unit 110 determines one of forward and reverse as the traveling direction based on the shift lever position data.
  • the traveling state of the dump truck 1 is defined as “being forward” when the traveling direction is forward and the vehicle speed is greater than 0, and is “reversing” when the traveling direction is backward and the vehicle speed is greater than 0.
  • the traveling state determination unit 110 transmits traveling state data indicating the traveling state to the warning area setting unit 120.
  • the warning area setting unit 120 receives the driving state data from the driving state determination unit 110.
  • the warning area setting unit 120 sets a warning area where it is necessary to warn the driver of the presence of an obstacle according to the traveling state of the dump truck 1.
  • 5A to 5C are top views showing the warning area.
  • the warning area setting unit 120 sets the front area FR as a warning area, as shown in FIG. 5A, when the traveling state of the dump truck 1 is “being forward”.
  • the front area FR is an area that includes the first detection range 21R, the second detection range 22R, the third detection range 23R, and the eighth detection range 28R.
  • the warning area setting unit 120 sets the rear area RR as a warning area as shown in FIG. 5B.
  • the rear region RR is a region where the fourth detection range 24R, the fifth detection range 25R, the sixth detection range 26R, and the seventh detection range 27R are combined.
  • the warning area setting unit 120 sets the entire area AR as a warning area as shown in FIG. 5C.
  • the entire area AR is an area obtained by combining the front area FR and the rear area RR.
  • the warning area setting unit 120 transmits warning area data indicating the set warning area to the warning unit 140.
  • the overhead image acquisition unit 130 receives a plurality of image data from each of the six cameras 11 to 16.
  • the bird's-eye view image acquisition unit 130 acquires a bird's-eye view image 200 (see FIG. 7) around the dump truck 1 based on a plurality of images indicated by the plurality of image data.
  • the overhead image acquisition unit 130 generates overhead image data indicating the overhead image 200 obtained by projecting a plurality of images on a predetermined projection plane by performing coordinate conversion on each of the plurality of image data.
  • the overhead image acquisition unit 130 transmits the generated overhead image data to the warning unit 140.
  • the warning unit 140 warns the driver that the relative position of the obstacle detected by at least one of the eight radar devices 21 to 28 is within the warning region.
  • the warning unit 140 includes a determination unit 141 and a display control unit 142.
  • the determination unit 141 receives the warning area data from the warning area setting unit 120, receives the overhead image data from the overhead image acquisition unit 130, and receives the relative position data from the eight radar devices 21 to 28. The determination unit 141 determines whether or not at least one of the eight radar devices 21 to 28 detects an obstacle based on whether or not the relative position data is received from the eight radar devices 21 to 28. Determine.
  • the determination unit 141 determines whether or not the relative position of the obstacle is located in the warning area on the overhead image 200. If the determination unit 141 determines that the relative position of the obstacle is located within the warning area, the determination unit 141 notifies the display control unit 142 accordingly.
  • the display control unit 142 receives a plurality of image data from each of the six cameras 11 to 16, receives the overhead image data from the overhead image acquisition unit 130, and receives the relative position data from the eight radar devices 21 to 28. To do.
  • the display control unit 142 When the display control unit 142 does not receive a notification from the determination unit 141 (that is, during normal times), the display control unit 142 is an image of a predetermined camera among the six cameras 11 to 16 (referred to as “predetermined camera image 210”). 7C) and the overhead image 200 are displayed side by side on the monitor 50.
  • the predetermined camera is preferably selected according to the traveling state of the dump truck 1. For example, it is preferable that the second camera 12 captures the second imaging range 12R during forward travel, and the sixth camera 16 captures the sixth capture range 16R during reverse travel.
  • the display control unit 142 captures the detected obstacle among the six cameras 11 to 16.
  • An image of the camera (referred to as “obstacle shooting camera image 220”, see FIG. 7B) is displayed on the monitor 50 side by side with the overhead image 200.
  • the display control unit 142 displays an identification mark M (see FIGS. 7A to 7C) on the overhead image 200 displayed on the monitor 50 so as to overlap the detected obstacle.
  • the identification mark M is a mark for visually highlighting an obstacle on the overhead image 200, and a round mark, a square mark, a triangular mark, or the like can be used.
  • the display control unit 142 displays an identification frame N (see FIG. 7B) surrounding the detected obstacle in the overhead view image 200 displayed on the monitor 50.
  • the identification frame N is a frame for easily specifying the position of an obstacle on the overhead image 200, and the size and shape of the frame can be set as appropriate.
  • the outer edge of the shooting area (any one of the first to sixth shooting ranges 11R to 16R) of the obstacle shooting camera is set as the identification frame N.
  • FIG. 6 is a flowchart for explaining the operation of the periphery monitoring device 10.
  • FIG. 7 is a schematic diagram showing a display example on the monitor 50. In the following description, it is assumed that the driver is moving the dump truck 1 forward.
  • step S10 the traveling state determination unit 110 determines the traveling state of the dump truck 1 based on the combination of the traveling direction and the vehicle speed.
  • a case is assumed in which the traveling state of the dump truck 1 is determined to be “being forward”.
  • step S20 the warning area setting unit 120 sets a warning area that needs to warn the driver of the presence of an obstacle according to the traveling state of the dump truck 1.
  • step S20 since it is assumed that the running state is “being forward”, the front area FR is set as the warning area.
  • step S30 the overhead image acquisition unit 130 acquires the overhead image 200 around the dump truck 1 based on the plurality of images acquired by the six cameras 11 to 16.
  • step S40 the display control unit 142 displays the overhead image 200 and the predetermined camera image 210 side by side on the monitor 50.
  • FIG. 7A is a schematic diagram illustrating a display example in step S40. As shown in FIG. 7A, the monitor 50 displays a bird's-eye view image 200 and a predetermined camera image 210 side by side.
  • the predetermined camera image 210 shown in FIG. 7A is a real-time image of the second camera 12 that captures the second imaging range 12R.
  • step S50 the determination unit 141 determines whether at least one of the eight radar devices 21 to 28 has detected an obstacle. If any of the eight radar devices 21 to 28 detects an obstacle, the process proceeds to step S60. If none of the eight radar devices 21 to 28 detects an obstacle, the process is temporarily terminated and a new process is started.
  • step S60 the determination unit 141 determines whether or not the relative position of the obstacle is located in the warning area (here, the front area FR) on the overhead image 200. If the relative position of the obstacle is located in the warning area on the overhead image 200, the process proceeds to step S60. If the relative position of the obstacle is not within the warning area on the bird's-eye view image 200, the process ends and the process proceeds to the next process.
  • the warning area here, the front area FR
  • step S ⁇ b> 70 the display control unit 142 displays the obstacle shooting camera image 220 along with the overhead image 200 on the monitor 50.
  • the display control unit 142 displays an identification frame N surrounding the obstacle in the overhead image 200 displayed on the monitor 50 while overlapping the identification mark M on the obstacle.
  • FIG. 7B is a schematic diagram illustrating a display example in step S70. As shown in FIG. 7B, the obstacle photographing camera image 220 is displayed side by side with the overhead image 200 on the monitor 50.
  • the obstacle shooting camera image 220 shown in FIG. 7B is a real-time image of the third camera 13 shooting the third shooting range 13R.
  • FIG. 7C is a schematic diagram illustrating a display example in step S40 of the next process.
  • the state returns to the state where the predetermined camera image 210 is displayed.
  • the periphery monitoring device 10 includes a warning area setting unit 120 and a warning unit 140.
  • the warning area setting unit 120 sets a warning area where it is necessary to warn the driver of the presence of an obstacle according to the traveling state of the dump truck 1.
  • the warning unit 140 warns the driver that the relative position of the obstacle detected by at least one of the eight radar devices 21 to 28 is within the warning region.
  • the warning area is set according to the traveling state of the dump truck 1, it is possible to suppress the warning when it is less necessary to warn the driver of the presence of the obstacle in view of the traveling state. .
  • the traveling state of the dump truck 1 is defined by the combination of the traveling direction and the vehicle speed.
  • the warning unit 140 includes a display control unit 142. If the determination unit 141 determines that the relative position of the obstacle is located within the warning area, the display control unit 142 displays the obstacle photographing camera image 220 on the monitor 50.
  • the driver can be visually warned of the presence of an obstacle, the driver can easily know the presence of the obstacle.
  • the display control unit 142 displays the overhead image 200 on the monitor 50 side by side with the obstacle shooting camera image 220.
  • the driver can visually confirm the position of the obstacle in the bird's-eye view image 200, the presence of the obstacle can be easily grasped by the driver.
  • the display control unit 142 displays the identification mark M on the obstacle in the overhead image 200 displayed on the monitor 50. Further, the display control unit 142 displays an identification frame N surrounding the obstacle in the overhead view image 200 displayed on the monitor 50.
  • the obstacle can be made more conspicuous in the bird's-eye view image 200, the presence of the obstacle can be more easily recognized by the driver.
  • the warning area is divided into the front area FR and the rear area RR as shown in FIG. 5, but the present invention is not limited to this.
  • the warning area may be divided into three or more areas.
  • the boundary between the front region FR and the rear region RR can be set at an arbitrary position.
  • the front region FR and the rear region RR may partially overlap each other.
  • the warning unit 140 displays the obstacle shooting camera image 220 on the monitor 50 to warn the driver that the relative position of the obstacle is within the warning area.
  • the warning unit 140 may warn the driver by sounding a warning sound from a speaker instead of displaying an image on the monitor 50. Further, the warning unit 140 may warn the driver by illuminating a light emitter provided in front of the driver's seat instead of displaying an image on the monitor 50.
  • the display control unit 142 displays the overhead image 200 side by side with the obstacle shooting camera image 220 on the monitor 50.
  • the present invention is not limited to this.
  • the display control unit 142 may display only the obstacle shooting camera image 220 on the monitor 50.
  • the display control unit 142 displays the identification mark M and the identification frame N on the overhead image 200, but the present invention is not limited to this.
  • the display control unit 142 may not display the identification mark M and the identification frame N on the overhead image 200.
  • the display control unit 142 sets the outer edge of the shooting area of the obstacle shooting camera as the identification frame N.
  • the identification frame N only needs to be larger than the identification mark M, and its size and shape are not limited.
  • the warning area can be set by turning off the power of some of the eight radar devices 21 to 28 according to the traveling state.
  • the detection range of the radar apparatus whose power is turned on coincides with the warning area.
  • the relative position data itself is not output from the radar apparatus whose power is turned off. Therefore, acquiring the relative position data by the warning unit 140 means that the obstacle is located in the warning area, and therefore the warning unit 140 may not include the determination unit 141.

Abstract

　周辺監視装置（１０）は、警告領域設定部（１２０）と警告部（１４０）とを備える。警告領域設定部（１２０）は、ダンプトラック（１）の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。警告部（１４０）は、８台のレーダ装置（２１～２８）のうち少なくとも１つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する。

Description

作業車両の周辺監視装置
　本発明は、作業車両の周囲を監視する周辺監視装置に関する。
　従来、超大型の作業車両として、鉱山等で砕石を運搬するためのダンプトラックが広く用いられている。このようなダンプトラックは、一般的な車両に比較して著しく車幅が広く、また前後長が長いため、サイドミラー等によって作業車両周辺の状況を運転者が把握することは困難である。
　そこで、作業車両周辺の状況を運転者に簡便に把握させることを目的として、障害物検知センサと、モニタと、これらに接続されたコントローラと、を備える周辺監視システムが提案されている（特許文献１参照）。この周辺監視システムでは、障害物検知センサによって障害物が検知された場合に、障害物の存在をモニタに表示することによって、障害物の存在を運転者に警告するようになっている。
ＵＳ ２００９／０２５９４００ Ａ１
　（発明が解決しようとする課題）
　しかしながら、特許文献１のシステムでは、作業車両の走行状態に関わりなく障害物の存在が運転者に警告されるので、運転者にとって不要な警告がなされてしまう場合がある。例えば、作業車両を前進させている場合のように運転者が前方に注意を払いたいときであっても、車両後方の障害物の存在が運転者に警告されてしまう。
　本発明は、上述の状況に鑑みてなされたものであり、不要な警告を抑制可能な周辺監視装置を提供することを目的とする。
　（課題を解決するための手段）
　第１の態様に係る作業車両の周辺監視装置は、作業車両に装着され、作業車両の周囲の障害物を検知することによって、障害物の作業車両に対する相対位置をそれぞれ取得する複数の障害物検知センサと、作業車両の走行状態に応じて、障害物の存在を運転者に対して警告する必要のある警告領域を設定する警告領域設定部と、相対位置が警告領域内に位置することを運転者に警告する警告部と、を備える。
　第１の態様に係る作業車両の周辺監視装置によれば、作業車両の走行状態に応じて警告領域が設定されるので、走行状態に鑑みて障害物の存在を運転者に警告する必要性が低い場合に警告がなされることを抑制できる。
　第２の態様に係る作業車両の周辺監視装置は、第１の態様に係り、走行状態は、進行方向と車速の組み合わせによって規定される。
　第２の態様に係る作業車両の周辺監視装置によれば、作業車両の様々な走行状態に対応しつつ簡便に走行状態を判断することができる。
　第３の態様に係る作業車両の周辺監視装置は、第１又は第２の態様に係り、業車両に装着され、作業車両の周囲の画像をそれぞれ取得する複数のカメラと、複数のカメラによって取得される複数の画像に基づいて、作業車両の周囲の俯瞰画像を取得する俯瞰画像取得部と、を備える。警告部は、俯瞰画像上において相対位置が警告領域内に位置するか否かを判定する判定部を有する。
　第４の態様に係る作業車両の周辺監視装置は、第３の態様に係り、画像を表示可能なモニタを備える。警告部は、俯瞰画像上において相対位置が警告領域内に位置すると判定された場合に、複数のカメラのうち障害物を撮影しているカメラのカメラ画像をモニタに表示させる表示制御部を有する。
　第４の態様に係る作業車両の周辺監視装置によれば、障害物の存在を運転者に対して視覚的に警告することができるので、障害物の存在を運転者に容易に把握させることができる。
　第５の態様に係る作業車両の周辺監視装置は、第４の態様に係り、表示制御部は、俯瞰画像をカメラ画像と並べてモニタに表示させる。
　第５の態様に係る作業車両の周辺監視装置によれば、俯瞰画像において障害物の位置を運転者に視覚的に確認させることができるので、障害物の存在をより容易に運転者に把握させることができる。
　第６の態様に係る作業車両の周辺監視装置は、第５の態様に係り、表示制御部は、モニタに表示される俯瞰画像において障害物に識別用マークを重ねて表示させる。
　第６の態様に係る作業車両の周辺監視装置によれば、障害物をより目立たせることができるので、障害物の存在をより容易に運転者に把握させることができる。
　第７の態様に係る作業車両の周辺監視装置は、第５又は第6の態様に係り、表示制御部は、モニタに表示される俯瞰画像において障害物の周囲を取り囲む識別用フレームを表示させる。
　第７の態様に係る作業車両の周辺監視装置によれば、障害物をより目立たせることができるので、障害物の存在をより容易に運転者に把握させることができる。
　（発明の効果）
　以上のような本発明では、不要な警告を抑制可能な周辺監視装置を提供することができる。
ダンプトラック１の全体構成を示す斜視図。 ダンプトラック１が備える周辺監視装置１０の構成を示すブロック図。 ６台のカメラ１１～１６の装着位置と撮影範囲とを示す上面図。 ８台のレーダ装置２１～２８の装着位置と検知範囲とを示す上面図。 警告領域を示す上面図。 警告領域を示す上面図。 警告領域を示す上面図。 周辺監視装置１０の動作を説明するためのフロー図。 モニタ５０における表示例を示す模式図。 モニタ５０における表示例を示す模式図。 モニタ５０における表示例を示す模式図。 警告領域を示す上面図。 警告領域を示す上面図。
　以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前」「後」「左」「右」とは、運転席に着座した運転者を基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
　［ダンプトラックの全体構成］
　図１は、ダンプトラック１の全体構成を示す斜視図である。ダンプトラック１は、鉱山作業などに用いられる自走式の超大型作業車両である。
　ダンプトラック１は主に、車体フレーム２と、キャブ３と、ベッセル４と、２つの前輪５と、２つの後輪６と、ベース７と、を備える。また、このダンプトラック１は、車両の周囲を監視して、その結果をモニタに表示する周辺監視装置１０を備える。周辺監視装置１０の構成及び動作については後述する。
　車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構やその他の補機類を支持している。また、車体フレーム２の前部左右に前輪５（図１では右前輪のみ図示）が支持され、後部左右に後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、地面に近い側にロアデッキ２Ａを有し、ロアデッキ２Ａの上方にアッパデッキ２Ｂを有している。ロアデッキ２Ａと地面との間には可動式ラダー２Ｃが２つ設けられ、ロアデッキ２Ａとアッパデッキ２Ｂとの間には斜めラダー２Ｄが設けられている。アッパデッキ２Ｂ上には、前部の左右、側部、及び後部の一部に柵状の手すりが固定されている。
　キャブは、アッパデッキ２Ｂ上において、車幅方向の中央から左側に偏倚して配置されている。このキャブ３内には、運転席、シフトレバー、コントローラ、モニタ、ハンドル、アクセルペダル、ブレーキペダル等が設けられている。後述するように、コントローラ、モニタおよびシフトレバーは周辺監視装置１０の一部を構成する。
　ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の後側の底部は、回動ピン（図示せず）を介して、車体フレーム２の後端部に回動可能に連結されている。これにより、ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、前部が上方に回動して積載物を排出する起立姿勢と、図１に示すように前部がキャブの上部に位置する積載姿勢と、を取り得る。
　ベース７は、アッパデッキ２Ｂ上に配置される。ベース７は、トロリー用の架線から電力を受電するパンタグラフを設置するための給電装置である。
　［周辺監視装置１０の構成］
　図２は、ダンプトラック１が備える周辺監視装置１０の構成を示すブロック図である。周辺監視装置１０は、６台のカメラ１１～１６と、８台のレーダ装置２１～２８と、シフトレバー３０と、車速センサ４０と、モニタ５０と、コントローラ１００と、を有する。
　　（１）６台のカメラ１１～１６
　６台のカメラ１１～１６は、ダンプトラック１の周囲の画像を取得する。６台のカメラ１１～１６は、ダンプトラック１の外周に装着される。図３は、６台のカメラ１１～１６の装着位置と撮影範囲とを示すダンプトラック１の上面図である。ただし、図３では、後述する俯瞰画像２００（図７参照）に用いられる範囲における撮影範囲が示されている。
　第１カメラ１１は斜めラダー２Ｄの上端部に配置され、その第１撮影範囲１１Ｒは車両前方である。第２カメラ１２はアッパデッキ２Ｂの前側面右端部に配置され、その第２撮影範囲１２Ｒは車両右斜め前方である。第３カメラ１３は第２カメラ１２と左右対称位置、すなわちアッパデッキ２Ｂの前側面左端部に配置され、その第３撮影範囲１３Ｒは左斜め前方である。第４カメラ１４はアッパデッキ２Ｂの右側面前端部に配置され、その第４撮影範囲１４Ｒは右斜め後方である。第５カメラ１５は第４カメラと左右対称位置、すなわちアッパデッキ２Ｂの左側面前端部に配置され、その第５撮影範囲１５Ｒは左斜め後方である。第６カメラ１６は２つの後輪６を連結するアクスル軸上方で、ベッセル４の回動軸付近に配置され、その第６撮影範囲１６Ｒは後方である。
　以上の６台のカメラ１１～１６によれば、図３の中央図に示すように、ダンプトラック１のほぼ全周囲の画像を取得することができる。６台のカメラ１１～１６のそれぞれは、自装置が撮影した画像を示す画像データをコントローラ１００に送信する。
　　（２）８台のレーダ装置２１～２８
　８台のレーダ装置２１～２８は、ダンプトラック１の周囲に存在する障害物の相対位置を検知する。８台のレーダ装置２１～２８は、ダンプトラック１の外周に装着される。図４は、８台のレーダ装置２１～２８の装着位置と検知範囲とを示すダンプトラック１の上面図である。ただし、図４では、後述する俯瞰画像２００（図７参照）に用いられる範囲における検知範囲が示されている。
　第１レーダ装置２１はロアデッキ２Ａ上に配置され、その第１検知範囲２１Ｒは車両前方から左斜め前方である。第２レーダ装置２２は第１レーダ装置２１の左側に配置され、その第２検知範囲２２Ｒは車両前方から右斜め前方である。第３レーダ装置２３はロアデッキ２Ａの右側面前端部に配置され、その第３検知範囲２３Ｒは右斜め前方から右方である。第４レーダ装置２４は車両側方のロアデッキ２Ａとアッパデッキ２Ｂの中間に配置され、その第４検知範囲２４Ｒは右方から後方である。第５レーダ装置２５は２つの後輪６を連結するアクスル軸付近に配置され、その第５検知範囲２５Ｒは右斜め後方から後方である。第６レーダ装置２６は第５レーダ装置２５の右側に配置され、その第６検知範囲２５Ｒは後方から左斜め後方である。第７レーダ装置２７は第４レーダ装置２４と左右対称位置に配置され、その第７検知範囲２７Ｒは後方から左方である。第８レーダ装置２８は第３レーダ装置２３と左右対称位置に配置され、その第８検知範囲２８Ｒは左方から左斜め前方である。
　以上の８台のレーダ装置２１～２８によれば、図４の中央図に示すように、ダンプトラック１のほぼ全周囲に渡って、ダンプトラック１に対する障害物の相対位置を検知することができる。８台のレーダ装置２１～２８のそれぞれは、自装置が検知した障害物の相対位置を示す相対位置データをコントローラ１００に送信する。
　　（３）シフトレバー３０、車速センサ４０およびモニタ５０
　シフトレバー３０は、キャブ３内において運転席周辺に配置される。シフトレバー３０は、オペレータがダンプトラック１の進行方向や速度段を切り換えるための操作具である。本実施形態において、シフトレバー３０は、前進および後進のいずれに位置するかを示すシフトレバー位置データをコントローラ１００に送信する。
　車速センサ４０は、ダンプトラック１の車速を取得する。車速センサ４０は、エンジンの回転数などに基づいてダンプトラック１の車速を取得可能である。車速センサ４０は、取得した車速を示す車速データをコントローラ１００に送信する。
　モニタ５０は、キャブ３内において運転席前方に配置される。モニタ５０は、コントローラ１００の制御に応じて画像を表示可能である。モニタ５０における表示例については後述する。
　　（４）コントローラ１００
　コントローラ１００は、ダンプトラック１の周囲における障害物の有無を監視し、必要に応じて障害物の存在を運転者に警告する。図２に示すように、コントローラ１００は、走行状態判断部１１０と、警告領域設定部１２０と、俯瞰画像取得部１３０と、警告部１４０と、を備える。
　走行状態判断部１１０は、シフトレバー３０からシフトレバー位置データを受信し、車速センサ４０から車速データを受信する。走行状態判断部１１０は、進行方向と車速との組み合わせに基づいて、ダンプトラック１の走行状態を判断する。なお、走行状態判断部１１０は、シフトレバー位置データに基づいて、前進及び後進の一方を進行方向として決定する。
　ここで、ダンプトラック１の走行状態は、進行方向が前進で車速が０より大きい場合には“前進中”と規定され、進行方向が後進で車速が０より大きい場合には“後進中”と規定され、車速が０である場合には進行方向に関わらず“停車中”と規定されている。走行状態判断部１１０は、走行状態を示す走行状態データを警告領域設定部１２０に送信する。
　警告領域設定部１２０は、走行状態判断部１１０から走行状態データを受信する。警告領域設定部１２０は、ダンプトラック１の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。図５Ａ～図５Ｃは、警告領域を示す上面図である。
　警告領域設定部１２０は、ダンプトラック１の走行状態が“前進中”である場合には、図５Ａに示すように、前方領域ＦＲを警告領域として設定する。本実施形態において、前方領域ＦＲは、第１検知範囲２１Ｒ、第２検知範囲２２Ｒ、第３検知範囲２３Ｒおよび第８検知範囲２８Ｒを合わせた領域である。また、警告領域設定部１２０は、ダンプトラック１の走行状態が“後進中”である場合には、図５Ｂに示すように、後方領域ＲＲを警告領域として設定する。本実施形態において、後方領域ＲＲは、第４検知範囲２４Ｒ、第５検知範囲２５Ｒ、第６検知範囲２６Ｒおよび第７検知範囲２７Ｒを合わせた領域である。また、警告領域設定部１２０は、ダンプトラック１の走行状態が“停車中”である場合には、図５Ｃに示すように、全領域ＡＲを警告領域として設定する。本実施形態において、全領域ＡＲは、前方領域ＦＲと後方領域ＲＲとを合わせた領域である。警告領域設定部１２０は、設定した警告領域を示す警告領域データを警告部１４０に送信する。
　俯瞰画像取得部１３０は、６台のカメラ１１～１６それぞれから複数の画像データを受信する。俯瞰画像取得部１３０は、複数の画像データによって示される複数の画像に基づいて、ダンプトラック１の周囲の俯瞰画像２００（図７参照）を取得する。具体的に、俯瞰画像取得部１３０は、複数の画像データそれぞれを座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像２００を示す俯瞰画像データを生成する。俯瞰画像取得部１３０は、生成した俯瞰画像データを警告部１４０に送信する。
　警告部１４０は、８台のレーダ装置２１～２８のうち少なくとも１つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する。具体的には、図２に示すように、警告部１４０は、判定部１４１と、表示制御部１４２と、を有する。
　判定部１４１は、警告領域設定部１２０から警告領域データを受信し、俯瞰画像取得部１３０から俯瞰画像データを受信し、８台のレーダ装置２１～２８から相対位置データを受信する。判定部１４１は、８台のレーダ装置２１～２８からの相対位置データの受信の有無に基づいて、８台のレーダ装置２１～２８のうち少なくとも１つのレーダ装置が障害物を検知したか否かを判定する。
　また、判定部１４１は、少なくとも１つのレーダ装置によって障害物が検知されたと判定した場合、俯瞰画像２００上において障害物の相対位置が警告領域内に位置するか否かを判定する。判定部１４１は、障害物の相対位置が警告領域内に位置すると判定した場合、その旨を表示制御部１４２に通知する。
　表示制御部１４２は、６台のカメラ１１～１６それぞれから複数の画像データを受信し、俯瞰画像取得部１３０から俯瞰画像データを受信し、８台のレーダ装置２１～２８から相対位置データを受信する。
　表示制御部１４２は、判定部１４１から通知を受けない場合（すなわち、通常時）には、６台のカメラ１１～１６のうち所定カメラの画像（「所定カメラ画像２１０」という。図７Ａ及び図７Ｃ参照）と俯瞰画像２００とを並べてモニタ５０に表示させる。所定カメラは、ダンプトラック１の走行状態に応じて選択されることが好ましい。例えば、前進中には第２撮影範囲１２Ｒを撮影する第２カメラ１２であることが好ましく、後進中には第６撮影範囲１６Ｒを撮影する第６カメラ１６であることが好ましい。
　一方、表示制御部１４２は、障害物の相対位置が警告領域内に位置すると判定部１４１によって判定された場合には、６台のカメラ１１～１６のうち検知された障害物を撮影しているカメラの画像（「障害物撮影カメラ画像２２０」という。図７Ｂ参照）を俯瞰画像２００と並べてモニタ５０に表示させる。
　また、表示制御部１４２は、モニタ５０に表示される俯瞰画像２００上に、検知された障害物に識別用マークＭ（図７Ａ～図７Ｃ参照）を重ねて表示させる。識別用マークＭは、俯瞰画像２００上において障害物を視覚的に目立たせるための印であり、丸印、四角印、三角印などを用いることができる。
　また、表示制御部１４２は、モニタ５０に表示される俯瞰画像２００において、検知された障害物の周囲を取り囲む識別用フレームＮ（図７Ｂ参照）を表示させる。識別用フレームＮは、俯瞰画像２００上において障害物の位置を容易に特定するための枠であり、枠の大きさや形などは適宜設定可能である。本実施形態では、後述するように、障害物撮影カメラの撮影領域（第１乃至第6撮影範囲１１Ｒ～１６Ｒのいずれか１つ）の外縁が識別用フレームＮとして設定されている。
　［周辺監視装置１０の動作］
　図６は、周辺監視装置１０の動作を説明するためのフロー図である。図７は、モニタ５０における表示例を示す模式図である。以下の説明では、運転者がダンプトラック１を前進させているものとする。
　ステップＳ１０において、走行状態判断部１１０は、進行方向と車速を有することの組み合わせに基づいて、ダンプトラック１の走行状態を判断する。ここでは、ダンプトラック１の走行状態が、“前進中”と判断された場合を想定する。
　ステップＳ２０において、警告領域設定部１２０は、ダンプトラック１の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。ステップＳ２０では、走行状態が“前進中”である場合が想定されているので、前方領域ＦＲが警告領域として設定される。
　ステップＳ３０において、俯瞰画像取得部１３０は、６台のカメラ１１～１６によって取得される複数の画像に基づいて、ダンプトラック１の周囲の俯瞰画像２００を取得する。
　ステップＳ４０において、表示制御部１４２は、俯瞰画像２００と所定カメラ画像２１０とを並べてモニタ５０に表示させる。図７Ａは、ステップＳ４０における表示例を示す模式図である。図７Ａに示すように、モニタ５０には、俯瞰画像２００と所定カメラ画像２１０とが横に並んで表示されている。図７Ａに示される所定カメラ画像２１０は、第２撮影範囲１２Ｒを撮影する第２カメラ１２のリアルタイム画像である。
　ステップＳ５０において、判定部１４１は、８台のレーダ装置２１～２８のうち少なくとも１つのレーダ装置が障害物を検知したか否かを判定する。８台のレーダ装置２１～２８のいずれかが障害物を検知した場合、処理はステップＳ６０に進む。８台のレーダ装置２１～２８のいずれもが障害物を検知しない場合、処理は一旦終了して新たな処理に移行する。
　ステップＳ６０において、判定部１４１は、俯瞰画像２００上において障害物の相対位置が警告領域（ここでは、前方領域ＦＲ）内に位置するか否かを判定する。俯瞰画像２００上において障害物の相対位置が警告領域内に位置する場合には、処理はステップＳ６０に進む。俯瞰画像２００上において障害物の相対位置が警告領域内に位置しない場合、処理は終了して次回処理に移行する。
　ステップＳ７０において、表示制御部１４２は、障害物撮影カメラ画像２２０を俯瞰画像２００と並べてモニタ５０に表示させる。また、表示制御部１４２は、モニタ５０に表示される俯瞰画像２００において、障害物に識別用マークＭを重ねて表示するとともに、障害物の周囲を取り囲む識別用フレームＮを表示する。図７Ｂは、ステップＳ７０における表示例を示す模式図である。図７Ｂに示すように、モニタ５０には、障害物撮影カメラ画像２２０が俯瞰画像２００と並んで表示されている。図７Ｂに示される障害物撮影カメラ画像２２０は、第３撮影範囲１３Ｒを撮影する第３カメラ１３のリアルタイム画像である。
　その後、ステップＳ１０～Ｓ７０が繰り返し実行されるが、ステップＳ５０において障害物が検知されない場合、或いは、ステップＳ６０において障害物の相対位置が警告領域内から外れた場合、処理は一旦終了して新たな処理に移行する。図７Ｃは、次回処理のステップＳ４０における表示例を示す模式図である。障害物がダンプトラック１の後方に移動して警告領域から外れたことに応じて、図７Ｃでは、所定カメラ画像２１０が表示される状態に戻っている。
　［作用及び効果］
　（１）周辺監視装置１０は、警告領域設定部１２０と警告部１４０とを備える。警告領域設定部１２０は、ダンプトラック１の走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。警告部１４０は、８台のレーダ装置２１～２８のうち少なくとも１つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する。
　このように、ダンプトラック１の走行状態に応じて警告領域が設定されるので、走行状態に鑑みて障害物の存在を運転者に警告する必要性が低い場合に警告がなされることを抑制できる。
　（２）ダンプトラック１の走行状態は、進行方向と車速を有することの組み合わせによって規定される。
　そのため、ダンプトラック１の様々な走行状態に対応しつつ簡便に走行状態を判断することができる。
　（３）警告部１４０は、表示制御部１４２を有する。表示制御部１４２は、障害物の相対位置が警告領域内に位置すると判定部１４１によって判定された場合には、障害物撮影カメラ画像２２０をモニタ５０に表示させる。
　このように、障害物の存在を運転者に対して視覚的に警告することができるので、障害物の存在を運転者に容易に把握させることができる。
　（４）表示制御部１４２は、俯瞰画像２００を障害物撮影カメラ画像２２０と並べてモニタ５０に表示させる。
　従って、俯瞰画像２００において障害物の位置を運転者に視覚的に確認させることができるので、障害物の存在を運転者により容易に把握させることができる。
　（５）表示制御部１４２は、モニタ５０に表示される俯瞰画像２００において、障害物に識別用マークＭを重ねて表示する。また、表示制御部１４２は、モニタ５０に表示される俯瞰画像２００において、障害物の周囲を取り囲む識別用フレームＮを表示する。
　従って、俯瞰画像２００において障害物をより目立たせることができるので、障害物の存在をより容易に運転者に把握させることができる。
　（その他の実施形態）
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　（Ａ）上記実施形態において、警告領域は、図５に示すように、前方領域ＦＲと後方領域ＲＲとに分けられることとしたが、これに限られるものではない。警告領域は、３以上の領域に分けられていてもよい。また、図８に示すように、前方領域ＦＲと後方領域ＲＲとの境界は、任意の位置に設定することができる。さらに、図９に示すように、前方領域ＦＲと後方領域ＲＲとは、互いに一部が重なっていてもよい。
　（Ｂ）上記実施形態において、警告部１４０は、障害物撮影カメラ画像２２０をモニタ５０に表示させることによって、障害物の相対位置が警告領域内に位置することを運転者に警告することとしたが、これに限られるものではない。警告部１４０は、モニタ５０における画像の表示に代えてスピーカから警告音を鳴らすことによって運転者に警告してもよい。また、警告部１４０は、モニタ５０における画像の表示に代えて、運転席の前方に設けられる発光器を光らせることによって運転者に警告してもよい。
　（Ｃ）上記実施形態において、表示制御部１４２は、俯瞰画像２００を障害物撮影カメラ画像２２０と並べてモニタ５０に表示させることとしたが、これに限られるものではない。表示制御部１４２は、障害物撮影カメラ画像２２０のみをモニタ５０に表示させてもよい。
　（Ｄ）上記実施形態において、表示制御部１４２は、識別用マークＭおよび識別用フレームＮを俯瞰画像２００に表示することとしたが、これに限られるものではない。表示制御部１４２は、識別用マークＭおよび識別用フレームＮを俯瞰画像２００に表示しなくてもよい。
　（Ｅ）上記実施形態において、表示制御部１４２は、障害物撮影カメラの撮影領域の外縁を識別用フレームＮとして設定することとしたが、これに限られるものではない。識別用フレームＮは、識別用マークＭよりも大きければよく、その大きさや形に制限はない。
　（Ｆ）上記実施形態において特に触れていないが、走行状態に応じて８台のレーダ装置２１～２８のうちいくつかのレーダ装置の電源をＯＦＦすることによって、警告領域を設定することができる。この場合には、電源をＯＮされているレーダ装置の検知範囲が警告領域と一致することとなる。なお、電源をＯＦＦされたレーダ装置からは相対位置データ自体が出力されない。そのため、警告部１４０が相対位置データを取得することは、すなわち、障害物が警告領域内に位置することを意味するので、警告部１４０は判定部１４１を有していなくてもよい。
　（Ｇ）上記実施形態において、ダンプトラック１は、ベース７を備えることとしたが備えていなくてもよい。
１…ダンプトラック、２…フレーム、２Ａ…ロアデッキ、２Ｂ…アッパデッキ、２Ｃ…可動式ラダー、２Ｄ…斜めラダー、３…キャブ、４…ベッセル、５…前輪、６…後輪、１０…周辺監視装置、１１～１６…６台のカメラ、２１～２８…８台のレーダ装置、３０…シフトレバー、４０…車速センサ、５０…モニタ、１００…コントローラ、１１０…走行状態判断部、１２０…警告領域設定部、１３０…俯瞰画像取得部、１４０…警告部、１４１…判定部、１４２…表示制御部、２００…俯瞰画像、２１０…所定カメラ画像、２２０…障害物撮影カメラ画像、ＦＲ…前方領域、ＲＲ…後方領域、ＡＲ…全領域、Ｍ…識別用マーク、Ｎ…識別用フレーム

Claims (7)

  1. 　作業車両に装着され、作業車両の周囲の障害物を検知することによって、前記障害物の作業車両に対する相対位置をそれぞれ取得する複数の障害物検知センサと、
    　作業車両の走行状態に応じて、前記障害物の存在を運転者に対して警告する必要のある警告領域を設定する警告領域設定部と、
    　前記相対位置が前記警告領域内に位置することを運転者に警告する警告部と、
    を備えた作業車両の周辺監視装置。
  2. 　前記走行状態は、進行方向と車速の組み合わせによって規定される、
    請求項１に記載の作業車両の周辺監視装置。
  3. 　作業車両に装着され、作業車両の周囲の画像をそれぞれ取得する複数のカメラと、
    　前記複数のカメラによって取得される複数の画像に基づいて、作業車両の周囲の俯瞰画像を取得する俯瞰画像取得部と、
    を備え、
    　前記警告部は、前記俯瞰画像上において前記相対位置が前記警告領域内に位置するか否かを判定する判定部を有する、
    請求項１又は２に記載の作業車両の周辺監視装置。
  4. 　画像を表示可能なモニタ
    を備え、
    　前記警告部は、前記俯瞰画像上において前記相対位置が前記警告領域内に位置すると判定された場合に、前記複数のカメラのうち前記障害物を撮影しているカメラのカメラ画像を前記モニタに表示させる表示制御部を有する、
    請求項３に記載の作業車両の周辺監視装置。
  5. 　前記表示制御部は、前記俯瞰画像を前記カメラ画像と並べて前記モニタに表示させる、
    請求項４に記載の作業車両の周辺監視装置。
  6. 　前記表示制御部は、前記モニタに表示される前記俯瞰画像において前記障害物に識別用マークを重ねて表示させる、
    請求項５に記載の作業車両の周辺監視装置。
  7. 　前記表示制御部は、前記モニタに表示される前記俯瞰画像において前記障害物の周囲を取り囲む識別用フレームを表示させる、
    請求項５又は６に記載の作業車両の周辺監視装置。
PCT/JP2012/063254 2011-06-07 2012-05-24 作業車両の周辺監視装置 WO2012169361A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CA2807166A CA2807166C (en) 2011-06-07 2012-05-24 Work vehicle periphery monitoring apparatus
US13/814,192 US9597997B2 (en) 2011-06-07 2012-05-24 Work vehicle periphery monitoring apparatus
CN201280002706.0A CN103098112B (zh) 2011-06-07 2012-05-24 作业车辆的周边监视装置
AU2012268485A AU2012268485A1 (en) 2011-06-07 2012-05-24 Work vehicle vicinity monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011127477A JP5722127B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置
JP2011-127477 2011-06-07

Publications (1)

Publication Number Publication Date
WO2012169361A1 true WO2012169361A1 (ja) 2012-12-13

Family

ID=47295929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063254 WO2012169361A1 (ja) 2011-06-07 2012-05-24 作業車両の周辺監視装置

Country Status (6)

Country Link
US (1) US9597997B2 (ja)
JP (1) JP5722127B2 (ja)
CN (1) CN103098112B (ja)
AU (1) AU2012268485A1 (ja)
CA (1) CA2807166C (ja)
WO (1) WO2012169361A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104884712A (zh) * 2012-12-24 2015-09-02 斗山英维高株式会社 工程机械的感知装置及方法
US10661392B2 (en) 2015-01-15 2020-05-26 Siltectra Gmbh Splitting of a solid using conversion of material
WO2020137135A1 (ja) 2018-12-27 2020-07-02 ヤンマー株式会社 作業車両用の障害物検知システム
WO2021006322A1 (ja) 2019-07-10 2021-01-14 ヤンマーパワーテクノロジー株式会社 作業車両用の自動走行システム
WO2022154018A1 (ja) 2021-01-18 2022-07-21 京セラ株式会社 運転支援システム、車両、撮影装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
CN103325280A (zh) * 2013-06-28 2013-09-25 煤炭科学研究总院 露天矿用车辆防撞调度系统和车辆终端
DE102013224954A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6134668B2 (ja) 2014-02-18 2017-05-24 日立建機株式会社 作業車両の障害物検知装置
JP6326869B2 (ja) * 2014-03-05 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
JP2015170284A (ja) * 2014-03-10 2015-09-28 株式会社日立製作所 フォークリフト型無人搬送車、その制御方法および制御装置
JP6178280B2 (ja) 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
JP6520318B2 (ja) * 2015-04-01 2019-05-29 日本製鉄株式会社 作業車両用の安全装置及び作業車両の監視方法
JP2017030688A (ja) * 2015-08-06 2017-02-09 日立建機株式会社 作業機械の周囲監視装置
JP6105180B1 (ja) * 2015-08-25 2017-03-29 新日鉄住金ソリューションズ株式会社 作業支援装置、作業支援方法及びプログラム
DE102015220640A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verringern eines Kollisionsrisikos einer Kollision eines Kraftfahrzeugs mit einem Objekt
JP6475178B2 (ja) * 2016-03-10 2019-02-27 日立建機株式会社 電気駆動車両
WO2017170979A1 (ja) * 2016-03-31 2017-10-05 古河電気工業株式会社 監視装置および監視方法
DE102016116859A1 (de) 2016-09-08 2018-03-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung
JP6756554B2 (ja) * 2016-09-09 2020-09-16 株式会社タダノ 画像表示システム
JP6822069B2 (ja) * 2016-11-01 2021-01-27 オムロン株式会社 監視システム、監視装置、および監視方法
KR102449834B1 (ko) * 2017-02-17 2022-09-29 스미도모쥬기가이고교 가부시키가이샤 작업기계용 주변감시 시스템
US11109183B2 (en) 2017-07-14 2021-08-31 Komatsu Ltd. Vehicle management device, vehicle management method, and program
JP6969983B2 (ja) * 2017-11-10 2021-11-24 株式会社小松製作所 ダンプトラック
US10594991B1 (en) 2018-01-09 2020-03-17 Wm Intellectual Property Holdings, Llc System and method for managing service and non-service related activities associated with a waste collection, disposal and/or recycling vehicle
WO2019176036A1 (ja) * 2018-03-14 2019-09-19 日立建機株式会社 作業機械
JP7160606B2 (ja) * 2018-09-10 2022-10-25 株式会社小松製作所 作業機械の制御システム及び方法
JP7239291B2 (ja) * 2018-09-28 2023-03-14 株式会社小松製作所 作業車両の周辺監視システム及び作業車両の周辺監視方法
JP7145034B2 (ja) * 2018-10-26 2022-09-30 株式会社デンソー 運転支援装置
CN109624854A (zh) * 2018-12-03 2019-04-16 浙江明航智能科技有限公司 一种适用于特种车辆的360°全景辅助可视系统
GB2579631A (en) * 2018-12-07 2020-07-01 Ongrade Ltd Proximity warning system
EP3671262B1 (en) * 2018-12-21 2023-05-17 Easymile Method and system for handling blind sectors of scanning layers of redundant sensors in a vehicle
JP7454461B2 (ja) * 2019-01-28 2024-03-22 住友重機械工業株式会社 ショベル
CN110077320B (zh) * 2019-04-11 2021-01-19 爱驰汽车有限公司 一种基于雷达的倒车方法及装置
US11475416B1 (en) 2019-08-23 2022-10-18 Wm Intellectual Property Holdings Llc System and method for auditing the fill status of a customer waste container by a waste services provider during performance of a waste service activity
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP2021174054A (ja) * 2020-04-20 2021-11-01 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
CN112068553A (zh) * 2020-08-20 2020-12-11 上海姜歌机器人有限公司 机器人避障处理方法、装置及机器人
US11386362B1 (en) 2020-12-16 2022-07-12 Wm Intellectual Property Holdings, L.L.C. System and method for optimizing waste / recycling collection and delivery routes for service vehicles
US11373536B1 (en) 2021-03-09 2022-06-28 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle
US11928693B1 (en) 2021-03-09 2024-03-12 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path analysis for a waste / recycling service vehicle
US11488118B1 (en) 2021-03-16 2022-11-01 Wm Intellectual Property Holdings, L.L.C. System and method for auditing overages and contamination for a customer waste container by a waste services provider during performance of a waste service activity
CN113421460B (zh) * 2021-06-23 2023-01-24 中煤航测遥感集团有限公司 作业车辆防撞预警方法、装置、车载终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003146133A (ja) * 2001-11-12 2003-05-21 Toyota Motor Corp 車両用周辺監視装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007235529A (ja) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2010208483A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 駐車ナビゲーションシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373472B1 (en) * 1995-10-13 2002-04-16 Silviu Palalau Driver control interface system
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
US6720868B2 (en) * 2001-05-31 2004-04-13 Omega Patents, L.L.C. Back-up warning system in a license plate holder and related method
US20050075770A1 (en) * 2003-10-07 2005-04-07 Taylor Ronald M. Motor vehicle back-up system
US8702366B2 (en) * 2007-11-15 2014-04-22 American Refrigerated Express, Inc. Cargo transfer system using a palletized rack
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
US8040226B2 (en) * 2007-04-02 2011-10-18 Datachassi Dc Ab Vehicle surveillance and communication system
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
US8305444B2 (en) * 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
CN102055956B (zh) * 2009-11-02 2017-05-10 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法
CN101794499B (zh) * 2010-01-27 2015-08-12 张青 基于摄像识别的照明监控系统及实现方法
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
US9230419B2 (en) * 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003146133A (ja) * 2001-11-12 2003-05-21 Toyota Motor Corp 車両用周辺監視装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007235529A (ja) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2010208483A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 駐車ナビゲーションシステム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104884712A (zh) * 2012-12-24 2015-09-02 斗山英维高株式会社 工程机械的感知装置及方法
US10661392B2 (en) 2015-01-15 2020-05-26 Siltectra Gmbh Splitting of a solid using conversion of material
WO2020137135A1 (ja) 2018-12-27 2020-07-02 ヤンマー株式会社 作業車両用の障害物検知システム
KR20210107619A (ko) 2018-12-27 2021-09-01 얀마 파워 테크놀로지 가부시키가이샤 작업 차량용 장해물 검지 시스템
WO2021006322A1 (ja) 2019-07-10 2021-01-14 ヤンマーパワーテクノロジー株式会社 作業車両用の自動走行システム
KR20220031542A (ko) 2019-07-10 2022-03-11 얀마 파워 테크놀로지 가부시키가이샤 작업 차량용 자동 주행 시스템
WO2022154018A1 (ja) 2021-01-18 2022-07-21 京セラ株式会社 運転支援システム、車両、撮影装置

Also Published As

Publication number Publication date
AU2012268485A1 (en) 2013-03-07
JP2012256113A (ja) 2012-12-27
CN103098112B (zh) 2016-10-12
JP5722127B2 (ja) 2015-05-20
US20130141581A1 (en) 2013-06-06
US9597997B2 (en) 2017-03-21
CA2807166C (en) 2018-07-24
CA2807166A1 (en) 2012-12-13
CN103098112A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5722127B2 (ja) 作業車両の周辺監視装置
JP6158906B2 (ja) 作業車両の周辺監視装置
JP5411976B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5124672B2 (ja) 作業車両の周辺監視装置
JP5324690B1 (ja) 作業車両用周辺監視システム及び作業車両
WO2018061294A1 (ja) 周辺監視装置
WO2012169362A1 (ja) 作業車両の周辺監視装置
WO2014045457A1 (ja) 作業車両用周辺監視システム及び作業車両
WO2018186045A1 (ja) 牽引支援装置
US11292387B2 (en) Towing assistance apparatus
JP5595565B2 (ja) 作業車両用周辺監視システム、作業車両及び作業車両用周辺監視方法
US10875577B2 (en) Traction assist apparatus
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
JP2014222877A (ja) 作業車両の周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280002706.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2807166

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13814192

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12796730

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012268485

Country of ref document: AU

Date of ref document: 20120524

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12796730

Country of ref document: EP

Kind code of ref document: A1