WO2018003194A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2018003194A1
WO2018003194A1 PCT/JP2017/010281 JP2017010281W WO2018003194A1 WO 2018003194 A1 WO2018003194 A1 WO 2018003194A1 JP 2017010281 W JP2017010281 W JP 2017010281W WO 2018003194 A1 WO2018003194 A1 WO 2018003194A1
Authority
WO
WIPO (PCT)
Prior art keywords
gradient
vehicle
road surface
display
monitoring device
Prior art date
Application number
PCT/JP2017/010281
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
陽司 乾
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/313,320 priority Critical patent/US10878253B2/en
Priority to CN201780038079.9A priority patent/CN109313860B/zh
Priority to DE112017003305.5T priority patent/DE112017003305B4/de
Publication of WO2018003194A1 publication Critical patent/WO2018003194A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device.
  • the actual uneven state of the road surface may be difficult to understand only with the surrounding images taken with the in-vehicle camera.
  • the uneven state cannot be sufficiently grasped, it may be difficult to determine whether or not it is possible to continue traveling after actually overcoming the uneven state. For example, it is difficult to determine whether there is a possibility that the bottom surface of the vehicle body may be rubbed and damaged, or whether the bottom surface of the vehicle body may ride on the convex portion and the driving force may not be transmitted to the wheels and may not be able to travel. There is a case.
  • one of the problems of the present invention is to provide a periphery monitoring device that can provide a driver with new information indicating a road surface condition and easily determine whether or not the vehicle can travel.
  • the periphery monitoring device includes, for example, a gradient acquisition unit that acquires a gradient position and a gradient value on the road surface based on state information indicating a road surface state in the traveling direction of the vehicle, and the gradient value And a reference gradient value through which the vehicle can pass, and a notification control unit that notifies the comparison result in association with the gradient position.
  • a gradient acquisition unit that acquires a gradient position and a gradient value on the road surface based on state information indicating a road surface state in the traveling direction of the vehicle, and the gradient value And a reference gradient value through which the vehicle can pass
  • a notification control unit that notifies the comparison result in association with the gradient position.
  • the gradient acquisition unit may acquire a relative inclination of a road surface in front of the vehicle as the gradient value with reference to a road surface on which the vehicle exists. According to this configuration, for example, it is possible to detect whether the road surface following the road surface on which the vehicle currently exists is a road surface in contact with (rub against) the bottom of the vehicle, regardless of the current road surface condition. Can be performed more accurately.
  • the gradient acquisition unit may acquire a gradient with respect to the horizontal as the gradient value.
  • the inclination with respect to the horizontal of the road surface on which the vehicle is about to enter in front of the vehicle is acquired.
  • the notification control unit may notify the gradient position with reference to the vehicle. According to this configuration, for example, it is possible to notify how many meters ahead of the vehicle (own vehicle) there is a gradient to be noted. As a result, specific information can be provided by the driver, and it can be made easier to determine whether or not the road surface is capable of traveling.
  • the gradient acquisition unit identifies whether the gradient at the gradient position is an ascending gradient or a descending gradient, and the notification control unit, when the gradient is the ascending gradient, In comparison with the value, when the slope is the downward slope, it may be compared with a reference downward slope value. According to this configuration, for example, it is possible to more accurately determine whether or not the vehicle can travel according to the road surface condition.
  • the notification control unit may display the gradient position and the vehicle on a display device that displays an image based on captured image data output from an image capturing unit that captures the surrounding state of the vehicle.
  • the relative positional relationship may be displayed. According to this configuration, for example, since the relative positional relationship between the gradient position and the vehicle is displayed on the display device, it is easy to visually recognize whether or not the road surface is capable of traveling, and allows the driver to make an intuitive determination. It can be made easier.
  • the notification control unit may perform image processing on an image based on the captured image data and display the comparison result on the display device.
  • image processing for example, a portion having a large gradient (large gradient value) and requiring attention can be visually highlighted. For example, by changing the hue or changing the appearance, it becomes possible to clearly notify whether or not the road surface can be driven, and to make it easier for the driver to make an intuitive determination of whether or not the vehicle can run Can do.
  • the periphery monitoring device may further include, for example, an image processing unit that superimposes a course index indicating the estimated traveling direction of the wheel based on the steering angle of the vehicle on an image based on the captured image data, and the notification control unit includes:
  • the comparison result may be displayed on the display device together with the course indicator.
  • the course index can be moved from the gradient position by changing the rudder angle, it is possible to easily select a course that can be traveled.
  • the notification control unit may change the display mode of at least a part of the course indicator.
  • the display mode for example, it is possible to change the display color to indicate a warning from the middle of the displayed course indicator, or to highlight it. In this case, the place where attention should be paid can be notified more accurately. As a result, it becomes easier to select a more appropriate course.
  • FIG. 1 is a perspective view illustrating an example of a state in which a part of a passenger compartment of a vehicle on which the periphery monitoring device according to the embodiment is mounted is seen through.
  • FIG. 2 is a plan view illustrating an example of a vehicle on which the periphery monitoring device according to the embodiment is mounted.
  • FIG. 3 is a block diagram illustrating an example of an image control system including the periphery monitoring device according to the embodiment.
  • FIG. 4 is an example of gradient detection by a laser scanner mounted on the periphery monitoring device according to the embodiment, and is an explanatory diagram showing detection points of laser light when the road surface in front of the vehicle is horizontal.
  • FIG. 4 is an example of gradient detection by a laser scanner mounted on the periphery monitoring device according to the embodiment, and is an explanatory diagram showing detection points of laser light when the road surface in front of the vehicle is horizontal.
  • FIG. 5 is an example of gradient detection by a laser scanner mounted on the periphery monitoring device according to the embodiment, and is an explanatory diagram showing detection points of laser light when a three-dimensional object is present on the road surface in front of the vehicle.
  • FIG. 6 is an example of gradient detection by the laser scanner mounted on the periphery monitoring device according to the embodiment, and is an explanatory diagram showing detection points of laser light when the gradient of the road surface in front of the vehicle is changing.
  • FIG. 7 is a diagram illustrating an approach angle, a ramp breakover angle, and a departure angle in a vehicle equipped with the periphery monitoring device according to the embodiment.
  • FIG. 8 is an explanatory diagram for explaining a case where a vehicle equipped with the periphery monitoring device according to the embodiment climbs an uphill slope.
  • FIG. 9 is an explanatory diagram illustrating a case where a vehicle equipped with the periphery monitoring device according to the embodiment travels from an ascending slope to a horizontal road surface.
  • FIG. 10 is an explanatory diagram illustrating a case where a vehicle on which the periphery monitoring device according to the embodiment is mounted descends from a horizontal road surface.
  • FIG. 11 is a block diagram illustrating an example of a configuration of a control unit (CPU) for realizing notification of gradient information realized in the ECU of the periphery monitoring device according to the embodiment.
  • FIG. CPU control unit
  • FIG. 12 is a diagram illustrating an example of a display screen that displays gradient information by the periphery monitoring device according to the embodiment.
  • FIG. 13 is a flowchart for explaining the first half of a processing procedure when displaying gradient information in the periphery monitoring device according to the embodiment.
  • FIG. 14 is a flowchart for explaining the second half of the processing procedure when displaying gradient information in the periphery monitoring device according to the embodiment.
  • FIG. 15 is a diagram illustrating another example of a display screen that displays gradient information by the periphery monitoring device according to the embodiment.
  • FIG. 16 is a diagram illustrating another example of a display screen that displays gradient information by the periphery monitoring device according to the embodiment.
  • the vehicle 1 equipped with the periphery monitoring device may be, for example, an automobile using an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an electric motor (not shown). It may be a vehicle as a drive source, that is, an electric vehicle, a fuel cell vehicle, or the like. Moreover, the hybrid vehicle which uses both of them as a drive source may be sufficient, and the vehicle provided with the other drive source may be sufficient. Further, the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted.
  • the vehicle 1 can suitably travel on so-called “on-road” (mainly paved roads or equivalent roads) and “off-road” (mainly unpaved rough roads, etc.). It is.
  • On-road mainly paved roads or equivalent roads
  • off-road mainly unpaved rough roads, etc.
  • the driving method is not limited to the four-wheel driving method, and may be a front wheel driving method or a rear wheel driving method, for example.
  • the vehicle body 2 constitutes a passenger compartment 2a in which a passenger (not shown) gets.
  • a steering section 4 an acceleration operation section 5, a braking operation section 6, a shift operation section 7 and the like are provided in a state facing the driver's seat 2b as a passenger.
  • the steering unit 4 is, for example, a steering wheel protruding from the dashboard 24,
  • the acceleration operation unit 5 is, for example, an accelerator pedal positioned under the driver's feet
  • the braking operation unit 6 is, for example, a driver's foot It is a brake pedal located under the foot
  • the speed change operation unit 7 is, for example, a shift lever protruding from the center console.
  • the steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the speed change operation unit 7 and the like are not limited to these.
  • a display device 8 and an audio output device 9 are provided in the passenger compartment 2a.
  • the display device 8 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the audio output device 9 is, for example, a speaker.
  • the display device 8 is covered with a transparent operation input unit 10 such as a touch panel. The occupant can visually recognize an image displayed on the display screen of the display device 8 via the operation input unit 10. In addition, the occupant can execute an operation input by touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. .
  • the display device 8, the audio output device 9, the operation input unit 10, and the like are provided, for example, in the monitor device 11 that is located in the vehicle width direction of the dashboard 24, that is, the central portion in the left-right direction.
  • the monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button.
  • a sound output device (not shown) can be provided at another position in the passenger compartment 2a different from the monitor device 11, and sound is output from the sound output device 9 of the monitor device 11 and other sound output devices. be able to.
  • the monitor device 11 can be used also as, for example, a navigation system or an audio system.
  • the vehicle 1 is, for example, a four-wheeled vehicle, and has two left and right front wheels 3F and two right and left rear wheels 3R. All of these four wheels 3 can be configured to be steerable.
  • the vehicle 1 includes a steering system 13 that steers at least two wheels 3.
  • the steering system 13 includes an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by an ECU 14 (electronic control unit) or the like to operate the actuator 13a.
  • the steering system 13 is, for example, an electric power steering system, an SBW (steer by wire) system, or the like.
  • the steering system 13 adds torque, that is, assist torque to the steering unit 4 by the actuator 13a to supplement the steering force, or steers the wheel 3 by the actuator 13a.
  • the actuator 13a may steer one wheel 3 or may steer a plurality of wheels 3.
  • the torque sensor 13b detects the torque which a driver
  • the vehicle body 2 is provided with, for example, four imaging units 15a to 15d as the plurality of imaging units 15.
  • the imaging unit 15 is a digital camera that incorporates an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 15 can output moving image data (captured image data) at a predetermined frame rate.
  • Each of the imaging units 15 includes a wide-angle lens or a fish-eye lens, and can capture a range of, for example, 140 ° to 220 ° in the horizontal direction. Further, the optical axis of the imaging unit 15 may be set obliquely downward. Therefore, the imaging unit 15 sequentially captures the external environment around the vehicle 1 including the road surface on which the vehicle 1 is movable and surrounding objects (obstacles, rocks, depressions, etc.), and outputs the captured image data.
  • the imaging unit 15a is located, for example, at the rear end 2e of the vehicle body 2 and is provided on a wall portion below the rear window of the rear hatch door 2h.
  • the imaging unit 15b is located, for example, at the right end 2f of the vehicle body 2 and provided on the right door mirror 2g.
  • the imaging unit 15c is located, for example, on the front side of the vehicle body 2, that is, the front end 2c in the vehicle front-rear direction, and is provided on a front bumper, a front grill, or the like.
  • the imaging unit 15d is located, for example, on the left side of the vehicle body 2, that is, on the left end 2d in the vehicle width direction, and is provided on the left door mirror 2g.
  • ECU14 which comprises the periphery monitoring system 100 performs arithmetic processing and image processing based on the picked-up image data obtained by the several image pick-up part 15, and produces
  • the ECU 14 displays the acquired image data on the display device 8 so that, for example, the peripheral monitoring information that allows the vehicle 1 to perform a safety check on the right side or the left side of the vehicle 1 or a safety check on the surroundings of the vehicle 1 can be performed. I will provide a.
  • the brake system 18, the steering angle sensor 19, the accelerator sensor 20, the shift A sensor 21, a wheel speed sensor 22, an acceleration sensor 26 (26a, 26b), a laser scanner 28, and the like are electrically connected via an in-vehicle network 23 as an electric communication line.
  • the in-vehicle network 23 is configured as a CAN (controller area network), for example.
  • the ECU 14 can control the steering system 13, the brake system 18, and the like by sending a control signal through the in-vehicle network 23.
  • the ECU 14 also detects the detection results of the torque sensor 13b, the brake sensor 18b, the steering angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, the acceleration sensor 26, the laser scanner 28, and the like via the in-vehicle network 23. An operation signal from the operation input unit 10 can be received.
  • the ECU 14 includes, for example, a CPU 14a (central processing unit), a ROM 14b (read only memory), a RAM 14c (random access memory), a display control unit 14d, an audio control unit 14e, an SSD 14f (solid state drive, flash memory), and the like. ing.
  • the CPU 14a performs image processing related to the image displayed on the display device 8, calculation of a course index (predicted course line) indicating the estimated traveling direction of the vehicle 1, calculation of a road surface gradient state, Various calculations and processes such as a notification process for alerting are executed.
  • the CPU 14a reads a program stored (installed) in a non-volatile storage device such as the ROM 14b, and executes arithmetic processing according to the program.
  • the RAM 14c temporarily stores various types of data used in computations by the CPU 14a.
  • the display control unit 14d mainly performs image processing using the captured image data obtained by the imaging unit 15 and image processing of image data displayed on the display device 8 (as an example) in the arithmetic processing performed by the ECU 14. Executes image composition).
  • the voice control unit 14 e mainly executes processing of voice data output from the voice output device 9 among the calculation processes in the ECU 14.
  • the SSD 14f is a rewritable nonvolatile storage unit, and can store data even when the ECU 14 is powered off.
  • the CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package.
  • the ECU 14 may have a configuration in which another logic operation processor, a logic circuit, or the like such as a DSP (digital signal processor) is used instead of the CPU 14a.
  • a DSP digital signal processor
  • an HDD hard disk drive
  • the SSD 14f and the HDD may be provided separately from the peripheral monitoring ECU 14.
  • the brake system 18 is, for example, an ABS (anti-lock brake system) that suppresses the locking of the brake, a skid prevention device (ESC: electronic stability control) that suppresses the skidding of the vehicle 1 during cornering, and enhances the braking force ( Electric brake system that executes brake assist), BBW (brake by wire), etc.
  • the brake system 18 applies a braking force to the wheels 3 and thus to the vehicle 1 via the actuator 18a.
  • the brake system 18 can execute various controls by detecting brake lock, idle rotation of the wheels 3, signs of skidding, and the like from the difference in rotation between the left and right wheels 3.
  • the brake sensor 18b is a sensor that detects the position of the movable part of the braking operation unit 6, for example.
  • the brake sensor 18b can detect the position of a brake pedal as a movable part.
  • the brake sensor 18b includes a displacement sensor.
  • the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel.
  • the rudder angle sensor 19 is configured using, for example, a hall element.
  • the ECU 14 obtains the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 during automatic steering, and the like from the steering angle sensor 19 and executes various controls.
  • the rudder angle sensor 19 detects the rotation angle of the rotating part included in the steering unit 4.
  • the rudder angle sensor 19 is an example of an angle sensor.
  • the accelerator sensor 20 is a sensor that detects the position of the movable part of the acceleration operation part 5, for example.
  • the accelerator sensor 20 can detect the position of an accelerator pedal as a movable part.
  • the accelerator sensor 20 includes a displacement sensor.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation unit 7.
  • the shift sensor 21 can detect the position of a lever, arm, button, or the like as a movable part.
  • the shift sensor 21 may include a displacement sensor or may be configured as a switch.
  • the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
  • the wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value.
  • the wheel speed sensor 22 may be configured using, for example, a hall element.
  • the ECU 14 calculates the amount of movement of the vehicle 1 based on the sensor value acquired from the wheel speed sensor 22 and executes various controls. Note that the wheel speed sensor 22 may be provided in the brake system 18. In that case, the ECU 14 acquires the detection result of the wheel speed sensor 22 via the brake system 18.
  • the ECU 14 calculates the front-rear direction inclination (pitch angle) and the left-right direction inclination (roll angle) of the vehicle 1 based on signals from the acceleration sensor 26 (26a, 26b).
  • the pitch angle is an angle that indicates the inclination of the vehicle 1 around the left-right axis. When the vehicle 1 is present on a horizontal surface (ground, road surface), the pitch angle is 0 degree.
  • the roll angle is an angle indicating the inclination around the longitudinal axis of the vehicle 1, and the roll angle is 0 degree when the vehicle 1 is present on a horizontal surface (ground, road surface).
  • the acceleration sensor 26 (26a, 26b) conventionally mounted in ESC is used.
  • this embodiment does not restrict
  • the laser scanner 28 is provided, for example, on the vehicle body on the front side of the vehicle body 2 (the front end portion 2c in the vehicle front-rear direction) and acquires state information indicating the state of the road surface in the traveling direction of the vehicle 1.
  • the laser scanner 28 is reflected when a laser beam emitted from a light source (laser diode or the like) inside the sensor hits an object to be measured (for example, a road surface or a three-dimensional object), and is received by a light receiving element.
  • the distance to the position where the laser light is reflected is calculated by evaluating and calculating the reflected light received at this time.
  • the ECU 14 has the vehicle 1 such as the road surface state, for example, the presence or absence of a gradient, the position where the gradient exists (gradient position), the magnitude of the gradient (gradient value), and the gradient state (uphill gradient, downhill gradient).
  • Relative state information (gradient information, relative inclination) of the road surface ahead of the vehicle 1 is acquired with the road surface to be used as a reference.
  • the laser scanner 28 irradiates a plurality of (for example, three) laser beams toward a road surface of a predetermined distance (for example, 2 m) ahead of the vehicle 1.
  • the optical paths of the laser beams L1, L2, and L3 are adjusted so as to slightly shift in the front-rear direction of the vehicle 1.
  • the laser scanner 28 scans the laser beams L1, L2, and L3 in the vehicle width direction.
  • the laser scanner 28 is fixed to the vehicle 1, so that the laser beams L1, L2, and L3 are set in advance.
  • the light is reflected at the position and returned to the light receiving unit. That is, the time difference from when each laser beam L1, L2, L3 is emitted to when it is received is a preset value. By analyzing this time difference, the distances to the detection points P1, P2, P3 can be calculated. If the calculated distance can be considered to match the preset distance, the detection points P1, P2, P3 are present on the horizontal road surface G0, that is, the road surface reflected by the detection points P1, P2, P3 is horizontal. It is possible to detect that the road surface is G0.
  • FIG. 6 shows a case where the vehicle 1 is present on a downhill road surface G1 and a horizontal road surface G0 is present ahead.
  • the slope changes at a portion connected to the front road surface G0.
  • the time difference from when the laser beams L1, L2, and L3 are emitted to when they are received is different from the case where the laser beam is reflected by the horizontal road surface G0 in FIG.
  • the ECU 14 can detect the attitude of the vehicle 1, that is, whether the vehicle is present on an uphill or downhill, based on the output signal of the acceleration sensor 26.
  • the degree of gradient (gradient value), the position of the gradient, the change state of the gradient, etc. can be detected.
  • the gradient value and the gradient position of the road surface ahead of the vehicle 1 can be detected by the laser scanner 28.
  • a gradient camera may be detected by providing a stereo camera instead of the laser scanner 28.
  • an approach angle M1 is an angle from the ground contact point of the front wheel 3F to the front end of the front bumper 2x, and is a measure of whether or not the front bumper 2x comes into contact with the vehicle when getting over a slope or an obstacle.
  • the ramp breakover angle M2 is the vertical angle of the intersecting straight line when the straight line extending from the ground contact point of the front wheel 3F and the rear wheel 3R intersects the vehicle body bottom 2y at the center of the wheel base. This is a measure of whether or not the bottom 2y of the vehicle body comes into contact when overcoming an obstacle.
  • the departure angle M3 is an angle from the contact point of the rear wheel 3R to the rear end of the rear bumper 2z, and is a measure of whether or not the rear bumper 2z comes into contact when overcoming a slope or an obstacle.
  • the wheels 3 When the vehicle 1 enters a road surface exceeding these angles (gradients), the wheels 3 are lifted off the road surface, and the driving force of the wheels 3 may not be transmitted to the road surface, which may make it impossible to travel.
  • the difference in gradient between the road surface G2 and the road surface G0, that is, the vehicle 1 is used as a reference.
  • the slope (gradient angle K) is equal to or greater than the approach angle M1
  • the front bumper 2x may come into contact with the road surface G2 and may not be able to travel.
  • the ECU 14 acquires a gradient value based on the detection points P1, P2, and P3 detected by the laser scanner 28. For example, when the vehicle 1 travels on a horizontal road surface G0, the laser scanner 28 that has been able to detect the detection points P1, P2, P3 at a position of, for example, 2 m ahead of the vehicle 1 as shown in FIG. The detection points P1, P2, and P3 are detected. Therefore, the ECU 14 is based on the distance to the detection points P1, P2, P3 detected by the laser scanner 28, and the gradient angle K in the situation shown in FIG. 8 (when the road surface G0 on which the vehicle 1 exists is used as a reference). The slope angle K) of the forward ascending slope can be calculated.
  • the relative inclination (gradient angle K) of the road surface G2 ahead of the vehicle 1 can be acquired with reference to the road surface G0 on which the vehicle 1 exists.
  • the ECU 14 has a road surface having characteristics different from the road surface on which the vehicle 1 is present in front of the vehicle 1 (for example, an uphill, a rock, an upstep, etc.) when the distance of the detection point P3 first decreases. Can be detected.
  • FIG. 9 is an example showing a case of a road surface configuration different from FIG. FIG. 9 shows a case where the vehicle 1 traveling on an uphill road surface G2, for example, enters the horizontal road surface G0 connected by the connecting portion GR. Also in this case, when the gradient difference between the road surface G0 and the road surface G2, that is, the gradient (gradient angle K) based on the vehicle 1 is equal to or greater than the ramp breakover angle M2, the vehicle body bottom 2y is connected to the road surface G2 and the road surface G0. There is a possibility that the vehicle cannot travel due to contact with the part GR.
  • the detection points P1, P2, P3 of the laser scanner 28 are detected, for example, 2 m ahead as shown in FIG.
  • the laser scanner 28 detects, for example, the detection point P3 at a position ahead of the connecting portion GR, as shown in FIG. Therefore, the ECU 14 is based on the distance (detection state) to the detection points P1, P2, P3 by the laser scanner 28, and the road surface G0 having a characteristic different from the road surface G2 where the vehicle 1 exists is present in front of the vehicle 1. Can be detected.
  • the ECU 14 can calculate the gradient angle K (the gradient angle K of the forward downward gradient when the road surface G2 on which the vehicle 1 is present) is based on the distances to the detection points P1, P2, P3. That is, the relative inclination (gradient angle K) of the road surface G0 ahead of the vehicle 1 can be acquired with reference to the road surface G2 on which the vehicle 1 exists. Since the ECU 14 knows the attitude of the vehicle 1 based on the detection value of the acceleration sensor 26, as shown in FIG. 9, a road surface G0 having a gradient angle K with respect to the road surface G2 exists ahead of the road surface G2 having an upward slope. Can also be detected.
  • FIG. 10 is an example showing a case of a road surface configuration opposite to that in FIG. FIG. 10 shows a case where the vehicle 1 traveling on the horizontal road surface G0 tries to enter the downhill road surface G1 connected by the connecting portion GR. Also in this case, when the gradient difference between the road surface G0 and the road surface G1, that is, the gradient with respect to the vehicle 1 (gradient angle K) is equal to or greater than the ramp breakover angle M2, the vehicle body bottom 2y is the connection portion between the road surface G0 and the road surface G1. There is a possibility that the vehicle cannot run due to contact with the GR.
  • the light receiving unit of the laser scanner 28 detects the detection points P1, P2, and P3, for example, on the road surface G1 that exceeds the connection part GR as shown in FIG. That is, when the vehicle is traveling on the road surface G0, it is detected at a position farther from the detection points P1, P2, and P3 that can be detected 2m ahead. Therefore, the ECU 14 is based on the distances (detection states) to the detection points P1, P2, and P3 detected by the laser scanner 28, and the road surface G1 having a characteristic different from the road surface G0 where the vehicle 1 exists is present in front of the vehicle 1. Can be detected.
  • the ECU 14 can calculate the gradient angle K (the gradient angle K of the forward downward gradient when the road surface G0 on which the vehicle 1 exists is used as a reference) based on the distances to the detection points P1, P2, P3. That is, the relative inclination (gradient angle K) of the road surface G1 ahead of the vehicle 1 can be acquired with reference to the road surface G0 on which the vehicle 1 exists. Also in this case, since the ECU 14 knows the attitude of the vehicle 1 based on the detection value of the acceleration sensor 26, as shown in FIG. 10, a road surface G1 having a gradient angle K with respect to the road surface 02 exists at the end of the horizontal road surface G0. Can also be detected. In this case as well, the ECU 14 has a road surface with a characteristic different from the road surface on which the vehicle 1 is present in front of the vehicle 1 when the distance of the first detection point P3 becomes longer as in the case of FIG. Can be detected.
  • the ECU 14 that implements the periphery monitoring system 100 detects the magnitude of the gradient (gradient value) and the position where the gradient exists when there is a gradient on the road surface due to a slope or unevenness.
  • the road gradient value is compared with a reference gradient value through which the vehicle 1 can pass, and the comparison result is notified to the driver.
  • the display device 8 is used for notification.
  • the ECU 14 has a function of detecting the steering angle of the vehicle 1 from the detection result of the steering angle sensor 19 and displaying a course indicator indicating the estimated traveling direction of the wheel 3 (front wheel 3F) on the display device 8 based on the steering angle.
  • the ECU 14 displays an image based on the captured image data captured by the imaging unit 15, for example, an image in the traveling direction of the vehicle 1 on the display device 8.
  • the ECU 14 superimposes the route index on the image, the ECU 14 informs the driver whether or not the road surface to which the vehicle 1 is going can travel by adding road gradient information. Make it easier to judge whether or not you can run or not.
  • the CPU 14a included in the ECU 14 implements the state information acquisition unit 30, the steering angle acquisition unit 32, the gradient acquisition unit 34, and the image processing unit, as shown in FIG. 36, the notification control part 38, the output part 40, etc. are included.
  • the gradient acquisition unit 34 includes a gradient position acquisition unit 42, a gradient value acquisition unit 44, a gradient identification unit 46, and the like.
  • the image processing unit 36 includes a course index calculating unit 48, a superimposing unit 50, and the like.
  • the notification control unit 38 includes a comparison unit 52, a display mode determination unit 54, a notification unit 56, and the like. These modules can be realized by reading a program installed and stored in a storage device such as the ROM 14b and executing it.
  • the state information acquisition unit 30 acquires state information indicating a road surface state in the traveling direction of the vehicle 1. For example, information on the detection points P1, P2, P3 output from the laser scanner 28 is acquired via the in-vehicle network 23. Moreover, the captured image data output from the imaging unit 15 provided in the vehicle 1 and capturing a peripheral image of the vehicle 1 is acquired via the display control unit 14d. Further, the acceleration output from the acceleration sensor 26 is acquired in order to acquire the pitch angle and the roll angle indicating the posture of the vehicle 1. Note that when only the image around the vehicle 1 is displayed on the display device 8, the display control unit 14d may output the captured image data captured by the imaging unit 15 to the display device 8 as it is.
  • the CPU 14a may cause the driver to select desired display contents using an input device such as the operation input unit 10 or the operation unit 14g. That is, the display control unit 14d can selectively display the image selected by the operation of the operation input unit 10 or the operation unit 14g. For example, the rear image of the vehicle 1 captured by the imaging unit 15a can be displayed on the display device 8, or the left side image captured by the imaging unit 15d can be displayed.
  • the steering angle acquisition unit 32 acquires information related to the operation state of the steering unit 4 (steering wheel) output from the steering angle sensor 19. That is, the route information in the direction in which the driver is going to drive the vehicle 1 is acquired.
  • the gradient acquisition unit 34 Based on the detection result of the laser scanner 28 acquired by the state information acquisition unit 30, the gradient acquisition unit 34 described the state of the road surface gradient ahead of the traveling direction of the vehicle 1 with reference to FIGS. 4 to 6 and FIGS. 8 to 10. To get.
  • the gradient position acquisition unit 42 detects the position of the gradient present on the road surface based on the distance between the detection points P1, P2, and P3 output from the laser scanner 28.
  • the gradient value acquisition unit 44 calculates the magnitude of the gradient (gradient value, gradient angle) based on the distance between the detection points P1, P2, and P3 output from the laser scanner 28 as described in FIG. As described with reference to FIGS.
  • the gradient identifying unit 46 determines whether the road surface in front of the vehicle 1 is a relatively uphill road surface based on the detection results of the detection points P1, P2, and P3 of the laser scanner 28. Identify whether the road surface is downhill. When the distance to the detection points P1, P2, and P3 is shorter than when there is no gradient, the gradient identification unit 46 identifies the gradient as an upward gradient. Conversely, if the distance to the detection points P1, P2, P3 is longer than when there is no gradient, it is identified as a downward gradient.
  • the gradient acquisition unit 34 may acquire a relative inclination (relative gradient value) of the road surface ahead of the vehicle 1 based on the detection result of the laser scanner 28 with reference to the road surface on which the vehicle 1 exists. it can.
  • the image processing unit 36 performs processing for adding various information to the front image of the vehicle 1 based on the captured image data output from the imaging unit 15c.
  • the course index calculation unit 48 estimates the progress of the front wheels 3F of the vehicle 1 based on the detection result (the steering angle (steering angle) of the vehicle 1) of the steering angle sensor 19 acquired by the steering angle acquisition unit 32 via the in-vehicle network 23.
  • a course index indicating the direction is calculated.
  • the course index is, for example, a guide line that acquires the direction in which the vehicle 1 turns based on the steering angle of the front wheel 3F (the direction in which the front wheel 3F passes) and extends from the front wheel 3F to, for example, 2 m ahead along the direction.
  • the course index moves in conjunction with the steering direction and the steering angle of the steering unit 4 (detection result of the steering angle sensor 19), it can indicate the traveling direction of the vehicle 1 designated by the steering unit 4. Further, the course index may be substantially the same width as the width of the wheel 3. In this case, when the vehicle 1 moves forward according to the course indicator, the actual wheel 3 passes through the position (road surface) on the image on which the course indicator is superimposed. Therefore, it is possible to make the driver easily imagine the passing state of the wheel 3 by displaying the course indicator.
  • the superimposing unit 50 superimposes the course index calculated by the course index calculating unit 48 on the image (actual image) based on the captured image data captured by the imaging unit 15 according to the detection result of the steering angle sensor 19.
  • the course indicator is superimposed with a display color determined, for example, according to the notification content based on the gradient value.
  • FIG. 12 shows a screen 8 a including a course indicator R as a display example of the display device 8.
  • the display device 8 divides the display area into a plurality of images and displays images in various directions, an inclinometer 60 indicating the attitude of the vehicle 1, and the like.
  • the front display area FV is arranged at the upper center of the display area of the display device 8
  • the left display area SVL is arranged obliquely to the lower left
  • the right display area SVR is arranged obliquely below the front display area FV.
  • an attitude display area PV for displaying the inclinometer 60 is disposed below the front display area FV.
  • the front display area FV includes a route index R indicating the estimated travel direction of the vehicle 1, a front reference line Qa indicating a distance from the front end 2c of the vehicle body 2, a side end 2d of the vehicle 2 laterally, A side reference line Pa or the like indicating an approximate distance from 2f is superimposed and displayed.
  • the front reference line Qa and the side reference line Pa are also superimposed on the left display area SVL and the right display area SVR so that the correspondence between the front display area FV, the left display area SVL, and the right display area SVR can be easily understood. It is displayed.
  • a ground line Pab indicating a grounding position of the front wheel 3F is attached to the side reference lines Pa of the left display area SVL and the right display area SVR so that the position of the front wheel 3F can be easily understood.
  • the inclinometer 60 displays the left-right direction inclination (roll angle) and the front-rear direction inclination (pitch angle) of the vehicle 1 in the posture of the symbol 62 based on the signal from the acceleration sensor 26 (26a, 26b).
  • the notification control unit 38 follows the gradient value acquired by the gradient value acquisition unit 44 and the attitude (inclination) of the vehicle 1 with respect to the horizontal, that is, the gradient difference between the road surface on which the vehicle 1 currently exists and the road surface to be headed from now on, that is, the vehicle
  • the gradient with reference 1 gradient angle K
  • the driver is notified that there is a gradient on the road surface that may cause the vehicle 1 to be unable to travel.
  • the comparison unit 52 uses the relative gradient value K calculated by the gradient value acquisition unit 44 and the approach angle M1 and ramp breakover determined at the time of designing the vehicle 1 stored in advance in a storage device such as the ROM 14b or the SSD 14f.
  • a reference gradient value based on the angle M2 or the like is compared with whether or not there is a gradient to be notified on the road surface on which the vehicle 1 is going.
  • the gradient acquisition unit 34 adds the gradient value K calculated by the gradient value acquisition unit 44 and the inclination of the vehicle 1 (own vehicle) calculated from the detection result of the acceleration sensor 26 to obtain a horizontal level.
  • a slope value (absolute slope value) for can be obtained.
  • the comparison unit 52 compares the absolute value of this gradient with the climbing ability (downhill ability) of the vehicle 1, and whether it is close to the uphill limit (downhill limit) or exceeds the uphill limit (downhill limit). Whether or not can be detected. In this case, when the vehicle 1 travels as it is, the comparison unit 52 determines whether or not there is a gradient that may exceed the climbing limit (downhill limit) that should be notified on the road surface (possibly impossible to travel). Will be detected.
  • the display mode determination unit 54 determines a notification mode to be displayed on the display device 8 based on the comparison result when the gradient to be notified by the comparison unit 52 is detected. For example, when notification is performed by changing the display color of the route index R, if there is a high possibility that the vehicle 1 cannot travel, the display color of the route index R is determined to be “red”. Further, when the vehicle does not become inoperable but requires sufficient attention, the display color of the route indicator R is determined to be “orange”. If there is a gradient that should be noted, the display color of the course index R is determined to be “yellow”.
  • the course indicator R is displayed in a normal color, for example, “blue” or “white”, when there is unevenness but it is not recognized as a gradient or when notification is not particularly required. Even when the route indicator R is displayed in the normal color, since the route indicator R is superimposed and displayed on the actual image captured by the imaging unit 15, it is easy to recognize the state of the road surface on which the vehicle 1 is about to travel, Guidance for safe driving can be performed. In this way, by changing the display mode and performing notification step by step, it is easy to call attention and not depending on the situation, so it is difficult to feel annoyance due to excessive notification Can do.
  • the display mode determination unit 54 can perform display according to the display mode set by the user using the operation input unit 10, the operation unit 14g, or the like.
  • the hue of the region where the gradient to be notified exists or the luminance may be changed.
  • an edge emphasis process may be performed on a region where a gradient to be notified exists, and an object or the like may be highlighted to alert the user.
  • the display mode (hue, luminance, edge enhancement, etc.) may be changed according to the level of alerting.
  • the notification unit 56 determines the notification content according to the detection result of the comparison unit 52 and the display mode determined by the display mode determination unit 54.
  • the output unit 40 outputs the notification content determined by the notification control unit 38 toward the display control unit 14d.
  • FIG. 12 shows an example in which notification regarding gradient information is performed using the route index R.
  • the display color of the course indicator R described above is changed to a color different from the normal time.
  • an inclination of an angle equal to or larger than the approach angle M1 exists on the course indicator R shown for the right front wheel 3F, and the display color of the course indicator R is displayed as, for example, “red”.
  • the direction indicated by the route index R changes accordingly.
  • the positional relationship between the course of the front wheel 3F and the gradient to be noted changes. That is, the notification state shifts to a state that does not require attention or shifts to a state that requires more attention. Therefore, in the case of the periphery monitoring system 100 according to the present embodiment, when the notification regarding the gradient is performed by the course indicator R, the front wheel 3F is steered so as to search for a direction in which the notification is not performed, so that the traveling can be performed more easily. The driver can be searched for possible courses.
  • FIGS. 13 and 14 are flowcharts for explaining an example of a processing procedure in the case where gradient information is displayed in the periphery monitoring system 100.
  • FIG. FIG. 13 shows the first half of the process
  • FIG. 14 shows the second half of the process. Note that the flowcharts shown in FIGS. 13 and 14 show an example in which notification regarding gradient information is performed using the route index R superimposed and displayed on the actual image displayed on the display device 8.
  • the ECU 14 checks whether or not a condition for providing gradient information is satisfied (S100). For example, when the display mode of the display device 8 is not the display mode of the course indicator R or when the speed of the vehicle 1 is a predetermined speed or less (for example, 10 km / h or less), the condition for providing the gradient information is not satisfied. (No in S100). That is, it is considered that the vehicle 1 normally travels on a road surface with little change in gradient and provision of gradient information is unnecessary, and this flow is temporarily terminated.
  • the ECU 14 causes the state information acquisition unit 30 to acquire the output from the laser scanner 28, and the road surface state in the traveling direction (front) of the vehicle 1 Is obtained (S102).
  • the gradient acquisition unit 34 calculates the gradient position and the gradient value K based on the information acquired by the state information acquisition unit 30 (S104).
  • the comparison unit 52 compares the warning gradient M stored in the storage device such as the ROM 14b or the SSD 14f with the calculated gradient value K (S106).
  • the warning gradient M includes a gradient that may cause the vehicle 1 to be unable to travel, and refers to a gradient that requires attention when traveling. That is, it does not include a gradient that can be overcome by normal driving.
  • the gradient identification unit 46 confirms whether the gradient to be noted is an upward gradient (S108). If the gradient is an upward gradient (Yes in S108), the comparison unit 52 Compares the comparison gradient A and the gradient value K stored in the storage device such as the ROM 14b or the SSD 14f (S110). In this case, the comparison gradient A is a reference upward gradient value, for example, the approach angle M1.
  • the display mode determination unit 54 sets the route index R as the notification mode. It is determined that the notification is performed with the display color “red” (S112).
  • the comparison unit 52 determines whether or not the comparison gradient B ⁇ gradient value K ⁇ comparative gradient A (S114).
  • the comparison gradient B is, for example, the ramp breakover angle M2.
  • the road surface to which the vehicle 1 is headed is an uphill slope, and it is detected whether or not sufficient attention is required although the vehicle 1 does not become inoperable due to the uphill slope.
  • the comparison result is comparison gradient B ⁇ gradient value K ⁇ comparison gradient A (Yes in S114), that is, the vehicle 1 does not become unmovable due to the approach to the uphill gradient, but sufficient attention is required for traveling. Is required, the display mode determination unit 54 determines to perform notification with the display color of the route indicator R being “orange” as the notification mode (S116).
  • the display mode determination unit 54 determines to perform notification with the display color of the route index R as “yellow” as the notification mode (S118).
  • the comparison unit 52 compares the gradient value K with the comparison gradient B that is the ramp breakover angle M2 (S120). In this case, the comparison gradient B is a reference downward gradient value. If the comparison gradient B ⁇ gradient value K (Yes in S120), that is, if there is a possibility that the vehicle body bottom portion 2y may come into contact with the road surface connection portion GR and cannot travel, the display mode determination unit 54 notifies the user.
  • the display color of the route index R is to be notified as “red 2” that is different from “red” indicating the possibility of inability to travel when climbing up (S122).
  • Red 2 is, for example, a clearer red, a blinking display of red, or the like, and makes it possible to identify that there is a possibility of being unable to travel on a downward slope. It should be noted that other display colors and display forms may be used to indicate the possibility of being unable to travel on a downward slope.
  • the process proceeds to S118, and the display mode determination unit 54 determines to perform notification with the display color of the route indicator R as “yellow” as the notification mode (S118).
  • the process proceeds to the flowchart of FIG. 14, and the CPU 14 a acquires the current steering angle of the vehicle 1 (direction in which the driver is going to advance) indicated by the steering angle sensor 19 by the steering angle acquisition unit 32 (S ⁇ b> 124). Then, the course index calculation unit 48 calculates the course index R based on the current steering angle (S126), and the display mode determination unit 54 determines whether or not a gradient equal to or greater than the warning gradient M exists on the superimposed course index R. (S128). When a gradient greater than the warning gradient M exists on the route index R (Yes in S128), the display mode determination unit 54 changes the display color of the route index R to the display color determined based on the comparison result of the comparison unit 52. (S130).
  • the display mode determination unit 54 does not change the display color of the route index R, and the display color is, for example, the standard color “blue” (S132).
  • the superimposing unit 50 superimposes the course index R for which the calculated display color is determined on the image based on the captured image data captured by the imaging unit 15 (S134), and the output unit 40 captures the image captured by the imaging unit 15.
  • Data (information) in which the course index R is superimposed on the actual image is output to the display control unit 14 d and displayed on the display device 8.
  • the end condition is, for example, when the display mode of the display device 8 is switched to a mode in which the route index R is not displayed, for example, when the display mode is switched to a navigation screen or an audio screen, or when the speed of the vehicle 1 is a predetermined speed (for example, This is a condition that can be regarded as being established when the speed exceeds 10 km / h. That is, it is a condition for determining that presentation of gradient information is unnecessary.
  • the periphery monitoring system 100 displays the course information R including the gradient information on the displayed route index R based on the operation state of the steering unit 4 (steering wheel), thereby allowing the driver to proceed.
  • the state of the road surface and the risk level of the road surface can be easily notified.
  • FIG. 15 is a diagram showing another display example of the gradient information by the display device 8.
  • the course index R is applied to an image obtained by performing distortion correction or the like on the captured image data captured by the imaging unit 15 c and converting the captured image data to a state close to the scenery visually recognized by the driver. A superimposed image is displayed.
  • the course index R shown in FIG. 15 is not two-dimensionally displayed as shown in FIG. 12, but is three-dimensionally displayed corresponding to the change in gradient.
  • the notification control unit 38 can change the display mode of at least a part of the course indicator R. In the case of FIG.
  • a symbol 64 overlooking the vehicle 1 and a divided area 66 (for example, 5 ⁇ 5) divided into a plurality of parts are shown.
  • the average value of the gradient values included in the region is calculated, and the display color is determined by comparison with the comparison gradient A and the comparison gradient B.
  • the divided region 66a is indicated by “red”. Further, the area around the divided area 66a displayed in “red” needs to be noted, and the same “red” warning display 66ab is also displayed.
  • the divided area 66b in which the average gradient value does not result in the inability to travel but requires sufficient attention is indicated by “yellow”.
  • the surrounding area of the divided area 66b displayed as “yellow” is also set to the same “yellow” alerting display 66bb because attention is required.
  • the alert display 66ab and the alert display 66bb color a part of the divided area 66, but the entire corresponding divided area 66 may be colored.
  • the symbol 64 and the divided area 66 displayed as the sub screen area SV may be displayed in the main screen area MV, and the actual image including the course indicator R may be displayed in the sub screen area SV. Further, only the actual image including the course indicator R may be displayed on the display device 8, or only the symbol 64 and the divided region 66 may be displayed.
  • the gradient information is acquired by the laser scanner 28 and the sub-screen area SV of FIG. 15 is displayed, the data acquired by the laser scanner 28 is stored for a certain period, and the entire area is displayed by data including the past data. I try to do it.
  • the display mode of the entire course indicator R is changed.
  • a front reference line Qa indicating a guideline of the distance from the front end portion 2c of the vehicle body 2 is displayed in the front display area FV. Therefore, even in the case of the display mode as shown in FIG. 12, the relative positional relationship between the gradient position and the vehicle 1 is displayed, and it becomes possible for the driver to make an intuitive notification so that the gradient position can be easily understood.
  • the example in which the course index R is superimposed and displayed on the actual image (three-dimensional display) and the gradient information is included in the course index R is shown.
  • the display example shown in FIG. In this way, the route index R is not displayed, and the image processing such as changing the hue and brightness of the region where the object including the gradient is present, or performing the edge enhancement processing on the region including the gradient is displayed.
  • the comparison result of the notification control unit 38 (comparison unit 52) is displayed on the device 8.
  • the notification control unit 38 (display mode determination unit 54) notifies the region MN that the main screen region MV of the display device 8 is regarded as having no gradient to be notified.
  • FIG. 16 projects a captured image on a predetermined three-dimensional projection diagram as one of image processing of captured image data.
  • an image in which a predetermined range is set to the notification level around the gradient position detected by the gradient position acquisition unit 42 for example, an image in which “red” is enhanced.
  • the luminance within a predetermined range may be increased around the gradient position detected by the gradient position acquisition unit 42.
  • known edge enhancement filter processing is performed on a predetermined range around the gradient position detected by the gradient position acquisition unit 42 with respect to the image based on the captured image data captured by the imaging unit 15. As a result, it is possible to make the gradient position requiring attention stand out.
  • image processing such as hue change processing, luminance change processing, and edge enhancement processing may be performed only on a gradient portion to be notified.
  • hue change processing, luminance change processing, and edge enhancement processing are performed only on the gradient portion to be notified. For example, for the entire region MP where the gradient to be notified exists with the separation line H as a boundary. Thus, hue change processing, luminance change processing, edge enhancement processing, and the like may be performed. In this case, it is possible to display so as to emphasize that the area beyond this is an area to be noted.
  • the route index R when the route index R is used, the route index R is displayed in a state where it is extended to a specified length (for example, 2 m ahead) including a position where the vehicle 1 may not be able to travel. An example to do.
  • the display of the route index R may be stopped at a position where the vehicle 1 may be unable to travel.
  • the route indicator R is not displayed in the middle, so that it can be notified that the subsequent travel is impossible.
  • a portion where the route index R is cut off may be highlighted in red or the like, and it may be informed that traveling is impossible because the gradient change is large.
  • the example in which the laser scanner 28 is used to acquire the state information indicating the road surface state in the traveling direction of the vehicle 1 has been described.
  • Any device that can be acquired in association can be used.
  • a stereo camera may be used in place of the laser scanner 28.
  • it is provided at the position of the front end 2c of the vehicle 1, for example, a front bumper or a front grill. Since the captured image data obtained from the stereo camera can acquire a wide range of gradient information in the forward direction of the vehicle 1, more accurate gradient information can be provided.
  • the gradient state may be notified by voice.
  • the voice output device 9 outputs a message such as “There is a slope that cannot be overcome 2 meters ahead” or “There is a slope that must be traveled with sufficient caution 2 meters ahead”. Good.
  • the gradient information may be provided by combining the display by the display device 8 and the sound by the sound output device 9. Further, as shown in the sub-screen area SV of FIG. 15, when it is possible to detect a gradient state and the presence / absence of a gradient over a wide range in front of the vehicle 1, the direction in which the steering unit 4 is operated can be a safe path. May be notified by voice or the like.
  • FIGS. 13 and 14 show an example in which when the vehicle 1 continues to travel, the road surface and the vehicle body bottom 2y come into contact with each other (rubbing), and a case in which traveling may become impossible is shown. It was. That is, the gradient acquisition unit 34 acquires the relative gradient of the road surface ahead of the vehicle 1 as the gradient value with reference to the road surface on which the vehicle 1 exists, and the reference gradient value (comparative gradient value A, comparative gradient value). An example of comparison with B) was shown. In another embodiment, when the vehicle 1 continues traveling on a road surface including a slope (second road surface connected to the first road surface), the ECU 14 may be unable to travel beyond the climbing ability or downhill ability. You may make it alert
  • the gradient acquisition unit 34 uses, as a gradient value, a gradient obtained by adding the current gradient of the vehicle 1 to the relative gradient of the road surface going from now on, that is, an estimated gradient (absolute gradient) of the vehicle 1 with respect to the horizontal. get.
  • the gradient acquisition unit 34 uses a first road surface (for example, an uphill road surface) on which the vehicle 1 is present as a reference, and a relative second road surface (for example, an uphill road surface) ahead of the vehicle 1. Get the tilt.
  • the gradient position acquisition unit 42 acquires this relative inclination based on the detection result of the laser scanner 28.
  • the gradient acquisition unit 34 acquires the inclination of the vehicle 1 existing on the first road surface (the road surface of the upward gradient) based on the detection result of the acceleration sensor 26. And the gradient acquisition part 34 acquires the inclination with respect to the horizontal anticipated when the vehicle 1 approachs the 2nd road surface by adding the present inclination of the vehicle 1 to the relative inclination of the front road surface. be able to.
  • the comparison unit 52 can determine whether or not there is a possibility that the vehicle 1 may not be able to travel when the vehicle 1 continues traveling by comparing the calculated inclination with respect to the horizontal and the uphill limit value. The same applies when the first road surface and the second road surface have a downward slope.
  • the gradient directions of the first road surface and the second road surface are opposite, the inclination of the vehicle 1 when entering the second road surface is calculated by adding both.
  • the display mode determination unit 54 determines the display mode of notification based on this determination result. For example, when the inclination with respect to the horizontal exceeds the climbing ability (downhill ability), the route indicator R to be displayed is determined to be displayed in red. In addition, the climbing ability (downhill ability) is not exceeded, but when sufficient attention is required, the course index R is determined to be displayed in orange. Similarly, based on the comparison result with the climbing ability (downhill ability), the display form of the route index R is determined to be yellow display or normal display color.
  • the periphery monitoring system 100 of the present embodiment when the vehicle 1 tries to enter a road surface of another characteristic (for example, a gradient) from the road surface that currently exists, the front bumper 2x, the vehicle body bottom 2y, and the like are on the road surface. It is possible to detect in advance when it becomes impossible to run by touching the vehicle, or when it becomes impossible to run because it exceeds the driving ability (climbing ability or downhill ability), and it is possible to notify the driver. Can be determined more accurately.
  • another characteristic for example, a gradient

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

周辺監視装置は、車両の進行方向における路面の状態を示す状態情報に基づいて、路面上の勾配位置および勾配値を取得する勾配取得部を備える。また、取得した勾配値と車両が通過可能な基準勾配値とを比較し、その比較結果を勾配位置と関連付けて報知する報知制御部を備える。

Description

周辺監視装置
　本発明の実施形態は、周辺監視装置に関する。
　従来、車載カメラで撮像した車両の周辺映像を車室内に配置された表示装置に表示することにより、車両が進もうとしている路面の状況を通知する技術が知られている。
特許第５３３７８７８号公報
　しかしながら、車載カメラで撮影した周辺画像だけでは、路面の実際の凹凸状態が分かりにくい場合がある。また、凹凸状態が十分に把握できない場合、実際にその凹凸を乗り越えて走行を継続できるか否かの判断が難しい場合がある。例えば、車体底面を擦って破損してしまう可能性があるか否か、車体底面が凸部に乗り上げ車輪に駆動力が伝わらなくなり走行不能になる可能性があるか否か等の判断がし難い場合がある。
　そこで、本発明の課題の一つは、路面状況を示す新たな情報を運転者に提供して、走行の可否判断を容易に行わせることができる周辺監視装置を提供することである。
　本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向における路面の状態を示す状態情報に基づいて、上記路面上の勾配位置および勾配値を取得する勾配取得部と、上記勾配値と上記車両が通過可能な基準勾配値とを比較し、その比較結果を上記勾配位置と関連付けて報知する報知制御部と、を備える。この構成によれば、例えば、斜面や凹凸により路面に勾配が存在する場合、その勾配の大きさ（勾配値）と勾配の存在する位置を検出して、路面の勾配値と車両が通過可能な基準勾配値とを比較して、その比較結果を運転者に報知する。その結果、運転者に走行可能な路面か否かを認識させやすくすることができる。
　また、上記周辺監視装置において、例えば、上記勾配取得部は、上記勾配値として、上記車両が存在する路面を基準として当該車両の前方の路面の相対的な傾きを取得してもよい。この構成によれば、例えば、車両が現在存在する路面に続く路面が、現在の路面の状況に拘わらず例えば車両の底部と接触する（擦る）路面か否かが検出できるので、走行可否の判定をより正確に行うことができる。
　また、上記周辺監視装置において、例えば、上記勾配取得部は、上記勾配値として、水平に対する傾きを取得してもよい。この構成によれば、例えば、車両前方で当該車両が進入しようとする路面の水平に対する傾きを取得する。その結果、車両が登坂能力（降坂能力）を超える路面に進入しようとしているか否かの判定が可能になり、路面状況に応じた走行可否の判定をより正確に行うことができる。
　また、上記周辺監視装置において、例えば、上記報知制御部は、上記車両を基準に上記勾配位置を報知してもよい。この構成によれば、例えば、車両（自車）の前方何メートルの位置に注意すべき勾配が存在するかを報知できる。その結果、運転者により具体的な情報が提供可能となり、走行可能な路面か否かをより判断させやすくすることができる。
　また、上記周辺監視装置において、例えば、上記勾配取得部は、上記勾配位置における勾配が、上り勾配か下り勾配か識別し、上記報知制御部は、上記勾配が上記上り勾配の場合は基準上り勾配値と比較し、上記勾配が上記下り勾配の場合は基準下り勾配値と比較してもよい。この構成によれば、例えば、路面状況に応じた走行可否の判定をより正確に行うことができる。
　また、上記周辺監視装置において、例えば、上記報知制御部は、上記車両の周辺状況を撮像する撮像部から出力された撮像画像データに基づく画像を表示する表示装置に上記勾配位置と上記車両との相対位置関係を表示してもよい。この構成によれば、例えば、勾配位置と車両との相対位置関係が表示装置に表示されるので、走行可能な路面か否かを視覚的に認識させやすく、運転者に直感的な判断をさせやすくすることができる。
　また、上記周辺監視装置において、例えば、上記報知制御部は、上記撮像画像データに基づく画像に画像処理を加えて上記表示装置に上記比較結果を表示させてもよい。この構成によれば、例えば、勾配が大きく（勾配値の大きく）注意喚起が必要な部分を視覚的に強調表示することができる。例えば、色相を変えたり、見え方を変えたりすることで、走行可能な路面か否かをより明確に報知することが可能になり、運転者に直感的な走行可否の判断をさせやすくすることができる。
　また、上記周辺監視装置において、例えば、上記撮像画像データに基づく画像に、上記車両の舵角に基づく車輪の進行推定方向を示す進路指標を重畳する画像処理部をさらに含み、上記報知制御部は、上記進路指標上に上記勾配位置が存在する場合に上記比較結果を上記進路指標とともに上記表示装置に表示させてもよい。この構成によれば、例えば、進路指標上に勾配位置が存在する場合、その旨が報知される。したがって、これから進もうとする方向が走行不能な路面か否かを運転者に容易に判断させることができる。また、舵角を変化させて進路指標を勾配位置から移動させることができるので、走行可能な進路の選択を容易に行わせることができる。
　また、上記周辺監視装置において、例えば、上記報知制御部は、上記進路指標の少なくとも一部の表示態様を変更してもよい。この構成によれば、例えば、表示されている進路指標の途中から注意喚起を示す表示色にしたり、強調表示したりすることができる。この場合、注意を払うべき場所をより正確に報知することができる。その結果、より適切な進路の選択を行わせやすくなる。
図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図４は、実施形態にかかる周辺監視装置に搭載されるレーザスキャナによる勾配検出の例であり、車両前方の路面が水平である場合のレーザ光の検出点を示す説明図である。 図５は、実施形態にかかる周辺監視装置に搭載されるレーザスキャナによる勾配検出の例であり、車両前方の路面に立体物が存在する場合のレーザ光の検出点を示す説明図である。 図６は、実施形態にかかる周辺監視装置に搭載されるレーザスキャナによる勾配検出の例であり、車両前方の路面の勾配が変化している場合のレーザ光の検出点を示す説明図である。 図７は、実施形態にかかる周辺監視装置を搭載する車両における、アプローチアングル、ランプブレークオーバーアングル、デパーチャーアングルを説明する図である。 図８は、実施形態にかかる周辺監視装置を搭載する車両が上り勾配を上る場合を説明する説明図である。 図９は、実施形態にかかる周辺監視装置を搭載する車両が上り勾配から水平な路面に進む場合を説明する説明図である。 図１０は、実施形態にかかる周辺監視装置を搭載する車両が水平な路面から下り勾配を降りる場合を説明する説明図である。 図１１は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される勾配情報の報知を実現するための制御部（ＣＰＵ）の構成の一例を示すブロック図である。 図１２は、実施形態にかかる周辺監視装置による勾配情報を表示する表示画面の一例を説明する図である。 図１３は、実施形態にかかる周辺監視装置において、勾配情報を表示する場合の処理手順の前半部分を説明するフローチャートである。 図１４は、実施形態にかかる周辺監視装置において、勾配情報を表示する場合の処理手順の後半部分を説明するフローチャートである。 図１５は、実施形態にかかる周辺監視装置による勾配情報を表示する表示画面の他の例を説明する図である。 図１６は、実施形態にかかる周辺監視装置による勾配情報を表示する表示画面の他の例を説明する図である。
　以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
　本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両である。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
　図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
　また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
　また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic　control　unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
　また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み等）を含む車両１の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。
　撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。周辺監視システム１００を構成するＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみ強調されるような画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換（視点変換）することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。
　また、図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６（２６ａ，２６ｂ）、レーザスキャナ２８等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６、レーザスキャナ２８等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
　ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の進行推定方向を示す進路指標（予測進路線）の演算、路面の勾配状態の算出、その勾配に対して注意喚起を行うための報知処理等の各種の演算や処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。
　ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。
　ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
　舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
　アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
　シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
　車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。
　加速度センサ２６（２６ａ、２６ｂ）は、例えば車両１に２個設けられている。ＥＣＵ１４は、加速度センサ２６（２６ａ、２６ｂ）からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。
　レーザスキャナ２８は、例えば、車体２の前側の車体（車両前後方向の前方側の端部２ｃ）に設けられ、車両１の進行方向における路面の状態を示す状態情報を取得する。レーザスキャナ２８は、センサ内部の光源（レーザダイオード等）から照射されたレーザ光が、測定対象物（例えば、路面や立体物）にあたると反射され、受光素子で受光される。このとき受光した反射光を評価、演算することで、レーザ光が反射した位置までの距離を算出する。その結果、ＥＣＵ１４は、路面の状態、例えば勾配の有無や勾配が存在する位置（勾配位置）、勾配の大きさ（勾配値）、勾配の状態（上り勾配、下り勾配）等の車両１が存在する路面を基準として当該車両１の前方の路面の相対的な状態情報（勾配情報、相対的な傾き）を取得する。
　図４～図６を用いて、レーザスキャナ２８による路面の状態情報の取得例を説明する。レーザスキャナ２８は、車両１の前方の所定距離（例えば２ｍ）の路面に向けて複数本（例えば３本）のレーザ光を照射する。レーザ光Ｌ１，Ｌ２，Ｌ３の光路は、車両１の前後方向に僅かにずれるように調整される。この状態でレーザスキャナ２８は、レーザ光Ｌ１，Ｌ２，Ｌ３を車幅方向に走査する。このとき、例えば、図４に示すように、車両１が水平な路面Ｇ０に存在する場合、レーザスキャナ２８は車両１に固定されているので、各レーザ光Ｌ１，Ｌ２，Ｌ３は、予め設定された位置で反射されて受光部に戻る。つまり、各レーザ光Ｌ１，Ｌ２，Ｌ３が出射されてから受光されるまでの時間差が予め設定された値となる。この時間差を解析することにより、検出点Ｐ１，Ｐ２，Ｐ３までの距離が算出できる。そして、算出された距離が予め設定された距離に一致すると見なせる場合、検出点Ｐ１，Ｐ２，Ｐ３が水平な路面Ｇ０上に存在する、つまり、検出点Ｐ１，Ｐ２，Ｐ３が反射する路面が水平な路面Ｇ０であることが検出できる。
　一方、図５に示すように、車両１の前方に立体物Ｔ（例えば岩等）が存在する場合、そこに上り勾配が存在することになる。この場合もレーザ光Ｌ１，Ｌ２，Ｌ３は、立体物Ｔの表面Ｔ１で反射されレーザスキャナ２８の受光部に戻る。つまり、レーザ光Ｌ１，Ｌ２，Ｌ３を出射してから受光するまでの時間差が図４の水平な路面Ｇ０で反射した場合と異なる。この時間差を解析することにより、立体物Ｔまでの距離、つまり、勾配の位置が検出できる。また、勾配の程度（勾配値、勾配角度）によって、各レーザ光Ｌ１，Ｌ２，Ｌ３が反射して戻るまでの時間が異なるため、この時間差の解析により、検出点Ｐ１，Ｐ２，Ｐ３が存在する表面Ｔ１の勾配が検出できる。
　図６は、車両１が下り勾配の路面Ｇ１に存在し、前方に水平な路面Ｇ０が存在する場合である。この場合、現在車両１が存在する路面Ｇ１を基準にすると、前方に水平な路面Ｇ０に接続された部分で勾配が変化することになる。この場合もレーザ光Ｌ１，Ｌ２，Ｌ３を出射してから受光するまでの時間差が図４の水平な路面Ｇ０で反射した場合と異なる。このとき、ＥＣＵ１４は、加速度センサ２６の出力信号に基づき、車両１の姿勢、つまり、現在上り勾配に存在するか下り勾配に存在するかが検出できる。各レーザ光Ｌ１，Ｌ２，Ｌ３の受光までの時間差に基づき、車両１を基準とした勾配の程度（勾配値）や勾配の位置、勾配の変化状態等が検出できる。このように、レーザスキャナ２８によって、車両１の前方の路面の勾配値や勾配位置が検出できる。
　なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。例えば、レーザスキャナ２８に代えてステレオカメラを設けて、勾配検出を実行してもよい。
　ところで、車両１は、設計の段階でどの程度の勾配の路面を走行できるかが決まる。例えば、凹凸路等急勾配の路面を走行する可能性のある四輪駆動車両を含め車両１には、図７に示されるように、アプローチアングルＭ１、ランプブレークオーバーアングルＭ２、デパーチャーアングルＭ３が設定される。アプローチアングルＭ１は、前輪３Ｆの接地点からフロントバンパ２ｘの前端までの角度のことで、斜面や障害物を乗り越えるときに、フロントバンパ２ｘが接触するか否かの目安となる。また、ランプブレークオーバーアングルＭ２は、前輪３Ｆと後輪３Ｒの接地点から伸びる直線をホイールベース中心の車体底部２ｙで交差させたとき、交差する直線の上下方向の角度のことで、斜面の頂上や障害物を乗り越えるときに、車体底部２ｙが接触するか否かの目安となる。デパーチャーアングルＭ３は、後輪３Ｒの接地点からリアバンパ２ｚの後端までの角度のことで、斜面や障害物を乗り越えるときに、リアバンパ２ｚが接触するか否かの目安となる。
　これらの角度（勾配）を越える路面に車両１が進入した場合、車輪３が路面から浮き上がり車輪３の駆動力が路面に伝達されず、走行不能となる場合がある。例えば、図８に示すように、水平な路面Ｇ０を走行している車両１が上り勾配の路面Ｇ２に進入しようとする場合、その路面Ｇ２と路面Ｇ０との勾配差、すなわち、車両１を基準とする勾配（勾配角Ｋ）がアプローチアングルＭ１以上の場合、フロントバンパ２ｘが路面Ｇ２に接触して走行不能となる可能性がある。そこで、ＥＣＵ１４は、レーザスキャナ２８による検出点Ｐ１，Ｐ２，Ｐ３に基づき勾配値を取得する。例えば、車両１が水平な路面Ｇ０を走行する場合、図４に示すように車両１の前方例えば２ｍの位置で検出点Ｐ１，Ｐ２，Ｐ３を検出できていたレーザスキャナ２８は、それより近い位置で検出点Ｐ１，Ｐ２，Ｐ３を検出する。したがって、ＥＣＵ１４は、レーザスキャナ２８が検出した検出点Ｐ１，Ｐ２，Ｐ３までの距離に基づき、図８に示すような状況の場合の勾配角Ｋ（車両１が存在する路面Ｇ０を基準にした場合に前方の上り勾配の勾配角Ｋ）を算出できる。つまり、車両１が存在する路面Ｇ０を基準として当該車両１の前方の路面Ｇ２の相対的な傾き（勾配角Ｋ）を取得することができる。なお、この場合、ＥＣＵ１４は、最初に検出点Ｐ３の距離が短くなった時点で、車両１の前方に当該車両１が存在する路面とは異なる特徴の路面（例えば上り勾配や岩や上り段差等の突出した障害物）が存在することを検出できる。
　図９は、図８とは異なる路面構成の場合を示す例である。図９は、例えば上り勾配の路面Ｇ２を走行している車両１が接続部ＧＲで接続された水平な路面Ｇ０に進入しようとする場合である。この場合も、路面Ｇ０と路面Ｇ２との勾配差、すなわち、車両１を基準とする勾配（勾配角Ｋ）がランプブレークオーバーアングルＭ２以上の場合、車体底部２ｙが路面Ｇ２と路面Ｇ０との接続部ＧＲに接触して走行不能となる可能性がある。この場合、車両１が路面Ｇ２を走行している場合は、レーザスキャナ２８の検出点Ｐ１，Ｐ２，Ｐ３は、図４に示すように、例えば２ｍ先で検出される。そして、車両１が走行を継続すると、レーザスキャナ２８は、図９に示すように、例えば検出点Ｐ３を接続部ＧＲより先の位置で検出するようになる。したがって、ＥＣＵ１４は、レーザスキャナ２８による検出点Ｐ１，Ｐ２，Ｐ３までの距離（検出状態）に基づき、車両１の前方に当該車両１が存在する路面Ｇ２とは異なる特徴の路面Ｇ０が存在することを検出できる。また、この場合、ＥＣＵ１４は、検出点Ｐ１，Ｐ２，Ｐ３までの距離に基づき勾配角Ｋ（車両１が存在する路面Ｇ２を基準にした場合に前方の下り勾配の勾配角Ｋ）を算出できる。つまり、車両１が存在する路面Ｇ２を基準として当該車両１の前方の路面Ｇ０の相対的な傾き（勾配角Ｋ）を取得することができる。なお、ＥＣＵ１４は、加速度センサ２６の検出値に基づき、車両１の姿勢が分かるため、図９に示すように、上り勾配の路面Ｇ２の先に当該路面Ｇ２に対する勾配角Ｋの路面Ｇ０が存在することも検出可能である。
　図１０は、図９とは逆の路面構成の場合を示す例である。図１０は、水平な路面Ｇ０を走行している車両１が接続部ＧＲで接続された下り勾配の路面Ｇ１に進入しようとする場合を示している。この場合も路面Ｇ０と路面Ｇ１との勾配差、すなわち、車両１を基準とする勾配（勾配角Ｋ）がランプブレークオーバーアングルＭ２以上の場合、車体底部２ｙが路面Ｇ０と路面Ｇ１との接続部ＧＲに接触して走行不能となる可能性がある。車両１が走行を継続すると、レーザスキャナ２８の受光部は、検出点Ｐ１，Ｐ２，Ｐ３を例えば、図１０に示すように、接続部ＧＲを越えた路面Ｇ１で検出するようになる。つまり、路面Ｇ０を走行していた場合に２ｍ先で検出できていた検出点Ｐ１，Ｐ２，Ｐ３より遠い位置で検出されることになる。したがって、ＥＣＵ１４は、レーザスキャナ２８による検出点Ｐ１，Ｐ２，Ｐ３までの距離（検出状態）に基づき、車両１の前方に当該車両１が存在する路面Ｇ０とは異なる特徴の路面Ｇ１が存在することを検出できる。また、ＥＣＵ１４は、検出点Ｐ１，Ｐ２，Ｐ３までの距離に基づき勾配角Ｋ（車両１が存在する路面Ｇ０を基準にした場合に前方の下り勾配の勾配角Ｋ）を算出できる。つまり、車両１が存在する路面Ｇ０を基準として当該車両１の前方の路面Ｇ１の相対的な傾き（勾配角Ｋ）を取得することができる。この場合もＥＣＵ１４は、加速度センサ２６の検出値に基づき、車両１の姿勢が分かるため、図１０に示すように、水平な路面Ｇ０の先に当該路面０２に対する勾配角Ｋの路面Ｇ１が存在することも検出可能である。なお、この場合もＥＣＵ１４は、図９の場合と同様に最初の検出点Ｐ３の距離が長くなった時点で、車両１の前方に当該車両１が存在する路面とは異なる特徴の路面が存在することを検出できる。
　従来、走行中の路面の勾配が変化する場合、勾配変化後の路面に進入して走行できるか否かは、勾配の状態（凹凸の状態や上り下りの状態等）を運転者が目視で確認したり表示装置８に表示される画像を確認したりして判断していた。そのため、判断に時間を要したり、誤判断をしたりすることがあった。そこで、本実施形態の周辺監視システム１００を実現するＥＣＵ１４は、一例として、斜面や凹凸により路面に勾配が存在する場合、その勾配の大きさ（勾配値）と勾配の存在する位置を検出して、路面の勾配値と車両１が通過可能な基準勾配値とを比較して、その比較結果を運転者に報知する。報知態様の一例として、表示装置８を用いて報知する。例えば、ＥＣＵ１４は、舵角センサ１９の検出結果から車両１の舵角を検出し、その舵角に基づき車輪３（前輪３Ｆ）の進行推定方向を示す進路指標を表示装置８に表示する機能を備える場合がある。具体的にＥＣＵ１４は、撮像部１５の撮像した撮像画像データに基づく画像、例えば車両１の進行方向の画像を表示装置８に表示している。ＥＣＵ１４は、進路指標をその画像に重畳する場合に、路面の勾配情報を付加して表示することにより、車両１がこれから向かう路面が走行可能か否かを運転者に報知し、運転者が進路の是非や走行可否の判断を行いやすくなるようにする。
　ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような勾配情報を伴う報知を実現するために、図１１に示されるように、状態情報取得部３０、舵角取得部３２、勾配取得部３４、画像処理部３６、報知制御部３８、出力部４０等を含む。そして、勾配取得部３４は、勾配位置取得部４２、勾配値取得部４４、勾配識別部４６等を含む。また、画像処理部３６は、進路指標算出部４８、重畳部５０等を含む。報知制御部３８は、比較部５２、表示態様決定部５４、報知部５６等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
　状態情報取得部３０は、車両１の進行方向における路面の状態を示す状態情報を取得する。例えば、レーザスキャナ２８から出力される検出点Ｐ１，Ｐ２，Ｐ３に関する情報を車内ネットワーク２３を介して取得する。また、車両１に設けられて当該車両１の周辺画像を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。また、車両１の姿勢を示すピッチ角やロール角を取得するために、加速度センサ２６から出力される加速度を取得する。なお、表示装置８に車両１の周囲の画像を表示するのみの場合、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８に出力してもよい。また、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇ等の入力装置を用いて運転者に希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作入力部１０や操作部１４ｇの操作により選択された画像を選択的に表示することができる。例えば撮像部１５ａで撮像した車両１の後方画像を表示装置８に表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。
　舵角取得部３２は、舵角センサ１９から出力される操舵部４（ステアリングホイール）の操作状態に関する情報を取得する。つまり、運転者がこらから車両１を走行させようとしている方向の進路情報を取得する。
　勾配取得部３４は、状態情報取得部３０が取得したレーザスキャナ２８の検出結果に基づき、車両１の進行方向前方の路面の勾配の状態を図４～図６および図８～図１０で説明したように取得する。勾配位置取得部４２は、例えば、図４、図５で説明したように、レーザスキャナ２８から出力される検出点Ｐ１，Ｐ２，Ｐ３の距離に基づき路面に存在する勾配の位置を検出する。また、勾配値取得部４４は、図４で説明したようにレーザスキャナ２８から出力される検出点Ｐ１，Ｐ２，Ｐ３の距離に基づき勾配の大きさ（勾配値、勾配の角度）を算出する。勾配識別部４６は、図８～図１０で説明したように、レーザスキャナ２８の検出点Ｐ１，Ｐ２，Ｐ３の検出結果に基づき、車両１の前方の路面が相対的に上り勾配の路面か、下り勾配の路面かを識別する。勾配識別部４６は、検出点Ｐ１，Ｐ２，Ｐ３までの距離が勾配のない場合に比べて短くなる場合、上り勾配と識別する。逆に、検出点Ｐ１，Ｐ２，Ｐ３までの距離が勾配のない場合に比べて長くなる場合、下り勾配と識別する。なお、勾配取得部３４は、レーザスキャナ２８の検出結果に基づき、車両１が存在する路面を基準として当該車両１の前方の路面の相対的な傾き（相対的な勾配値）を取得することができる。また、レーザスキャナ２８の検出結果と、加速度センサ２６の検出結果に基づく車両１（自車）の現在の路面に対する傾き（姿勢）とを足し合わせることにより、これから向かおうとする路面の水平に対する傾き（絶対的な勾配値）を取得することができる。
　画像処理部３６は、撮像部１５ｃから出力された撮像画像データに基づく車両１の前方画像に種々の情報を付加する処理を行う。進路指標算出部４８は、舵角取得部３２が車内ネットワーク２３を介して取得した舵角センサ１９の検出結果（車両１の舵角（操舵角））に基づき、車両１の前輪３Ｆの進行推定方向を示す進路指標を算出する。進路指標は、例えば前輪３Ｆの舵角に基づき車両１が旋回する方向（前輪３Ｆが通過する方向）を取得し、その方向に沿って前輪３Ｆから例えば２ｍ先まで延びる誘導線である。進路指標は、操舵部４の操舵方向および操舵角度（舵角センサ１９の検出結果）に連動して移動するので、操舵部４によって指定された車両１の進行方向を指すことができる。また、進路指標は、車輪３の幅と略同じ幅としてもよい。この場合、進路指標にしたがって車両１が前進する場合、進路指標が重畳された画像上の位置（路面）を実際の車輪３が通過することになる。したがって、進路指標を表示することにより車輪３のこれからの通過状態を運転者にイメージさせやすくすることができる。重畳部５０は、進路指標算出部４８が算出した進路指標を舵角センサ１９の検出結果に合わせて撮像部１５が撮像した撮像画像データに基づき画像（実画像）に重畳する。なお、進路指標は、勾配値に基づく報知内容に応じて、例えば表示色が決定されて重畳される。
　図１２には、表示装置８の表示例として、進路指標Ｒを含む画面８ａが示されている。図１２に示すように、表示装置８は、表示領域を複数に分割して種々の方向の画像や車両１の姿勢を示す傾斜計６０等を表示する。例えば、表示装置８の表示領域の中央上部に前方表示領域ＦＶが配置され、その左斜め下に左側表示領域ＳＶＬ、前方表示領域ＦＶの右斜め下に右側表示領域ＳＶＲが配置されている。また、前方表示領域ＦＶの下方に、傾斜計６０を表示する姿勢表示領域ＰＶが配置されている。前方表示領域ＦＶには、車両１の進行推定方向を示す進路指標Ｒや車体２の前方側の端部２ｃからの距離の目安を示す前方参考線Ｑａ、車体２の側方の端部２ｄ，２ｆからの距離の目安を示す側方参考線Ｐａ等が重畳表示されている。また、左側表示領域ＳＶＬ、右側表示領域ＳＶＲにも前方参考線Ｑａ、側方参考線Ｐａが重畳され、前方表示領域ＦＶと左側表示領域ＳＶＬおよび右側表示領域ＳＶＲとの対応が理解しやすいように表示されている。なお、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの側方参考線Ｐａには、前輪３Ｆの接地位置を示す接地線Ｐａｂが付され、前輪３Ｆの位置が容易に理解できるようになっている。傾斜計６０は、加速度センサ２６（２６ａ、２６ｂ）からの信号に基づき、車両１の左右方向の傾き（ロール角）や前後方向の傾き（ピッチ角）をシンボル６２の姿勢で表示する。
　報知制御部３８は、勾配値取得部４４が取得した勾配値と車両１の水平に対する姿勢（傾き）にしたがい、現在車両１が存在する路面とこれから向かおうとする路面の勾配差、すなわち、車両１を基準とする勾配（勾配角Ｋ）が例えばアプローチアングルＭ１以上の場合に、車両１が走行不能に陥る可能性のある勾配が路面に存在することを運転者に報知する。
　比較部５２は、勾配値取得部４４が算出した相対的な勾配値Ｋと、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に予め記憶されている車両１の設計時に決定されているアプローチアングルＭ１やランプブレークオーバーアングルＭ２等に基づく基準勾配値をと比較して車両１が向かおうとしている路面に報知すべき勾配が存在するか否かを検出する。また、前述したように、勾配取得部３４は、勾配値取得部４４が算出した勾配値Ｋと加速度センサ２６の検出結果から算出した車両１（自車）の傾きとを足し合わせることにより、水平に対する勾配値（絶対的な勾配値）を得ることができる。比較部５２は、この勾配の絶対値と車両１の登坂能力（降坂能力）とを比較して、登坂限界（降坂限界）に近い場合、または登坂限界（降坂限界）を越えているか否かを検出することができる。この場合、比較部５２は、車両１がこのまま走行した場合、その路面に報知すべき登坂限界（降坂限界）を越える可能性（走行不能になる可能性）のある勾配が存在するか否かを検出することになる。
　表示態様決定部５４は、比較部５２が報知すべき勾配を検出した場合、比較結果に基づき表示装置８に表示する報知態様を決定する。例えば、進路指標Ｒの表示色を変化させて報知を行う場合、車両１が走行不能になる可能性が大きい場合には、進路指標Ｒの表示色を「赤色」に決定する。また、走行不能には至らないが十分な注意を必要とする場合には、進路指標Ｒの表示色を「オレンジ色」に決定する。また、注意しておくことが望ましい勾配が存在する場合には、進路指標Ｒの表示色を「黄色」に決定する。なお、進路指標Ｒは、凹凸があるものの勾配とは認められない場合や特に報知を必要としない場合には、通常色、例えば「青色」や「白色」等で表示される。通常色で進路指標Ｒが表示される場合も撮像部１５で撮像された実画像上に当該進路指標Ｒが重畳表示されているので、車両１が進もうとしている路面の状態を認識させやすく、安全な走行のための案内を行うことができる。このように、表示態様を変えて段階的に報知を実施することにより、注意喚起をさせやすくするとともに、状況に応じては報知しないようにしているため、過剰報知による煩わしさを感じさせ難い表示ができる。なお、この他、表示態様決定部５４は、ユーザが操作入力部１０や操作部１４ｇ等を用いて設定した表示態様に従う表示を行うことができる。例えば、表示装置８に表示されている画像内に報知すべき勾配が存在する場合、報知対象となる勾配が存在する領域の色相を変化させたり、輝度を変化させたりしてもよい。また、報知対象となる勾配が存在する領域に対してエッジ強調処理を施し、物体等の強調表示を行い、注意喚起するようにしてもよい。この場合も注意喚起するレベルに応じて、表示態様（色相や輝度、エッジ強調具合等）を変化させるようにしてもよい。
　報知部５６は、比較部５２の検出結果および表示態様決定部５４が決定した表示態様に従う報知内容を決定する。
　出力部４０は、報知制御部３８が決定した報知内容を表示制御部１４ｄに向けて出力する。
　図１２には、進路指標Ｒを用いて勾配情報に関する報知を行う場合の一例が示されている。例えば勾配角ＫがアプローチアングルＭ１以上の場合には、上述した進路指標Ｒの表示色を通常時とは異なる色に変化させる。図１２の場合、右側の前輪３Ｆのために示されている進路指標Ｒ上にアプローチアングルＭ１以上の角度の勾配が存在し、進路指標Ｒの表示色が例えば「赤色」として表示される。このような表示を行うことにより、現状の操舵角のまま車両１を前進させた場合には、車両１が走行不能になる可能性があることを運転者に通知する。なお、進路指標Ｒを用いた報知を行う場合、運転者が操舵部４（ステアリングホイール）を操作して前輪３Ｆの向きを変えた場合、それに対応して進路指標Ｒの示す方向が変わる。その結果、前輪３Ｆの進路と注意すべき勾配との位置関係が変化する。つまり、報知状態が注意を必要としない状態に移行したり、より注意を必要とする状態に移行したりする。したがって、本実施形態の周辺監視システム１００の場合、進路指標Ｒによって勾配に関する報知が行われた場合、報知が行われない方向を探るように前輪３Ｆを転舵させることにより、より容易に走行が可能な進路を運転者に探させることができる。
　図１３、図１４は、周辺監視システム１００で勾配情報を表示する場合の処理手順の一例を説明するフローチャートである。図１３は処理の前半部分で、図１４は処理の後半部分である。なお、図１３、図１４で示すフローチャートでは、表示装置８に表示される実画像に重畳表示されている進路指標Ｒを用いて勾配情報に関する報知を行う例を示す。
　まず、ＥＣＵ１４は、勾配情報を提供するための条件が成立しているか否かを確認する（Ｓ１００）。例えば、表示装置８の表示モードが進路指標Ｒの表示モードになっていない場合や車両１の速度が所定速度以下（例えば１０ｋｍ／ｈ以下）の場合、勾配情報を提供する条件が成立していないと見なす（Ｓ１００のＮｏ）。つまり、車両１が勾配変化の少ない路面を通常に走行して勾配情報の提供が不要であると見なし、このフローを一旦終了する。
　一方、情報提供条件が成立している場合（Ｓ１００のＹｅｓ）、ＥＣＵ１４（ＣＰＵ１４ａ）は、状態情報取得部３０はレーザスキャナ２８からの出力を取得し車両１の進行方向（前方）における路面の状態を示す状態情報を取得する（Ｓ１０２）。続いて、勾配取得部３４（勾配位置取得部４２、勾配値取得部４４）が状態情報取得部３０の取得した情報に基づき、勾配位置と勾配値Ｋを算出する（Ｓ１０４）。続いて、比較部５２は、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に記憶された警戒勾配Ｍと算出した勾配値Ｋとの比較を行う（Ｓ１０６）。ここで、警戒勾配Ｍとは、車両１が走行不能になる可能性がある勾配を含み、走行するのにあたり注意が必要な勾配を意味する。つまり、通常の運転により乗り越えられる勾配等は含まないものとする。警戒勾配Ｍ≦勾配値Ｋの場合（Ｓ１０６のＹｅｓ）、勾配識別部４６は、注意すべき勾配が上り勾配か否か確認し（Ｓ１０８）、上り勾配の場合（Ｓ１０８のＹｅｓ）、比較部５２は、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に記憶された比較勾配Ａと勾配値Ｋを比較する（Ｓ１１０）。なお、この場合、比較勾配Ａは、基準上り勾配値であり例えばアプローチアングルＭ１である。つまり、車両１が向かう路面が上り勾配であり、その上り勾配への進入により車両１が走行不能になる可能性があるか否かを検出する。そして、比較結果が、比較勾配Ａ≦勾配値Ｋの場合（Ｓ１１０のＹｅｓ）、つまり、車両１が走行不能になる可能性がある場合、表示態様決定部５４は、報知態様として進路指標Ｒの表示色を「赤色」として報知を行うことを決定する（Ｓ１１２）。
　また、Ｓ１１０で、比較勾配Ａ≦勾配値Ｋではない場合（Ｓ１１０のＮｏ）、比較部５２は、比較勾配Ｂ≦勾配値Ｋ＜比較勾配Ａか否か判定する（Ｓ１１４）。比較勾配Ｂは、例えばランプブレークオーバーアングルＭ２である。つまり、車両１が向かう路面が上り勾配であり、その上り勾配で車両１が走行不能には至らないが十分な注意を必要とするか否か検出する。そして、比較結果が、比較勾配Ｂ≦勾配値Ｋ＜比較勾配Ａの場合（Ｓ１１４のＹｅｓ）、つまり、その上り勾配への進入により車両１は走行不能に至らないが、走行には十分な注意が必要な場合、表示態様決定部５４は、報知態様として進路指標Ｒの表示色を「オレンジ色」として報知を行うことを決定する（Ｓ１１６）。
　また、Ｓ１１４で比較勾配Ｂ≦勾配値Ｋ＜比較勾配Ａではない場合（Ｓ１１４のＮｏ）、車両１が向かう路面には勾配が存在するので注意することが望ましい場合と見なせる。そのため、表示態様決定部５４は、報知態様として進路指標Ｒの表示色を「黄色」として報知を行うことを決定する（Ｓ１１８）。
　なお、Ｓ１０８において、上り勾配ではない場合（Ｓ１０８のＮｏ）、つまり、車両１の向かう路面が下り勾配の路面である場合、図１０に示すように、車両１は、車体底部２ｙが下り勾配との接続部分である接続部ＧＲと接触して走行不能になる可能性がある。そこで、比較部５２は、勾配値ＫをランプブレークオーバーアングルＭ２である比較勾配Ｂと比較する（Ｓ１２０）。なお、この場合、比較勾配Ｂは、基準下り勾配値である。そして、比較勾配Ｂ≦勾配値Ｋの場合（Ｓ１２０のＹｅｓ）、つまり、車体底部２ｙが路面の接続部ＧＲと接触して走行不能になる可能性がある場合、表示態様決定部５４は、報知態様として進路指標Ｒの表示色として、上り勾配時に走行不能の可能性を示す「赤色」とは異なる「赤色２」として報知を行うことを決定する（Ｓ１２２）。「赤色２」は、例えば、より鮮明な赤色や、赤色の点滅表示等であり、下り勾配で走行不能になる可能性があることを識別できるようにする。なお、下り勾配で走行不能になる可能性を示す場合、他の表示色や表示形態でもよい。
　また、Ｓ１２０で比較勾配Ｂ≦勾配値Ｋでない場合（Ｓ１２０のＮｏ）、つまり、車両１がこれから向かう路面が下り勾配であるが、勾配値Ｋが比較勾配Ｂ（ランプブレークオーバーアングルＭ２）未満の場合は、Ｓ１１８に移行し、表示態様決定部５４は、報知態様として進路指標Ｒの表示色を「黄色」として報知を行うことを決定する（Ｓ１１８）。
　続いて、図１４のフローチャートに移行し、ＣＰＵ１４ａは、舵角取得部３２により舵角センサ１９の示す現在の車両１の舵角（運転者が進もうとしている方向）を取得する（Ｓ１２４）。そして、現在の舵角に基づき進路指標算出部４８は、進路指標Ｒを算出し（Ｓ１２６）、表示態様決定部５４は、重畳する進路指標Ｒ上に警戒勾配Ｍ以上の勾配が存在するか否か確認する（Ｓ１２８）。進路指標Ｒ上に警戒勾配Ｍ以上の勾配が存在する場合（Ｓ１２８のＹｅｓ）、表示態様決定部５４は、比較部５２の比較結果に基づき決定した表示色に進路指標Ｒの表示色を変更する（Ｓ１３０）。一方、進路指標Ｒ上に警戒勾配Ｋ以上の勾配が存在しない場合（Ｓ１２８のＮｏ）、表示態様決定部５４は進路指標Ｒの表示色の変更は行わず、表示色を例えば標準色の「青色」とする（Ｓ１３２）。
　続いて、重畳部５０は、撮像部１５が撮像した撮像画像データに基づく画像上に算出した表示色が決定された進路指標Ｒを重畳し（Ｓ１３４）、出力部４０は、撮像部１５が撮像した実画像に進路指標Ｒを重畳されたデータ（情報）を表示制御部１４ｄに向けて出力し、表示装置８に表示させる。
　ＥＣＵ１４は、終了条件が成立していることを検出した場合（Ｓ１３６のＹｅｓ）、このフローを一旦終了する。終了条件は、例えば、表示装置８の表示モードが進路指標Ｒを非表示とするモードに切り替わった場合、例えば、ナビ画面やオーディ画面に切り替えられた場合や、車両１の速度が所定速度（例えば１０ｋｍ／ｈ）を越えた場合等に成立したと見なせる条件である。つまり、勾配情報の提示が不要であると判定できる条件である。一方、終了条件が成立していない場合（Ｓ１３６のＮｏ）、つまり、継続して勾配情報の提示が必要であると判定される場合は、Ｓ１０２の処理に戻り、進路指標Ｒの表示色の決定等勾配情報の表示処理を継続する。
　なお、Ｓ１０６において、警戒勾配Ｍ≦勾配値Ｋではない場合（Ｓ１０６のＮｏ）、つまり、勾配情報の提示が必要ない場合、Ｓ１２４に移行して、標準の表示色で進路指標Ｒの表示を行う処理を実行する。
　このように、本実施形態の周辺監視システム１００は、操舵部４（ステアリングホイール）の操作状態に基づいて、表示される進路指標Ｒに勾配情報を含めて表示することにより、運転者にこれから進もうとする路面の状態およびその路面の危険度を容易に報知できる。また、運転者に勾配に関する情報を直感的に理解させやすく、適切に注意喚起することができる。
　図１５は、表示装置８による勾配情報の他の表示例を示す図である。図１５の場合、表示装置８の主画面領域ＭＶには、撮像部１５ｃが撮像した撮像画像データに歪み補正等を施して運転者の視認する風景に近い状態に変換した画像に進路指標Ｒを重畳した画像が表示されている。図１５で示す進路指標Ｒは、図１２で示すような二次元表示ではなく、勾配の変化に対応して三次元表示としている。図１５に示すように、報知制御部３８は、進路指標Ｒの少なくとも一部の表示態様を変更することができる。図１５の場合、右側の前輪３Ｆの進路指標Ｒのうち、走行不能になる可能性のある部分（進路指標Ｒａ）の表示色を変えるとともに、三次元的に勾配があることを表示して、運転者がより注意を払うべき勾配の位置がより理解しやすい報知としている。また、図１５の場合、進路指標Ｒａに文字情報（例えば、Attention）を付加して、より注意喚起しやすいようにしている。
　また、表示装置８のサブ画面領域ＳＶには、車両１を俯瞰したシンボル６４と複数に分割された分割領域６６（例えば、５×５）が示されている。各分割領域６６は、その領域内に含まれる勾配値の平均値が算出され、比較勾配Ａや比較勾配Ｂとの比較が行われて表示色が決定されている。平均勾配値が、例えば走行不能となる可能性がある値の場合、分割領域６６ａは、「赤色」で示される。また、「赤色」表示された分割領域６６ａの周囲も注意が必要であるとして同様な「赤色」の注意喚起表示６６ａｂとされている。また、例えば、平均勾配値が走行不能には至らないが十分な注意が必要な分割領域６６ｂは、「黄色」で示される。また、「黄色」表示された分割領域６６ｂの周囲も注意が必要であるとして同様な「黄色」の注意喚起表示６６ｂｂとされている。なお、図１５の場合、注意喚起表示６６ａｂや注意喚起表示６６ｂｂは、分割領域６６の一部を着色しているが、対応する分割領域６６の全体を着色してもよい。このように、自車を示すシンボル６４と分割領域６６を用いて、勾配情報に基づく注意喚起を行うことで、勾配位置と車両１との相対位置関係を運転者が直感的に理解し易いかたちで報知することが可能になり、車両１の周囲の状況や勾配の危険度をより理解させやすくすることができる。なお、図１５において、サブ画面領域ＳＶとして表示しているシンボル６４および分割領域６６を主画面領域ＭＶに表示して、進路指標Ｒを含む実画像をサブ画面領域ＳＶに表示してもよい。また、表示装置８に進路指標Ｒを含む実画像のみを表示してもよいし、シンボル６４および分割領域６６のみを表示してもよい。なお、勾配情報をレーザスキャナ２８で取得し、図１５のサブ画面領域ＳＶを表示する場合、レーザスキャナ２８で取得したデータを一定期間保存して、その過去データを含めたデータにより全領域の表示をするようにしている。
　また、図１２に示す前方表示領域ＦＶにおいて、報知すべき勾配が存在する場合、進路指標Ｒ全体の表示態様を変化させる例を示したが、図１５に示すように、報知すべき勾配に対応する部分のみ、つまり、進路指標Ｒの一部のみの表示態様を変化させるようにしてもよい。また、図１２に示すように、前方表示領域ＦＶには、車体２の前方側の端部２ｃからの距離の目安を示す前方参考線Ｑａが表示される。したがって、図１２のような表示態様の場合も勾配位置と車両１との相対位置関係が表示され、運転者が直感的に勾配位置を理解し易いかたちで報知することが可能になり、車両１の周囲の状況や勾配の危険度を理解させやすくすることができる。図１５の主画面領域ＭＶの場合も、車体２の前方側の端部を表示させることができるので、勾配位置と車両１との相対位置関係の表示が同様に可能である。
　また、図１５に示した表示例の場合、実画像（三次元表示）に進路指標Ｒを重畳表示して、その進路指標Ｒに勾配情報を含める例を示したが、図１６に示す表示例のように、進路指標Ｒを非表示として、勾配を含む物体が存在する領域の色相や輝度を変えたり、勾配を含む領域にエッジ強調処理を実行したりする等の画像処理を加えて、表示装置８に報知制御部３８（比較部５２）の比較結果を表示している例である。図１６に示す表示例の場合、報知制御部３８（表示態様決定部５４）は、表示装置８の主画面領域ＭＶに、報知すべき勾配が存在しないと見なした領域ＭＮに対して、報知すべき勾配が存在すると見なした領域ＭＰが、さらに強調されるように、分離線Ｈを境に、領域ＭＮに対して領域ＭＰが立ち上がるように見える画像処理を施している。その結果、色相変化処理や輝度変化処理、エッジ強調処理等が施された部分がさらに強調されるようになっている。また、色相変化処理や輝度変化処理、エッジ強調処理を省略して、領域ＭＰが立ち上がるように見える画像処理のみを施しても運転者に注意喚起を行うことができる。すなわち、図１６は、撮像画像データの画像処理の一つとして、所定の三次元投影図に撮像画像を投影するものである。
　なお、例えば色相を変える場合、勾配位置取得部４２が検出した勾配位置を中心に所定範囲を報知レベルにしたがう色相、例えば「赤色」を強めた画像としてもよい。同様に、勾配位置取得部４２が検出した勾配位置を中心に所定範囲の輝度を高めてもよい。また、エッジ強調処理を行う場合、撮像部１５が撮像した撮像画像データに基づく画像に対して勾配位置取得部４２が検出した勾配位置を中心として所定範囲に周知のエッジ強調のフィルタ処理を施す。その結果、注意を必要とする勾配位置を際立たせることが可能となる。このように、進路指標Ｒを非表示として、色相や輝度を変えたり、エッジ強調処理を施したりすることで、実画像の表示（実画像上物体）を隠すことなく勾配情報を提供できる。その結果、運転者に周囲状況、特に物体の存在等を容易に理解させやすくするとともに、勾配情報を提供することができる。
　他の実施形態では、撮像画像データに基づく画像において、報知すべき勾配部分に色相変化処理や輝度変化処理、エッジ強調処理等の画像処理を施すのみでもよい。また、図１６の場合、報知すべき勾配部分のみに色相変化処理や輝度変化処理、エッジ強調処理を施したが、例えば、分離線Ｈを境として報知すべき勾配が存在する領域ＭＰ全体に対して、色相変化処理や輝度変化処理、エッジ強調処理等を施してもよい。この場合、これより先の領域は注意すべき領域であることを強調するような表示ができる。
　上述した実施形態において、進路指標Ｒを用いる場合、進路指標Ｒの表示は、例えば車両１が走行不能になる可能性がある位置を含め規定の長さ（例えば２ｍ先）まで延ばした状態で表示する例を示した。別の実施形態では、例えば、車両１が走行不能になる可能性のある位置で、進路指標Ｒの表示を中止してもよい。この場合、進路指標Ｒが途中で非表示とされることで、それ以降の走行が不可であることを報知することができる。また、進路指標Ｒが寸断された部分を赤色等で強調してもよく、勾配変化が大きいため走行が不可であること報知してもよい。
　また、上述した実施形態の場合、車両１の進行方向における路面の状態を示す状態情報を取得するためにレーザスキャナ２８を用いた例を示したが、これに限らず、勾配位置と勾配値を関連付けて取得できる装置であれば利用可能である。例えば、レーザスキャナ２８に代えてステレオカメラを用いてもよい。ステレオカメラの場合も車両１の前方側の端部２ｃの位置、例えばフロントバンパやフロントグリル等に設けられている。ステレオカメラから得られる撮像画像データは、車両１の前方方向の広範囲の勾配情報が取得可能なので、より正確な勾配情報の提供ができる。
　また、上述した実施形態では、勾配状態を表示装置８により表示して報知する例を示したが、別の実施形態では、音声で報知してもよい。この場合、「２ｍ先に乗り越えられない勾配が存在します」や「２ｍ先に十分に注意して走行する必要がある勾配が存在します」等のメッセージを音声出力装置９から出力してもよい。また、表示装置８による表示と音声出力装置９による音声を併せて勾配情報を提供してもよい。また、図１５のサブ画面領域ＳＶに示すように、車両１前方の広範囲に亘る勾配状態や勾配の有無が検出できる場合、操舵部４をどの方向に操作したらより安全な走行ができる進路となるかを音声等で報知してもよい。
　また、図１３、図１４のフローチャートでは、車両１が走行を継続した場合、路面と車体底部２ｙとが接触して（擦り）、走行が不能になる可能性がある場合を報知する例を示した。すなわち、勾配取得部３４は、勾配値として、車両１が存在する路面を基準として当該車両１の前方の路面の相対的な傾きを取得して、基準勾配値（比較勾配値Ａ、比較勾配値Ｂ）との比較を行う例を示した。別の実施形態では、ＥＣＵ１４は、車両１が勾配を含む路面（第一の路面に連なる第二の路面）の走行を継続した場合に、登坂能力または降坂能力を超えて走行不能になる可能性があるか否かを報知するようにしてもよい。この場合、勾配取得部３４は、勾配値として、これから向かう路面の相対的な傾きに車両１の現在の傾きを加算した傾き、すなわち水平に対する車両１の予想される傾き（絶対的な傾き）を取得する。例えば、勾配取得部３４は、車両１が存在する第一の路面（例えば、上り勾配の路面）を基準として当該車両１の前方の第二の路面（例えば、上り勾配の路面）の相対的な傾きを取得する。この場合、勾配位置取得部４２は、この相対的な傾きをレーザスキャナ２８の検出結果に基づき取得する。また、勾配取得部３４は、第一の路面（上り勾配の路面）に存在する車両１の傾きを加速度センサ２６の検出結果に基づいて取得する。そして、勾配取得部３４は、前方の路面の相対的な傾きに車両１の現在の傾きを加算することにより、車両１が第二の路面に進入した場合に予測される水平に対する傾きを取得することができる。比較部５２は、算出した水平に対する傾きと登坂限界値と比較することで、車両１が走行を継続した場合に、走行不能になる可能性があるか否かを判定することができる。第一の路面および第二の路面が下り勾配の場合も同様である。また、第一の路面と第二の路面の勾配の向きが逆の場合、両者を加算することにより第二の路面に進入した場合の車両１の傾きが算出される。
　表示態様決定部５４は、この判定結果に基づき、報知の表示態様を決定する。例えば、水平に対する傾きが登坂能力（降坂能力）を越える場合には、表示する進路指標Ｒを赤色で表示するように決定する。また、登坂能力（降坂能力）は超えないが、十分に注意を要する場合には、進路指標Ｒをオレンジ色で表示するように決定する。同様に、登坂能力（降坂能力）との比較結果に基づいて、進路指標Ｒの表示形態を黄色表示や通常表示色にするように決定する。
　このように本実施形態の周辺監視システム１００によれば、車両１が現在存在する路面から他の特徴（例えば、勾配）の路面に進入しようとする場合にフロントバンパ２ｘや車体底部２ｙ等が路面に接触することで走行不能になる場合や、走行能力（登坂能力や降坂能力）を超えるために走行不能になる場合を事前に検出し、運転者に報知することが可能になり、走行可否の判定をより正確に行わせることができる。
　本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両、３…車輪、３Ｆ…前輪、４…操舵部、８…表示装置、８ａ…画面、１０…操作入力部、１１…モニタ装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１５…撮像部、１９…舵角センサ、２６…加速度センサ、２８…レーザスキャナ、３０…状態情報取得部、３２…舵角取得部、３４…勾配取得部、３６…画像処理部、３８…報知制御部、４０…出力部、４２…勾配位置取得部、４４…勾配値取得部、４６…勾配識別部、４８…進路指標算出部、５０…重畳部、５２…比較部、５４…表示態様決定部、５６…報知部、１００…周辺監視システム、Ｒ…進路指標。

Claims (9)

  1. 　車両の進行方向における路面の状態を示す状態情報に基づいて、前記路面上の勾配位置および勾配値を取得する勾配取得部と、
    　前記勾配値と前記車両が通過可能な基準勾配値とを比較し、その比較結果を前記勾配位置と関連付けて報知する報知制御部と、
    　を備える周辺監視装置。
  2. 　前記勾配取得部は、前記勾配値として、前記車両が存在する路面を基準として当該車両の前方の路面の相対的な傾きを取得する請求項１に記載の周辺監視装置。
  3. 　前記勾配取得部は、前記勾配値として、水平に対する傾きを取得する請求項１に記載の周辺監視装置。
  4. 　前記報知制御部は、前記車両を基準に前記勾配位置を報知する請求項１から請求項３のいずれか１項に記載の周辺監視装置。
  5. 　前記勾配取得部は、前記勾配位置における勾配が、上り勾配か下り勾配か識別し、
    　前記報知制御部は、前記勾配が前記上り勾配の場合は基準上り勾配値と比較し、前記勾配が前記下り勾配の場合は基準下り勾配値と比較する請求項１から請求項４のいずれか１項に記載の周辺監視装置。
  6. 　前記報知制御部は、前記車両の周辺状況を撮像する撮像部から出力された撮像画像データに基づく画像を表示する表示装置に前記勾配位置と前記車両との相対位置関係を表示する請求項１から請求項５のいずれか１項に記載の周辺監視装置。
  7. 　前記報知制御部は、前記撮像画像データに基づく画像に画像処理を加えて前記表示装置に前記比較結果を表示させる請求項６に記載の周辺監視装置。
  8. 　前記撮像画像データに基づく画像に、前記車両の舵角に基づく車輪の進行推定方向を示す進路指標を重畳する画像処理部をさらに含み、
    　前記報知制御部は、前記進路指標上に前記勾配位置が存在する場合に前記比較結果を前記進路指標とともに前記表示装置に表示させる請求項６または請求項７に記載の周辺監視装置。
  9. 　前記報知制御部は、前記進路指標の少なくとも一部の表示態様を変更する請求項８に記載の周辺監視装置。
PCT/JP2017/010281 2016-06-30 2017-03-14 周辺監視装置 WO2018003194A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/313,320 US10878253B2 (en) 2016-06-30 2017-03-14 Periphery monitoring device
CN201780038079.9A CN109313860B (zh) 2016-06-30 2017-03-14 周边监控装置
DE112017003305.5T DE112017003305B4 (de) 2016-06-30 2017-03-14 Peripherieüberwachungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016129636A JP6816389B2 (ja) 2016-06-30 2016-06-30 周辺監視装置
JP2016-129636 2016-06-30

Publications (1)

Publication Number Publication Date
WO2018003194A1 true WO2018003194A1 (ja) 2018-01-04

Family

ID=60787108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010281 WO2018003194A1 (ja) 2016-06-30 2017-03-14 周辺監視装置

Country Status (5)

Country Link
US (1) US10878253B2 (ja)
JP (1) JP6816389B2 (ja)
CN (1) CN109313860B (ja)
DE (1) DE112017003305B4 (ja)
WO (1) WO2018003194A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407782A (zh) * 2020-10-28 2022-04-29 上海汽车集团股份有限公司 一种外后视镜调节方法及装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540482B2 (ja) * 2015-12-04 2019-07-10 株式会社デンソー 情報処理システム、情報処理装置及び出力制御方法
WO2018080384A1 (en) * 2016-10-28 2018-05-03 Husqvarna Ab A demolition robot control device and system
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
JP6696939B2 (ja) * 2017-07-04 2020-05-20 トヨタ自動車株式会社 周辺画像表示制御装置
US10338223B1 (en) 2017-12-13 2019-07-02 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
JP7163729B2 (ja) * 2018-11-08 2022-11-01 トヨタ自動車株式会社 車両制御装置
JP7147546B2 (ja) * 2018-12-25 2022-10-05 トヨタ自動車株式会社 車両のスリップ角推定装置
CN110322711B (zh) * 2019-08-01 2021-01-26 浙江高速信息工程技术有限公司 一种高速公路事故预警系统
JP2022042420A (ja) * 2020-09-02 2022-03-14 株式会社Subaru 車両制御装置
CN114516338A (zh) * 2020-11-17 2022-05-20 佳骏科技股份有限公司 行车监控系统
CN112684803B (zh) * 2021-03-11 2021-06-11 上海擎朗智能科技有限公司 移动机器人的控制方法、装置、移动机器人和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113866A (ja) * 1993-10-14 1995-05-02 Hino Motors Ltd 車両の坂道への接触を検出する装置
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置
WO2011010346A1 (ja) * 2009-07-22 2011-01-27 トヨタ自動車株式会社 運転支援装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5337878A (en) 1976-09-20 1978-04-07 Yazaki Corp Method of manufacturing wire harness
JPH06255393A (ja) * 1993-03-08 1994-09-13 Fujitsu Ten Ltd 定速走行装置
JP4127146B2 (ja) * 2003-07-04 2008-07-30 株式会社デンソー 車両のアクセル操作警告システム
US9555811B2 (en) * 2011-10-28 2017-01-31 Thinkware Corporation Method and apparatus for providing analysis index of roadway section based on road and traffic conditions
JP5958542B2 (ja) 2012-08-02 2016-08-02 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム
WO2015001815A1 (ja) * 2013-07-05 2015-01-08 クラリオン株式会社 運転支援装置
WO2015083228A1 (ja) * 2013-12-03 2015-06-11 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
JP6361382B2 (ja) 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
CN104590272B (zh) * 2014-12-23 2017-04-12 安徽江淮汽车集团股份有限公司 一种车辆坡道状态检测方法及系统
CN105206112B (zh) * 2015-09-21 2018-03-13 芜湖市汽车产业技术研究院有限公司 一种用于汽车车队侦测前方道路坡度的检测系统
JP6384521B2 (ja) * 2016-06-10 2018-09-05 トヨタ自動車株式会社 車両の運転支援装置
JP6528213B2 (ja) * 2016-11-08 2019-06-12 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113866A (ja) * 1993-10-14 1995-05-02 Hino Motors Ltd 車両の坂道への接触を検出する装置
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置
WO2011010346A1 (ja) * 2009-07-22 2011-01-27 トヨタ自動車株式会社 運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407782A (zh) * 2020-10-28 2022-04-29 上海汽车集团股份有限公司 一种外后视镜调节方法及装置
CN114407782B (zh) * 2020-10-28 2023-09-26 上海汽车集团股份有限公司 一种外后视镜调节方法及装置

Also Published As

Publication number Publication date
DE112017003305T5 (de) 2019-03-14
JP2018005437A (ja) 2018-01-11
US10878253B2 (en) 2020-12-29
JP6816389B2 (ja) 2021-01-20
CN109313860B (zh) 2021-08-03
US20190163988A1 (en) 2019-05-30
CN109313860A (zh) 2019-02-05
DE112017003305B4 (de) 2023-03-30

Similar Documents

Publication Publication Date Title
WO2018003194A1 (ja) 周辺監視装置
WO2018061294A1 (ja) 周辺監視装置
JP6897340B2 (ja) 周辺監視装置
WO2018061256A1 (ja) 周辺監視装置
EP3124995B1 (en) Parking assistance device
US10464551B2 (en) Traveling support device
US9751562B2 (en) Park exit assist system
EP2910423B1 (en) Surroundings monitoring apparatus and program thereof
CN109204136B (zh) 周边图像显示控制装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
JP2017094922A (ja) 周辺監視装置
JP2018176788A (ja) 牽引支援装置
CN109314770B (zh) 周边监控装置
JP6776702B2 (ja) 周辺監視装置
JP6977318B2 (ja) 周辺表示装置
JP6953915B2 (ja) 周辺監視装置
JP2014000921A (ja) 車両周辺監視装置、車両周辺監視方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819563

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17819563

Country of ref document: EP

Kind code of ref document: A1