WO2014132680A1 - 車両の制御装置、及びプログラム - Google Patents

車両の制御装置、及びプログラム Download PDF

Info

Publication number
WO2014132680A1
WO2014132680A1 PCT/JP2014/050387 JP2014050387W WO2014132680A1 WO 2014132680 A1 WO2014132680 A1 WO 2014132680A1 JP 2014050387 W JP2014050387 W JP 2014050387W WO 2014132680 A1 WO2014132680 A1 WO 2014132680A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image data
unit
captured image
bird
Prior art date
Application number
PCT/JP2014/050387
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
哲也 丸岡
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US14/770,320 priority Critical patent/US10322672B2/en
Priority to CN201480010443.7A priority patent/CN105075247B/zh
Priority to EP14757301.8A priority patent/EP2963922B1/en
Priority to JP2015502795A priority patent/JP6028848B2/ja
Publication of WO2014132680A1 publication Critical patent/WO2014132680A1/ja
Priority to US16/402,369 priority patent/US10676027B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • An embodiment of the present invention relates to a control device and program of a vehicle.
  • the image data is corrected only when instructed by the driver, so that correction can not be performed in real time, and the vehicle height sensor detects the inclination of the vehicle.
  • the tilt can not be accurately grasped, and the image data can not be properly displayed.
  • the problem of being hard to grasp ascertain the peripheral condition of a vehicle correctly etc. has arisen.
  • the control device for a vehicle is, as an example, captured image data output from an imaging unit provided in a vehicle and capturing an image of the periphery of the vehicle, and output from a vehicle state detection unit provided in the vehicle The acquired vehicle state data, and the inclination of the vehicle in the left-right direction with respect to the horizontal direction which is a direction included in the horizontal plane perpendicular to the gravity direction, which is calculated from the vehicle state data And a control unit configured to control rotation of the captured image data, wherein the control unit is configured such that a horizontal line included in the subject captured in the captured image data is substantially parallel to a side in the horizontal direction in the display area of the output destination. Control the rotation to become Therefore, as an example, there is an effect that it becomes easy to grasp the situation around the vehicle based on the captured image data.
  • the vehicle state detection unit acquires acceleration data output from an acceleration detection unit provided in the vehicle as the vehicle state data, and the control unit performs the imaging
  • the position coordinates in the display area of the captured image data, which corresponds to the center of the lens used for imaging, are taken as the origin, according to the roll angle indicating the inclination around the longitudinal axis of the vehicle, obtained from the acceleration data And rotation control of the captured image data. Therefore, as an example, there is an effect that it becomes easy to grasp the situation around the vehicle based on the captured image data. In addition, there is an effect that the height difference can be easily visually recognized.
  • control unit further performs enlargement processing or reduction processing of the captured image data. Therefore, as an example, by performing enlargement or reduction of captured image data according to an output destination, an effect of improving visibility can be obtained.
  • control unit further moves position coordinates corresponding to the center of the lens with respect to the captured image data from the center of the display area. Therefore, as an example, by performing movement control of captured image data according to an output destination, an effect of improving visibility can be obtained.
  • control unit further moves position coordinates corresponding to the center of the lens from the center of the display area upward in the display area. Therefore, as an example, the area below the horizontal line, which is included in the captured image data, is mainly displayed, so that the situation around the vehicle can be easily grasped.
  • the display device on which the captured image data is displayed includes a roll angle indicating an inclination around the longitudinal axis of the vehicle and an inclination around the lateral axis of the vehicle Information representing at least one of the pitch angles is displayed together with the captured image data. Therefore, as an example, there is an effect that it becomes easy to grasp both the vehicle state and the situation around the vehicle.
  • the acquisition unit further acquires information indicating whether the vehicle is switched to the off road mode, and the control unit is configured to turn the vehicle off.
  • the captured image data is rotationally controlled in accordance with the aforementioned vehicle state data. Therefore, as an example, in the off road mode, an effect is obtained that the situation around the vehicle can be easily visually recognized.
  • control device of the vehicle further includes, as an example, a generation unit that generates bird's-eye view image data representing the ground around the vehicle by a bird's-eye view based on the captured image data rotationally controlled by the control unit.
  • a generation unit that generates bird's-eye view image data representing the ground around the vehicle by a bird's-eye view based on the captured image data rotationally controlled by the control unit.
  • captured image data output from an imaging unit provided in a vehicle and imaging the periphery of the vehicle, and output from a vehicle state detection unit provided in the vehicle Obtaining the vehicle state data, and based on the inclination of the vehicle in the left-right direction with respect to the horizontal direction which is a direction included in the horizontal plane perpendicular to the gravity direction, which is calculated from the vehicle state data.
  • the program further includes, as an example, a generation step of generating bird's-eye view image data representing the ground around the vehicle by a bird's-eye view based on the captured image data rotationally controlled by the control step. Run it.
  • bird's-eye view image data is created in which the viewpoint is changed after rotation control and leveling.
  • FIG. 1 is a perspective view showing an example in which a part of a cabin of a vehicle according to the embodiment is seen through.
  • FIG. 2 is a plan view (eye view) showing an example of the vehicle according to the embodiment.
  • FIG. 3 is a block diagram showing an example of the vehicle surroundings monitoring system according to the embodiment.
  • FIG. 4 is a view showing an example of the detection direction of the acceleration sensor according to the embodiment.
  • FIG. 5 is a block diagram showing a configuration of a periphery monitoring unit implemented in the periphery monitoring ECU according to the first embodiment.
  • FIG. 6 is an example of captured image data captured by the imaging unit according to the first embodiment.
  • FIG. 1 is a perspective view showing an example in which a part of a cabin of a vehicle according to the embodiment is seen through.
  • FIG. 2 is a plan view (eye view) showing an example of the vehicle according to the embodiment.
  • FIG. 3 is a block diagram showing an example of the vehicle surroundings monitoring system according to the embodiment.
  • FIG. 7 is a view showing an example of a two-dimensional orthogonal coordinate system representing a display area of captured image data when position coordinates corresponding to the center of the lens are set as the origin.
  • FIG. 8 is a diagram showing an example of captured image data after rotation correction is performed by the rotation control unit according to the first embodiment.
  • FIG. 9 is a diagram showing an example of image data after being combined by the combining unit according to the first embodiment.
  • FIG. 10 is a flowchart showing a procedure of display processing on the display device in the periphery monitoring unit according to the first embodiment.
  • FIG. 11 is a block diagram showing the configuration of a periphery monitoring unit implemented in the periphery monitoring ECU according to the second embodiment.
  • FIG. 12 is a diagram showing an example of a situation where the vehicle runs on a stone or the like during off-road traveling of the vehicle according to the second embodiment.
  • FIG. 13 is a diagram illustrating an example of a two-dimensional orthogonal coordinate system representing a display area of captured image data when position coordinates corresponding to the center of the lens are set as the origin.
  • FIG. 14 is a view showing the concept of the optical flow calculated by the movement amount calculation unit according to the second embodiment.
  • FIG. 15 is a diagram showing the relationship between the average value of the optical flow and the movement amount of the vehicle.
  • FIG. 16 is a diagram showing distortion of captured image data due to the tilt of the vehicle according to the second embodiment and a display range of the captured image data after conversion by the conversion unit.
  • FIG. 13 is a diagram illustrating an example of a two-dimensional orthogonal coordinate system representing a display area of captured image data when position coordinates corresponding to the center of the lens are set as the origin.
  • FIG. 14 is a view showing the concept
  • FIG. 17 is a diagram showing an example of bird's-eye view image data after being combined by the combining unit according to the second embodiment.
  • FIG. 18 is a diagram showing an example of bird's-eye view image data stored in the bird's-eye view image storage unit according to the second embodiment.
  • FIG. 19 is a diagram showing an example of screen information output by the output unit according to the second embodiment.
  • FIG. 20 is a flowchart showing a procedure of display processing on the display device 8 in the periphery monitoring unit according to the second embodiment.
  • FIG. 21 is a block diagram showing a configuration of a periphery monitoring unit implemented in the periphery monitoring ECU according to the third embodiment.
  • FIG. 22 is a diagram showing an example of screen information output by the output unit according to the third embodiment.
  • the vehicle 1 may be, for example, an automobile (internal combustion engine automobile) having an internal combustion engine (engine, not shown) as a drive source, or an electric motor (motor, not shown) as a drive source. It may be a car (electric car, fuel cell car, etc.), or it may be a car (hybrid car) that uses both of them as a driving source.
  • the vehicle 1 can be equipped with various transmissions, and can be equipped with various devices (systems, parts, etc.) necessary to drive an internal combustion engine or a motor.
  • the method, number, layout, and the like of devices related to the driving of the wheels 3 in the vehicle 1 can be set variously.
  • the vehicle body 2 constitutes a passenger compartment 2a in which a passenger (not shown) rides.
  • a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a gear change operation unit 7 and the like are provided in the passenger compartment 2a in a state of facing the driver's seat 2b as a passenger.
  • the steering unit 4 is a steering wheel protruding from a dashboard (instrument panel)
  • the acceleration operation unit 5 is an accelerator pedal positioned under the driver's foot
  • a braking operation unit Reference numeral 6 denotes a brake pedal positioned under the driver's foot
  • the shift operating unit 7 is a shift lever protruding from the center console, but is not limited thereto.
  • a display device 8 (display output unit) and an audio output device 9 (audio output unit) are provided.
  • the display device 8 is, for example, a liquid crystal display (LCD), an organic electroluminescent display (OELD), or the like.
  • the audio output device 9 is a speaker as an example.
  • the display device 8 is covered with a transparent operation input unit 10 (for example, a touch panel or the like). An occupant or the like can visually recognize an image (image) displayed on the display screen of the display device 8 through the operation input unit 10.
  • an occupant or the like operates by touching, pushing or moving the operation input unit 10 with a finger or the like at a position corresponding to the image (image) displayed on the display screen of the display device 8. Input) can be performed.
  • the display device 8, the voice output device 9, the operation input unit 10, and the like are provided in the monitor device 11 positioned at the center of the dashboard in the vehicle width direction (horizontal direction). ing.
  • the monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, or a push button.
  • an audio output device (not shown) can be provided at another position in the vehicle compartment 2a different from the monitor device 11, and audio can be output from the audio output device 9 of the monitor device 11 and another audio output device. It can be output.
  • the monitor device 11 is also used as a navigation system or an audio system as an example, but a monitor device for a periphery monitoring device may be provided separately from these systems.
  • an alarm sound or the like can be output from an audio output unit such as a buzzer 24 (see FIG. 3).
  • the vehicle 1 is a four-wheeled vehicle (four-wheeled vehicle), and includes two left and right front wheels 3F and two left and right rear wheels 3R. Have. Furthermore, in the present embodiment, these four wheels 3 are configured to be steerable (steerable).
  • the vehicle 1 has a front wheel steering system 12 for steering the front wheel 3F and a rear wheel steering system 13 for steering the rear wheel 3R.
  • the front wheel steering system 12 and the rear wheel steering system 13 are electrically controlled by a periphery monitoring ECU 14 (electronic control unit) or the like to operate the respective actuators 12a and 13a.
  • a periphery monitoring ECU 14 electronic control unit
  • the front wheel steering system 12 and the rear wheel steering system 13 are, for example, an electric power steering system, an SBW (steer by wire) system, and the like.
  • the front wheel steering system 12 and the rear wheel steering system 13 add torque (assist torque) to the steering unit 4 by the actuators 12a and 13a to compensate for the steering force, and steer the corresponding wheel 3 (front wheel 3F or rear wheel 3R) (Automatic steering)
  • the actuators 12 a and 13 a may steer one wheel 3 or steer a plurality of wheels 3.
  • the two front wheels 3F are steered substantially in parallel with each other in phase (same phase, same steering direction, same rotational direction), and the two rear wheels 3R are in phase with each other It is steered substantially in parallel.
  • the drive wheels can be set variously.
  • a plurality of (four as an example in the present embodiment) imaging units 16 (16 a to 16 d) are provided in the vehicle 1 (vehicle body 2). It is done.
  • the imaging unit 16 is, for example, a digital camera that incorporates an imaging device such as a charge coupled device (CCD) or a CMOS image sensor (CIS).
  • the imaging unit 16 can output image data (moving image data, frame data) at a predetermined frame rate.
  • the imaging units 16 each have a wide-angle lens, and can image a range (viewing angle) of 140 ° to 220 ° in the horizontal direction. Further, the optical axis of the imaging unit 16 is set downward (obliquely downward). Therefore, the imaging unit 16 captures an image of an environment outside the vehicle body 2 including the road surface on which the vehicle 1 can move.
  • the horizontal direction is a direction included in a horizontal plane perpendicular to the gravity direction (vertical direction).
  • the imaging unit 16a is positioned at an end 2c (an end in a plan view) of the front side (the front side in the vehicle longitudinal direction) of the vehicle body 2 and provided in a front bumper or the like.
  • the imaging unit 16b is located at an end 2d of the left side (left side in the vehicle width direction) of the vehicle body 2 and is provided on the left side door mirror 2g (projecting portion).
  • the imaging unit 16c is located at an end 2e on the rear side (rear side in the vehicle longitudinal direction) of the vehicle body 2 and is provided on the lower wall of the rear trunk door 2h.
  • the imaging unit 16 d is located at an end 2 f of the right side (right side in the vehicle width direction) of the vehicle body 2 and is provided on the right side door mirror 2 g (projecting portion). Note that the present embodiment does not limit the on-vehicle method of the camera, and may be installed so as to obtain image data in the front direction, image data in the left and right sides, and image data in the rear direction with respect to the vehicle. .
  • the periphery monitoring ECU 14 executes arithmetic processing and image processing based on the image data obtained by the plurality of imaging units 16 to generate an image with a wider view angle, or viewed the vehicle 1 (vehicle body 2) from above A virtual bird's eye view image (planar image) can be generated.
  • the monitor device 11 in addition to the periphery monitoring ECU 14, the monitor device 11, the front wheel steering system 12, the rear wheel steering system 13, etc.
  • a steering angle sensor 19 angle sensor
  • an accelerator sensor 20 a shift sensor 21, a wheel speed sensor 22, an acceleration sensor 26, and the like are electrically connected via an in-vehicle network 23 (electric communication line).
  • the in-vehicle network 23 is configured as a CAN (controller area network) as an example.
  • the periphery monitoring ECU 14 can control the front wheel steering system 12, the rear wheel steering system 13, the brake system 18, and the like by transmitting control signals through the in-vehicle network 23.
  • the periphery monitoring ECU 14 receives a torque sensor 12b, a tire angle sensor 13b (for the rear wheel 3R), an actuator 18a, a brake sensor 18b, a steering angle sensor 19 (for the front wheel 3F), an accelerator sensor 20 via the in-vehicle network 23.
  • the detection results of the shift sensor 21, the wheel speed sensor 22, the acceleration sensor 26 and the like, and the instruction signals (control signal, operation signal, input signal, data) of the operation input unit 10 and the like can be received.
  • the vehicle 1 is provided with two acceleration sensors 26 (26a, 26b).
  • the vehicle 1 is a vehicle equipped with an ESC (Electronic Stability Control).
  • an acceleration sensor 26 (26a, 26b) conventionally mounted on a vehicle equipped with an ESC (Electronic Stability Control) is used.
  • this embodiment does not restrict
  • FIG. 4 is a diagram showing an example of detection directions of the acceleration sensors 26a and 26b.
  • the detection direction 401 is the detection direction of the acceleration sensor 26a
  • the detection direction 402 is the detection direction of the acceleration sensor 26b.
  • the detection direction 401 shown in FIG. 4 is a direction inclined 45 degrees from the traveling direction (front-rear direction) of the vehicle 1 on a plane parallel to the ground (a plane on which the vehicle 1 can move).
  • the detection direction 402 is on a plane parallel to the ground, and the angle between the detection direction 402 and the detection direction 401 is 90 degrees.
  • this embodiment does not limit the detection direction, as long as at least acceleration in the left and right direction can be derived.
  • the calculation of the longitudinal acceleration and the lateral acceleration is performed by the periphery monitoring ECU 14.
  • the longitudinal direction of the vehicle 1 indicates the traveling direction of the vehicle 1 and the opposite direction of the traveling direction
  • the lateral direction of the vehicle 1 is a direction included in a plane perpendicular to the traveling direction of the vehicle 1.
  • the peripheral monitoring ECU 14 is, for example, a CPU 14 a (central processing unit), a ROM 14 b (read only memory), a RAM 14 c (random access memory), a display control unit 14 d, a voice control unit 14 e, and an SSD 14 f (solid state drive). , Flash memory) and the like.
  • the CPU 14a executes, for example, various kinds of arithmetic processing such as image processing related to an image displayed on the display device 8, calculation of a movement route of the vehicle 1, determination of presence or absence of interference with an object.
  • the CPU 14a reads a program stored (installed) in a non-volatile storage device such as the ROM 14b, and executes arithmetic processing according to the program.
  • the RAM 14c temporarily stores various data used in the calculation in the CPU 14a.
  • the display control unit 14d mainly performs image processing using image data obtained by the imaging unit 16 and image processing of image data displayed by the display device 8 among the calculation processing in the periphery monitoring ECU 14 (an example As synthesis etc.).
  • the voice control unit 14 e mainly performs processing of voice data output from the voice output device 9 among the calculation processing in the periphery monitoring ECU 14.
  • the SSD 14f is a rewritable non-volatile storage unit, and can store data even when the power supply of the periphery monitoring ECU 14 is turned off.
  • the CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package.
  • the periphery monitoring ECU 14 may be configured to use another logical operation processor such as a DSP (digital signal processor) or a logic circuit instead of the CPU 14a.
  • a hard disk drive (HDD) may be provided instead of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the periphery monitoring ECU 14.
  • FIG. 5 is a block diagram showing the configuration of the periphery monitoring unit 500 implemented in the periphery monitoring ECU 14 according to the present embodiment.
  • Each configuration in the periphery monitoring unit 500 shown in FIG. 5 is realized by the CPU 14a configured as the periphery monitoring ECU 14 in FIG. 4 executing software stored in the ROM 14b.
  • the periphery monitoring unit 500 executes software stored in the ROM 14 b (computer readable recording medium) to obtain an acquisition unit 501, an angle calculation unit 502, a filtering control unit 503, and an image processing unit 504.
  • the output unit 505 is realized.
  • the software program
  • the software may be provided via another computer readable recording medium.
  • the periphery monitoring unit 500 functions as an example of the captured image data input from the imaging unit 16 and the vehicle state detection unit when the vehicle 1 moves and parks. Based on the acceleration data as an example of the vehicle state data acquired from (acceleration detection unit), the driver's driving is supported by displaying image data that can recognize the situation around the vehicle 1.
  • the acquisition unit 501 acquires various information from various sensors and the like included in the vehicle 1.
  • the acquisition unit 501 includes captured image data provided in the vehicle 1 and output from the imaging units 16 a to 16 d that capture the periphery of the vehicle 1, and the acceleration sensors 26 a and 26 b provided in the vehicle 1.
  • the output acceleration data is acquired.
  • the acquisition unit 501 also acquires information indicating whether the mode set by the switch provided in the operation input unit 10 is the offload mode.
  • the acquisition unit 501 outputs the acquired information to the angle calculation unit 502 and the image processing unit 504.
  • the acquiring unit 501 associates, with the captured image data and the acceleration data, the captured image data and the time when the acceleration is detected substantially match.
  • the angle calculation unit 502 calculates an inclination angle (pitch angle and roll angle) of the vehicle 1 based on the acceleration data acquired by the acceleration sensors 26a and 26b.
  • the pitch angle is an angle indicating an inclination around the left and right axis (the axis 412 in FIG. 4) of the vehicle 1.
  • the pitch angle is 0 degree.
  • the roll angle is an angle indicating an inclination around the longitudinal axis (axis 411 in FIG. 4) of the vehicle 1.
  • the roll angle is 0 degree.
  • the angle calculation unit 502 first calculates an acceleration a1 in the front-rear direction of the vehicle 1 and an acceleration a2 in the left-right direction.
  • the angle calculation unit 502 calculates an acceleration a1 in the front-rear direction using the following equation (1).
  • the acceleration in the detection direction 401 is GL1 and the acceleration in the detection direction 402 is GL2.
  • the longitudinal acceleration a1 is 0 G and when the pitch angle is 90 ° (when the vehicle 1 is vertical), the longitudinal direction is In this example, the acceleration a1 is 1G.
  • A1 GL1 ⁇ cos 45 ° ⁇ GL 2 ⁇ cos 45 ° (1)
  • the angle calculation unit 502 calculates the acceleration a2 in the left-right direction using the following equation (2).
  • A2 -(GL1 ⁇ sin 45 ° + GL2 ⁇ sin 45 °) (2)
  • the angle calculation unit 502 calculates the pitch angle PA using the following equation (3).
  • PA [deg] 90 [deg] ⁇ a1 [G] (3)
  • the angle calculation unit 502 calculates the roll angle RA using the following equation (4).
  • the angle calculation unit 502 associates the roll angle and the pitch angle calculated from the acceleration data with the captured image data associated with the acceleration data. As a result, it is possible to recognize the roll angle and the pitch angle of the vehicle 1 when captured image data is captured.
  • the filtering control unit 503 performs filtering with a low pass filter on the roll angle RA and the pitch angle PA calculated by the angle calculation unit 502.
  • the roll angle RA and the pitch angle PA rapidly change, that is, the image data displayed on the display device 8 is prevented from being sharply switched. Thereby, the driver can view the image data displayed on the display device 8 comfortably.
  • a digital filter by the filtering control unit 503 provided in the periphery monitoring unit 500 will be described.
  • an analog filter or the like performed on a signal output from the acceleration sensor 26 is described. It is good.
  • the image processing unit 504 includes a rotation control unit 521, a reduction / enlargement control unit 522, a movement control unit 523, and a combining unit 524 which respectively function as control units, and an image to be displayed on the display device 8. Generate data.
  • the rotation control unit 521 performs rotation correction on captured image data captured by the imaging unit 16 a and capturing the front periphery of the vehicle 1.
  • the target of the rotation correction is not limited to the captured image data captured by the imaging unit 16a, and may be, for example, captured image data captured by the imaging unit 16c and taken around the rear of the vehicle 1 good.
  • FIG. 6 is an example of captured image data captured by the imaging unit 16a.
  • the captured image data shown in FIG. 6 is captured from a tilted vehicle 1.
  • the driver has a high tendency to perceive the image displayed on the display device 8 as an objective object, and the captured image data displayed on the display device 8 is actually an area if it is a region of the same height in the vertical axis direction. It tends to recognize that the height is not the same or the same as the actual height difference.
  • the rotation control unit 521 performs rotation correction on the captured image data in accordance with the roll angle obtained from the acceleration sensor 26.
  • the rotation control unit 521 performs rotation correction of the captured image data based on the inclination in the left-right direction of the vehicle with respect to the horizontal direction which is a direction included in the horizontal plane perpendicular to the gravity direction calculated from the vehicle state data.
  • the rotation control unit 521 performs rotation correction (control) such that a horizontal line included in the subject captured in the captured image data is substantially parallel to the side in the horizontal direction in the display area of the output destination.
  • the rotation control unit 521 is a roll corresponding to the center of the lens used by the imaging unit 16 for imaging, with position coordinates in the display area of the imaged image data as an origin, and associated with the imaged image data. Perform rotation correction according to the angle.
  • FIG. 7 is a diagram showing an example of a two-dimensional orthogonal coordinate system representing a display area of captured image data when position coordinates corresponding to the center of the lens are set as the origin.
  • the rotation control unit 521 can realize the rotation correction of the captured image data by converting the position coordinate by the following equation (5).
  • dx0 and dy0 are coordinate values with the lens center as the origin.
  • ⁇ is the calculated roll angle.
  • FIG. 8 is a diagram showing an example of captured image data after rotation correction is performed by the rotation control unit 521.
  • the rotation correction is performed so that the horizontal line included in the subject (the environment outside the vehicle 1) in the captured image data is substantially parallel to the side in the horizontal direction of the display area of the display device 8 It is done.
  • the downward direction of the captured image data is rotationally corrected so as to be the gravity direction of the subject (the environment outside the vehicle 1) shown in the captured image data.
  • the downward direction and the direction of gravity do not have to completely coincide, and the height relationship in the captured image data may be made to be recognizable.
  • the driver can recognize the objective height of the environment around the vehicle 1. This enables appropriate driving and can improve safety.
  • a reduction / enlargement control unit 522 which functions as a control unit, performs enlargement processing or reduction processing on captured image data after rotation correction is performed by the rotation control unit 521.
  • the reduction / magnification control unit 522 can realize the enlargement correction or the reduction correction of the captured image data by converting the position coordinates by the following equation (6).
  • dx1 and dy1 are coordinate values with the lens center after the rotation correction as the origin.
  • magX and magY are vertical and horizontal enlargement and reduction ratios. Note that the enlargement / reduction ratio is determined based on the relationship between the display size of the captured image data and the number of pixels in the display area of the display device 8.
  • the movement control unit 523 which functions as a control unit, moves the position coordinates of the display device 8 corresponding to the center of the lens in the captured image data after the enlargement / reduction processing has been performed by the reduction / enlargement control unit 522. Control to move from the center of the display area is performed. In the present embodiment, the movement control unit 523 performs control to move the position coordinates corresponding to the center of the lens upward from the center of the display area of the display device 8 in the display area.
  • the movement control unit 523 performs processing for moving the position coordinates corresponding to the center of the lens upward from the center of the display area of the display device 8 in the display area.
  • the situation above the vehicle 1 is not displayed, such as the sky in the captured image data, and the situation below the vehicle 1 is displayed.
  • the user can recognize the ground condition around the vehicle 1 by referring to the captured image data displayed on the display device 8. Thereby, appropriate steering support can be realized.
  • the movement control unit 523 can realize the movement of the position coordinates of the captured image data by converting the position coordinates by the following equation (7).
  • dx2 and dy2 are coordinate values with the lens center after the enlargement and reduction correction as the origin.
  • the movement destination of the position coordinate of the center of the lens before movement is set to (cx, cy).
  • the combining unit 524 combines the display information for assisting the driver's steering after extracting the captured image data after the movement control unit 523 has performed movement control according to the display area of the display device 8. Do.
  • FIG. 9 is a diagram showing an example of image data after being combined by the combining unit 524.
  • the display area 901 in the display area 901, the situation around the front wheel on the left side of the vehicle 1 captured by the imaging unit 16b is shown.
  • the display area 902 the situation around the front wheel on the right side of the vehicle 1 captured by the imaging unit 16d is shown.
  • the display area 903 information that can recognize the pitch angle and the roll angle of the vehicle 1 is displayed. That is, while the roll angle is indicated by the inclination of the icon 921 indicating the vehicle 1, the pitch angle is indicated by the distance between the center line 912 passing through the icon 921 and the line 911.
  • information capable of recognizing the roll angle and the pitch angle is shown.
  • the present invention is not limited to such a display mode, and may be another display mode.
  • the vehicle 1 it is possible to display the roll and pitch states of the vehicle 1 in real time when traveling off road.
  • the driver can easily recognize an objective situation around the vehicle 1.
  • captured image data after being cut out by the combining unit 524 is shown.
  • the horizontal line in the image in the captured image data is corrected to be substantially parallel to the horizontal frame of the display device 8.
  • the downward direction of the image in the captured image data is corrected to be the gravity direction. This makes it easy for the driver to recognize the surrounding situation.
  • the output unit 505 outputs the image data combined by the combining unit 524 to the display device 8.
  • information capable of recognizing the roll angle and the pitch angle is displayed on the display device 8 together with the captured image data after the correction processing has been performed.
  • the predicted track 905 of the front wheel 3F is included.
  • the periphery monitoring ECU 14 (CPU 14a) can calculate the planned route based on the detection results of the steering angle sensor 19, the tire angle sensor 13b, etc., and includes the predicted course line 905 corresponding to the planned route in the output image Can be superimposed).
  • the predicted course line 905 is an example of a display element indicating a planned course.
  • the periphery monitoring ECU 14 corrects the display position, the size, the posture (tilt), etc. of the predicted course line 905 in response to the rotation, enlargement / reduction, and movement correction described above.
  • the periphery monitoring ECU 14 can also correct the positions of the display area and the expected course line 905 in the direction in which the deviation is reduced, when the position of the expected course line 905 is largely deviated from the center of the screen.
  • the periphery monitoring ECU 14 uses the icon 921 by including the angle scale 906a (tilt scale) surrounding the periphery of the icon 921 in the state in which the angle remains unchanged with respect to the display area 903 in the output image.
  • the inclinometer 906 (roll angle display unit) can be configured. For example, it may be difficult to understand the attitude (roll angle or pitch angle) of the vehicle 1 in the horizontal direction, the vertical direction, and only by the display of the display area 904. In this respect, as shown in the example of FIG.
  • the display is performed by displaying an icon 921 which is rotated (rolled) or pitched with respect to the screen according to the roll angle or the pitch angle, or by displaying the inclinometer 906.
  • the horizontal direction, the vertical direction, and the posture (roll angle) of the vehicle 1 can be easily understood.
  • the display area 904 and the display area 903 together displaying in the same screen or displaying in parallel
  • the situation around the vehicle and the situation of the posture of the vehicle can be more easily understood.
  • the above-described rotation, enlargement / reduction, and movement correction may not always be performed, and may be set to be performed when the vehicle 1 is in the off-road mode.
  • the information processing unit 504 refers to the information indicating whether or not the acquisition unit 501 acquires the offload mode, and when the image processing unit 504 is in the offload mode, the image processing unit 504 performs the rotation, enlargement / reduction, and movement described above. Make corrections.
  • the off road mode is a mode for extracting the performance of the 4WD of the vehicle 1 during off road traveling, and is a mode in which the entire transfer gear is set low. That is, in the present embodiment, it is assumed that the captured image data displayed on the display device 8 is switched in conjunction with the operation when performing the off road traveling. In the present embodiment, switching of the image displayed on the display device 8 is not limited to switching to the off load mode, and for example, rotation is switched to 4 WD by 2-4 WD switching. Control may be performed to display an image on which the correction has been performed.
  • FIG. 10 is a flowchart showing the procedure of the above-described process in the periphery monitoring unit 500 according to the present embodiment.
  • the acquisition unit 501 acquires captured image data from the imaging unit 16 (step S1001).
  • the acquisition unit 501 acquires acceleration data from the acceleration sensor 26 (step S1002).
  • the angle calculation unit 502 calculates the roll angle and the pitch angle of the vehicle 1 from the acceleration data (step S1003).
  • the filtering control unit 503 performs low-pass filter filtering on the calculated roll angle and pitch angle (step S1004).
  • the rotation control unit 521 performs rotation control according to the roll angle on the captured image data (step S1005).
  • step S1006 the reduction / magnification control unit 522 and the movement control unit 523 perform enlargement control and movement control on the captured image data after rotation control is performed.
  • the combining unit 524 cuts out the captured image data after the enlargement control and the movement control are performed according to the display area displayed on the display device 8 (step S1007).
  • the combining unit 524 combines, with the captured image data cut out, the captured image data indicating the situation around the front wheel, and the display information capable of recognizing the pitch angle and the roll angle (step S1008).
  • the output unit 505 outputs the image data combined by the combining unit 524 to the display device 8 (step S1009).
  • the periphery monitoring unit 500 according to the present embodiment can easily recognize the height difference around the vehicle 1 by including the above-described configuration. This can reduce the burden of steering and improve safety.
  • FIG. 11 is a block diagram showing the configuration of the periphery monitoring unit 700 implemented in the periphery monitoring ECU 14 according to the present embodiment.
  • the CPU 14a configured as the periphery monitoring ECU 14 in FIG. 4 executes the software stored in the ROM 14b
  • a processing unit 704 and an output unit 705 are realized.
  • the periphery monitoring unit 700 implements a bird's eye view image storage unit 706 on the RAM 14 c.
  • the acquisition unit 701 acquires various information from various sensors and the like included in the vehicle 1.
  • the acquisition unit 701 according to the present embodiment is an example of a vehicle state detection unit provided in the vehicle 1 and the captured image data output from the imaging units 16a to 16d provided in the vehicle 1 and imaging the periphery of the vehicle 1 And acceleration data as an example of the vehicle state data output from the acceleration sensors 26a and 26b (acceleration detection unit).
  • the acquisition unit 701 outputs the acquired information to the angle calculation unit 702 and the image processing unit 704.
  • the acquiring unit 701 associates, with acceleration data, captured image data in which the captured time and the time at which the acceleration is detected are substantially the same.
  • the angle calculation unit 702 calculates an inclination angle (pitch angle and roll angle) of the vehicle 1 based on the acceleration data acquired by the acceleration sensors 26a and 26b.
  • the pitch angle is an angle indicating an inclination around the left and right axis (the axis 412 in FIG. 4) of the vehicle 1.
  • the pitch angle is 0 degree.
  • the roll angle is an angle indicating an inclination around the longitudinal axis (axis 411 in FIG. 4) of the vehicle 1.
  • the roll angle is 0 degree.
  • the angle calculation unit 702 first calculates the acceleration a1 in the front-rear direction of the vehicle 1 and the acceleration a2 in the left-right direction.
  • the angle calculation unit 702 calculates the acceleration a1 in the front-rear direction using the following equation (1).
  • the acceleration in the detection direction 401 is GL1 and the acceleration in the detection direction 402 is GL2.
  • the longitudinal acceleration a1 is 0 G and when the pitch angle is 90 ° (when the vehicle 1 is vertical), the longitudinal direction is In this example, the acceleration a1 is 1G.
  • A1 GL1 ⁇ cos 45 ° ⁇ GL 2 ⁇ cos 45 ° (1)
  • the angle calculation unit 702 calculates the acceleration a2 in the left-right direction using the following equation (2).
  • A2 -(GL1 ⁇ sin 45 ° + GL2 ⁇ sin 45 °) (2)
  • the angle calculation unit 702 calculates the pitch angle PA using the following equation (3).
  • PA [deg] 90 [deg] ⁇ a1 [G] (3)
  • the angle calculation unit 702 calculates the roll angle RA using the following equation (4).
  • the angle calculation unit 702 associates the roll angle and the pitch angle calculated from the acceleration data with the captured image data associated with the acceleration data. As a result, it is possible to recognize the roll angle and the pitch angle of the vehicle 1 when captured image data is captured.
  • the filtering control unit 703 performs low-pass filtering on the roll angle RA and the pitch angle PA calculated by the angle calculation unit 702.
  • the roll angle RA and the pitch angle PA rapidly change, that is, the image data displayed on the display device 8 is prevented from being sharply switched. Thereby, the driver can view the image data displayed on the display device 8 comfortably.
  • a digital filter by the filtering control unit 703 provided in the periphery monitoring unit 700 is described, for example, it is an analog filter or the like performed on a signal output from the acceleration sensor 26. It is good.
  • the image processing unit 704 includes a rotation control unit 711, a bird's eye view image generation unit 712 (generation unit), a movement amount calculation unit 713, a conversion unit 714, and a combination unit 715, which function as control units, respectively.
  • Image data to be displayed on the display device 8 is generated.
  • the rotation control unit 711 controls the horizontal inclination of the vehicle with respect to the horizontal direction calculated from the vehicle state data with respect to the captured image data taken by the imaging unit 16a and capturing the front (traveling direction) periphery of the vehicle 1 Based on the rotation correction (that is, according to the roll angle).
  • the horizontal direction is, for example, a direction perpendicular to the traveling direction.
  • the captured image data may be subjected to rotation correction in the same direction as that in which the vehicle is horizontal based on the inclination of the vehicle in the left-right direction calculated from the vehicle state data.
  • rotation correction of the captured image data is performed as if the image was taken in a state in which the left and right direction of the vehicle 1 is horizontal (the vehicle 1 is disposed on a horizontal plane perpendicular to the gravity direction). May be.
  • acceleration is used as the vehicle state data
  • the target of the rotation correction is not limited to the captured image data captured by the imaging unit 16a, and may be, for example, captured image data captured by the imaging unit 16c and taken around the rear of the vehicle 1 good.
  • FIG. 12 is a diagram showing an example of a situation where the vehicle 1 runs on a stone or the like during off-road traveling.
  • the vehicle 1 leans over by the roll angle ⁇ because the vehicle 1 is riding on.
  • bird's-eye view image data is created from captured image data captured by the imaging unit 16 a in such a state, distortion occurs according to the roll angle ⁇ .
  • the rotation control unit 711 rotates and corrects the captured image data in accordance with the roll angle ⁇ obtained from the acceleration sensor 26.
  • the rotation control unit 711 is a roll corresponding to the center of the lens used by the imaging unit 16a for imaging, with position coordinates in the display area of the imaged image data as an origin and associated with the imaged image data. Perform rotation correction according to the angle.
  • FIG. 13 is a diagram illustrating an example of a two-dimensional orthogonal coordinate system representing a display area of captured image data when position coordinates corresponding to the center of the lens are set as the origin.
  • the rotational control of the captured image data can be realized by the rotation control unit 711 converting the position coordinates by the following equation (5) for each position coordinate included in the coordinate system shown in FIG. Note that dx0 and dy0 are coordinate values with the lens center as the origin. Further, the angle ⁇ shown in FIG. 13 is a calculated roll angle.
  • the rotation control unit 711 performs the rotation correction on all the pixels included in the display area 801, whereby the display area 802 in which the display area 801 is rotated by the angle ⁇ is generated. Then, the periphery monitoring unit 700 generates bird's-eye view image data based on captured image data having the display area 802 after being subjected to rotation control. Thereby, it is possible to generate bird's-eye view image data in which the inclination due to the roll angle ⁇ generated in the vehicle 1 is corrected.
  • the rotation control unit 711 does not limit the rotation control angle of the captured image data to the roll angle at which the vehicle 1 is inclined from the horizontal ground, and the roll angle calculated last time
  • the rotation control of the captured image data may be performed according to the difference between the calculated roll angle and the calculated roll angle. This is, for example, vertical direction rather than creating bird's-eye view image data from above in the vertical direction when the vehicle 1 is traveling on the ground inclined by a predetermined angle (roll angle calculated previously). This is because it is easier to recognize the condition of the ground around the vehicle 1 if the bird's-eye view image data from an angle inclined by a predetermined angle from above is created.
  • the rotation control unit 711 calculates the difference between the roll angles on which the vehicle 1 leans on a stone or the like (the previously calculated roll angle and the currently calculated roll angle). Only rotation control of captured image data is performed.
  • the bird's-eye view image generation unit 712 generates bird's-eye view image data that is a ground in the traveling direction of the vehicle 1 and is a view of the ground around the vehicle 1 from above based on the captured image data after rotation control. Note that any method may be used to generate bird's-eye view image data from captured image data, and for example, conversion may be performed using a mapping table.
  • the bird's-eye view image generation unit 712 shoots the first captured image data.
  • the second bird's eye view image data is generated based on the second captured image data which is imaged by the imaging unit 16 and the rotation control of which is controlled by the rotation control unit 711 after the vehicle 1 has moved.
  • the image data displayed on the display device 8 is updated each time the vehicle 1 moves a predetermined amount of movement. Therefore, the movement amount calculation unit 713 calculates the movement amount of the vehicle 1 by comparing the bird's eye view image data generated by the bird's eye view image generation unit 712 with the bird's eye view image data used in the previous update.
  • the movement amount calculation unit 713 compares the predetermined area in the bird's eye view image data generated by the bird's eye view image generation unit 712.
  • the movement amount calculation unit 713 is based on each of the first bird's eye view image data used at the previous update and the second bird's eye view image data generated after the first bird's eye view.
  • the optical flow is calculated by cutting out a predetermined area (display range).
  • FIG. 14 is a diagram showing the concept of the optical flow calculated by the movement amount calculation unit 713. Let (A) of FIG. 14 be image data cut out in a predetermined display range from the first bird's-eye view image data used in the previous update, and (B) of FIG. It is set as the image data cut out by the predetermined display range from the 2nd bird's-eye view image data produced
  • the movement amount calculation unit 713 performs transition of the displayed object (feature point) between the image data shown in (A) of FIG. 14 and the image data shown in (B) of FIG. Calculate the optical flow indicated by the vector.
  • FIG. 14C shows an example of the calculated optical flow.
  • the feature points (indicated by “x”) shown in FIG. 14A are the feature points shown in FIG. 14B (“ ⁇ ”).
  • the length of the vector moved up to “) is shown.
  • the movement amount calculation unit 713 calculates the movement amount of the vehicle 1 from the calculated average value of the optical flow.
  • FIG. 15 is a diagram showing the relationship between the average value of the optical flow and the movement amount of the vehicle 1.
  • the arrow 901 is an average value of the optical flow.
  • the vehicle 1 turns around the rear wheel axle. For this reason, in the case of the average value 901 of the optical flow, the vehicle 1 is turning at the turning angle ⁇ 1.
  • the movement amount calculation unit 713 calculates the turning angle ⁇ 1 of the vehicle 1. Further, the movement amount calculation unit 713 calculates the movement amount of the vehicle 1 from the length of the optical flow. Further, the movement amount calculation unit 713 may separately calculate the movement amount of the vehicle 1 in the front-rear axis direction and the movement amount of the vehicle 1 in the left-right axis direction.
  • the conversion unit 714 is the bird's-eye view image data stored in the bird's eye view image storage unit 706. It is converted into bird's eye view image data to be combined with image data.
  • the projective transformation is used to convert the distortion of the road surface in the captured image data caused by the inclination of the vehicle 1 when the vehicle 1 is not inclined, for example, in the captured image data
  • keystone correction etc. are also included to convert a trapezoidal area into a rectangular or square area.
  • FIG. 16 is a diagram showing distortion of captured image data due to inclination of the vehicle 1 and a display range of the captured image data after conversion by the conversion unit 714.
  • the distorted state (a1) and (a2) of the bird's eye view image data generated when the vehicle 1 is in the roll state is shown, and the distorted state of bird's eye view image data generated when the vehicle 1 is in the pitched state (b1) ) And (b2) are shown.
  • the bird's eye view image data is distorted due to the inclination of the vehicle 1 and the bird's eye view image data stored in the bird's eye view image storage unit 706 is combined, distortion is accumulated.
  • the conversion unit 714 specifies the display ranges ((a1), (a2), (b1), (b1), and (b1)) specified based on the roll angle obtained from the acceleration data acquired when capturing image data.
  • Projective transformation determined based on the second roll angle in FIG. 16 is performed on the second captured image data cut out in (b2).
  • the display range ((a1), (a2), (b1), (b2)) is transformed into the display range shown in (c) of FIG.
  • any method may be used to specify the position coordinates of the four points indicating the display area to be subjected to projective conversion based on the roll angle, regardless of the conventional method.
  • the roll angle ⁇ The correspondence between the position coordinates of the point and the four points may be provided in advance.
  • the combining unit 715 combines the bird's-eye view image data stored in the bird's-eye view image storage unit 706 and the bird's-eye view image data after projective conversion by the conversion unit 714.
  • FIG. 17 is a diagram showing an example of bird's eye view image data after being combined by the combining unit 715.
  • the display range 1101 is the most recently synthesized range.
  • the display range 1102 is a range synthesized before that, and the display range 1103 is a range synthesized further before that.
  • bird's-eye view image data is synthesized each time the vehicle 1 moves.
  • the bird's eye view image storage unit 706 stores the bird's eye view image data that has been combined by the combining unit 715. As described above, the bird's-eye view image storage unit 706 synthesizes and stores newly generated bird's-eye view image data each time the vehicle 1 moves a predetermined amount of movement, and the situation of the ground under the vehicle 1 is stored. The bird's eye view image data representing the image data is stored in the bird's eye view image storage unit 706.
  • FIG. 18 is a diagram showing an example of bird's eye view image data stored in the bird's eye view image storage unit 706.
  • the bird's eye view image data in addition to the bird's eye view image data generated from the captured image data captured at present, the bird's eye view image data generated from the captured image data captured by the previous time It is synthesized and stored.
  • the bird's-eye view image data stored in the bird's-eye view image storage unit 706 also includes the ground below the vehicle 1.
  • the shape of the vehicle 1 shown in FIG. 18 is shown for ease of explanation, and is not included in the actual bird's eye view image data stored in the bird's eye view image storage unit 706.
  • the vehicle 1 turns at a turning angle ⁇ 1. If so, the bird's-eye view image data stored in the bird's-eye view image storage unit 706 is subjected to rotation processing at the turning angle ⁇ 1 and then combined with the bird's-eye view image data after projective conversion by the conversion unit 714. Thereby, bird's-eye view image data in accordance with the turning of the vehicle 1 can be displayed.
  • FIG. 19 is a diagram illustrating an example of screen information output by the output unit 705.
  • captured image data 1302 obtained by capturing the traveling direction of the vehicle 1 by the imaging unit 16 a and the front wheel on the left side of the vehicle 1 captured by the imaging unit 16 b
  • the captured image data 1303 in the vicinity and the captured image data 1304 in the vicinity of the front wheel on the right side of the vehicle 1 captured by the imaging unit 16 d are displayed.
  • the pitch angle and the roll angle of the vehicle 1 are displayed as recognizable information. That is, while the roll angle is indicated by the inclination of the icon indicating the vehicle 1, the pitch angle is indicated by the distance between the center line passing through the icon and the horizontal line.
  • the roll angle and the pitch angle are shown so as to be recognizable in such a display mode, but the present invention is not limited to such a display mode, and other display modes may be used.
  • the captured image data 1302 output from the output unit 705 and obtained by capturing the traveling direction of the vehicle 1 by the imaging unit 16a is taken as captured image data after rotation control is performed.
  • the driver can recognize the height relationship in the captured image data.
  • FIG. 20 is a flowchart showing the procedure of the above-described process in the periphery monitoring unit 700 according to the present embodiment.
  • the acquisition unit 701 acquires captured image data from the imaging unit 16 (step S1401). Next, the acquisition unit 701 acquires acceleration data from the acceleration sensor 26 (step S1402).
  • the angle calculation unit 702 calculates the roll angle and the pitch angle of the vehicle 1 from the acceleration data (step S1403). It is assumed that the filtering control unit 703 performs low-pass filter filtering on the calculated roll angle and pitch angle.
  • the rotation control unit 711 performs rotation control according to the roll angle on the captured image data (step S1404).
  • bird's-eye view image data showing the predetermined area which is the traveling direction of the vehicle 1 and exists around the vehicle 1 from the captured image data after the bird's-eye view image generation unit 712 performs rotation control is It generates (step S1405).
  • the movement amount calculation unit 713 extracts image data of a predetermined display range (area) from the generated bird's eye view image data (step S1406). In addition, the movement amount calculation unit 713 holds image data extracted from a similar range from the bird's-eye view image data in the past (for example, when it is determined that the movement amount last time is equal to or more than a predetermined threshold).
  • the movement amount calculation unit 713 calculates the movement amount of the vehicle 1 based on the image data of the predetermined display range (area) extracted from the bird's eye view image data (step S1407).
  • the image processing unit 704 determines whether the calculated movement amount is equal to or more than a predetermined threshold (step S1408).
  • the threshold is, for example, 10 cm, but an appropriate threshold may be set according to the embodiment.
  • step S1408 determines that the movement amount is equal to or greater than the predetermined threshold (step S1408: YES)
  • the bird's-eye view image generation unit 712 is the currently captured image data, and before the rotation control of step S1404 is performed.
  • the bird's eye view image data is generated from the captured image data of (step S1409).
  • the conversion unit 714 performs projection conversion of the bird's-eye view image data in accordance with the current roll angle and pitch angle of the vehicle 1 (step S1410).
  • the distortion of the bird's-eye view image data caused by any one or more of the roll angle and the pitch angle is corrected by projection conversion including trapezoidal correction.
  • the conversion unit 714 when a roll angle occurs in the vehicle 1, the vehicle does not lean on the basis of the center of gravity, but leans on the wheel 3 and the like as an axis, so that a shift occurs in the lateral direction. Therefore, the conversion unit 714 according to the present embodiment performs offset correction on the deviation in the left-right direction. Similarly, when a pitch angle occurs, offset correction is performed on the deviation in the front-rear direction.
  • the combining unit 715 combines the current bird's eye view image data after projective transformation with the bird's eye view image data stored in the bird's eye view image storage unit (step S1411).
  • the combining unit 715 performs rotation control in which the bird's-eye view image data stored in the bird's-eye view image storage unit 706 is matched with the turning angle ⁇ 1 before combining.
  • the output unit 705 cuts out the bird's eye view image data to be displayed on the display device 8 from the bird's eye view image data stored in the bird's eye view image storage unit 706 (step S1412). Thereafter, the output unit 705 adds various information to the clipped bird's eye view image data, and then outputs the information to the display device 8 (step S1413).
  • step S1408 determines that the movement amount is smaller than the predetermined threshold (step S1408: No)
  • the image processing unit 704 continues outputting the bird's eye view image data etc. already displayed on the display device 8 (step S1414).
  • the embodiment for displaying the bird's-eye view image data for confirming the condition of the vehicle 1 has been described.
  • the present invention is not limited to displaying only the bird's eye view image data, and various information for confirming the current situation may be added to the bird's eye view image data.
  • an example will be described in which various types of information are added to bird's eye view image data.
  • FIG. 21 is a block diagram showing a configuration of a periphery monitoring unit 1700 implemented in the periphery monitoring ECU 14 according to the present embodiment.
  • the periphery monitoring unit 1700 shown in FIG. 21 is changed to an acquisition unit 1701 different from the acquisition unit 701 in the processing to be performed compared to the periphery monitoring unit 700 of the first embodiment, and the processing to be performed with the image processing unit 704 is The difference is that the image processing unit 1702 is changed.
  • the acquiring unit 1701 acquires captured image data and acceleration data, and also uses a stroke detection sensor (not shown) that indicates the degree of sinking of the suspension of the front wheel 3F and a suspension detection result.
  • the detection results of the steering angles of the front wheel 3F and the rear wheel 3R are acquired from the steering angle sensor 19.
  • the acquired suspension detection result and the detection result of the steering angle are output to the image processing unit 1702.
  • the image processing unit 1702 has a tire outer shape calculation unit 1711 added, a trajectory calculation unit 1712 added, and a process performed with the combining unit 715 of the second embodiment.
  • the second embodiment differs from the second embodiment in that the second embodiment is changed to a different synthesis unit 1713.
  • the tire outer shape calculation unit 1711 calculates the outer shape of the tire to be superimposed on the bird's eye view image data based on the suspension detection result acquired by the acquisition unit 1701 and the detection result of the steering angle. For example, when the camera is installed from a bird's-eye view point, the front wheel 3F and the rear wheel 3R appear large because they approach the camera when the suspension sinks, and small because they move away from the camera when the suspension extends. Therefore, in the present embodiment, in order to represent the tire outline of the vehicle 1 in the bird's eye view image data, the tire outline shape to be superimposed on the bird's eye view image data based on the suspension detection result and the steering angle Calculate 3F size and angle).
  • the locus calculation unit 1712 calculates a movement predicted locus in the traveling direction of the vehicle 1 based on the steering angle of the front wheel 3F and the steering angle of the rear wheel 3R.
  • the locus calculation unit 1712 calculates a movement prediction locus to be added to the current captured image data as a movement prediction locus of the front wheel 3F, and adds it to the bird's eye view image data as a movement prediction locus of the rear wheel 3R. Calculate the expected movement trajectory.
  • the calculated predicted movement trajectory is output to the captured image data and the bird's-eye view image data by the output unit 705 and then output.
  • the combining unit 1713 combines the bird's-eye view image data stored in the bird's-eye view image storage unit 706 and the bird's-eye view image data after projective conversion by the conversion unit 714 in the same process as the second embodiment.
  • a mark capable of recognizing the steering angle and the size of the front wheel 3F is added to the position where it is estimated that the front wheel 3 currently exists, to the bird's eye view image data after being synthesized.
  • the movement locus of the front wheel 3R is represented in the bird's-eye view image data by adding a mark to the position where the front wheel 3R exists every time the synthesizing unit 1713 synthesizes. Then, the output unit 705 outputs the screen information to the display device 8 based on the bird's eye view image data synthesized by the synthesis unit 1713.
  • FIG. 22 is a diagram showing an example of screen information output by the output unit 705 according to the third embodiment.
  • captured image data 1602 and the like obtained by imaging the traveling direction of the vehicle 1 by the imaging unit 16a are captured.
  • predicted movement trajectories 1611 and 1612 display elements indicating a planned track of the front wheel 3F calculated by the track calculation unit 1702 are represented.
  • movement trajectories 1621 and 1622 of the vehicle 1 which are generated from the marks provided on the basis of the outer shape of the front wheel 3F being continuously provided are shown.
  • the driver can recognize the unevenness on the road surface by the sizes of the marks included in the movement traces 1621, 1622. In other words, it is considered that in places where the large marks are given, there is a high possibility that the suspension is deeply sunk, in other words, there is an obstacle such as a stone. For this reason, the driver can perform an operation such that the rear wheel 3F or the differential (not shown) does not collide by performing the driving while confirming the mark.
  • movement predicted loci 1631 and 1632 of the rear wheel 3F calculated by the locus calculating unit 1703 are shown.
  • the driver can check the predicted movement trajectories 1631 and 1632.
  • the rear wheel 3R is an obstacle by driving so that the rear wheel 3R overlaps the movement trajectory of the front wheel 3F that has not collided with the obstacle. It is possible to prevent collisions with
  • the color or shape may be made different based on information other than the suspension detection result. For example, the color and shape of the position where the front wheel 3F slips may be made different. This can improve the safety of the driver when driving.
  • the second embodiment or the third embodiment is an example of a control device or program of any one of the following [1] to [8].
  • An acquisition unit configured to acquire captured image data provided in a vehicle and output from an imaging unit imaging an area around the vehicle, and vehicle condition data output from a vehicle condition detection unit provided in the vehicle;
  • a rotation control unit that performs rotation control of the captured image data based on an inclination of the vehicle in the left-right direction with respect to a horizontal direction that is a direction included in a horizontal surface perpendicular to the gravity direction, which is calculated from the vehicle state data;
  • a generation unit configured to generate a bird's-eye view image data representing the ground around the vehicle from a bird's-eye view based on the captured image data rotationally controlled by the rotation control unit;
  • Control device for a vehicle comprising: [2] The generation unit generates first bird's-eye view image data based on the first captured image data rotationally controlled by the rotation control unit, and the vehicle moves after imaging the first captured image data.
  • the image processing apparatus further includes a combining unit that combines the first bird's eye view image data and the second bird's eye view image data.
  • the control device for a vehicle according to [1]. [3] The acquisition unit acquires the acceleration of the vehicle as the vehicle state data from the vehicle state detection unit. The rotation control unit further determines the position coordinates in the display area of the captured image data corresponding to the center of the lens used for imaging by the imaging unit as an origin, and is obtained from the acceleration data.
  • the image processing apparatus further includes a conversion unit that performs projection conversion determined based on the second roll angle, The combining unit combines the first bird's eye view image data and the second bird's eye view image data converted into the conversion unit.
  • the control device for a vehicle according to any one of [1] to [3].
  • the rotation control unit acquires a first roll angle obtained from the first acceleration data acquired when capturing the first captured image data, and acquires when capturing the second captured image data.
  • the rotation control of the captured image data is performed according to a difference between the second roll angle obtained from the second acceleration data and the second roll angle.
  • the control device for a vehicle according to any one of [1] to [4].
  • the combining unit combines the first bird's eye view image data including the ground below the vehicle and the second bird's eye view image data, which are captured before the vehicle moves.
  • the control apparatus for a vehicle according to any one of [1] to [5].
  • An output unit that outputs information representing any one or more of the roll angle or a pitch angle indicating an inclination around the left and right axis of the vehicle, and a bird's-eye view image data synthesized by the synthesis unit; , The control device for a vehicle according to any one of [1] to [6].
  • Reference numeral 500 periphery monitoring unit, 501: acquisition unit, 502: angle calculation unit, 503: filtering control unit, 504: image processing unit, 505: output unit, 521: rotation control unit, 522: reduction / enlargement control unit, 523 ...
  • a movement control unit 524 a combination unit 700 a periphery monitoring unit 701 an acquisition unit 702 an angle calculation unit 703 a filtering control unit 704 an image processing unit 705 an output unit 706 a bird's eye view image storage unit 711 ... rotation control unit, 712 ... bird's eye view image generation unit, 713 ... movement amount calculation unit, 714 ... conversion unit, 715 ... combining unit

Abstract

　実施形態の車両の制御装置は、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、車両の左右方向の傾きに基づいて、撮像画像データを回転制御する制御部と、を備え、制御部は、撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する。

Description

車両の制御装置、及びプログラム
　本発明の実施形態は、車両の制御装置、及びプログラムに関する。
　従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。運転者に提供する際に、撮像された画像データを車両の挙動に応じて補正する技術が提案されている。また、周辺の環境を認識しやすいように、俯瞰視点で車両の周辺の地面を表した鳥瞰図画像データを生成する技術が提案されている。
特開２００９－２１２７０３号公報 特開平９－５２５５５号公報 特開２００３－００９１４１号公報 特開２００３－２４４６８８号公報
　しかしながら、従来技術では、例えば、運転者の指示があった場合のみ画像データが補正されるため、リアルタイムに補正できないという問題や、車高センサで車両の傾きを検出しているため、タイヤが接地していない場合等に傾きが精度良く把握できず、画像データの適切な表示が十分にできない等の問題が生じている。また、そのような画像データに基づく表示では、車両の周辺状況を正確に把握ことが難い等の問題を生じている。
　本発明の実施形態にかかる車両の制御装置は、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御部と、を備え、前記制御部は、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する。よって、一例としては、撮像画像データに基づく車両周辺の状況把握が容易になるという効果を奏する。
　また、前記車両の制御装置では、一例として、前記車両状態検出部は、前記車両状態データとして前記車両に設けられた加速度検出部から出力された加速度データを取得し、前記制御部は、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データを回転制御する。よって、一例として、撮像画像データに基づく車両周辺の状況把握が容易になるという効果を奏する。また、高低差が視覚的に認識しやすくなるという効果を奏する。
　また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記撮像画像データの拡大処理又は縮小処理行う。よって、一例としては、出力先に応じて撮像画像データの拡大又は縮小が行われることで、視認性が向上するという効果を奏する。
　また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記撮像画像データに対して前記レンズの中心に対応する位置座標を前記表示領域の中心から移動させる。よって、一例としては、出力先に応じて撮像画像データの移動制御が行われることで、視認性が向上するという効果を奏する。
　また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記レンズの中心に対応する位置座標を前記表示領域の中心から前記表示領域内の上方向に移動させる。よって、一例としては、撮像画像データに含まれている、水平線より下方の領域が主に表示されるので、車両周辺の状況を容易に把握できるという効果を奏する。
　また、前記車両の制御装置では、一例として、前記撮像画像データが表示される表示装置には、前記車両の前後軸周りの傾きを示したロール角と前記車両の左右軸周りの傾きを示したピッチ角の少なくとも一方を表した情報が前記撮像画像データと共に表示される。よって、一例としては、車両状態と車両周辺の状況の両方の把握が容易になるという効果を奏する。
　また、前記車両の制御装置では、一例として、前記取得部は、さらに、前記車両がオフロード用のモードに切り替えられているか否かを示す情報を取得し、前記制御部は、前記車両がオフロード用のモードに切り替えられている場合に、先記車両状態データに応じて前記撮像画像データを回転制御する。よって、一例としては、オフロード用のモードでは、車両周辺の状況が視覚的に認識しやすくなるという効果を奏する。
　また、前記車両の制御装置では、一例として、前記制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成部をさらに備える。よって、一例としては、回転制御して水平化してから視点変更が行われた鳥瞰図画像データを参照することで、車両の周辺を俯瞰的に認識できるため、車両周囲の状況を視覚的に認識しやすくなるという効果を奏する。
　また、本発明の実施形態にかかるプログラムでは、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御ステップであって、当該制御ステップは、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する制御ステップと、をコンピュータに実行させる。よって、一例としては、撮像画像データに基づく車両周辺の状況把握が容易にできるという効果を奏する。
　また、前記プログラムでは、一例として、前記制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成ステップをさらに前記コンピュータに実行させる。一例としては、回転制御して水平化してから視点変更が行われた鳥瞰図画像データが作成される。その結果、車両の周辺を俯瞰的に認識できるため、車両周囲の状況を視覚的に認識しやすくなるという効果を奏する。
図１は、実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図４は、実施形態にかかる加速度センサの検出方向の一例を示した図である。 図５は、第１の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図６は、第１の実施形態にかかる撮像部により撮像された撮像画像データの一例とする。 図７は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の一例を示した図である。 図８は、第１の実施形態にかかる回転制御部により回転補正を行った後の撮像画像データの一例を示した図である。 図９は、第１の実施形態にかかる合成部が合成した後の画像データの一例を示した図である。 図１０は、第１の実施の形態にかかる周辺監視部における、表示装置への表示処理の手順を示すフローチャートである。 図１１は、第２の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図１２は、第２の実施形態にかかる車両のオフロード走行時に当該車両が石等に乗り上げた状況の例を示した図である。 図１３は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。 図１４は、第２の実施形態にかかる移動量算出部により算出されるオプティカルフローの概念を示した図である。 図１５は、オプティカルフローの平均値と、車両の移動量との関係を示した図である。 図１６は、第２の実施形態にかかる車両の傾きによる撮像画像データの歪みと、変換部で変換した後の撮像画像データの表示範囲と、を示した図である。 図１７は、第２の実施形態にかかる合成部により合成された後の鳥瞰図画像データの例を示した図である。 図１８は、第２の実施形態にかかる俯瞰画像記憶部に記憶された鳥瞰図画像データの例を示した図である。 図１９は、第２の実施形態にかかる出力部が出力する画面情報の例を示した図である。 図２０は、第２の実施形態にかかる周辺監視部における、表示装置８への表示処理の手順を示すフローチャートである。 図２１は、第３の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図２２は、第３の実施形態にかかる出力部が出力する画面情報の例を示した図である。
　以下の複数の実施形態には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付与される。また、重複する説明が省略される。
＜第１の実施形態＞
　実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
　図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
　また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。
　また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、周辺監視ＥＣＵ１４（electronic　control　unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ，１３ａを動作させる。前輪操舵システム１２ならびに後輪操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。前輪操舵システム１２ならびに後輪操舵システム１３は、アクチュエータ１２ａ，１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ，１３ａは、一つの車輪３を操舵しても良いし、複数の車輪３を操舵しても良い。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
　また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ～１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°～２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。
　なお、水平方向とは、重力方向（鉛直方向）に対して垂直な水平面に含まれている方向である。
　本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。
　周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１（車体２）を上方から見た仮想的な鳥瞰図画像（平面画像）を生成したりすることができる。
　また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００では、周辺監視ＥＣＵ１４や、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller　area　network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２や、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、タイヤ角センサ１３ｂ（後輪３Ｒ用）、アクチュエータ１８ａ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
　本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（Electronic　Stability　Control）搭載車両とする。そして、ＥＳＣ（Electronic　Stability　Control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。
　図４は、加速度センサ２６ａ、２６ｂの検出方向の例を示した図である。検出方向４０１は、加速度センサ２６ａの検出方向であり、検出方向４０２は、加速度センサ２６ｂの検出方向とする。図４に示す検出方向４０１は、地面（車両１が移動可能な平面）に平行な平面上で、車両１の進行方向（前後方向）から４５度傾いた方向とする。また、検出方向４０２は、地面に平行な平面上であり、検出方向４０１との間の角度は９０度とする。このように地面に平行な平面上に異なる２つの検出方向を有しているため、前後方向の加速度及び左右方向の加速度を導出することができる。なお、本実施形態は、検出方向を制限するものではなく、少なくとも左右方向の加速度を導出できれば良い。なお、前後方向の加速度及び左右方向の加速度の算出は、周辺監視ＥＣＵ１４で行われる。
　車両１の前後方向とは、車両１の進行方向及び進行方向の反対方向を示し、車両１の左右方向とは、車両１の進行方向に垂直な面に含まれている方向とする。
　図３に戻り、周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。
　ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard　disk　drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。
　図５は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部５００の構成を示すブロック図である。図５に示す周辺監視部５００内の各構成は、図４の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。
　周辺監視部５００は、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、取得部５０１と、角度算出部５０２と、フィルタリング制御部５０３と、画像処理部５０４と、出力部５０５と、を実現する。なお、ソフトウエア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。
　そして、本実施形態にかかる周辺監視部５００は、車両１が移動して駐車を行う際に、撮像部１６から入力された撮像画像データ、及び車両状態検出部の一例として機能する、加速度センサ２６（加速度検出部）から取得した、車両状態データの一例としての加速度データに基づいて、車両１の周辺の状況を認識できる画像データを表示することで、運転者の運転を支援する。
　取得部５０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部５０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ～１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。さらには、取得部５０１は、操作入力部１０に設けられたスイッチで設定されているモードが、オフロードモードであるか否かを示す情報も取得する。取得部５０１は、取得した情報を角度算出部５０２及び画像処理部５０４に出力する。
　また、取得部５０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
　角度算出部５０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸（図４の軸４１２）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ピッチ角が０度となる。
　ロール角とは、車両１の前後軸（図４の軸４１１）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ロール角が０度となる。そして、角度算出部５０２は、ピッチ角及びロール角を算出するために、まず車両１の前後方向の加速度ａ１と、左右方向の加速度ａ２と、を算出する。
　なお、角度算出部５０２は、前後方向の加速度ａ１を、以下の式（１）を用いて算出する。検出方向４０１の加速度をＧＬ１とし、検出方向４０２の加速度をＧＬ２とする。なお、本実施形態では、ピッチ角０°の場合（車両１が水平の場合）に、前後方向の加速度ａ１が０Ｇとなり、ピッチ角９０°の場合（車両１が垂直の場合）に、前後方向の加速度ａ１が１Ｇとなる例とする。
　ａ１＝ＧＬ１×ｃｏｓ４５°－ＧＬ２×ｃｏｓ４５°…（１）
　次に、角度算出部５０２は、左右方向の加速度ａ２を、以下の式（２）を用いて算出する。
　ａ２＝－（ＧＬ１×ｓｉｎ４５°＋ＧＬ２×ｓｉｎ４５°）…（２）
　さらに、角度算出部５０２は、以下の式（３）を用いて、ピッチ角ＰＡを算出する。
　ＰＡ[deg]＝９０[deg]×ａ１[Ｇ]…（３）
　さらに、角度算出部５０２は、以下の式（４）を用いて、ロール角ＲＡを算出する。
　ＲＡ[deg]＝９０[deg]×ａ１[Ｇ]…（４）
　また、角度算出部５０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
　フィルタリング制御部５０３は、角度算出部５０２により算出されたロール角ＲＡ及びピッチ角ＰＡに対して、ローパスフィルタによるフィルタリングを行う。
　本実施形態では、ローパスフィルタをかけることで、ロール角ＲＡ及びピッチ角ＰＡが急峻に変化すること、換言すれば表示装置８に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置８に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部５００内に設けられたフィルタリング制御部５０３によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ２６から出力された信号に対して行うアナログフィルタ等であっても良い。
　画像処理部５０４は、制御部としてそれぞれ機能する、回転制御部５２１と、縮小・拡大制御部５２２と、移動制御部５２３と、合成部５２４と、を備え、表示装置８に表示するための画像データを生成する。
　回転制御部５２１は、撮像部１６ａにより撮像された、車両１の前方周辺を写した撮像画像データに対して、回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
　図６は、撮像部１６ａにより撮像された撮像画像データの例とする。図６に示す撮像画像データは、傾いた車両１から撮像されている。運転者は、表示装置８に表示される映像は客観的なものとして捉える傾向が高く、表示装置８に表示された撮像画像データで、縦軸方向で同じ高さの領域であれば、実際の高さも同じ又は実際の高低差ほどないと認識する傾向になる。図６に示す例では、領域６０１と領域６０２とが同じ高さであると認識する可能性がある。
　そこで、本実施形態にかかる回転制御部５２１は、加速度センサ２６から求められるロール角に応じて、撮像画像データを回転補正する。言い換えれば、回転制御部５２１は、車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、車両の左右方向の傾きに基づいて、撮像画像データを回転補正（制御）する。例えば、回転制御部５２１は、撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転補正（制御）する。
　本実施形態にかかる回転制御部５２１は、撮像部１６が撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。
　図７は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。図７に示す座標系に含まれている各位置座標について、回転制御部５２１が、以下に示す式（５）で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、dx0、dy0は、レンズ中心を原点とした座標値とする。また、θは、算出されたロール角とする。
Figure JPOXMLDOC01-appb-M000001
　図８は、回転制御部５２１により回転補正を行った後の撮像画像データの例を示した図である。図８に示す例では、撮像画像データに写っている被写体（車両１外部の環境）に含まれている水平線が、表示装置８の表示領域の横方向の辺に略平行になるように回転補正されている。換言すれば、撮像画像データの下方向が、当該撮像画像データに写っている被写体（車両１外部の環境）の重力方向になるように回転補正されている。なお、完全に下方向と重力方向とを完全に一致させる必要はなく、撮像画像データ内の高さ関係が認識可能な程度に一致させれば良い。
　例えば、図６では同じ高さに見えた領域６０１と領域６０２について、図８では領域６０２が領域６０１より高い位置に存在することが認識できる。このため、運転者は、車両１の周辺の環境について、客観的な高さを認識できる。これにより適切な運転が可能となり、安全性を向上させることができる。
　制御部として機能する、縮小・拡大制御部５２２は、回転制御部５２１により回転補正が行われた後の撮像画像データに対して拡大処理又は縮小処理を行う。縮小・拡大制御部５２２が、以下に示す式（６）で位置座標を変換することで、撮像画像データの拡大補正又は縮小補正を実現できる。なお、dx1、dy1は、回転補正が行われた後のレンズ中心を原点とした座標値とする。なお、magＸ、magＹは、縦、横の拡大、縮小率とする。なお、拡大・縮小率は、撮像画像データの表示サイズと、表示装置８の表示領域の画素数との関係に基づいて決定される。
Figure JPOXMLDOC01-appb-M000002
　制御部として機能する、移動制御部５２３は、縮小・拡大制御部５２２により拡大又は縮小処理が行われた後の撮像画像データに対して、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から移動させる制御を行う。本実施形態においては、移動制御部５２３は、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から、表示領域内の上方向に移動させる制御を行う。
　つまり、車両１が傾くような状況では、運転者は、地面の状況を確認したい傾向が高い。このため、移動制御部５２３が、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から、表示領域内の上方向に移動させる処理を行うこととした。これにより、例えば、撮像画像データに写っている空など、車両１より上方の状況が非表示となり、車両１より下方の状況が表示されることになる。よって、利用者は、表示装置８に表示された撮像画像データを参照することで、車両１周辺の地面の状況を認識できる。これにより、適切な操舵支援を実現できる。
　移動制御部５２３は、以下に示す式（７）で位置座標を変換することで、撮像画像データの位置座標の移動を実現できる。なお、dx2、dy2は、拡大、縮小補正を行った後のレンズ中心を原点とした座標値とする。なお、移動前のレンズの中心の位置座標の移動先を（ｃｘ、ｃｙ）とする。
Figure JPOXMLDOC01-appb-M000003
　合成部５２４は、移動制御部５２３が移動制御を行った後の撮像画像データに対して、表示装置８の表示領域に合わせて切り出しした後、運転手の操舵を支援するための表示情報を合成する。
　図９は、合成部５２４が合成した後の画像データの例を示した図である。図９に示す例では、表示領域９０１には、撮像部１６ｂより撮像された、車両１の左側の前輪周辺の状況が映し出されている。また、表示領域９０２には、撮像部１６ｄより撮像された、車両１の右側の前輪周辺の状況が映し出されている。さらに、表示領域９０３には、車両１のピッチ角及びロール角が認識可能な情報が表示されている。つまり、車両１を示したアイコン９２１の傾きでロール角を示す一方、当該アイコン９２１を通る中心線９１２と線９１１と間の距離でピッチ角を示している。このように、本実施形態では、ロール角及びピッチ角を認識可能な情報を示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
　このように、本実施形態にかかる車両１においては、オフロード走行時に車両１のロール、ピッチ状態をリアルタイムに表示することを可能とする。これにより、運転者は、車両１の周辺の客観的な状況を認識することが容易となる。
　また、表示領域９０４には、合成部５２４により切り出された後の撮像画像データが映し出されている。撮像画像データ内の映像内の水平線が、表示装置８の横枠と略平行になるように補正されている。換言すれば、撮像画像データ内の映像の下方向が、重力方向になるように補正されている。これにより、運転者は周辺の状況を認識するのが容易になる。
　そして、出力部５０５は、合成部５２４により合成された画像データを、表示装置８に出力する。これにより、補正処理が行われた後の記撮像画像データ共に、ロール角及びピッチ角が認識可能な情報が、表示装置８に表示される。
　図８，９の例では、前輪３Ｆの予想進路線９０５が含まれている。周辺監視ＥＣＵ１４（ＣＰＵ１４ａ）は、舵角センサ１９，タイヤ角センサ１３ｂの検出結果等に基づいて予定進路を算出することができ、出力される画像に予定進路に対応した予想進路線９０５を含める（重畳する）ことができる。予想進路線９０５は、予定された進路を示す表示要素の一例である。周辺監視ＥＣＵ１４は、上述した回転、拡大・縮小、移動補正に対応して、予想進路線９０５の表示位置や、大きさ、姿勢（傾き）等を補正する。また、周辺監視ＥＣＵ１４は、予想進路線９０５の位置が画面の中央から大きくずれるような場合には、ずれが減る方向に表示領域と予想進路線９０５の位置を補正することも可能である。
　また、図９の例では、表示領域９０３，９０４の横方向の辺（図９の上辺または下辺）に対するアイコン９２１の傾きが、車両１のロール角度となる。したがって、周辺監視ＥＣＵ１４は、出力される画像に、アイコン９２１の周囲を取り囲む角度スケール９０６ａ（傾斜スケール）を、表示領域９０３に対して角度が不変となる状態に含めることにより、アイコン９２１を利用した傾斜計９０６（ロール角度表示部）を構成することができる。例えば、表示領域９０４の表示のみでは、水平方向、鉛直方向、車両１の姿勢（ロール角度やピッチ角）が分かり難い場合がある。この点、図９の例のように、ロール角度やピッチ角に応じて画面に対して回転（ロール）やピッチングされるアイコン９２１が表示されたり、傾斜計９０６が表示されたりすることで、表示領域９０４の画像の状態によらず、水平方向、鉛直方向、車両１の姿勢（ロール角度）が分かり易くなる。このように、表示領域９０４と表示領域９０３を一緒に表示する（同一画面内に表示するまたは並列して表示する）ことにより、車両周辺の状況や車両の姿勢の状況がいっそう理解し易くなる。
　また、本実施形態は、上述した回転、拡大・縮小、移動補正を常に行うものではなく、車両１がオフロードモードになった場合に行うように設定しても良い。例えば、取得部５０１が取得したオフロードモードであるか否かを示す情報を参照し、画像処理部５０４がオフロードモードの場合に、画像処理部５０４が、上述した回転、拡大・縮小、移動補正を行う。
　なお、オフロードモードとは、オフロード走行において、車両１の４ＷＤの性能を引き出すためのモードとし、トランスファーギアの全体を低く設定するモードとする。つまり、本実施形態は、オフロード走行を行う際の操作に連動して、表示装置８に表示される撮像画像データが切り替わることとする。なお、本実施形態は、表示装置８に表示される映像の切替は、オフロードモードに切り替えられた場合に制限するものではなく、例えば、２－４ＷＤ切替で４ＷＤに切り替えられた場合に、回転補正が行われた映像を表示するように制御を行っても良い。
　次に、本実施の形態にかかる周辺監視部５００における、表示装置８への表示処理について説明する。図１０は、本実施の形態にかかる周辺監視部５００における上述した処理の手順を示すフローチャートである。
　まず、取得部５０１が、撮像部１６から撮像画像データを取得する（ステップＳ１００１）。次に、取得部５０１が、加速度センサ２６から加速度データを取得する（ステップＳ１００２）。
　そして、角度算出部５０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１００３）。
　次に、フィルタリング制御部５０３が、算出されたロール角及びピッチ角に対して、ローパスフィルタによるフィルタリングを行う（ステップＳ１００４）。
　そして、回転制御部５２１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１００５）。
　次に、縮小・拡大制御部５２２及び移動制御部５２３が、回転制御が行われた後の撮像画像データに対して、拡大制御及び移動制御を行う（ステップＳ１００６）。
　そして、合成部５２４が、拡大制御及び移動制御が行われた後の撮像画像データに対して、表示装置８で表示される表示領域に応じた切り出しを行う（ステップＳ１００７）。
　次に、合成部５２４が、切り出した撮像画像データに対して、前輪周辺の状況を示した撮像画像データや、ピッチ角及びロール角を認識可能な表示情報を合成する（ステップＳ１００８）。
　そして、出力部５０５が、合成部５２４により合成された後の画像データを、表示装置８に出力する（ステップＳ１００９）。
　本実施形態にかかる周辺監視部５００では、上述した構成を備えることで、車両１周辺の高低差を認識することが容易になる。これにより操舵の負担を軽減し、安全性を向上させることができる。
＜第２の実施形態＞
　図１１は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部７００の構成を示すブロック図である。図４の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで、図１１に示される、取得部７０１と、角度算出部７０２と、フィルタリング制御部７０３と、画像処理部７０４と、出力部７０５と、を実現する。また、周辺監視部７００は、ＲＡＭ１４ｃ上に鳥瞰図画像記憶部７０６を実現する。
　取得部７０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部７０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ～１６ｄから出力された撮像画像データと、当該車両１に設けられて車両状態検出部の一例として機能する、加速度センサ２６ａ、２６ｂ（加速度検出部）から出力された、車両状態データの一例としての加速度データと、を取得する。取得部７０１は、取得した情報を角度算出部７０２及び画像処理部７０４に出力する。
　また、取得部７０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
　角度算出部７０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸（図４の軸４１２）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ピッチ角が０度となる。
　ロール角とは、車両１の前後軸（図４の軸４１１）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ロール角が０度となる。そして、角度算出部７０２は、ピッチ角及びロール角を算出するために、まず車両１の前後方向の加速度ａ１と、左右方向の加速度ａ２と、を算出する。
　なお、角度算出部７０２は、前後方向の加速度ａ１を、以下の式（１）を用いて算出する。検出方向４０１の加速度をＧＬ１とし、検出方向４０２の加速度をＧＬ２とする。なお、本実施形態では、ピッチ角０°の場合（車両１が水平の場合）に、前後方向の加速度ａ１が０Ｇとなり、ピッチ角９０°の場合（車両１が垂直の場合）に、前後方向の加速度ａ１が１Ｇとなる例とする。
　ａ１＝ＧＬ１×ｃｏｓ４５°－ＧＬ２×ｃｏｓ４５°…（１）
　次に、角度算出部７０２は、左右方向の加速度ａ２を、以下の式（２）を用いて算出する。
　ａ２＝－（ＧＬ１×ｓｉｎ４５°＋ＧＬ２×ｓｉｎ４５°）…（２）
　さらに、角度算出部７０２は、以下の式（３）を用いて、ピッチ角ＰＡを算出する。
　ＰＡ[deg]＝９０[deg]×ａ１[Ｇ]…（３）
　さらに、角度算出部７０２は、以下の式（４）を用いて、ロール角ＲＡを算出する。
　ＲＡ[deg]＝９０[deg]×ａ２[Ｇ]…（４）
　また、角度算出部７０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
　フィルタリング制御部７０３は、角度算出部７０２により算出されたロール角ＲＡ及びピッチ角ＰＡに対して、ローパスフィルタによるフィルタリングを行う。
　本実施形態では、ローパスフィルタをかけることで、ロール角ＲＡ及びピッチ角ＰＡが急峻に変化すること、換言すれば表示装置８に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置８に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部７００内に設けられたフィルタリング制御部７０３によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ２６から出力された信号に対して行うアナログフィルタ等であっても良い。
　画像処理部７０４は、制御部としてそれぞれ機能する、回転制御部７１１と、鳥瞰図画像生成部７１２（生成部）と、移動量算出部７１３と、変換部７１４と、合成部７１５と、を備え、表示装置８に表示するための画像データを生成する。
　回転制御部７１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、車両状態データから算出される水平方向に対する車両の左右方向の傾きに基づいて（換言すればロール角に応じて）回転補正する。水平方向は、例えば、進行方向に対して垂直な方向である。また、撮像画像データは、車両状態データから算出される車両の左右方向の傾きに基づいて、車両を水平になるような回転方向と同方向に回転補正しても良い。この回転補正は、換言すると、車両１の左右方向が水平な状態（重力方向に垂直な水平面上に車両１が配置された状態）で撮影したかのように、撮像画像データを回転補正させるものでもよい。なお、本実施形態では、車両状態データとして、加速度を用いた例とするが、加速度に制限するものではなく車両１の状態に関する情報であれば良い。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
　図１２は、オフロード走行時に車両１が石等に乗り上げた状況の例を示した図である。図１２に示す例では、車両１が乗り上げたためロール角θだけ傾いている。このような状態で撮像部１６ａにより撮像された撮像画像データから鳥瞰図画像データを作成すると、ロール角θに応じた歪みが生じる。
　そこで、本実施形態にかかる回転制御部７１１は、加速度センサ２６から求められるロール角θに応じて、撮像画像データを回転補正する。
　本実施形態にかかる回転制御部７１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。
　図１３は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。図１３に示す座標系に含まれている各位置座標について、回転制御部７１１が、以下に示す式（５）で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、ｄｘ０、ｄｙ０は、レンズ中心を原点とした座標値とする。また、図１３で示される角度θは、算出されたロール角とする。
Figure JPOXMLDOC01-appb-M000004
　回転制御部７１１が回転補正を、表示領域８０１に含まれている全ての画素に対して行うことで、表示領域８０１が角度θだけ回転した表示領域８０２が生成される。そして、周辺監視部７００は、回転制御された後の表示領域８０２を有する撮像画像データに基づいて、鳥瞰図画像データを生成する。これにより、車両１に生じたロール角θによる傾きが補正された鳥瞰図画像データを生成できる。
　また、本実施形態にかかる回転制御部７１１は、撮像画像データを回転制御する角度を、水平の地面から車両１が傾いたロール角に制限するものではなく、前回算出されたロール角と、今回算出されたロール角との差に応じて、撮像画像データの回転制御を行っても良い。これは、例えば、車両１が所定の角度（前回算出されたロール角）だけ傾いた地面上を走行している際に車両１を垂直方向上からの鳥瞰図画像データを作成するよりも、垂直方向上から所定の角度だけ傾いた角度からの鳥瞰図画像データを作成した方が、車両１周辺の地面の状況を認識しやすいためである。このような場合において、回転制御部７１１は、車両１が石等に乗り上げた場合に、石等に乗り上げて傾いたロール角の差分（前回算出されたロール角と今回算出されたロール角の差分）だけ、撮像画像データの回転制御を行う。
　鳥瞰図画像生成部７１２は、回転制御された後の撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルも用いて変換しても良い。
　鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部７１２は、回転制御部７１１により回転制御された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部７１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成する。
　本実施形態では表示装置８に表示する画像データは、車両１が所定の移動量を移動する毎に更新する。そこで、移動量算出部７１３は、鳥瞰図画像生成部７１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、車両１の移動量を算出する。
　しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかる移動量算出部７１３は、鳥瞰図画像生成部７１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。
　具体的には、本実施形態にかかる移動量算出部７１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図より後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリア（表示範囲）を切り出して、オプティカルフローを算出する。
　図１４は、移動量算出部７１３により算出されるオプティカルフローの概念を示した図である。図１４の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとし、図１４の（Ｂ）を、今回鳥瞰図画像生成部７１２により生成された第２の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとする。
　そして、移動量算出部７１３は、図１４の（Ａ）で示した画像データと、図１４の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図１４の（Ｃ）が算出されたオプティカルフローの例を示している。図１４の（Ｃ）で示す例では、図１４の（Ａ）内で示された特徴点（“×”で示される）が、図１４の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。
　そして、移動量算出部７１３は、算出されたオプティカルフローの平均値から、車両１の移動量を算出する。
　図１５は、オプティカルフローの平均値と、車両１の移動量との関係を示した図である。図１５に示す例では、矢印９０１を、オプティカルフローの平均値とする。車両１は、後輪軸を中心に旋回を行う。このため、オプティカルフローの平均値９０１の場合に、車両１は旋回角θ1で旋回していることになる。これにより、移動量算出部７１３は、車両１の旋回角θ1を算出する。さらに、移動量算出部７１３は、オプティカルフローの長さから、車両１の移動量を算出する。また、移動量算出部７１３は、車両１の前後軸方向の移動量と、車両１の左右軸方向の移動量と、をそれぞれ分けて算出しても良い。
　変換部７１４は、移動量算出部７１３により算出された移動量が所定の距離以上の場合に、鳥瞰図画像生成部７１２により今回生成された鳥瞰図画像データを、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと合成するための鳥瞰図画像データに変換する。
　ところで、車両１が傾いた場合に、回転制御部７１１で傾きは修正するが、撮像部１６により撮像される撮像画像データには傾きが原因の歪みが残った状態となる。そこで、変換部７１４が歪みを低減するように、鳥瞰図画像データに対して射影変換を行う。
　本実施形態では、射影変換を、車両１の傾きにより生じる、撮像画像データ内の路面の歪みを、車両１が傾いていない場合に変換するために用いるものであり、例えば、撮像画像データ内の、台形形状の領域を、長方形や正方形の領域に変換する、いわゆる台形補正等も含まれる。
　図１６は、車両１の傾きによる撮像画像データの歪みと、変換部７１４で変換した後の撮像画像データの表示範囲と、を示した図である。図１６に示す例では、車両１がロール状態の場合に生じる鳥瞰図画像データの歪み状態（ａ１）、（ａ２）を示すと共に、車両１がピッチ状態の場合に生じる鳥瞰図画像データの歪み状態（ｂ１）、（ｂ２）を示している。このように車両１の傾きで鳥瞰図画像データが歪んでいる状態で、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと合成すると、歪みが蓄積されていくことになる。
　そこで、本実施形態にかかる変換部７１４は、撮像画像データを撮像したときに取得した加速度データから求められるロール角に基づいて特定される表示範囲（（ａ１）、（ａ２）、（ｂ１）、（ｂ２））で切り出した第２の撮像画像データに対して、図１６の当該第２のロール角に基づいて定められる射影変換を行うこととした。当該射影変換により、表示範囲（（ａ１）、（ａ２）、（ｂ１）、（ｂ２））が、図１６の（ｃ）で示される表示範囲に変換される。なお、ロール角に基づいて、射影変換の対象となる表示領域を示す４点の位置座標を特定する手法は、従来の手法を問わずどのような手法を用いても良く、例えば、ロール角θと４点の位置座標との対応関係を予め備えていても良い。
　合成部７１５は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと、変換部７１４により射影変換した後の鳥瞰図画像データと、を合成する。
　図１７は、合成部７１５により合成された後の鳥瞰図画像データの例を示した図である。図１７に示す鳥瞰図画像データのうち、表示範囲１１０１が、もっとも最近合成された範囲である。そして、表示範囲１１０２が、その前に合成された範囲であり、表示範囲１１０３が、さらにその前に合成された範囲とする。このように本実施形態では、車両１が移動する毎に、鳥瞰図画像データが合成されていく。
　鳥瞰図画像記憶部７０６は、合成部７１５により合成された後の鳥瞰図画像データを記憶する。このように、鳥瞰図画像記憶部７０６が、車両１が所定の移動量を移動する毎に、新たに生成された鳥瞰図画像データを合成され、記憶されることで、車両１の下の地面の状況を示した鳥瞰図画像データが鳥瞰図画像記憶部７０６に記憶されることになる。
　図１８は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データの例を示した図である。図１８に示す様に、鳥瞰図画像データには、現在撮像された撮像画像データから生成された鳥瞰図画像データの他に、前回までに撮像された撮像画像データから生成された鳥瞰図画像データと、が合成されて記憶されている。図１８に示す様に、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データには、車両１の下の地面も含まれている。なお、図１８で示された車両１の形状は、説明を容易にするために示したもので、鳥瞰図画像記憶部７０６に記憶された実際の鳥瞰図画像データには含まれていないものとする。
　また、合成部７１５は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと、変換部７１４により射影変換した後の鳥瞰図画像データと、を合成する際に、車両１が旋回角θ1で旋回している場合に、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データを当該旋回角θ1で回転処理を行ってから、変換部７１４により射影変換した後の鳥瞰図画像データと合成する。これにより、車両１の旋回に合わせた鳥瞰図画像データを表示できる。
　出力部７０５は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと共に、様々な情報を合成した画像データを、表示装置８に出力する。図１９は、出力部７０５が出力する画面情報の例を示した図である。図１９に示す画面情報の例では、鳥瞰図画像データ１３０１の他に、撮像部１６ａにより車両１の進行方向を撮像した撮像画像データ１３０２と、撮像部１６ｂより撮像された、車両１の左側の前輪周辺の撮像画像データ１３０３と、撮像部１６ｄより撮像された、車両１の右側の前輪周辺の撮像画像データ１３０４と、が映っている。さらには、表示領域１３０５には、車両１のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両１を示したアイコンの傾きでロール角を示す一方、当該アイコンを通る中心線と、水平線と間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
　また、出力部７０５が出力する、撮像部１６ａにより車両１の進行方向を撮像した撮像画像データ１３０２は、回転制御が行われた後の撮像画像データとする。これにより、撮像画像データ内の高さ関係を、運転者は認識することが可能となる。
　次に、本実施形態にかかる周辺監視部７００における、表示装置８への表示処理について説明する。図２０は、本実施形態にかかる周辺監視部７００における上述した処理の手順を示すフローチャートである。
　まず、取得部７０１が、撮像部１６から撮像画像データを取得する（ステップＳ１４０１）。次に、取得部７０１が、加速度センサ２６から加速度データを取得する（ステップＳ１４０２）。
　そして、角度算出部７０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１４０３）。算出されたロール角及びピッチ角は、フィルタリング制御部７０３がローパスフィルタによるフィルタリングを行うものとする。
　そして、回転制御部７１１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１４０４）。
　次に、鳥瞰図画像生成部７１２が、回転制御をした後の撮像画像データから、車両１の進行方向であり且つ当該車両１の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する（ステップＳ１４０５）。
　移動量算出部７１３が、生成された鳥瞰図画像データから、予め定められた表示範囲（エリア）の画像データを抽出する（ステップＳ１４０６）。また、移動量算出部７１３は、過去（例えば前回移動量が所定の閾値以上と判定された際）に鳥瞰図画像データから同様の範囲から抽出された画像データを保持している。
　そして、移動量算出部７１３は、鳥瞰図画像データから抽出された予め定められた表示範囲（エリア）の画像データに基づいて、車両１の移動量を算出する（ステップＳ１４０７）。
　そして、画像処理部７０４は、算出された移動量が所定の閾値以上であるか否かを判定する（ステップＳ１４０８）。閾値としては、例えば１０ｃｍ等するが、実施の態様に応じて適切な閾値が設定されていればよい。
　画像処理部７０４は、移動量が所定の閾値以上と判定した場合（ステップＳ１４０８：Ｙｅｓ）、鳥瞰図画像生成部７１２が、現在撮像された撮像画像データであって、ステップＳ１４０４の回転制御を行う前の撮像画像データから、鳥瞰図画像データを生成する（ステップＳ１４０９）。
　その後、変換部７１４が、現在の車両１のロール角及びピッチ角に応じて、鳥瞰図画像データの射影変換を行う（ステップＳ１４１０）。ロール角及びピッチ角のうちいずれか一つ以上により生じた、鳥瞰図画像データの歪みを、台形補正を含む射影変換で補正する。また、車両１においてロール角が生じた場合に、重心を基準として傾くのではなく、車輪３等を軸として傾くので、左右方向にズレが生じる。そこで、本実施形態にかかる変換部７１４は、左右方向のずれについてオフセット修正を行う。同様に、ピッチ角が生じた場合にも、前後方向のずれについてオフセット修正を行う。
　次に、合成部７１５が、射影変換された後の現在の鳥瞰図画像データを、鳥瞰図画像記憶部に記憶されている鳥瞰図画像データと合成する（ステップＳ１４１１）。なお、合成部７１５は、車両１が旋回角θ1で旋回した場合に、鳥瞰図画像記憶部７０６に記憶されている鳥瞰図画像データを合成前の当該旋回角θ1に合わせた回転制御を行っておく。
　そして、出力部７０５が、鳥瞰図画像記憶部７０６に記憶されている鳥瞰図画像データから、表示装置８に表示する鳥瞰図画像データを切り出す（ステップＳ１４１２）。その後、出力部７０５が、切り出した鳥瞰図画像データに様々な情報を付与した上で、表示装置８に出力する（ステップＳ１４１３）。
　一方、画像処理部７０４は、移動量が所定の閾値より小さいと判定した場合（ステップＳ１４０８：Ｎｏ）、既に表示装置８に表示されている鳥瞰図画像データ等の出力を継続する（ステップＳ１４１４）。
＜第３の実施形態＞
　第２の実施形態では車両１の状況を確認するための鳥瞰図画像データを表示する実施形態について説明した。しかしながら、鳥瞰図画像データのみを表示することに制限するものではなく、鳥瞰図画像データに対して、現在の状況を確認するための様々な情報を付与してもよい。そこで、第３の実施形態では、鳥瞰図画像データに対して、様々な情報を付与する例について説明する。
　まずは、第３の実施形態にかかる周辺監視部１７００の構成について説明する。図２１は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部１７００の構成を示すブロック図である。
　図２１に示す周辺監視部１７００は、第１の実施の形態の周辺監視部７００と比べて、取得部７０１と実施する処理が異なる取得部１７０１に変更され、画像処理部７０４と実施する処理が異なる画像処理部１７０２に変更されている点で異なる。
　取得部１７０１は、第２の実施形態と同様に、撮像画像データと、加速度データと、を取得するほか、（図示しない）ストロークセンサから前輪３Ｆのサスペンションの沈み具合が示されたサス検出結果と、舵角センサ１９から前輪３Ｆ及び後輪３Ｒの操舵角の検出結果と、を取得する。本実施形態では、取得されたサス検出結果、及び操舵角の検出結果は、画像処理部１７０２に出力される。
　画像処理部１７０２は、第２の実施形態の画像処理部７０４と比べて、タイヤ外形算出部１７１１が追加され、軌跡算出部１７１２が追加され、第２の実施形態の合成部７１５と実施する処理が異なる合成部１７１３に変更された点で、第２の実施形態と異なる。
　タイヤ外形算出部１７１１は、取得部１７０１が取得したサス検出結果、及び操舵角の検出結果に基づいて、鳥瞰図画像データに重畳すべきタイヤの外形を算出する。例えば、鳥瞰視点でカメラを設置した場合に、前輪３Ｆ及び後輪３Ｒは、サスペンションが沈み込むとカメラに近づくため大きく写り、サスペンションが伸びるとカメラから遠ざかるため小さく写り込む。そこで、本実施形態では、鳥瞰図画像データに車両１のタイヤ外形を表すために、タイヤ外形算出部１７１１が、サス検出結果及び操舵角に基づいて、鳥瞰図画像データに重畳すべきタイヤ外形形状（前輪３Ｆの大きさ、及び角度）を算出する。
　軌跡算出部１７１２は、前輪３Ｆの操舵角、及び後輪３Ｒの操舵角に基づいて、車両１の進行方向における移動予測軌跡を算出する。本実施形態にかかる軌跡算出部１７１２は、前輪３Ｆの移動予測軌跡として、現在の撮像画像データに付与すべき移動予測軌跡を算出し、後輪３Ｒの移動予測軌跡として、鳥瞰図画像データに付与すべき移動予測軌跡を算出する。算出された移動予測軌跡は、出力部７０５により撮像画像データ及び鳥瞰図画像データに付与された上で、出力される。
　また、合成部１７１３は、第２の実施形態と同様の処理で、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと、変換部７１４により射影変換した後の鳥瞰図画像データと、を合成した後に、合成された後の鳥瞰図画像データに対して、現在、前輪３が存在すると推定される位置に、前輪３Ｆの操舵角及び大きさを認識できるマークを付与する。
　合成部１７１３が合成する毎に、前輪３Ｒが存在する位置にマークを付与することで、前輪３Ｒの移動軌跡が鳥瞰図画像データに表されることになる。そして、出力部７０５は、合成部１７１３により合成された鳥瞰図画像データに基づいて、表示装置８に画面情報の出力を行う。
　図２２は、第３の実施形態にかかる出力部７０５が出力する画面情報の例を示した図である。図２２に示す例では、鳥瞰図画像データ１６０１の他に、撮像部１６ａにより車両１の進行方向を撮像した撮像画像データ１６０２等が写っている。
　進路方向を撮像した撮像画像データ１６０２では、軌跡算出部１７０２により算出された、前輪３Ｆの移動予測軌跡１６１１、１６１２（予定進路を示す表示要素）が表されている。
　一方、鳥瞰図画像データ１７０１では、前輪３Ｆの外形に基づいて付与されたマークが連続的に付与されたことから生じている、車両１の移動軌跡１６２１、１６２２が表されている。また、移動軌跡１６２１、１６２２に含まれているマークの大きさにより、運転者は、路面における凹凸を認識することができる。つまり、大きいマークが付与された箇所は、サスペンションが深く沈んでいる、換言すれば石等の障害物がある可能性が高いと考えられる。このため、運転者は、当該マークを確認しながら運転を行うことで、後輪３Ｆや、（図示しない）ディファレンシャルが衝突しないよう操作を行うことができる。
　また、鳥瞰図画像データ１６０２には、軌跡算出部１７０３により算出された、後輪３Ｆの移動予測軌跡１６３１、１６３２が表されている。運転者は、移動予測軌跡１６３１、１６３２を確認できるので、例えば、後輪３Ｒを、障害物に衝突しなかった前輪３Ｆの移動軌跡に重なるよう運転等を行うことで、後輪３Ｒが障害物に衝突すること等を抑止できる。
　なお、鳥瞰図画像生成部１７０２が、過去の鳥瞰図画像データに、前輪３Ｆの位置を示すマークを付与する際に、サス検出結果以外の情報に基づいて色や形状を異ならせても良い。例えば、前輪３Ｆがスリップ等した位置の色や形状を異ならせても良い。これにより、運転者が運転する際の安全性を向上させることができる。
　上述した実施形態にかかる周辺監視部では、上述した構成を備えることで、車両１の下の地面を含む周辺の状況を認識することが容易になる。これにより運転の負担を軽減し、安全性を向上させることができる。
　第２の実施形態あるいは第３の実施形態は、次の［１］～［８］のうちいずれかの車両の制御装置あるいはプログラムの一例である。
［１］
　車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
　前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮影画像データを回転制御する回転制御部と、
　前記回転制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成部と、
　を備える車両の制御装置。
［２］
　前記生成部は、前記回転制御部により回転制御された第１の撮像画像データに基づいて、第１の鳥瞰図画像データを生成し、前記第１の撮像画像データを撮像してから前記車両が移動した後に前記撮像部により撮像され且つ前記回転制御部により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成し、
　前記第１の鳥瞰図画像データと前記第２の鳥瞰図画像データとを合成する合成部を、さらに備える、
　［１］に記載の車両の制御装置。
［３］
　前記取得部は、前記車両状態検出部から、前記車両状態データとして、前記車両の加速度を取得し、
　前記回転制御部は、さらに、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて前記撮像画像データを回転制御する、
　［１］又は［２］に記載の車両の制御装置。
［４］
　前記第２の撮像画像データを撮像したときに取得した第２の前記加速度データから求められる第２のロール角に基づいて特定される表示範囲で切り出した前記第２の撮像画像データに対して、当該第２のロール角に基づいて定められる射影変換を行う変換部をさらに備え、
　前記合成部は、前記第１の鳥瞰図画像データと、前記変換部に変換された前記第２の鳥瞰図画像データとを合成する、
　［１］乃至［３］のいずれか１つに記載の車両の制御装置。
［５］
　前記回転制御部は、前記第１の撮像画像データを撮像したときに取得した第１の前記加速度データから求められる第１のロール角と、前記第２の撮像画像データを撮像したときに取得した第２の前記加速度データから求められる第２のロール角と、の差に応じて、前記撮像画像データを回転制御する、
　［１］乃至［４］のいずれか１つに記載の車両の制御装置。
［６］
　前記合成部は、前記車両が移動する前に撮像された、前記車両の下の地面を含んだ前記第１の鳥瞰図画像データと、前記第２の鳥瞰図画像データとを合成する、
　［１］乃至［５］のいずれか一つに記載の車両の制御装置。
［７］
　前記ロール角、又は前記車両の左右軸周りの傾きを示したピッチ角、のうちいずれか一つ以上を表した情報と、前記合成部により合成された鳥瞰図画像データと、を出力する出力部を、
　さらに備える［１］乃至［６］のいずれか一つに記載の車両の制御装置。
［８］
　車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、
　前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する回転制御ステップと、
　前記回転制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成ステップと、
　をコンピュータに実行させるためのプログラム。
　本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　５００…周辺監視部、５０１…取得部、５０２…角度算出部、５０３…フィルタリング制御部、５０４…画像処理部、５０５…出力部、５２１…回転制御部、５２２…縮小・拡大制御部、５２３…移動制御部、５２４…合成部、７００…周辺監視部、７０１…取得部、７０２…角度算出部、７０３…フィルタリング制御部、７０４…画像処理部、７０５…出力部、７０６…鳥瞰図画像記憶部、７１１…回転制御部、７１２…鳥瞰図画像生成部、７１３…移動量算出部、７１４…変換部、７１５…合成部

Claims (10)

  1. 　車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
    　前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御部と、
    　を備え、
    　前記制御部は、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する車両の制御装置。
  2. 　前記車両状態検出部は、前記車両状態データとして前記車両に設けられた加速度検出部から出力された加速度データを取得し、
    　前記制御部は、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データを回転制御する請求項１記載の車両の制御装置。
  3. 　前記制御部は、さらに、前記撮像画像データの拡大処理又は縮小処理行う請求項２に記載の車両の制御装置。
  4. 　前記制御部は、さらに、前記撮像画像データに対して前記レンズの中心に対応する位置座標を前記表示領域の中心から移動させる請求項２または請求項３に記載の車両の制御装置。
  5. 　前記制御部は、さらに、前記レンズの中心に対応する位置座標を前記表示領域の中心から前記表示領域内の上方向に移動させる請求項４に記載の車両の制御装置。
  6. 　前記撮像画像データが表示される表示装置には、前記車両の前後軸周りの傾きを示したロール角と前記車両の左右軸周りの傾きを示したピッチ角の少なくとも一方を表した情報が前記撮像画像データと共に表示される請求項１から請求項５のいずれか１項に記載の車両の制御装置。
  7. 　前記取得部は、さらに、前記車両がオフロード用のモードに切り替えられているか否かを示す情報を取得し、
    　前記制御部は、前記車両がオフロード用のモードに切り替えられている場合に、先記車両状態データに応じて前記撮像画像データを回転制御する請求項１から請求項６のいずれか１項に記載の車両の制御装置。
  8. 　前記制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成部をさらに備える請求項１から請求項７のいずれか１項に記載の車両の制御装置。
  9. 　車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、
    　前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御ステップであって、当該制御ステップは、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する制御ステップと、
    　をコンピュータに実行させるためのプログラム。
  10. 　前記制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成ステップをさらに前記コンピュータに実行させる請求項９に記載のプログラム。
PCT/JP2014/050387 2013-02-28 2014-01-10 車両の制御装置、及びプログラム WO2014132680A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/770,320 US10322672B2 (en) 2013-02-28 2014-01-10 Vehicle control apparatus and program with rotational control of captured image data
CN201480010443.7A CN105075247B (zh) 2013-02-28 2014-01-10 车辆的控制装置及存储介质
EP14757301.8A EP2963922B1 (en) 2013-02-28 2014-01-10 Program and device for controlling vehicle
JP2015502795A JP6028848B2 (ja) 2013-02-28 2014-01-10 車両の制御装置、及びプログラム
US16/402,369 US10676027B2 (en) 2013-02-28 2019-05-03 Vehicle control apparatus and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-039895 2013-02-28
JP2013039895 2013-02-28
JP2013062440 2013-03-25
JP2013-062440 2013-03-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/770,320 A-371-Of-International US10322672B2 (en) 2013-02-28 2014-01-10 Vehicle control apparatus and program with rotational control of captured image data
US16/402,369 Continuation US10676027B2 (en) 2013-02-28 2019-05-03 Vehicle control apparatus and program

Publications (1)

Publication Number Publication Date
WO2014132680A1 true WO2014132680A1 (ja) 2014-09-04

Family

ID=51427954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050387 WO2014132680A1 (ja) 2013-02-28 2014-01-10 車両の制御装置、及びプログラム

Country Status (5)

Country Link
US (2) US10322672B2 (ja)
EP (1) EP2963922B1 (ja)
JP (1) JP6028848B2 (ja)
CN (1) CN105075247B (ja)
WO (1) WO2014132680A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002727A1 (en) * 2014-09-26 2016-04-06 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus and periphery monitoring system
JP2016119570A (ja) * 2014-12-19 2016-06-30 アイシン精機株式会社 車両周辺監視装置
CN105872379A (zh) * 2016-04-15 2016-08-17 乐视控股（北京）有限公司 摄像装置
WO2016158984A1 (ja) * 2015-04-02 2016-10-06 アイシン精機株式会社 周辺監視装置
JP2018514122A (ja) * 2015-03-19 2018-05-31 ジェンテックス コーポレイション カメラベースの表示システムのための画像処理
JP2018148314A (ja) * 2017-03-02 2018-09-20 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018160848A (ja) * 2017-03-23 2018-10-11 日産自動車株式会社 表示装置の制御方法および表示装置
WO2020116352A1 (ja) * 2018-12-04 2020-06-11 アイシン精機株式会社 路面検出装置および路面検出プログラム
US20210325181A1 (en) * 2020-04-16 2021-10-21 Volkswagen Aktiengesellschaft Method for visualizing an inclination of a motor vehicle in the motor vehicle

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2343409T3 (es) 2004-06-14 2010-07-30 Gas Turbine Efficiency Ab Sistema y dispositivos para recoger y tratar las aguas residuales de lavados de motores.
US9514650B2 (en) * 2013-03-13 2016-12-06 Honda Motor Co., Ltd. System and method for warning a driver of pedestrians and other obstacles when turning
JP6412934B2 (ja) * 2014-05-28 2018-10-24 京セラ株式会社 物体検出装置、物体検出装置を設置した車両およびプログラム
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
US10890925B2 (en) * 2014-12-05 2021-01-12 Command Electronics, LLC Vehicle leveling systems, devices and methods and computer program products for leveling vehicles using smart devices
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
EP3176035A1 (en) * 2015-12-03 2017-06-07 Fico Mirrors S.A. A rear vision system for a motor vehicle
US10318043B2 (en) * 2016-03-24 2019-06-11 Gm Global Technology Operations Llc. Dynamic adjustment of touch sensitive area in a display assembly
DE102016208369A1 (de) * 2016-05-17 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren
US10769831B2 (en) * 2016-08-29 2020-09-08 Maxell, Ltd. Head up display
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
US10726602B2 (en) * 2017-02-03 2020-07-28 Sony Corporation Apparatus and method to generate realistic three-dimensional (3D) model animation
DE112018002143T5 (de) * 2017-04-24 2020-01-16 Mobileye Vision Technologies Ltd. Systeme und verfahren zur kompression von fahrspurdaten
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
BR112020014903A2 (pt) * 2018-01-22 2020-12-08 Koito Manufacturing Co.,Ltd. Aparelho de aquisição de imagem, sistema de espelho eletrônico, e, veículo
WO2019179686A1 (en) * 2018-03-19 2019-09-26 Jaguar Land Rover Limited Controller for a vehicle
DE102018204409A1 (de) * 2018-03-22 2019-09-26 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von den Betrieb eines Fahrzeugs betreffende Informationen und Anzeigesystem
JP2020053734A (ja) * 2018-09-25 2020-04-02 アルパイン株式会社 電子ミラーシステム
JP2020052916A (ja) * 2018-09-28 2020-04-02 日本電産サンキョー株式会社 画像処理装置、イメージスキャナ、及び画像処理方法
DE102020120873A1 (de) * 2019-08-12 2021-02-18 Motional AD LLC (n.d.Ges.d. Staates Delaware) Lokalisierung basierend auf vordefinierten merkmalen der umgebung
EP3846009B1 (en) * 2019-12-31 2023-05-10 Seiko Epson Corporation Display system, electronic apparatus, mobile body, and display method
EP3848781B1 (en) 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body
USD947893S1 (en) * 2020-03-05 2022-04-05 Jaguar Land Rover Limited Display screen or portion thereof with icon
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
JP2022055834A (ja) * 2020-09-29 2022-04-08 株式会社アイシン 駐車支援装置、駐車支援方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0952555A (ja) 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JP2003009141A (ja) 2001-06-27 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003244688A (ja) 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置
JP2007266930A (ja) * 2006-03-28 2007-10-11 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2009212703A (ja) 2008-03-03 2009-09-17 Nissan Motor Co Ltd 車載カメラシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01273746A (ja) * 1988-04-25 1989-11-01 Mazda Motor Corp 移動車の画像処理装置
US6405975B1 (en) * 1995-12-19 2002-06-18 The Boeing Company Airplane ground maneuvering camera system
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4321128B2 (ja) * 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
EP2003019B1 (en) * 2007-06-13 2014-04-23 Aisin AW Co., Ltd. Driving assist apparatus for vehicle
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
US8198555B2 (en) * 2009-04-22 2012-06-12 Honda Motor Co., Ltd Multi-position switch assembly for controlling a vehicle display screen
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
CN104115108B (zh) * 2012-02-16 2018-07-27 古野电气株式会社 信息显示装置以及显示模式切换方法
US8854325B2 (en) * 2012-02-29 2014-10-07 Blackberry Limited Two-factor rotation input on a touchscreen device
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0952555A (ja) 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JP2003009141A (ja) 2001-06-27 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003244688A (ja) 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置
JP2007266930A (ja) * 2006-03-28 2007-10-11 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2009212703A (ja) 2008-03-03 2009-09-17 Nissan Motor Co Ltd 車載カメラシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2963922A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002727A1 (en) * 2014-09-26 2016-04-06 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus and periphery monitoring system
JP2016119570A (ja) * 2014-12-19 2016-06-30 アイシン精機株式会社 車両周辺監視装置
JP2018514122A (ja) * 2015-03-19 2018-05-31 ジェンテックス コーポレイション カメラベースの表示システムのための画像処理
WO2016158984A1 (ja) * 2015-04-02 2016-10-06 アイシン精機株式会社 周辺監視装置
CN105872379A (zh) * 2016-04-15 2016-08-17 乐视控股（北京）有限公司 摄像装置
JP2018148314A (ja) * 2017-03-02 2018-09-20 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018160848A (ja) * 2017-03-23 2018-10-11 日産自動車株式会社 表示装置の制御方法および表示装置
WO2020116352A1 (ja) * 2018-12-04 2020-06-11 アイシン精機株式会社 路面検出装置および路面検出プログラム
JP2020090138A (ja) * 2018-12-04 2020-06-11 アイシン精機株式会社 路面検出装置および路面検出プログラム
JP7211047B2 (ja) 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム
US20210325181A1 (en) * 2020-04-16 2021-10-21 Volkswagen Aktiengesellschaft Method for visualizing an inclination of a motor vehicle in the motor vehicle
US11619489B2 (en) * 2020-04-16 2023-04-04 Volkswagen Aktiengesellschaft Method for visualizing an inclination of a motor vehicle in the motor vehicle

Also Published As

Publication number Publication date
EP2963922A4 (en) 2016-04-13
JP6028848B2 (ja) 2016-11-24
JPWO2014132680A1 (ja) 2017-02-02
CN105075247B (zh) 2018-08-14
EP2963922B1 (en) 2019-02-27
EP2963922A1 (en) 2016-01-06
US10676027B2 (en) 2020-06-09
US10322672B2 (en) 2019-06-18
US20190255999A1 (en) 2019-08-22
US20150375680A1 (en) 2015-12-31
CN105075247A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
JP6028848B2 (ja) 車両の制御装置、及びプログラム
JP6361382B2 (ja) 車両の制御装置
JP6507626B2 (ja) 車両周辺監視装置
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
WO2018070298A1 (ja) 表示制御装置
JP6760122B2 (ja) 周辺監視装置
WO2020116352A1 (ja) 路面検出装置および路面検出プログラム
WO2017057006A1 (ja) 周辺監視装置
WO2019058585A1 (ja) 表示制御装置
CN110945558A (zh) 显示控制装置
JP6876236B2 (ja) 表示制御装置
JP2007168560A (ja) 駐車支援装置
JP2019054420A (ja) 画像処理装置
CN109314770B (zh) 周边监控装置
WO2018025441A1 (ja) 周辺監視装置
JP6930202B2 (ja) 表示制御装置
JP6699462B2 (ja) 周辺監視装置
JP2018186387A (ja) 表示制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480010443.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14757301

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015502795

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14770320

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014757301

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE