WO2014156220A1 - 周辺監視装置、及びプログラム - Google Patents

周辺監視装置、及びプログラム Download PDF

Info

Publication number
WO2014156220A1
WO2014156220A1 PCT/JP2014/050386 JP2014050386W WO2014156220A1 WO 2014156220 A1 WO2014156220 A1 WO 2014156220A1 JP 2014050386 W JP2014050386 W JP 2014050386W WO 2014156220 A1 WO2014156220 A1 WO 2014156220A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
vehicle
captured image
unit
captured
Prior art date
Application number
PCT/JP2014/050386
Other languages
English (en)
French (fr)
Inventor
孝之 中所
渡邊　一矢
哲也 丸岡
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201480012951.9A priority Critical patent/CN105009574B/zh
Priority to JP2015508107A priority patent/JP6156486B2/ja
Priority to EP14775926.0A priority patent/EP2981077B1/en
Priority to US14/769,947 priority patent/US9956913B2/en
Publication of WO2014156220A1 publication Critical patent/WO2014156220A1/ja
Priority to US15/922,289 priority patent/US10710504B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device and a program.
  • a camera installed in the vehicle captures an image of the environment around the vehicle and displays captured image data as an imaging result, thereby assisting the driver in driving.
  • a camera installed in the vehicle captures an image of the environment around the vehicle and displays captured image data as an imaging result, thereby assisting the driver in driving.
  • the periphery monitoring device stores, as an example, captured image data output from an imaging unit that captures an area including a road surface in a traveling direction of the vehicle and an area above the road surface.
  • the captured image data captured in the past by the imaging unit, and the captured road surface includes a road surface corresponding to the current vehicle And an output unit that outputs the captured image data to the display device. Therefore, as an example, since the area
  • the output unit further superimposes identification information capable of specifying a predetermined part of the current vehicle on the captured image data to be output. Therefore, as an example, since the predetermined part of the vehicle is represented in the area which is a dead angle, there is an effect that it becomes easy to grasp the relationship between the surrounding situation and the part of the vehicle.
  • the output unit superimposes, as the identification information, information identifying a predetermined part of the floor of the vehicle. Therefore, as an example, since the position of the underfloor structure, for example, the position of an axle, differential gear or the like is represented, it is possible to easily understand the relationship between the surrounding situation and the underfloor portion of the vehicle.
  • the surrounding area monitoring apparatus further includes, as an example, an acquisition unit that acquires the movement amount of the vehicle, and the storage unit further captures the captured image data and the captured image data by the imaging unit.
  • the position information is stored in association with each other, and the output unit is configured to obtain the current position of the vehicle based on the movement amount acquired by the acquisition unit and the position information stored in the storage unit.
  • the captured image data selected to be included in the imaged area is output. Therefore, as an example, since a plurality of captured image data captured in the past can output the captured image data included in the range in which the current position of the vehicle is captured, it is easy to grasp the situation around the vehicle It plays an effect.
  • the output unit outputs only the captured image data captured at one time in one position among the plurality of captured image data stored in the storage unit. Therefore, as an example, since a plurality of pieces of captured image data captured at a plurality of times are not synthesized, the processing load can be reduced.
  • the output unit outputs the captured image data captured by the imaging unit with the direction in which the vehicle travels and the direction intersecting the road surface as the imaging direction. Therefore, as an example, since the captured image data in which the road surface condition in the advancing direction of the vehicle is reflected is output, it is effective in visual recognition of the condition around the vehicle.
  • the periphery monitoring device further includes, as an example, a receiving unit that receives pressing of a predetermined button, the output unit outputs captured image data currently captured by the imaging unit, and the receiving unit is configured to Among the captured image data stored in the storage unit, when the depression of a predetermined button is received, the captured image data captured in the past by the imaging unit and the current position of the vehicle is captured The captured image data included in the area is output. Therefore, as an example, when the driver wants to grasp the situation around the vehicle, the captured image data including the area where the current vehicle is located can be output, so that the driver's burden of driving can be reduced. Play.
  • the storage unit stores captured image data output from an imaging unit that captures an area including a road surface in the traveling direction of the vehicle and an area above the road surface.
  • the captured image data stored in the storage unit the captured image data captured in the past by the imaging unit, and the current vehicle corresponds to the position on the captured road surface.
  • the computer is caused to execute an output step of outputting captured image data including a road surface to be processed to a display device. Therefore, as an example, since the area
  • FIG. 1 is a perspective view showing an example in which a part of a cabin of a vehicle according to the first embodiment is seen through.
  • FIG. 2 is a plan view (over view) showing an example of the vehicle according to the first embodiment.
  • FIG. 3 is a block diagram showing an example of the vehicle surroundings monitoring system according to the first embodiment.
  • FIG. 4 is a block diagram showing a configuration of a periphery monitoring unit implemented in the periphery monitoring ECU according to the first embodiment.
  • FIG. 5 is a view showing an imaging region by the imaging unit of the vehicle according to the first embodiment.
  • FIG. 6 is a diagram showing the concept of the optical flow calculated by the optical flow calculation unit according to the first embodiment.
  • FIG. 7 is a diagram showing the structure of the ring buffer according to the first embodiment.
  • FIG. 8 is a view showing an example of a normal screen displayed and processed by the display processing unit according to the first embodiment.
  • FIG. 9 is a view showing an example of a screen at the time of underfloor display which is subjected to display processing by the display processing unit according to the first embodiment.
  • FIG. 10 is a view for explaining captured image data selected by the image selection unit according to the first embodiment.
  • FIG. 11 is a flowchart illustrating the procedure of storage processing of captured image data in the periphery monitoring unit according to the first embodiment.
  • FIG. 12 is a flowchart showing a procedure of display processing in the periphery monitoring unit according to the first embodiment.
  • FIG. 13 is a flowchart illustrating the procedure of the underfloor display process in the periphery monitoring unit according to the first embodiment.
  • FIG. 14 is a block diagram showing a configuration of a periphery monitoring unit implemented in the periphery monitoring ECU according to the second embodiment.
  • FIG. 15 is a view showing a typical screen example displayed and processed by the display processing unit when the vehicle according to the second embodiment is moving backward.
  • FIG. 16 is a view showing an example of a screen at the time of underfloor display which is subjected to display processing by the display processing unit according to the second embodiment.
  • FIG. 17 is a diagram showing an example of the screen in the case of the underfloor display according to the third embodiment.
  • FIG. 18 is a diagram showing an example of the screen in the case of the underfloor display according to the fourth embodiment.
  • FIG. 19 is a diagram showing an example of a screen in the case of the underfloor display according to the fifth embodiment.
  • FIG. 20 is a diagram showing an example of the screen in the case of the underfloor display according to the sixth embodiment.
  • the vehicle 1 may be, for example, an automobile (internal combustion engine automobile) having an internal combustion engine (engine, not shown) as a drive source, or a motor (motor, not shown) as a drive source. It may be a car (electric car, fuel cell car, etc.) or a car (hybrid car) that uses both of them as a driving source.
  • the vehicle 1 can be equipped with various transmissions, and can be equipped with various devices (systems, parts, etc.) necessary to drive an internal combustion engine or a motor.
  • the method, number, layout, and the like of devices related to the driving of the wheels 3 in the vehicle 1 can be set variously.
  • the vehicle body 2 As shown in FIG. 1, the vehicle body 2 according to the first embodiment constitutes a cabin 2 a in which an occupant (not shown) rides.
  • a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a gear change operation unit 7 and the like are provided in the passenger compartment 2a in a state of facing the driver's seat 2b as a passenger.
  • the steering unit 4 is a steering wheel protruding from a dashboard (instrument panel)
  • the acceleration operation unit 5 is an accelerator pedal positioned under the driver's foot
  • a braking operation unit Reference numeral 6 denotes a brake pedal positioned under the driver's foot
  • the shift operating unit 7 is a shift lever protruding from the center console, but is not limited thereto.
  • a display device 8 (display output unit) and an audio output device 9 (audio output unit) are provided.
  • the display device 8 is, for example, a liquid crystal display (LCD), an organic electroluminescent display (OELD), or the like.
  • the audio output device 9 is a speaker as an example.
  • the display device 8 is covered with a transparent operation input unit 10 (for example, a touch panel or the like). An occupant or the like can visually recognize an image (image) displayed on the display screen of the display device 8 through the operation input unit 10.
  • an occupant or the like operates by touching, pushing or moving the operation input unit 10 with a finger or the like at a position corresponding to the image (image) displayed on the display screen of the display device 8. Input) can be performed.
  • the display device 8, the voice output device 9, the operation input unit 10, and the like are provided in the monitor device 11 positioned at the center of the dashboard in the vehicle width direction (horizontal direction). ing.
  • the monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, or a push button.
  • an audio output device (not shown) can be provided at another position in the vehicle compartment 2a different from the monitor device 11, and audio can be output from the audio output device 9 of the monitor device 11 and another audio output device. It can be output.
  • the monitor device 11 is also used as a navigation system or an audio system as an example, but a monitor device for a periphery monitoring device may be provided separately from these systems.
  • the vehicle 1 is a four-wheeled vehicle (four-wheeled vehicle), and includes two left and right front wheels 3F and two left and right rear wheels 3R. Have. Furthermore, in the present embodiment, these four wheels 3 are configured to be steerable (steerable).
  • the vehicle 1 has a front wheel steering system 12 for steering the front wheel 3F and a rear wheel steering system 13 for steering the rear wheel 3R.
  • the front wheel steering system 12 and the rear wheel steering system 13 are electrically controlled by a periphery monitoring ECU 14 (electronic control unit) or the like to operate the respective actuators 12a and 13a.
  • a periphery monitoring ECU 14 electronic control unit
  • the front wheel steering system 12 and the rear wheel steering system 13 are, for example, an electric power steering system, an SBW (steer by wire) system, and the like.
  • the front wheel steering system 12 and the rear wheel steering system 13 add torque (assist torque) to the steering unit 4 by the actuators 12a and 13a to compensate for the steering force, and steer the corresponding wheel 3 (front wheel 3F or rear wheel 3R) (Automatic steering)
  • the actuators 12 a and 13 a may steer one wheel 3 or may steer a plurality of wheels 3.
  • the two front wheels 3F are steered substantially in parallel with each other in phase (same phase, same steering direction, same rotational direction), and the two rear wheels 3R are in phase with each other It is steered substantially in parallel.
  • the drive wheels can be set variously.
  • a plurality of (four as an example in the present embodiment) imaging units 16 (16 a to 16 d) are provided in the vehicle 1 (vehicle body 2). It is done.
  • the imaging unit 16 is, for example, a digital camera that incorporates an imaging device such as a charge coupled device (CCD) or a CMOS image sensor (CIS).
  • the imaging unit 16 can output image data (moving image data, frame data) at a predetermined frame rate.
  • the imaging units 16 each have a wide-angle lens, and can image a range (viewing angle) of 140 ° to 220 ° in the horizontal direction. Further, the optical axis of the imaging unit 16 is set downward (obliquely downward). Therefore, the imaging unit 16 captures an image of an environment outside the vehicle body 2 including the road surface on which the vehicle 1 can move.
  • the imaging unit 16a is positioned at an end 2c (an end in a plan view) of the front side (the front side in the vehicle longitudinal direction) of the vehicle body 2 and provided in a front bumper or the like.
  • the imaging unit 16b is located at an end 2d of the left side (left side in the vehicle width direction) of the vehicle body 2 and is provided on the left side door mirror 2g (projecting portion).
  • the imaging unit 16c is located at an end 2e on the rear side (rear side in the vehicle longitudinal direction) of the vehicle body 2 and is provided on the lower wall of the rear trunk door 2h.
  • the imaging unit 16 d is located at an end 2 f of the right side (right side in the vehicle width direction) of the vehicle body 2 and is provided on the right side door mirror 2 g (projecting portion). Note that this embodiment does not limit the on-vehicle method of the camera, and the imaging unit 16a is image data in the front direction with respect to the vehicle, the imaging units 16b and 16d are image data in the left and right direction, and the imaging unit 16c is a rear It may be installed so as to obtain image data of the direction.
  • the periphery monitoring ECU 14 can execute arithmetic processing and image processing based on the image data obtained by the plurality of imaging units 16 and can display the image data subjected to the image processing on the display device 8.
  • the monitor device 11 in addition to the periphery monitoring ECU 14, the monitor device 11, the front wheel steering system 12, the rear wheel steering system 13, etc.
  • a steering angle sensor 19 angle sensor
  • an accelerator sensor 20 a shift sensor 21, a wheel speed sensor 22, an acceleration sensor 26, and the like are electrically connected via an in-vehicle network 23 (electric communication line).
  • the in-vehicle network 23 is configured as a CAN (controller area network) as an example.
  • the periphery monitoring ECU 14 can control the front wheel steering system 12, the rear wheel steering system 13, the brake system 18, and the like by transmitting control signals through the in-vehicle network 23.
  • the periphery monitoring ECU 14 receives the torque sensor 12b, the tire angle sensor 13b (for the rear wheel 3R), the brake sensor 18b, the steering angle sensor 19 (for the front wheel 3F), the accelerator sensor 20, and the shift sensor 21 via the in-vehicle network 23.
  • the detection results of the wheel speed sensor 22, the acceleration sensor 26, etc., and the instruction signals (control signal, operation signal, input signal, data) of the operation input unit 10, etc. can be received.
  • the vehicle 1 is provided with two acceleration sensors 26 (26a, 26b).
  • the vehicle 1 is a vehicle equipped with an ESC (electronic stability control).
  • the acceleration sensor 26 (26a, 26b) conventionally mounted in the ESC (electronic stability control) mounting vehicle is used.
  • this embodiment does not restrict
  • FIG. In the present embodiment, the acceleration in the front-rear direction and the acceleration in the left-right direction are derived.
  • the peripheral monitoring ECU 14 is, for example, a CPU 14 a (central processing unit), a ROM 14 b (read only memory), a RAM 14 c (random access memory), a display control unit 14 d, a voice control unit 14 e, an SSD 14 f (solid state drive, flash memory) have.
  • the CPU 14a executes, for example, various kinds of arithmetic processing such as image processing related to an image displayed on the display device 8, calculation of a movement route of the vehicle 1, determination of presence or absence of interference with an object.
  • the CPU 14a reads a program stored (installed) in a non-volatile storage device such as the ROM 14b, and executes arithmetic processing according to the program.
  • the RAM 14c temporarily stores various data used in the calculation in the CPU 14a.
  • the display control unit 14d mainly performs image processing using image data obtained by the imaging unit 16 and image processing of image data displayed by the display device 8 among the calculation processing in the periphery monitoring ECU 14 (an example As synthesis etc.).
  • the voice control unit 14 e mainly performs processing of voice data output from the voice output device 9 among the calculation processing in the periphery monitoring ECU 14.
  • the SSD 14f is a rewritable non-volatile storage unit, and can store data even when the power supply of the periphery monitoring ECU 14 is turned off.
  • the CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package.
  • the periphery monitoring ECU 14 may be configured to use another logical operation processor such as a DSP (digital signal processor) or a logic circuit instead of the CPU 14a.
  • a hard disk drive (HDD) may be provided instead of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the periphery monitoring ECU 14.
  • FIG. 4 is a block diagram showing the configuration of the periphery monitoring unit 400 implemented in the periphery monitoring ECU 14 according to the present embodiment.
  • the CPU 14a configured as the periphery monitoring ECU 14 of FIG. 3 executes software stored in the ROM 14b (computer readable recording medium) to obtain the acquisition unit 401, the angle calculation unit 402, and the like illustrated in FIG.
  • the storage processing unit 403, the reception unit 405, and the display processing unit 406 are realized.
  • the software may be provided via another computer readable recording medium.
  • the periphery monitoring unit 400 implements the ring buffer 404 on the RAM 14 c.
  • FIG. 5 is a view showing an imaging region by the imaging unit 16a of the vehicle 1 according to the present embodiment.
  • the imaging unit 16 a captures an area including at least a horizon, which is a road surface in the traveling direction of the vehicle 1 and an area above the road surface (opposite to the gravity direction).
  • the road surface 501 near the front wheel 3F of the vehicle 1 is not included in the imaging region 502 currently being imaged by the imaging unit 16a.
  • the periphery monitoring unit 400 can display the captured image data captured by the imaging unit 16a in the past according to the driver's request.
  • captured image data captured in the past means captured image data captured at a position behind the current position of the vehicle 1.
  • the captured image data captured by the imaging unit 16a at the position behind the vehicle 1 it is conceivable that the surroundings monitoring unit 400 presents, to the driver, captured image data obtained by capturing the imaging region 503. Since the imaging area 503 includes the road surface 501, the driver can check the road surface 501 near the front wheel 3F. As a result, the driver can drive after confirming the condition of the road surface 501, so that the burden of driving can be reduced.
  • the configuration of the periphery monitoring unit 400 will be described.
  • the acquisition unit 401 acquires various information from various sensors and the like included in the vehicle 1.
  • the acquisition unit 401 according to the present embodiment is provided from the imaging units 16 a to 16 d provided in the vehicle 1 and imaging the periphery of the vehicle 1, and from the acceleration sensors 26 a and 26 b provided on the vehicle 1.
  • the output acceleration data is acquired.
  • the acquisition unit 401 outputs the acquired information to the angle calculation unit 402 and the storage processing unit 403.
  • the acquisition unit 401 associates, with acceleration data, captured image data in which the captured time and the time at which the acceleration is detected are substantially the same.
  • the angle calculation unit 402 calculates an inclination angle (pitch angle and roll angle) of the vehicle 1 based on the acceleration data acquired by the acceleration sensors 26a and 26b.
  • the pitch angle is an angle that indicates the inclination around the left and right axis of the vehicle 1
  • the roll angle is an angle that indicates the inclination around the front and rear axis of the vehicle 1.
  • the angle calculation unit 402 associates the roll angle and the pitch angle calculated from the acceleration data with the captured image data associated with the acceleration data. As a result, it is possible to recognize the roll angle and the pitch angle of the vehicle 1 when captured image data is captured.
  • the storage processing unit 403 includes a rotation control unit 411, a bird's eye view image generation unit 412, an optical flow calculation unit 413, a position estimation unit 414, and a storage unit 415, and is a captured image to be displayed on the display device 8. Generate and save data.
  • the rotation control unit 411 performs rotation correction on captured image data captured by the imaging unit 16 a and capturing the front (advancing direction) periphery of the vehicle 1.
  • the rotation control unit 411 corresponds to the roll corresponding to the center of the lens used for imaging by the imaging unit 16a, with position coordinates in the display area of the imaged image data as an origin and associated with the imaged image data. Perform rotation correction according to the angle.
  • the target of the rotation correction is not limited to the captured image data captured by the imaging unit 16a, and may be, for example, captured image data captured by the imaging unit 16c and taken around the rear of the vehicle 1 good.
  • the bird's-eye view image generation unit 412 generates bird's-eye view image data that is a ground in the traveling direction of the vehicle 1 and that looks over the ground around the vehicle 1 from above based on captured image data after rotation control. Note that any method may be used to generate bird's eye view image data from captured image data, and for example, conversion may be performed using a mapping table.
  • Generation of bird's eye view image data is performed each time captured image data is acquired.
  • the bird's-eye view image generation unit 412 generates the first bird's-eye view image data based on the first captured image data rotationally controlled by the rotation control unit 411
  • the first captured image data is photographed.
  • the second bird's eye view image data is generated on the basis of the second captured image data which is imaged by the imaging unit 16 and the rotation control of which is controlled by the rotation control unit 411 after the vehicle 1 has moved.
  • the optical flow calculation unit 413 calculates an optical flow based on the bird's eye view image data calculated by the bird's eye view image generation unit 412.
  • the optical flow is information in which the motion of the object shown in the bird's eye view image data is represented by a vector. By calculating the optical flow, the movement amount of the vehicle 1 can be estimated.
  • the optical flow calculation unit 413 calculates an optical flow by comparing the bird's eye view image data generated by the bird's eye view image generation unit 412 with the bird's eye view image data used at the time of the previous update.
  • the optical flow calculation unit 413 compares the predetermined area in the bird's eye view image data generated by the bird's eye view image generation unit 412.
  • the optical flow calculation unit 413 includes the first bird's eye view image data used at the previous update and the second bird's eye view image data generated later than the first bird's eye view image data. From each, a predetermined area (display range) is cut out to calculate an optical flow.
  • FIG. 6 is a diagram showing the concept of the optical flow calculated by the optical flow calculation unit 413. Let (A) in FIG. 6 be image data cut out in a predetermined display range from the first bird's-eye view image data used in the previous update, and (B) in FIG. Image data cut out in a predetermined display range from the second bird's eye view image data generated by step 412 is obtained.
  • the optical flow calculation unit 413 performs transition of the displayed object (feature point) between the image data shown in (A) of FIG. 6 and the image data shown in (B) of FIG. Calculate the optical flow indicated by the vector.
  • FIG. 6C shows an example of the calculated optical flow.
  • the feature points (indicated by “x”) shown in (A) of FIG. 6 are the feature points (“ ⁇ ”) shown in (B) of FIG.
  • the length of the vector moved up to “) is shown.
  • the position estimation unit 414 calculates the movement amount of the vehicle 1 from the average value of the optical flow calculated by the optical flow calculation unit 413, and estimates the current position of the vehicle 1.
  • the current position of the vehicle 1 is estimated by the optical flow. This is because when traveling under the floor of the vehicle 1 such as near the front wheel 3F of the vehicle 1 is desired, the vehicle is often traveling off road. In off-road traveling, it is conceivable that idling of the wheel 3 occurs due to the influence of a rough road surface or the like. In this case, when the movement amount of the vehicle 1 is estimated based on the rotation speed of the wheel 3, an error is likely to occur. Therefore, in the present embodiment, the movement amount and the position of the vehicle 1 are estimated based on the optical flow.
  • the storage unit 415 rotates the rotation control unit 411 when the moving amount of the vehicle 1 is equal to or greater than a predetermined distance and the movement angle of the vehicle 1 satisfies any one of a predetermined angle or more since the previous storage. Captured image data after being controlled is stored in the ring buffer 404 together with the position information of the vehicle 1.
  • the predetermined distance for example, 0.3 m and 0.5 m can be considered.
  • 2 deg or the like can be considered as the predetermined angle.
  • the ring buffer 404 stores the current captured image data output from the imaging unit 16 a in association with information at the time of imaging.
  • FIG. 7 is a diagram showing the structure of the ring buffer 404. As shown in FIG. As shown in FIG. 7, the ring buffer 404 stores the captured image data, the tilt (traveling direction) of the vehicle 1 at the time of capturing the captured image data, and the position information of the vehicle 1 in association with each other.
  • the ring buffer 404 is a buffer logically arranged in a ring. Then, in response to the storage request of the storage unit 415, the ring buffer 404 overwrites and stores the captured image data and the like of the storage request in the oldest updated area.
  • the receiving unit 405 receives an instruction signal (control signal) of the operation input unit 10 or the like.
  • the reception unit 405 according to the present embodiment receives, from these instruction signals, captured image data captured by the current imaging unit 16 a and past captured image data stored in the ring buffer 404 (in other words, display under the floor of the vehicle 1) ), Which switch is to be displayed on the display device 8.
  • the display processing unit 406 includes an image selection unit 421 and an output unit 422, and performs display processing on the display device 8 according to the operation received by the reception unit 405.
  • FIG. 8 is a diagram showing an example of a normal screen subjected to display processing by the display processing unit 406.
  • a normal screen example in addition to the captured image data 801 captured by the imaging unit 16a, captured image data 802 around the front wheel 3F on the right side of the vehicle 1 captured by the imaging unit 16d. And captured image data 803 around the front wheel 3F on the left side of the vehicle 1 captured by the imaging unit 16b.
  • the pitch angle and the roll angle of the vehicle 1 are displayed as recognizable information. That is, while the roll angle is indicated by the inclination of the icon 811 indicating the vehicle 1, the pitch angle is indicated by the distance between the center line passing through the icon 811 and the horizontal line.
  • the roll angle and the pitch angle are shown so as to be recognizable in such a display mode, but the present invention is not limited to such a display mode, and other display modes may be used.
  • trajectories 851 and 852 indicating the traveling direction of the front wheel 3F according to the steering angle acquired from the steering angle sensor 19 are displayed. As a result, the driver can drive after confirming the traveling direction of the vehicle 1.
  • the present embodiment does not limit the switching method, for example, when the receiving unit 405 receives the pressing of the display switching button after the vehicle 1 is stopped, the display processing unit 406 switches the display, etc. Is considered.
  • FIG. 9 is a diagram showing an example of the screen in the case of the display below the floor, which is displayed and processed by the display processing unit 406.
  • the display area 804 displaying the captured image data 802 around the front wheel 3F on the right, the captured image data 803 around the front wheel 3F on the left of the vehicle 1, and the roll angle and the pitch angle in a recognizable manner.
  • the display area 804 displaying the captured image data 802 around the front wheel 3F on the right, the captured image data 803 around the front wheel 3F on the left of the vehicle 1, and the roll angle and the pitch angle in a recognizable manner.
  • the captured image data 901 is captured image data captured in the past by the imaging unit 16 a of the vehicle 1.
  • the current position of the vehicle 1 on the captured image data 901 can be estimated based on the calculated movement amount of the vehicle 1 after capturing the captured image data 901. Therefore, the display processing unit 406 displays information that can identify the current predetermined part of the vehicle 1.
  • an outline 911 showing the outline of the vehicle 1 as an example of identification information capable of specifying a predetermined part of the vehicle 1 and outlines 912, 913 showing the outline of the front wheel 3F of the vehicle 1 are displayed. It is done.
  • Contours 912 and 913 indicating the outer shape of the front wheel 3F are contours based on the current steering angle detected by the steering angle sensor 19. Thus, the driver can recognize the current tire orientation and position of the vehicle 1 by visually recognizing the outlines 912 and 913.
  • the driver since the outline 911 indicating the outer shape and the outlines 912 and 913 indicating the outer shape of the front wheel 3F are superimposed and displayed, the driver includes the road surface and the vicinity of the front wheel 3F of the vehicle 1. The road surface condition under the floor can be recognized. Accordingly, the periphery monitoring unit 400 can provide the driver with an environment for performing an operation such as avoiding an obstacle near the front wheel 3F. As described above, according to the present embodiment, it is possible to reduce the driving load and to improve the convenience when driving.
  • the information to be superimposed on the captured image data is not limited to identification information (for example, outlines 911, 912, and 913) that can specify a predetermined part of the vehicle 1.
  • the display processing unit 406 may display, for the captured image data, a locus or the like of the traveling direction at the current steering angle of the vehicle 1 according to the driver's request.
  • the image selection unit 421 selects the captured image data to be displayed from the captured image data stored in the ring buffer 404.
  • the image selection unit 421 selects, from the ring buffer 404, captured image data that is captured image data captured in the past by the imaging unit 16a and that includes a road surface corresponding to the current vehicle 1. That is, when the captured image data in which the road surface considered (corresponding to) the current position of the vehicle is included is displayed on the road surface being imaged, the underfloor display of the vehicle 1 can be realized.
  • FIG. 10 is a view for explaining captured image data selected by the image selection unit 421 according to the present embodiment.
  • the vehicle 1 is assumed to move in the order of the position 1001, the position 1002, the position 1003, and the position 1004, and the current vehicle 1 exists at the position 1004. Then, at position 1004, it is assumed that the switch to the display below the floor is received from the driver.
  • the image selection unit 421 selects captured image data to be displayed from the captured image data stored in the ring buffer 404 based on the center 1061 between the rear wheels 3R of the current vehicle 1 Do.
  • the image selection unit 421 determines that the position of the imaging unit 16a at the time of shooting is near the center 1061 or behind the center 1061, and the vehicle 1 at the time of shooting is compared with the current traveling direction of the vehicle 1.
  • the captured image data is selected to satisfy the condition that the inclination of (progression direction) is within a predetermined angle.
  • the image selection unit 421 selects captured image data captured at the position 1002 as a position that satisfies such conditions.
  • the road surface near the front wheel 3F of the current vehicle 1 is also included in the imaging area 1051 of the captured image data imaged at the position 1002. Therefore, the driver can recognize the road surface condition in the vicinity of the front wheel 3F of the current vehicle 1 by superimposing and displaying the outline indicating the current position of the vehicle 1 on the captured image data. .
  • the method of selecting captured image data is not limited to such a method, and another method may be used.
  • the inclination (traveling direction) of the vehicle 1 is within a predetermined angle from the current traveling direction of the vehicle 1, and the oldest among the captured image data stored in the ring buffer 404 The captured image data may be selected.
  • the output unit 422 outputs the captured image data selected by the image selection unit 421 to the display device 8 when the selection of the display below the floor is received.
  • the output unit 422 is, among the captured image data stored in the ring buffer 404, the captured image data captured in the past by the imaging unit 16a and including the area where the current vehicle 1 is located. Can be output to the display device 8.
  • the output unit 422 displays the captured image data 802 around the front wheel 3F on the right, the captured image data 803 around the front wheel 3F on the left of the vehicle 1, and the display area 804 displaying the roll angle and the pitch angle in a recognizable manner. And are output to the display device 8.
  • FIG. 11 is a flowchart showing the procedure of the above-described process in the periphery monitoring unit 400 according to the present embodiment.
  • the imaging unit 16 captures an environment around the vehicle 1 (step S1101).
  • the imaging unit 16 a captures an area including the road surface and the horizon in the traveling direction of the vehicle 1.
  • the acquisition unit 401 acquires captured image data from the imaging unit 16 and acceleration data from the acceleration sensor 26 (step S1102).
  • the angle calculation unit 402 calculates the roll angle and the pitch angle of the vehicle 1 from the acceleration data (step S1103).
  • the rotation control unit 411 performs rotation control according to the roll angle on the captured image data (step S1104).
  • the bird's-eye view image generation unit 412 generates bird's-eye view image data, which shows a predetermined area in the traveling direction of the vehicle 1 and around the vehicle 1 from the captured image data after rotation control. It generates (step S1105).
  • the optical flow calculation unit 413 calculates an optical flow based on the generated bird's eye view image data (step S1106).
  • the position estimation unit 414 calculates the amount of movement of the vehicle 1 based on the calculated optical flow, and estimates the current position of the vehicle 1 (step S1107).
  • the storage unit 415 determines whether or not at least one of a predetermined distance (for example, 0.3 m or 0.5 m) and a predetermined angle (for example, 2 deg) has changed from the position stored last time. (Step S1108). If it is determined that neither the predetermined distance nor the predetermined angle has changed (step S1108: No), the process ends.
  • a predetermined distance for example, 0.3 m or 0.5 m
  • a predetermined angle for example, 2 deg
  • the storage unit 415 determines that at least one of the predetermined distance (for example, 0.3 m and 0.5 m) and the predetermined angle has changed from the position stored last time (step S1108: Yes)
  • the storage unit 415 overwrites and saves the current captured image data after the rotation processing on the oldest updated area of the ring buffer 404 (step S1109).
  • the storage unit 415 stores the tilt (traveling direction) at the time of imaging of the captured image data and the position information in association with each other.
  • the storage unit 415 updates the position information at the time of imaging of the captured image data stored in the ring buffer 404 to position information with the current position as a reference (origin) (step S1110). By the update, the position information can be continuously held without overflowing the ring buffer 404.
  • the periphery monitoring part 400 concerning this embodiment can provide the captured image data memorize
  • FIG. 12 is a flowchart showing the procedure of the above-described process in the periphery monitoring unit 400 according to the present embodiment.
  • the receiving unit 405 determines whether or not the operation of the underfloor display has been received (step S1201).
  • the display processing unit 406 displays a normal navigation screen (step S1202).
  • step S1201 determines that the operation of the underfloor display is received (step S1201: YES)
  • the display processing unit 406 performs underfloor display using the captured image data stored in the ring buffer 404 ( Step S1203).
  • FIG. 13 is a flowchart showing the procedure of the above-described process in the periphery monitoring unit 400 according to the present embodiment.
  • the image selection unit 421 selects, from the ring buffer 404, captured image data to be displayed based on the current position of the vehicle 1 (step S1301). A description of the selection method will be omitted as it is sufficient to use the method described above.
  • the image selection unit 421 according to the present embodiment selects captured image data in which an area including the current position where the vehicle 1 is present is captured.
  • the output unit 422 outputs the captured image data selected by the image selection unit 421 to the display device 8 (step S1302).
  • the output unit 422 superimposes a symbol indicating the current position of the vehicle 1 (for example, the outline of the vehicle 1 and the outline of the front wheel 3F of the vehicle 1) on the captured image data output in step S1302 (Step S1303).
  • the output unit 422 can recognize a design or the like displayed on the display device 8 (the captured image data around the front wheel 3F on the right, the captured image data around the front wheel 3F on the left of the vehicle 1, the roll angle and the pitch angle And displaying the displayed area) (step S1304).
  • a screen is displayed in which an outline indicating the current position of the vehicle 1 is superimposed on captured image data including the position where the vehicle 1 is present.
  • the output unit 422 outputs, when the vehicle 1 moves, the output unit 422 is a symbol (for example, an outline of the vehicle 1 and the vehicle) indicating the position of the vehicle 1 and the like along with the movement of the vehicle 1
  • the outline of the front wheel 3F of 1) is changed (animation display). Thereby, the driver can recognize the current position of the vehicle 1.
  • the output unit 422 displays the past captured image data, one or more of the predetermined distance (for example, 0.3 m and 0.5 m) and the predetermined angle change.
  • the image selection unit 421 newly selects, from the ring buffer 404, captured image data suitable for the current position of the vehicle 1, and the output unit 422 displays the selected captured image data.
  • image processing is not limited to rotation processing only, and other image processing such as distortion correction, viewpoint change, shape correction, etc. may be performed.
  • the blind spot area at the current position of the vehicle 1 can be displayed on the display device 8 by performing the display processing of the captured image data described above. As a result, the driver can understand the surrounding situation, and the driving load can be reduced.
  • the present embodiment it is decided to display so-called oblique view pickup image data obtained by photographing an area including a road surface and a horizon.
  • the driving load can be reduced.
  • the position of the vehicle 1 is estimated according to the calculated optical flow. As a result, even when the wheels 3 run idle while traveling off road or the like, the position of the vehicle 1 can be accurately estimated.
  • the vehicle 1 includes the plurality of imaging units 16a to 16d. So, in embodiment mentioned above, you may combine and display the captured image data imaged with the several imaging part at the same time from arbitrary positions. For example, a plurality of captured image data captured by the imaging unit 16a in the forward direction and the imaging units 16b and 16d in the lateral direction (captured image data in the left direction, captured image data in the forward direction, captured image data in the right direction ) May be displayed.
  • a plurality of captured image data captured by the imaging unit 16a in the forward direction and the imaging units 16b and 16d in the lateral direction Is taken as captured image data captured at an arbitrary (one) position, not at a plurality of positions of the vehicle 1.
  • the captured image data may not be captured at the same time.
  • the captured image data for underfloor display output by the output unit 422 restricts the position of the vehicle 1 to be imaged Rather, it may be taken at an arbitrary position.
  • captured image data captured only at an arbitrary (one) position is used, and a combination of a plurality of image data captured at a plurality of positions is not used. This can reduce the processing load.
  • the display is switched by pressing the display switching button.
  • the timing of switching the display is not limited.
  • captured image data captured in the past may always be displayed while the vehicle is moving, or switched to display of captured image data captured in the past on condition that the vehicle 1 has stopped.
  • the position of the vehicle 1 is estimated based on the optical flow.
  • the invention is not limited to the estimation of the position by the optical flow, and a sensor that detects the number of rotations of the wheel 3 and estimates the movement amount may be used. Therefore, in the second embodiment, an example in which the movement amount is estimated from the rotation speed of the wheel 3 will be described.
  • FIG. 14 is a block diagram showing the configuration of the periphery monitoring unit 1400 implemented in the periphery monitoring ECU 14 according to the present embodiment.
  • the periphery monitoring unit 1400 is changed to an acquisition unit 1401 different in processing from the acquisition unit 401 compared to the first embodiment, and a storage processing unit 1402 different from the storage processing unit 403 in processing. has been changed.
  • the same components as those of the first embodiment described above are denoted by the same reference numerals, and the description thereof is omitted.
  • the acquiring unit 1401 acquires captured image data and acceleration data, and also acquires the speed of the wheel 3 from the wheel speed sensor 22, in other words, the number of rotations of the wheel 3 per predetermined time. To get The acquired speed of the wheel 3 and the number of revolutions are output to the storage processing unit 1402.
  • the storage processing unit 1402 includes a rotation control unit 411, a bird's eye view image generation unit 412, a position estimation unit 1411, and a storage unit 415, and generates and stores captured image data to be displayed on the display device 8.
  • the position estimation unit 1411 estimates the position of the vehicle 1 based on the number of revolutions after estimation of the previous position and the steering angle from the steering angle sensor 19, which are input from the acquisition unit 1401.
  • the storage unit 415 stores, in the ring buffer 404, the captured image data, the current position information of the vehicle 1, and the inclination (traveling direction) in association with each other.
  • the position of the vehicle 1 is estimated based on the number of revolutions. Thereby, when traveling on road, the position of the vehicle 1 can be detected accurately.
  • the periphery monitoring unit 1400 may display past captured image data.
  • FIG. 15 is a diagram showing a typical screen example displayed and processed by the display processing unit 406 when the vehicle 1 is moving backward.
  • the captured image data currently captured by the imaging unit 16c is displayed on the entire screen it's shown. This makes it possible to check the rear area of the vehicle 1 that is difficult to check from the driver's seat.
  • FIG. 16 is a diagram showing an example of the screen in the case of the display below the floor, which is displayed and processed by the display processing unit 406.
  • an outline 1601 indicating the outline of the current vehicle 1 and outlines 1602 and 1603 indicating the outline of the rear wheel 3R of the vehicle 1; Is superimposed and displayed.
  • the captured image data shown in FIG. 16 is taken as the captured image data selected by the image selection unit 421 from the plurality of captured image data captured by the imaging unit 16 c and stored in the ring buffer 404.
  • any method may be used as the method of selecting captured image data by the image selection unit 421 as long as the captured image data including the current position of the vehicle 1 can be selected. .
  • the display of the outlines 1602 and 1603 may be switched according to the tire angle of the rear wheel 3R.
  • the periphery monitoring unit 1400 performs control based on the detection result of a sensor that estimates the movement amount based on the number of rotations. In the present embodiment, it is possible to accurately estimate the amount of movement on the road.
  • the present invention is not limited to such a method.
  • the position and movement amount of the vehicle 1 may be detected from GPS or the like.
  • an outline indicating the outline of the vehicle or an outline indicating the outline of the wheel of the vehicle is represented as identification information capable of identifying the predetermined part of the current vehicle 1
  • An example is shown.
  • other identification information is shown.
  • the example of a display of a display mode different from the display mode of FIG. 9 mentioned above is shown.
  • the display area of the captured image data 901 is displayed using half or more of the full screen.
  • FIG. 9 in order to improve the visibility of the front image, the display area of the captured image data 901 is displayed using half or more of the full screen.
  • the display area (side display area) of the captured image data 1702 and the captured image data 1704 is enlarged in the forward direction with respect to the display area (front display area) of the captured image data 1700.
  • the ease of grasping the situation around the vehicle is improved by making it easier to understand the relationship between the forward image and the forward image.
  • an axle outline 1712 indicating the position of an axle is displayed as identification information indicating a predetermined part of the current vehicle.
  • FIG. 17 shows an axle profile 1712 that shows the axle as an example
  • other underfloor locations may be shown.
  • an outline indicating the position of the differential gear (def) may be shown.
  • the outline of the axle, differential or the like to be displayed may be selected appropriately by the driver.
  • either the axle or the differential may be displayed selectively, or both may be selected and displayed.
  • the underfloor members other than the axle and the differential may be selectively superimposed in the same manner. In this case, the driver can easily grasp the relationship between the member which is particularly concerned when traveling on a bad road and the road surface, so that more appropriate driving operation can be performed.
  • an icon 1716 indicating an inclination attitude (pitch angle or roll angle) of the vehicle is shown in the display area 1714.
  • the driving operation can be further facilitated such that the axle or differential does not contact the road surface, or the damage due to the contact is minimized. Can be assisted.
  • FIG. 18 shows another example in which identification information capable of specifying a predetermined part of the current vehicle is superimposed.
  • various contours are superimposed on the captured image data 901 so as to assist the passenger of the vehicle to dismount the vehicle smoothly.
  • the configuration of the display screen of FIG. 18 is illustrated as being the same as the configuration of FIG. 9.
  • the display example of FIG. 18 is an assist image in which consideration is given to easily recognizing the relationship between the vehicle and the surrounding situation when the vehicle is parked in the parking space. In this case, it is possible to improve the ease of adjustment of the parking position and the ease of grasping the surrounding situation when getting off the vehicle. As shown in FIG.
  • Contour lines 1822 and 1824 indicating the position of the door mirror.
  • the driver can easily grasp the relative positions of the other vehicles Ca and Cb and the own vehicle by referring to the position of the door mirror which makes it easy to understand the position of the own vehicle on the screen.
  • a contour line 1826 indicating the closed position of the passenger's seat side door and a contour line 1828 indicating the closed position of the driver's seat side door, or a contour line 1830 indicating the driver's seat position, the seat position of the passenger seat By showing the outline 1832 shown, it becomes easier to grasp the relative positions of the other vehicles Ca and Cb and the own vehicle.
  • outlines 1826 and 1828 indicating the position of the door and outlines 1830 and 1832 indicating the position of the seat it may be whether or not there are puddles or obstacles at the landing position when stopping the vehicle and getting off. It is possible to make a decision of in advance. As a result, it is possible to easily adjust the stop position.
  • the situation in which the door is open may be displayed.
  • the distance between the vehicle and the other vehicle Ca or Cb, for example, whether the vehicle is in contact or how far the door can be opened can be recognized in advance by the passenger.
  • FIG. 18 the example which displays the outline of the range which covers a driver's seat and a front passenger seat in piles was shown.
  • the outline of the area covering the rear seat may be superimposed and displayed.
  • the user of the rear seat can also be made aware of the state of the openable amount of the door and the position at which the door is down.
  • the swing door was demonstrated to the example, it is applicable also to a slide door, a back door, etc., and the same effect can be acquired.
  • the captured image data 802, the captured image data 803, the display area 804, the icon 811 and the like are the same as the display example of FIG. 9. Further, in the case of on-load, since it is relatively easy to grasp the surrounding conditions, the captured image data 901 and the respective outlines to be superimposed thereon may be displayed on the full screen display as shown in FIG. . In this case, it becomes easier to grasp the surrounding situation and the positional relationship of the vehicle.
  • FIG. 19 is a modification of FIG.
  • parking is performed by superimposing the outline 1601 of the vehicle body and the outlines 1602 and 1603 of the wheels on the past image to improve the recognition of the position of the other vehicle and the position of the own vehicle. This is an example of supporting entry into space.
  • the distance to the wheel stopper 1906 of the parking space is displayed in the display area 1908. In the case of FIG.
  • the distance to the contour line 1904 of the wheel stopper 1906 and the corresponding wheel is calculated in real time by a known method based on the positional relationship on the captured image data. Then, for example, “after 1.8 M” or the like is displayed in the display area 1908.
  • Such display of the remaining distance to the wheel stopper 1906 facilitates speed adjustment during parking, and assists in facilitating smoother entry into the parking space. In addition to or in place of the display of the remaining distance, the remaining distance may be voice-guided.
  • FIG. 20 is a modification of FIG.
  • the non-contact type charging equipment it is a condition to realize efficient charging that the power feeding device on the road surface side and the power receiving device on the vehicle side are accurately opposed.
  • the non-contact type charging equipment since the non-contact type charging equipment is provided at each place, it may be charged at an unfamiliar place.
  • the example of FIG. 20 is an example that supports accurate guidance to the charging position in such a case.
  • the outline 2006 of the power receiving device on the vehicle side is superimposed. it's shown. Then, the distance to the power feeding device 2010 provided on the front side of the wheel stopper 2008 of the parking space is displayed in the display area 2012.
  • the relative distance between the power feeding device 2010 and the contour line 2006 of the power receiving device is calculated in real time by a known method based on the positional relationship on the captured image data. And so on.
  • this charging support mode for example, when the driver turns on a charging support mode switch provided in the vicinity of the driver's seat, or when charging is required, the radio wave generated by the power supply device 2010 on the road surface is received. At the moment, the mode may be automatically switched to the charging support mode as shown in FIG. 20, and the outline 2006 of the power receiving apparatus and the display area 2012 may be displayed. In addition, when the power feeding device 2010 is difficult to recognize on the photographing screen, the position of the power feeding device 2010 may be detected based on the intensity of the radio wave generated by the power feeding device 2010 or the like. Then, the outline of the power feeding device 2010 may be superimposed and displayed on the past image captured by the on-vehicle camera. In the charging support mode, only the display of the remaining distance and the voice guidance may be sufficient. However, for example, an arrow display or voice guidance may be performed together to correct the lateral displacement. Further, only the voice guidance of the remaining distance and the correction direction may be performed.
  • the outline of the current vehicle is superimposed on the image captured in the past so that the relationship between the current position of the vehicle and the surrounding situation can be easily recognized.
  • moving objects such as pedestrians and other vehicles may be reflected in the stored image.
  • image composition is performed such that the vehicle contacts or overlaps with the moving object that does not exist at present. The sense of incongruity arises.
  • the data when a moving object is included in the past image, the data may not be stored in the ring buffer 404 or may not be stored and used when performing superimposing display processing. In this case, it is desirable to display a message to the effect that the past image can not be displayed or to give voice guidance. By performing such processing, it is possible to avoid the occurrence of the display discomfort as described above.
  • a moving object such as a pedestrian or another vehicle is present in the image captured by the on-vehicle camera
  • an obstacle recognition function included in the imaging system By linking with the existing system in this way, when moving images are included in the past image, a system that does not use the data can be realized at low cost. If the moving object is detected for the entire area of the acquired image data and the data is not used when it is detected, the number of usable data may be excessively reduced. Therefore, based on the information from the steering angle sensor 19 and the tire angle sensor 13b, the traveling direction of the vehicle may be estimated, and the presence or absence of a moving object may be detected only in the area associated with the vehicle. In this case, the number of unused data can be minimized, and superimposition processing using a good past image can be realized.
  • the moving object (pedestrian, other vehicle, etc.) is newly added.
  • the newly interrupted moving object is not displayed on the display device because it does not exist on the past image.
  • the driver can visually recognize the moving object which has been interrupted, but there may be a sense of discomfort that the object actually present is not displayed on the screen.
  • the current display mode for displaying the current image may be forcibly switched. By switching to the current image mode in this manner, it becomes easy to make the user reliably recognize the presence of the moving object.
  • the detection of the moving object which newly approached during past image display can use the existing moving object detection method.
  • image recognition may be performed on the current image currently acquired by the on-vehicle camera, or a sensor such as a sonar, a laser radar, or a millimeter wave radar may be used.
  • Such switching to the current image is particularly effective during on-road traveling, in which the moving object often cuts in, but can also be applied during off-road traveling.
  • off-road travel delicate driving operations may be required, and the line of sight may be concentrated on a display device that can recognize the under-floor state in detail. In other words, the current situation may not be grasped.
  • switching to the current image enables quick and reliable grasp of the current situation.
  • a “confirmation screen” may be displayed.
  • switching to a past image may be prohibited until a predetermined release procedure is performed or until a predetermined time elapses. This allows the user to reliably recognize the interruption of the moving object.
  • the display area (see FIGS. 8, 9, 17 and 18) showing the front area has a substantially trapezoidal shape (trapezoidal shape, substantially trapezoidal display area) with the short side down on the central upper stage. , And a trapezoidal display area).
  • a substantially trapezoidal shape trapezoidal shape, substantially trapezoidal display area
  • the side display area for displaying an image obtained by photographing the left side and the right side in the vehicle width direction and the front display area are displayed differently on the same screen.
  • the view can be emphasized so that the area displaying the side area and the area displaying the front area are different viewpoints (the front area is an upright screen and the side area is a looking down screen), which contributes to the improvement of the user's visibility be able to.
  • the side display area extends to the side of the front display area as in the example of FIG. 17, the identifiability can be further improved by making the both into different shapes.
  • the side display area can not include the area above the road surface.
  • the substantially trapezoidal display area may be a trapezoidal display area in which each side is a straight line, or any side may be a curved line. For example, the long side of the area for displaying the captured image data 801 in FIG.
  • the short side may be configured by a convex curve toward the outside of the region.
  • the side (the oblique side) of the area in which the captured image data 801 is displayed may be configured by a curve that is convex outward. Conversely, it may be composed of a curve convex toward the inside of the region.
  • a fan-shaped shape in which the long side is a curve convex toward the outside of the region and the short side is a curve convex toward the inside of the region is included in the substantially trapezoidal shape in the present embodiment.
  • the curve as described above may be adopted as a part of the substantially trapezoidal shape, or may be adopted at a plurality of places.
  • the sides forming the substantially trapezoidal shape as curves, it is possible to give various design features to the shape of the display area. Further, the discrimination between the side display area and the substantially rectangular display area can be further improved.
  • FIG. 17 shows a modified example of the screen subjected to display processing by the display processing unit 406.
  • the display area (side display area) of the captured image data 1702 and the captured image data 1704 is enlarged in the forward direction This makes it easier to understand the relationship between the vehicle and the front image, and improves the ease of grasping the situation around the vehicle.
  • the side display area extends to the side of the front display area as in the example of FIG.
  • the identifiability can be further improved by making the both into different shapes.
  • This “substantially trapezoidal display area” is applicable to both the case where the current image taken by the imaging unit 16 a is displayed as shown in FIG. 8 and FIG. 17 and the case where the past image is displayed as shown in FIG. In any case, the visibility can be improved.
  • the periphery monitoring ECU 14 acquires the operation state of the steering unit 4 (steering wheel) based on the output data of the steering angle sensor 19, estimates the direction of the front wheel 3F, and advances the vehicle 1
  • the route indicators 1706 and 1708 indicating the estimated direction are displayed superimposed on the front display area.
  • the route indicators 1706 and 1708 By displaying the route indicators 1706 and 1708 in the front display area, the direction in which the vehicle 1 is about to move is clarified, and the relationship between the surrounding situation and the vehicle 1 can be easily grasped.
  • the driving support which can perform easily the driving which avoids an obstacle smoothly can be provided, for example.
  • the captured image data captured in the past is displayed without combining with the captured image data captured at present.
  • an area which becomes a blind spot at the current position of the vehicle 1 is displayed without discomfort to the driver can do.
  • an example in which an area including the road surface and the horizon in the traveling direction of the vehicle 1 is imaged i.e., display of imaged image data imaged from a so-called oblique viewpoint
  • the angle of view to be photographed and the image data to be displayed are not limited.
  • image data in a bird's-eye view (top view) may be displayed.
  • the periphery monitoring unit displays an outline indicating the current position of the vehicle 1 or the like on the captured image data captured in the past. This makes it easy to understand the relationship between the surrounding situation and the vehicle 1.
  • the periphery monitoring unit displays only the captured image data captured by the imaging unit 16 from the position of the vehicle in the past when the selection of the underfloor display is received. That is, in the embodiment described above, an example has been described in which, for example, synthesis of a plurality of captured image data having different time series, such as current captured image data and past captured image data, is not performed. As described above, it is possible to reduce the processing load because the plurality of pieces of image data having different time series are not synthesized.
  • the ninth embodiment is an example of a control device or program of any one of the following [1] to [3].
  • An acquisition unit configured to acquire captured image data output from an imaging unit configured to image a region including a road surface around the vehicle and a region above the road surface;
  • An output unit that outputs the captured image data acquired by the acquisition unit to a display device so as to display the captured image data in a substantially trapezoidal display area with the short side at the lower side of the screen;
  • Peripheral monitoring device provided with [2]
  • the imaging unit includes a first imaging unit for imaging the front or the rear of the vehicle, and a second imaging unit for imaging the side of the vehicle.
  • the output unit displays an image based on captured image data captured by the first imaging unit in the substantially trapezoidal display area, and displays an image based on captured image data captured by the second imaging unit in a substantially rectangular display area
  • the perimeter monitoring device according to [1].
  • a program to run on a computer

Abstract

　実施形態にかかる周辺監視装置は、一例として、車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、記憶部に記憶された撮像画像データのうち、撮像部により過去に撮像された撮像画像データであり、且つ、撮像された路面に、現在の車両の位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力部と、を備える。

Description

周辺監視装置、及びプログラム
　本発明の実施形態は、周辺監視装置、及びプログラムに関する。
　従来、車両の駐車を支援する技術として、車両に設置されたカメラで、車両の周辺環境を撮像し、撮像結果である撮像画像データを表示することで、運転者に対して運転を支援する技術が提案されている。
特開２００２－３５４４６７号公報 特開２００７－１０２７９８号公報 特開２００３－９１４１号公報
　しかしながら、従来技術では、車両に設置されたカメラで撮像された撮像画像データを表示する場合、当該カメラの画角により当該車両の床下付近の状況が把握しにくいという問題が生じる。
　本発明の実施形態にかかる周辺監視装置は、一例として、車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両に対応する路面が含まれている撮像画像データを、表示装置に出力する出力部と、を備える。よって、一例としては、車両周辺で死角となっている領域を認識できるため、運転の負担を軽減できるという効果を奏する。
　また、上記周辺監視装置では、一例として、前記出力部は、さらに、出力する前記撮像画像データに対して、現在の車両の所定部位を特定可能な識別情報を重畳する。よって、一例としては、死角となっている領域に車両の所定部位が表されるため、周囲の状況と車両の部位との関係の把握が容易になるという効果を奏する。
　また、上記周辺監視装置では、一例として、前記出力部は、前記識別情報として、前記車両の床下の所定部位を特定する情報を重畳する。よって、一例としては、床下の構造体の位置、例えば、車軸やデファレンシャルギア等の位置が表されるため、周囲の状況と車両の床下部位との関係の把握が容易になるという効果を奏する。
　また、上記周辺監視装置では、一例として、前記車両の移動量を取得する取得部を、さらに備え、前記記憶部は、さらに、前記撮像画像データと、前記撮像画像データを前記撮像部が撮像した位置情報と、を対応づけて記憶し、前記出力部は、前記取得部が取得した前記移動量と、前記記憶部に記憶された前記位置情報と、に基づいて、現在の前記車両の位置が撮像された領域に含まれているものとして選択された、前記撮像画像データを出力する。よって、一例としては、過去に撮影された複数の撮像画像データから、現在の車両の位置が撮像された範囲に含まれた撮像画像データを出力できるため、車両周辺の状況の把握が容易になるという効果を奏する。
　また、上記周辺監視装置では、一例として、前記出力部は、前記記憶部に記憶された複数の前記撮像画像データのうち、一の位置で一の時刻に撮像された撮像画像データのみを出力する。よって、一例としては、複数の時刻で撮影された複数の撮像画像データを合成していないため、処理負担を軽減できるという効果を奏する。
　また、上記周辺監視装置では、一例として、前記出力部は、当該車両の進行方向であり、且つ路面に交差する方向を撮像方向として前記撮像部により撮像された前記撮像画像データを出力する。よって、一例としては、車両の進行方向の路面状況が映っている撮像画像データが出力されるため、車両周辺の状況を視覚的に認識しやすくなるという効果を奏する。
　また、上記周辺監視装置では、一例として、所定のボタンの押下を受け付ける受付部をさらに備え、前記出力部は、前記撮像部が現在撮像している撮像画像データを出力し、前記受付部が前記所定のボタンの押下を受け付けた場合に、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ現在の前記車両の位置が撮像された領域に含まれている撮像画像データを、出力する。よって、一例としては、運転者が、車両の周囲の状況を把握したいときに、現在の車両が位置する領域を含む撮像画像データを出力できるため、運転者の運転の負担を軽減できるという効果を奏する。
　また、本発明の実施形態にかかるプログラムでは、一例として、車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶部に記憶させるステップと、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両が位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力ステップを、コンピュータに実行させる。よって、一例としては、車両周辺で死角となっている領域を認識できるため、運転の負担を軽減できるという効果を奏する。
図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図４は、第１の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図５は、第１の実施形態にかかる車両の撮像部による撮像領域を示した図である。 図６は、第１の実施形態にかかるオプティカルフロー算出部により算出されるオプティカルフローの概念を示した図である。 図７は、第１の実施形態にかかるリングバッファの構造を示した図である。 図８は、第１の実施形態にかかる表示処理部により表示処理された通常の画面例を示した図である。 図９は、第１の実施形態にかかる表示処理部により表示処理される、床下表示の際の画面例を示した図である。 図１０は、第１の実施形態にかかる画像選択部が選択する撮像画像データを説明する図である。 図１１は、第１の実施形態にかかる周辺監視部における、撮像画像データの保存処理の手順を示すフローチャートである。 図１２は、第１の実施形態にかかる周辺監視部における、表示処理の手順を示すフローチャートである。 図１３は、第１の実施形態にかかる周辺監視部における、床下表示処理の手順を示すフローチャートである。 図１４は、第２の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図１５は、第２の実施形態にかかる車両が後退している場合に、表示処理部により表示処理された通常の画面例を示した図である。 図１６は、第２の実施形態にかかる表示処理部により表示処理される、床下表示の際の画面例を示した図である。 図１７は、第３の実施形態にかかる床下表示の際の画面例を示した図である。 図１８は、第４の実施形態にかかる床下表示の際の画面例を示した図である。 図１９は、第５の実施形態にかかる床下表示の際の画面例を示した図である。 図２０は、第６の実施形態にかかる床下表示の際の画面例を示した図である。
　後述する実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
（第１の実施形態）
　図１に示されるように、第１の実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
　また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。
　また、図１、２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、周辺監視ＥＣＵ１４（electronic　control　unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ、１３ａを動作させる。前輪操舵システム１２ならびに後輪操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。前輪操舵システム１２ならびに後輪操舵システム１３は、アクチュエータ１２ａ、１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ、１３ａは、一つの車輪３を操舵しても良いし、複数の車輪３を操舵しても良い。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
　また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ～１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°～２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。
　本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、撮像部１６ａは車両に対してフロント方向の画像データ、撮像部１６ｂ，１６ｄは左右サイド方向の画像データ、撮像部１６ｃはリア方向の画像データを取得できるように設置されればよい。
　周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた画像データを表示装置８に表示できる。
　また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００では、周辺監視ＥＣＵ１４や、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller　area　network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２や、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、タイヤ角センサ１３ｂ（後輪３Ｒ用）、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
　本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic　stability　control）搭載車両とする。そして、ＥＳＣ（electronic　stability　control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
　周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。
　ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard　disk　drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。
　図４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部４００の構成を示すブロック図である。図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、表示処理部４０６と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。周辺監視部４００は、ＲＡＭ１４ｃ上にリングバッファ４０４を実現する。
　図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した図である。図５に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、車両１の前輪３Ｆ付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２に含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めるのも、車両１のバンパーの配置等の影響（車両１の構造的に）で難しい。
　このため、運転者は、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物等が存在するか否かを確認するのが難しい。そこで、本実施形態にかかる周辺監視部４００は、運転者の要望に応じて、撮像部１６ａが過去に撮像した撮像画像データを表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味する。
　例えば、周辺監視部４００が、車両１の後方の位置で撮像部１６ａが撮像した撮像画像データとして、撮像領域５０３を撮像した撮像画像データを、運転者に提示することが考えられる。撮像領域５０３には、路面５０１が含まれているため、運転者は前輪３Ｆ付近の路面５０１を確認することができる。これにより、運転者は路面５０１の状況を確認した上で運転できるため、運転の負担を軽減できる。次に、図４に戻り、周辺監視部４００の構成について説明する。
　取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ～１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。取得部４０１は、取得した情報を角度算出部４０２及び保存処理部４０３に出力する。
　また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
　角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。
　また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
　保存処理部４０３は、回転制御部４１１と、鳥瞰図画像生成部４１２と、オプティカルフロー算出部４１３と、位置推定部４１４と、保存部４１５と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。
　回転制御部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、回転補正を行う。
　本実施形態にかかる回転制御部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
　鳥瞰図画像生成部４１２は、回転制御された後の撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。
　鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部４１２は、回転制御部４１１により回転制御された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部４１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成する。
　オプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により算出された鳥瞰図画像データに基づいて、オプティカルフローを算出する。オプティカルフローは、鳥瞰図画像データに映っている物体の動きをベクトルで示した情報とする。オプティカルフローを算出することで、車両１の移動量を推定することができる。
　本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、オプティカルフローを算出する。
　しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。
　具体的には、本実施形態にかかるオプティカルフロー算出部４１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図画像データより後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリア（表示範囲）を切り出して、オプティカルフローを算出する。
　図６は、オプティカルフロー算出部４１３により算出されるオプティカルフローの概念を示した図である。図６の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとし、図６の（Ｂ）を、今回、鳥瞰図画像生成部４１２により生成された第２の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとする。
　そして、オプティカルフロー算出部４１３は、図６の（Ａ）で示した画像データと、図６の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図６の（Ｃ）が算出されたオプティカルフローの例を示している。図６の（Ｃ）で示す例では、図６の（Ａ）内で示された特徴点（“×”で示される）が、図６の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。
　そして、位置推定部４１４は、オプティカルフロー算出部４１３により算出されたオプティカルフローの平均値から、車両１の移動量を算出し、車両１の現在の位置を推定する。
　ところで、本実施形態では、オプティカルフローで車両１の現在の位置を推定している。これは、車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。そこで、本実施形態では、オプティカルフローに基づいて車両１の移動量、及び位置を推定することとした。
　保存部４１５は、前回保存してから車両１の移動量が所定の距離以上、及び車両１の移動角が所定の角度以上のいずれか１つの条件を満たした場合に、回転制御部４１１に回転制御された後の撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、所定の距離を制限するものではないが、例えば、０．３ｍ、０．５ｍが考えられる。所定の角度は、例えば、２ｄｅｇ等が考えられる。
　リングバッファ４０４は、撮像部１６ａから出力された現在の撮像画像データを、撮像時の情報と対応付けて保存する。図７は、リングバッファ４０４の構造を示した図である。図７に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて記憶する。
　図７に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１５の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。
　受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。本実施形態にかかる受付部４０５は、これら指示信号から、現在の撮像部１６ａが撮像した撮像画像データ、及びリングバッファ４０４に記憶されている過去の撮像画像データ（換言すれば車両１の床下表示）のうち、どちらを表示装置８に表示するのか切り替え操作を受け付ける。
　表示処理部４０６は、画像選択部４２１と、出力部４２２と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。
　図８は、表示処理部４０６により表示処理された通常の画面例を示した図である。図８に示すように、通常の画面例では、撮像部１６ａが撮像している撮像画像データ８０１の他に、撮像部１６ｄより撮像された、車両１の右側の前輪３Ｆ周辺の撮像画像データ８０２と、撮像部１６ｂより撮像された、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、が映っている。さらには、表示領域８０４には、車両１のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両１を示したアイコン８１１の傾きでロール角を示す一方、当該アイコン８１１を通る中心線と、水平線との間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
　また、撮像画像データ８０１には、舵角センサ１９から取得した操舵角に応じた前輪３Ｆの進行方向を示した軌跡８５１、８５２が表示される。これにより、運転者は、車両１の進行方向を確認した上で運転することが可能となる。
　しかしながら、図８に示す画面例では、車両１の床下付近の状況を確認するのは難しい。そこで、本実施形態にかかる周辺監視部４００では、車両１の床下付近の表示に切り替えることができる。本実施形態は、切り替え手法を制限するものではないが、例えば車両１が停止してから、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、表示処理部４０６が表示を切り替える等が考えられる。
　図９は、表示処理部４０６により表示処理される、床下表示の際の画面例を示した図である。図９に示す例では、右側の前輪３Ｆ周辺の撮像画像データ８０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、は、現在の車両１の状況を表しているため、図８と同様とする。
　撮像画像データ９０１は、車両１の撮像部１６ａにより過去に撮像された撮像画像データとする。撮像画像データ９０１を撮像してからの算出された車両１の移動量により、撮像画像データ９０１上の現在の車両１の位置を推定できる。そこで、表示処理部４０６は、車両１の現在の所定部位を特定可能な情報を表示する。図９に示す例では、車両１の所定部位を特定可能な識別情報の一例として車両１の外形を示す輪郭線９１１と、車両１の前輪３Ｆの外形を示す輪郭線９１２、９１３と、が表示されている。
　前輪３Ｆの外形を示す輪郭線９１２、９１３が、舵角センサ１９により検出された現在の操舵角に基づいた輪郭線とする。これにより、運転者は、輪郭線９１２、９１３を視認することで、車両１の現在のタイヤの向きと位置を認識できる。撮像画像データ９０１では、外形を示す輪郭線９１１と、前輪３Ｆの外形を示す輪郭線９１２、９１３と、が重畳表示されているため、運転者は、路面と、車両１の前輪３Ｆ付近を含む床下の路面状況を認識できる。これにより、周辺監視部４００は、運転者に対して、前輪３Ｆ付近の障害物を避ける等の運転を行うための環境を提供できる。このように、本実施形態は、運転負担の軽減、及び運転する際の利便性を向上させることができる。
　また撮像画像データに重畳する情報は、車両１の所定部位を特定可能な識別情報（例えば、輪郭線９１１、９１２、９１３）に制限するものではない。本実施形態にかかる表示処理部４０６は、運転者の要求に応じて、撮像画像データに対して、車両１の現在の操舵角による進行方向の軌跡等を表示しても良い。
　図４に戻り、次に表示処理部４０６の構成について説明する。画像選択部４２１は、受付部４０５により、床下表示への切り替えを受け付けた場合に、表示する撮像画像データを、リングバッファ４０４に記憶されている撮像画像データから選択する。
　本実施形態にかかる画像選択部４２１は、リングバッファ４０４から、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１に対応する路面を含む撮像画像データを選択する。つまり、撮像されている路面に、現在の車両の位置として考えられる（に対応する）路面が含まれている撮像画像データを表示すれば、車両１の床下表示を実現できる。
　図１０は、本実施形態にかかる画像選択部４２１が選択する撮像画像データを説明する図である。図１０に示す例では、車両１は、位置１００１、位置１００２、位置１００３、位置１００４の順に移動しているものとし、現在の車両１は位置１００４に存在している。そして、位置１００４で、運転者から、床下表示への切り替えを受け付けたものとする。
　この場合、本実施形態にかかる画像選択部４２１は、現在の車両１の後輪３Ｒ間の中心１０６１を基準に、リングバッファ４０４に記憶されている撮像画像データから、表示する撮像画像データを選択する。本実施形態では、画像選択部４２１は、撮影された際の撮像部１６ａの位置が、中心１０６１付近若しくは中心１０６１より後方で有り、現在の車両１の進行方向と比べて、撮影時の車両１の傾き（進行方向）が所定の角度内となる条件を満たす撮像画像データを選択する。このような条件を満たす位置として、画像選択部４２１は、位置１００２で撮像された撮像画像データを選択する。位置１００２で撮像された撮像画像データの撮像領域１０５１には、現在の車両１の前輪３Ｆ付近の路面も含まれている。このため、表示処理部４０６が、当該撮像画像データに、現在の車両１の位置を示した輪郭線を重畳表示することで、運転者は現在の車両１の前輪３Ｆ付近の路面状況を認識できる。
　なお、本実施形態は、撮像画像データの選択手法をこのような手法に制限するものではなく他の手法を用いても良い。例えば、画像選択部４２１は、車両１の傾き（進行方向）が、現在の車両１の進行方向から所定の角度内であって、リングバッファ４０４に記憶されている撮像画像データのうち、最も古い撮像画像データを選択しても良い。
　出力部４２２は、床下表示の選択を受け付けた場合に、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する。これにより、出力部４２２は、リングバッファ４０４に記憶された撮像画像データのうち、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１が位置する領域を含む撮像画像データを、表示装置８に出力できる。さらに、出力部４２２は、右側の前輪３Ｆ周辺の撮像画像データ８０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、を表示装置８に出力する。
　次に、本実施形態にかかる周辺監視部４００における、撮像画像データの保存処理について説明する。図１１は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、撮像部１６が、車両１の周辺環境を撮像する（ステップＳ１１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面と地平線とを含む領域を撮像する。
　次に、取得部４０１が、撮像部１６から撮像画像データを、加速度センサ２６から加速度データを取得する（ステップＳ１１０２）。
　そして、角度算出部４０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１１０３）。
　そして、回転制御部４１１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１１０４）。
　次に、鳥瞰図画像生成部４１２が、回転制御をした後の撮像画像データから、車両１の進行方向であり且つ当該車両１の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する（ステップＳ１１０５）。
　そして、オプティカルフロー算出部４１３が、生成された鳥瞰図画像データに基づいて、オプティカルフローを算出する（ステップＳ１１０６）。
　次に、位置推定部４１４が、算出されたオプティカルフローに基づいて、車両１の移動量を算出すると共に、車両１の現在位置を推定する（ステップＳ１１０７）。
　そして、保存部４１５は、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度（例えば２ｄｅｇ）のうちいずれか１つ以上変化したか否かを判定する（ステップＳ１１０８）。所定の距離及び所定の角度のいずれも変化していないと判定した場合（ステップＳ１１０８：Ｎｏ）、処理を終了する。なお、本実施形態では、所定の距離及び所定の角度のうちいずれか一つ以上変化した場合に保存を行う例について説明するが、このような保存手法に制限するものではなく、所定時間毎に保存等をおこなっても良い。
　一方、保存部４１５が、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化したと判定した場合（ステップＳ１１０８：Ｙｅｓ）、保存部４１５が、リングバッファ４０４の最も古くに更新された領域に対して、回転処理した後の現在の撮像画像データを、上書き保存する（ステップＳ１１０９）。その際に、保存部４１５は、当該撮像画像データの撮像時の傾き（進行方向）、及び位置情報を対応付けて保存する。
　次に、保存部４１５は、リングバッファ４０４に記憶されている撮像画像データの撮像時の位置情報を、現在の位置を基準（原点）とした位置情報に更新する（ステップＳ１１１０）。当該更新により、リングバッファ４０４をオーバーフローすることなく、継続して位置情報を保持することができる。
　そして、本実施形態にかかる周辺監視部４００は、リングバッファ４０４に記憶された撮像画像データを、床下表示の際の画像データとして提供できる。
　次に、本実施形態にかかる周辺監視部４００における、表示処理について説明する。図１２は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、受付部４０５が、床下表示の操作を受け付けたか否かを判定する（ステップＳ１２０１）。受付部４０５が、床下表示の操作を受け付けていないと判定した場合（ステップＳ１２０１：Ｎｏ）、表示処理部４０６は、通常のナビゲーション画面を表示する（ステップＳ１２０２）。
　一方、受付部４０５が、床下表示の操作を受け付けたと判定した場合（ステップＳ１２０１：Ｙｅｓ）、表示処理部４０６は、リングバッファ４０４に記憶されている撮像画像データを用いて、床下表示を行う（ステップＳ１２０３）。
　次に、図１２のステップＳ１２０３における床下表示について説明する。図１３は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、画像選択部４２１が、現在の車両１の位置に基づいて、リングバッファ４０４から、表示する撮像画像データを選択する（ステップＳ１３０１）。選択手法は、既に説明した手法を用いれば良いものとして説明を省略する。本実施形態にかかる画像選択部４２１は、現在の車両１が存在する位置を含む領域が撮像されている撮像画像データを選択する。
　次に、出力部４２２が、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する（ステップＳ１３０２）。
　さらに、出力部４２２は、ステップＳ１３０２で出力した撮像画像データに、現在の車両１の位置等を示したシンボル（例えば車両１の輪郭線、及び車両１の前輪３Ｆの輪郭線）を重畳するように出力する（ステップＳ１３０３）。
　さらに、出力部４２２は、表示装置８に表示する意匠等（右側の前輪３Ｆ周辺の撮像画像データと、車両１の左側の前輪３Ｆ周辺の撮像画像データと、ロール角及びピッチ角を認識可能に表示している表示領域と、を含む）を出力する（ステップＳ１３０４）。
　上述した処理手順により、車両１が存在する位置を含む撮像画像データに、当該車両１の現在の位置を示す輪郭線が重畳された画面が表示される。
　そして、出力部４２２が出力した後、車両１が移動した場合に、出力部４２２は、車両１の移動に併せて、車両１の位置等を示したシンボル（例えば車両１の輪郭線、及び車両１の前輪３Ｆの輪郭線）を変化（アニメーション表示）させる。これにより、運転者は、現在の車両１の位置を認識できる。
　また、本実施形態では、出力部４２２が過去の撮像画像データを表示した後、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化した場合に、画像選択部４２１は、新たに、現在の車両１の位置に適した撮像画像データをリングバッファ４０４から選択し、出力部４２２が、選択された撮像画像データの表示を行う。これにより、車両１の位置に応じた撮像画像データの表示がなされるため、運転者は、現在の車両１の周辺の状況の把握が容易になる。
　また、本実施形態では、リングバッファ４０４に保存された回転処理後の撮像画像データを表示する例について説明した。しかしながら、画像処理を回転処理のみに制限するものではなく、歪み補正、視点変更、形状補正などの他の画像処理を行っても良い。
　本実施形態では、上述した撮像画像データの表示処理を行うことで、現在の車両１の位置における死角領域を、表示装置８に表示することができる。これにより、運転者は周辺の状況を把握できるため、運転負担を軽減できる。
　本実施形態では、路面と地平線とを含む領域を撮影した、いわゆる斜め視点の撮像画像データを表示することとした。この場合、鳥瞰図画像データを表示する場合と比べて、凹凸がある路面の走行、いわゆるオフロード走行の際に、路面の状況を把握できるため、運転の負担を軽減できる。
　本実施形態では、算出されたオプティカルフローに従って車両１の位置を推定することとした。これにより、オフロード等を走行している際に、車輪３が空転した場合でも、車両１の位置を精度良く推定できる。
　上述した実施形態では車両１は複数の撮像部１６ａ～１６ｄを備えている。そこで、上述した実施形態では、任意の位置から同時刻に複数の撮像部で撮像された撮像画像データを合成し、表示しても良い。例えば、前方向の撮像部１６ａと、横方向の撮像部１６ｂ、１６ｄと、で撮影された複数の撮像画像データ（左方向の撮像画像データ、前方向の撮像画像データ、右方向の撮像画像データ）を合成したものを表示しても良い。
　また、前方向の撮像部１６ａと、横方向の撮像部１６ｂ、１６ｄと、で撮影された複数の撮像画像データ（左方向の撮像画像データ、前方向の撮像画像データ、右方向の撮像画像データ）の合成は、車両１の複数の位置ではなく、任意の（１つの）位置で撮像された撮像画像データとする。ただし、任意の位置から撮像された撮像画像であれば、同時刻に撮像された撮像画像データでなくとも良い。
　上述した実施形態では、出力部４２２が出力する、床下表示用の撮像画像データは、現在の車両１の位置に対応する路面が含まれていれば、撮像を行う車両１の位置を制限するものではなく、任意の位置で撮像されたものでよい。また、床下表示には、任意の（１つの）位置でのみ撮像された撮像画像データを用い、複数の位置で撮像された複数の画像データを合成したものを用いないようにする。これにより、処理負担を軽減できる。
　本実施形態においては、リングバッファ４０４に複数の撮像画像データを記憶し、複数の撮像画像データから表示する撮像画像データを選択する例について説明したが、前回撮像した撮像画像データを表示するだけでもよい。この場合、撮像画像データを１つのみ記憶すればよいため、記憶容量を削減できる。
　本実施形態では、表示切り替えのボタンの押下により、表示を切り替える例について説明した。しかしながら、表示を切り替えるタイミングを制限するものではない。例えば、車両の移動中に常に、過去に撮像した撮像画像データを表示しても良いし、車両１が停止したことを条件に過去に撮像した撮像画像データの表示に切り替えても良い。
（第２の実施形態）
　第１の実施形態では、オプティカルフローに基づいて車両１の位置を推定する例について説明した。しかしながら、オプティカルフローによる位置の推定に制限するものではなく、車輪３の回転数を検出し、移動量を推定するセンサを用いても良い。そこで、第２の実施形態では、車輪３の回転数から移動量を推定する例について説明する。
　さらに第１の実施形態では、前進する場合の進行方向側の撮像部１６ａにより撮像された撮像画像データを表示する例について説明した。しかしながら、前進する場合に制限するものではなく後進する場合に、撮像部１６ｃにより過去に撮像された撮像画像データを表示しても良い。
　図１４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部１４００の構成を示すブロック図である。図１４に示されるように、周辺監視部１４００は、第１の実施形態と比べて、取得部４０１と処理が異なる取得部１４０１に変更され、保存処理部４０３と処理が異なる保存処理部１４０２に変更されている。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
　取得部１４０１は、第１の実施形態と同様に、撮像画像データと、加速度データと、を取得する他、車輪速センサ２２から車輪３の速度、換言すれば所定時間あたりの車輪３の回転数を取得する。取得した車輪３の速度、及び回転数は、保存処理部１４０２に出力される。
　保存処理部１４０２は、回転制御部４１１と、鳥瞰図画像生成部４１２と、位置推定部１４１１と、保存部４１５と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。
　位置推定部１４１１は、取得部１４０１から入力された、前回位置を推定してからの回転数、及び舵角センサ１９からの操舵角に基づいて、車両１の位置を推定する。
　その後、保存部４１５が、リングバッファ４０４に対して、撮像画像データと、現在の車両１の位置情報、及び傾き（進行方向）とを対応付けて記憶する。
　本実施形態では、回転数に基づいて車両１の位置を推定することとした。これにより、オンロード走行している際に、車両１の位置を精度良く検出できる。また、車両１が後退している場合に、本実施形態にかかる周辺監視部１４００は、過去の撮像画像データを表示しても良い。
　図１５は、車両１が後退している場合に、表示処理部４０６により表示処理された通常の画面例を示した図である。図１５に示すように、通常の画面例では、車両１が後退している場合に、車両１の周辺領域を確認するために、撮像部１６ｃにより現在撮像されている撮像画像データを、全画面表示している。これにより、運転席から確認しにくい車両１の後方領域を確認できる。しかしながら、図１５に示す例では、車両１の後方の距離間隔を把握しにくい。そこで、本実施形態にかかる周辺監視部１４００では、車両１の床下付近の表示に切り替えることができる。例えば、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、表示処理部４０６が表示を切り替える。
　図１６は、表示処理部４０６により表示処理される、床下表示の際の画面例を示した図である。図１６に示す例では、撮像部１６ｃが過去に撮像した撮像画像データに、現在の車両１の外形を示す輪郭線１６０１と、車両１の後輪３Ｒの外形を示す輪郭線１６０２、１６０３と、が重畳表示されている。
　図１６に示す撮像画像データは、撮像部１６ｃにより撮像されて、リングバッファ４０４に記憶された複数の撮像画像データから、画像選択部４２１により選択された撮像画像データとする。画像選択部４２１による撮像画像データの選択手法は、第１の実施形態と同様に、車両１の現在の位置を含んだ撮像画像データが選択可能であれば、どのような手法を用いても良い。
　図１６に示す撮像画像データでは、過去に撮像した撮像画像データに、現在の車両１の所定部位、例えば車両１自体の位置を表す輪郭線１６０１が重畳されているため、車両１と周辺の位置関係を認識できる。さらには、車両１の後輪３Ｒの周辺に障害物等の有無を確認できる。また、車両１が後輪操舵システムを採用する場合には、後輪３Ｒのタイヤ角に合わせて、輪郭線１６０２、１６０３の表示を切り替えても良い。
　本実施形態にかかる周辺監視部１４００は、回転数に基づいて移動量を推定するセンサの検出結果に基づいて、制御を行うこととした。本実施形態ではオンロードにおいて、精度良く移動量を推定することが可能となる。
　本実施形態では車両１の移動量を車輪３の回転数に応じて算出する例について説明した。しかしながら、このような手法に制限するものではなく、例えば、ＧＰＳ等から車両１の位置及び移動量を検出しても良い。
（第３の実施形態）
　前述した第１の実施形態及び第２の実施形態では、現在の車両１の所定部位を特定可能な識別情報として、例えば車両の外形を示す輪郭線や車両の車輪の外形を示す輪郭線を表す例を示した。図１７に示す第３の実施形態では、他の識別情報を示している。また、前述した図９の表示態様とは異なる表示態様の表示例を示している。図９の表示態様の場合、前方画像の視認性を向上させるために撮像画像データ９０１の表示領域を全画面の半分以上を用いて表示していた。一方、図１７の場合、撮像画像データ１７００の表示領域（前方表示領域）に対して、撮像画像データ１７０２及び撮像画像データ１７０４の表示領域（側方表示領域）を前方方向に拡大して、側方画像と前方画像との関連の理解をさらに容易にできるようにして車両周囲の状況把握の容易性を向上させている。
　図１７の場合、過去に撮影した撮像画像データ１７００に、図９と同様に、現在の車両の位置を示すための車体の輪郭線１７０６、左前輪の輪郭線１７０８、右前輪の輪郭線１７１０を表示している。それに加え、現在の車両の所定部位を示す識別情報として、車軸の位置を示す車軸輪郭線１７１２を表示している。このように、過去に撮影した周囲の状況を示す画像に、現在車両の所定部位、例えば車軸が実際に存在する位置を重畳表示することで、周囲の状況、例えば岩等の障害物と車両の床下部位との関係の把握が容易になり、車両の運転操作をより適切に行うことができる。特に、車両の床下には車軸のように突出した部品が存在する場合、その位置を重畳表示することにより、床下の部材と路面等が接触しないように、または接触によるダメージを最小限に抑えるような運転操作を容易に行うことができるように支援することができる。また、車軸輪郭線１７１２を表示することにより輪郭線１７０８，１７１０で示される車輪の中心を運転者が把握できるため、車輪の接地位置を正しく把握できるようになる。
　図１７は、一例として車軸を示す車軸輪郭線１７１２を示したが、他の床下部位を示してもよい。例えば、デファレンシャルギア（デフ）の位置を示す輪郭線を示してもよい。この場合もデフと路面が接触しないように、または接触によるダメージを最小限に抑えるような運転操作ができるように支援することができる。なお、車体の輪郭線１７０６、車輪の輪郭線１７０８，１７１０に加えて表示する車軸やデフ等の輪郭線は、運転者が適宜選択できるようにしてもよい。例えば、車軸またはデフのいずれか一方を選択的に表示するようにしてもよいし、両方を選択して表示してもよい。なお、車軸やデフ以外の床下部材に関して、同様に選択的に重畳表示するようにしてもよい。この場合、運転者が悪路走行時に特に気になる部材と路面との関係が容易に把握できるので、より適切な運転操作が可能になる。
　表示領域１７１４には、車両の傾斜姿勢（ピッチ角やロール角）を示すアイコン１７１６が示されている。この車両の傾斜姿勢を合わせて表示して、運転操作の参考にさせることにより、車軸やデフと路面が接触しないように、または接触によるダメージを最小限に抑えるような運転操作をさらに容易にできるようにアシストすることができる。
（第４の実施形態）
　図１８には、現在の車両の所定部位を特定可能な識別情報を重畳する他の例が示されている。図１８の例の場合、車両搭乗者が車両をスムーズに降車できるようにアシストするように撮像画像データ９０１に各種輪郭線を重畳している。なお、図１８の表示画面の構成は、図９の構成と同じである場合を例示している。図１８の表示例は、駐車スペースに自車を駐車する場合の自車と周囲の状況との関係を容易に認識させることに配慮されたアシスト画像である。この場合、駐車位置の調整容易性の向上と、自車から降車する際の周囲の状況把握の容易性を向上させることができる。図１８に示すように、過去に撮影した画像に映り込んでいる他車両Ｃａ，Ｃｂに対する自車の位置を把握させ易くするために、撮像画像データ９０１上に重畳する車体の輪郭線１８２０に加え、ドアミラーの位置を示す輪郭線１８２２，１８２４を示している。運転者は、画面上で自車の位置を理解しやすいドアミラーの位置を参考にすることで、他車両Ｃａ，Ｃｂと自車の相対位置の把握が容易になる。
　また、助手席側のドアの閉位置を示す輪郭線１８２６及び運転席側のドアの閉位置を示す輪郭線１８２８を示したり、運転席の座席位置を示す輪郭線１８３０、助手席の座席位置を示す輪郭線１８３２を示すことにより、他車両Ｃａ，Ｃｂと自車の相対位置の把握がさらに容易になる。また、ドアの位置を示す輪郭線１８２６，１８２８や座席の位置を示す輪郭線１８３０，１８３２を示すことで、車両を停車させて降車する場合の降り立ち位置に水溜まりや障害物等が無いか否かの判断を事前に行うことが可能となる。その結果、停車位置の調整を容易に行うことができる。
　また、変形例として、ドアが開いた状況（点線の輪郭線１８２６，１８２８）を表示してもよい。この場合は、ドアを開放した場合の他車両Ｃａ，Ｃｂとの距離、例えば、接触するか否かやドアをどの程度まで開放できるか等を事前に搭乗者に認識させることができる。また、ドアを開放して降車する場合の降り立ち位置の確認も容易にできる。なお、図１８の場合、運転席および助手席をカバーする範囲の輪郭線を重畳表示する例を示した。別の実施例では、例えば４ドアタイプの車両で後部座席をカバーする範囲の輪郭線を重畳表示するようにしてもよい。この場合、後部座席のユーザに対してもドアの開放可能量や降り立ち位置の状況を認識させることができる。なお、図１８では、スイングドアを例に説明したが、スライドドアやバックドア等にも適用可能であり、同様の効果を得ることができる。
　なお、図１８において、撮像画像データ８０２、撮像画像データ８０３、表示領域８０４、アイコン８１１等は図９の表示例と同じである。また、オンロードの場合は、周囲の状況が比較的把握し易いので、前述した図１６のような全画面表示で、撮像画像データ９０１及びそれに重畳する各輪郭線を表示するようにしてもよい。この場合、周囲の状況と自車の位置関係の把握がさらに容易になる。
（第５の実施形態）
　図１９は、図１６の変形例である。図１６の例の場合、車体の輪郭線１６０１及び、車輪の輪郭線１６０２，１６０３を過去画像に重畳表示することにより、他車の位置と自車の位置の認識度を向上させることで、駐車スペースへの進入を支援する例である。一方、図１９の例の場合、車体の輪郭線１９００及び、車輪の輪郭線１９０２，１９０４の重畳表示に加え、駐車スペースの車輪止め１９０６までの距離を表示領域１９０８に表示している。図１９の場合、車輪止め１９０６と対応する車輪の輪郭線１９０４までの距離（接触点までの距離）を撮像画像データ上の位置関係に基づき、既知の方法によりリアルタイムで算出する。そして、表示領域１９０８に例えば、「あと、１．８Ｍ」等のように表示する。このような、車輪止め１９０６までの残余距離の表示を行うことにより、駐車時の速度調整が容易になり、よりスムーズな駐車スペースへの進入が容易にできるように支援できる。なお、残余距離の表示に加え、または表示に代えて残余距離を音声案内するようにしてもよい。
（第６の実施形態）
　図２０は、図１９の変形例である。近年、電気自動車の普及に伴い、駐車スペースに非接触型の充電設備が設置されるケースが増加している。非接触型の充電設備の場合、路面側の給電装置と車載側の受電装置とを正確に相対させることが効率的な充電を実現する条件となる。前述したように、非接触型の充電設備は各所に設けられているため、不慣れな場所で充電する場合もある。図２０の例は、このような場合の充電位置への正確な誘導を支援する例である。具体的には、駐車スペースへの進入を支援するための、過去画像に車体の輪郭線２０００及び、車輪の輪郭線２００２，２００４の重畳表示に加え、車両側の受電装置の輪郭線２００６を重畳表示している。そして、駐車スペースの車輪止め２００８より手前側に設けられた給電装置２０１０までの距離を表示領域２０１２に表示している。図２０の場合、給電装置２０１０と受電装置の輪郭線２００６までの相対距離を撮像画像データ上の位置関係に基づき既知の方法によりリアルタイムで算出し、表示領域２０１２に例えば、「あと、１．７Ｍ」等のように表示する。このような、受電位置までの残余距離の表示を行うことにより、充電操作時の位置決め調整が容易になり、よりスムーズな充電準備ができるように支援できる。
　なお、この充電支援モードは、例えば運転席近傍に設けられた充電支援モードスイッチを運転者がオンした場合や、充電が必要な場合に、路面側の給電装置２０１０が発生する電波を受信することを契機に自動的に図２０に示すような充電支援モードに切り替えて、受電装置の輪郭線２００６や表示領域２０１２の表示を行うようにしてもよい。また、給電装置２０１０が撮影画面上で認識困難な場合は、給電装置２０１０の発生する電波の強度等に基づいて給電装置２０１０の位置を検出してもよい。そして、車載カメラで撮影した過去画像上に給電装置２０１０の輪郭線を重畳表示するようにしてもよい。なお、充電支援モードでは、残余距離の表示や音声案内のみでも十分であるが、例えば、左右方向のズレを修正するための矢印表示や音声案内を合わせて行うようにしてもよい。また、残余距離や修正方向の音声案内のみを行うようにしてもよい。
（第７の実施形態）
　上述した各実施形態の場合、過去に撮影した画像に現在の自車の輪郭線を重畳表示して現在の車両の位置と周囲の状況との関係を認識し易いようにしている。ところで、特にオンロードで過去画像を利用する場合に、記憶した画像に歩行者や他車等の移動物体が映り込んでいる場合がある。このように移動物体が映り込んだ過去画像に現在の車両の輪郭線等を重畳表示すると、現在はすでに存在しない移動物体に自車が接触したり重なり合ったりするような画像合成が行われて表示上違和感が生じる。
　そこで、各実施形態において、過去画像に移動物体が含まれる場合は、そのデータをリングバッファ４０４に記憶しない、または記憶しても重畳表示処理を行う場合に使用しないようにしてもよい。この場合、過去画像が表示できない旨のメッセージを表示したり音声案内するようにすることが望ましい。このような処理を行うことにより、上述したような表示上の違和感が生じることを回避することができる。
　なお、車載カメラで撮影する画像の中に歩行者や他車等の移動物体が存在するか否かは、例えば、撮影システムに含まれる障害物の認識機能を用いて判定することができる。このように既存のシステムと連携させることにより、過去画像に移動物体が含まれる場合は、そのデータを利用しない等のシステムを低コストで実現できる。なお、取得した画像データの全領域について移動物体の検出を行い、検出された場合にデータを非使用とする処理を行うと、使用できるデータ数が過剰に減ってしまう場合がある。そのため、舵角センサ１９やタイヤ角センサ１３ｂからの情報に基づいて、自車の進行方向を推定し、自車と関連する領域のみについて移動物体の有無検出を行うようにしてもよい。この場合、非使用とするデータ数を最小限にすることが可能になり、良好な過去画像を用いた重畳処理が実現できる。
（第８の実施形態）
　一方、第７の実施形態とは逆に、過去画像に現在の自車の輪郭線を重畳表示させている場合、つまり、過去画像の表示中に移動物体（歩行者や他車等）が新たに割り込んでくる場合もある。この場合、新たに割り込んできた移動物体は、過去画像上には存在しないので、表示装置上には表示されない。このような場合、運転者は目視により割り込んできた移動物体を認識できるが、現実に存在する物体が画面上に表示されないという違和感が生じる場合がある。このような場合、現在画像を表示する現在表示モードに強制的に切り替えるようにしてもよい。このように現在画像モードに切り替えることにより、移動物体の存在をユーザに確実に認識させることが容易になる。
　なお、過去画像表示中に新たに進入してきた移動物体の検出は、既存の移動物体検出方法を用いることができる。例えば、現在車載カメラで取得している現在画像上の画像認識で行ってもよいし、ソナーやレーザレーダー、ミリ波レーダー等のセンサを用いてもよい。
　このような現在画像への切り替えは、移動物体の割り込む場合が多い、オンロード走行時に特に有効であるが、オフロード走行時でも適用できる。例えば、オフロード走行時には、繊細な運転操作が要求される場合があるため、床下の状態を詳細に認識できる表示装置に視線が集中してしまう場合がある。つまり現在の状況把握が疎かになってしまう場合がある。そのような場合、過去画像表示中に、新たな移動物体の進入が検出された場合に現在画像に切り替えることにより、現在の状況把握を迅速かつ確実に行わせることができる。
　なお、現在画像を表示中に移動物体や静止物等の障害物が検出されている場合に、利用者が過去画像の表示を要求した場合、周辺監視ＥＣＵ１４は、過去画像を表示してよいか「確認画面」を表示するようにしてもよい。また別の実施例では、システム側が一度現在画像に切り替えた場合、それ以降、所定の解除手順を実行するまで、または所定時間経過するまで、過去画像への切り替えを禁止するようにしてもよい。これにより、移動物体の割り込みを確実にユーザに認識させることができる。
（第９の実施形態）
　上述した各実施形態において、前方領域を示す表示領域（図８，９，１７，１８参照）は、いずれも、中央上段に短辺を下側にした略台形形状（台形形状、略台形表示領域、台形表示領域）としている。このように、短辺を下側にした形状で表示することで、前方表示領域を奥行き感のある起立画面のように見せる表示が可能となる。その結果、実際に利用者（運転者、乗員）が視認する周囲状況に近い表示が可能になる。また、車幅方向の左側および右側を撮影した画像を表示する側方表示領域（各実施形態では、略長方形の表示領域）と前方表示領域の形状を異ならせることにより、同じ画面に表示された側方領域を表示する領域と前方領域を表示する領域とが異なる視点（前方領域は起立画面、側方領域は見下ろし画面）であるように強調できるため、利用者の視認性の向上に寄与することができる。特に、図１７の例のように、側方表示領域が前方表示領域の横まで伸びている場合は、両者を異なる形状とすることで、その識別性をより向上させることができる。なお、各実施形態において、側方表示領域には、路面から上空の領域を含まなれないものとなっている。なお、略台形表示領域とは、各辺が直線で構成される台形表示領域でもよいし、いずれかの辺が曲線で構成されていてもよい。例えば、図８のにおける撮像画像データ８０１を表示する領域の長辺側が領域外側に向かい凸の曲線で構成されていてもよい。同様に短辺側が領域外側に向かい凸状の曲線で構成されていてもよい。また、撮像画像データ８０１を表示する領域の側辺（斜辺）が外側に凸の曲線で構成されていてもよい。逆に領域内側に向かい凸の曲線で構成されていてもよい。例えば、長辺側が領域外側に凸の曲線で、短辺側が領域内側に凸の曲線で構成される扇形形状も、本実施形態における略台形形状に含まれるものとする。また、前述したような曲線は略台形形状の一部に採用されてもよいし、複数箇所で採用されていてもよい。略台形形状を構成する辺を曲線とすることで、表示領域の形状に様々な意匠性を持たせることができる。また、側方表示領域の略長方形の表示領域との識別性をさらに向上させることができる。
　図１７には、表示処理部４０６により表示処理された画面の変形例が示されている。図１７の場合、撮像画像データ１７００の表示領域（前方表示領域）に対して、撮像画像データ１７０２及び撮像画像データ１７０４の表示領域（側方表示領域）を前方方向に拡大して、側方画像と前方画像との関連の理解を容易にできるようにして車両周囲の状況把握の容易性を向上させている。そして、前方表示領域に表示する撮像画像データ１７００の視認性を向上させるために上述したような「略台形表示領域」を用いて表示している。特に、図１７の例のように、側方表示領域が前方表示領域の横まで伸びている場合は、両者を異なる形状とすることで、その識別性をより向上させることができる。この「略台形表示領域」は、図８や図１７に示すように撮像部１６ａが撮影した現在画像を表示する場合および図９に示すように過去画像を表示する場合の両方に適用可能であり、いずれの場合も視認性を向上させることができる。
　なお、図１７に示す例では、周辺監視ＥＣＵ１４は、操舵部４（ステアリングホイール）の操作状態を舵角センサ１９の出力データに基づき取得し、前輪３Ｆの向きを推定して、車両１の進行推定方向を示す進路指標１７０６，１７０８を前方表示領域に重畳表示している。進路指標１７０６，１７０８を前方表示領域に表示することにより、車両１がこれから進もうとしている方向が明確になり、周囲の状況と車両１の関係が把握し易くなる。そして、略台形表示領域により視認性が向上した表示領域を参照しつつ、例えば、スムーズに障害物を回避する運転を容易に行えるような運転支援を提供することができる。


　上述した各実施形態においては、現在撮像した撮像画像データと合成を行うことなく、過去に撮像した撮像画像データを表示することとした。時系列の異なる撮像画像データを合成せずに、ある時点で撮影された撮像画像データのみを表示することで、現在の車両１の位置における死角となる領域を、運転者に対して違和感なく表示することができる。
　上述した実施形態では、車両１の進行方向の路面及び地平線を含んだ領域を撮像、いわゆる斜め視点から撮像された撮像画像データを表示する例について説明した。しかしながら、撮影する画角及び表示する画像データを制限するものではない。例えば、鳥瞰図（トップビュー）による画像データを表示しても良い。
　上述した実施形態にかかる各実施形態にかかる周辺監視部では、過去に撮像された撮像画像データを表示することで、運転者に違和感を与えることになく、車両１周辺で死角となっている領域（例えば車両１の前輪３Ｆ付近）の状況を提示することができる。これにより、運転者の運転の負担を軽減できる。
　上述した実施形態にかかる周辺監視部では、過去に撮像された撮像画像データに現在の車両１の位置を示す輪郭線等を表示している。これにより、周囲の状況と車両１との関係の把握が容易になる。
　上述した実施形態にかかる周辺監視部では、床下表示の選択を受け付けた場合に、過去のある車両の位置から撮像部１６により撮影された撮像画像データのみを表示している。すなわち、上述した実施形態では、例えば、現在の撮像画像データと、過去の撮像画像データのような、時系列の異なる複数の撮像画像データの合成を行わない例について説明した。このように時系列の異なる複数の画像データの合成を行わないため、処理負担を軽減することが可能となった。
　なお、上述した第１～第９の実施形態において、過去画像に表示する各種輪郭線は、車両を上面視した場合に路面に投影される位置を、過去画像上に描画（投影）しているものである。
　第９の実施形態は、次の［１］～［３］のうちいずれかの車両の制御装置あるいはプログラムの一例である。
［１］
　車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得部と、
　前記取得部が取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力部と、
　を備える周辺監視装置。
［２］
　前記撮像部は、前記車両の前方または後方を撮像する第１撮像部と、前記車両の側方を撮像する第２撮像部とを含み、
　前記出力部は、前記第１撮像部で撮影した撮像画像データに基づく画像を前記略台形表示領域に表示させ、前記第２撮像部で撮影した撮像画像データに基づく画像を略長方形表示領域に表示させる［１］に記載の周辺監視装置。
［３］
　車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得ステップと、
　前記取得ステップで取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力ステップを、
　コンピュータに実行させるためのプログラム。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　１…車両、１６…撮像部、１００…周辺監視システム、４００、１４００…周辺監視部、４０１、１４０１…取得部、４０２…角度算出部、４０３、１４０２…保存処理部、４０４…リングバッファ、４０５…受付部、４０６…表示処理部、４１１…回転制御部、４１２…鳥瞰図画像生成部、４１３…オプティカルフロー算出部、４１４、１４１１…位置推定部、４１５…保存部、４２１…画像選択部、４２２…出力部

Claims (8)

  1. 　車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、
    　前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両の位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力部と、
    　を備える周辺監視装置。
  2. 　前記出力部は、さらに、出力する前記撮像画像データに対して、現在の車両の所定部位を特定可能な識別情報を重畳する、
    　請求項１に記載の周辺監視装置。
  3. 　前記出力部は、前記識別情報として、前記車両の床下の所定部位を特定する情報を重畳する、請求項２に記載の周辺監視装置。
  4. 　前記車両の移動量を取得する取得部を、さらに備え、
    　前記記憶部は、さらに、前記撮像画像データと、前記撮像画像データを前記撮像部が撮像した位置情報と、を対応づけて記憶し、
    　前記出力部は、前記取得部が取得した前記移動量と、前記記憶部に記憶された前記位置情報と、に基づいて、現在の前記車両の位置が撮像された領域に含まれているものとして選択された、前記撮像画像データを出力する、
    　請求項１乃至３のいずれか一つに記載の周辺監視装置。
  5. 　前記出力部は、前記記憶部に記憶された複数の前記撮像画像データのうち、任意の位置で撮像された撮像画像データのみを出力する、
    　請求項１乃至４のいずれか一つに記載の周辺監視装置。
  6. 　前記出力部は、当該車両の進行方向であり、且つ前記撮像部の光軸が路面に交差する方向を撮像方向として当該撮像部により撮像された前記撮像画像データを出力する、
    　請求項１乃至５のいずれか一つに記載の周辺監視装置。
  7. 　所定のボタンの押下を受け付ける受付部をさらに備え、
    　前記出力部は、前記撮像部が現在撮像している撮像画像データを出力し、前記受付部が前記所定のボタンの押下を受け付けた場合に、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ現在の前記車両の位置が撮像された領域に含まれている撮像画像データを、出力する、
    　請求項１乃至６のいずれか一つに記載の周辺監視装置。
  8. 　車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶部に記憶させるステップと、
    　前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両の位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力ステップを、
    　コンピュータに実行させるためのプログラム。
PCT/JP2014/050386 2013-03-28 2014-01-10 周辺監視装置、及びプログラム WO2014156220A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480012951.9A CN105009574B (zh) 2013-03-28 2014-01-10 周边监视装置及周边监视方法、记录介质
JP2015508107A JP6156486B2 (ja) 2013-03-28 2014-01-10 周辺監視装置、及びプログラム
EP14775926.0A EP2981077B1 (en) 2013-03-28 2014-01-10 Periphery monitoring device and program
US14/769,947 US9956913B2 (en) 2013-03-28 2014-01-10 Surroundings-monitoring device and computer program product
US15/922,289 US10710504B2 (en) 2013-03-28 2018-03-15 Surroundings-monitoring device and computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-070481 2013-03-28
JP2013070481 2013-03-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/769,947 A-371-Of-International US9956913B2 (en) 2013-03-28 2014-01-10 Surroundings-monitoring device and computer program product
US15/922,289 Continuation US10710504B2 (en) 2013-03-28 2018-03-15 Surroundings-monitoring device and computer program product

Publications (1)

Publication Number Publication Date
WO2014156220A1 true WO2014156220A1 (ja) 2014-10-02

Family

ID=51623226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050386 WO2014156220A1 (ja) 2013-03-28 2014-01-10 周辺監視装置、及びプログラム

Country Status (5)

Country Link
US (2) US9956913B2 (ja)
EP (1) EP2981077B1 (ja)
JP (2) JP6156486B2 (ja)
CN (1) CN105009574B (ja)
WO (1) WO2014156220A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3280137A4 (en) * 2015-04-02 2018-04-04 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
WO2018066282A1 (ja) 2016-10-04 2018-04-12 アイシン精機株式会社 周辺監視装置
JP2018191242A (ja) * 2017-05-11 2018-11-29 アイシン精機株式会社 周辺監視装置
CN113051997A (zh) * 2019-12-26 2021-06-29 Sl镜子科技株式会社 用于监视车辆周围环境的设备和非暂时性计算机可读介质
JP2022009331A (ja) * 2017-05-11 2022-01-14 株式会社アイシン 周辺監視装置
US11477373B2 (en) 2017-07-07 2022-10-18 Aisin Corporation Periphery monitoring device
US11475676B2 (en) 2017-06-02 2022-10-18 Aisin Corporation Periphery monitoring device
DE112016004694B4 (de) 2015-10-15 2023-05-17 Denso Corporation Anzeigesteuervorrichtung und nichtflüchtiges computerlesbares Speichermedium mit darauf gespeichertem Anzeigesteuerprogramm

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2942951A1 (en) * 2014-05-06 2015-11-11 Application Solutions (Electronics and Vision) Limited Image calibration
EP3057061B1 (en) * 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Method and device for the estimation of car egomotion from surround view images
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US10484651B2 (en) * 2015-06-29 2019-11-19 Aisin Seiki Kabushiki Kaisha Image display control device
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
FR3047947B1 (fr) * 2016-02-24 2018-03-09 Renault S.A.S Procede d'aide a la conduite en marche avant d'un vehicule automobile, muni d'une camera a objectif de type fish-eye
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
JP6720729B2 (ja) * 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
EP3293668B1 (en) * 2016-09-13 2023-08-30 Arriver Software AB A vision system and method for a motor vehicle
JP6648662B2 (ja) * 2016-09-23 2020-02-14 トヨタ車体株式会社 車両の情報表示装置
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
JP6729409B2 (ja) * 2017-01-16 2020-07-22 アイシン精機株式会社 周辺監視装置
JP6852465B2 (ja) * 2017-03-02 2021-03-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US20180316868A1 (en) * 2017-04-27 2018-11-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view display object referents system and method
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
JP6740991B2 (ja) * 2017-11-10 2020-08-19 株式会社デンソー 表示処理装置
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
JPWO2019142892A1 (ja) * 2018-01-22 2021-01-28 株式会社小糸製作所 電子ミラー用の撮像装置、電子ミラーシステム、自動車
JP7315303B2 (ja) 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
JP6959532B2 (ja) * 2018-05-30 2021-11-02 株式会社豊田自動織機 産業車両用遠隔操作システム
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
MA54752A (fr) 2019-01-14 2021-11-24 Univ Virginia Patent Foundation Utilisation d'inhibiteurs d'intégrine pour le traitement ou la prévention d'un trouble immunitaire neurologique et/ou d'une lésion du système nerveux
JP7268856B2 (ja) 2019-07-12 2023-05-08 岐阜プラスチック工業株式会社 折り畳みコンテナ
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JP7319593B2 (ja) * 2020-02-13 2023-08-02 トヨタ自動車株式会社 車両周辺監視装置
USD947893S1 (en) * 2020-03-05 2022-04-05 Jaguar Land Rover Limited Display screen or portion thereof with icon
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2003009141A (ja) 2001-06-27 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP2006238131A (ja) * 2005-02-25 2006-09-07 Aisin Seiki Co Ltd 車両周辺監視装置
JP2007102798A (ja) 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP2010109684A (ja) * 2008-10-30 2010-05-13 Clarion Co Ltd 車両周辺画像表示システム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58184398A (ja) 1982-04-20 1983-10-27 Ishikawajima Harima Heavy Ind Co Ltd 低温液化ガス貯蔵設備における発生ガスの再液化方法
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JP2003054316A (ja) * 2001-08-21 2003-02-26 Tokai Rika Co Ltd 車両用撮像装置、車両用監視装置及びドアミラー
JP2003081014A (ja) 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2005223524A (ja) 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2006168699A (ja) * 2004-11-22 2006-06-29 Nagano Kogaku Kenkyusho:Kk 車両の監視画像の表示方法
JP2007022176A (ja) 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
JP4676373B2 (ja) * 2006-04-27 2011-04-27 株式会社デンソー 周辺認識装置、周辺認識方法、プログラム
JP4656005B2 (ja) * 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
JP4857159B2 (ja) * 2007-03-22 2012-01-18 アルパイン株式会社 車両運転支援装置
US8426406B2 (en) * 2008-05-12 2013-04-23 Santen Pharmaceutical Co., Ltd. Glucocorticoid receptor agonist comprising 2,2,4-trimethyl-6-phenyl-1,2-dihydroquinoline derivatives having substituted oxy group
JP2010023704A (ja) * 2008-07-22 2010-02-04 Pioneer Electronic Corp 車両用情報表示システム及びプログラム
JP2010074260A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両周囲監視装置
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5337878B2 (ja) * 2009-07-22 2013-11-06 トヨタ自動車株式会社 運転支援装置
WO2011030699A1 (ja) * 2009-09-11 2011-03-17 アイシン精機株式会社 車両周辺監視装置
US8497907B2 (en) * 2009-12-11 2013-07-30 Mobility Solutions Innovation Inc. Off road vehicle vision enhancement system
JP2011160346A (ja) * 2010-02-03 2011-08-18 Denso Corp 車両周辺撮影装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
US8983717B2 (en) * 2010-12-21 2015-03-17 Ford Global Technologies, Llc Vehicle camera system operable in off-road mode and method
US9418556B2 (en) * 2010-12-30 2016-08-16 Wise Automotive Corporation Apparatus and method for displaying a blind spot
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
JP5979505B2 (ja) * 2011-08-26 2016-08-24 パナソニックＩｐマネジメント株式会社 運転支援装置
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
JP6137081B2 (ja) * 2014-07-29 2017-05-31 株式会社デンソー 車載機器
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2003009141A (ja) 2001-06-27 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP2006238131A (ja) * 2005-02-25 2006-09-07 Aisin Seiki Co Ltd 車両周辺監視装置
JP2007102798A (ja) 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP2010109684A (ja) * 2008-10-30 2010-05-13 Clarion Co Ltd 車両周辺画像表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2981077A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3280137A4 (en) * 2015-04-02 2018-04-04 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
US10363872B2 (en) 2015-04-02 2019-07-30 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
DE112016004694B4 (de) 2015-10-15 2023-05-17 Denso Corporation Anzeigesteuervorrichtung und nichtflüchtiges computerlesbares Speichermedium mit darauf gespeichertem Anzeigesteuerprogramm
WO2018066282A1 (ja) 2016-10-04 2018-04-12 アイシン精機株式会社 周辺監視装置
US11302076B2 (en) 2016-10-04 2022-04-12 Aisin Corporation Periphery monitoring apparatus
JP2018191242A (ja) * 2017-05-11 2018-11-29 アイシン精機株式会社 周辺監視装置
JP2022009331A (ja) * 2017-05-11 2022-01-14 株式会社アイシン 周辺監視装置
JP7259914B2 (ja) 2017-05-11 2023-04-18 株式会社アイシン 周辺監視装置
US11475676B2 (en) 2017-06-02 2022-10-18 Aisin Corporation Periphery monitoring device
US11477373B2 (en) 2017-07-07 2022-10-18 Aisin Corporation Periphery monitoring device
CN113051997A (zh) * 2019-12-26 2021-06-29 Sl镜子科技株式会社 用于监视车辆周围环境的设备和非暂时性计算机可读介质

Also Published As

Publication number Publication date
US20160001704A1 (en) 2016-01-07
US10710504B2 (en) 2020-07-14
JP6060910B2 (ja) 2017-01-18
US9956913B2 (en) 2018-05-01
US20180201191A1 (en) 2018-07-19
EP2981077B1 (en) 2017-09-27
EP2981077A1 (en) 2016-02-03
JP2014209713A (ja) 2014-11-06
CN105009574B (zh) 2018-07-17
EP2981077A4 (en) 2016-04-06
JPWO2014156220A1 (ja) 2017-02-16
JP6156486B2 (ja) 2017-07-05
CN105009574A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
WO2014156220A1 (ja) 周辺監視装置、及びプログラム
JP6340969B2 (ja) 周辺監視装置、及びプログラム
JP6897340B2 (ja) 周辺監視装置
JP6806156B2 (ja) 周辺監視装置
JP7069548B2 (ja) 周辺監視装置
JP6281289B2 (ja) 周辺監視装置、及びプログラム
JP6642306B2 (ja) 周辺監視装置
JP6760122B2 (ja) 周辺監視装置
EP3792868A1 (en) Image processing device
WO2018070298A1 (ja) 表示制御装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
WO2018061261A1 (ja) 表示制御装置
JP2014004930A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP6720729B2 (ja) 表示制御装置
JP2014004931A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP6977318B2 (ja) 周辺表示装置
JP2020043418A (ja) 周辺監視装置
JP2019046086A (ja) 周辺監視装置
JP2017211814A (ja) 駐車支援装置
JP2018006943A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14775926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508107

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14769947

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014775926

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014775926

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE