WO2018003193A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2018003193A1
WO2018003193A1 PCT/JP2017/010271 JP2017010271W WO2018003193A1 WO 2018003193 A1 WO2018003193 A1 WO 2018003193A1 JP 2017010271 W JP2017010271 W JP 2017010271W WO 2018003193 A1 WO2018003193 A1 WO 2018003193A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
captured image
captured
vehicle
unit
Prior art date
Application number
PCT/JP2017/010271
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/312,484 priority Critical patent/US10855954B2/en
Priority to DE112017003282.2T priority patent/DE112017003282T5/de
Priority to CN201780036450.8A priority patent/CN109314767A/zh
Publication of WO2018003193A1 publication Critical patent/WO2018003193A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device.
  • the periphery monitoring device is currently captured by the imaging unit when displaying the captured image data captured by the imaging unit mounted on the vehicle and the captured image data stored in the storage unit.
  • a switching control unit for switching between a first display mode for displaying currently captured image data and a second display mode for displaying past captured image data captured in the past by the imaging unit; and a first display mode. Based on the current captured image data currently captured by the imaging unit and the past captured image data captured by the imaging unit in the past based on the second display mode, the past captured image data is switched.
  • an output unit that outputs information representing a transition between when the captured image data is captured and when the captured image data is captured to the display device. According to this configuration, for example, it is possible to easily grasp the positional relationship by displaying information indicating transition.
  • the output unit performs display of past captured image data captured in the past by the imaging unit from display of the current captured image data currently captured by the imaging unit
  • the captured image data captured by the imaging unit is output from the time of capturing the current captured image data to the time of capturing the past captured image data. According to this configuration, for example, it is possible to easily grasp the positional relationship by displaying captured image data.
  • the output unit when the captured image data captured by the imaging unit is displayed, the output unit superimposes and outputs information indicating the current vehicle position on the captured image data.
  • the positional relationship can be easily grasped by superimposing information indicating the current position of the vehicle.
  • the output unit performs display of past captured image data captured in the past by the imaging unit from display of the current captured image data currently captured by the imaging unit
  • information representing transition of vehicle movement is output from the time when the past captured image data is captured until the time when the current captured image data is captured.
  • the positional relationship can be easily grasped by outputting information representing transition of vehicle movement.
  • the storage unit stores captured image data output from the imaging unit that captures an area including a road surface in the traveling direction of the vehicle
  • the switching control unit is The first display mode in which the currently captured image data including the road surface in the current traveling direction of the vehicle that has been imaged and the past captured image data including the road surface in the past traveling direction of the vehicle are represented below the floor of the vehicle.
  • the display mode is switched to the second display mode displayed as captured image data. According to this configuration, for example, the current under-floor situation of the vehicle can be easily grasped.
  • FIG. 1 is a perspective view illustrating an example of a state in which a part of a compartment of a vehicle according to the first embodiment is seen through.
  • FIG. 2 is a plan view (overhead view) illustrating an example of the vehicle according to the first embodiment.
  • FIG. 3 is a block diagram illustrating an example of a vehicle periphery monitoring system according to the first embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of a periphery monitoring unit realized in the ECU according to the first embodiment.
  • FIG. 5 is a diagram illustrating an imaging region by the imaging unit of the vehicle according to the first embodiment.
  • FIG. 6 is a diagram illustrating the structure of the ring buffer according to the first embodiment.
  • FIG. 7 is a diagram illustrating a screen example of the current image display mode in which display processing is performed by the display processing unit according to the first embodiment.
  • FIG. 8 is a diagram illustrating a screen example of a past image display mode in which display processing is performed by the display processing unit according to the first embodiment.
  • FIG. 9 is a diagram illustrating the transition of captured image data selected by the image selection unit according to the first embodiment.
  • FIG. 10 is a diagram illustrating transition of the display area output to the display device by the output unit according to the first embodiment.
  • FIG. 11 is a flowchart illustrating a procedure of a captured image data storage process in the periphery monitoring unit according to the first embodiment.
  • FIG. 12 is a flowchart illustrating a procedure of display processing in the periphery monitoring unit according to the first embodiment.
  • FIG. 13 is a flowchart illustrating a procedure of a screen display process in the past image display mode in the periphery monitoring unit according to the first embodiment.
  • FIG. 14 is a diagram illustrating transition of the display area output to the display device by the output unit of the second embodiment.
  • FIG. 15 is a flowchart illustrating a procedure of display processing of a screen in the past image display mode in the periphery monitoring unit according to the second embodiment.
  • FIG. 1 is an exemplary perspective view showing a state in which a part of a passenger compartment 2a of a vehicle 1 according to the first embodiment is seen through.
  • the vehicle 1 may be, for example, an automobile (an internal combustion engine automobile) using an internal combustion engine (engine, not shown) as a drive source, or an automobile (electric vehicle) using an electric motor (motor, not shown) as a drive source. Or a fuel cell vehicle or the like, or a vehicle (hybrid vehicle) using both of them as drive sources.
  • the vehicle 1 can be mounted with various transmissions, and various devices (systems, components, etc.) necessary for driving the internal combustion engine and the electric motor.
  • the method, number, layout, and the like of the device related to driving of the wheels 3 in the vehicle 1 can be set in various ways.
  • the vehicle body 2 constitutes a passenger compartment 2a in which an occupant (not shown) gets.
  • a steering section 4 an acceleration operation section 5, a braking operation section 6, a shift operation section 7 and the like are provided in a state facing the driver's seat 2b as a passenger.
  • the steering unit 4 is a steering wheel protruding from a dashboard (instrument panel)
  • the acceleration operation unit 5 is an accelerator pedal positioned under the driver's feet
  • a braking operation unit Reference numeral 6 denotes a brake pedal positioned under the driver's feet
  • the shift operation unit 7 is a shift lever protruding from the center console, but is not limited thereto.
  • a display device 8 (display output unit) and an audio output device 9 (audio output unit) are provided in the passenger compartment 2a.
  • the display device 8 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the audio output device 9 is a speaker as an example.
  • the display device 8 is covered with a transparent operation input unit 10 (for example, a touch panel). An occupant or the like can visually recognize a video (image) displayed on the display screen of the display device 8 via the operation input unit 10.
  • a passenger or the like operates an operation input (instruction) by touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to an image (image) displayed on the display screen of the display device 8.
  • Input In the present embodiment, as an example, the display device 8, the audio output device 9, the operation input unit 10, and the like are provided in the monitor device 11 that is located in the center of the dashboard in the vehicle width direction (left-right direction). ing.
  • the monitor device 11 can include an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button.
  • an audio output device (not shown) can be provided at another position in the passenger compartment 2a different from the monitor device 11, and audio is output from the audio output device 9 of the monitor device 11 and other audio output devices. Can be output.
  • the monitor device 11 is also used as a navigation system or an audio system.
  • a monitor device for a peripheral monitoring device may be provided separately from these systems.
  • the vehicle 1 is a four-wheeled vehicle (four-wheeled vehicle), and includes two left and right front wheels 3F and two left and right rear wheels 3R. Have.
  • the tire angle of the front wheel 3F changes (turns) in response to the operation of the steering unit 4 (steering wheel).
  • the steering system 13 is, for example, an electric power steering system, an SBW (steer by wire) system, or the like.
  • the steering system 13 adds torque (assist torque) to the steering unit 4 by the actuator 12a to supplement the steering force, and steers the front wheels 3F.
  • the steering system 13 may be configured such that the front wheels and the rear wheels are steered independently or in association with each other.
  • the two front wheels 3F are steered substantially in parallel with each other in phase (the same phase, the same steering direction, and the same rotation direction), and the two rear wheels 3R are steered in parallel with each other in the same phase. Is done.
  • the drive wheels can be set in various ways.
  • the vehicle 1 (vehicle body 2) is provided with a plurality (four in this embodiment, as an example) of imaging units 16 (16a to 16d). It has been.
  • the imaging unit 16 is a digital camera that incorporates an imaging device such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 16 can output image data (moving image data, frame data) at a predetermined frame rate.
  • Each of the imaging units 16 has a wide-angle lens or a fish-eye lens, and can capture a range (viewing angle) of, for example, 140 ° to 190 ° in the horizontal direction.
  • the optical axis of the imaging unit 16 is set downward (for example, vertically or obliquely downward). Therefore, the imaging unit 16 outputs captured image data obtained by capturing an external environment around the vehicle body 2 including a road surface on which the vehicle 1 is movable.
  • the imaging unit 16a is positioned at the end 2c (the end in the plan view) on the front side (the front side in the vehicle front-rear direction) of the vehicle body 2, and is provided on a front bumper or the like.
  • the imaging unit 16b is positioned at the left end 2d (left side in the vehicle width direction) of the vehicle body 2, and is provided on the left door mirror 2g (projecting portion).
  • the imaging unit 16c is located at an end 2e on the rear side (rear side in the vehicle front-rear direction) of the vehicle body 2, and is provided on a wall portion below the door 2h of the rear trunk.
  • the imaging unit 16d is positioned on the right end (figure width direction) end 2f of the vehicle body 2 and is provided on the right door mirror 2g (projection). Note that this embodiment does not limit the in-vehicle method of the camera, and if the camera 1 is installed so that image data in the front direction, image data in the left and right side directions, and image data in the rear direction can be acquired with respect to the vehicle 1. Good.
  • the ECU 24 can perform arithmetic processing and image processing based on the captured image data obtained by the plurality of imaging units 16 and can display the image data subjected to the image processing on the display device 8.
  • FIG. 3 is a block diagram illustrating the configuration of the vehicle 1 according to the embodiment.
  • the vehicle 1 includes a steering system 13, a brake system 18, a steering angle sensor 19, an accelerator sensor 20, a shift sensor 21, a wheel speed sensor 22, an in-vehicle network 23, an ECU ( Electronic Control Unit) 24 is further provided.
  • the monitor device 11, the steering system 13, the imaging unit 16, the brake system 18, the rudder angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the ECU 24 function as a periphery monitoring system (a periphery monitoring device). .
  • the monitor device 11, the steering system 13, the brake system 18, the steering angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the ECU 24 are electrically connected via an in-vehicle network 23 that is an electric communication line.
  • the in-vehicle network 23 is configured as, for example, a CAN (Controller Area Network).
  • the vehicle 1 is provided with two acceleration sensors 26 (26a, 26b).
  • this embodiment does not restrict
  • FIG. in the present embodiment the longitudinal acceleration and the lateral acceleration are derived.
  • the steering system 13 is, for example, an electric power steering system or an SBW (Steer By Wire) system.
  • the steering system 13 includes an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by the ECU 24 or the like to operate the actuator 13a.
  • the torque sensor 13b transmits torque to the ECU 24.
  • the brake system 18 includes an actuator 18a and a brake sensor 18b.
  • the brake system 18 applies a braking force to the wheel 3 via the actuator 18a.
  • the brake sensor 18b transmits, for example, the position of a brake pedal as a movable part of the braking operation unit 6 to the ECU 24.
  • the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel.
  • the steering angle sensor 19 transmits steering angle information such as the steering amount of the steering unit 4 by the driver and the steering amount of each wheel 3 during automatic steering to the ECU 24.
  • the accelerator sensor 20 is a displacement sensor that detects the position of an accelerator pedal as a movable part of the acceleration operation unit 5, for example.
  • the accelerator sensor 20 transmits the position of the acceleration operation unit 5 to the ECU 24.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the shift operation unit 7 and transmits the position of the movable part of the shift operation unit 7 to the ECU 24 as shift information.
  • the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
  • the wheel speed sensor 22 transmits the wheel speed pulse number indicating the detected rotation speed to the ECU 24 as wheel speed information.
  • the ECU 24 detects the detection results of the torque sensor 13b, the brake sensor 18b, the rudder angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, the acceleration sensor 26, and the like, and the operation input unit 10 via the in-vehicle network 23.
  • instruction signals control signal, operation signal, input signal, data
  • the ECU 24 receives captured image data from the imaging unit 16.
  • the ECU 24 may receive captured image data from the imaging unit 16 via the in-vehicle network 23.
  • the ECU 24 is, for example, a computer.
  • the ECU 24 includes a CPU (Central Processing Unit) 24a, a ROM (Read Only Memory) 24b, a RAM (Random Access Memory) 24c, a display control unit 24d, a voice control unit 24e, an SSD (Solid State Drive) 24f, Is provided.
  • the CPU 24a, ROM 24b, and RAM 24c may be integrated in the same package.
  • the CPU 24a reads a program stored in a nonvolatile storage device such as the ROM 24b, and executes various arithmetic processes and controls according to the program.
  • the CPU 24a executes, for example, image processing related to an image to be displayed on the display device 8.
  • the ROM 24b stores each program and parameters necessary for executing the program.
  • the RAM 24c temporarily stores various types of data used in computations by the CPU 24a.
  • the display control unit 24d mainly performs processing of a captured image acquired from the imaging unit 16 and output to the CPU 24a among arithmetic processing in the ECU 24, data conversion of a display image acquired from the CPU 24a and displayed on the display device 8, and the like. Execute.
  • the voice control unit 24e mainly performs a voice process acquired from the CPU 24a and output to the voice output device 9 among the calculation processes in the ECU 24.
  • the SSD 24f is a rewritable nonvolatile storage unit, and maintains data acquired from the CPU 24a even when the power of the ECU 24 is turned off.
  • FIG. 4 is a block diagram showing a configuration of the periphery monitoring unit 400 realized in the ECU 24 according to the present embodiment.
  • the CPU 24a configured as the ECU 24 in FIG. 3 executes software stored in the ROM 24b (computer-readable recording medium), whereby the acquisition unit 401, the angle calculation unit 402, and the storage illustrated in FIG. A processing unit 403, a reception unit 405, a switching control unit 406, and a display processing unit 407 are realized.
  • the software may be provided via another computer-readable recording medium.
  • the periphery monitoring unit 400 implements a ring buffer 404 on the RAM 24c.
  • FIG. 5 is a diagram illustrating an imaging region by the imaging unit 16a of the vehicle 1 according to the present embodiment.
  • the imaging unit 16 a captures an image of a road surface in the traveling direction of the vehicle 1 and an area above the road surface (the direction opposite to the direction of gravity) and including at least the horizon.
  • the road surface 501 in the vicinity of the front wheel 3F of the vehicle 1 is not included in the imaging region 502 that the imaging unit 16a is currently imaging.
  • the periphery monitoring unit 400 can display captured image data captured in the past by the imaging unit 16a in accordance with a user's request.
  • the captured image data captured in the past means captured image data captured at a position behind the current position of the vehicle 1.
  • the periphery monitoring unit 400 presents captured image data obtained by imaging the imaging region 503 to the user as captured image data captured by the imaging unit 16a at a position behind the vehicle 1. Since the imaging area 503 includes the road surface 501, the user can check the road surface 501 near the front wheel 3 ⁇ / b> F. Thereby, since the user can drive after confirming the condition of the road surface 501, the burden of driving can be reduced. Next, returning to FIG. 4, the configuration of the periphery monitoring unit 400 will be described.
  • the acquisition unit 401 acquires various information from various sensors provided in the vehicle 1.
  • the acquisition unit 401 includes captured image data output from the imaging units 16a to 16d that are provided in the vehicle 1 and images the periphery of the vehicle 1, and acceleration sensors 26a and 26b that are provided in the vehicle 1. Acquire output acceleration data. Further, the acquisition unit 401 acquires the steering angle information from the steering angle sensor 19 and the wheel speed information from the wheel speed sensor 22.
  • the acquisition unit 401 associates captured image data, acceleration data, rudder angle information, and wheel speed information in which the imaged time and the time at which acceleration is detected substantially match.
  • the angle calculation unit 402 calculates the tilt angle (pitch angle and roll angle) of the vehicle 1 based on the acceleration data acquired by the acceleration sensors 26a and 26b.
  • the pitch angle is an angle indicating the inclination around the left and right axes of the vehicle 1
  • the roll angle is an angle indicating the inclination around the longitudinal axis of the vehicle 1.
  • the angle calculation unit 402 associates the roll angle and pitch angle calculated from the acceleration data with the captured image data associated with the acceleration data. Thereby, the roll angle and pitch angle of the vehicle 1 when the captured image data is captured can be recognized.
  • the storage processing unit 403 includes a correction unit 411, a position estimation unit 412, and a storage unit 413, and generates and stores captured image data to be displayed on the display device 8.
  • the correction unit 411 performs rotation correction on the captured image data that is captured by the imaging unit 16a and that captures the front (traveling direction) periphery of the vehicle 1.
  • the correction unit 411 uses the position coordinates in the display area of the captured image data corresponding to the center of the lens used for imaging by the imaging unit 16a as the origin, and the roll angle associated with the captured image data. Rotation correction corresponding to is performed.
  • the target of the rotation correction is not limited to the captured image data captured by the imaging unit 16a. For example, even if the captured image data captures the rear periphery of the vehicle 1 captured by the imaging unit 16c. good.
  • correction unit 411 performs correction for cutting out a region in which the bumper or the like of the vehicle 1 is captured with respect to the captured image data that is captured by the imaging unit 16a and that captures the front (traveling direction) periphery of the vehicle 1. .
  • the position estimation unit 412 calculates the amount of movement of the vehicle 1 from the previously imaged position based on the acceleration data, the steering angle information, and the wheel speed information, and estimates the current position of the vehicle 1.
  • the position estimation unit 412 may calculate the movement amount of the vehicle 1 by an optical flow using the captured image data and estimate the current position of the vehicle 1.
  • the vehicle is often off-road traveling. In off-road driving, it is conceivable that the wheels 3 are idle due to the influence of a rough road surface or the like.
  • the movement amount of the vehicle 1 is estimated based on the number of rotations of the wheels 3, there is a high possibility that an error will occur.
  • the movement amount and position of the vehicle 1 are estimated based on the optical flow, the estimation accuracy of the current position can be improved.
  • the storage unit 413 stores the captured image data corrected by the correction unit 411 in the ring buffer 404 together with the position information of the vehicle 1.
  • this embodiment does not limit the storage interval, for example, it is conceivable to store every 0.1 m.
  • the captured image data is stored in units of 0.1 m, but any storage interval may be used as long as animation display can be performed smoothly.
  • the ring buffer 404 stores the current captured image data output from the imaging unit 16a that captures an area including a road surface in the traveling direction of the vehicle in association with information at the time of imaging.
  • FIG. 6 is a diagram illustrating the structure of the ring buffer 404. As illustrated in FIG. 6, the ring buffer 404 stores the captured image data, the inclination (traveling direction) of the vehicle 1 when the captured image data is captured, and the position information of the vehicle 1 in association with each other.
  • the captured image data stored in the ring buffer 404 is not limited to the captured image data output from the imaging unit 16a, and is output from the imaging unit 16c when the vehicle 1 is traveling backward.
  • the captured image data may be stored in association with information at the time of imaging. Thereby, the display under the floor when the vehicle 1 travels backward can be realized.
  • the ring buffer 404 is a buffer logically arranged in a ring shape.
  • the captured image data or the like of the storage request is overwritten and stored in the oldest updated area.
  • the accepting unit 405 accepts an instruction signal (control signal) from the operation input unit 10 or the like.
  • the receiving unit 405 according to the present embodiment, based on these instruction signals, present captured image data captured by the image capturing unit 16a and past captured image data stored in the ring buffer 404 (in other words, an underfloor display of the vehicle 1). ), Which is to be displayed on the display device 8 is accepted.
  • the switching control unit 406 switches between the current image display mode (first display mode) and the past image display mode (second display mode).
  • the current image display mode (first display mode) is a mode in which captured image data including the road surface in the current traveling direction of the vehicle 1 that is currently imaged by the imaging unit 16 is displayed.
  • the past image display mode (second display mode)
  • captured image data including a road surface in the past traveling direction of the vehicle 1 captured by the imaging unit 16 in the past is used as captured image data representing the under floor of the vehicle 1.
  • the display processing unit 407 includes an image selection unit 421, a superimposition unit 422, and an output unit 423, and performs display processing on the display device 8 according to an operation received by the reception unit 405.
  • FIG. 7 is a diagram showing a screen example of the current image display mode in which the display processing unit 407 performs display processing.
  • the screen example of the current image display mode in addition to the captured image data 701 captured by the imaging unit 16 a, imaging around the front wheel 3 ⁇ / b> F on the right side of the vehicle 1 captured by the imaging unit 16 d.
  • Image data 702 and captured image data 703 around the left front wheel 3F of the vehicle 1 captured by the imaging unit 16b are shown. Further, in the display area 704, information capable of recognizing the pitch angle and roll angle of the vehicle 1 is displayed.
  • the pitch angle is indicated by the distance between the center line passing through the icon 711 and the horizontal line.
  • the roll angle and the pitch angle are recognizable in such a display mode, but the display mode is not limited to such a display mode, and other display modes may be used.
  • loci 751 and 752 indicating the traveling direction of the front wheel 3F according to the steering angle acquired from the steering angle sensor 19 are displayed. Thereby, the user can drive after confirming the traveling direction of the vehicle 1.
  • the switching control unit 406 performs control to display near the under floor of the vehicle 1, in other words, to switch to the past image display mode.
  • this embodiment does not limit the switching method, for example, when the reception unit 405 receives a press of a display switching button after the vehicle 1 stops, the switching control unit 406 displays the display processing unit. The screen displayed by 407 can be switched.
  • FIG. 8 is a diagram illustrating a screen example of the past image display mode in which the display processing unit 407 performs display processing.
  • the display area 704 displaying the roll angle and the pitch angle in a recognizable manner.
  • the captured image data 801 is captured image data captured in the past by the imaging unit 16 a of the vehicle 1.
  • the current position of the vehicle 1 on the captured image data 801 can be estimated from the movement amount of the vehicle 1 calculated after capturing the captured image data 801. Therefore, the display processing unit 407 displays identification information that can identify the current position of the vehicle 1.
  • identification information that can specify the current position of the vehicle 1
  • contours 812 and 813 that indicate the outer shape of the front wheel 3 ⁇ / b> F of the vehicle 1 are included. It is displayed.
  • the contour lines 812 and 813 showing the outer shape of the front wheel 3F are contour lines based on the current steering angle detected by the steering angle sensor 19. Accordingly, the user can recognize the current tire angle and position of the vehicle 1 by visually recognizing the contour lines 812 and 813.
  • the contour line 811 indicating the outer shape of the vehicle 1 and the contour lines 812 and 813 indicating the outer shape of the front wheel 3F are superimposed and displayed, so that the user can see the road surface and the vicinity of the front wheel 3F of the vehicle 1 Can recognize the road surface condition under the floor.
  • the periphery monitoring part 400 can provide the environment for performing a driving
  • this embodiment can reduce the driving burden and improve convenience when driving.
  • the information to be superimposed on the captured image data is not limited to identification information (for example, contour lines 811, 812, 813) that can specify a predetermined part of the vehicle 1.
  • the display processing unit 407 may display a trajectory in the traveling direction according to the current steering angle of the vehicle 1 with respect to the captured image data in response to a user request.
  • the image selection unit 421 selects captured image data to be displayed on the display device 8 from the ring buffer 404 when the reception unit 405 receives a switch to the past image display mode (displays the underfloor of the vehicle 1). .
  • the image selection unit 421 starts from the time when the captured image data currently captured by the imaging unit 16 is captured.
  • the picked-up image data picked up by the pick-up unit 16 is selected in order from the ring buffer 404 until the picked-up image data displayed in FIG.
  • the image selection unit 421 selects the oldest captured image data among the captured image data stored in the ring buffer 404 as captured image data to be displayed as the past image display mode (under the floor of the vehicle 1).
  • FIG. 9 is a diagram illustrating the transition of captured image data selected by the image selection unit 421.
  • the image selection unit 421 has a time t 7 to t 2 between the current time t 8 and the time t 1 when the captured image data displayed in the past image display mode is captured.
  • the picked-up image data picked up in step 1 is selected in order.
  • the image selection unit 421 selects the captured image data captured at time t 1 after selecting the captured image data captured at time t 7 to time t 2 so as to go back to the past from the present. .
  • the display apparatus 8 of this embodiment can implement
  • the superimposing unit 422 superimposes information indicating the current position of the vehicle on the captured image data.
  • the superimposing unit 422 of the present embodiment the position information of the vehicle 1 of the current time t 8, the position information associated with the captured image data selected in the image selection unit 421, based on the image selection unit Identification information that can identify the current position of the vehicle 1 with respect to the display area of the picked-up image data selected in 421 (an outline indicating the outline of the vehicle 1 and an outline indicating the outline of the front wheel 3F of the vehicle 1) Is superimposed.
  • the output unit 423 can sequentially output the captured image data on which the identification information indicating the current position of the vehicle is superimposed when performing animation display.
  • the output unit 423 when the display of the captured image data currently captured by the imaging unit 16, and displays the previous captured image data by the imaging unit 16 is previously captured, the time of photographing of the current captured image data t 8 from before shooting t 1 past captured image data, the imaging unit 16 (at time t 2 ⁇ t 7) is captured, and outputs the captured image data identification information is superimposed by the superimposing unit 422 in order.
  • FIG. 10 is a diagram showing the transition of the display area output to the display device 8 by the output unit 423.
  • captured image data currently captured by the imaging unit 16a is displayed. Trajectories 1051 and 1052 indicating the traveling direction are superimposed on the captured image data displayed in the display area 1001. In addition, the bumper 1053 is reflected in the captured image data.
  • the receiving unit 405 receives an operation for switching from the current image display mode to the past image display mode (second display mode). Accordingly, the switching control unit 406 switches from the current image display mode (first display mode) to the past image display mode (second display mode). In accordance with this, the output unit 423 outputs the display areas 1002 to 1005 in order (back to the past).
  • captured image data currently captured by the imaging unit 16a is displayed.
  • the trajectories 1051, 1052, the bumper 1053, and the like are removed as compared with the captured image data displayed in the display area 1001.
  • image data is represented by the imaging unit 16a is imaged in the past (for example, time t 7 and time t 6 shown in FIG. 9).
  • identification information 1061 indicating the current position of the vehicle 1 is superimposed.
  • the display area 1004 compared to the captured image data displayed in the display area 1003, captured image data that the imaging unit 16a has captured in the past (for example, from time t 5 to time t 2 shown in FIG. 9). expressed.
  • the captured image data displayed in the display area 1004 is superimposed with identification information 1071 indicating the current position of the vehicle 1. In this way, the identification information indicating the current position of the vehicle 1 is shifted so as to gradually move forward, so that the user can grasp what captured image data is displayed. .
  • captured image data captured by the imaging unit 16a in the past (for example, time t 1 shown in FIG. 9) is displayed as captured image data representing the under floor of the vehicle 1.
  • the captured image data is the oldest captured image data in the ring buffer 404.
  • the captured image data displayed in the display area 1005 is superimposed with identification information 1081 indicating the current position of the vehicle 1. Thereby, the situation under the floor of the vehicle 1 and the positional relationship with the vehicle 1 can be grasped.
  • FIG. 11 is a flowchart illustrating a procedure of the above-described processing in the periphery monitoring unit 400 according to the present embodiment.
  • the imaging unit 16 images the surrounding environment of the vehicle 1 (S1101).
  • the imaging unit 16 a captures an area including the road surface and the horizon in the traveling direction of the vehicle 1.
  • the acquisition unit 401 acquires captured image data from the imaging unit 16 and acceleration data from the acceleration sensor 26 (S1102).
  • the angle calculation unit 402 calculates the roll angle and pitch angle of the vehicle 1 from the acceleration data (S1103).
  • the correction unit 411 performs rotation correction on the captured image data according to the roll angle (S1104).
  • the correction unit 411 performs correction to remove the area where the bumper or the like is displayed on the captured image data (S1105).
  • the position estimation unit 412 calculates the amount of movement of the vehicle 1 based on the acceleration data, the steering angle information, and the wheel speed information, and estimates the current position of the vehicle 1 (S1106).
  • the storage unit 413 determines whether or not the distance has changed from a previously stored position by a predetermined distance (for example, 0.1 m) (S1107). If it is determined that the predetermined distance has not changed (S1107: No), the process ends.
  • a predetermined distance for example, 0.1 m
  • the storage method is not limited to such a storage method. You may perform preservation etc.
  • the storage unit 413 when it is determined that the storage unit 413 has changed by a predetermined distance (for example, 0.1 m) or more from the previously stored position (S1107: Yes), the storage unit 413 is updated to the oldest in the ring buffer 404. The current captured image data after correction is overwritten and saved in the area (S1108). At that time, the storage unit 413 stores the position information of the captured image data in association with each other.
  • a predetermined distance for example, 0.1 m
  • the storage unit 413 updates the position information at the time of capturing the captured image data stored in the ring buffer 404 to the position information with the current position as a reference (origin) (S1109). By this update, the position information can be continuously held without overflowing the ring buffer 404.
  • the periphery monitoring part 400 concerning this embodiment can provide the captured image data memorize
  • FIG. 12 is a flowchart illustrating a procedure of the above-described processing in the periphery monitoring unit 400 according to the present embodiment.
  • the display processing unit 407 displays a screen of the current image display mode (S1202).
  • the switching control unit 406 switches from the current image display mode to the past image display mode.
  • the display processing unit 407 displays a screen in the past image display mode (S1203).
  • FIG. 13 is a flowchart illustrating a procedure of the above-described process in the periphery monitoring unit 400 according to the present embodiment.
  • the image selection unit 421 selects the captured image data stored in the ring buffer 404 immediately before the captured image data that is currently displayed (assuming that the image was captured in the past one time before). S1301).
  • the superimposing unit 422 superimposes information (contour line) indicating the current vehicle position on the selected captured image data (S1302).
  • the output unit 423 outputs the captured image data on which the information (contour line) indicating the current vehicle position is superimposed to the display device 8 (S1303).
  • the image selection unit 421 determines whether the oldest captured image data among the captured image data stored in the ring buffer 404 has been output (S1304). If it is determined that the oldest captured image data has not been output (S1304: No), the processing is again performed from S1301.
  • the image selection unit 421 determines that the oldest captured image data has been output (S1304: Yes), the captured image data in the past image display mode is displayed, and the process ends.
  • the periphery monitoring unit 400 of the present embodiment displays the captured image data stored in the ring buffer 404 in order so as to go back to the past by the above-described control, so that the past image is displayed to the user. It can be recognized that the display mode is switched.
  • the timing for switching the display is not limited.
  • captured image data captured in the past may always be displayed while the vehicle is moving, or may be switched to display of captured image data captured in the past on condition that the vehicle 1 has stopped.
  • the case of switching from the current image display mode to the past image display mode has been described. However, it is only necessary to switch between the current image display mode and the past image display mode.
  • the display control described above may also be performed when switching from the image display mode to the current image display mode.
  • the present invention is not limited to the example in which the captured image data stored in the ring buffer 404 is output to the display device 8 in order.
  • the captured image data displayed in the current image display mode and the past image display mode are displayed. What is necessary is just to display the information which showed the transition in the meantime on the display apparatus 8 in order, when switching with the past captured image data. Therefore, in the second embodiment, information representing the transition of movement of the vehicle 1 from the time when the past captured image data is captured to the time when the current captured image data is captured with respect to the past captured image data.
  • An example of outputting in order will be described.
  • the configuration of the periphery monitoring unit is the same as that of the first embodiment, and a description thereof is omitted.
  • FIG. 14 is a diagram showing the transition of the display area output to the display device 8 by the output unit 423.
  • captured image data currently captured by the imaging unit 16a is displayed. Trajectories 1451 and 1452 indicating the traveling direction are superimposed on the captured image data displayed in the display area 1401. In addition, the bumper 1053 is reflected in the captured image data.
  • the reception unit 405 receives an operation for switching from the current image display mode (first display mode) to the past image display mode (second display mode). Accordingly, the switching control unit 406 switches from the current image display mode (first display mode) to the past image display mode (second display mode). Accordingly, the output unit 423 outputs the display areas 1402 to 1405 in order.
  • the oldest captured image data among the captured image data stored in the ring buffer 404 is displayed in the display area 1402.
  • the imaging unit 16a is past (e.g., time t 2 and time t 3 when shown in FIG. 9) associated with the captured image data that is captured
  • the identification information 1461 indicating the position of the vehicle 1 based on the position information is superimposed and displayed.
  • the display area 1404 with respect to the oldest image data, (taken at time t 4 ⁇ time t 7 shown in example FIG. 9) newer than the captured image data display area 1403 is displayed captured image data
  • the identification information 1471 indicating the position of the vehicle 1 based on the position information associated with is superimposed and displayed. Thereby, animation display is made so that the vehicle 1 advances to the current position.
  • the display area 1405 shows the position of the vehicle 1 based on the position information associated with the current captured image data (for example, captured at time t 8 shown in FIG. 9) with respect to the oldest captured image data. Identification information 1481 is superimposed.
  • the output unit 423 displays the captured image data captured in the past by the imaging unit 16 from the display of the captured image data currently captured by the imaging unit 16, the past imaging is performed.
  • information representing the transition of movement of the vehicle 1 is output in order from when the previous captured image data is captured until when the current captured image data is captured.
  • FIG. 15 is a flowchart illustrating a procedure of the above-described processing in the periphery monitoring unit 400 according to the present embodiment.
  • the image selection unit 421 selects the oldest captured image data among the captured image data stored in the ring buffer 404 (S1501).
  • the image selection unit 421 sets position information corresponding to the selected oldest captured image data as an initial value (S1502).
  • the superimposing unit 422 superimposes identification information indicating the position of the vehicle 1 corresponding to the set position information on the oldest captured image data (S1503).
  • the position information is an initial value
  • the identification information indicating the position of the vehicle 1 is not superimposed.
  • the output unit 423 outputs the captured image data on which the identification information indicating the position of the vehicle 1 is superimposed to the display device 8 (S1504).
  • the image selection unit 421 determines whether the set position information is position information corresponding to the current captured image data (S1505). If the image selection unit 421 determines that the position information does not correspond to the current captured image data (S1505: No), the position information that is newer than the set position information in the ring buffer 404 is superimposed on S1503. It is set as a parameter to be used (S1506), and the processing is performed from S1503.
  • the process ends.
  • the periphery monitoring unit 400 sequentially displays the transition of the movement of the vehicle 1 based on the position information stored in the ring buffer 404 by the above-described control, so that the past image is displayed to the user. It can be recognized that the display mode is switched.
  • the captured image data stored in the ring buffer 404 is displayed in the past image display mode after the storage processing unit 403 stores the captured image data captured in the past in the ring buffer 404.
  • An example was described.
  • image data obtained by combining image data captured in the past may be displayed as image data representing the under floor of the vehicle 1.
  • the storage processing unit 403 performs rotation correction on the image data captured by the imaging unit 16a in the same manner as in the above-described embodiment, and then the ground in the traveling direction of the vehicle 1 based on the captured image data. And bird's-eye view image data obtained by overlooking the ground around the vehicle 1 from above.
  • the position estimation unit 412 estimates the amount of movement between the position of the vehicle 1 that has performed the current shooting and the position of the vehicle 1 that has performed the previous shooting.
  • the storage processing unit 403 synthesizes the bird's eye view image data generated this time with the bird's eye view image data synthesized so far based on the movement amount.
  • the superimposing unit 422 adds the bird's-eye view image data to Information indicating the current position of the vehicle 1 is superimposed. Then, the display processing unit 407 switches from the current captured image data to the synthesized bird's-eye view image data. At that time, image conversion processing that is referred to from a predetermined viewpoint (for example, an imaging position by the imaging unit 16) may be performed on the bird's eye view image data. Then, the display processing unit 407 performs scroll display (animation display) from the display of the newly synthesized region in the bird's eye view image data to the display of the oldest synthesized region.
  • a predetermined viewpoint for example, an imaging position by the imaging unit 16
  • the past captured image data is changed.
  • the user can recognize that the mode has changed. It becomes easy.
  • the captured image data of the past is captured and the current captured image data is captured, information indicating the transition between the captured image data and the current captured image data is sequentially output to the display device, thereby being displayed on the display device.
  • the positional relationship between the areas can be easily grasped.
  • by performing under-floor display of the vehicle it is possible to easily grasp the under-floor state of the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

実施形態の周辺監視装置は、車両に搭載された撮像部により撮像された撮像画像データを記憶する記憶部と、記憶部に記憶された撮像画像データを表示する際に、撮像部により現在撮像された現在撮像画像データを表示する第１の表示モードと、撮像部により過去に撮像された過去撮像画像データを表示する第２の表示モードと、を切り替える切替制御部と、第１の表示モードに基づいた、撮像部により現在撮像された現在撮像画像データと、第２の表示モードに基づいた、撮像部により過去に撮像された過去撮像画像データと、の表示を切り替える場合に、過去撮像画像データを撮像した時と、現在撮像画像データを撮像した時と、の間の遷移を表す情報を表示装置に出力する出力部と、を備える。

Description

周辺監視装置
　本発明の実施形態は、周辺監視装置に関する。
　従来、車両の駐車を支援する技術として、車両に設置されたカメラで、車両の周辺環境を撮像し、撮像結果である撮像画像データを表示することで、ユーザに対して運転を支援する技術が提案されている。
特開２０１６－０２１６５３号公報
　しかしながら、従来技術においては、車両に設置されたカメラで撮像された撮像画像データを表示する表示方法には改善の余地がある。例えば、撮像画像データを切り替える際に、ユーザに状況を把握しやすい表示態様の提供が望まれている。
　実施形態の周辺監視装置は、車両に搭載された撮像部により撮像された撮像画像データを記憶する記憶部と、記憶部に記憶された撮像画像データを表示する際に、撮像部により現在撮像された現在撮像画像データを表示する第１の表示モードと、撮像部により過去に撮像された過去撮像画像データを表示する第２の表示モードと、を切り替える切替制御部と、第１の表示モードに基づいた、撮像部により現在撮像された現在撮像画像データと、第２の表示モードに基づいた、撮像部により過去に撮像された過去撮像画像データと、の表示を切り替える場合に、過去撮像画像データを撮像した時と、現在撮像画像データを撮像した時と、の間の遷移を表す情報を表示装置に出力する出力部と、を備える。当該構成によれば、例えば、遷移を表した情報を表示することで、位置関係の把握を容易にすることができる。
　また、実施形態の周辺監視装置は、例えば、出力部は、撮像部により現在撮像された現在撮像画像データの表示から、撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、現在撮像画像データの撮影時から、過去撮像画像データの撮影時まで、撮像部により撮像された撮像画像データを出力する。当該構成によれば、例えば、撮像画像データを表示することで、位置関係の把握を容易にすることができる。
　また、実施形態の周辺監視装置は、例えば、出力部は、撮像部により撮像された撮像画像データを表示する場合に、現在の車両の位置を示した情報を、撮像画像データに重畳して出力する。当該構成によれば、例えば、現在の車両の位置を示した情報を重畳することで、位置関係を容易に把握することができる。
　また、実施形態の周辺監視装置は、例えば、出力部は、撮像部により現在撮像された現在撮像画像データの表示から、撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、過去撮像画像データに対して、過去撮像画像データを撮像した時から、現在撮像画像データを撮像した時まで、車両の移動の遷移を表した情報を出力する。当該構成によれば、例えば、車両の移動の遷移を表した情報を出力することで、位置関係を容易に把握することができる。
　また、実施形態の周辺監視装置は、例えば、記憶部は、車両の進行方向の路面を含む領域を撮像する撮像部から出力された撮像画像データを記憶し、切替制御部は、撮像部により現在撮像された、車両の現在の進行方向の路面を含む現在撮像画像データを表示する第１の表示モードと、車両の過去の進行方向の路面を含む過去撮像画像データを、車両の床下を表した撮像画像データとして表示する第２の表示モードと、を切り替える。当該構成によれば、例えば、現在の車両の床下の状況を容易に把握することができる。
図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図４は、第１の実施形態にかかるＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図５は、第１の実施形態にかかる車両の撮像部による撮像領域を示した図である。 図６は、第１の実施形態にかかるリングバッファの構造を示した図である。 図７は、第１の実施形態にかかる表示処理部により表示処理される現在画像表示モードの画面例を示した図である。 図８は、第１の実施形態にかかる表示処理部により表示処理される過去画像表示モードの画面例を示した図である。 図９は、第１の実施形態にかかる画像選択部が選択する撮像画像データの遷移を説明した図である。 図１０は、第１の実施形態にかかる出力部により表示装置に出力される、表示領域の遷移を示した図である。 図１１は、第１の実施形態にかかる周辺監視部における、撮像画像データの保存処理の手順を示すフローチャートである。 図１２は、第１の実施形態にかかる周辺監視部における表示処理の手順を示すフローチャートである。 図１３は、第１の実施形態にかかる周辺監視部における過去画像表示モードの画面の表示処理の手順を示すフローチャートである。 図１４は、第２の実施形態の出力部により表示装置に出力される、表示領域の遷移を示した図である。 図１５は、第２の実施形態にかかる周辺監視部における過去画像表示モードの画面の表示処理の手順を示すフローチャートである。
　以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。
（第１の実施形態）
　図１は、第１の実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、及び、個数、レイアウト等は、種々に設定することができる。
　図１に示されるように、第１の実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
　また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。
　また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。操舵システム１３は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。なお、別の実施例において、操舵システム１３は、前輪と後輪が独立または関連して操舵されるように構成してもよい。そして、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
　また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ～１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～１９０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影した撮像画像データを出力する。
　本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両１に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。
　ＥＣＵ２４は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた画像データを表示装置８に表示できる。
　図３は、実施形態の車両１の構成を説明するブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic　Control　Unit）２４とを更に備える。モニタ装置１１、操舵システム１３、撮像部１６、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、及び、ＥＣＵ２４は、周辺監視システム（周辺監視装置）として機能する。
　モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、及び、ＥＣＵ２４が、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller　Area　Network）として構成されている。
　本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
　操舵システム１３は、例えば、電動パワーステアリングシステム、または、ＳＢＷ（Steer　By　Wire）システム等である。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ２４等によって電気的に制御されて、アクチュエータ１３ａを動作させる。トルクセンサ１３ｂは、トルクをＥＣＵ２４へ送信する。
　ブレーキシステム１８は、アクチュエータ１８ａと、ブレーキセンサ１８ｂとを有する。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３に制動力を与える。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部としてのブレーキペダルの位置をＥＣＵ２４へ送信する。
　舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、運転者による操舵部４の操舵量、及び、自動操舵時の各車輪３の操舵量等の舵角情報をＥＣＵ２４へ送信する。
　アクセルセンサ２０は、例えば、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサである。アクセルセンサ２０は、加速操作部５の位置をＥＣＵ２４へ送信する。
　シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサであり、変速操作部７の可動部の位置をシフト情報としてＥＣＵ２４へ送信する。
　車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数を車輪速情報としてＥＣＵ２４へ送信する。
　ＥＣＵ２４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
　ＥＣＵ２４は、撮像部１６から撮像画像データを受信する。なお、ＥＣＵ２４は、車内ネットワーク２３を介して、撮像部１６から撮像画像データを受信してもよい。ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、ＣＰＵ（Central　Processing　Unit）２４ａと、ＲＯＭ（Read　Only　Memory）２４ｂと、ＲＡＭ（Random　Access　Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid　State　Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。
　ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ２４ａは、例えば、表示装置８に表示させる画像に関連した画像処理等を実行する。
　ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１６から取得してＣＰＵ２４ａへ出力する撮像画像の処理、ＣＰＵ２４ａから取得して表示装置８に表示させる表示用画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、ＣＰＵ２４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもＣＰＵ２４ａから取得したデータを維持する。
　図４は、本実施形態にかかるＥＣＵ２４内に実現される周辺監視部４００の構成を示すブロック図である。図３のＥＣＵ２４として構成されたＣＰＵ２４ａが、ＲＯＭ２４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、切替制御部４０６と、表示処理部４０７と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。また、周辺監視部４００は、ＲＡＭ２４ｃ上にリングバッファ４０４を実現する。
　図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した図である。図５に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、車両１の前輪３Ｆ付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２に含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めることも、車両１のバンパーの配置等の影響で（車両１の構造的に）難しい。
　このため、ユーザは、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物等が存在するか否かを確認するのが難しい。そこで、本実施形態にかかる周辺監視部４００は、ユーザの要望に応じて、撮像部１６ａが過去に撮像した撮像画像データを表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味する。
　例えば、周辺監視部４００が、車両１の後方の位置で撮像部１６ａが撮像した撮像画像データとして、撮像領域５０３を撮像した撮像画像データを、ユーザに提示することが考えられる。撮像領域５０３には、路面５０１が含まれているため、ユーザは前輪３Ｆ付近の路面５０１を確認することができる。これにより、ユーザは路面５０１の状況を確認した上で運転できるため、運転の負担を軽減できる。次に、図４に戻り、周辺監視部４００の構成について説明する。
　取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ～１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。さらに取得部４０１は、舵角センサ１９から舵角情報や、車輪速センサ２２から車輪速情報を取得する。
　また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと、加速度データと、舵角情報と、車輪速情報と、を対応付けておく。
　角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。
　また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
　保存処理部４０３は、補正部４１１と、位置推定部４１２と、保存部４１３と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。
　補正部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対する回転補正を行う。
　本実施形態にかかる補正部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
　また、補正部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、車両１のバンパー等が写っている領域を、切り取る補正を行う。
　位置推定部４１２は、加速度データ、舵角情報、及び車輪速情報に基づいて、車両１の前回撮像した位置からの移動量を算出し、現在の車両１の位置を推定する。
　また、位置推定部４１２は、撮像画像データを用いたオプティカルフローで車両１の移動量を算出し、車両１の現在の位置を推定しても良い。車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。この様な場合に、オプティカルフローに基づいて車両１の移動量、及び位置の推定を行うと、現在位置の推定精度を向上させることができる。
　保存部４１３は、補正部４１１で補正された後の撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、保存する間隔を制限するものではないが、例えば、０．１ｍ毎に保存する等が考えられる。本実施形態では、車両１の床下を表示する際に、過去の撮像画像データを表示する。本実施形態は、当該過去の撮像画像データに表示を切り替える際、現在の撮像画像データから当該過去の撮像画像データを表示するまでの間に撮影された撮像画像データを順番に表示する、アニメーション表示を行うこととした。これにより、現在の撮像画像データから、車両１が進んできた進路を遡るような動きの映像が表示される。これにより、ユーザに、表示装置８に表示している領域を把握させることができる。なお、本実施形態は、０．１ｍ単位で撮像画像データを保存するが、アニメーション表示をスムーズに行うことが可能な保存間隔であれば良い。
　リングバッファ４０４は、車両の進行方向の路面を含む領域を撮像する撮像部１６ａから出力された現在の撮像画像データを、撮像時の情報と対応付けて保存する。図６は、リングバッファ４０４の構造を示した図である。図６に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて記憶する。また、リングバッファ４０４が保存する撮像画像データは、撮像部１６ａから出力された撮像画像データに制限するものではなく、車両１が後方に進行している場合には、撮像部１６ｃから出力された撮像画像データを、撮像時の情報と対応付けて保存してもよい。これにより、車両１が後方に進む場合の床下の表示を実現できる。
　図６に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１３の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。
　受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。本実施形態にかかる受付部４０５は、これら指示信号から、撮像部１６ａが撮像した現在の撮像画像データ、及びリングバッファ４０４に記憶されている過去の撮像画像データ（換言すれば車両１の床下表示）のうち、どちらを表示装置８に表示するかの切り替え操作を受け付ける。
　切替制御部４０６は、リングバッファ４０４に記憶された撮像画像データを表示する際に、現在画像表示モード（第１の表示モード）と、過去画像表示モード（第２の表示モード）と、を切り替える。現在画像表示モード（第１の表示モード）は、撮像部１６により現在撮像された、車両１の現在の進行方向の路面を含む撮像画像データを表示するモードとする。過去画像表示モード（第２の表示モード）は、撮像部１６により過去に撮像された、車両１の過去の進行方向の路面を含む撮像画像データを、車両１の床下を表した撮像画像データとして表示するモードとする。
　表示処理部４０７は、画像選択部４２１と、重畳部４２２と、出力部４２３と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。
　図７は、表示処理部４０７により表示処理される現在画像表示モードの画面例を示した図である。図７に示す様に、現在画像表示モードの画面例では、撮像部１６ａが撮像している撮像画像データ７０１の他に、撮像部１６ｄにより撮像された、車両１の右側の前輪３Ｆ周辺の撮像画像データ７０２と、撮像部１６ｂにより撮像された、車両１の左側の前輪３Ｆ周辺の撮像画像データ７０３と、が映っている。さらには、表示領域７０４には、車両１のピッチ角及びロール角が認識可能な情報が表示されている。つまり、車両１を示したアイコン７１１の傾きでロール角を示す一方、当該アイコン７１１を通る中心線と、水平線との間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
　また、撮像画像データ７０１には、舵角センサ１９から取得した操舵角に応じた前輪３Ｆの進行方向を示した軌跡７５１、７５２が表示される。これにより、ユーザは、車両１の進行方向を確認した上で運転することが可能となる。
　しかしながら、図７に示す画面例では、車両１の床下付近の状況を確認するのは難しい。そこで、本実施形態にかかる周辺監視部４００では、切替制御部４０６が、車両１の床下付近の表示、換言すれば過去画像表示モードに切り替える制御を行う。本実施形態は、切り替え手法を制限するものではないが、例えば車両１が停止してから、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、切替制御部４０６が、表示処理部４０７により表示される画面を切り替える等が考えられる。
　図８は、表示処理部４０７により表示処理される過去画像表示モードの画面例を示した図である。図８に示す例では、右側の前輪３Ｆ周辺の撮像画像データ７０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ７０３と、ロール角及びピッチ角を認識可能に表示している表示領域７０４と、は、現在の車両１の状況を表しているため、図７と同様とする。
　撮像画像データ８０１は、車両１の撮像部１６ａにより過去に撮像された撮像画像データとする。撮像画像データ８０１を撮像してから算出された車両１の移動量により、撮像画像データ８０１上の現在の車両１の位置を推定できる。そこで、表示処理部４０７は、車両１の現在の位置を特定可能な識別情報を表示する。図８に示す例では、車両１の現在の位置を特定可能な識別情報の一例として車両１の外形を示す輪郭線８１１と、車両１の前輪３Ｆの外形を示す輪郭線８１２、８１３と、が表示されている。
　前輪３Ｆの外形を示す輪郭線８１２、８１３が、舵角センサ１９により検出された現在の操舵角に基づいた輪郭線とする。これにより、ユーザは、輪郭線８１２、８１３を視認することで、車両１の現在のタイヤ角と位置を認識できる。撮像画像データ８０１では、車両１の外形を示す輪郭線８１１と、前輪３Ｆの外形を示す輪郭線８１２、８１３と、が重畳表示されているため、ユーザは、路面と、車両１の前輪３Ｆ付近を含む床下の路面状況を認識できる。これにより、周辺監視部４００は、ユーザに対して、前輪３Ｆ付近の障害物を避ける等の運転を行うための環境を提供できる。このように、本実施形態は、運転負担の軽減、及び運転する際の利便性を向上させることができる。
　また撮像画像データに重畳する情報は、車両１の所定部位を特定可能な識別情報（例えば、輪郭線８１１、８１２、８１３）に制限するものではない。本実施形態にかかる表示処理部４０７は、ユーザの要求に応じて、撮像画像データに対して、車両１の現在の操舵角による進行方向の軌跡等を表示しても良い。
　図４に戻り、次に表示処理部４０７の構成について説明する。画像選択部４２１は、受付部４０５により、（車両１の床下を表示する）過去画像表示モードへの切り替えを受け付けた場合に、表示装置８に表示する撮像画像データを、リングバッファ４０４から選択する。
　本実施形態の画像選択部４２１は、切替制御部４０６により現在画像表示モードから、過去画像表示モードに切り替える際に、撮像部１６により現在撮像された撮像画像データの撮影時から、過去画像表示モードで表示される撮像画像データの撮影時までに、撮像部１６により撮像された撮像画像データを、リングバッファ４０４から順番に選択する。
　その後、画像選択部４２１は、リングバッファ４０４に記憶されている撮像画像データのうち、最も古い撮像画像データを、過去画像表示モードとして（車両１の床下を）表示する撮像画像データとして選択する。
　図９は、画像選択部４２１が選択する撮像画像データの遷移を説明した図である。図９に示されるように、画像選択部４２１は、現在の時刻ｔ8から、過去画像表示モードで表示される撮像画像データが撮像された時刻ｔ1までの間の、時刻ｔ7～t2で撮像された撮像画像データを、順番に選択していく。このように、画像選択部４２１が、時刻ｔ7～時刻ｔ2で撮像された撮像画像データを、現在から過去に遡るように選択した後に、時刻ｔ1で撮像された撮像画像データを選択する。これにより、本実施形態の表示装置８は、車両１の床下を表示するまでのアニメーション表示を実現できる。
　重畳部４２２は、撮像画像データに、現在の車両の位置を示した情報を重畳する。本実施形態の重畳部４２２は、現在の時刻ｔ8の車両１の位置情報と、画像選択部４２１に選択された撮像画像データと対応付けられている位置情報と、に基づいて、画像選択部４２１に選択された撮像画像データの表示領域に対して、車両１の現在の位置を特定可能な識別情報（車両１の外形を示す輪郭線と、車両１の前輪３Ｆの外形を示す輪郭線）を重畳する。これにより、出力部４２３は、アニメーション表示を行う際に、現在の車両の位置を示した識別情報が重畳された撮像画像データを順番に出力できる。
　出力部４２３は、撮像部１６により現在撮像された撮像画像データの表示から、撮像部１６により過去撮像された過去の撮像画像データの表示を行う場合に、現在の撮像画像データの撮影時ｔ8から、過去の撮像画像データの撮影時ｔ1までに、撮像部１６により（時刻ｔ2～ｔ7で）撮像され、重畳部４２２で識別情報が重畳された撮像画像データを順番に出力する。
　図１０は、出力部４２３により表示装置８に出力される、表示領域の遷移を示した図である。
　図１０の表示領域１００１には、撮像部１６ａが現在撮像している撮像画像データが表される。表示領域１００１に表示される撮像画像データには、進行方向を示した軌跡１０５１、１０５２が重畳されている。また、撮像画像データには、バンパー１０５３が映り込んでいる。
　そして、受付部４０５が、現在画像表示モードから、過去画像表示モード（第２の表示モード）に切り替える操作を受け付ける。これに従って、切替制御部４０６は、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える。これに従って、出力部４２３は、表示領域１００２～１００５を順番に、（過去に遡るように）出力する。
　次に、表示領域１００２には、撮像部１６ａが現在撮像している撮像画像データが表される。表示領域１００２に表示される撮像画像データは、表示領域１００１に表示される撮像画像データと比べて、軌跡１０５１、１０５２や、バンパー１０５３等が取り除かれている。
　次に、表示領域１００３には、撮像部１６ａが過去（例えば図９に示す時刻ｔ7や時刻ｔ6）に撮像している撮像画像データが表される。表示領域１００３に表示される撮像画像データは、現在の車両１の位置を示した識別情報１０６１が重畳されている。
　次に、表示領域１００４には、表示領域１００３が表示した撮像画像データと比べて、撮像部１６ａが過去（例えば図９に示す時刻ｔ5～時刻ｔ2）に撮像している撮像画像データが表される。表示領域１００４に表示される撮像画像データも同様に、現在の車両１の位置を示した識別情報１０７１が重畳されている。このように現在の車両１の位置を示した識別情報が徐々に前方に進むように遷移していくことで、どのような撮像画像データが表示されているのかを、ユーザに把握させることができる。
　表示領域１００５には、過去画像表示モードとして、撮像部１６ａが過去（例えば図９に示す時刻ｔ1）に撮像している撮像画像データが、車両１の床下を表した撮像画像データとして表される。当該撮像画像データは、リングバッファ４０４において最も古い撮像画像データとする。表示領域１００５に表示される撮像画像データも同様に、現在の車両１の位置を示した識別情報１０８１が重畳されている。これにより、車両１の床下の状況と、車両１との位置関係を把握できる。
　次に、本実施形態にかかる周辺監視部４００における、撮像画像データの保存処理について説明する。図１１は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、撮像部１６が、車両１の周辺環境を撮像する（Ｓ１１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面と地平線とを含む領域を撮像する。
　次に、取得部４０１が、撮像部１６から撮像画像データを、加速度センサ２６から加速度データを取得する（Ｓ１１０２）。
　そして、角度算出部４０２が、加速度データから、車両１のロール角及びピッチ角を算出する（Ｓ１１０３）。
　そして、補正部４１１が、撮像画像データに対して、ロール角に応じた回転補正を行う（Ｓ１１０４）。
　次に、補正部４１１が、撮像画像データに対して、バンパー等が表示されている領域を取り除く補正を行う（Ｓ１１０５）。
　次に、位置推定部４１２が、加速度データ、舵角情報、及び車輪速情報に基づいて、車両１の移動量を算出すると共に、車両１の現在位置を推定する（Ｓ１１０６）。
　そして、保存部４１３は、前回保存した位置から、所定の距離（例えば、０．１ｍ）以上変化したか否かを判定する（Ｓ１１０７）。所定の距離を変化していないと判定した場合（Ｓ１１０７：Ｎｏ）、処理を終了する。なお、本実施形態では、所定の距離以上変化した場合に保存を行う例について説明するが、このような保存手法に制限するものではなく、所定の舵角以上変化した場合や、所定時間毎に保存等をおこなっても良い。
　一方、保存部４１３が、前回保存した位置から、所定の距離（例えば、０．１ｍ）以上変化したと判定した場合（Ｓ１１０７：Ｙｅｓ）、保存部４１３が、リングバッファ４０４の最も古くに更新された領域に対して、補正した後の現在の撮像画像データを、上書き保存する（Ｓ１１０８）。その際に、保存部４１３は、当該撮像画像データの位置情報を対応付けて保存する。
　次に、保存部４１３は、リングバッファ４０４に記憶されている撮像画像データの撮像時の位置情報を、現在の位置を基準（原点）とした位置情報に更新する（Ｓ１１０９）。当該更新により、リングバッファ４０４をオーバーフローすることなく、継続して位置情報を保持することができる。
　そして、本実施形態にかかる周辺監視部４００は、リングバッファ４０４に記憶された撮像画像データを、床下表示の際の画像データとして提供できる。
　次に、本実施形態にかかる周辺監視部４００における、表示処理について説明する。図１２は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、受付部４０５が、床下表示（過去画像表示モードの表示）の操作を受け付けたか否かを判定する（Ｓ１２０１）。受付部４０５が、床下表示（過去画像表示モードの表示）の操作を受け付けていないと判定した場合（Ｓ１２０１：Ｎｏ）、表示処理部４０７は、現在画像表示モードの画面を表示する（Ｓ１２０２）。
　一方、受付部４０５が、床下表示（過去画像表示モードの表示）の操作を受け付けたと判定した場合（Ｓ１２０１：Ｙｅｓ）、切替制御部４０６が、現在画像表示モードから、過去画像表示モードに切り替えて、表示処理部４０７は、過去画像表示モードの画面を表示する（Ｓ１２０３）。
　次に、図１２のＳ１２０３における、過去画像表示モードの画面表示について説明する。図１３は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、画像選択部４２１が、現在表示されている撮像画像データより、一つ前に（一回前の過去に撮影されたものとして）リングバッファ４０４に格納されている撮像画像データを選択する（Ｓ１３０１）。
　重畳部４２２は、選択された撮像画像データに対して、現在の車両の位置を示した情報（輪郭線）を重畳する（Ｓ１３０２）。
　出力部４２３は、現在の車両の位置を示した情報（輪郭線）が重畳された撮像画像データを、表示装置８に出力する（Ｓ１３０３）。
　画像選択部４２１は、リングバッファ４０４に格納された撮像画像データのうち、最も古い撮像画像データが出力されたか否か判定する（Ｓ１３０４）。最も古い撮像画像データが出力されていないと判定した場合（Ｓ１３０４：Ｎｏ）、再びＳ１３０１から処理を行う。
　一方、画像選択部４２１は、最も古い撮像画像データが出力されたと判定した場合（Ｓ１３０４：Ｙｅｓ）、過去画像表示モードの撮像画像データが表示されたものとして、処理を終了する。
　本実施形態の周辺監視部４００は、上述した制御により、リングバッファ４０４に格納されている撮像画像データを、過去に遡るように順番に表示を行っていることで、ユーザに対して、過去画像表示モードに切り替わることを認識させることができる。
　本実施形態では、表示切り替えのボタンの押下により、表示を切り替える例について説明した。しかしながら、表示を切り替えるタイミングを制限するものではない。例えば、車両の移動中に常に、過去に撮像した撮像画像データを表示しても良いし、車両１が停止したことを条件に過去に撮像した撮像画像データの表示に切り替えても良い。
　さらには、本実施形態では、現在画像表示モードから、過去画像表示モードに切り替える場合について説明したが、現在画像表示モードと、過去画像表示モードと、の間の切り替えであればよく、例えば、過去画像表示モードから、現在画像表示モードに切り替える場合についても上述した表示制御を行っても良い。
（第２の実施形態）
　第１の実施形態では、リングバッファ４０４に格納された撮像画像データを表示装置８に順番に出力する例について説明した。しかしながら、リングバッファ４０４に格納された撮像画像データを表示装置８に順番に出力する例に制限するものではなく、現在画像表示モードで表示される撮像画像データと、過去画像表示モードで表示される過去の撮像画像データと、を切り替える際に、この間の遷移を示した情報を表示装置８に順番に表示すれば良い。そこで、第２の実施形態では、過去の撮像画像データに対して、過去撮像画像データを撮像した時から、現在の撮像画像データを撮像した時まで、車両１の移動の遷移を表した情報を順番に出力する例について説明する。なお、周辺監視部の構成は第１の実施形態と同様として説明を省略する。
　図１４は、出力部４２３により表示装置８に出力される、表示領域の遷移を示した図である。
　図１４の表示領域１４０１には、撮像部１６ａが現在撮像している撮像画像データが表される。表示領域１４０１に表示される撮像画像データには、進行方向を示した軌跡１４５１、１４５２が重畳されている。また、撮像画像データには、バンパー１０５３が映り込んでいる。
　そして、受付部４０５が、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える操作を受け付ける。これに従って、切替制御部４０６は、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える。これに従って、出力部４２３は、表示領域１４０２～１４０５の順番に出力する。
　次に、表示領域１４０２には、リングバッファ４０４に格納されている撮像画像データのうち最も古い撮像画像データが表示される。
　次に、表示領域１４０３には、最も古い撮像画像データに対して、撮像部１６ａが過去（例えば、図９に示す時刻ｔ2や時刻ｔ3）に撮像している撮像画像データと対応付けられた位置情報による、車両１の位置を示した識別情報１４６１が重畳され、表示される。
　次に、表示領域１４０４には、最も古い撮像画像データに対して、表示領域１４０３が表示した撮像画像データより新しい（例えば図９に示す時刻ｔ4～時刻ｔ7で撮影された）撮像画像データと対応付けられた位置情報による、車両１の位置を示した識別情報１４７１が重畳され、表示される。これにより、車両１が現在の位置に進んでいくようにアニメーション表示がなされる。
　表示領域１４０５には、最も古い撮像画像データに対して、現在の（例えば図９に示す時刻ｔ8で撮影された）撮像画像データと対応付けられた位置情報による、車両１の位置を示した識別情報１４８１が重畳される。
　このように、本実施形態では、出力部４２３が、撮像部１６により現在撮像された撮像画像データの表示から、撮像部１６により過去撮像された撮像画像データの表示を行う場合に、過去の撮像画像データに対して、過去の撮像画像データを撮像した時から、現在の撮像画像データを撮像した時まで、車両１の移動の遷移を表した情報を順番に出力する。
　上述した表示を行うことで、ユーザに対して、過去の撮像画像データに切り変わったことを認識させることができる。
　次に、図１２のＳ１２０３における、過去画像表示モードの画面表示について説明する。図１５は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
　まず、画像選択部４２１が、リングバッファ４０４に格納されている撮像画像データのうち、最も古い撮像画像データを選択する（Ｓ１５０１）。
　さらに、画像選択部４２１は、選択された最も古い撮像画像データと対応する位置情報を、初期値として設定する（Ｓ１５０２）。
　次に、重畳部４２２は、設定されている位置情報に対応する、車両１の位置を示した識別情報を、最も古い撮像画像データに重畳する（Ｓ１５０３）。なお、位置情報が初期値の場合には、車両１の位置を示した識別情報は重畳されない。
　そして、出力部４２３は、車両１の位置を示した識別情報が重畳されている撮像画像データを、表示装置８に出力する（Ｓ１５０４）。
　その後、画像選択部４２１は、設定されている位置情報が、現在の撮像画像データに対応する位置情報であるか否かを判定する（Ｓ１５０５）。画像選択部４２１は、現在の撮像画像データに対応する位置情報ではないと判定した場合（Ｓ１５０５：Ｎｏ）、設定されている位置情報よりリングバッファ４０４において一つ新しい位置情報を、Ｓ１５０３の重畳に用いるパラメータとして設定し（Ｓ１５０６）、Ｓ１５０３から処理を行うものとする。
　一方、画像選択部４２１は、現在の撮像画像データに対応する位置情報であると判定した場合（Ｓ１５０５：Ｙｅｓ）、処理を終了する。
　本実施形態の周辺監視部４００は、上述した制御により、リングバッファ４０４に格納されている位置情報に基づいて、車両１の移動の遷移を順番に表示することで、ユーザに対して、過去画像表示モードに切り替わることを認識させることができる。
（変形例）
　上述した実施形態では、保存処理部４０３が過去に撮像した撮像画像データをリングバッファ４０４に格納した後、過去画像表示モードになった場合に、リングバッファ４０４に格納された撮像画像データを表示する例について説明した。
　しかしながら、このような表示手法に制限するものではなく、過去に撮影された画像データを合成した画像データを、車両１の床下を表す画像データとして表示しても良い。
　本変形例では、保存処理部４０３は、撮像部１６ａが撮像した画像データを、上述した実施形態と同様の回転補正を行った後、当該撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。
　そして、位置推定部４１２は、今回撮影を行った車両１の位置と前回撮影を行った車両１の位置との間の移動量を推定する。
　そして、保存処理部４０３は、移動量に基づいて、今回生成された鳥瞰図画像データを、前回までに合成した鳥瞰図画像データに対して合成する。
　そして、受付部４０５が、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える操作を受け付けた場合に、重畳部４２２は、鳥瞰図画像データに、現在の車両１の位置を示す情報を重畳する。その上で、表示処理部４０７が、現在の撮像画像データから、合成された鳥瞰図画像データに切り替える。その際に、鳥瞰図画像データに対して、所定の視点（例えば撮像部１６による撮像位置）から参照しているような画像変換処理を行っても良い。そして、表示処理部４０７が、鳥瞰図画像データのうち最も新しく合成された領域の表示から、最も古く合成された領域の表示まで、過去に遡るようにスクロール表示（アニメーション表示）する。
　上述した実施形態及び変形例によれば、現在画像表示モード（第１の表示モード）と、過去画像表示モード（第２の表示モード）と、の間を切り替える場合に、過去の撮像画像データを撮像した時と、現在の撮像画像データを撮像した時と、の間の遷移を表した情報を表示装置に順番に出力することで、ユーザに対してモードが切り変わったことを認識させることが容易になる。また、過去の撮像画像データを撮像した時と、現在の撮像画像データを撮像した時と、の間の遷移を表した情報を表示装置に順番に出力することで、表示装置に表示されている領域の位置関係を容易に把握することができる。さらに、車両の床下表示を行うことで、車両の床下の状態を容易に把握することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (5)

  1. 　車両に搭載された撮像部により撮像された撮像画像データを記憶する記憶部と、
    　前記記憶部に記憶された撮像画像データを表示する際に、前記撮像部により現在撮像された現在撮像画像データを表示する第１の表示モードと、前記撮像部により過去に撮像された過去撮像画像データを表示する第２の表示モードと、を切り替える切替制御部と、
    　前記第１の表示モードに基づいた、前記撮像部により現在撮像された現在撮像画像データと、前記第２の表示モードに基づいた、前記撮像部により過去に撮像された過去撮像画像データと、の表示を切り替える場合に、前記過去撮像画像データを撮像した時と、前記現在撮像画像データを撮像した時と、の間の遷移を表す情報を表示装置に出力する出力部と、
    　を備える周辺監視装置。
  2. 　前記出力部は、前記撮像部により現在撮像された現在撮像画像データの表示から、前記撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、前記現在撮像画像データの撮影時から、前記過去撮像画像データの撮影時まで、前記撮像部により撮像された撮像画像データを出力する、
    　請求項１に記載の周辺監視装置。
  3. 　前記出力部は、前記撮像部により撮像された撮像画像データを表示する場合に、現在の車両の位置を示した情報を、前記撮像画像データに重畳して出力する、
    　請求項２に記載の周辺監視装置。
  4. 　前記出力部は、前記撮像部により現在撮像された現在撮像画像データの表示から、前記撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、前記過去撮像画像データに対して、前記過去撮像画像データを撮像した時から、前記現在撮像画像データを撮像した時まで、前記車両の移動の遷移を表した情報を出力する、
    　請求項１に記載の周辺監視装置。
  5. 　前記記憶部は、前記車両の進行方向の路面を含む領域を撮像する前記撮像部から出力された撮像画像データを記憶し、
    　前記切替制御部は、前記撮像部により現在撮像された、前記車両の現在の進行方向の路面を含む現在撮像画像データを表示する第１の表示モードと、前記車両の過去の進行方向の路面を含む過去撮像画像データを、前記車両の床下を表した撮像画像データとして表示する第２の表示モードと、を切り替える、
    　請求項１乃至４のいずれか一つに記載の周辺監視装置。
PCT/JP2017/010271 2016-06-29 2017-03-14 周辺監視装置 WO2018003193A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/312,484 US10855954B2 (en) 2016-06-29 2017-03-14 Periphery monitoring device
DE112017003282.2T DE112017003282T5 (de) 2016-06-29 2017-03-14 Peripherieüberwachungsvorrichtung
CN201780036450.8A CN109314767A (zh) 2016-06-29 2017-03-14 周边监控装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016129233A JP6642306B2 (ja) 2016-06-29 2016-06-29 周辺監視装置
JP2016-129233 2016-06-29

Publications (1)

Publication Number Publication Date
WO2018003193A1 true WO2018003193A1 (ja) 2018-01-04

Family

ID=60785456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010271 WO2018003193A1 (ja) 2016-06-29 2017-03-14 周辺監視装置

Country Status (5)

Country Link
US (1) US10855954B2 (ja)
JP (1) JP6642306B2 (ja)
CN (1) CN109314767A (ja)
DE (1) DE112017003282T5 (ja)
WO (1) WO2018003193A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758092B2 (en) * 2018-12-26 2023-09-12 Pioneer Corporation Display control device, display control method, and display control program

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US20190279512A1 (en) * 2018-03-12 2019-09-12 Ford Global Technologies, Llc. Vehicle cameras for monitoring off-road terrain
US10897600B1 (en) * 2019-09-09 2021-01-19 Texas Instruments Incorporated Sensor fusion based perceptually enhanced surround view
US20210372809A1 (en) * 2020-06-02 2021-12-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel route observation and comparison system for a vehicle
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260694A (ja) * 2003-02-27 2004-09-16 Nippon Soken Inc 車両周辺画像処理システム
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
JP2014209713A (ja) * 2013-03-28 2014-11-06 アイシン精機株式会社 周辺監視装置、及びプログラム
JP2016021653A (ja) * 2014-07-14 2016-02-04 アイシン精機株式会社 周辺監視装置、及びプログラム

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
EP1199225B1 (en) * 2000-05-12 2009-07-15 Kabushiki Kaisha Toyota Jidoshokki Vehicle backing support apparatus
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP3927512B2 (ja) * 2003-03-27 2007-06-13 トヨタ自動車株式会社 駐車支援装置
US7085634B2 (en) * 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
JP4235026B2 (ja) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 駐車支援装置
JP4561479B2 (ja) * 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007030630A (ja) * 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4622806B2 (ja) * 2005-10-27 2011-02-02 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4682809B2 (ja) * 2005-11-04 2011-05-11 株式会社デンソー 駐車支援システム
WO2008087708A1 (ja) * 2007-01-16 2008-07-24 Pioneer Corporation 車両用表示装置の調整方法及び車両用表示装置
US20080246654A1 (en) * 2007-04-09 2008-10-09 Ming Cheng Method and an apparatus to assist user back to previous location
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
US8874317B2 (en) * 2009-07-27 2014-10-28 Magna Electronics Inc. Parking assist system
US8339253B2 (en) * 2009-09-08 2012-12-25 GM Global Technology Operations LLC Methods and systems for displaying vehicle rear camera images in different modes
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
EP2660104B1 (en) * 2010-12-30 2015-09-23 Wise Automotive Corporation Apparatus and method for displaying a blind spot
CN103609101A (zh) * 2011-06-16 2014-02-26 爱信精机株式会社 车辆周边监视装置
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
CN103987582B (zh) * 2011-12-15 2017-02-22 松下知识产权经营株式会社 驾驶辅助装置
JP5857224B2 (ja) * 2012-03-30 2016-02-10 パナソニックＩｐマネジメント株式会社 駐車支援装置、及び駐車支援方法
JP5888164B2 (ja) * 2012-07-20 2016-03-16 トヨタ自動車株式会社 車両周辺監視装置、車両周辺監視システム
JP6015314B2 (ja) * 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP6094266B2 (ja) * 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
JP6184877B2 (ja) * 2014-01-09 2017-08-23 クラリオン株式会社 車両用外界認識装置
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR102129798B1 (ko) * 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
US10328932B2 (en) * 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6275007B2 (ja) * 2014-09-12 2018-02-07 アイシン精機株式会社 駐車支援装置
JP6455193B2 (ja) * 2015-02-04 2019-01-23 株式会社デンソー 電子ミラーシステム及び画像表示制御プログラム
US10586226B2 (en) * 2016-03-10 2020-03-10 Ford Global Technologies, Llc Integration of vehicle boundary alert system with external transaction equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260694A (ja) * 2003-02-27 2004-09-16 Nippon Soken Inc 車両周辺画像処理システム
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
JP2014209713A (ja) * 2013-03-28 2014-11-06 アイシン精機株式会社 周辺監視装置、及びプログラム
JP2016021653A (ja) * 2014-07-14 2016-02-04 アイシン精機株式会社 周辺監視装置、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758092B2 (en) * 2018-12-26 2023-09-12 Pioneer Corporation Display control device, display control method, and display control program

Also Published As

Publication number Publication date
JP2018006921A (ja) 2018-01-11
US10855954B2 (en) 2020-12-01
US20190149774A1 (en) 2019-05-16
JP6642306B2 (ja) 2020-02-05
CN109314767A (zh) 2019-02-05
DE112017003282T5 (de) 2019-03-21

Similar Documents

Publication Publication Date Title
JP6060910B2 (ja) 周辺監視装置、及びプログラム
WO2018003193A1 (ja) 周辺監視装置
EP2974909B1 (en) Periphery surveillance apparatus and program
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
US9973734B2 (en) Vehicle circumference monitoring apparatus
US10363872B2 (en) Periphery monitoring device
JP6115104B2 (ja) 車両の制御装置、及び制御方法
JP6028848B2 (ja) 車両の制御装置、及びプログラム
JP6759538B2 (ja) 駐車支援装置及び駐車支援方法
WO2011010346A1 (ja) 運転支援装置
JP2018144526A (ja) 周辺監視装置
JP6760122B2 (ja) 周辺監視装置
JP2012056428A (ja) 運転支援装置
US10353396B2 (en) Vehicle periphery monitoring device
JP2018063294A (ja) 表示制御装置
JP2019054420A (ja) 画像処理装置
JP2018056951A (ja) 表示制御装置
JP6720729B2 (ja) 表示制御装置
JP2018144567A (ja) 運転支援装置
US11475676B2 (en) Periphery monitoring device
WO2018025441A1 (ja) 周辺監視装置
JP2018006943A (ja) 車両周辺監視装置
JP6601097B2 (ja) 表示制御装置
JP2017211814A (ja) 駐車支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819562

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17819562

Country of ref document: EP

Kind code of ref document: A1