WO2017057006A1 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
WO2017057006A1
WO2017057006A1 PCT/JP2016/077187 JP2016077187W WO2017057006A1 WO 2017057006 A1 WO2017057006 A1 WO 2017057006A1 JP 2016077187 W JP2016077187 W JP 2016077187W WO 2017057006 A1 WO2017057006 A1 WO 2017057006A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image data
virtual
virtual viewpoint
viewpoint position
Prior art date
Application number
PCT/JP2016/077187
Other languages
English (en)
French (fr)
Inventor
欣司 山本
久保田　尚孝
渡邊　一矢
孝之 中所
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201680049819.4A priority Critical patent/CN107925746B/zh
Priority to US15/755,285 priority patent/US10632915B2/en
Publication of WO2017057006A1 publication Critical patent/WO2017057006A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • Embodiments of the present invention relate to a periphery monitoring device.
  • the bird's-eye view image obtained by the viewpoint conversion process can make it easier to grasp the positional relationship of objects existing around the vehicle, but simply displaying the bird's-eye view image recognizes the posture and size of the object. It may be difficult. Therefore, if it is possible to provide a peripheral monitoring device capable of displaying an image that allows the user to easily grasp the positional relationship, posture, and size of an object present around the vehicle, it is possible to improve safety and facilitate driving operation. This is significant.
  • the periphery monitoring device includes, for example, an image acquisition unit that acquires captured image data output from an imaging unit that is provided in a vehicle and captures the periphery of the vehicle, and the captured image data.
  • An image conversion unit that converts virtual image data from a plurality of virtual viewpoints in an imaging direction facing the vehicle, and a first virtual viewpoint position at which the virtual viewpoint faces the opposite side across the vehicle from one side of the vehicle.
  • the virtual image data is moved from the opposite side of the vehicle to the third virtual viewpoint position facing the one side across the vehicle through the second virtual viewpoint position facing the vehicle from the upper airspace of the vehicle.
  • a display device provided in the passenger compartment of the vehicle.
  • the control unit rotates the virtual image data around the line of sight of the virtual viewpoint while displaying the virtual image data so as to pass through the second virtual viewpoint position.
  • the process of moving the virtual viewpoint facing the vehicle from the first virtual viewpoint position to the third virtual viewpoint position via the second virtual viewpoint position above the vehicle, and the second virtual viewpoint In the process of rotating the virtual image data at the position, the appearance of objects existing around the vehicle gradually changes. As a result, it is possible to display in a manner that makes it easy to recognize the positional relationship, posture, and size of an object present around the vehicle.
  • control unit of the periphery monitoring device may determine the second virtual viewpoint position as a position directly above the vehicle, for example.
  • ascertain the positional relationship of a vehicle (own vehicle) and a periphery condition can be performed.
  • control unit of the periphery monitoring device may rotate the virtual image data by 180 °, for example, at the second virtual viewpoint position determined as the position immediately above.
  • the virtual image data By rotating the virtual image data in a state in which the situation around the vehicle is easy to grasp, it is easy to suppress a decrease in the degree of recognition of the positional relationship between objects.
  • the recognition degree of the object can be improved.
  • the top and bottom are in an appropriate display mode, so the real world reproducibility can be improved.
  • control unit of the periphery monitoring device may determine, for example, that the third virtual viewpoint position is located behind the planned traveling direction when the vehicle starts. According to this configuration, for example, an image in the viewing direction that is likely to be finally paid attention when starting the vehicle can be displayed last, so that the user can more easily understand the situation around the vehicle. .
  • the image conversion unit of the periphery monitoring device may, for example, project the captured image data onto a curved surface centered on the position of the vehicle and convert it into the virtual image data.
  • the height component of the projected image can be expressed even when the virtual viewpoint is set in the horizontal direction with respect to the vehicle, and the presence and size of the object can be presented to the user. .
  • the image conversion unit of the periphery monitoring device may, for example, project the captured image data onto a plane centered on the position of the vehicle and convert it into the virtual image data.
  • conversion processing from captured image data to virtual image data is easier than in the case of projecting onto a curved surface, and the processing load can be reduced or the processing speed can be increased.
  • control unit of the periphery monitoring device may superimpose and display an image of the vehicle on the virtual image data, for example.
  • image data stored in a storage device or the like in advance can be used as the image of the vehicle.
  • the image data of the own vehicle may be actual vehicle shooting data or animation. Further, the image data of the own vehicle may be expressed by translucency or a diagram.
  • FIG. 1 is a perspective view illustrating an example of a state in which a part of a passenger compartment of a vehicle on which the periphery monitoring device according to the embodiment is mounted is seen through.
  • FIG. 2 is a plan view illustrating an example of a vehicle on which the periphery monitoring device according to the embodiment is mounted.
  • FIG. 3 is an example of a dashboard of a vehicle on which the periphery monitoring device according to the embodiment is mounted, and is a diagram in a view from the rear of the vehicle.
  • FIG. 4 is a block diagram illustrating an example of an image control system including the periphery monitoring device according to the embodiment.
  • FIG. 1 is a perspective view illustrating an example of a state in which a part of a passenger compartment of a vehicle on which the periphery monitoring device according to the embodiment is mounted is seen through.
  • FIG. 2 is a plan view illustrating an example of a vehicle on which the periphery monitoring device according to the embodiment is mounted.
  • FIG. 3 is
  • FIG. 5 is a block diagram illustrating an example of a configuration of a control unit for displaying a viewpoint conversion image realized in the ECU of the periphery monitoring device according to the embodiment.
  • FIG. 6 is an explanatory diagram illustrating an example of the movement of the virtual viewpoint in the periphery monitoring device according to the embodiment.
  • FIG. 7 is an explanatory diagram illustrating an example of a state around a vehicle on which the periphery monitoring device according to the embodiment is mounted.
  • FIG. 8 is a flowchart illustrating an example of display processing of the periphery monitoring device according to the embodiment.
  • FIG. 9 is a display example of curved projection in the periphery monitoring device according to the embodiment, and is an example displayed on the display device using virtual image data at the first virtual viewpoint position.
  • FIG. 10 is a display example of curved projection in the periphery monitoring device according to the embodiment, and the display device uses virtual image data in a state where the virtual viewpoint is moved from the first virtual viewpoint position to the second virtual viewpoint position. It is an example displayed in.
  • FIG. 11 is a display example of curved projection in the periphery monitoring apparatus according to the embodiment, and preparation for moving the virtual viewpoint to the third virtual viewpoint position is performed by executing the rotation process at the second virtual viewpoint position. It is the example displayed on the display apparatus using the virtual image data of a state.
  • FIG. 12 is a display example of curved projection in the periphery monitoring device according to the embodiment, and is an example displayed on the display device using the virtual image data at the third virtual viewpoint position.
  • FIG. 13 is a display example of planar projection in the periphery monitoring device according to the embodiment, and is an example of display on the display device using virtual image data at the first virtual viewpoint position.
  • FIG. 14 is a display example of planar projection in the periphery monitoring device according to the embodiment, and the display device uses virtual image data in a state where the virtual viewpoint is moved from the first virtual viewpoint position to the second virtual viewpoint position. It is an example displayed in.
  • FIG. 15 is a display example of planar projection in the periphery monitoring device according to the embodiment, and the rotation processing is executed at the second virtual viewpoint position, and preparations are made to move the virtual viewpoint to the third virtual viewpoint position. It is the example displayed on the display apparatus using the virtual image data of a state.
  • FIG. 16 is a display example of planar projection in the periphery monitoring device according to the embodiment, and is an example of display on the display device using virtual image data at the third virtual viewpoint position.
  • the vehicle 1 equipped with the periphery monitoring device may be, for example, an automobile using an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile, or an automobile using an electric motor (not shown) as a drive source. That is, it may be an electric vehicle or a fuel cell vehicle.
  • the hybrid vehicle which uses both of them as a drive source may be sufficient, and the vehicle provided with the other drive source may be sufficient.
  • the vehicle 1 can be mounted with various transmissions, and various devices necessary for driving the internal combustion engine and the electric motor, such as systems and components, can be mounted.
  • the method, number, layout, and the like of the device related to driving of the wheels 3 in the vehicle 1 can be variously set.
  • the vehicle body 2 constitutes a passenger compartment 2a in which a passenger (not shown) gets.
  • a steering section 4 an acceleration operation section 5, a braking operation section 6, a shift operation section 7 and the like are provided in a state facing the driver's seat 2b as a passenger.
  • the steering unit 4 is, for example, a steering wheel protruding from the dashboard 24,
  • the acceleration operation unit 5 is, for example, an accelerator pedal positioned under the driver's feet
  • the braking operation unit 6 is, for example, a driver's foot It is a brake pedal located under the foot
  • the speed change operation unit 7 is, for example, a shift lever protruding from the center console.
  • the steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the speed change operation unit 7 and the like are not limited to these.
  • a display device 8 as a display output unit and a sound output device 9 as a sound output unit are provided in the passenger compartment 2a.
  • the display device 8 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the audio output device 9 is, for example, a speaker.
  • the display device 8 is covered with a transparent operation input unit 10 such as a touch panel. The occupant can visually recognize an image displayed on the display screen of the display device 8 via the operation input unit 10. In addition, the occupant can execute an operation input by touching, pushing, or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. .
  • the display device 8, the audio output device 9, the operation input unit 10, and the like are provided, for example, in the monitor device 11 that is located in the vehicle width direction of the dashboard 24, that is, the central portion in the left-right direction.
  • the monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button.
  • a sound output device (not shown) can be provided at another position in the passenger compartment 2a different from the monitor device 11, and sound is output from the sound output device 9 of the monitor device 11 and other sound output devices. be able to.
  • the monitor device 11 can be used also as, for example, a navigation system or an audio system.
  • a display device 12 different from the display device 8 is provided in the passenger compartment 2a. As illustrated in FIG. 3, for example, the display device 12 is provided in the instrument panel unit 25 of the dashboard 24, and between the speed display unit 25 a and the rotation speed display unit 25 b at the approximate center of the instrument panel unit 25. Is located.
  • the size of the screen 12a of the display device 12 is smaller than the size of the screen 8a (FIG. 3) of the display device 8.
  • the display device 12 can display an image mainly showing information related to parking assistance of the vehicle 1.
  • the amount of information displayed on the display device 12 may be smaller than the amount of information displayed on the display device 8.
  • the display device 12 is, for example, an LCD or an OELD. Information displayed on the display device 12 may be displayed on the display device 8.
  • the vehicle 1 is, for example, a four-wheeled vehicle, and has two left and right front wheels 3F and two right and left rear wheels 3R. All of these four wheels 3 can be configured to be steerable.
  • the vehicle 1 includes a steering system 13 that steers at least two wheels 3.
  • the steering system 13 includes an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by an ECU 14 (electronic control unit) or the like to operate the actuator 13a.
  • the steering system 13 is, for example, an electric power steering system, an SBW (steer by wire) system, or the like.
  • the steering system 13 adds torque, that is, assist torque to the steering unit 4 by the actuator 13a to supplement the steering force, or steers the wheel 3 by the actuator 13a.
  • the actuator 13a may steer one wheel 3 or may steer a plurality of wheels 3.
  • the torque sensor 13b detects the torque which a driver
  • the vehicle body 2 is provided with, for example, four imaging units 15a to 15d as the plurality of imaging units 15.
  • the imaging unit 15 is a digital camera that incorporates an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 15 can output moving image data (captured image data) at a predetermined frame rate.
  • Each of the imaging units 15 includes a wide-angle lens or a fish-eye lens, and can capture a range of 140 ° to 190 °, for example, in the horizontal direction.
  • the optical axis of the imaging unit 15 is set obliquely downward. Therefore, the imaging unit 15 sequentially captures an external environment around the vehicle 1 including a road surface on which the vehicle 1 is movable and an area in which the vehicle 1 can be parked, and outputs the captured image data.
  • the imaging unit 15a is located, for example, at the rear end 2e of the vehicle body 2 and is provided on a wall portion below the rear trunk door 2h.
  • the imaging unit 15b is located, for example, at the right end 2f of the vehicle body 2 and provided on the right door mirror 2g.
  • the imaging unit 15c is located, for example, at the end 2c on the front side of the vehicle body 2, that is, the front side in the vehicle front-rear direction, and is provided on a front bumper or the like.
  • the imaging unit 15d is located, for example, at the left end 2d of the vehicle body 2, that is, the left end 2d in the vehicle width direction, and is provided in the door mirror 2g as a left protruding portion.
  • the ECU 14 performs arithmetic processing and image processing based on the image data obtained by the plurality of imaging units 15, generates an image with a wider viewing angle, or creates a virtual overhead view image when the vehicle 1 is viewed from above. Can be generated.
  • the ECU 14 can convert the captured image data provided from the imaging unit 15 into virtual image data that is captured from a plurality of virtual viewpoints in the imaging direction facing the vehicle 1.
  • the plurality of virtual image data are sequentially displayed on the display device 8, and an image (substantially the vehicle 1 facing the vehicle 1 from a distance from the surroundings centering on the vehicle 1 on which the user (driver or user) is aboard). Video) can be displayed. Details of the display of the virtual image data will be described later.
  • the ECU 14 identifies the lane markings and the like indicated on the road surface around the vehicle 1 from the captured image data provided from the imaging unit 15, detects (extracts) the parking lot indicated by the lane markings, Parking assistance can also be implemented.
  • the vehicle body 2 includes, for example, four distance measuring sections 16a to 16d and eight distance measuring sections 17a to 17h as a plurality of distance measuring sections 16 and 17.
  • the distance measuring units 16 and 17 are, for example, sonar that emits ultrasonic waves and captures the reflected waves.
  • the sonar may also be referred to as a sonar sensor, an ultrasonic detector, or an ultrasonic sonar.
  • the distance measuring unit 16 when the vehicle 1 is parked, the distance measuring unit 16 has a first obstacle (adjacent vehicle) aligned with the vehicle 1 and a second obstacle ( For example, a curb, a step, a wall, a fence, etc.) can be detected and the distance to the obstacle can be measured.
  • a first obstacle adjacent vehicle
  • a second obstacle For example, a curb, a step, a wall, a fence, etc.
  • the distance measuring unit 17 can detect the approaching object (object) and measure the distance to the obstacle. it can.
  • the distance measuring units 17a and 17d disposed on both sides of the rear of the vehicle 1 include the rear corner portion of the vehicle 1 and the first obstacle (adjacent vehicle) when the vehicle 1 enters the parallel parking space while moving backward.
  • a sensor that measures the distance between the rear corner and the second obstacle (such as a wall) after entering.
  • the ECU 14 can acquire the presence or absence of an object such as an obstacle positioned around the vehicle 1 and the distance to the object based on the detection results of the distance measuring units 16 and 17.
  • the distance measuring units 16 and 17 are examples of a detecting unit that detects an object.
  • the distance measuring unit 17 can be used, for example, for detecting an object at a relatively short distance, and the distance measuring unit 16 can be used for detecting an object at a relatively long distance farther than the distance measuring unit 17, for example.
  • the distance measuring unit 17 can be used, for example, for detecting an object in front of and behind the vehicle 1, and the distance measuring unit 16 can be used for detecting an object on the side of the vehicle 1.
  • the distance measuring unit 17 can function as an proximity sensor that detects that an object (obstacle) has approached a predetermined distance.
  • the monitor device 11 the steering system 13, the distance measuring units 16 and 17, the brake system 18, the steering angle sensor 19, an accelerator sensor 20, a shift sensor 21, a wheel speed sensor 22, and the like are electrically connected via an in-vehicle network 23 as an electric communication line.
  • the in-vehicle network 23 is configured as a CAN (controller area network), for example.
  • the ECU 14 can control the steering system 13, the brake system 18, and the like by sending a control signal through the in-vehicle network 23.
  • the ECU 14 detects the torque sensor 13b, the brake sensor 18b, the rudder angle sensor 19, the distance measuring unit 16, the distance measuring unit 17, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the like via the in-vehicle network 23. Results, operation signals from the operation input unit 10 and the like can be received.
  • the ECU 14 includes, for example, a CPU 14a (central processing unit), a ROM 14b (read only memory), a RAM 14c (random access memory), a display control unit 14d, an audio control unit 14e, an SSD 14f (solid state drive, flash memory), and the like. ing.
  • the CPU 14a for example, performs image processing related to the images displayed on the display devices 8 and 12, determination of the movement target position (parking target position, target position) of the vehicle 1, and guidance route (guidance route, parking route) of the vehicle 1. , Parking guidance route), determination of presence / absence of interference with an object, automatic control of the vehicle 1, and cancellation of automatic control, etc., can be executed.
  • the CPU 14a can read a program installed and stored in a non-volatile storage device such as the ROM 14b, and execute arithmetic processing according to the program.
  • the RAM 14c temporarily stores various types of data used in computations by the CPU 14a.
  • the display control unit 14 d mainly executes synthesis of image data displayed on the display device 8 among the arithmetic processing in the ECU 14.
  • the voice control unit 14 e mainly executes processing of voice data output from the voice output device 9 among the calculation processes in the ECU 14.
  • the SSD 14f is a rewritable nonvolatile storage unit that can store data even when the ECU 14 is powered off.
  • the CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package. Further, the ECU 14 may have a configuration in which another logic operation processor, a logic circuit, or the like such as a DSP (digital signal processor) is used instead of the CPU 14a. Further, an HDD (hard disk drive) may be provided instead of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the ECU 14.
  • a DSP digital signal processor
  • the brake system 18 is, for example, an ABS (anti-lock brake system) that suppresses the locking of the brake, a skid prevention device (ESC: electronic stability control) that suppresses the skidding of the vehicle 1 during cornering, and enhances the braking force ( Electric brake system that executes brake assist), BBW (brake by wire), etc.
  • the brake system 18 applies a braking force to the wheels 3 and thus to the vehicle 1 via the actuator 18a.
  • the brake system 18 can execute various controls by detecting brake lock, idle rotation of the wheels 3, signs of skidding, and the like from the difference in rotation between the left and right wheels 3.
  • the brake sensor 18b is a sensor that detects the position of the movable part of the braking operation unit 6, for example.
  • the brake sensor 18b can detect the position of a brake pedal as a movable part.
  • the brake sensor 18b includes a displacement sensor.
  • the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel.
  • the rudder angle sensor 19 is configured using, for example, a hall element.
  • the ECU 14 obtains the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 during automatic steering, and the like from the steering angle sensor 19 and executes various controls.
  • the rudder angle sensor 19 detects the rotation angle of the rotating part included in the steering unit 4.
  • the rudder angle sensor 19 is an example of an angle sensor.
  • the accelerator sensor 20 is a sensor that detects the position of the movable part of the acceleration operation part 5, for example.
  • the accelerator sensor 20 can detect the position of an accelerator pedal as a movable part.
  • the accelerator sensor 20 includes a displacement sensor.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation unit 7.
  • the shift sensor 21 can detect the position of a lever, arm, button, or the like as a movable part.
  • the shift sensor 21 may include a displacement sensor or may be configured as a switch.
  • the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
  • the wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value.
  • the wheel speed sensor 22 may be configured using, for example, a hall element.
  • the ECU 14 calculates the amount of movement of the vehicle 1 based on the sensor value acquired from the wheel speed sensor 22 and executes various controls. Note that the wheel speed sensor 22 may be provided in the brake system 18. In that case, the ECU 14 acquires the detection result of the wheel speed sensor 22 via the brake system 18.
  • ECU14 implement
  • the CPU 14 a included in the ECU 14 implements an image acquisition unit 30, an image conversion unit 32, an operation reception unit 34, data control, as shown in FIG. Part 36 (control part) and the like. Then, for example, the CPU 14a executes image processing using the captured image data obtained by the imaging unit 15.
  • the image acquisition unit 30, the image conversion unit 32, the operation reception unit 34, and the data control unit 36 can be realized by reading a program installed and stored in a storage device such as the ROM 14b and executing it.
  • the image acquisition unit 30 acquires captured image data output from the imaging unit 15 provided in the vehicle 1 and imaging the periphery of the vehicle 1 via the display control unit 14d.
  • the display control unit 14d may output the captured image data captured by the imaging unit 15 to the display device 8 or the display device 12 as it is.
  • the display contents desired by the user may be selected using an input device such as the operation unit 14g. That is, the display control unit 14d selectively displays an image selected by the operation of the operation unit 14g. For example, a rear image of the vehicle 1 captured by the imaging unit 15a can be displayed, or a left side image captured by the imaging unit 15d can be displayed.
  • the image conversion unit 32 converts the captured image data acquired by the image acquisition unit 30 into virtual image data based on a plurality of virtual viewpoints in an imaging direction facing the vehicle 1 from a distance.
  • the conversion of virtual image data from the virtual viewpoint can be executed by various known processing methods.
  • the image conversion unit 32 is based on the captured image data representing the environment outside the vehicle 1 captured by the imaging unit 15 and the conversion information of the mapping table held in the ROM 14b or the like, for example.
  • Virtual image data (viewpoint conversion image) is generated when the surrounding environment is viewed from a viewpoint position that is separated from the vehicle 1 and faces the vehicle 1.
  • the ROM 14b converts, for example, virtual image data obtained when the virtual viewpoint facing the vehicle 1 moves from a semicircular orbit having a radius of several m (for example, 5 m) around the vehicle 1.
  • a plurality of types of information are held in advance.
  • the conversion information of the mapping table is preferably prepared for each position of the virtual viewpoint. In the case of this embodiment, it is desirable that the viewpoint conversion image is displayed as a continuous and smooth moving image. Therefore, the conversion information of the mapping table is prepared so that virtual image data can be generated every time the virtual viewpoint moves, for example, ⁇ °.
  • the number of pieces of conversion information in the mapping table is increased, the number of generated virtual image data (number of frames) can be increased to create a smooth moving image, but the processing load on the CPU 14a tends to increase. Conversely, if the number of pieces of conversion information in the mapping table is reduced, the number of generated virtual image data may be reduced and the moving image quality may be reduced, but the processing load on the CPU 14a can be reduced. Therefore, the number of pieces of conversion information in the mapping table can be determined according to the required quality of the viewpoint conversion image (substantial moving image). Note that when the number of pieces of conversion information in the mapping table is reduced, the moving image may be corrected (frame drop correction) by performing interpolation based on the virtual image data before and after the moving image is created.
  • the operation reception unit 34 acquires a signal by an operation input of the operation unit 14g.
  • the operation unit 14g is, for example, a push button or a switch, and can request or cancel the display of the viewpoint conversion image by the user.
  • the operation receiving unit 34 may receive an ON signal of an ignition switch (not shown), and may be regarded as having acquired a viewpoint conversion image display request triggered by the ON signal. For example, when the user gets into the vehicle 1 and turns on the ignition switch, the viewpoint conversion image is automatically displayed so as to notify the user of the situation around the vehicle 1 before starting the vehicle 1. May be.
  • the data control unit 36 arranges the plurality of virtual image data generated by the image conversion unit 32 such that the virtual viewpoint is moving around the vehicle 1 and supplies the moving image to the display control unit 14d. It is displayed on the display device 8.
  • the data control unit 36 is configured so that, for example, the virtual viewpoint 38 moves from the first virtual viewpoint position A through the second virtual viewpoint position B to the third virtual viewpoint position C in this order.
  • the first virtual viewpoint position A is a position facing the opposite side (the other side) across the vehicle 1 from one side of the vehicle 1.
  • the second virtual viewpoint position B is a position facing the vehicle 1 from the upper airspace of the vehicle 1.
  • the third virtual viewpoint position C is a position facing one side of the vehicle 1 from the opposite side of the first virtual viewpoint position A.
  • the example set to the rear side of the vehicle 1 is shown.
  • the data control unit 36 displays the virtual viewpoint 38 while viewing the virtual image data so that the virtual viewpoint 38 passes through the second virtual viewpoint position B (the line of sight facing the vehicle 1 from the upper airspace of the vehicle 1).
  • the virtual image data is rotated around (for example, the vertical axis O).
  • the data control unit 36 rotates the virtual image data by 180 ° at a position directly above the vehicle 1 (second virtual viewpoint position B) where the entire periphery of the vehicle 1 can be seen.
  • the second virtual viewpoint position B a position directly above the vehicle 1
  • the top and bottom of the object is in the same direction as the state displayed at the first virtual viewpoint position A, and the situation around the vehicle 1 is easy to grasp
  • the image can be smoothly transferred to the third virtual viewpoint position C while suppressing a decrease in the recognition degree of the object positional relationship.
  • the top and bottom are in an appropriate display mode, so that the reproducibility in the real world can be improved.
  • the position directly above the vehicle 1 where the entire periphery of the vehicle 1 can be seen may be, for example, a position on the vertical extension line of the front bumper of the vehicle 1, a position on the vertical extension line of the roof, or on the vertical extension line of the rear bumper. It may be the position. Moreover, the position between them may be sufficient.
  • the position on the vertical extension line of the roof can be displayed so that the positional relationship between the vehicle 1 and surrounding objects can be easily grasped, and when the virtual image data is rotated, the eccentric rotation of the vehicle 1 is small and displayed without a sense of incongruity. It is preferable in that it can be performed.
  • the virtual image data is generated based on the captured image data captured by the imaging unit 15 mounted on the vehicle 1, there may be a case where only a part of the own vehicle (vehicle 1) exists in the captured image data. is there. For example, only a part of the bumper or a part of the door may be reflected. As a result, the entire image of the vehicle 1 may not be reflected in the virtual image data generated based on the captured image data. Therefore, the data control unit 36 superimposes the vehicle outer shape data of the host vehicle (vehicle 1) stored in advance in, for example, the ROM 14b or the SSD 14f on the virtual image data, and displays the vehicle 1 on the viewpoint conversion image displayed on the display device 8. May be displayed in such a manner as to exist.
  • the vehicle outline data may be created by using actual shooting data of the vehicle 1 or an animation. Moreover, you may use the vehicle external shape data which expressed the vehicle 1 by translucency or a diagram. When the vehicle outer shape data is expressed by a semi-transparency or a diagram, it is possible to easily grasp the presence, shape, size, etc. of an object existing on the back side of the vehicle. On the other hand, when the vehicle outer shape data is displayed in a substance expression, the deviation from the real world (real space) can be reduced, so that an image that can be easily accepted by the user can be provided.
  • the movement start position can be determined in advance.
  • the data control unit 36 can determine, for example, the third virtual viewpoint position C so as to be located behind the planned traveling direction when the vehicle 1 starts.
  • FIG. 6 shows the setting positions of the first virtual viewpoint position A, the second virtual viewpoint position B, and the third virtual viewpoint position C when the vehicle 1 starts moving forward.
  • the first virtual viewpoint position A is set on the rear side of the vehicle 1
  • the third virtual viewpoint position C is set on the front side.
  • the display can make it easier to understand the surrounding situation.
  • the data control unit 36 stores the planned traveling direction when the vehicle 1 starts, for example, the position of the speed change operation unit 7 immediately before the ignition switch OFF operation of the vehicle 1, that is, immediately before parking, in the SSD 14f or the like. Can be determined. That is, when the position of the speed change operation unit 7 immediately before the ignition switch is turned off is parked by reverse travel in the “R range”, the vehicle 1 is likely to start forward when starting from the parking state. Therefore, it is desirable to set the third virtual viewpoint position C on the rear side so that the situation in front of the vehicle 1 can be easily recognized at the end of the viewpoint conversion image.
  • the vehicle 1 when the position of the speed change operation unit 7 immediately before the ignition switch is turned off is “D range” and the vehicle 1 is parked by forward travel, the vehicle 1 is likely to start backward when starting from the parking state. Therefore, it is desirable to set the third virtual viewpoint position C on the front side so that the situation behind the vehicle 1 can be easily recognized at the end of the viewpoint conversion image.
  • the ECU 14 of the vehicle 1 may store the approach direction of the vehicle 1 at the time of parking and the advance direction at the time of leaving in the SSD 14f. In this case, the planned traveling direction when the vehicle 1 starts may be determined using the parking assistance information stored in the SSD 14f.
  • the data control unit 36 displays a message for inquiring the user about the start direction of the vehicle 1 on the display device 8 or the display device 12, and from the operation unit 14g, the direction of travel, that is, the viewpoint You may be made to input from which direction to view the converted image.
  • the first virtual viewpoint position A is set on the front side of the vehicle 1
  • the second virtual viewpoint position B is set on the upper airspace of the vehicle 1
  • the third virtual viewpoint position C is set on the rear side.
  • the set positions of the first virtual viewpoint position A and the third virtual viewpoint position C are such that the virtual image data is rotated by 180 ° around the vertical axis O, for example, at the second virtual viewpoint position B (the upper airspace of the vehicle 1). As long as it can be selected as appropriate, the same effect can be obtained.
  • a first virtual viewpoint position A is set on the right side of the vehicle 1
  • a second virtual viewpoint position B is set on the upper airspace of the vehicle 1
  • a third virtual viewpoint position B is set on the left side of the vehicle 1.
  • the virtual viewpoint position C may be set and a viewpoint converted image (substantial moving image) may be displayed.
  • the diagonally left front of the vehicle 1 is a first virtual viewpoint position A
  • the second virtual viewpoint position B that is the upper airspace of the vehicle 1
  • the diagonally right rear of the vehicle 1 is a third virtual viewpoint position C. Also good.
  • the right diagonal front of the vehicle 1 is the first virtual viewpoint position A
  • the second virtual viewpoint position B which is the upper airspace of the vehicle 1
  • the left diagonal rear of the vehicle 1 is the third virtual viewpoint position C. It is good. In this case, it is possible to provide surrounding monitoring information that makes it easy to pay attention to the situation of the corner portion of the vehicle 1.
  • FIG. 7 is a perspective view showing an example of the real world (real space) where the vehicle 1 is parked.
  • the vehicle 1 is illustrated as being parked in a space between the front-side object 40, the rear-side object 42, and the object 44.
  • the object 40 and the object 42 are cylindrical objects having a small diameter
  • the object 44 is a cylindrical object having a larger diameter than the objects 40 and 42.
  • a display process of a viewpoint conversion image when the vehicle 1 is going to start moving forward from the state of FIG. 7 will be described as an example.
  • the CPU 14a first determines whether or not there is a request to display a viewpoint conversion image (S100). For example, when the operation state of the ignition switch is confirmed and the ignition switch is turned on, it is determined that the vehicle 1 is preparing to start and there is a display request. In this case, the viewpoint conversion image is displayed in the automatic display mode in accordance with the operation of the ignition switch. In another embodiment, when a user requests display of a viewpoint conversion image via the operation unit 14g or the like, it is determined that there is a display request. In this case, the viewpoint conversion image is displayed in the manual display mode.
  • the data control unit 36 acquires the planned start direction of the vehicle 1 (S102).
  • the data control unit 36 acquires the planned start direction of the vehicle 1 based on, for example, the shift position of the speed change operation unit 7 immediately before parking recorded in the SSD 14f or the like, the parking situation when parking assistance is performed, and the like. Further, the data control unit 36 determines the display start viewpoint position based on the acquired planned start direction (S104).
  • the data control unit 36 sets the third virtual viewpoint position C to the rear side of the vehicle 1 and the first virtual viewpoint position A to the front side of the vehicle 1. Conversely, when it is determined that the vehicle 1 starts to move backward, the data control unit 36 sets the third virtual viewpoint position C to the front side of the vehicle 1 and the first virtual viewpoint position A to the rear side of the vehicle 1.
  • the image acquisition unit 30 acquires captured image data (current image) around the vehicle 1 captured by the imaging units 15a to 15d via the display control unit 14d (S106). Then, the image conversion unit 32 generates (converts) virtual image data using the conversion information of the mapping table in which the acquired captured image data is stored in the ROM 14b (S108). In the present embodiment, the image conversion unit 32 converts the captured image data into virtual image data so as to be projected onto a curved surface centered on the position of the vehicle 1.
  • the data control unit 36 starts display from the virtual image data when the virtual viewpoint 38 exists at the display start viewpoint position determined in S104 (for example, the first virtual viewpoint position A in FIG. 6). Then, the data control unit 36 sequentially displays the virtual image data at a predetermined frame rate so that the virtual viewpoint 38 moves toward the second virtual viewpoint position B, and starts the substantial moving image display of the viewpoint conversion image. (S110).
  • the image conversion unit 32 generates virtual image data from the captured image data using curved surface projection. For example, when virtual image data is generated using planar projection, if the first virtual viewpoint position A is set in the horizontal direction with respect to the vehicle 1, pixels corresponding to objects around the vehicle 1 are aligned on the horizontal line ( It is difficult to express an object.
  • FIG. 9 is an example of a viewpoint conversion image displayed by virtual image data using curved surface projection when the virtual viewpoint 38 is present at the first virtual viewpoint position A.
  • the user can recognize that the object 40 exists in front of the vehicle 1 and the objects 42 and 44 exist in the rear of the vehicle 1.
  • the data control unit 36 sequentially rotates the virtual image data (substantially moving image) at the position of the second virtual viewpoint position B, that is, a position where the virtual image data is rotated by 180 ° around the vertical axis O. It is determined whether or not the virtual image data display timing has come (No in S112). When the position (timing) for rotating the virtual image data is reached (Yes in S112), the data control unit 36 temporarily stops the movement of the virtual viewpoint 38 and rotates the virtual image data (S114).
  • FIG. 10 is a viewpoint-converted image displayed on the display device 8 based on virtual image data when the virtual viewpoint 38 reaches the second virtual viewpoint position B. As shown in FIG.
  • FIG. 11 shows a display device based on virtual image data after the virtual viewpoint 38 has reached the second virtual viewpoint position B and then rotated 180 ° horizontally around the vertical axis O (see FIG. 6).
  • 8 is a viewpoint conversion image displayed in FIG. As shown in FIG.
  • the rear side of the vehicle 1 faces the screen lower end side of the display device 8, and the objects 42 and 44 exist on the screen lower end side of the display device 8,
  • the object 40 is displayed in a state where it exists on the upper end side of the screen of the display device 8.
  • the data control unit 36 checks whether or not the rotation of the data control unit 36 is completed at the second virtual viewpoint position B (No in S116), and when the rotation is completed (Yes in S116), The movement toward the third virtual viewpoint position C is started (S118). Since the virtual image data is rotated by 180 ° at the second virtual viewpoint position B, the top and bottom of the vehicle 1 is not reversed even if the virtual viewpoint 38 is moved toward the third virtual viewpoint position C. When an image based on virtual image data is displayed at the third virtual viewpoint position C, the top and bottom are in an appropriate display mode, so the reproducibility in the real world can be improved.
  • the data control unit 36 determines whether or not the position of the virtual viewpoint 38 has reached the final display position (No in S120).
  • the virtual viewpoint 38 has reached the third virtual viewpoint position C (C1), that is, when display of virtual image data corresponding to the third virtual viewpoint position C (C1) is executed (Yes in S120)
  • the CPU 14a The operation reception unit 34
  • the data control unit 36 may repeatedly display the viewpoint conversion image a predetermined number of times in response to one display request.
  • a new viewpoint conversion image may be displayed every time. That is, you may make it display the viewpoint conversion image which changes in real time. In this case, it is possible to reflect an abrupt approach of an object, for example, an approach of a pedestrian or the like, in a viewpoint conversion image, and a more real-world situation can be provided to the user.
  • the contents of the viewpoint conversion image to be displayed for the first time may be stored in the RAM 14c or the like, and the stored viewpoint conversion image may be reproduced and displayed after the second time. In this case, the processing load on the CPU 14a can be reduced.
  • the data control unit 36 may change the moving speed of the virtual viewpoint, that is, the moving picture display speed of the viewpoint converted image (may be variable). For example, a display speed desired by the user may be received via the operation unit 14g and set to the display speed. In this case, display according to the user's preference can be performed. Further, when the viewpoint conversion image is displayed a plurality of times, the first display may be displayed at a standard first speed, and the second and subsequent times may be displayed at a second speed that is slower than the first speed. In this case, a display that makes it easier to understand the situation around the vehicle 1 can be performed.
  • the data control unit 36 continuously displays the virtual viewpoint 38 at the first virtual viewpoint position A, the second virtual viewpoint position B, and the third virtual viewpoint position C when displaying virtual image data.
  • the virtual image data is rotated 180 ° in the horizontal direction at the second virtual viewpoint position B.
  • the situation around the vehicle 1 can be provided to the user by a substantial moving image by the viewpoint conversion image viewed from the virtual viewpoint 38, and the situation (real world, real space) around the vehicle 1 can be further improved.
  • the user can easily grasp it.
  • an object for example, the object 40
  • the appearance of (44) changes every moment.
  • the characteristic of the object becomes easy to understand in the process of change (process of continuous change).
  • the display of the virtual image data is ended, as shown in FIG.
  • the processing load on the CPU 14a may increase.
  • the processing load on the CPU 14a may be reduced compared to curved surface projection.
  • planar projection it may be difficult to display an object when the virtual viewpoint 38 is in a horizontal position with the vehicle 1. Therefore, as shown in FIG. 6, the movement start position and movement end position of the virtual viewpoint 38 are moved upward from the horizontal position with respect to the vehicle 1, and the first virtual viewpoint position A1, the third virtual viewpoint position C1, and the like. To do.
  • FIGS. 13 to 16 show examples of display using viewpoint-converted images using virtual image data generated using planar projection.
  • the virtual viewpoint 38 when the virtual viewpoint 38 is present at the first virtual viewpoint position A1, the superimposed vehicle 1 is in a state of looking down from the front or slightly above. As a result, the object 40 is displayed in a state where it rises from the horizontal line, and the user can easily recognize the presence of the object 40.
  • the data control unit 36 moves the virtual image data horizontally around the vertical axis O in the same manner as when virtual image data is generated by curved projection. It is rotated 180 ° (FIGS. 14 and 15).
  • the objects 40 to 44 displayed by the virtual image data at the second virtual viewpoint position B are substantially top view images, and the positional relationship between the objects 40 to 44 and the vehicle 1 uses curved surface projection. It becomes clear compared with the case.
  • the data control unit 36 resumes the sequential display of the virtual image data so that the virtual viewpoint 38 seems to have resumed the movement toward the third virtual viewpoint position C1, and the third viewpoint Virtual image data corresponding to the virtual viewpoint position C1 is displayed (FIG. 16), and a series of display processing is completed.
  • the virtual viewpoint 38 is present at the third virtual viewpoint position C1
  • the vehicle 1 to be superimposed is in a state of looking down from the rear or slightly above.
  • the virtual viewpoint 38 is continuously connected to the first virtual viewpoint position A1, the second virtual viewpoint position B, and the third virtual viewpoint position C1.
  • the virtual image data is rotated by 180 ° in the horizontal direction.
  • an object for example, the object 40
  • the appearance of (44) changes every moment.
  • the characteristic of the object becomes easy to understand in the process of change (process of continuous change).
  • continuously displaying the viewpoint conversion image as a substantial moving image it is possible to easily grasp the shape change of the object. That is, it is possible to display the situation around the vehicle 1 in an easy-to-understand manner for the user as compared to the case where the viewpoint conversion image is displayed intermittently or individually.
  • the display of the virtual image data is ended, as shown in FIG.
  • the position of the second virtual viewpoint position B that rotates the virtual image data is described as a position including the vertical axis O with respect to the vehicle 1 in the upper airspace of the vehicle 1 (directly above position). did.
  • the position where the virtual image data is rotated is not limited to the position including the vertical axis O, and may be a position shifted by a predetermined amount from the position of the vertical axis O, and the same effect can be obtained.
  • the display of virtual image data does not necessarily have to continue from the first virtual viewpoint position A (A1) to the third virtual viewpoint position C (C1). .
  • the display by the virtual image data may be stopped at the position of the virtual viewpoint to be noticed by the user operating the operation unit 14g or the like.
  • the situation around the vehicle consider the positional relationship between the vehicle 1 and the object and the starting route by temporarily displaying the virtual image data as a still image in the scene you want to focus on. Can be made easier.
  • the virtual viewpoint 38 moves in a substantially semicircular orbit centered on the vehicle 1, the virtual viewpoint 38 is 180 ° at the position of the second virtual viewpoint position B or the front and rear positions thereof. If it rotates, the movement mode can be changed as appropriate. For example, after the virtual viewpoint 38 rises to a predetermined height from the first virtual viewpoint position A (A1), the virtual viewpoint 38 is moved horizontally in the upper airspace of the vehicle 1. During the horizontal movement, the virtual viewpoint 38 may be rotated 180 ° in the horizontal direction and then lowered toward the third virtual viewpoint position C (C1). In this case, the state overlooking the vehicle 1 becomes longer, and a display that makes it easier to grasp the positional relationship between the vehicle 1 and the object can be achieved.
  • A1 first virtual viewpoint position A
  • C1 third virtual viewpoint position
  • curved surface projection may be used in the vicinity of the first virtual viewpoint position A and the third virtual viewpoint position C, and planar projection may be used in other portions.
  • the display range of the viewpoint conversion image can be expanded by changing the display start and end positions, and the processing load on the image conversion unit 32 can be reduced.
  • the captured image data is temporarily stored in the RAM 14c or the like to store virtual image data. You may make it produce
  • the real-time property of the display may be slightly lowered, the CPU 14a having a low processing speed can be used, which can contribute to the cost reduction of the peripheral monitoring device.
  • the viewpoint conversion image shown in the present embodiment may be displayed using a past image captured by the imaging unit 15 and stored in the RAM 14c or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

車両に設けられ車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、画像を表示する表示装置と、撮像画像データを、車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部と、仮想視点が、車両の一方側から車両を挟んで反対側を臨む第１の仮想視点位置から車両の上空域から車両を臨む第２の仮想視点位置を経て車両の反対側から車両を挟んで一方側を臨む第３の仮想視点位置に移動するように前記仮想画像データを表示装置に順次表示するデータ制御部と、を備える。データ制御部は、第２の仮想視点位置を通過するように仮想画像データを表示する間に仮想視点の視線を中心に仮想画像データを回転させる。

Description

周辺監視装置
　本発明の実施形態は、周辺監視装置に関する。
　従来、車載カメラで撮像した車両の周辺映像に視点変換処理を施して車室内に配置された表示装置に表示する技術が知られている。
特許第５１６８１８６号公報
　しかしながら、車両周囲に存在する物体の位置関係やその物体の状態が総合的に認識し難い場合がある。例えば、視点変換処理によって得られる俯瞰画像は、車両周囲に存在する物体の位置関係を把握しやすくすることができるが、俯瞰画像を表示するだけでは、その物体の姿勢や大きさ等が認識し難い場合がある。したがって、車両周囲に存在する物体の位置関係やその姿勢や大きさを利用者に容易に把握させられることのできる画像表示が可能な周辺監視装置が提供できれば安全性の向上や運転操作の容易化の点において有意義である。
　本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、上記撮像画像データを、上記車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部と、上記仮想視点が、上記車両の一方側から上記車両を挟んで反対側を臨む第１の仮想視点位置から上記車両の上空域から上記車両を臨む第２の仮想視点位置を経て上記車両の上記反対側から上記車両を挟んで上記一方側を臨む第３の仮想視点位置に移動するように上記仮想画像データを上記車両の車室内に設けられた表示装置に順次表示する制御部と、を備える。上記制御部は、上記第２の仮想視点位置を通過するように上記仮想画像データを表示する間に上記仮想視点の視線を中心に上記仮想画像データを回転させる。この構成によれば、例えば、車両に臨む仮想視点を第１の仮想視点位置から車両の上空の第２の仮想視点位置を経て第３の仮想視点位置に移動させる過程、および第２の仮想視点位置で仮想画像データを回転させる過程で、車両周囲に存在する物体の見え方が徐々に変化する。その結果、車両周囲に存在する物体の位置関係や姿勢、大きさを認識させやすい態様で表示できる。
　また、上記周辺監視装置の上記制御部は、例えば、上記第２の仮想視点位置を上記車両の直上位置に決定するようにしてもよい。この構成によれば、車両（自車両）と周辺状況との位置関係を把握させやすい表示ができる。
　また、上記周辺監視装置の上記制御部は、例えば、上記直上位置に決定した前記第２の仮想視点位置において、前記仮想画像データを１８０°回転させてもよい。車両周囲の状況が把握しやすい状態で仮想画像データを回転させることで、物体の位置関係の認識度の低下が抑制しやすい。また、仮想画像データの回転に伴い車両の周囲に存在する物体の表示位置が変化するので物体の認識度を向上させることができる。さらに、第３の仮想視点位置で仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。
　また、上記周辺監視装置の上記制御部は、例えば、上記第３の仮想視点位置を上記車両が発進する際の進行予定方向に対して後ろ側に位置するように決定してもよい。この構成によれば、例えば、車両を発進させるときに最終的に注意を払う可能性が高い視認方向の画像を最後に表示できるので、利用者に車両周囲の状況をより理解させやすい表示ができる。
　また、上記周辺監視装置の上記画像変換部は、例えば、上記撮像画像データを上記車両の位置を中心とする曲面に投影して上記仮想画像データに変換してもよい。この構成によれば、例えば、仮想視点を車両に対して水平方向に設定した場合でも投影画像の高さ成分の表現が可能になり、物体の存在や大きさを利用者に提示することができる。
　また、上記周辺監視装置の上記画像変換部は、例えば、上記撮像画像データを上記車両の位置を中心とする平面に投影して上記仮想画像データに変換してもよい。この構成によれば、例えば、撮像画像データから仮想画像データへの変換処理が曲面に投影する場合に比べて容易になり、処理負荷の軽減または処理速度の増加ができる。
　また、上記周辺監視装置の上記制御部は、例えば、上記仮想画像データに自車の画像を重畳表示してもよい。この構成によれば、例えば、自車の周囲に存在する物体と自車との位置関係をより容易に利用者に理解させる表示が可能になる。なお、自車の画像は、予め記憶装置等に保持させた画像データを用いることができる。この自車の画像データは実際の車両の撮影データでもよいし、アニメーションでもよい。また、自車の画像データは半透明や線図で表現してもよい。
図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。 図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される視点変換画像を表示するための制御部の構成の一例を示すブロック図である。 図６は、実施形態にかかる周辺監視装置における仮想視点の移動の一例を説明する説明図である。 図７は、実施形態にかかる周辺監視装置を搭載する車両の周囲の状態の一例を示す説明図である。 図８は、実施形態にかかる周辺監視装置の表示処理の一例を説明するフローチャートである。 図９は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第１の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。 図１０は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第１の仮想視点位置から第２の仮想視点位置に仮想視点を移動させた状態の仮想画像データを用いて表示装置に表示した例である。 図１１は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第２の仮想視点位置で回転処理を実行して、第３の仮想視点位置に仮想視点を移動させる準備が整った状態の仮想画像データを用いて表示装置に表示した例である。 図１２は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第３の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。 図１３は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第１の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。 図１４は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第１の仮想視点位置から第２の仮想視点位置に仮想視点を移動させた状態の仮想画像データを用いて表示装置に表示した例である。 図１５は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第２の仮想視点位置で回転処理を実行して、第３の仮想視点位置に仮想視点を移動させる準備が整った状態の仮想画像データを用いて表示装置に表示した例である。 図１６は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第３の仮想視点位置における仮想画像データを用いて表示装置に表示した例である。
　以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
　本実施形態において、周辺監視装置を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
　図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
　また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
　また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａ（図３）の大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。
　また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic　control　unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
　また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～１９０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車両１の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
　撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。
　また、ＥＣＵ１４は、撮像部１５から提供される撮像画像データを、車両１に臨む撮像方向となる複数の仮想視点から撮像したような仮想画像データに変換することができる。また、この複数の仮想画像データを表示装置８に順次表示して、ユーザ（運転者、利用者）が乗り込んでいる車両１を中心に周囲遠方より当該車両１を臨むような画像（実質的な動画）を表示させることができる。仮想画像データの表示の詳細については後述する。また、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）して、駐車支援を実行することもできる。
　また、図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部１６は、本実施形態において、車両１を駐車する際に、車両１と並ぶ第一の障害物（隣接車両）や駐車するためのスペースの奥側に存在する第二の障害物（例えば、縁石や段差、壁、フェンス等）を検出し、その障害物までの距離を測定することができる。また、測距部１７は、車両１に対して障害物（物体）が所定距離を超えて接近した場合、接近する障害物（物体）を検出し、その障害物までの距離を測定することができる。特に、車両１の後方両側に配置された測距部１７ａ，１７ｄは、車両１が後退しながら縦列駐車のスペースに進入する場合の車両１の後方コーナ部と第一の障害物（隣接車両）との距離や、進入後さらに後方コーナ部と第二の障害物（壁等）との距離を測定するセンサ（クリアランスソナー）として機能する。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を取得することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。測距部１７は、物体（障害物）が所定の距離まで接近したことを検出する接近センサとして機能しうる。
　また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
　ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（誘導経路、駐車経路、駐車誘導経路）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
　ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
　舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
　アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
　シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
　車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。
　なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
　ＥＣＵ１４は、周辺監視システムを実現する。具体的には、車両１を中心として当該車両１を遠方から見たような画像（視点変換画像）を生成する。そして、この視点変換画像を用いて、仮想視点を車両１の一方側（例えば正面域、フロント領域）から車両１の上空域を経て、車両１の反対側（例えば後面域、リア領域）に移動させながら実質的な動画表示を行う。この表示を行うことで、車両１の周囲に存在する物体の位置関係やその姿勢、大きさ等をユーザに認識させやすくしている。
　ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような視点変換画像の実質的な動画表示を実現するために、図５に示されるように画像取得部３０、画像変換部３２、操作受付部３４、データ制御部３６（制御部）等を含む。そして、ＣＰＵ１４ａは、例えば、撮像部１５で得られた撮像画像データを用いた画像処理を実行する。画像取得部３０、画像変換部３２、操作受付部３４、データ制御部３６は、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
　画像取得部３０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。なお、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８や表示装置１２に出力してもよい。この場合、操作部１４ｇ等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作部１４ｇの操作により選択された画像を選択的に表示する。例えば撮像部１５ａで撮像した車両１の後方画像を表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。
　画像変換部３２は、画像取得部３０が取得した撮像画像データを、車両１を遠方から臨む撮像方向となる複数の仮想視点による仮想画像データに変換する。仮想視点による仮想画像データの変換は、周知の種々の処理手法で実行することができる。一例として、画像変換部３２は、撮像部１５により撮像された車両１の外部の環境を表した撮像画像データと、例えばＲＯＭ１４ｂ等に保持されたマッピングテーブルの変換情報とに基づいて、車両１の周囲外部の環境を車両１から離間して当該車両１を臨む視点位置から見た場合の仮想画像データ（視点変換画像）を生成する。本実施形態の場合、ＲＯＭ１４ｂは、例えば、車両１を中心に半径数ｍ（例えば５ｍ）の半円軌道から車両１を臨む仮想視点が移動した場合に得られる仮想画像データが得られるような変換情報（マッピングテーブル）を複数種類予め保持している。なお、マッピングテーブルの変換情報は、仮想視点の位置ごとに準備することが望ましい。また、本実施形態の場合、視点変換画像は、連続性のあるスムーズな動画で表示されることが望ましい。そのため、マッピングテーブルの変換情報は、仮想視点が例えばα°移動するごと仮想画像データを生成できるように準備される。なお、マッピングテーブルの変換情報の数を増やせば、生成される仮想画像データの数（フレーム数）は増加して滑らかな動画が作成できるが、ＣＰＵ１４ａの処理負荷が増加する傾向がある。逆に、マッピングテーブルの変換情報の数を少なくすれば生成される仮想画像データの数も減少し動画品質が低下する場合があるが、ＣＰＵ１４ａの処理負荷は軽減可能となる。したがって、要求される視点変換画像（実質的な動画）の品質に応じて、マッピングテーブルの変換情報の数を決定することができる。なお、マッピングテーブルの変換情報の数を少なくする場合、動画を作成する際に前後の仮想画像データに基づく補間等を行い動画の修正（コマ落ち補正）を行うようにしてもよい。
　操作受付部３４は、操作部１４ｇの操作入力による信号を取得する。操作部１４ｇは、例えば、押しボタンやスイッチ等であり、ユーザによる視点変換画像の表示の要求やキャンセルを行うことができる。また、操作受付部３４は、図示しないイグニッションスイッチのＯＮ信号を受け付け、そのＯＮ信号を契機に視点変換画像の表示要求を取得したと見なしてもよい。例えば、ユーザが車両１に乗り込み、イグニッションスイッチをＯＮすることにより、車両１を発進させるのに先立ち、車両１の周囲の状況をユーザに通知するように視点変換画像を自動的に表示するようにしてもよい。
　データ制御部３６は、画像変換部３２が生成した複数の仮想画像データを、仮想視点が車両１の周囲を移動しているような動画になるように配列し、表示制御部１４ｄに供給して表示装置８に表示させる。データ制御部３６は、図６に示すように、例えば、仮想視点３８が第１の仮想視点位置Ａから第２の仮想視点位置Ｂを経て第３の仮想視点位置Ｃの順に移動したように仮想画像データを表示するように準備する。第１の仮想視点位置Ａは、車両１の一方側から車両１を挟んで反対側（他方側）を臨む位置である。図６の場合、車両１のフロント側に設定されている例が示されている。第２の仮想視点位置Ｂは、車両１の上空域から当該車両１を臨む位置である。第３の仮想視点位置Ｃは、第１の仮想視点位置Ａの反対側から車両１を挟んで一方側を臨む位置である。図６の場合、車両１のリア側に設定されている例が示されている。
　また、データ制御部３６は、仮想視点３８が第２の仮想視点位置Ｂを通過するように仮想画像データを表示する間に仮想視点３８の視線（車両１の上空域から当該車両１を臨む視線（例えば鉛直軸Ｏ））を中心に仮想画像データを回転させる。仮想視点３８を第１の仮想視点位置Ａから第３の仮想視点位置Ｃに移動させる場合、仮想画像データをそのまま連続的に表示した場合、第２の仮想視点位置Ｂを通過する前後で車両１の周囲に存在する物体の天地が逆転してしまう。その結果、物体の位置や姿勢が把握し難くなる。そこで、データ制御部３６は、車両１の周囲全体が見渡せる車両１の直上位置（第２の仮想視点位置Ｂ）で仮想画像データを１８０°回転させている。その結果、第２の仮想視点位置Ｂを通過した以降も物体の天地は第１の仮想視点位置Ａで表示していた状態と同じ方向で、車両１の周囲の状況が把握しやすい状態で、物体の位置関係の認識度の低下を抑制しつつ、第３の仮想視点位置Ｃへの画像の移行をスムーズに行うことができる。つまり、第３の仮想視点位置Ｃで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性を向上することができる。また、仮想画像データの回転に伴い車両１の周囲に存在する物体の表示位置が変化するので、その物体の存在に注目させやすくなり、物体の認識度を向上させることができる。すなわち、物体の存在を気づかせ易くすることができる。なお、車両１の周囲全体が見渡せる車両１の直上位置とは、例えば、車両１のフロントバンパの鉛直延長線上の位置でもよいし、ルーフの鉛直延長線上の位置でもよいし、リアバンパの鉛直延長線上の位置でもよい。また、それらの間の位置でもよい。この中で、ルーフの鉛直延長線上の位置が、車両１と周囲の物体との位置関係を把握させやすい表示ができる点、仮想画像データを回転させる場合に車両１の偏心回転が少なく違和感なく表示できる点等で好ましい。
　ところで、仮想画像データは、車両１に搭載された撮像部１５で撮像された撮像画像データに基づき生成されているため、撮像画像データには自車（車両１）は一部しか存在しない場合がある。例えば、バンパの一部やドアの一部しか映り込んでいない場合がある。その結果、撮像画像データに基づいて生成する仮想画像データには車両１の全体像は反映されない場合がある。そこで、データ制御部３６は、例えばＲＯＭ１４ｂやＳＳＤ１４ｆに予め記憶しておいた自車（車両１）の車両外形データを仮想画像データに重畳して、表示装置８に表示する視点変換画像に車両１が存在するようにして表示するようにしてもよい。その結果、車両１（自車）の周囲に存在する物体と車両１との位置関係をより容易にユーザに理解させやすい表示ができる。なお、仮想視点３８の移動に対応して車両１の見え方も刻々と変化するので、車両外形データはマッピングテーブルの変換情報の数に対応して準備しておくことが望ましい。
　車両外形データは、実際の車両１の撮影データを用いて作成してもよいし、アニメーションでもよい。また、車両外形データは、車両１を半透明や線図で表現したものを用いてもよい。車両外形データを半透明や線図で表現する場合、車両の奥側に存在する物体の存在や形状、大きさ等も把握させやすくすることができる。一方、車両外形データを実体表現で表示した場合、現実世界（現実空間）との乖離を少なくできるので、ユーザに受け入れられ易い画像を提供することができる。
　データ制御部３６は、仮想視点３８を移動させる場合、その移動開始位置を予め決定することができる。データ制御部３６は、例えば第３の仮想視点位置Ｃを車両１が発進する際の進行予定方向に対して後ろ側に位置するように決定することができる。図６は、車両１が前進発進する場合の第１の仮想視点位置Ａ、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃの設定位置を示している。逆に、車両１が後退発進する場合は、車両１のリア側に第１の仮想視点位置Ａが設定され、フロント側に第３の仮想視点位置Ｃが設定される。このように、第３の仮想視点位置Ｃを設定することにより、車両１を発進させるときに最終的に注意を払う可能性の高い視認方向の画像を最後に提供できるので、ユーザに車両１の周囲の状況をより理解させやすい表示ができる。
　なお、データ制御部３６は、車両１が発進する際の進行予定方向を、例えば車両１のイグニッションスイッチのＯＦＦ操作直前、すなわち駐車直前の変速操作部７の位置をＳＳＤ１４ｆ等に記憶しておくことにより判定することができる。つまり、イグニッションスイッチＯＦＦ直前の変速操作部７の位置が「Ｒレンジ」で後退走行により駐車した場合、車両１は駐車状態から発進するとき前進発進する可能性が高い。したがって、視点変換画像の最後に車両１の前方の状況が認識しやすいようにリア側に第３の仮想視点位置Ｃを設定することが望ましい。逆にイグニッションスイッチＯＦＦ直前の変速操作部７の位置が「Ｄレンジ」で前進走行により駐車した場合、車両１は駐車状態から発進するとき後退発進する可能性が高い。したがって、視点変換画像の最後に車両１の後方の状況が認識しやすいようにフロント側に第３の仮想視点位置Ｃを設定することが望ましい。また、車両１を駐車支援システムを用いて駐車した場合、車両１のＥＣＵ１４は、駐車時の車両１の進入方向や出庫時の進出方向をＳＳＤ１４ｆに記憶している場合がある。この場合は、ＳＳＤ１４ｆに記憶された駐車支援時の情報を用いて車両１が発進する際の進行予定方向を判定してもよい。なお、車両１の駐車中に当該車両１の周囲の状況が変化して、発進時の進行予定方向を変更した方がよい場合がある。この場合、データ制御部３６は、イグニッションスイッチのＯＮのときに、車両１の発進方向をユーザに問い合わせるメッセージを表示装置８や表示装置１２に表示して、操作部１４ｇから進行予定方向、つまり視点変換画像をどの方向からどの方向に見たいかを入力させるようにしてもよい。
　図６の場合、車両１のフロント側に第１の仮想視点位置Ａを設定し、車両１の上空域に第２の仮想視点位置Ｂを設定し、リア側に第３の仮想視点位置Ｃを設定した例を示した。第１の仮想視点位置Ａ、第３の仮想視点位置Ｃの設定位置は、仮想画像データが第２の仮想視点位置Ｂ（車両１の上空域）で例えば鉛直軸Ｏの周りを１８０°回転させられればよく適宜選択することが可能で同様の効果を得ることができる。例えば、別の実施形態では、車両１の右側方に第１の仮想視点位置Ａを設定し、車両１の上空域に第２の仮想視点位置Ｂを設定し、車両１の左側方に第３の仮想視点位置Ｃを設定して、視点変換画像（実質的な動画）を表示してもよい。この場合、車両１の側方の状況に注意を払わせやすい周辺監視情報の提供ができる。また、車両１の左斜め前方を第１の仮想視点位置Ａとし、車両１の上空域である第２の仮想視点位置Ｂを経て、車両１の右斜め後方を第３の仮想視点位置Ｃとしてもよい。同様に、車両１の右斜め前方を第１の仮想視点位置Ａとし、車両１の上空域である第２の仮想視点位置Ｂを経て、車両１の左斜め後方を第３の仮想視点位置Ｃとしてもよい。この場合、車両１のコーナ部分の状況に注意を払わせやすい周辺監視情報の提供ができる。
　このように構成される周辺監視システム１００の動作を以下に説明する。図７は、車両１が駐車されている現実世界（現実空間）の一例を示す斜視図である。図７の場合、車両１は、フロント側の物体４０およびリア側の物体４２、物体４４に挟まれた空間に駐車されている例を示している。なお、物体４０と物体４２は小径の円柱物体であり、物体４４は、物体４０，４２より大径の円柱物体である。以下の説明では、図７の状態から車両１を前進発進させようとする場合の視点変換画像の表示処理を一例として説明する。
　ＣＰＵ１４ａ（ＥＣＵ１４）は、まず、視点変換画像の表示要求があるか否かを判定する（Ｓ１００）。例えば、イグニッションスイッチの操作状態を確認し、イグニッションスイッチがＯＮされた場合、車両１は発進準備中であり、表示要求ありと判定する。この場合、イグニッションスイッチの操作に伴い視点変換画像は自動表示モードで表示されることになる。また、別の実施形態では、操作部１４ｇ等を介してユーザが視点変換画像の表示を要求した場合、表示要求ありと判定する。この場合、視点変換画像は手動表示モードで表示されることになる。
　ＣＰＵ１４ａは、「表示要求なし」と判定した場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、ＣＰＵ１４ａは、「表示要求あり」と判定した場合（Ｓ１００のＹｅｓ）、データ制御部３６は、車両１の発進予定方向を取得する（Ｓ１０２）。データ制御部３６は、例えば、ＳＳＤ１４ｆ等に記録されていた駐車直前の変速操作部７のシフト位置や駐車支援を行ったときの駐車状況等に基づき、車両１の発進予定方向を取得する。データ制御部３６は、さらに、取得した発進予定方向に基づき、表示開始視点位置を決定する（Ｓ１０４）。例えば、車両１が前進発進すると判定した場合、データ制御部３６は、第３の仮想視点位置Ｃを車両１のリア側、第１の仮想視点位置Ａを車両１のフロント側に設定する。逆に車両１が後退発進すると判定した場合、データ制御部３６は、第３の仮想視点位置Ｃを車両１のフロント側、第１の仮想視点位置Ａを車両１のリア側に設定する。
　続いて、画像取得部３０は、表示制御部１４ｄを介して各撮像部１５ａ～１５ｄが撮像した車両１の周辺の撮像画像データ（現在画像）を取得する（Ｓ１０６）。そして、画像変換部３２は、取得された撮像画像データをＲＯＭ１４ｂが記憶するマッピングテーブルの変換情報を用いて、仮想画像データを生成（変換）する（Ｓ１０８）。なお、本実施形態では、画像変換部３２は、撮像画像データを車両１の位置を中心とする曲面に投影するように仮想画像データに変換している。
　データ制御部３６は、Ｓ１０４で決定した表示開始視点位置（例えば、図６の第１の仮想視点位置Ａ）に仮想視点３８が存在する場合の仮想画像データから表示を開始する。そして、データ制御部３６は、仮想視点３８が第２の仮想視点位置Ｂに向かい移動するように仮想画像データを所定のフレームレートで順次表示して、視点変換画像の実質的な動画表示を開始する（Ｓ１１０）。本実施形態の場合、前述したように、画像変換部３２は、撮像画像データを曲面投影を用いて仮想画像データを生成する。例えば、平面投影を用いて仮想画像データを生成した場合、車両１に対して水平方向に第１の仮想視点位置Ａを設定すると、車両１の周囲の物体に対応する画素は水平線上に並び（直線で表現されてしまい）、物体を表現することが困難になる。一方、曲面投影を用いて仮想画像データを生成した場合、車両１に対して水平方向に第１の仮想視点位置Ａを設定すると、第１の仮想視点位置Ａに近い位置に存在する物体は、路面に寝転がった状態に表示される。また、奥側（第１の仮想視点位置Ａから遠い側）に存在する物体は、立像として立体的に表示される。図９は、仮想視点３８が第１の仮想視点位置Ａに存在する場合に曲面投影を用いた仮想画像データにより表示される視点変換画像の一例である。この場合、車両１の前方に物体４０が存在し、車両１の後方に物体４２，４４が存在することをユーザに認識させることができる。
　データ制御部３６は、順次表示する仮想画像データ（実質的な動画）が第２の仮想視点位置Ｂの位置における仮想画像データ、すなわち、仮想画像データを鉛直軸Ｏの周りを１８０°回転させる位置の仮想画像データの表示タイミングになったか否かを判定する（Ｓ１１２のＮｏ）。仮想画像データを回転する位置（タイミング）に到達した場合（Ｓ１１２のＹｅｓ）、データ制御部３６は、仮想視点３８の移動を一時的に停止して仮想画像データの回転を行う（Ｓ１１４）。図１０は、仮想視点３８が、第２の仮想視点位置Ｂに到達した場合の仮想画像データに基づき表示装置８に表示された視点変換画像である。図１０に示しように、仮想画像データの回転前においては、車両１のフロント側が表示装置８の画面下端側に向いているとともに、物体４０が表示装置８の画面下端側に存在し、物体４２，４４が表示装置８の画面上端側に存在する状態で表示される。図１１は、仮想視点３８が、第２の仮想視点位置Ｂに到達した後、そこで鉛直軸Ｏ（図６参照）を中心として水平方向に１８０°回転させた後の仮想画像データに基づき表示装置８に表示された視点変換画像である。図１１に示すように、仮想画像データの回転後においては、車両１のリア側が表示装置８の画面下端側に向いているとともに、物体４２，４４が表示装置８の画面下端側に存在し、物体４０が表示装置８の画面上端側に存在する状態で表示される。このように、車両１の周囲の全体状況が把握しやすい状態で仮想画像データを回転させることで、物体４０～４４の存在や車両１との位置関係をユーザに認識させやすくするとともに、注意を払う物体に対する注目度を向上させることができる。
　データ制御部３６は、第２の仮想視点位置Ｂにおいてデータ制御部３６の回転が完了したか否かを確認し（Ｓ１１６のＮｏ）、回転が完了した場合（Ｓ１１６のＹｅｓ）、仮想視点３８の第３の仮想視点位置Ｃに向かう移動を開始する（Ｓ１１８）。なお、仮想画像データは、第２の仮想視点位置Ｂで１８０°回転しているので、仮想視点３８を第３の仮想視点位置Ｃに向けて移動させても車両１の天地は逆転せず、第３の仮想視点位置Ｃで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。
　次に、データ制御部３６は、仮想視点３８の位置が表示最終位置に到達したか否か判定する（Ｓ１２０のＮｏ）。仮想視点３８が第３の仮想視点位置Ｃ（Ｃ１）に到達した、つまり、第３の仮想視点位置Ｃ（Ｃ１）に対応する仮想画像データの表示を実行した場合（Ｓ１２０のＹｅｓ）、ＣＰＵ１４ａ（操作受付部３４）は、このフローを一旦終了し、次の視点変換画像の表示要求の受け付けを待つ。
　また、データ制御部３６は、１回の表示要求に対して、視点変換画像を所定回数繰り返し表示するようにしてもよい。視点変換画像を複数回表示する場合、毎回新規の視点変換画像を表示するようにしてもよい。つまり、リアルタイムで変化する視点変換画像の表示を行うようにしてもよい。この場合、急な物体の接近、例えば歩行者等の接近を視点変換画像に反映することが可能で、より現実世界の状況をユーザに提供することができる。また、別の実施形態では、初回に表示する視点変換画像の内容をＲＡＭ１４ｃ等に保存しておき、２回目以降にその保存した視点変換画像を再生表示するようにしてもよい。この場合、ＣＰＵ１４ａの処理負荷を軽減することができる。
　データ制御部３６は、仮想視点の移動速度、つまり、視点変換画像の動画表示速度を変更してもよい（可変できるようにしてもよい）。例えば、操作部１４ｇを介してユーザの希望する表示速度を受け付け、その表示速度に設定してもよい。この場合、ユーザの好みに沿う表示ができる。また、視点変換画像の表示を複数回行う場合は、初回の表示では標準的な第１速度で表示し、２回目以降は、第１速度より遅い第２速度で表示するようにしてもよい。この場合、車両１の周囲の状況をより理解させやすい表示ができる。
　このように、データ制御部３６は、仮想画像データを表示する場合に、仮想視点３８を第１の仮想視点位置Ａ、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃに連続的に移動させるとともに、第２の仮想視点位置Ｂの位置で、仮想画像データを水平方向に１８０°回転させる。その結果、車両１の周囲の状況を仮想視点３８から見た視点変換画像により実質的な動画によりユーザに提供することが可能になり、車両１の周囲の状況（現実世界、現実空間）をより容易にユーザに把握させることができる。また、仮想視点３８の位置を高さ方向および第１の仮想視点位置Ａから第３の仮想視点位置Ｃの方向に連続的に移動させることにより、車両１の周囲に存在する物体（例えば物体４０～４４）の見え方が刻々と変化する。その変化の過程（連続変化の過程）で物体（立体物）の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化を把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両１の周囲の状況をユーザに理解させやすく表示することができる。
　また、第３の仮想視点位置Ｃを車両１が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図１２に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。
　ところで、画像変換部３２が曲面投影を用いて撮像画像データから仮想画像データを生成する場合、ＣＰＵ１４ａの処理負荷が増大してしまう場合がある。一方、平面投影を用いて撮像画像データから仮想画像データを生成する場合、ＣＰＵ１４ａの処理負荷は曲面投影の場合に比べ軽減できる場合がある。前述したように平面投影を用いた場合、仮想視点３８が車両１と水平の位置にある場合、物体の表示が困難になる場合がある。そこで、図６に示すように、仮想視点３８の移動開始位置および移動終了位置を車両１に対する水平の位置より上方に移動して、第１の仮想視点位置Ａ１、第３の仮想視点位置Ｃ１とする。例えば、水平に対する第１の仮想視点位置Ａ１の仰角をα＝１５°とする。同様に水平に対する第３の仮想視点位置Ｃ１の仰角をβ＝１５°とする。このように、仮想視点３８の移動開始位置および移動終了位置を変更するのみで、物体が表示し難いという不都合を容易に回避することができる。さらに、ＣＰＵ１４ａの処理負荷を容易に軽減することができる。
　図１３～図１６は、平面投影を用いて生成した仮想画像データを用いた視点変換画像による表示例を示している。図１３に示すように、第１の仮想視点位置Ａ１に仮想視点３８が存在する場合、重畳される車両１は前方やや上方から俯瞰した状態となる。その結果、物体４０は、水平線から起き上がった状態で表示され、物体４０の存在をユーザに認識させ易くなる。データ制御部３６は、仮想視点３８が第２の仮想視点位置Ｂに到達した場合に、曲面投影で仮想画像データを生成した場合と同様に、仮想画像データを鉛直軸Ｏの周りで水平方向に１８０°回転させる（図１４、図１５）。平面投影を用いた場合、第２の仮想視点位置Ｂにおける仮想画像データで表示される物体４０～４４は、ほぼ上面視像となり、物体４０～４４と車両１との位置関係が曲面投影を用いた場合に比べて明確になる。仮想画像データの回転が完了すると、データ制御部３６は、仮想視点３８が第３の仮想視点位置Ｃ１に向かい移動を再開したように見えるように仮想画像データの順次表示を再開し、第３の仮想視点位置Ｃ１に対応する仮想画像データの表示を行い（図１６）、一連の表示処理を完了させる。図１６に示すように、第３の仮想視点位置Ｃ１に仮想視点３８が存在する場合、重畳される車両１は後方やや上方から俯瞰した状態となる。
　このように、平面投影を用いて仮想画像データを生成して表示する場合も、仮想視点３８を第１の仮想視点位置Ａ１、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃ１に連続的に移動させるとともに、第２の仮想視点位置Ｂの位置で、仮想画像データを水平方向に１８０°回転させる。その結果、車両１の周囲の状況を仮想視点３８から見た視点変換画像による実質的な動画によりユーザに提供することが可能になり、車両１の周囲の状況（現実世界、現実空間）をより容易に把握させることができる。また、仮想視点３８の位置を高さ方向および第１の仮想視点位置Ａ１から第３の仮想視点位置Ｃ１の方向に連続的に移動させることにより、車両１の周囲に存在する物体（例えば物体４０～４４）の見え方が刻々と変化する。その変化の過程（連続変化の過程）で物体（立体物）の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化が把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両１の周囲の状況をユーザに理解させやすく表示することができる。
　また、第３の仮想視点位置Ｃ１を車両１が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図１６に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。
　なお、上述した各実施形態では、仮想画像データを回転させる第２の仮想視点位置Ｂの位置を車両１の上空域のうち車両１を基準とした鉛直軸Ｏを含む位置（直上位置）として説明した。別の実施形態では、仮想画像データを回転させる位置は、鉛直軸Ｏを含む位置に限られず、鉛直軸Ｏの位置から所定量前後にずれた位置でもよく、同様の効果を得ることができる。また、仮想視点３８が第１の仮想視点位置Ａ（Ａ１）、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃ（Ｃ１）を移動しているように仮想画像データを表示する場合、実質的に動画として表示することが望ましいが、仮想画像データの表示は第１の仮想視点位置Ａ（Ａ１）から第３の仮想視点位置Ｃ（Ｃ１）に至るまで必ずしも連続していなくてもよい。例えば、動画の途中に静止画が存在するように表示してもよい。また、ユーザが操作部１４ｇ等を操作することにより、注目したい仮想視点の位置で仮想画像データによる表示を静止させてもよい。例えば、車両１の周辺の状況を表示しているときに、注目したい場面で仮想画像データによる表示を一時的に静止画とすることで、車両１と物体との位置関係や発進経路を検討し易くすることができる。
　また、図６において、仮想視点３８は、車両１を中心とするほぼ半円軌道で移動する例を示したが、仮想視点３８が第２の仮想視点位置Ｂの位置またはその前後位置で１８０°回転すれば、その移動態様は適宜変更可能である。例えば、仮想視点３８が第１の仮想視点位置Ａ（Ａ１）から所定の高さに上昇した後、仮想視点３８を車両１の上空域を水平移動させる。その水平移動の間に仮想視点３８を水平方向に１８０°回転させて、その後、第３の仮想視点位置Ｃ（Ｃ１）に向けて下降させてもよい。この場合、車両１を俯瞰している状態が長くなり車両１と物体との位置関係をより把握させやすい表示ができる。
　上述した実施形態では、撮像画像データから仮想画像データを生成する場合に曲面投影か平面投影かのいずれかを用いる例を示したがこれに限らない。曲面投影と平面投影とを適宜組み合わせて用いてもよい。例えば、第１の仮想視点位置Ａや第３の仮想視点位置Ｃの付近では曲面投影を用い、その他の部分では平面投影を用いてもよい。この場合、表示開始および終了位置の変更による視点変換画像の表示範囲の拡大ができるとともに、画像変換部３２における処理負荷の軽減が可能になる。
　また、上述した実施形態では、撮像部１５が撮像した現在画像（リアルタイム画像）により仮想画像データを生成する例を示したが、撮像画像データを一時的にＲＡＭ１４ｃ等に保存して仮想画像データをタイミングを遅らせて生成するようにしてもよい。この場合、表示のリアルタイム性は僅かに低下する場合があるが、処理速度の遅いＣＰＵ１４ａの利用も可能になり、周辺監視装置のコスト削減に寄与できる。また、撮像部１５で撮像してＲＡＭ１４ｃ等に保存しておいた過去画像を用いて、本実施形態で示した視点変換画像を表示するようにしてもよい。この場合、現在の車両１の周囲のみならず、移動してきた領域（現在の車両１の位置から離れた位置）の状況（過去の状況）の把握も可能になり、周辺監視装置の利用機会を増やすことができる。
　本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　１…車両、２…車体、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｄ…表示制御部、１４ｇ…操作部、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、３０…画像取得部、３２…画像変換部、３４…操作受付部、３６…データ制御部、３８…仮想視点、４０，４２，４４…物体、１００…周辺監視システム（周辺監視装置）、Ａ，Ａ１…第１の仮想視点位置、Ｂ…第２の仮想視点位置、Ｃ，Ｃ１…第３の仮想視点位置、Ｏ…鉛直軸。

Claims (7)

  1. 　車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、
    　前記撮像画像データを、前記車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部と、
    　前記仮想視点が、前記車両の一方側から前記車両を挟んで反対側を臨む第１の仮想視点位置から前記車両の上空域から前記車両を臨む第２の仮想視点位置を経て前記車両の前記反対側から前記車両を挟んで前記一方側を臨む第３の仮想視点位置に移動するように前記仮想画像データを前記車両の車室内に設けられた表示装置に順次表示する制御部と、
    　を備え、
    　前記制御部は、前記第２の仮想視点位置を通過するように前記仮想画像データを表示する間に前記仮想視点の視線を中心に前記仮想画像データを回転させる周辺監視装置。
  2. 　前記制御部は、前記第２の仮想視点位置を前記車両の直上位置に決定する請求項１に記載の周辺監視装置。
  3. 　前記制御部は、前記直上位置に決定した前記第２の仮想視点位置において、前記仮想画像データを１８０°回転させる請求項２に記載の周辺監視装置。
  4. 　前記制御部は、前記第３の仮想視点位置を前記車両が発進する際の進行予定方向に対して後ろ側に位置するように決定する請求項１から請求項３のいずれか１項に記載の周辺監視装置。
  5. 　前記画像変換部は、前記撮像画像データを前記車両の位置を中心とする曲面に投影して前記仮想画像データに変換する請求項１から請求項４のいずれか１項に記載の周辺監視装置。
  6. 　前記画像変換部は、前記撮像画像データを前記車両の位置を中心とする平面に投影して前記仮想画像データに変換する請求項１から請求項４のいずれか１項に記載の周辺監視装置。
  7. 　前記制御部は、前記仮想画像データに自車の画像を重畳表示する請求項１から請求項６のいずれか１項に記載の周辺監視装置。
PCT/JP2016/077187 2015-09-30 2016-09-14 周辺監視装置 WO2017057006A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680049819.4A CN107925746B (zh) 2015-09-30 2016-09-14 周边监控装置
US15/755,285 US10632915B2 (en) 2015-09-30 2016-09-14 Surroundings monitoring apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-192626 2015-09-30
JP2015192626A JP6555056B2 (ja) 2015-09-30 2015-09-30 周辺監視装置

Publications (1)

Publication Number Publication Date
WO2017057006A1 true WO2017057006A1 (ja) 2017-04-06

Family

ID=58423610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077187 WO2017057006A1 (ja) 2015-09-30 2016-09-14 周辺監視装置

Country Status (4)

Country Link
US (1) US10632915B2 (ja)
JP (1) JP6555056B2 (ja)
CN (1) CN107925746B (ja)
WO (1) WO2017057006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3621300A4 (en) * 2017-12-21 2020-05-20 Canon Kabushiki Kaisha DISPLAY CONTROL DEVICE AND DISPLAY CONTROL METHOD

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852465B2 (ja) * 2017-03-02 2021-03-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
US11548443B2 (en) * 2017-11-10 2023-01-10 Honda Motor Co., Ltd. Display system, display method, and program for indicating a peripheral situation of a vehicle
US10360714B1 (en) * 2018-09-14 2019-07-23 Lyft, Inc. Systems and methods for displaying autonomous vehicle environmental awareness
WO2021070226A1 (ja) * 2019-10-07 2021-04-15 三菱電機株式会社 仮想カメラ制御装置、仮想カメラ制御方法、及び仮想カメラ制御プログラム
JP7238722B2 (ja) * 2019-10-11 2023-03-14 トヨタ自動車株式会社 車両駐車支援装置
CN111559371B (zh) * 2020-05-15 2021-12-07 广州智鹏车联网科技有限公司 三维泊车的显示方法、车辆和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2009171537A (ja) * 2007-12-17 2009-07-30 Fujitsu Ltd 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP2010199835A (ja) * 2009-02-24 2010-09-09 Nissan Motor Co Ltd 画像処理装置
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2610364A (en) * 1948-12-11 1952-09-16 William P Brower Vehicular parking installation
US3105221A (en) * 1959-06-01 1963-09-24 Peter D Schwarz Traffic counting apparatus
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US5365516A (en) * 1991-08-16 1994-11-15 Pinpoint Communications, Inc. Communication system and method for determining the location of a transponder unit
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US6885968B2 (en) * 2000-05-08 2005-04-26 Automotive Technologies International, Inc. Vehicular exterior identification and monitoring system-agricultural product distribution
US7629899B2 (en) * 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
US6142871A (en) * 1996-07-31 2000-11-07 Konami Co., Ltd. Apparatus, method and recorded programmed medium for simulating driving using mirrors displayed in a game space
JP3358709B2 (ja) * 1997-08-11 2002-12-24 富士重工業株式会社 車両用運転支援装置
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
DE60038467T2 (de) * 1999-08-12 2009-04-23 Kabushiki Kaisha Toyota Jidoshokki, Kariya Lenkhilfseinrichtung
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
JP2003532959A (ja) * 2000-05-08 2003-11-05 オートモーティブ・テクノロジーズ・インターナショナル，インク． 車両の死角識別及びモニタリング・システム
AU2003214595A1 (en) * 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
EP1487333B1 (en) * 2002-03-14 2020-07-01 Netkisr Inc. System and method for analyzing and displaying computed tomography data
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
DE10332961A1 (de) * 2003-07-21 2005-02-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung der Position und/oder der zu erwartenden Position eines Fahrzeuges während eines Einpark-Vorgangs in Relation zur Gegenfahrspur einer mehrspurigen Fahrbahn
JP4461818B2 (ja) * 2004-01-28 2010-05-12 日産自動車株式会社 車両の視界調整方法及び視界調整装置
JP2005313710A (ja) * 2004-04-27 2005-11-10 Toyota Motor Corp 駐車支援装置
US20150070319A1 (en) * 2013-09-09 2015-03-12 Timothy R. Pryor Human interfaces for homes, medical devices and vehicles
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP5330640B2 (ja) * 2006-05-09 2013-10-30 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP5217152B2 (ja) * 2006-11-14 2013-06-19 アイシン精機株式会社 車両周辺表示装置
JP5053043B2 (ja) * 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
ATE535897T1 (de) * 2007-12-18 2011-12-15 Honda Motor Co Ltd Gerät zur beurteilung der parkplatzverfügbarkeit für fahrzeuge
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5267660B2 (ja) * 2009-04-13 2013-08-21 富士通株式会社 画像処理装置、画像処理プログラム、画像処理方法
US8353454B2 (en) * 2009-05-15 2013-01-15 Horus Vision, Llc Apparatus and method for calculating aiming point information
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
WO2012089270A1 (en) * 2010-12-30 2012-07-05 Telecom Italia S.P.A. 3d interactive menu
IL211838A (en) * 2011-03-21 2015-10-29 Boris Tsukerman Vehicle with adjustable dimensions
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
CN104144829A (zh) * 2012-02-23 2014-11-12 帕纳约蒂斯·齐蒂迈基斯 通过仅利用前方道路行程停放车辆和通过辅助机构将车辆的后部放置在最终停放位置的方法系统
US9317983B2 (en) * 2012-03-14 2016-04-19 Autoconnect Holdings Llc Automatic communication of damage and health in detected vehicle incidents
US9389682B2 (en) * 2012-07-02 2016-07-12 Sony Interactive Entertainment Inc. Methods and systems for interaction with an expanded information space
WO2014083763A1 (ja) * 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP6195076B2 (ja) * 2012-11-30 2017-09-13 パナソニックＩｐマネジメント株式会社 別視点画像生成装置および別視点画像生成方法
JP6094266B2 (ja) * 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
US9110169B2 (en) * 2013-03-08 2015-08-18 Advanced Scientific Concepts, Inc. LADAR enabled impact mitigation system
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
KR20150022436A (ko) * 2013-08-23 2015-03-04 주식회사 만도 주차 제어 장치, 방법 및 시스템
US9443430B2 (en) * 2013-09-11 2016-09-13 Here Global B.V. Method and apparatus for determining an adjustment in parking position based on proximate parked vehicle information
JP6258000B2 (ja) * 2013-10-31 2018-01-10 株式会社デンソーテン 画像表示システム、画像表示方法及びプログラム
JP6303377B2 (ja) * 2013-10-04 2018-04-04 アイシン精機株式会社 駐車支援装置
KR101477232B1 (ko) * 2013-11-29 2014-12-29 현대모비스 주식회사 전진 직각 주차 제어 장치와 방법 및 상기 장치를 구비하는 전진 직각 주차 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2009171537A (ja) * 2007-12-17 2009-07-30 Fujitsu Ltd 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP2010199835A (ja) * 2009-02-24 2010-09-09 Nissan Motor Co Ltd 画像処理装置
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3621300A4 (en) * 2017-12-21 2020-05-20 Canon Kabushiki Kaisha DISPLAY CONTROL DEVICE AND DISPLAY CONTROL METHOD
US10733925B2 (en) 2017-12-21 2020-08-04 Canon Kabushiki Kaisha Display control apparatus, display control method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US10632915B2 (en) 2020-04-28
JP6555056B2 (ja) 2019-08-07
JP2017069739A (ja) 2017-04-06
CN107925746B (zh) 2020-08-07
US20180229657A1 (en) 2018-08-16
CN107925746A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
JP6555056B2 (ja) 周辺監視装置
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
JP6015314B2 (ja) 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP5995931B2 (ja) 駐車支援装置、駐車支援方法及び制御プログラム
JP7151293B2 (ja) 車両周辺表示装置
JP6743593B2 (ja) 駐車支援装置
JP6613774B2 (ja) 周辺監視装置
WO2018070298A1 (ja) 表示制御装置
JP2020120327A (ja) 周辺表示制御装置
JP6812173B2 (ja) 駐車支援装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
WO2018150642A1 (ja) 周辺監視装置
JP2012056428A (ja) 運転支援装置
JP2017094922A (ja) 周辺監視装置
JP2014004930A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP2019054420A (ja) 画像処理装置
JP7283514B2 (ja) 表示制御装置
WO2018220915A1 (ja) 周辺監視装置
US20200140011A1 (en) Parking assistance apparatus
JP2014004931A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP6642307B2 (ja) 周辺監視装置
JP6610140B2 (ja) 周辺監視装置
JP6606956B2 (ja) 周辺監視装置
JP2014069721A (ja) 周辺監視装置、制御方法、及びプログラム
JP7130923B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851180

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15755285

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851180

Country of ref document: EP

Kind code of ref document: A1