WO2019053922A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2019053922A1
WO2019053922A1 PCT/JP2018/008321 JP2018008321W WO2019053922A1 WO 2019053922 A1 WO2019053922 A1 WO 2019053922A1 JP 2018008321 W JP2018008321 W JP 2018008321W WO 2019053922 A1 WO2019053922 A1 WO 2019053922A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
area
projection
target parking
projection area
Prior art date
Application number
PCT/JP2018/008321
Other languages
English (en)
French (fr)
Inventor
欣司 山本
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201880055229.1A priority Critical patent/CN111066319B/zh
Priority to US16/629,999 priority patent/US10970812B2/en
Publication of WO2019053922A1 publication Critical patent/WO2019053922A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • Embodiments of the present invention relate to an image processing apparatus.
  • a technology has been developed that projects a captured image obtained by imaging the surroundings of a vehicle onto a three-dimensional projection surface, and displays a composite image of the three-dimensional projection surface on which the captured image is projected as viewed from a virtual viewpoint There is.
  • the flat projection plane including the vehicle is narrow in the three-dimensional projection plane, the parking area existing around the vehicle is not projected onto the flat projection plane, and the parking frame for identifying the parking area is distorted.
  • the flat projection surface is too wide, an obstacle at a position away from the vehicle is projected onto the flat projection surface, so that the obstacle is distorted and a composite image having a sense of discomfort is displayed.
  • the image processing apparatus includes, as an example, an acquisition unit that acquires a captured image obtained by imaging the surroundings of the vehicle by an imaging unit mounted on the vehicle, a vehicle, and a first projection area that rises above the vehicle And a display control unit for displaying the composite image on the display unit, and a vehicle on the stereoscopic projection plane.
  • a determination unit for determining a target parking area for parking the vehicle, and at least a portion of the moving path of the vehicle from the position of the vehicle to the target parking area in the first projection area and the target parking area
  • a change unit for changing to a projection area. Therefore, the image processing apparatus according to the present embodiment can display, for example, a composite image in which the target parking area of the vehicle looks natural.
  • the first projection area is located around the second projection area
  • the second projection area includes the vehicle
  • the change unit is the target viewed from the position of the vehicle
  • the second projection area is generally enlarged so that the rear end of the parking area is included in the second projection area. Therefore, the image processing apparatus according to the present embodiment can display, for example, a composite image in which the target parking area of the vehicle looks natural.
  • the changing unit is configured to partially divide the second projection area such that only the target parking area and the movement path in the first projection area are included in the second projection area. Make it bigger. Therefore, the image processing apparatus according to the present embodiment can display, for example, a target image of the vehicle and a composite image in which obstacles around the target parking look natural.
  • the first projection area is located around the second projection area
  • the second projection area includes a vehicle
  • the change unit is an obstacle around the target parking area. If there is no object, the second projection area is enlarged as a whole so that the rear end of the target parking area is included in the second projection area when viewed from the position of the vehicle, and an obstacle around the target parking area If there is, the second projection area is partially enlarged such that only the target parking area in the first projection area and a part of the movement path are included in the second projection area. Therefore, the image processing apparatus according to the present embodiment can display, as an example, a composite image in which the target parking area and the surroundings of the target parking area can be viewed naturally even if the environment around the target parking position of the vehicle changes.
  • the image processing apparatus is a plane projection including only a first map in which coordinates of a three-dimensional projection surface are associated with texture coordinates of a captured image to be projected on the coordinates;
  • a storage unit for storing a second map that associates the coordinates of the plane with the texture coordinates to be projected to the coordinates; and when the target parking area is determined, the coordinates of the movement path in the second projection area of the first map;
  • a map that associates the texture coordinates of the captured image to be projected onto the coordinates is overwritten on the second map that associates the coordinates of the movement path on the planar projection plane with the texture coordinates of the captured image to be projected onto the coordinates, and the first map
  • a transmitter configured to transmit the generated image to the stereoscopic projection plane according to the first map received from the transmitter. Therefore, the image processing apparatus according to the present embodiment can speed up the process of displaying a composite image, as an example.
  • FIG. 1 is a perspective view showing an example of a state in which a part of a cabin of a vehicle equipped with the image processing apparatus according to the first embodiment is seen through.
  • FIG. 2 is a plan view of an example of a vehicle according to the first embodiment.
  • FIG. 3 is a block diagram showing an example of a functional configuration of the vehicle according to the first embodiment.
  • FIG. 4 is a block diagram showing an example of a functional configuration of an ECU of the vehicle according to the first embodiment.
  • FIG. 5 is a flowchart showing an example of the flow of display processing of a composite image by the ECU of the vehicle according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of the process of changing the stereoscopic projection area by the ECU of the vehicle according to the first embodiment.
  • FIG. 1 is a perspective view showing an example of a state in which a part of a cabin of a vehicle equipped with the image processing apparatus according to the first embodiment is seen through.
  • FIG. 2 is a plan
  • FIG. 7 is a diagram for explaining an example of the process of changing the stereoscopic projection area by the ECU of the vehicle according to the first embodiment.
  • FIG. 8 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 9 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment.
  • FIG. 10 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 11 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment.
  • FIG. 8 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 9 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected
  • FIG. 12 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 13 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment.
  • FIG. 14 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 15 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment.
  • FIG. 16 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 17 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment.
  • FIG. 18 is a view showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIG. 19 is an example of a cross-sectional view of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment.
  • FIG. 20 is a diagram for describing an example of projection processing of a captured image in the ECU of the vehicle according to the second embodiment.
  • the vehicle equipped with the image processing apparatus may be an automobile (internal combustion engine automobile) having an internal combustion engine (engine) as a drive source, or an automobile (electric automobile) having an electric motor (motor) as a drive source.
  • a fuel cell vehicle or the like or may be a vehicle (hybrid vehicle) using both of them as a driving source.
  • the vehicle can be equipped with various transmission devices, various devices (systems, parts, etc.) necessary for driving an internal combustion engine and an electric motor.
  • the system, number, layout, and the like of devices related to driving of the wheels in the vehicle can be set variously.
  • FIG. 1 is a perspective view showing an example of a state in which a part of a cabin of a vehicle equipped with the image processing apparatus according to the first embodiment is seen through.
  • the vehicle 1 includes a vehicle body 2, a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a transmission operation unit 7, and a monitor device 11.
  • the vehicle body 2 has a passenger compartment 2a in which a passenger gets on.
  • a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a shift operation unit 7 and the like are provided in the passenger compartment 2a in a state where a driver as a passenger faces the seat 2b.
  • the steering unit 4 is, for example, a steering wheel that protrudes from the dashboard 24.
  • the acceleration operation unit 5 is, for example, an accelerator pedal located under the driver's foot.
  • the braking operation unit 6 is, for example, a brake pedal positioned under the driver's foot.
  • the shift operation unit 7 is, for example, a shift lever that protrudes from the center console.
  • the monitor device 11 is provided, for example, at the center of the dashboard 24 in the vehicle width direction (i.e., the left-right direction).
  • the monitor device 11 may have a function such as a navigation system or an audio system, for example.
  • the monitor device 11 includes a display device 8, an audio output device 9, and an operation input unit 10. Further, the monitor device 11 may have various operation input units such as a switch, a dial, a joystick, and a push button.
  • the display device 8 is configured of an LCD (Liquid Crystal Display), an OELD (Organic Electroluminescent Display), or the like, and can display various images based on image data.
  • the audio output device 9 is configured by a speaker or the like, and outputs various types of audio based on the audio data.
  • the voice output device 9 may be provided at a different position other than the monitor device 11 in the passenger compartment 2a.
  • the operation input unit 10 is configured by a touch panel or the like, and enables an occupant to input various information.
  • the operation input unit 10 is provided on the display screen of the display device 8 and can transmit an image displayed on the display device 8. Thereby, the operation input unit 10 enables the occupant to visually recognize the image displayed on the display screen of the display device 8.
  • the operation input unit 10 receives an input of various information by the occupant by detecting a touch operation of the occupant on the display screen of the display device 8.
  • FIG. 2 is a plan view of an example of a vehicle according to the first embodiment.
  • the vehicle 1 is a four-wheeled vehicle or the like, and has two left and right front wheels 3F and two left and right two rear wheels 3R. All or some of the four wheels 3 are steerable.
  • the vehicle 1 carries a plurality of imaging units 15.
  • the vehicle 1 mounts, for example, four imaging units 15a to 15d.
  • the imaging unit 15 is a digital camera having an imaging element such as a charge coupled device (CCD) or a CMOS image sensor (CIS).
  • the imaging unit 15 can image the periphery of the vehicle 1 at a predetermined frame rate. Then, the imaging unit 15 outputs a captured image obtained by imaging the surroundings of the vehicle 1.
  • the imaging units 15 each have a wide-angle lens or a fish-eye lens, and can image, for example, a range of 140 ° to 220 ° in the horizontal direction.
  • the optical axis of the imaging unit 15 may be set obliquely downward.
  • the imaging unit 15a is located, for example, at the rear end 2e of the vehicle body 2, and is provided on the lower wall of the rear window of the door 2h of the rear hatch. And imaging part 15a can picturize the field of the back of the vehicles 1 concerned among the circumferences of vehicles 1.
  • the imaging unit 15 b is, for example, located at the right end 2 f of the vehicle body 2 and provided on the right side door mirror 2 g. And imaging part 15b can picturize the field of the side of the vehicles 1 concerned among the circumferences of vehicles 1.
  • the imaging unit 15c is located, for example, on the front side of the vehicle body 2, that is, on the end 2c on the front side in the front-rear direction of the vehicle 1, and is provided on a front bumper, a front grille or the like. And imaging part 15c can picturize the field ahead of the vehicles 1 concerned among the circumferences of vehicles 1. As shown in FIG.
  • the imaging unit 15d is located, for example, on the left side of the vehicle body 2, that is, on the end 2d on the left side in the vehicle width direction, and is provided on the left side door mirror 2g. And imaging part 15d can picturize the field of the side of the vehicles 1 concerned among the circumferences of vehicles 1.
  • FIG. 3 is a block diagram showing an example of a functional configuration of the vehicle according to the first embodiment.
  • the vehicle 1 includes a steering system 13, a brake system 18, a steering angle sensor 19, an accelerator sensor 20, a shift sensor 21, a wheel speed sensor 22, an in-vehicle network 23 and an ECU ( Electronic Control Unit) 14.
  • the monitor 11, the steering system 13, the brake system 18, the steering angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the ECU 14 are electrically connected via an in-vehicle network 23 which is a telecommunication line.
  • the in-vehicle network 23 is configured of a CAN (Controller Area Network) or the like.
  • the steering system 13 is an electric power steering system, an SBW (Steer By Wire) system, or the like.
  • the steering system 13 has an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by the ECU 14 or the like, operates the actuator 13 a, applies torque to the steering unit 4 to compensate for the steering force, and steers the wheel 3.
  • the torque sensor 13 b detects the torque that the driver gives to the steering unit 4, and transmits the detection result to the ECU 14.
  • the brake system 18 includes an anti-lock brake system (ABS) that controls locking of the brakes of the vehicle 1, an anti-slip device (ESC: Electronic Stability Control) that suppresses the side-slip of the vehicle 1 during cornering, and an increase in braking force. Includes an electric brake system that assists the brake, and BBW (Brake By Wire).
  • the brake system 18 has an actuator 18a and a brake sensor 18b.
  • the brake system 18 is electrically controlled by the ECU 14 and the like, and applies a braking force to the wheel 3 via the actuator 18a.
  • the brake system 18 detects the lock of the brake, the idle rotation of the wheel 3, and the indication of the side slip, etc. from the difference in rotation of the left and right wheels 3, etc.
  • the brake sensor 18 b is a displacement sensor that detects the position of the brake pedal as the movable portion of the braking operation unit 6, and transmits the detection result of the position of the brake pedal to the ECU 14.
  • the steering angle sensor 19 is a sensor that detects the amount of steering of the steering unit 4 such as a steering wheel.
  • the steering angle sensor 19 is formed of a Hall element or the like, detects the rotation angle of the rotation portion of the steering unit 4 as a steering amount, and transmits the detection result to the ECU 14.
  • the accelerator sensor 20 is a displacement sensor that detects the position of an accelerator pedal as a movable portion of the acceleration operation unit 5, and transmits the detection result to the ECU 14.
  • the shift sensor 21 is a sensor that detects the position of a movable portion (a bar, an arm, a button, or the like) of the transmission operation unit 7, and transmits the detection result to the ECU 14.
  • the wheel speed sensor 22 is a sensor that has a hall element or the like, and detects the amount of rotation of the wheel 3 and the number of rotations of the wheel 3 per unit time, and transmits the detection result to the ECU 14.
  • the ECU 14 projects a captured image obtained by imaging the surroundings of the vehicle 1 by the imaging unit 15 onto a preset projection plane, generates an image of the projection plane viewed from a virtual viewpoint, and generates the generated image. It functions as an example of an image processing device displayed on the display device 8.
  • the ECU 14 is configured by a computer or the like, and controls the entire control of the vehicle 1 by cooperation of hardware and software.
  • the ECU 14 includes a central processing unit (CPU) 14a, a read only memory (ROM) 14b, a random access memory (RAM) 14c, a display control unit 14d, an audio control unit 14e, and a solid state drive (SSD) 14f. Equipped with The CPU 14a, the ROM 14b, and the RAM 14c may be provided in the same circuit board.
  • the CPU 14a reads a program stored in a non-volatile storage device such as the ROM 14b, and executes various arithmetic processing in accordance with the program. For example, the CPU 14a executes image processing or the like on image data to be displayed on the display device 8.
  • the ROM 14 b stores various programs and parameters necessary for the execution of the programs.
  • the RAM 14c temporarily stores various data used in the calculation in the CPU 14a.
  • the display control unit 14d mainly performs image processing on image data acquired from the imaging unit 15 and output to the CPU 14 among the arithmetic processing in the ECU 14, and an image for display that causes the display device 8 to display the image data acquired from the CPU 14a. Execute conversion to data etc.
  • the voice control unit 14 e mainly performs the processing of voice to be acquired from the CPU 14 a and output to the voice output device 9 among the calculation processing in the ECU 14.
  • the SSD 14 f is a rewritable non-volatile storage unit, and keeps storing data acquired from the CPU 14 a even when the power of the ECU 14 is turned off.
  • FIG. 4 is a block diagram showing an example of a functional configuration of an ECU of the vehicle according to the first embodiment.
  • the ECU 14 includes a vehicle state acquisition unit 401, an image acquisition unit 402, a composite image generation unit 403, a vehicle surrounding situation detection unit 404, a target parking area determination unit 405, a projection area change unit 406, and an image output.
  • a unit 407 is provided.
  • a processor such as the CPU 14a mounted on a circuit board executes a program for monitoring a periphery stored in a storage medium such as the ROM 14b or the SSD 14f
  • the ECU 14 acquires a vehicle state acquisition unit 401 and an image acquisition unit 402.
  • the functions of the composite image generation unit 403, the vehicle surrounding condition detection unit 404, the target parking area determination unit 405, the projection area change unit 406, and the image output unit 407 are realized.
  • the vehicle state acquisition unit 401, the image acquisition unit 402, the composite image generation unit 403, the vehicle surrounding situation detection unit 404, the target parking area determination unit 405, the projection area change unit 406, and part or all of the image output unit 407 It may be configured by the hardware of
  • the vehicle state acquisition unit 401 detects the steering amount of the steering unit 4 detected by the steering angle sensor 19, the position of the accelerator pedal detected by the accelerator sensor 20, and the position of the movable portion of the shift operation unit 7 detected by the shift sensor 21.
  • the state of the vehicle 1 is acquired, such as the number of rotations of the wheel 3 detected by the wheel speed sensor 22.
  • the image acquisition unit 402 acquires, from the imaging unit 15, a captured image obtained by imaging the surroundings of the vehicle 1 by the imaging unit 15.
  • the composite image generation unit 403 projects the captured image acquired by the image acquisition unit 402 on a three-dimensional projection plane (hereinafter, referred to as a three-dimensional projection plane).
  • the three-dimensional projection plane is a projection plane including the vehicle 1 and a projection area (hereinafter, referred to as a three-dimensional projection area) rising above the vehicle 1.
  • the three-dimensional projection plane has a projection area horizontal to the vehicle 1 (hereinafter referred to as a plane projection area) and a three-dimensional projection area located around the plane projection area.
  • the composite image generation unit 403 projects the captured image on a stereoscopic projection surface, and generates an image (hereinafter referred to as a composite image) in which the stereoscopic projection surface on which the captured image is projected is viewed from a virtual viewpoint.
  • the vehicle surrounding condition detection unit 404 is a target parking position at which the vehicle 1 is parked based on the captured image and the like acquired by the image acquisition unit 402, a target parking position around the vehicle 1, such as an obstacle existing around the vehicle 1. Detect the situation.
  • the target parking area determination unit 405 determines a target parking area which is an area in which the vehicle 1 is parked on the stereoscopic projection plane.
  • the target parking area is an area corresponding to the target parking position detected by the vehicle surrounding status detection unit 404 on the stereoscopic projection plane.
  • the target parking area is an area for projecting a captured image of the target parking position (a captured image obtained by imaging the target parking position of the vehicle 1 by the imaging unit 15) on the stereoscopic projection plane.
  • the image output unit 407 functions as an example of a display control unit that outputs the composite image generated by the composite image generation unit 403 to the display device 8 and causes the display device 8 to display the composite image.
  • the projection area changing unit 406 changes at least a part of the movement path of the vehicle 1 in the stereoscopic projection area and the target parking area to a plane projection area.
  • the movement path is a path along which the vehicle 1 moves from the position of the vehicle 1 to the target parking area.
  • the captured image of the movement path of the vehicle 1 is projected on a flat projection plane, and it is possible to prevent the target parking area (for example, parking frame) of the vehicle 1 from being distorted or not projected on the stereoscopic projection plane. Therefore, it is possible to display a composite image in which the target parking area of the vehicle 1 looks natural.
  • FIG. 5 is a flowchart showing an example of the flow of display processing of a composite image by the ECU of the vehicle according to the first embodiment.
  • the image acquisition unit 402 acquires a display instruction for instructing display of a composite image from the operation input unit 10 or the like (step S501).
  • the image acquisition unit 402 acquires a captured image obtained by imaging the surroundings of the vehicle 1 by the imaging unit 15 from the imaging unit 15 (step S503).
  • the image acquisition unit 402 acquires a captured image obtained by imaging the surroundings of the vehicle 1 by the imaging unit 15 at the current position of the vehicle 1.
  • the composite image generation unit 403 projects the acquired captured image onto a stereoscopic projection surface, and generates a composite image in which the stereoscopic projection surface is viewed from a preset virtual viewpoint (step S504).
  • the composite image generation unit 403 transforms each coordinate in the acquired captured image (hereinafter, referred to as texture coordinate) into coordinates in the stereoscopic projection plane by projective transformation.
  • the composite image generation unit 403 projects an image of each texture coordinate in the acquired captured image on a position on the stereoscopic projection plane, which is a coordinate represented by projection conversion from the texture coordinate.
  • the composite image generation unit 403 projects the captured image on the stereoscopic projection plane.
  • the vehicle surrounding condition detecting unit 404 detects the condition around the vehicle 1 such as the target parking position based on the captured image and the like acquired by the image acquiring unit 402 (step S505). Further, the target parking area determination unit 405 determines a target parking area corresponding to the target parking position detected by the vehicle surrounding status detection unit 404 on the stereoscopic projection surface (step S506). Next, the composite image generation unit 403 determines whether the determined target parking area is included in the stereoscopic projection area (step S507). Then, when the determined target parking area is not included in the stereoscopic projection area (Step S507: No), the image output unit 407 causes the display device 8 to display the composite image generated by the composite image generation unit 403 (Step S508).
  • the composite image generation unit 403 changes the moving path of the vehicle 1 in the stereoscopic projection area and the target parking area to a plane projection area (Step S509). Then, the composite image generation unit 403 reprojects the captured image on the three-dimensional projection surface after changing the three-dimensional projection area, and generates a composite image in which the three-dimensional projection surface reprojected from the captured image is viewed from a virtual viewpoint. (Step S510). Thereafter, the image output unit 407 causes the display device 8 to display the composite image generated by the composite image generation unit 403 (step S508).
  • FIG. 6 is a diagram for explaining an example of the process of changing the stereoscopic projection area by the ECU of the vehicle according to the first embodiment.
  • one direction parallel to the plane projection area R2 is taken as the Z direction
  • a direction parallel to the plane projection area R2 and orthogonal to the Z direction is taken as the X direction
  • a direction perpendicular to the plane projection area R2 is taken as the Y direction I assume.
  • the composite image generation unit 403 generates in advance a stereoscopic projection surface R including a planar projection region R2 and a stereoscopic projection region R1.
  • the plane projection area R2 is a flat projection area having a circular shape (such as a perfect circle or an ellipse) centered on the position P of the vehicle 1.
  • the plane projection area R2 is a circular projection area.
  • the present invention is not limited to this, and may be, for example, a flat polygon projection area.
  • the three-dimensional projection area R1 is a projection area that gradually rises in the Y direction (above the plane projection area R2) away from the plane projection area R2 from the end (outer edge) of the plane projection area R2 with respect to the plane projection area R2.
  • the stereoscopic projection area R1 is a curved surface which rises in an elliptical or parabolic shape in the Y direction from the outer edge of the plane projection area R2. That is, the composite image generation unit 403 generates a bowl-shaped three-dimensional surface including the position P of the vehicle 1 as a stereoscopic projection surface R. Next, the composite image generation unit 403 projects the captured image acquired by the image acquisition unit 402 on the generated stereoscopic projection surface R.
  • the vehicle surrounding condition detection unit 404 detects a target parking position of the vehicle 1 based on a captured image or the like acquired by the image acquisition unit 402. Then, as shown in FIG. 6, the target parking area determination unit 405 determines a target parking area TR corresponding to the target parking position detected by the vehicle surrounding status detection unit 404 on the stereoscopic projection surface R. Next, as shown in FIG. 6, when the determined target parking area TR is included in the stereoscopic projection area R1, the projection area changing unit 406 views the target parking area with reference to the position P of the vehicle 1 in the stereoscopic projection area R1. The radius of the plane projection area R2 is increased so that the far end E of the TR is included in the plane projection area R2.
  • the projection area changing unit 406 includes the end E on the back side of the target parking area TR in the plane projection area R2 as viewed from the position P of the vehicle 1 by increasing the radius of the plane projection area R2.
  • the end E on the back side of the target parking area TR seen from the position P of the vehicle 1 can be included in the plane projection area R2 by enlarging (enlarging) the plane projection area R2 as a whole. It is not limited to
  • FIG. 7 is a diagram for explaining an example of the process of changing the stereoscopic projection area by the ECU of the vehicle according to the first embodiment.
  • one direction parallel to the plane projection area R2 is taken as the Z direction
  • a direction parallel to the plane projection area R2 and orthogonal to the Z direction is taken as the X direction
  • a direction perpendicular to the plane projection area R2 is taken as the Y direction I assume.
  • the composite image generation unit 403 projects the captured image acquired by the image acquisition unit 402 on the stereoscopic projection surface R generated in advance, as in FIG.
  • the vehicle surrounding condition detection unit 404 detects a target parking position of the vehicle 1 based on the captured image and the like acquired by the image acquisition unit 402. Then, as shown in FIG. 7, the target parking area determination unit 405 determines a target parking area TR corresponding to the target parking position detected by the vehicle surrounding status detection unit 404 on the stereoscopic projection surface R.
  • the projection area changing unit 406 includes only the target parking area TR in the stereoscopic projection area R1 in the planar projection area R2.
  • the planar projection area R2 is partially enlarged (expanded).
  • the composite image generation unit 403 sets an area other than the target parking area TR in the stereoscopic projection area R1 into the stereoscopic projection area R1.
  • the planar projection area R2 is expanded so that the target parking area TR is included in the planar projection area R2.
  • the target parking area is projected onto the flat parking area R2 while the captured image of the target parking area TR is projected.
  • a captured image of a three-dimensional obstacle projected onto a region adjacent to the TR can be projected onto the three-dimensional projection region R1.
  • the projection area changing unit 406 changes the entire target parking area TR in the stereo projection area R1 to the plane projection area R2, but at least a part of the target parking area TR and the movement path in the stereo projection area R1.
  • the plane projection area R2 may be expanded so that only the plane projection area R2 is included in the plane projection area R2.
  • the projection area changing unit 406 can also switch the method of changing the stereoscopic projection area R1 to the planar projection area R2 according to whether or not an obstacle exists around the determined target parking area TR. . Specifically, when there is no obstacle around the target parking area TR, the projection area changing unit 406 sees from the position P of the vehicle 1 and the far end E of the target parking area TR is a plane projection area R2 To expand the planar projection area R2. On the other hand, when there is an obstacle around the target parking area TR, the projection area changing unit 406 causes only the target parking area TR in the stereoscopic projection area R1 and at least a part of the movement path to be included in the plane projection area R2. , Expand the plane projection area R2. As a result, even if the environment around the target parking position of the vehicle 1 changes, it is possible to display the target parking area TR and a composite image in which the surroundings of the target parking area TR look natural.
  • the projection area changing unit 406 reduces the plane projection area R2 when an area farther (ahead) than the target parking area TR is included in the plane projection area R2 when viewed from the vehicle 1 on the stereoscopic projection plane R. It is also possible. Specifically, the projection area changing unit 406 sets the plane projection area R2 so that the end E on the back side of the target parking area TR as viewed from the vehicle 1 coincides with the end of the plane projection area R2 on the stereoscopic projection surface R. To reduce As a result, it is possible to project an area farther from the target parking area TR onto the stereoscopic projection area R1 while projecting a captured image of the target parking area TR onto the plane projection area R2.
  • FIGS. 8, 10, and 12 are views showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIGS. 9, 11 and 13 are examples of cross-sectional views of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment. 9, 11 and 13, the horizontal axis represents the distance from the position of the vehicle 1 to each point in the stereoscopic projection plane in the XZ plane parallel to the X direction and the Z direction, and the vertical axis represents the stereoscopic projection plane It represents the height of each point (ie, the coordinate in the Y direction).
  • the composite image generation unit 403 has a circular plane projection area with a radius of 5000 mm centering on the position of the vehicle 1, and a stereographic projection standing up in the Y direction from the outer edge of the plane projection area.
  • the captured image is projected onto a stereoscopic projection plane including a region.
  • the stereoscopic projection plane rises in the Y direction from the near side of the target parking area, and the captured image of the target parking area is projected onto the stereoscopic projection plane. Therefore, as shown in FIG. 8, the target parking area TR (for example, the parking frame W included in the target parking area TR) included in the composite image G displayed on the display device 8 is distorted, and the target of the vehicle 1 is The composite image G in which the parking area TR looks natural can not be displayed.
  • the composite image generation unit 403 has a circular plane projection area with a radius of 30000 mm centering on the position of the vehicle 1 and a stereographic projection that rises in the Y direction from the outer edge of the plane projection area.
  • the captured image is projected onto a stereoscopic projection plane including a region.
  • the target parking area is projected onto a flat projection surface.
  • three-dimensional obstacles such as other vehicles located farther than the target parking area are also projected onto the flat projection surface. Therefore, as shown in FIG.
  • the projection area changing unit 406 enlarges the plane projection area so that the rear end of the target parking area is included in the plane projection area when viewed from the position of the vehicle 1.
  • the composite image generation unit 403 includes a three-dimensional projection plane including a circular plane projection area with a radius of 7000 mm centered on the position of the vehicle 1 and a three-dimensional projection area rising in the Y direction from the outer edge of the plane projection area. Project the captured image to In this case, on the three-dimensional projection plane, the target parking area is included in the plane projection area, and the three-dimensional obstacle distant from the target parking area is projected to the three-dimensional projection area when viewed from the position of the vehicle 1 . Thereby, as shown in FIG.
  • the target parking area TR included in the composite image G displayed on the display device 8 is not distorted, and an image of a three-dimensional obstacle existing in the distance is included in the composite image G. As a result, it is possible to display the composite image G in which the target parking area TR of the vehicle 1 and its surroundings look natural.
  • FIGS. 14, 16 and 18 are views showing an example of a composite image displayed by the ECU of the vehicle according to the first embodiment.
  • FIGS. 15, 17 and 19 are examples of cross-sectional views of a stereoscopic projection plane on which a captured image is projected by the ECU of the vehicle according to the first embodiment. 15, 17, 19, the horizontal axis represents the distance from the position of the vehicle 1 to each point in the stereoscopic projection plane in the XZ plane parallel to the X direction and the Z direction, and the vertical axis represents the stereoscopic projection plane It represents the height of each point (ie, the coordinate in the Y direction).
  • the composite image generation unit 403 has a circular plane projection area with a radius of 5000 mm centering on the position of the vehicle 1 and a stereographic projection standing up in the Y direction from the outer edge of the plane projection area.
  • the captured image is projected onto a stereoscopic projection plane including a region.
  • the stereoscopic projection plane rises in the Y direction from the front of the target parking area, and the target parking area is projected onto the stereoscopic projection plane. Therefore, as shown in FIG.
  • the other vehicles C existing around the target parking area TR are displayed naturally, but the target parking area TR (for example, parking The frame W is distorted, and the composite image G in which the target parking area TR of the vehicle 1 looks natural can not be displayed.
  • the composite image generation unit 403 has a circular plane projection area with a radius of 30000 mm centering on the position of the vehicle 1 and a stereographic projection standing up in the Y direction from the outer edge of the plane projection area.
  • the captured image is projected onto a stereoscopic projection plane including a region.
  • the target parking area is included in the plane projection area, and the target parking area is projected on the flat projection plane.
  • other vehicles present around the target parking area and three-dimensional obstacles located farther from the target parking area TR when viewed from the position of the vehicle 1 are also projected onto the flat projection surface. Therefore, as shown in FIG.
  • the projection area changing unit 406 expands the plane projection area so that only the target parking area TR in the stereoscopic projection area is included in the plane projection area. Then, the composite image generation unit 403 projects the captured image on a stereoscopic projection plane in which the planar projection area is expanded. In this case, a three-dimensional obstacle located farther than the target parking area as viewed from the periphery of the target parking area and the position of the vehicle 1 is projected onto the stereoscopic projection area. Thereby, as shown in FIG.
  • the target parking area TR (for example, the parking frame W) included in the composite image G displayed on the display device 8 is not distorted, and the periphery of the target parking area TR (for example, other Since the vehicle C) and a three-dimensional obstacle distant from the target parking area TR can be included in the composite image G, it is possible to display the target parking area TR of the vehicle 1 and the composite image G where the surroundings look natural .
  • the target parking area of the vehicle 1 and the moving path of the vehicle 1 are projected on a flat projection surface, and the target parking area of the vehicle 1
  • the target parking area of the vehicle 1 For example, since it is possible to prevent the parking frame from being distorted or not projected, it is possible to display a composite image in which the target parking area of the vehicle 1 looks natural.
  • a 3D correspondence map for correlating coordinates of a three-dimensional projection surface with texture coordinates of a captured image to be projected at the coordinates, and coordinates at a coordinate of a plane projection surface consisting only of a projection plane horizontal to the vehicle and the coordinates are projected.
  • This is an example of projecting a captured image on a stereoscopic projection plane using a 2D map that associates texture coordinates of the captured image.
  • the description of the same configuration as that of the first embodiment is omitted.
  • FIG. 20 is a diagram for describing an example of projection processing of a captured image in the ECU of the vehicle according to the second embodiment.
  • the ROM 14 b is a storage unit that stores the 3D map M1 and the 2D map M2.
  • the 3D map M1 is a map that associates the coordinates of the stereoscopic projection plane with the texture coordinates of the captured image projected onto the coordinates.
  • the 2D map M2 is a map that associates the coordinates of a plane projection plane consisting only of a projection plane horizontal to the vehicle 1 with the texture coordinates of a captured image projected onto the coordinates.
  • the projection area changing unit 406 determines the coordinates of the movement path in the stereoscopic projection area in the 3D map M1.
  • the map for correlating the texture coordinates of the captured image projected to the coordinates is overwritten with the 2D map M2 for correlating the coordinates of the movement path on the plane projection plane with the texture coordinates of the captured image projected to the coordinates.
  • the projection area changing unit 406 transmits the 3D map M1 overwritten by the 2D map M2 to the composite image generation unit 403.
  • the projection area changing unit 406 when the target parking area is not determined (that is, when the parking assistance process of the vehicle 1 is not executed), performs the 3D map M1 stored in the ROM 14b, It transmits to the composite image generation part 403, without performing overwrite by 2D map M2. This eliminates the need to calculate the coordinates in the stereoscopic projection plane and the texture coordinates of the captured image to be projected to the coordinates each time the composite image is displayed, thereby speeding up the display processing of the composite image.
  • the composite image generation unit 403 projects the captured image acquired by the image acquisition unit 402 on the stereoscopic projection plane according to the 3D map M1 received from the projection area changing unit 406. Specifically, the composite image generation unit 403 specifies, for each pixel included in the captured image, the coordinates of the stereoscopic projection plane associated with the texture coordinates of the pixel in the 3D map M1. Then, the composite image generation unit 403 projects the captured image on the stereoscopic projection plane by projecting the pixel on the position of the specified coordinate on the stereoscopic projection plane.
  • the vehicle 1 of the second embodiment it is not necessary to calculate the coordinates in the stereoscopic projection plane and the texture coordinates of the captured image to be projected on the coordinates each time the composite image is displayed. , Can speed up the display process of the composite image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

実施形態の画像処理装置は、一例として、車両が搭載する撮像部により車両の周囲を撮像して得られる撮像画像を取得する取得部と、車両と当該車両の上方に立ち上がる第１投影領域とを含む立体投影面に対して撮像画像を投影し、かつ立体投影面を仮想視点から見た合成画像を生成する生成部と、合成画像を表示部に表示させる表示制御部と、立体投影面において車両を駐車する目標駐車領域を決定する決定部と、第１投影領域における、車両の位置から目標駐車領域までの車両の移動経路および目標駐車領域の少なくとも一部を、車両に対して水平な第２投影領域に変更する変更部と、を備える。

Description

画像処理装置
　本発明の実施形態は、画像処理装置に関する。
　車両の周囲を撮像して得られる撮像画像を、立体的な投影面に投影し、撮像画像が投影された立体的な投影面を、仮想視点から見た合成画像を表示する技術が開発されている。
特許第５２９２８７４号公報 特許第３３００３３４号公報
　しかしながら、立体的な投影面において車両を含む平坦な投影面が狭い場合、車両の周囲に存在する駐車領域が平坦な投影面に投影されず、駐車領域を特定可能とする駐車枠が歪んでしまう。一方、当該平坦な投影面が広すぎる場合、車両から離れた位置の障害物が平坦な投影面に投影されるため、当該障害物が歪み、違和感のある合成画像が表示される。
　実施形態の画像処理装置は、一例として、車両が搭載する撮像部により車両の周囲を撮像して得られる撮像画像を取得する取得部と、車両と当該車両の上方に立ち上がる第１投影領域とを含む立体投影面に対して撮像画像を投影し、かつ立体投影面を仮想視点から見た合成画像を生成する生成部と、合成画像を表示部に表示させる表示制御部と、立体投影面において車両を駐車する目標駐車領域を決定する決定部と、第１投影領域における、車両の位置から目標駐車領域までの車両の移動経路および目標駐車領域の少なくとも一部を、車両に対して水平な第２投影領域に変更する変更部と、を備える。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車領域が自然に見える合成画像を表示できる。
　また、実施形態の画像処理装置は、一例として、第１投影領域は、第２投影領域の周囲に位置し、第２投影領域は、車両を含み、変更部は、車両の位置から見て目標駐車領域の奥側の端が第２投影領域に含まれるように、第２投影領域を全体的に大きくする。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車領域が自然に見える合成画像を表示できる。
　また、実施形態の画像処理装置は、一例として、変更部は、第１投影領域における目標駐車領域および移動経路の少なくとも一部のみが第２投影領域に含まれるように、第２投影領域を部分的に大きくする。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車および目標駐車の周囲の障害物が自然に見える合成画像を表示できる。
　また、実施形態の画像処理装置は、一例として、第１投影領域は、第２投影領域の周囲に位置し、第２投影領域は、車両を含み、変更部は、目標駐車領域の周囲に障害物が存在しない場合、車両の位置から見て目標駐車領域の奥側の端が第２投影領域に含まれるように、第２投影領域を全体的に大きくし、目標駐車領域の周囲に障害物が存在する場合、第１投影領域における目標駐車領域および移動経路の一部のみが第２投影領域に含まれるように、第２投影領域を部分的に大きくする。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車位置の周囲の環境が変わっても、目標駐車領域および当該目標駐車領域の周囲が自然に見える合成画像を表示できる。
　また、実施形態の画像処理装置は、一例として、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける第１マップと、車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影するテクスチャ座標とを対応付ける第２マップと、を記憶する記憶部と、目標駐車領域が決定した場合、第１マップのうち、第２投影領域における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップを、平面投影面における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける第２マップに上書きして、第１マップを生成部に送信する送信部と、をさらに備え、生成部は、送信部から受信する第１マップに従って、撮像画像を立体投影面に投影する。よって、本実施形態の画像処理装置は、一例として、合成画像の表示処理を高速化できる。
図１は、第１の実施形態にかかる画像処理装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例の平面図である。 図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、第１の実施形態にかかる車両が有するＥＣＵによる合成画像の表示処理の流れの一例を示すフローチャートである。 図６は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。 図７は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。 図８は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図９は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１０は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１１は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１２は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１３は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１４は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１５は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１６は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１７は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１８は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１９は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図２０は、第２の実施形態にかかる車両が有するＥＣＵにおける撮像画像の投影処理の一例を説明するための図である。
　以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
　本実施形態にかかる画像処理装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
（第１の実施形態）
　図１は、第１の実施形態にかかる画像処理装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。
　モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。
　表示装置８は、ＬＣＤ（Liquid　Crystal　Display）やＯＥＬＤ（Organic　Electroluminescent　Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。
　操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。
　図２は、第１の実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。
　車両１は、複数の撮像部１５を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge　Coupled　Device）またはＣＩＳ（CMOS　Image　Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。
　具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。
　図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic　Control　Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller　Area　Network）等により構成される。
　操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer　By　Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。
　ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock　Brake　System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic　Stability　Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake　By　Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。
　舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。
　シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。
　ＥＣＵ１４は、撮像部１５により車両１の周囲を撮像して得られる撮像画像を予め設定された投影面に投影し、当該投影面を、仮想視点から見た画像を生成し、当該生成した画像を表示装置８に表示させる画像処理装置の一例として機能する。ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central　Processing　Unit）１４ａ、ＲＯＭ（Read　Only　Memory）１４ｂ、ＲＡＭ（Random　Access　Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid　State　Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。
　ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理等を実行する。
　ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。
　図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、車両状態取得部４０１、画像取得部４０２、合成画像生成部４０３、車両周囲状況検出部４０４、目標駐車領域決定部４０５、投影領域変更部４０６、および画像出力部４０７を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ＥＣＵ１４は、車両状態取得部４０１、画像取得部４０２、合成画像生成部４０３、車両周囲状況検出部４０４、目標駐車領域決定部４０５、投影領域変更部４０６、および画像出力部４０７の機能を実現する。車両状態取得部４０１、画像取得部４０２、合成画像生成部４０３、車両周囲状況検出部４０４、目標駐車領域決定部４０５、投影領域変更部４０６、および画像出力部４０７の一部または全部を回路等のハードウェアによって構成しても良い。
　車両状態取得部４０１は、舵角センサ１９により検出される操舵部４の操舵量、アクセルセンサ２０により検出されるアクセルペダルの位置、シフトセンサ２１により検出される変速操作部７の可動部の位置、車輪速センサ２２により検出される車輪３の回転数など、車両１の状態を取得する。画像取得部４０２は、撮像部１５から、車両１の周囲を当該撮像部１５により撮像して得られる撮像画像を取得する。
　合成画像生成部４０３は、画像取得部４０２により取得した撮像画像を、立体的な投影面（以下、立体投影面と言う）に対して投影する。ここで、立体投影面は、車両１と、当該車両１の上方に立ち上がる投影領域（以下、立体投影領域と言う）と、を含む投影面である。本実施形態では、立体投影面は、車両１に対して水平な投影領域（以下、平面投影領域と言う）と、当該平面投影領域の周囲に位置する立体投影領域と、を有する。そして、合成画像生成部４０３は、撮像画像を立体投影面に投影し、撮像画像を投影した立体投影面を、仮想視点から見た画像（以下、合成画像と言う）を生成する。
　車両周囲状況検出部４０４は、画像取得部４０２により取得した撮像画像等に基づいて、車両１を駐車する位置である目標駐車位置、車両１の周囲に存在する障害物など、車両１の周囲の状況を検出する。目標駐車領域決定部４０５は、立体投影面における、車両１を駐車する領域である目標駐車領域を決定する。ここで、目標駐車領域は、立体投影面において、車両周囲状況検出部４０４により検出される目標駐車位置に対応する領域である。具体的には、目標駐車領域は、立体投影面において、目標駐車位置の撮像画像（撮像部１５により車両１の目標駐車位置を撮像して得られる撮像画像）を投影する領域である。
　画像出力部４０７は、合成画像生成部４０３により生成された合成画像を表示装置８に出力して、合成画像を表示装置８に表示させる表示制御部の一例として機能する。投影領域変更部４０６は、立体投影領域における車両１の移動経路および目標駐車領域の少なくとも一部を、平面投影領域に変更する。ここで、移動経路は、車両１の位置から目標駐車領域までに車両１が移動する経路である。これにより、車両１の移動経路の撮像画像が平坦な投影面に投影され、立体投影面において、車両１の目標駐車領域（例えば、駐車枠）が歪んだり、投影されなかったりすることを防止できるので、車両１の目標駐車領域が自然に見える合成画像を表示できる。
　次に、図５を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による合成画像の表示処理の流れの一例について説明する。図５は、第１の実施形態にかかる車両が有するＥＣＵによる合成画像の表示処理の流れの一例を示すフローチャートである。
　本実施形態では、画像取得部４０２は、操作入力部１０等から、合成画像の表示を指示する表示指示を取得する（ステップＳ５０１）。表示指示を取得した場合（ステップＳ５０２：Ｙｅｓ）、画像取得部４０２は、撮像部１５から、当該撮像部１５によって車両１の周囲を撮像して得られる撮像画像を取得する（ステップＳ５０３）。例えば、画像取得部４０２は、車両１の現在位置において、車両１の周囲を撮像部１５により撮像して得られる撮像画像を取得する。
　次に、合成画像生成部４０３は、取得した撮像画像を立体投影面に投影し、かつ当該立体投影面を予め設定された仮想視点から見た合成画像を生成する（ステップＳ５０４）。本実施形態では、合成画像生成部４０３は、取得した撮像画像内の各座標（以下、テクスチャ座標と言う）を、射影変換によって、立体投影面内の座標に変換する。そして、合成画像生成部４０３は、取得した撮像画像内の各テクスチャ座標の画像を、立体投影面において、当該テクスチャ座標から射影変換された座標が表す位置に投影する。これにより、合成画像生成部４０３は、撮像画像を立体投影面に投影する。
　車両周囲状況検出部４０４は、画像取得部４０２により取得した撮像画像等に基づいて、目標駐車位置等の車両１の周囲の状況を検出する（ステップＳ５０５）。また、目標駐車領域決定部４０５は、立体投影面において、車両周囲状況検出部４０４により検出された目標駐車位置に対応する目標駐車領域を決定する（ステップＳ５０６）。次いで、合成画像生成部４０３は、決定した目標駐車領域が、立体投影領域に含まれるか否かを判断する（ステップＳ５０７）。そして、決定した目標駐車領域が、立体投影領域に含まれない場合（ステップＳ５０７：Ｎｏ）、画像出力部４０７は、合成画像生成部４０３により生成された合成画像を表示装置８に表示させる（ステップＳ５０８）。
　一方、決定した目標駐車領域が立体投影領域に含まれる場合（ステップＳ５０７：Ｙｅｓ）、合成画像生成部４０３は、立体投影領域における車両１の移動経路および目標駐車領域を平面投影領域に変更する（ステップＳ５０９）。そして、合成画像生成部４０３は、立体投影領域を変更後の立体投影面に対して撮像画像を投影し直し、かつ撮像画像を投影し直した立体投影面を仮想視点から見た合成画像を生成する（ステップＳ５１０）。その後、画像出力部４０７は、合成画像生成部４０３により生成された合成画像を表示装置８に表示させる（ステップＳ５０８）。
　次に、図６を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による立体投影領域の変更処理の一例について説明する。図６は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。図６において、平面投影領域Ｒ２と平行な１つの方向をＺ方向とし、平面投影領域Ｒ２と平行かつＺ方向と直交する方向をＸ方向とし、平面投影領域Ｒ２に対して垂直な方向をＹ方向とする。
　例えば、合成画像生成部４０３は、図６に示すように、平面投影領域Ｒ２と立体投影領域Ｒ１とを含む立体投影面Ｒを予め生成する。平面投影領域Ｒ２は、車両１の位置Ｐを中心とする円形（正円や楕円など）の平坦な投影領域である。本実施形態では、平面投影領域Ｒ２を円形の投影領域としているが、これに限定するものではなく、例えば、多角形の平坦な投影領域であっても良い。立体投影領域Ｒ１は、平面投影領域Ｒ２を基準として、平面投影領域Ｒ２の端（外縁）から、平面投影領域Ｒ２から離れるに従ってＹ方向（平面投影領域Ｒ２の上方）に徐々に立ち上がる投影領域である。具体的には、立体投影領域Ｒ１は、平面投影領域Ｒ２の外縁から、Ｙ方向に楕円状または放物線状に立ち上がる曲面である。すなわち、合成画像生成部４０３は、車両１の位置Ｐを含むお椀型の三次元の面を立体投影面Ｒとして生成する。次いで、合成画像生成部４０３は、生成した立体投影面Ｒに対して、画像取得部４０２により取得した撮像画像を投影する。
　また、車両周囲状況検出部４０４は、画像取得部４０２により取得される撮像画像等に基づいて、車両１の目標駐車位置を検出する。そして、目標駐車領域決定部４０５は、図６に示すように、立体投影面Ｒにおいて、車両周囲状況検出部４０４により検出された目標駐車位置に対応する目標駐車領域ＴＲを決定する。次いで、投影領域変更部４０６は、図６に示すように、決定した目標駐車領域ＴＲが立体投影領域Ｒ１に含まれる場合、立体投影領域Ｒ１における、車両１の位置Ｐから見て当該目標駐車領域ＴＲの奥側の端Ｅが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２の半径を大きくする。本実施形態では、投影領域変更部４０６は、平面投影領域Ｒ２の半径を大きくすることによって、車両１の位置Ｐから見て目標駐車領域ＴＲの奥側の端Ｅを平面投影領域Ｒ２に含めているが、平面投影領域Ｒ２を全体的に大きく（拡大）することによって、車両１の位置Ｐから見て目標駐車領域ＴＲの奥側の端Ｅを平面投影領域Ｒ２に含めるものであれば、これに限定するものではない。
　これにより、車両１の移動経路および目標駐車領域ＴＲの撮像画像を、平坦な平面投影領域Ｒ２に投影することができ、立体投影面Ｒにおいて、車両１の目標駐車位置を特定可能とする画像（例えば、駐車枠）が歪んだり、投影されなかったりすることを防止できる。その結果、車両１の目標駐車領域ＴＲが自然に見える合成画像を表示できる。
　次に、図７を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による立体投影領域の変更処理の他の例について説明する。図７は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。図７において、平面投影領域Ｒ２と平行な１つの方向をＺ方向とし、平面投影領域Ｒ２と平行かつＺ方向と直交する方向をＸ方向とし、平面投影領域Ｒ２に対して垂直な方向をＹ方向とする。
　例えば、合成画像生成部４０３は、図７に示すように、図６と同様にして、予め生成した立体投影面Ｒに対して、画像取得部４０２により取得した撮像画像を投影する。また、車両周囲状況検出部４０４は、画像取得部４０２により取得した撮像画像等に基づいて、車両１の目標駐車位置を検出する。そして、目標駐車領域決定部４０５は、図７に示すように、立体投影面Ｒにおいて、車両周囲状況検出部４０４により検出された目標駐車位置に対応する目標駐車領域ＴＲを決定する。
　次いで、投影領域変更部４０６は、図７に示すように、決定した目標駐車領域ＴＲが立体投影領域Ｒ１に含まれる場合、立体投影領域Ｒ１における目標駐車領域ＴＲのみが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を部分的に大きく（拡張）する。言い換えると、合成画像生成部４０３は、図７に示すように、決定した目標駐車領域ＴＲが立体投影領域Ｒ１に含まれる場合、立体投影領域Ｒ１における目標駐車領域ＴＲ以外の領域を立体投影領域Ｒ１に保持しつつ、当該目標駐車領域ＴＲが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡張する。
　以上により、目標駐車領域ＴＲに隣接する領域に他の車両等の立体的な障害物が存在する場合に、目標駐車領域ＴＲの撮像画像を平坦な平面投影領域Ｒ２に投影しつつ、目標駐車領域ＴＲに隣接する領域に投影される立体的な障害物の撮像画像を立体投影領域Ｒ１に投影できる。これにより、立体投影面Ｒに投影される障害物の画像が長く間延びした画像とならずに、車両１の目標駐車領域ＴＲ（例えば、駐車枠）が歪むことを防止できる。その結果、車両１の目標駐車領域ＴＲおよび目標駐車領域ＴＲの周囲の障害物が自然に見える合成画像を表示できる。本実施形態では、投影領域変更部４０６は、立体投影領域Ｒ１における目標駐車領域ＴＲ全体を平面投影領域Ｒ２に変更しているが、立体投影領域Ｒ１における目標駐車領域ＴＲおよび移動経路の少なくとも一部のみが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡張するものであれば良い。
　また、投影領域変更部４０６は、決定した目標駐車領域ＴＲの周囲に障害物が存在するか否かに応じて、立体投影領域Ｒ１を平面投影領域Ｒ２に変更する方法を切り替えることも可能である。具体的には、投影領域変更部４０６は、目標駐車領域ＴＲの周囲に障害物が存在しない場合、車両１の位置Ｐから見て当該目標駐車領域ＴＲの奥側の端Ｅが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡大する。一方、投影領域変更部４０６は、目標駐車領域ＴＲの周囲に障害物が存在する場合、立体投影領域Ｒ１における目標駐車領域ＴＲおよび移動経路の少なくとも一部のみが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡張する。これにより、車両１の目標駐車位置の周囲の環境が変わっても、目標駐車領域ＴＲおよび当該目標駐車領域ＴＲの周囲が自然に見える合成画像を表示できる。
　また、投影領域変更部４０６は、立体投影面Ｒにおいて、車両１から見て、目標駐車領域ＴＲよりも遠方（先）の領域が平面投影領域Ｒ２に含まれる場合、平面投影領域Ｒ２を縮小することも可能である。具体的には、投影領域変更部４０６は、立体投影面Ｒにおいて、車両１から見て目標駐車領域ＴＲの奥側の端Ｅが平面投影領域Ｒ２の端と一致するように、平面投影領域Ｒ２を縮小する。これにより、目標駐車領域ＴＲの撮像画像を平面投影領域Ｒ２に投影しつつ、目標駐車領域ＴＲより遠方の領域を立体投影領域Ｒ１に投影することが可能となる。
　次に、図８～１３を用いて、本実施形態にかかる車両１が有するＥＣＵ１４によって表示される合成画像の一例について説明する。図８，１０，１２は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。図９，１１，１３は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。図９，１１，１３において、横軸は、Ｘ方向およびＺ方向に平行なＸＺ面における、車両１の位置からの立体投影面内の各点までの距離を表し、縦軸は、立体投影面内の各点の高さ（すなわち、Ｙ方向の座標）を表す。
　例えば、合成画像生成部４０３は、図９に示すように、車両１の位置を中心とする半径５０００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、車両１の位置から見て、目標駐車領域の手前から立体投影面がＹ方向に立ち上がり、目標駐車領域の撮像画像が立体的な投影面に投影される。そのため、図８に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、目標駐車領域ＴＲに含まれる駐車枠Ｗ）が歪曲してしまい、車両１の目標駐車領域ＴＲが自然に見える合成画像Ｇを表示できない。
　また、合成画像生成部４０３は、図１１に示すように、車両１の位置を中心とする半径３００００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、目標駐車領域が平坦な投影面に投影される。しかしながら、車両１の位置から見て、目標駐車領域よりも遠方に存在する他の車両等の立体的な障害物も平坦な投影面に投影される。そのため、図１０に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、駐車枠Ｗ）に歪曲は発生しないが、遠方に存在する立体的な障害物の画像が合成画像Ｇに含まれなくなり、車両１の目標駐車領域ＴＲおよびその周囲を特定可能とする合成画像Ｇを表示できない。
　そこで、投影領域変更部４０６は、図１３に示すように、車両１の位置から見て目標駐車領域の奥側の端が平面投影領域に含まれるように、平面投影領域を拡大する。そして、合成画像生成部４０３は、車両１の位置を中心とする半径７０００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、立体投影面において、目標駐車領域が平面投影領域に含まれ、かつ車両１の位置から見て、目標駐車領域よりも遠方に存在する立体的な障害物は立体投影領域に投影される。これにより、図１２に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲが歪曲せず、遠方に存在する立体的な障害物の画像を合成画像Ｇに含めることができるので、車両１の目標駐車領域ＴＲおよびその周囲が自然に見える合成画像Ｇを表示できる。
　次に、図１４～１９を用いて、本実施形態にかかる車両１が有するＥＣＵ１４によって表示される合成画像の他の例について説明する。図１４，１６，１８は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。図１５，１７，１９は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。図１５，１７，１９において、横軸は、Ｘ方向およびＺ方向に平行なＸＺ面における、車両１の位置からの立体投影面内の各点までの距離を表し、縦軸は、立体投影面内の各点の高さ（すなわち、Ｙ方向の座標）を表す。
　例えば、合成画像生成部４０３は、図１５に示すように、車両１の位置を中心とする半径５０００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、車両１の位置から見て、目標駐車領域の手前から立体投影面がＹ方向に立ち上がり、目標駐車領域が立体的な投影面に投影される。そのため、図１４に示すように、表示装置８に表示される合成画像Ｇにおいて、目標駐車領域ＴＲの周囲に存在する他の車両Ｃは自然に表示されるが、目標駐車領域ＴＲ（例えば、駐車枠Ｗ）が歪曲してしまい、車両１の目標駐車領域ＴＲが自然に見える合成画像Ｇを表示できない。
　また、合成画像生成部４０３は、図１７に示すように、車両１の位置を中心とする半径３００００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、立体投影面において、目標駐車領域が平面投影領域に含まれ、目標駐車領域が平坦な投影面に投影される。しかしながら、目標駐車領域の周囲に存在する他の車両、および車両１の位置から見て目標駐車領域ＴＲよりも遠方に存在する立体的な障害物も平坦な投影面に投影される。そのため、図１６に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、駐車枠Ｗ）の歪曲は発生しないが、目標駐車領域ＴＲに周囲に存在する他の車両Ｃおよび遠方に存在する立体的な障害物の画像が長く間延びした画像となり、車両１の目標駐車領域ＴＲおよびその周囲が自然に見える合成画像Ｇを表示できない。
　そこで、投影領域変更部４０６は、図１９に示すように、立体投影領域における目標駐車領域ＴＲのみが平面投影領域に含まれるように、平面投影領域を拡張する。そして、合成画像生成部４０３は、平面投影領域を拡張した立体投影面に撮像画像を投影する。この場合、目標駐車領域の周囲、および車両１の位置から見て、目標駐車領域よりも遠方に存在する立体的な障害物が立体投影領域に投影される。これにより、図１８に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、駐車枠Ｗ）が歪曲せず、目標駐車領域ＴＲの周囲（例えば、他の車両Ｃ）、および目標駐車領域ＴＲより遠方に存在する立体的な障害物を合成画像Ｇに含めることができるので、車両１の目標駐車領域ＴＲおよびその周囲が自然に見える合成画像Ｇを表示できる。
　このように、第１の実施形態にかかる車両１によれば、車両１の目標駐車領域および車両１の移動経路が平坦な投影面に投影され、立体投影面において、車両１の目標駐車領域（例えば、駐車枠）が歪んだり、投影されなかったりすることを防止できるので、車両１の目標駐車領域が自然に見える合成画像を表示できる。
（第２の実施形態）
　本実施形態は、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける３Ｄ対応マップと、車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける２Ｄマップとを用いて、撮像画像を立体投影面に投影する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。
　図２０は、第２の実施形態にかかる車両が有するＥＣＵにおける撮像画像の投影処理の一例を説明するための図である。本実施形態では、ＲＯＭ１４ｂは、３ＤマップＭ１と、２ＤマップＭ２とを記憶する記憶部である。ここで、３ＤマップＭ１は、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップである。２ＤマップＭ２は、車両１に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップである。
　本実施形態では、投影領域変更部４０６は、目標駐車領域が決定すると（すなわち、車両１の駐車支援処理が実行される場合）、３ＤマップＭ１のうち、立体投影領域における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップを、平面投影面における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける２ＤマップＭ２で上書きする。そして、投影領域変更部４０６は、２ＤマップＭ２で上書きされた３ＤマップＭ１を、合成画像生成部４０３に送信する。また、本実施形態では、投影領域変更部４０６は、目標駐車領域が決定していない場合（すなわち、車両１の駐車支援処理が実行されていない場合）、ＲＯＭ１４ｂに記憶される３ＤマップＭ１を、２ＤマップＭ２による上書きを行わずに、合成画像生成部４０３に送信する。これにより、合成画像を表示する度に、立体投影面内の座標と当該座標に投影する撮像画像のテクスチャ座標とを計算する必要が無くなるので、合成画像の表示処理を高速化できる。また、立体投影面内における移動経路が変化した場合でも、３ＤマップＭ１を２ＤマップＭ２で上書きして送信すれば良く、立体投影面内の座標と当該座標に投影する撮像画像のテクスチャ座標とを再計算する必要が無いので、合成画像の表示処理をより高速化できる。
　本実施形態では、合成画像生成部４０３は、投影領域変更部４０６から受信する３ＤマップＭ１に従って、画像取得部４０２により取得した撮像画像を、立体投影面に投影する。具体的には、合成画像生成部４０３は、撮像画像に含まれる各画素について、３ＤマップＭ１において当該画素のテクスチャ座標と対応付けられる立体投影面の座標を特定する。そして、合成画像生成部４０３は、立体投影面において、特定した座標の位置に対して、当該画素を投影することにより、撮像画像を立体投影面に投影する。
　このように、第２の実施形態にかかる車両１によれば、合成画像を表示する度に、立体投影面内の座標と当該座標に投影する撮像画像のテクスチャ座標とを計算する必要が無くなるので、合成画像の表示処理を高速化できる。

Claims (5)

  1. 　車両が搭載する撮像部により前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、
    　前記車両と当該車両の上方に立ち上がる第１投影領域とを含む立体投影面に対して前記撮像画像を投影し、かつ前記立体投影面を仮想視点から見た合成画像を生成する生成部と、
    　前記合成画像を表示部に表示させる表示制御部と、
    　前記立体投影面において前記車両を駐車する目標駐車領域を決定する決定部と、
    　前記第１投影領域における、前記車両の位置から前記目標駐車領域までの前記車両の移動経路および前記目標駐車領域の少なくとも一部を、前記車両に対して水平な第２投影領域に変更する変更部と、
    　を備える画像処理装置。
  2. 　前記第１投影領域は、前記第２投影領域の周囲に位置し、
    　前記第２投影領域は、前記車両を含み、
    　前記変更部は、前記車両の位置から見て前記目標駐車領域の奥側の端が前記第２投影領域に含まれるように、前記第２投影領域を全体的に大きくする請求項１に記載の画像処理装置。
  3. 　前記変更部は、前記第１投影領域における前記目標駐車領域および前記移動経路の少なくとも一部のみが前記第２投影領域に含まれるように、前記第２投影領域を部分的に大きくする請求項１に記載の画像処理装置。
  4. 　前記第１投影領域は、前記第２投影領域の周囲に位置し、
    　前記第２投影領域は、前記車両を含み、
    　前記変更部は、前記目標駐車領域の周囲に障害物が存在しない場合、前記車両の位置から見て前記目標駐車領域の奥側の端が前記第２投影領域に含まれるように、前記第２投影領域を全体的に大きくし、前記目標駐車領域の周囲に障害物が存在する場合、前記第１投影領域における前記目標駐車領域および前記移動経路の一部のみが前記第２投影領域に含まれるように、前記第２投影領域を部分的に大きくする請求項１に記載の画像処理装置。
  5. 　前記立体投影面の座標と当該座標に投影する前記撮像画像のテクスチャ座標とを対応付ける第１マップと、前記車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する前記テクスチャ座標とを対応付ける第２マップと、を記憶する記憶部と、
    　前記目標駐車領域が決定した場合、前記第１マップのうち、前記第２投影領域における前記移動経路の座標と当該座標に投影する前記撮像画像の前記テクスチャ座標とを対応付けるマップを、前記平面投影面における前記移動経路の座標と当該座標に投影する前記撮像画像の前記テクスチャ座標とを対応付ける前記第２マップに上書きして、前記第１マップを前記生成部に送信する送信部と、をさらに備え、
    　前記生成部は、前記送信部から受信する前記第１マップに従って、前記撮像画像を前記立体投影面に投影する請求項１から４のいずれか一に記載の画像処理装置。
PCT/JP2018/008321 2017-09-15 2018-03-05 画像処理装置 WO2019053922A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880055229.1A CN111066319B (zh) 2017-09-15 2018-03-05 图像处理装置
US16/629,999 US10970812B2 (en) 2017-09-15 2018-03-05 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017177417A JP7091624B2 (ja) 2017-09-15 2017-09-15 画像処理装置
JP2017-177417 2017-09-15

Publications (1)

Publication Number Publication Date
WO2019053922A1 true WO2019053922A1 (ja) 2019-03-21

Family

ID=65723258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008321 WO2019053922A1 (ja) 2017-09-15 2018-03-05 画像処理装置

Country Status (4)

Country Link
US (1) US10970812B2 (ja)
JP (1) JP7091624B2 (ja)
CN (1) CN111066319B (ja)
WO (1) WO2019053922A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195056A1 (ja) * 2022-04-04 2023-10-12 株式会社ソシオネクスト 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143410A (ja) * 2007-12-14 2009-07-02 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2013074350A (ja) * 2011-09-27 2013-04-22 Clarion Co Ltd 俯瞰画像表示装置
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置
JP2015015527A (ja) * 2013-07-03 2015-01-22 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
JP2017068826A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
EP1179958B1 (en) 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP5292874B2 (ja) 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
DE112010005670B4 (de) * 2010-06-18 2015-11-12 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung, Fahrunterstützungssystem und Fahrunterstützungs-Kameraeinheit
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN103854335B (zh) * 2012-12-05 2017-05-03 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143410A (ja) * 2007-12-14 2009-07-02 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2013074350A (ja) * 2011-09-27 2013-04-22 Clarion Co Ltd 俯瞰画像表示装置
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置
JP2015015527A (ja) * 2013-07-03 2015-01-22 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
JP2017068826A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195056A1 (ja) * 2022-04-04 2023-10-12 株式会社ソシオネクスト 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Also Published As

Publication number Publication date
US10970812B2 (en) 2021-04-06
CN111066319A (zh) 2020-04-24
CN111066319B (zh) 2021-05-28
US20200134777A1 (en) 2020-04-30
JP7091624B2 (ja) 2022-06-28
JP2019054420A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
JP7151293B2 (ja) 車両周辺表示装置
JP7222254B2 (ja) 周辺表示制御装置
JP6015314B2 (ja) 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP7091624B2 (ja) 画像処理装置
WO2018070298A1 (ja) 表示制御装置
JP2018144526A (ja) 周辺監視装置
WO2018150642A1 (ja) 周辺監視装置
JP6962036B2 (ja) 周辺監視装置
US10540807B2 (en) Image processing device
WO2019026320A1 (ja) 表示制御装置
JP2018036444A (ja) 表示制御装置
WO2018061261A1 (ja) 表示制御装置
WO2018220915A1 (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
WO2019035229A1 (ja) 周辺監視装置
WO2019035228A1 (ja) 周辺監視装置
JP7259914B2 (ja) 周辺監視装置
JP2018191061A (ja) 周辺監視装置
JP6601097B2 (ja) 表示制御装置
JP2023150740A (ja) 自己位置誤差推定装置及び自己位置誤差推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18855543

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18855543

Country of ref document: EP

Kind code of ref document: A1