WO2017056989A1 - 車両用画像処理装置 - Google Patents

車両用画像処理装置 Download PDF

Info

Publication number
WO2017056989A1
WO2017056989A1 PCT/JP2016/077086 JP2016077086W WO2017056989A1 WO 2017056989 A1 WO2017056989 A1 WO 2017056989A1 JP 2016077086 W JP2016077086 W JP 2016077086W WO 2017056989 A1 WO2017056989 A1 WO 2017056989A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
projection plane
virtual projection
virtual
Prior art date
Application number
PCT/JP2016/077086
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
久保田　尚孝
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016121160A external-priority patent/JP6575445B2/ja
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US15/755,308 priority Critical patent/US10474898B2/en
Priority to CN201680050513.0A priority patent/CN107950022A/zh
Priority to EP16851163.2A priority patent/EP3358840A4/en
Publication of WO2017056989A1 publication Critical patent/WO2017056989A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • Embodiments described herein relate generally to an image processing apparatus for a vehicle.
  • an image processing apparatus that generates image data that reflects a captured image in a three-dimensional shape, converts the image data into an image viewed from a set viewpoint, and outputs the image as an output image.
  • the image processing apparatus for a vehicle is, for example, a three-dimensional virtual projection plane that surrounds the periphery of the vehicle and a viewpoint image when the virtual projection plane on which a captured image around the vehicle is projected is viewed from a virtual viewpoint.
  • the sign image indicates a portion of the virtual projection plane that has a predetermined height in the vertical direction of the vehicle. Therefore, for example, in the output image, the vertical position of the object and the height of the object are more easily recognized based on the sign image.
  • the sign image includes a first sign image indicating a part of the virtual projection plane that is the same height as the ground. Therefore, for example, in the output image, the position of the ground, the distance of the object from the ground, and the height of the object from the ground are more easily recognized based on the first sign image.
  • the sign image is a second sign indicating a portion of the virtual projection plane that is the same height as a projecting portion that projects to the front, rear, or side of the vehicle body. Includes images. Therefore, for example, in the output image, the difference in the vertical position between the object and the overhang portion is more easily recognized based on the second sign image.
  • the vehicular image processing apparatus includes, for example, a variable setting unit that can change the virtual projection plane, and the variable setting unit can change the virtual projection plane in accordance with the situation of the vehicle. Therefore, for example, in the output image, it is easy to obtain a more convenient display form corresponding to the situation of the vehicle.
  • the situation of the vehicle is, for example, the speed of the vehicle, the inclination of the vehicle, the distance between the vehicle and surrounding objects, and the like.
  • the variable setting unit sets a virtual projection plane in which a portion corresponding to a distant vehicle rises steeply when the vehicle speed is the first speed.
  • the virtual projection plane that rises gently from the vicinity of the vehicle to the far distance of the vehicle, or the virtual that the portion corresponding to the vicinity of the vehicle rises steeply Set the projection plane. Therefore, for example, in the output image, a convenient display form corresponding to the speed of the vehicle is easily obtained.
  • variable setting unit sets a virtual projection plane in which a corresponding portion rises sharply according to the distance between the vehicle and an object in the vicinity. Therefore, for example, in the output image, it is easy to obtain a convenient display form according to the distance between the vehicle and an object in the vicinity.
  • the virtual projection plane includes a reference position located at a second height in the vertical direction of the vehicle, and a first projection plane closer to the vehicle than the reference position.
  • a second projection plane that is farther from the vehicle than the reference position and has a larger gradient than the first projection plane, and the vehicle image processing device includes the second projection surface among the objects around the vehicle.
  • a projection setting unit that sets a projection to be projected onto the projection plane; and a distance detection unit that detects a second distance from the vehicle to the projection.
  • the variable setting unit has the second distance
  • the virtual projection plane is set so that the reference position moves away from the vehicle as the value increases. Therefore, for example, in the output image, the distance, size, and the like of the projection object as the object projected on the second projection plane are more easily recognized.
  • variable setting unit sets the virtual projection plane so that the reference position is closer to the vehicle than the projection. Therefore, for example, in the output image, it is suppressed that the image of the projection object is displayed in a state where the distortion is larger across the first projection plane and the second projection plane across the reference position.
  • FIG. 1 is an exemplary schematic configuration diagram of an image display system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of an output image by the image display system of the embodiment.
  • FIG. 3 is a diagram showing another example of an output image by the image display system of the embodiment.
  • FIG. 4 is a plan view illustrating an example of an imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 5 is an exemplary schematic block diagram of an image processing apparatus included in the image display system of the embodiment.
  • FIG. 6 is an exemplary schematic diagram illustrating projection of a captured image on a virtual projection plane in the image display system of the embodiment.
  • FIG. 7 is a schematic and exemplary side view showing a vehicle and a virtual projection plane in the image display system of the embodiment.
  • FIG. 1 is an exemplary schematic configuration diagram of an image display system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of an output image by the image display system of the embodiment.
  • FIG. 3 is a diagram showing
  • FIG. 8 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 9 is a schematic and exemplary side view showing a vehicle and a virtual projection plane different from FIG. 7 in the image display system of the embodiment.
  • FIG. 10 is a schematic and exemplary side view illustrating a vehicle and a virtual projection plane different from those in FIGS. 7 and 8 in the image display system of the embodiment.
  • FIG. 11 is a schematic and exemplary side view showing a vehicle, an object (projected object), and a virtual projection plane in the image display system of the embodiment.
  • FIG. 12 is a schematic and exemplary side view illustrating a vehicle, an object (projection) farther from the vehicle than FIG. 11, and a virtual projection plane in the image display system of the embodiment.
  • FIG. 13 is a schematic perspective view showing another example of the virtual projection plane used in the image display system of the embodiment.
  • FIG. 14 is a schematic perspective view showing still another example of the virtual projection plane used in the image display system of the
  • FIG. 1 is an exemplary schematic configuration diagram of an image display system.
  • the image display system 10 equipped in the vehicle 1 includes an ECU 11 (electronic control unit).
  • the ECU 11 processes an image captured by the imaging unit 12 and generates an output image.
  • the ECU 11 controls the display unit 24a so that the output image is displayed.
  • the ECU 11 is an example of an image processing device or a display control unit.
  • FIG. 2 is a diagram showing an example of the output image Io by the image display system 10.
  • the output image Io as an image displayed on the display unit 24a includes a vehicle body image Iv, a viewpoint image Ib, and a marking image Ii.
  • the vehicle body image Iv shows the vehicle body 2, that is, the vehicle 1 and the host vehicle.
  • the vehicle body image Iv is not an image photographed by the imaging unit 12 provided in the vehicle body 2 as shown in FIG. 1, but is an image prepared and stored in advance and inserted into a predetermined area in the output image Io. .
  • a viewpoint image from the same or close viewpoint as the viewpoint image Ib is used.
  • the viewpoint image Ib is generated based on a captured image obtained by the imaging unit 12 shown in FIG.
  • the viewpoint image Ib is an image obtained by viewing the virtual projection plane onto which the captured image is projected from the virtual viewpoint, and is, for example, an image obtained by virtual projection conversion or viewpoint conversion.
  • the viewpoint image Ib is an overhead image obtained by viewing the periphery of the vehicle body 2 from obliquely above as an example.
  • the ECU 11 obtains the data of the viewpoint image Ib by image processing such as coordinate conversion and projection conversion on the captured image data by the imaging unit 12.
  • the viewpoint image Ib may be a moving image updated almost in real time, or may be a still image. The viewpoint image Ib will be described in detail later.
  • the sign image Ii is an additional or auxiliary image indicating a specific position in the viewpoint image Ib.
  • the sign image Ii is an elliptical line shape, for example, a broken line image.
  • the position and shape of the marking image Ii are determined according to the shape of the virtual projection plane of the viewpoint image Ib, the position of the viewpoint, and the like. The sign image Ii will be described in detail later.
  • FIG. 3 is a diagram showing an example of the output image Io by the image display system 10 different from FIG.
  • the sign image Ii is not included in the main display area Am where the viewpoint image Ib is displayed, and is included in a sub-window As that is different from the main display area Am and smaller than the main display area Am. ing.
  • the outline image Iab of the viewpoint image Ib and the outline image Iai of the indication image Ii are superimposed.
  • the sub window As is also referred to as a sub display area.
  • the sub window As also shows a numerical value In indicating the radius from the center (center of gravity) of the vehicle body 2 at a position corresponding to the marking image Ii.
  • the image display system 10 can display an output image Io corresponding to the situation of the vehicle 1.
  • the image display system 10 may be incorporated into a system that uses the output image Io to control the vehicle 1, for example, a driving support system or a parking support system.
  • devices and electrical components included in the image display system 10 are connected via, for example, an in-vehicle network 23 in an electrically or communicable manner.
  • the devices and electrical components are, for example, the non-contact measuring device 13, the rudder angle sensor 14, the rudder angle sensor 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indication.
  • the in-vehicle network 23 is, for example, a CAN (controller area network).
  • Each electrical component may be electrically or communicably connected via other than CAN.
  • the imaging unit 12 is a digital camera that incorporates an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 12 can output image data, that is, moving image data at a predetermined frame rate.
  • FIG. 4 is a plan view showing an example of an imaging range by the imaging unit 12.
  • the vehicle body 2 is provided with an imaging unit 12 that images the outside of the vehicle at each of a front part, a right side part, a left side part, and a rear part of the vehicle body 2.
  • the imaging part 12 provided in the front part of the vehicle body 2 is provided in a front grille, for example.
  • the imaging units 12 provided on the left and right sides of the vehicle body 2 are provided, for example, on a door mirror.
  • the imaging part 12 provided in the rear part of the vehicle body 2 is provided in a rear hatch, for example.
  • the imaging unit 12 may be provided at the left and right corners of the rear end of the vehicle body 2, for example.
  • the imaging unit 12 is, for example, a wide angle lens or a fisheye lens.
  • the imaging unit 12 acquires captured image data around the vehicle body 2 (vehicle 1).
  • the imaging part 12 may be three or less, and may be five or more.
  • each imaging range of the plurality of imaging units 12 may be different.
  • the non-contact measuring device 13 is, for example, a sonar or radar that emits ultrasonic waves or radio waves and captures the reflected waves.
  • the ECU 11 can measure the presence / absence of an obstacle positioned around the vehicle 1 and the distance to the obstacle based on the detection result of the non-contact measuring device 13. That is, the non-contact measurement device 13 is also referred to as an object detection unit or a distance measurement unit.
  • the steering angle sensor 14 is a sensor that detects a steering amount of a steering wheel (not shown) as a steering unit, and is configured using, for example, a hall element.
  • the rudder angle sensor 15a is a sensor that detects the steering amount of the rear wheels, and is configured using, for example, a hall element. Note that the steering amount is detected as, for example, a rotation angle.
  • GPS16 global positioning system
  • the wheel speed sensor 17 is a sensor that detects the amount of rotation of the wheel and the number of rotations per unit time, and is configured using, for example, a hall element.
  • the ECU 11 can calculate the amount of movement of the vehicle 1 based on the data acquired from the wheel speed sensor 17.
  • the wheel speed sensor 17 may be provided in the brake system 18.
  • the brake system 18 includes an ABS (anti-lock brake system) that suppresses brake locking, a skid prevention device (ESC: electronic stability control) that suppresses side slip of the vehicle 1 during cornering, and an electric brake system that enhances braking force.
  • BBW brake by wire
  • the brake system 18 applies braking force to the wheels via an actuator (not shown) and decelerates the vehicle 1.
  • the brake sensor 18a is, for example, a sensor that detects an operation amount of a brake pedal.
  • the accelerator sensor 19 is a sensor that detects the amount of operation of the accelerator pedal.
  • the torque sensor 20a detects torque that the driver gives to the steering unit.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation part, and is configured using a displacement sensor or the like.
  • the movable part is, for example, a lever, an arm, a button, or the like. Note that the configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are examples, and can be variously set or changed.
  • the direction indicator 22 outputs a signal for instructing to turn on, turn off, blink, etc. the direction indication light.
  • the image display system 10 may be provided with an input unit 10a.
  • the input unit 10a is configured as, for example, a push button, a switch, a knob, or the like.
  • the monitor device 24 includes a display unit 24a, an input unit 24b, and an audio output device 24c.
  • the display unit 24a is, for example, an LCD (liquid crystal display).
  • the audio output device 24c is, for example, a speaker.
  • the input unit 24b is transparent and covers the display unit 24a.
  • the input unit 24b is, for example, a touch panel. The user can visually recognize an image displayed on the display screen of the display unit 24a via the input unit 24b. Further, the user can perform input by touching, pushing, or moving the input unit 24b with a finger or the like at a position corresponding to the image displayed on the display screen of the display unit 24a. And these display part 24a, input part 24b, audio
  • the monitor apparatus 24 located in the vehicle width direction of a dashboard, ie, the center part of the left-right direction, for example.
  • the monitor device 24 can include an input unit (not shown) such as a switch, a dial, a joystick, and a push button, for example.
  • the monitor device 24 is also used as a navigation system or an audio system.
  • the ECU 11 includes, for example, a CPU 11a (central processing unit), a ROM 11b (read only memory), a RAM 11c (random access memory), a flash memory 11d, a display control unit 11e, a voice control unit 11f, and the like.
  • the flash memory 11d may be a solid state drive (SSD).
  • the CPU 11a can execute various calculations.
  • the CPU 11a can read a program installed and stored in a nonvolatile storage device such as the ROM 11b or the flash memory 11d, and execute arithmetic processing according to the program.
  • the RAM 11c temporarily stores various types of data used in computations by the CPU 11a.
  • the flash memory 11d is a rewritable nonvolatile storage unit, and can store data even when the power of the ECU 11 is turned off. Further, the display control unit 11e mainly executes general image processing using image data obtained by the imaging unit 12, general image processing of image data displayed on the display unit 24a, and the like. it can. Moreover, the audio
  • a DSP digital signal processor
  • an HDD hard disk drive
  • FIG. 5 is an exemplary and schematic block diagram of the ECU 11.
  • the ECU 11 can function as an image processing device by cooperation of hardware and software (program).
  • the ECU 11 can include an image processing unit 30 and a storage unit 40 as shown in FIG. 5 in addition to the display control unit 11 e and the voice control unit 11 f.
  • the image processing unit 30 is configured by, for example, the CPU 11a.
  • the CPU 11a includes each unit of the image processing unit 30, that is, an image data acquisition unit 31, an image synthesis unit 32, a virtual projection unit 33, a viewpoint image generation unit 34, a sign image generation unit 35, an output image generation unit 36, data It functions as an acquisition unit 37, an object detection unit 38a, an object selection unit 38b, a distance detection unit 38c, a variable setting unit 39, and the like.
  • the storage unit 40 includes a ROM 11b, a RAM 11c, and a flash memory 11d. Note that at least part of the image processing executed by the image processing unit 30 may be executed by the display control unit 11e.
  • Each unit of the image processing unit 30 may correspond to a program module, or at least a part of the image processing unit 30 may be configured as hardware.
  • the image data acquisition unit 31 acquires data of a plurality of captured images captured by the plurality of imaging units 12.
  • the image composition unit 32 synthesizes the boundary portions of the data of a plurality of captured images acquired by the image data acquisition unit 31, that is, the data of the plurality of captured images captured by the plurality of imaging units 12. Connect and generate data of one captured image.
  • FIG. 6 is an exemplary schematic diagram illustrating projection of the captured image Ic on the virtual projection plane Sp in the image display system 10.
  • the virtual projection plane Sp has a bottom surface Spg along the ground Gr and a side surface Sps rising from the bottom surface Spg, that is, the ground Gr.
  • the ground Gr is a horizontal plane orthogonal to the vertical direction Z of the vehicle 1 and is also a tire contact surface.
  • the bottom surface Spg is a substantially circular flat surface and is a horizontal surface with the vehicle 1 as a reference.
  • the side surface Sps is a curved surface in contact with the bottom surface Spg. As shown in FIG.
  • the shape of the vertical virtual section of the vehicle 1 passing through the center Gc of the vehicle 1 on the side surface Sps is, for example, elliptical or parabolic.
  • the side surface Sps is configured as, for example, a rotating surface around the center line CL that passes through the center Gc of the vehicle 1 and extends in the vertical direction of the vehicle 1, and surrounds the periphery of the vehicle 1.
  • the virtual projection unit 33 calculates a virtual projection image Ip obtained by projecting the captured image Ic onto the virtual projection plane Sp.
  • the captured image Ic is projected onto the ground Gr, the image becomes longer as the distance from the imaging unit 12 increases, and the image may appear longer than the actual length in the output image. As can be seen from FIG.
  • the virtual projection image Ip projected onto the side surface Sps rising from the ground Gr (bottom surface Spg) is shorter than the case of being projected onto the ground Gr, and the actual image is output in the output image. It is suppressed that the image is projected longer than the length.
  • the bottom surface Spg is an example of a first projection surface
  • the side surface Sps is an example of a second projection surface having a larger gradient than the first projection surface.
  • the viewpoint image generation unit 34 generates a viewpoint image Ib obtained by viewing the virtual projection image Ip projected on the virtual projection plane Sp from a predetermined virtual viewpoint.
  • FIG. 7 is a schematic and exemplary side view showing the vehicle 1 and the virtual projection plane Sp (Sp0) in the image display system 10. As illustrated in FIG. 7, the viewpoint image generation unit 34 views a virtual projection image Ip (not illustrated in FIG. 7) projected onto the virtual projection plane Sp obliquely downward from a predetermined viewpoint Ep. (Not shown in FIG. 7). The viewpoint Ep is set behind and above the vehicle 1. As a result, the viewpoint image Ib included in the output image Io shown in FIGS.
  • the sign image generation unit 35 generates a sign image Ii indicating a specific position on the virtual projection plane Sp. 2 and 3, the sign image Ii (Ii0, Iai) shown in FIGS. 6 and 7 is a portion P0 having the same height as the ground on the side surface Sps of the virtual projection plane Sp, that is, in the vehicle vertical direction.
  • the part P0 of height 0 is shown.
  • the bottom surface Spg of the virtual projection surface Sp is a plane having the same height as the ground Gr
  • the part P0 is a boundary between the bottom surface Spg (ground Gr) and the side surface Sps.
  • the rate of change of the image of the object due to projection conversion or viewpoint conversion changes between the bottom surface Spg side and the side surface Sps side with the region P0 as a boundary. Therefore, the user can recognize the position where the length or shape of the object image changes in the output image Io based on the indication image Ii (Ii0) included in the output image Io.
  • the sign image Ii (Ii0) corresponding to the part P0 is an example of a first sign image.
  • FIG. 8 is a diagram showing still another example of the output image Io by the image display system 10.
  • the sign image Ii (Ii0) shown in FIG. 8 corresponds to the part P0 in the same manner as the sign image Ii (Ii0) shown in FIGS.
  • a marking image Ii (Ii1) different from the marking image Ii (Ii0) is a projecting portion 2a (protruding portion) projecting forward, rearward, or laterally in the region P1, that is, the vehicle body 2 (vehicle 1). ) And a portion P1 having the same height.
  • the overhang portion 2a constitutes a front, rear, or side end portion of the vehicle body 2, and is, for example, a bumper.
  • the user can know, for example, an object in the viewpoint image Ib at the same height as the overhanging portion 2a.
  • the sign image Ii (Ii1) corresponding to the part P1 is an example of a second sign image.
  • the output image Io the specifications, such as color, thickness, and line type, of the plurality of indication images Ii may be different. Further, the output image Io may include only the sign image Ii (Ii1) indicating the part P1.
  • the data acquisition unit 37 acquires data other than the captured image, for example, data input by the input units 24b and 10a and detection result data of a sensor or the like.
  • the object detection unit 38a detects an object existing around the vehicle body 2 (vehicle 1) based on the detection result by the non-contact measurement device 13 such as sonar or radar, the imaging result by the imaging unit 12 (for example, a stereo camera), or the like. To detect.
  • the object detection unit 38a may detect an object based on a detection result other than the above, a detection result of a plurality of detection devices, or the like.
  • the object detection unit 38a is an object that satisfies a predetermined condition, for example, an object having a size larger than a predetermined size, an object having a height higher than a predetermined height, an object having a width larger than a predetermined width, An object or the like located within a predetermined range (distance range, height range, etc.) can be detected.
  • the object selection unit 38b can select an object that satisfies a preset condition from among the objects detected by the object detection unit 38a.
  • the object selection unit 38b is an object that satisfies a predetermined condition, for example, an object having a size larger than a predetermined size, an object having a height higher than a predetermined height, an object having a width larger than a predetermined width, An object or the like located within a range (distance range, height range, etc.) can be selected.
  • the conditions in this case are different from the conditions in the object detection unit 38a.
  • the object selection unit 38b can select an object to be projected onto the side surface Sps as an object that satisfies a preset condition.
  • the object is an example of a projection
  • the object selection unit 38b is an example of a projection setting unit.
  • the distance detection unit 38c is configured to detect the distance (first distance, second distance) from the reference point of the vehicle body 2 (vehicle 1) for each of the object detected by the object detection unit 38a and the object selected by the object selection unit 38b. Get distance).
  • the distance detection unit 38c can acquire the distance based on the detection result by the non-contact measurement device 13 such as sonar or radar, the imaging result by one or more imaging units 12, and the like.
  • the distance detection unit 38c displays representative values of the plurality of distances (for example, a minimum value within a predetermined range). Or an average value, median value, etc.) can be calculated as the distance from the reference point to the object.
  • the variable setting unit 39 can change the virtual projection plane Sp.
  • FIG. 9 is a schematic and exemplary side view showing the vehicle 1 in the image display system 10 and a virtual projection plane Sp (Sp1) different from FIG.
  • FIG. 10 is a schematic and exemplary side view showing the vehicle 1 in the image display system 10 and a virtual projection plane Sp (Sp2) different from those in FIGS.
  • the width (size) of the bottom surface Spg that is, the side surface Sps (part) from the vehicle body 2 (vehicle 1).
  • the distance to P0) is different.
  • the variable setting unit 39 can change the virtual projection plane Sp by reading any one of the data of the plurality of virtual projection planes Sp stored in the storage unit 40 or performing an arithmetic operation.
  • Projection of the virtual projection image Ip onto the side surface Sps rising from the ground Gr (bottom surface Spg) is more effective for an object relatively close to the side surface Sps.
  • the position of the side surface Sps can be changed by the variable setting unit 39 changing the virtual projection plane Sp according to the situation of the vehicle 1 and the user's preference. That is, the variable setting unit 39 can change the position at which the effect of the side surface Sps of the virtual projection plane Sp is obtained.
  • the change of the virtual projection plane Sp by the variable setting unit 39 is performed based on data input by the user's operation of the input units 24b and 10a. Thereby, the virtual projection plane Sp selected according to the user's preference is set.
  • the virtual projection unit 33 and the viewpoint image generation unit 34 perform a predetermined calculation on the virtual projection plane Sp set by the variable setting unit 39.
  • the variable setting unit 39 can change the virtual projection plane Sp according to the speed of the vehicle 1. For example, based on the detection result of the wheel speed sensor 17, the variable setting unit 39 is a bottom surface as illustrated in FIG. 7 when the speed V of the vehicle 1 is equal to or lower than the first threshold value Vth1 (V ⁇ Vth1). A virtual projection plane Sp0 having a narrow (small) Spg is set. In the state where the speed V of the vehicle 1 is greater than the first threshold value Vth1 and less than or equal to the second threshold value Vth2 (> Vth1) (Vth1 ⁇ V ⁇ Vth2), the variable setting unit 39 has a bottom surface Spg of the virtual projection plane of FIG. A virtual projection plane Sp1 as illustrated in FIG.
  • variable setting unit 39 is exemplified in FIG. 10 in which the bottom surface Spg is wider (larger) than the virtual projection surface Sp1 in FIG. 9 when the speed V of the vehicle 1 is larger than the second threshold value Vth2 (V> Vth2).
  • Vth2 V> Vth2
  • a virtual projection plane Sp2 is set.
  • the variable setting unit 39 for example, based on the detection result of the wheel speed sensor 17, a function (formula) of the speed V of the vehicle 1 and the width of the bottom surface Spg, or the correlation between the speed V and the width of the bottom surface Spg.
  • the virtual projection plane Sp having a larger bottom surface Spg can be set as the velocity V is higher.
  • the virtual projection plane Sp0 is an example of a virtual projection plane where a portion corresponding to the vicinity of the vehicle 1 rises sharply.
  • the virtual projection plane Sp2 is an example of a virtual projection plane where a portion corresponding to a distant place of the vehicle 1 rises sharply.
  • the variable setting unit 39 is not limited to the speed V of the vehicle 1, and parameters according to various situations, for example, the traveling direction of the vehicle 1, the inclination of the vehicle 1, the position of the vehicle 1, and the objects around the vehicle 1
  • the virtual projection plane Sp can be changed according to the distance, the detection result by the sensor or device, the signal, the data, and the like.
  • the sensors and devices are, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, the direction indicator 22, and the like.
  • variable setting unit 39 can change the virtual projection plane Sp according to the distance from the vehicle 1 to the projection object projected on the virtual projection plane Sp among the objects around the vehicle 1.
  • FIG. 11 is a schematic and exemplary side view showing the vehicle 1, the projection B, and the virtual projection plane Sp (Sp1) in the image display system 10.
  • 12 is a schematic and exemplary side view showing the vehicle 1 in the image display system 10, the projection B farther from the vehicle 1 than in FIG. 11, and the virtual projection plane Sp (Sp2).
  • the projection B since the projection B satisfies the preset condition, the projection B is an object selected by the object selection unit 38b from the objects detected by the object detection unit 38a, and is projected onto at least the side surface Sps. It is an object. That is, the preset condition is, in other words, a condition for specifying an object to be projected onto the side surface Sps.
  • variable setting unit 39 determines the virtual projection plane Sp according to the position of the projection B, that is, the distances Lb1 and Lb2 (second distance) from the vehicle 1 to the projection B. Has changed.
  • a distance Lb2 from the vehicle 1 to the projection B in FIG. 12 is longer than a distance Lb1 from the vehicle 1 to the projection B in FIG.
  • the variable setting unit 39 sets the distance L02 from the vehicle 1 to the site P0 (reference position) on the virtual projection plane Sp2 in FIG. 12 to the vehicle 1 to the site P0 on the virtual projection plane Sp1 in FIG. Is set to be longer than the distance L01.
  • variable setting unit 39 sets the virtual projection plane Sp so that the part P0 is further away from the vehicle 1 as the distances Lb1 and Lb2 from the vehicle 1 to the projection B are larger. With this setting, the distance, size, and the like of the projection B as the object projected on the side surface Sps are more easily recognized in the output image Io.
  • variable setting unit 39 sets the virtual projection plane Sp so that the part P0 is closer to the vehicle 1 than the projection B. Thereby, in the output image Io, it is suppressed that the image of the projection B is displayed in the state where distortion is larger over the side surface Sps and the bottom surface Spg across the part P0.
  • the variable setting unit 39 sets the part P0 between the vehicle 1 and the projection B and at a position closer to the projection B than the vehicle 1. According to such setting, compared to the case where the part P0 is close to the vehicle 1, the distance, size, and the like of the projection B are more easily recognized in the output image Io.
  • the variable setting unit 39 may decrease the gradient of the side surface Sps as the distances Lb1 and Lb2 from the vehicle 1 to the projection B are smaller, or may decrease the gradient change at the part P0. Also good. According to such a setting, in the output image Io, an increase in the distortion of the image of the ground Gr at the part P0 is suppressed.
  • the object selection unit 38b sets a third height higher than the height (second height) of the part P0, and the height of the object is equal to or higher than the third height.
  • An object can be selected as the projection B. Even with such a setting, the output image Io is suppressed from being displayed with a greater distortion across the side surface Sps and the bottom surface Spg across the region P0.
  • FIG. 13 is a schematic perspective view showing another example of the virtual projection plane Sp used in the image display system 10.
  • the virtual projection plane Sp3 illustrated in FIG. 13 is hemispherical.
  • the bottom surface Spg of the virtual projection surface Sp may be a curved surface, or there may be no clear boundary between the bottom surface Spg and the side surface Sps of the virtual projection surface Sp. That is, the virtual projection surface Sp in the present embodiment is not limited to one divided into the bottom surface Spg and the side surface Sps.
  • the virtual projection plane Sp3 is an example of a virtual projection plane that rises gently from the vicinity of the vehicle 1 to the distance of the vehicle 1.
  • FIG. 14 is a schematic perspective view showing still another example of the virtual projection plane Sp used in the image display system 10.
  • the virtual projection surface Sp4 illustrated in FIG. 14 has a conical inner surface shape.
  • the gradient of the side surface Sps of the virtual projection surface Sp may be constant, or the bottom surface Spg and the side surface Sps of the virtual projection surface Sp may not be smoothly connected.
  • the display image Ii is included in the output image Io.
  • the user can change the size, position, distortion, etc. of the image of the object accompanying the change of the virtual projection plane Sp in the output image Io, the position of the boundary portion between the bottom surface Spg and the side surface Sps where the shape of the object is easily distorted, etc. Can be recognized by the sign image Ii included in the output image Io. Therefore, inconvenient events such as the user being confused by changes in the screen or object in the output image Io, or the user misidentifying the object in the output image Io are suppressed.
  • the sign image generation unit 35 generates a sign image Ii indicating a specific position on the virtual projection plane Sp.
  • the output image generation unit 36 generates an output image Io including the viewpoint image Ib and the sign image Ii. Therefore, according to the present embodiment, for example, in the output image Io, the position and size of the object are more easily recognized based on the indication image Ii indicating a specific position on the virtual projection plane Sp.
  • the sign image Ii indicates a portion of the virtual projection plane Sp having a predetermined height in the vertical direction of the vehicle 1. Therefore, for example, in the output image Io, the position of the object in the vertical direction and the height of the object are more easily recognized based on the indication image Ii.
  • the sign image Ii includes a sign image Ii0 (first sign image) indicating a part of the virtual projection plane Sp having the same height as the ground Gr. Therefore, for example, the position of the ground Gr, the distance of the object from the ground Gr, and the height of the object from the ground Gr are more easily recognized based on the indication image Ii0.
  • the sign image Ii is a sign image Ii1 (first image) indicating a portion of the virtual projection plane Sp that is the same height as the overhanging portion 2a projecting forward, rearward, or laterally in the vehicle body 2. Second marking image). Therefore, for example, in the output image Io, the difference in the vertical position between the object and the overhanging portion 2a is more easily recognized based on the indication image Ii1.
  • variable setting unit 39 can change the virtual projection plane Sp. Therefore, for example, an output image Io based on a more convenient virtual projection plane Sp is generated.
  • variable setting unit 39 can change the virtual projection plane Sp according to the speed of the vehicle 1. Therefore, for example, in the output image Io, a more convenient display form according to the speed of the vehicle 1 is easily obtained.
  • the variable setting unit 39 sets the virtual projection plane Sp2 where a portion corresponding to a distance from the vehicle 1 rises sharply.
  • the virtual projection plane Sp3 that rises gently from the vicinity of the vehicle 1 to the distance of the vehicle 1 or the vicinity of the vehicle 1
  • a virtual projection plane Sp ⁇ b> 2 where a portion corresponding to can rise steeply may be set. Therefore, for example, in the output image Io, a more convenient display form according to the speed of the vehicle 1 is easily obtained.
  • variable setting unit 39 displays the bottom surface Spg when the speed of the vehicle 1 is the first speed, and the second setting when the speed of the vehicle 1 is lower than the first speed. It can be set wider than the bottom surface Spg. Therefore, for example, when a virtual projection surface Sp having a bottom surface Spg and a side surface Sps is used, a convenient display form corresponding to the speed of the vehicle 1 is easily obtained in the output image Io.
  • variable setting unit 39 can set the virtual projection plane Sp in which the corresponding portion has risen sharply according to the distance between the vehicle 1 and the surrounding object. Therefore, for example, in the output image Io, it is easy to obtain a more convenient display form corresponding to the distance between the vehicle 1 and the surrounding object.
  • variable setting unit 39 is configured so that the part P0 (reference position) is further away from the vehicle 1 as the distances Lb1 and Lb2 (second distance) from the vehicle 1 to the projection B are larger.
  • the projection plane Sp can be set. Therefore, for example, in the output image Io, the distance, size, and the like of the projection B as an object projected on the side surface Sps (second projection plane) are more easily recognized.
  • variable setting unit 39 can set the virtual projection plane Sp so that the part P0 is closer to the vehicle 1 than the projection B. Therefore, for example, in the output image Io, it is suppressed that the image of the projection B is displayed in a state where the distortion is larger over the bottom surface Spg (first projection surface) and the side surface Sps across the region P0.
  • the output image may be displayed on a plurality of display devices, or may be displayed on a display device different from the navigation device or the like.
  • the display device may be a device that displays an image on a front window, a screen in the vehicle, or the like, or may be a display panel provided on a dashboard or a center console in the vehicle.
  • the display panel may be provided in a cockpit module, an instrument panel, a fascia, or the like.
  • the sign image is not limited to a linear image.
  • the sign image is an image showing a transparent region that transmits the viewpoint image, and a specific position is indicated by an edge of the transparent region. Also good.
  • various shapes are set as the virtual projection plane.
  • the first projection surface may be a curved surface
  • the first projection surface and the second projection surface may be a series of curved surfaces
  • the reference position is separated upward from the ground.
  • the reference position only needs to have a meaning as a reference indicating that the virtual projection plane is changing, and it is not essential to clarify the boundary between the first projection plane and the second projection plane.
  • the reference position may be a boundary position between the first projection plane and the second projection plane.
  • the reference position can be set lower than the position of the imaging unit, or can be set to a height lower than the first height that is the height of the part of the vehicle. Thereby, image distortion in the output image is suppressed.
  • the viewpoint image is not limited to the overhead image, and may be an image viewed from the side, for example.
  • the cross-sectional shape in the cross section passing through the reference point (center) of the vehicle and along the vehicle vertical direction may be, for example, a Bezier curve.
  • a Bezier curve By using a Bezier curve, the cross-sectional shape of the virtual projection plane can be set more easily. That is, the degree of freedom in setting the virtual projection plane is likely to increase.
  • the effect of the variable setting of the virtual projection plane can be obtained even when the output image does not include a sign image.
  • the vehicle image processing apparatus can also be realized by the following [1] or [2].
  • a viewpoint image generation unit that generates a viewpoint image from a virtual viewpoint of a virtual projection image obtained by projecting a captured image of the periphery of the vehicle on a three-dimensional virtual projection plane surrounding the periphery of the vehicle;
  • a sign image generating unit for generating a sign image indicating a specific position on the virtual projection plane;
  • An output image generation unit that generates an output image including the viewpoint image and the indication image;
  • the virtual projection plane has a bottom surface along the ground, and a side surface rising from the bottom surface,
  • a viewpoint image generation unit that generates a viewpoint image from a virtual viewpoint of a virtual projection image obtained by projecting a captured image of the periphery of the vehicle on a three-dimensional virtual projection plane surrounding the periphery of the vehicle;
  • a sign image generating unit for generating a sign image indicating a specific position on the virtual projection plane;
  • An output image generation unit that generates an output image including the viewpoint image and the indication image;
  • a variable setting unit capable of changing the virtual projection plane;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

実施形態の車両用画像処理装置は、例えば、車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、視点画像および標示画像を含む出力画像を生成する出力画像生成部と、を備える。

Description

車両用画像処理装置
　本発明の実施形態は、車両用画像処理装置に関する。
　従来、撮像画像を立体状に映した像データを生成し、当該像データを設定された視点から見た画像に変換して出力画像とする画像処理装置が、知られている。
特許第５３６９４６５号公報
　この種の画像処理装置では、例えば、出力画像に含まれる物体の位置がより認識しやすくなることは、有意義である。
　実施形態の車両用画像処理装置は、例えば、車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された上記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、上記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、上記視点画像および上記標示画像を含む出力画像を生成する出力画像生成部と、を備える。よって、本実施形態によれば、例えば、出力画像において、仮想投影面における特定の位置を示す標示画像に基づいて、物体の位置や大きさが、より認識されやすくなる。
　また、上記車両用画像処理装置では、例えば、上記標示画像は、上記仮想投影面の、車両の上下方向における所定高さの部位を示す。よって、例えば、出力画像において、標示画像に基づいて、物体の上下方向の位置や物体の高さが、より認識されやすくなる。
　また、上記車両用画像処理装置では、例えば、上記標示画像は、上記仮想投影面の、地面と同じ高さの部位を示す第一の標示画像を含む。よって、例えば、出力画像において、第一の標示画像に基づいて、地面の位置や、物体の地面からの距離、物体の地面からの高さが、より認識されやすくなる。
　また、上記車両用画像処理装置では、例えば、上記標示画像は、上記仮想投影面の、車体において前方、後方、または側方に張り出した張出部と同じ高さの部位を示す第二の標示画像を含む。よって、例えば、出力画像において、第二の標示画像に基づいて、物体と張出部との上下方向の位置の差が、より認識されやすくなる。
　また、上記車両用画像処理装置は、例えば、上記仮想投影面を変更可能な可変設定部を備え、上記可変設定部は、車両の状況に応じて上記仮想投影面を変更可能である。よって、例えば、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。
　また、上記車両用画像処理装置では、例えば、上記可変設定部は、車両の速度が第一の速度である場合にあっては、車両遠方に該当する箇所が急峻に立ち上がる仮想投影面を設定し、車両の速度が第一の速度よりも低い第二の速度である場合にあっては、車両近傍から車両遠方にかけて緩やかに立ち上がる仮想投影面か、または車両近傍に該当する箇所が急峻に立ち上がる仮想投影面を設定する。よって、例えば、出力画像において、車両の速度に応じた好都合な表示形態が得られやすい。
　また、上記車両用画像処理装置では、例えば、上記可変設定部は、車両と周辺にある物体との距離に応じて該当する箇所が急峻に立ち上がった仮想投影面を設定する。よって、例えば、出力画像において、車両と周辺にある物体との距離に応じた好都合な表示形態が得られやすい。
　また、上記車両用画像処理装置では、例えば、上記仮想投影面は、車両の上下方向における第二の高さに位置した参照位置と、上記参照位置よりも上記車両に近い第一の投影面と、上記参照位置よりも車両から遠く上記第一の投影面よりも勾配が大きい第二の投影面と、を有し、上記車両用画像処理装置は、車両の周囲の物体のうち上記第二の投影面に投影する投影物を設定する投影物設定部と、車両から上記投影物までの第二の距離を検出する距離検出部と、を備え、上記可変設定部は、上記第二の距離が大きいほど上記参照位置が車両から遠ざかるよう、上記仮想投影面を設定する。よって、例えば、出力画像において、第二の投影面に投影される物体としての投影物の距離やサイズ等が、より認識されやすくなる。
　また、上記車両用画像処理装置では、例えば、上記可変設定部は、上記参照位置が上記投影物よりも車両に近くなるように、上記仮想投影面を設定する。よって、例えば、出力画像において、投影物の画像が参照位置を跨いで第一の投影面と第二の投影面とに渡ってより歪みが大きい状態で表示されるのが、抑制される。
図１は、実施形態の画像表示システムの例示的な概略構成図である。 図２は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図３は、実施形態の画像表示システムによる出力画像の別の一例が示された図である。 図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例が示された平面図である。 図５は、実施形態の画像表示システムに含まれる画像処理装置の例示的かつ模式的なブロック図である。 図６は、実施形態の画像表示システムにおける撮影画像の仮想投影面への投影を示す例示的かつ模式的な説明図である。 図７は、実施形態の画像表示システムにおける車両と仮想投影面とを示す模式的かつ例示的な側面図である。 図８は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図９は、実施形態の画像表示システムにおける車両と図７とは異なる仮想投影面とを示す模式的かつ例示的な側面図である。 図１０は、実施形態の画像表示システムにおける車両と図７，８とは異なる仮想投影面とを示す模式的かつ例示的な側面図である。 図１１は、実施形態の画像表示システムにおける車両、物体（投影物）、および仮想投影面を示す模式的かつ例示的な側面図である。 図１２は、実施形態の画像表示システムにおける車両、図１１よりも車両から離れた物体（投影物）、および仮想投影面を示す模式的かつ例示的な側面図である。 図１３は、実施形態の画像表示システムで用いられる仮想投影面の別の一例が示された模式的な斜視図である。 図１４は、実施形態の画像表示システムで用いられる仮想投影面のさらに別の一例が示された模式的な斜視図である。
　以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
　また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
　図１は、画像表示システムの例示的な概略構成図である。図１に示されるように、車両１に装備される画像表示システム１０は、ＥＣＵ１１（electronic　control　unit）を備えている。ＥＣＵ１１は、撮像部１２による撮影画像を画像処理して出力画像を生成する。ＥＣＵ１１は、出力画像が表示されるよう、表示部２４ａを制御する。ＥＣＵ１１は、画像処理装置あるいは表示制御部の一例である。
＜出力画像の概要＞
　ここで、図２，３を参照しながら、本実施形態の画像表示システム１０によって生成される出力画像Ｉｏの概要について説明する。なお、図２，３の出力画像Ｉｏ中には、車両１の周辺の物体の画像は含まれていない。また、図２，３中のグリッド線は、説明のために付加されており、実際の出力画像Ｉｏには含まれなくてもよい。
　図２は、画像表示システム１０による出力画像Ｉｏの一例が示された図である。図２に示されるように、表示部２４ａで表示される画像としての出力画像Ｉｏには、車体画像Ｉｖ、視点画像Ｉｂ、および標示画像Ｉｉが、含まれている。
　車体画像Ｉｖは、車体２、すなわち、車両１、自車を示す。車体画像Ｉｖは、図１に示されるような車体２に設けられた撮像部１２によって撮影された画像では無く、予め準備され、記憶され、出力画像Ｉｏ中の所定領域に挿入された画像である。車体画像Ｉｖには、例えば、視点画像Ｉｂと同じあるいは近い視点からの視点画像が用いられる。
　視点画像Ｉｂは、車体２に設けられた図１に示される撮像部１２によって得られた撮影画像に基づいて生成される。視点画像Ｉｂは、撮影画像が投影された仮想投影面を仮想視点から見た画像であって、例えば、仮想投影変換や視点変換された画像である。視点画像Ｉｂは、本実施形態では、一例として、車体２の周辺を斜め上方から見た俯瞰画像である。ＥＣＵ１１は、撮像部１２による撮影画像のデータに対する座標変換や投影変換等の画像処理により、視点画像Ｉｂのデータを得る。視点画像Ｉｂは、ほぼリアルタイムに更新される動画であってもよいし、静止画であってもよい。視点画像Ｉｂについては、後に詳しく述べる。
　標示画像Ｉｉは、視点画像Ｉｂ中の特定の位置を示す付加的あるいは補助的な画像である。図２の例では、標示画像Ｉｉは、楕円状の線状、例えば破線状の画像である。標示画像Ｉｉは、車体２の中心（重心）から所定距離（例えば２ｍ）離れた、地面と同じ高さの位置、すなわち、車両上下方向における高さ＝０の位置、を示している。視点画像Ｉｂの仮想投影面における特定の位置を示すため、標示画像Ｉｉの位置や形状は、視点画像Ｉｂの仮想投影面の形状や、視点の位置等に応じて定まる。標示画像Ｉｉについては、後に詳しく述べる。
　図３は、画像表示システム１０による出力画像Ｉｏの図２とは別の一例が示された図である。図３の例では、標示画像Ｉｉは、視点画像Ｉｂが表示される主表示領域Ａｍには含まれず、主表示領域Ａｍとは別の、主表示領域Ａｍよりも小さいサブウインドウＡｓ内に含まれている。サブウインドウＡｓ内では、視点画像Ｉｂの概要画像Ｉａｂと、標示画像Ｉｉの概要画像Ｉａｉとが重ねられている。この例では、サブウインドウＡｓにおいて、標示画像Ｉｉ、例えば、車両上下方向における高さ＝０の位置の、視点画像Ｉｂにおける配置や大きさが示される。サブウインドウＡｓは、副表示領域とも称される。サブウインドウＡｓには、標示画像Ｉｉに対応する位置の車体２の中心（重心）からの半径を示す数値Ｉｎも示されている。
＜画像表示システム＞
　次に、図２，３に示されるような出力画像Ｉｏを生成する画像表示システム１０について説明する。画像表示システム１０は、車両１の状況に応じた出力画像Ｉｏを表示することができる。画像表示システム１０は、出力画像Ｉｏを車両１の制御に利用するシステム、例えば、走行支援システムや、駐車支援システムに組み込まれてもよい。
　図１に示されるように、画像表示システム１０に含まれる装置や電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。装置や電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。
　撮像部１２は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。
　図４は、撮像部１２による撮像範囲の一例が示された平面図である。図４に例示されるように、車体２には、車外を撮像する撮像部１２が、車体２の前部、右側の側部、左側の側部、および後部のそれぞれに、設けられている。車体２の前部に設けられる撮像部１２は、例えば、フロントグリルに設けられる。車体２の左右の側部に設けられる撮像部１２は、例えば、ドアミラーに設けられる。車体２の後部に設けられる撮像部１２は、例えば、リヤハッチに設けられる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部の左右の角部にそれぞれ設けられてもよい。撮像部１２は、例えば、広角レンズまたは魚眼レンズである。撮像部１２は、車体２（車両１）の周辺の撮影画像のデータを取得する。なお、撮像部１２は、三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部１２のそれぞれの撮像範囲は異なってもよい。
　非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された障害物の有無や障害物までの距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部や、測距部とも称される。
　舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪の操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。
　ＧＰＳ１６（global　positioning　system）は、人工衛星から受信した電波に基づいて、現在位置を取得することができる。
　車輪速センサ１７は、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。
　ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。
　アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
　画像表示システム１０には、入力部１０ａが設けられてもよい。この場合、入力部１０ａは、例えば、押しボタン、スイッチ、つまみ等として構成される。
　モニタ装置２４は、表示部２４ａ、入力部２４ｂ、および音声出力装置２４ｃを有する。表示部２４ａは、例えば、ＬＣＤ（liquid　crystal　display）である。音声出力装置２４ｃは、例えば、スピーカである。入力部２４ｂは透明であり、表示部２４ａを覆っている。入力部２４ｂは、例えば、タッチパネル等である。ユーザは、入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、ユーザは、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で入力部２４ｂを触れたり押したり動かしたりして操作することで、入力を実行することができる。そして、これら表示部２４ａや、入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用される。
　ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central　processing　unit）や、ＲＯＭ１１ｂ（read　only　memory）、ＲＡＭ１１ｃ（random　access　memory）、フラッシュメモリ１１ｄ、表示制御部１１ｅ、音声制御部１１ｆ等を有している。フラッシュメモリ１１ｄは、ＳＳＤ（solid　state　drive）であってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやフラッシュメモリ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、フラッシュメモリ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、主として、撮像部１２で得られた画像データを用いた一般的な画像処理や、表示部２４ａで表示される画像データの一般的な画像処理等を実行することができる。また、音声制御部１１ｆは、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、フラッシュメモリ１１ｄに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、フラッシュメモリ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
　図５は、ＥＣＵ１１の例示的かつ模式的なブロック図である。ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像処理装置として機能することができる。ＥＣＵ１１は、図１に示されるように、表示制御部１１ｅや音声制御部１１ｆの他、図５に示されるように、画像処理部３０および記憶部４０を含むことができる。画像処理部３０は、例えば、ＣＰＵ１１ａによって構成される。この場合、ＣＰＵ１１ａは、画像処理部３０の各部、すなわち、画像データ取得部３１、画像合成部３２、仮想投影部３３、視点画像生成部３４、標示画像生成部３５、出力画像生成部３６、データ取得部３７、物体検出部３８ａ、物体選択部３８ｂ、距離検出部３８ｃ、および可変設定部３９等として機能する。記憶部４０は、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、およびフラッシュメモリ１１ｄを含む。なお、画像処理部３０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。画像処理部３０の各部は、プログラムのモジュールに対応してもよいし、画像処理部３０の少なくとも一部はハードウエアとして構成されてもよい。
　画像データ取得部３１は、複数の撮像部１２で撮影された複数の撮影画像のデータを取得する。
　画像合成部３２は、画像データ取得部３１で取得された複数の撮影画像のデータ、すなわち、複数の撮像部１２で撮影された複数の撮影画像のデータを、それらの境界部分を合成することで繋ぎ、一つの撮影画像のデータを生成する。
　仮想投影部３３は、撮影画像のデータを、車両１の周囲を取り囲む仮想投影面に投影した、仮想投影画像のデータを生成する。図６は、画像表示システム１０における撮影画像Ｉｃの仮想投影面Ｓｐへの投影を示す例示的かつ模式的な説明図である。図６の例では、仮想投影面Ｓｐは、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面Ｓｐｇは、略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接した曲面である。図６に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の上下方向に沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。仮想投影部３３は、撮影画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮影画像Ｉｃを地面Ｇｒに投影すると、撮像部１２から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図６からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。底面Ｓｐｇは、第一の投影面の一例であり、側面Ｓｐｓは、第一の投影面よりも勾配が大きい第二の投影面の一例である。
　視点画像生成部３４は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐを、所定の仮想視点から見た、視点画像Ｉｂを生成する。図７は、画像表示システム１０における車両１と仮想投影面Ｓｐ（Ｓｐ０）とを示す模式的かつ例示的な側面図である。図７に示されるように、視点画像生成部３４は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図７には不図示）を、所定の視点Ｅｐから斜め下方を見た視点画像Ｉｂ（図７には不図示）に変換する。視点Ｅｐは、車両１の後方かつ上方に設定される。これにより、図２，３に示された出力画像Ｉｏに含まれているような視点画像Ｉｂが得られる。
　標示画像生成部３５は、仮想投影面Ｓｐにおける特定の位置を示す標示画像Ｉｉを生成する。図２，３に示された標示画像Ｉｉ（Ｉｉ０，Ｉａｉ）は、図６および図７に示される、仮想投影面Ｓｐの側面Ｓｐｓにおける地面と同じ高さの部位Ｐ０、すなわち、車両上下方向における高さ＝０の部位Ｐ０、を示している。仮想投影面Ｓｐの底面Ｓｐｇが地面Ｇｒと同じ高さの平面である場合、部位Ｐ０は、底面Ｓｐｇ（地面Ｇｒ）と側面Ｓｐｓとの境界である。本実施形態では、一例として、部位Ｐ０を境に、底面Ｓｐｇ側と側面Ｓｐｓ側とで、投影変換や視点変換による物体の像の変化率が変化している。よって、出力画像Ｉｏに含まれる標示画像Ｉｉ（Ｉｉ０）により、ユーザは、出力画像Ｉｏにおいて物体の像の長さや形状が変化する位置を、認識することができる。部位Ｐ０に対応する標示画像Ｉｉ（Ｉｉ０）は、第一の標示画像の一例である。部位Ｐ０の高さ（＝０）は、第一の高さの一例であるとともに、第二の高さの一例でもある。また、部位Ｐ０は、後述する仮想投影面Ｓｐの可変設定における参照位置の一例である。
　図８は、画像表示システム１０による出力画像Ｉｏのさらに別の一例が示された図である。図８中に示される標示画像Ｉｉ（Ｉｉ０）は、図２，３に示された標示画像Ｉｉ（Ｉｉ０）と同様に、部位Ｐ０に対応している。標示画像Ｉｉ（Ｉｉ０）とは別の標示画像Ｉｉ（Ｉｉ１）は、図７の部位Ｐ１、すなわち、車体２（車両１）において前方、後方、または側方に張り出した張出部２ａ（突出部）と、同じ高さの部位Ｐ１、を示している。張出部２ａは、車体２の前方、後方、または側方の端部を構成し、例えば、バンパーである。張出部２ａと同じ高さの部位Ｐ１を示す標示画像Ｉｉ（Ｉｉ１）により、ユーザは、例えば、視点画像Ｉｂ中の、張出部２ａと同じ高さにある物体を知ることができる。部位Ｐ１に対応する標示画像Ｉｉ（Ｉｉ１）は、第二の標示画像の一例である。また、二つの標示画像Ｉｉ０，Ｉｉ１が含まれる場合、ユーザは、視点画像Ｉｂ中で、標示画像Ｉｉ０，Ｉｉ１と重なるあるいは近い物体の高さを、より認識しやすくなる。なお、出力画像Ｉｏ中では、複数の標示画像Ｉｉの色や、太さ、線種等のスペックが、相異なってもよい。また、出力画像Ｉｏには、部位Ｐ１を示す標示画像Ｉｉ（Ｉｉ１）のみが含まれてもよい。
　データ取得部３７は、撮像画像以外のデータ、例えば、入力部２４ｂ，１０ａによって入力されたデータや、センサ等の検出結果のデータを取得する。
　物体検出部３８ａは、ソナーやレーダ等の非接触計測装置１３による検出結果や、撮像部１２（例えばステレオカメラ）による撮像結果等に基づいて、車体２（車両１）の周辺に存在する物体を検出する。物体検出部３８ａは、上記以外の検出装置による検出結果や、複数の検出装置の検出結果等に基づいて物体を検出してもよい。また、物体検出部３８ａは、所定の条件を満たす物体、例えば、大きさが所定の大きさよりも大きい物体や、高さが所定の高さよりも高い物体、幅が所定の幅よりも大きい物体、所定の範囲（距離範囲や高さ範囲等）内に位置する物体等を、検出することができる。
　物体選択部３８ｂは、物体検出部３８ａにより検出された物体のうち、予め設定された条件を満たす物体を選択することができる。物体選択部３８ｂは、所定の条件を満たす物体、例えば、大きさが所定の大きさよりも大きい物体や、高さが所定の高さよりも高い物体、幅が所定の幅よりも大きい物体、所定の範囲（距離範囲や高さ範囲等）内に位置する物体等を、選択することができる。この場合の条件は、物体検出部３８ａにおける条件とは異なる。物体選択部３８ｂは、予め設定された条件を満たす物体として、側面Ｓｐｓに投影する物体を選択することができる。この場合、物体は、投影物の一例であり、物体選択部３８ｂは、投影物設定部の一例である。
　距離検出部３８ｃは、物体検出部３８ａにより検出された物体や、物体選択部３８ｂにより選択された物体のそれぞれについて、車体２（車両１）の基準点からの距離（第一の距離、第二の距離）を取得する。距離検出部３８ｃは、ソナーやレーダ等の非接触計測装置１３による検出結果や、一つ以上の撮像部１２による撮像結果等に基づいて、当該距離を取得することができる。非接触計測装置１３によって、一つであると見なされる物体について複数の距離が検出された場合にあっては、距離検出部３８ｃは、複数の距離の代表値（例えば、所定範囲内における最小値や、平均値、中央値等）を、基準点から当該物体までの距離として算出することができる。
　可変設定部３９は、仮想投影面Ｓｐを変更することができる。図９は、画像表示システム１０における車両１と図７とは異なる仮想投影面Ｓｐ（Ｓｐ１）とを示す模式的かつ例示的な側面図である。図１０は、画像表示システム１０における車両１と図７，８とは異なる仮想投影面Ｓｐ（Ｓｐ２）とを示す模式的かつ例示的な側面図である。図７，９，１０を比較すれば明らかとなるように、これら仮想投影面Ｓｐ０，Ｓｐ１，Ｓｐ２においては、底面Ｓｐｇの広さ（大きさ）、すなわち車体２（車両１）から側面Ｓｐｓ（部位Ｐ０）までの距離が、異なっている。可変設定部３９は、記憶部４０に記憶された複数の仮想投影面Ｓｐのデータのうちいずれかを読み出したり、あるいは数式による演算を行うことにより、仮想投影面Ｓｐを変更することができる。
　地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへの仮想投影画像Ｉｐの投影は、当該側面Ｓｐｓに比較的近い物体に対してより効果的である。本実施形態では、車両１の状況やユーザの嗜好に応じて、可変設定部３９が仮想投影面Ｓｐを変更することにより、側面Ｓｐｓの位置を変更することができる。すなわち、可変設定部３９は、仮想投影面Ｓｐの側面Ｓｐｓによる効果が得られる位置を、変更できる。
　可変設定部３９による仮想投影面Ｓｐの変更は、入力部２４ｂ，１０ａのユーザの操作によって入力されたデータに基づいて行われる。これにより、ユーザの嗜好に応じて選択された仮想投影面Ｓｐが設定される。仮想投影部３３および視点画像生成部３４は、可変設定部３９によって設定された仮想投影面Ｓｐについて、所定の演算を実行する。
　可変設定部３９は、車両１の速度に応じて仮想投影面Ｓｐを変更することができる。可変設定部３９は、例えば、車輪速センサ１７の検出結果に基づいて、車両１の速度Ｖが第一の閾値Ｖｔｈ１以下である状態では（Ｖ≦Ｖｔｈ１）、図７に例示されるような底面Ｓｐｇの狭い（小さい）仮想投影面Ｓｐ０を設定する。可変設定部３９は、車両１の速度Ｖが第一の閾値Ｖｔｈ１より大きく第二の閾値Ｖｔｈ２（＞Ｖｔｈ１）以下である状態では（Ｖｔｈ１＜Ｖ≦Ｖｔｈ２）、底面Ｓｐｇが図７の仮想投影面Ｓｐ０よりも広い（大きい）図９に例示されるような仮想投影面Ｓｐ１を設定する。また、可変設定部３９は、車両１の速度Ｖが第二の閾値Ｖｔｈ２より大きい状態では（Ｖ＞Ｖｔｈ２）、底面Ｓｐｇが図９の仮想投影面Ｓｐ１よりも広い（大きい）図１０に例示されるような仮想投影面Ｓｐ２を設定する。あるいは、可変設定部３９は、例えば、車輪速センサ１７の検出結果に基づいて、車両１の速度Ｖと底面Ｓｐｇの広さとの関数（数式）や、速度Ｖと底面Ｓｐｇの広さとの相関関係を示すマップ（テーブル）により、速度Ｖが高いほど底面Ｓｐｇが広い仮想投影面Ｓｐを設定することができる。車両１の速度Ｖが高いほど、注意を要する周辺領域は車両１から遠く、車両１の速度Ｖが低いほど、注意を要する周辺領域は車両１に近い場合が多い。よって、このような設定によれば、注意を要する周辺領域について、仮想投影面Ｓｐの側面Ｓｐｓによる効果が得られる。よって、車両１と周辺の物体との距離に応じて、当該距離が長くなるほど底面Ｓｐｇが広くなるよう、仮想投影面Ｓｐを変更してもよい。仮想投影面Ｓｐ０は、車両１の近傍に該当する箇所が急峻に立ち上がる仮想投影面の一例である。仮想投影面Ｓｐ２は、車両１の遠方に該当する箇所が急峻に立ち上がる仮想投影面の一例である。
　可変設定部３９は、車両１の速度Ｖに限らず、種々の状況に応じたパラメータ、例えば、車両１の進行方向や、車両１の傾き、車両１の位置、車両１と周辺にある物体との距離、センサやデバイスによる検出結果や、信号、データ等に応じて、仮想投影面Ｓｐを変更することができる。当該センサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。
　また、可変設定部３９は、車両１の周辺の物体のうち仮想投影面Ｓｐに投影する投影物までの車両１からの距離に応じて、仮想投影面Ｓｐを変更することができる。図１１は、画像表示システム１０における車両１、投影物Ｂ、および仮想投影面Ｓｐ（Ｓｐ１）を示す模式的かつ例示的な側面図である。また、図１２は、画像表示システム１０における車両１、図１１よりも車両１から遠い投影物Ｂ、および仮想投影面Ｓｐ（Ｓｐ２）を示す模式的かつ例示的な側面図である。ここで、投影物Ｂは、予め設定された条件を満たしていたため、物体検出部３８ａにより検出された物体の中から物体選択部３８ｂによって選択された物体であって、少なくとも側面Ｓｐｓに投影される物体である。すなわち、予め設定された条件は、換言すれば、側面Ｓｐｓに投影する物体を特定する条件である。
　図１１，１２から明らかとなるように、可変設定部３９は、投影物Ｂの位置、すなわち車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２（第二の距離）に応じて、仮想投影面Ｓｐを変更している。図１２における車両１から投影物Ｂまでの距離Ｌｂ２は、図１１における車両１から投影物Ｂまでの距離Ｌｂ１よりも長い。この場合には、可変設定部３９は、図１２の仮想投影面Ｓｐ２における、車両１から部位Ｐ０（参照位置）までの距離Ｌ０２を、図１１の仮想投影面Ｓｐ１における、車両１から部位Ｐ０までの距離Ｌ０１よりも、長く設定している。すなわち、可変設定部３９は、車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２が大きいほど部位Ｐ０が車両１から遠ざかるよう、仮想投影面Ｓｐを設定している。このような設定により、出力画像Ｉｏにおいて、側面Ｓｐｓに投影される物体としての投影物Ｂの距離やサイズ等が、より認識されやすくなる。
　また、可変設定部３９は、部位Ｐ０が、投影物Ｂよりも車両１に近くなるように、仮想投影面Ｓｐを設定する。これにより、出力画像Ｉｏにおいて、投影物Ｂの画像が部位Ｐ０を跨いで側面Ｓｐｓと底面Ｓｐｇとに渡ってより歪みが大きい状態で表示されるのが、抑制される。なお、可変設定部３９は、部位Ｐ０を、車両１と投影物Ｂとの間であって、車両１よりも投影物Ｂに近い位置に設定する。このような設定によれば、部位Ｐ０が車両１に近い場合に比べて、出力画像Ｉｏにおいて、投影物Ｂの距離やサイズ等が、より認識されやすくなる。
　なお、可変設定部３９は、車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２が小さいほど、側面Ｓｐｓの勾配が小さくなるようにしてもよいし、部位Ｐ０における勾配の変化が小さくなるようにしてもよい。このような設定によれば、出力画像Ｉｏにおいて、部位Ｐ０において地面Ｇｒの画像の歪みが大きくなるのが、抑制される。
　なお、物体選択部３８ｂは、例えば、部位Ｐ０の高さ（第二の高さ）よりも高い第三の高さを設定し、物体の高さが第三の高さと同じかあるいはより高い当該物体を、投影物Ｂとして選択することができる。このような設定によっても、出力画像Ｉｏにおいて、投影物Ｂの画像が部位Ｐ０を跨いで側面Ｓｐｓと底面Ｓｐｇとに渡ってより歪みが大きい状態で表示されるのが、抑制される。
　図１３は、画像表示システム１０で用いられる仮想投影面Ｓｐの別の一例が示された模式的な斜視図である。図１３に例示される仮想投影面Ｓｐ３は、半球状である。このように、仮想投影面Ｓｐの底面Ｓｐｇは曲面であってもよいし、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとのはっきりとした境界は無かったりしてもよい。すなわち、本実施形態における仮想投影面Ｓｐは、底面Ｓｐｇと側面Ｓｐｓとに分割されているものには限定されない。仮想投影面Ｓｐ３は、車両１の近傍から車両１の遠方にかけて緩やかに立ち上がる仮想投影面の一例である。
　図１４は、画像表示システム１０で用いられる仮想投影面Ｓｐのさらに別の一例が示された模式的な斜視図である。図１４に例示される仮想投影面Ｓｐ４は、円錐内面状である。このように、仮想投影面Ｓｐの側面Ｓｐｓの勾配は一定であってもよいし、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとが滑らかに接続されなくてもよい。
　可変設定部３９によって仮想投影面Ｓｐが変更される画像表示システム１０では、出力画像Ｉｏ中に標示画像Ｉｉが含まれるのがより効果的である。例えば、ユーザは、出力画像Ｉｏにおいて仮想投影面Ｓｐの変化に伴う物体の画像の大きさや、位置、歪み等の変化や、物体の形状が歪みやすい底面Ｓｐｇと側面Ｓｐｓとの境界部分の位置等を、出力画像Ｉｏ中に含まれる標示画像Ｉｉによって、認識することができる。よって、ユーザが出力画像Ｉｏにおける画面や物体の変化に戸惑ったり、ユーザが出力画像Ｉｏ中で物体を誤認したり、といった、不都合な事象が抑制される。
　以上、説明したように、本実施形態では、例えば、標示画像生成部３５は、仮想投影面Ｓｐにおける特定の位置を示す標示画像Ｉｉを生成する。出力画像生成部３６は、視点画像Ｉｂと標示画像Ｉｉとを含む出力画像Ｉｏを生成する。よって、本実施形態によれば、例えば、出力画像Ｉｏにおいて、仮想投影面Ｓｐにおける特定の位置を示す標示画像Ｉｉに基づいて、物体の位置や大きさが、より認識されやすくなる。
　また、本実施形態では、例えば、標示画像Ｉｉは、仮想投影面Ｓｐの、車両１の上下方向における所定高さの部位を示す。よって、例えば、出力画像Ｉｏにおいて、標示画像Ｉｉに基づいて、物体の上下方向の位置や物体の高さが、より認識されやすくなる。
　また、本実施形態では、例えば、標示画像Ｉｉは、仮想投影面Ｓｐの、地面Ｇｒと同じ高さの部位を示す標示画像Ｉｉ０（第一の標示画像）を含む。よって、例えば、標示画像Ｉｉ０に基づいて、地面Ｇｒの位置や、物体の地面Ｇｒからの距離、物体の地面Ｇｒからの高さが、より認識されやすくなる。
　また、本実施形態では、例えば、標示画像Ｉｉは、仮想投影面Ｓｐの、車体２において前方、後方、または側方に張り出した張出部２ａと同じ高さの部位を示す標示画像Ｉｉ１（第二の標示画像）を含む。よって、例えば、出力画像Ｉｏにおいて、標示画像Ｉｉ１に基づいて、物体と張出部２ａとの上下方向の位置の差が、より認識されやすくなる。
　また、本実施形態では、例えば、可変設定部３９は、仮想投影面Ｓｐを変更可能である。よって、例えば、より好都合な仮想投影面Ｓｐに基づく出力画像Ｉｏが生成される。
　また、本実施形態では、例えば、可変設定部３９は、車両１の速度に応じて仮想投影面Ｓｐを変更可能である。よって、例えば、出力画像Ｉｏにおいて、車両１の速度に応じたより好都合な表示形態が得られやすい。
　また、本実施形態では、例えば、可変設定部３９は、車両１の速度が第一の速度である場合にあっては、車両１の遠方に該当する箇所が急峻に立ち上がる仮想投影面Ｓｐ２を設定し、車両１の速度が第一の速度よりも低い第二の速度である場合にあっては、車両１の近傍から車両１の遠方にかけて緩やかに立ち上がる仮想投影面Ｓｐ３か、または車両１の近傍に該当する箇所が急峻に立ち上がる仮想投影面Ｓｐ２を設定してもよい。よって、例えば、出力画像Ｉｏにおいて、車両１の速度に応じたより好都合な表示形態が得られやすい。
　また、本実施形態では、例えば、可変設定部３９は、車両１の速度が第一の速度の場合における底面Ｓｐｇを、車両１の速度が第一の速度よりも低い第二の速度の場合における底面Ｓｐｇよりも広く設定できる。よって、例えば、底面Ｓｐｇと側面Ｓｐｓとを有する仮想投影面Ｓｐが用いられる場合に、出力画像Ｉｏにおいて、車両１の速度に応じた好都合な表示形態が得られやすい。
　また、本実施形態では、例えば、可変設定部３９は、車両１と周辺にある物体との距離に応じて該当する箇所が急峻に立ち上がった仮想投影面Ｓｐを設定できる。よって、例えば、出力画像Ｉｏにおいて、車両１と周辺にある物体との距離に応じたより好都合な表示形態が得られやすい。
　また、本実施形態では、例えば、可変設定部３９は、車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２（第二の距離）が大きいほど部位Ｐ０（参照位置）が車両１から遠ざかるよう、仮想投影面Ｓｐを設定することができる。よって、例えば、出力画像Ｉｏにおいて、側面Ｓｐｓ（第二の投影面）に投影される物体としての投影物Ｂの距離やサイズ等が、より認識されやすくなる。
　また、本実施形態では、例えば、可変設定部３９は、部位Ｐ０が、投影物Ｂよりも車両１に近くなるように、仮想投影面Ｓｐを設定することができる。よって、例えば、出力画像Ｉｏにおいて、投影物Ｂの画像が部位Ｐ０を跨いで底面Ｓｐｇ（第一の投影面）と側面Ｓｐｓとに渡ってより歪みが大きい状態で表示されるのが、抑制される。
　以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。
　また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ナビゲーション装置等とは別の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
　また、標示画像は、線状の画像には限定されず、例えば、標示画像は、視点画像を透過する透明な領域を示す画像であって、特定の位置が透明な領域の縁によって示されてもよい。また、仮想投影面としては、種々の形状のものが設定される。
　また、第一の投影面は曲面であってもよいし、第一の投影面と第二の投影面とが一連の曲面であってもよいし、参照位置は、地面から上方に離れていてもよい。参照位置は、仮想投影面が変化していることを示す参照としての意味を有すればよく、第一の投影面と第二の投影面との境界を明確にすることは必須ではない。ただし、参照位置は、第一の投影面と第二の投影面との境界位置であってもよい。参照位置は、例えば、撮像部の位置よりも下方に設定されうるし、車両の部位の高さである第一の高さよりも低い高さに設定されうる。これにより、出力画像における画像の歪みが抑制される。また、視点画像は、俯瞰画像には限定されず、例えば、側方から見た画像であってもよい。
　また、車両の基準点（中心）を通り車両上下方向に沿った断面における断面形状は、例えば、ベジェ曲線等であってもよい。ベジェ曲線とすることにより、仮想投影面の断面の形状をより容易に設定しやすくなる。すなわち、仮想投影面の設定の自由度が高まりやすい。また、仮想投影面の可変設定による効果は、出力画像に標示画像が含まれない場合においても得られる。
　また、本発明の車両用画像処理装置は、以下の［１］または［２］のような形態によっても実現可能である。
［１］
　車両の周囲を取り囲む三次元の仮想投影面に車両周辺の撮影画像が投影された仮想投影画像の、仮想視点からの視点画像を生成する、視点画像生成部と、
　前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
　前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
　を備え、
　前記仮想投影面は、地面に沿った底面と、底面から立ち上がった側面と、を有し、
　前記標示画像は、前記仮想投影面の、前記底面と前記側面との境界を示す、車両用画像処理装置。
［２］
　車両の周囲を取り囲む三次元の仮想投影面に車両周辺の撮影画像が投影された仮想投影画像の、仮想視点からの視点画像を生成する、視点画像生成部と、
　前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
　前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
　前記仮想投影面を変更可能な可変設定部と、
　を備え、
　前記可変設定部は、入力部で入力されたデータに基づいて、前記仮想投影面を変更可能である、車両用画像処理装置。
　１…車両、２…車体、２ａ…張出部、１０ａ，２４ｂ…入力部、１１…ＥＣＵ（画像処理装置）、３４…視点画像生成部、３５…標示画像生成部、３８ｂ…物体選択部（投影物設定部）、３８ｃ…距離検出部、３９…可変設定部、Ｉｃ…撮影画像、Ｉｐ…仮想投影画像、Ｉｂ…視点画像、Ｉｉ…標示画像、Ｉｉ０…標示画像（第一の標示画像）、Ｉｉ１…標示画像（第二の標示画像）、Ｉｏ…出力画像、Ｌｂ１，Ｌｂ２…距離（第一の距離、第二の距離）、Ｓｐ（Ｓｐ０～Ｓｐ４）…仮想投影面、Ｓｐｇ…底面（第一の投影面）、Ｓｐｓ…側面（第二の投影面）、Ｐ０…部位（地面と同じ高さの部位、参照位置）、Ｐ１…部位（第一の高さの部位）。

Claims (9)

  1. 　車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された前記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、
    　前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
    　前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
    　を備えた、車両用画像処理装置。
  2. 　前記標示画像は、前記仮想投影面の、車両の上下方向における所定高さの部位を示す、請求項１に記載の車両用画像処理装置。
  3. 　前記標示画像は、前記仮想投影面の、地面と同じ高さの部位を示す第一の標示画像を含む、請求項２に記載の車両用画像処理装置。
  4. 　前記標示画像は、前記仮想投影面の、車体において前方、後方、または側方に張り出した張出部と同じ高さの部位を示す第二の標示画像を含む、請求項２または３に記載の車両用画像処理装置。
  5. 　前記仮想投影面を変更可能な可変設定部を備え、
    　前記可変設定部は、車両の状況に応じて前記仮想投影面を変更可能である、請求項１～４のうちいずれか一つに記載の車両用画像処理装置。
  6. 　前記可変設定部は、
    　車両の速度が第一の速度である場合にあっては、車両遠方に該当する箇所が急峻に立ち上がる仮想投影面を設定し、
    　車両の速度が第一の速度よりも低い第二の速度である場合にあっては、車両近傍から車両遠方にかけて緩やかに立ち上がる仮想投影面か、または車両近傍に該当する箇所が急峻に立ち上がる仮想投影面を設定する、請求項５に記載の車両用画像処理装置。
  7. 　前記可変設定部は、車両と周辺にある物体との距離に応じて該当する箇所が急峻に立ち上がった仮想投影面を設定する、請求項５に記載の車両用画像処理装置。
  8. 　前記仮想投影面は、車両の上下方向における第二の高さに位置した参照位置と、前記参照位置よりも前記車両に近い第一の投影面と、前記参照位置よりも車両から遠く前記第一の投影面よりも勾配が大きい第二の投影面と、を有し、
    　前記車両用画像処理装置は、車両の周囲の物体のうち前記第二の投影面に投影する投影物を設定する投影物設定部と、車両から前記投影物までの第二の距離を検出する距離検出部と、を備え、
    　前記可変設定部は、前記第二の距離が大きいほど前記参照位置が車両から遠ざかるよう、前記仮想投影面を設定する、請求項５に記載の車両用画像処理装置。
  9. 　前記可変設定部は、前記参照位置が前記投影物よりも車両に近くなるように、前記仮想投影面を設定する、請求項８に記載の車両用画像処理装置。
PCT/JP2016/077086 2015-09-30 2016-09-14 車両用画像処理装置 WO2017056989A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/755,308 US10474898B2 (en) 2015-09-30 2016-09-14 Image processing apparatus for vehicle
CN201680050513.0A CN107950022A (zh) 2015-09-30 2016-09-14 车辆用图像处理装置
EP16851163.2A EP3358840A4 (en) 2015-09-30 2016-09-14 Image processing device for vehicles

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-194335 2015-09-30
JP2015194335 2015-09-30
JP2016121160A JP6575445B2 (ja) 2015-09-30 2016-06-17 車両用画像処理装置
JP2016-121160 2016-06-17

Publications (1)

Publication Number Publication Date
WO2017056989A1 true WO2017056989A1 (ja) 2017-04-06

Family

ID=58427700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077086 WO2017056989A1 (ja) 2015-09-30 2016-09-14 車両用画像処理装置

Country Status (1)

Country Link
WO (1) WO2017056989A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026320A1 (ja) * 2017-08-03 2019-02-07 アイシン精機株式会社 表示制御装置
CN110959289A (zh) * 2017-06-02 2020-04-03 爱信精机株式会社 周边监控装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005186906A (ja) * 2003-12-26 2005-07-14 Nissan Motor Co Ltd 通過判断支援装置及び方法
JP2007091157A (ja) * 2005-09-30 2007-04-12 Aisin Seiki Co Ltd 運転支援装置
JP2008149878A (ja) * 2006-12-18 2008-07-03 Clarion Co Ltd 運転支援装置
JP2013207637A (ja) * 2012-03-29 2013-10-07 Mitsubishi Electric Corp 画像処理装置及び方法、並びにコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005186906A (ja) * 2003-12-26 2005-07-14 Nissan Motor Co Ltd 通過判断支援装置及び方法
JP2007091157A (ja) * 2005-09-30 2007-04-12 Aisin Seiki Co Ltd 運転支援装置
JP2008149878A (ja) * 2006-12-18 2008-07-03 Clarion Co Ltd 運転支援装置
JP2013207637A (ja) * 2012-03-29 2013-10-07 Mitsubishi Electric Corp 画像処理装置及び方法、並びにコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358840A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110959289A (zh) * 2017-06-02 2020-04-03 爱信精机株式会社 周边监控装置
CN110959289B (zh) * 2017-06-02 2021-04-20 爱信精机株式会社 周边监控装置
US11475676B2 (en) 2017-06-02 2022-10-18 Aisin Corporation Periphery monitoring device
WO2019026320A1 (ja) * 2017-08-03 2019-02-07 アイシン精機株式会社 表示制御装置
JP2019028920A (ja) * 2017-08-03 2019-02-21 アイシン精機株式会社 表示制御装置
CN110945558A (zh) * 2017-08-03 2020-03-31 爱信精机株式会社 显示控制装置
JP7039879B2 (ja) 2017-08-03 2022-03-23 株式会社アイシン 表示制御装置
CN110945558B (zh) * 2017-08-03 2023-06-06 株式会社爱信 显示控制装置

Similar Documents

Publication Publication Date Title
JP6575445B2 (ja) 車両用画像処理装置
CN107465890B (zh) 车辆的图像处理装置
US9216765B2 (en) Parking assist apparatus, parking assist method and program thereof
CN107818581B (zh) 车辆的图像处理系统
CN107791951B (zh) 显示控制装置
US20170259831A1 (en) Driving assistance device and driving assistance system
JP6554866B2 (ja) 画像表示制御装置
JP2016060219A (ja) 車両位置検出装置
CN110945558A (zh) 显示控制装置
US11475676B2 (en) Periphery monitoring device
US20200035207A1 (en) Display control apparatus
WO2019053922A1 (ja) 画像処理装置
WO2018003188A1 (ja) 周辺監視装置
WO2017056989A1 (ja) 車両用画像処理装置
CN107925747B (zh) 车辆用图像处理装置
JP2012037924A (ja) 運転支援装置
JP6601097B2 (ja) 表示制御装置
JP2017198599A (ja) 周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE