WO2016035580A1 - 画像表示制御装置および画像表示システム - Google Patents

画像表示制御装置および画像表示システム Download PDF

Info

Publication number
WO2016035580A1
WO2016035580A1 PCT/JP2015/073579 JP2015073579W WO2016035580A1 WO 2016035580 A1 WO2016035580 A1 WO 2016035580A1 JP 2015073579 W JP2015073579 W JP 2015073579W WO 2016035580 A1 WO2016035580 A1 WO 2016035580A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
vehicle
unit
captured
Prior art date
Application number
PCT/JP2015/073579
Other languages
English (en)
French (fr)
Inventor
淳邦 橋本
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US15/507,792 priority Critical patent/US20170282813A1/en
Publication of WO2016035580A1 publication Critical patent/WO2016035580A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • Embodiments described herein relate generally to an image display control device and an image display system.
  • the image display control apparatus is, for example, an image outside the vehicle based on at least a part of a captured image captured by an imaging unit having an imaging range from a direction in which a rear end portion of a vehicle body is captured to a position higher than a horizontal direction behind the vehicle.
  • An image generation unit that generates a display image displayed on a display device, and a range changing unit that changes a range included in the display image among the captured images when the vehicle moves forward and backward,
  • a display control unit that controls the display device so that the display image is displayed. Therefore, according to the present embodiment, for example, a display image in a range corresponding to when the vehicle moves forward and when the vehicle moves backward can be displayed on the display device.
  • the captured image is a captured image captured by one of the imaging units. Therefore, for example, the image display system can be further simplified.
  • the image display control device includes an image correction unit that corrects the vehicle exterior image in a different manner, for example, when the vehicle is moving forward and when the vehicle is moving backward. Therefore, for example, a display image of a display mode corresponding to each time the vehicle moves forward and backward can be displayed on the display device.
  • the range changing unit changes the size of the range between when the vehicle moves forward and when the vehicle moves backward. Therefore, for example, a display image having a size corresponding to each time the vehicle moves forward and backward can be displayed on the display device.
  • the image generation unit can generate the display image including a plurality of the outside images with different ranges. Therefore, for example, a display image including a plurality of outside-vehicle images can be displayed on the display device.
  • the display device is covered with a half mirror, and the display control unit displays the display image on a part of the display device, and also displays another display device.
  • the display device is controlled so that the half mirror functions as a mirror by blacking out the part.
  • a display device can be used as a display and a mirror.
  • the image display system includes, for example, an imaging unit having an imaging range from the direction in which the rear end of the vehicle body is captured to the upper side of the horizontal direction behind the vehicle, a display device, and an image display control device.
  • the image display control device includes: an image generation unit that generates a display image displayed on the display device including an image outside the vehicle based on at least a part of the captured image captured by the imaging unit; A range changing unit that changes a range included in the display image in the captured image and a display control unit that controls the display device so that the display image is displayed. Therefore, according to the present embodiment, for example, a display image in a range corresponding to when the vehicle moves forward and when the vehicle moves backward can be displayed on the display device.
  • FIG. 1 is an exemplary schematic configuration diagram of an image display system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a display image by the image display system of the embodiment.
  • FIG. 3 is a diagram illustrating another example of a display image by the image display system of the embodiment.
  • FIG. 4 is a plan view of an example of an imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 5 is a side view of an example of an imaging range by the imaging unit of the image display system according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of an outside image included in a display image by the image display system of the embodiment.
  • FIG. 7 is a diagram illustrating an example of a vehicle body image added in the image display system of the embodiment.
  • FIG. 8 is a plan view of another example of the imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 9 is a side view of another example of the imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 10 is a diagram illustrating an example of a display range in an image outside the vehicle in the image display system of the embodiment.
  • FIG. 11 is an exemplary block diagram of an ECU included in the image display system of the embodiment.
  • FIG. 12 is an exemplary flowchart of a processing procedure of the image display system according to the embodiment.
  • FIG. 13 is a diagram illustrating an example of a captured image captured by the image display system of the embodiment.
  • FIG. 14 is a diagram illustrating an example of a captured image whose distortion has been corrected by the image display system of the embodiment.
  • FIG. 15 is a diagram illustrating an example of a captured image that has undergone distortion correction and viewpoint conversion in the image display system of the embodiment.
  • FIG. 16 is a schematic diagram illustrating an example of a display mode of a display image by the image display system of the embodiment.
  • FIG. 17 is a schematic diagram illustrating another example of the display mode of the display image by the image display system of the embodiment.
  • FIG. 18 is a schematic diagram illustrating still another example of the display mode of the display image by the image display system of the embodiment.
  • FIG. 19 is an exemplary conceptual diagram including a position of the vehicle at the time of parking and a display image by the image display system of the embodiment at the position, and a diagram in a state before the vehicle reaches the parking target position. It is.
  • FIG. 16 is a schematic diagram illustrating an example of a display mode of a display image by the image display system of the embodiment.
  • FIG. 17 is a schematic diagram illustrating another example of the display mode of the display image by the image display system of the embodiment
  • FIG. 20 is a schematic diagram illustrating still another example of the display mode of the display image by the image display system of the embodiment.
  • FIG. 21 is a schematic diagram showing still another example of the display mode of the display image by the image display system of the embodiment.
  • FIG. 22 is an exemplary perspective view of a display device of the image display system according to the embodiment.
  • FIG. 23 is a diagram showing still another example of a display image by the image display system of the embodiment.
  • FIG. 24 is a diagram showing still another example of a display image by the image display system of the embodiment.
  • FIG. 25 is a diagram showing still another example of a display image by the image display system of the embodiment.
  • the image display system 100 equipped in the vehicle 1 includes an ECU 11 (electronic control unit) that controls an image displayed on the display unit 10a as a display device, as shown in FIG.
  • the ECU 11 is an example of a display control unit or an image display control device.
  • the display unit 10a is provided in place of, for example, a rear view mirror (not shown) provided at the front and upper part of the vehicle interior. Based on the image captured by the imaging unit 12, the display unit 10a displays an image resembling a mirror image reflected in a room mirror provided at the front and upper part of the vehicle interior as illustrated in FIG.
  • the A passenger such as a driver can use the display unit 10a as a room mirror or instead of a room mirror.
  • the room mirror can also be referred to as a rearview mirror.
  • the display unit 10a of the housing 10 can be attached to the rearview mirror by an attachment or an attachment so as to cover the mirror surface of the rearview mirror, for example.
  • an image that is opposite to the left and right of the image captured by the imaging unit 12 provided outside the vehicle, that is, outside the passenger compartment, that is, a mirror image is displayed.
  • the display unit 10a can be configured, for example, as an LCD (liquid crystal display), an OELD (organic electro-luminescent display), a projector device, or the like.
  • ECU11 may be accommodated in the housing
  • a half mirror (not shown) may be provided on the front side, that is, the rear side of the display unit 10a.
  • the half mirror in a state where the image display system 100 is not used and no image is displayed on the display unit 10a, the half mirror can be used as a room mirror.
  • region blacked out among half mirrors, can be used as a room mirror.
  • the housing 10 may be provided with an imaging unit 12I as shown in FIGS.
  • the output image Im as an image displayed on the display unit 10a includes a vehicle exterior image Imo indicated by a solid line and a vehicle body image Imi indicated by a broken line.
  • the outside-vehicle image Imo can be generated from images captured by one or a plurality of imaging units 12.
  • the output image Im can also be referred to as a display image.
  • the outside image Imo that is, the image captured by the imaging unit 12 can also be referred to as a captured image.
  • the vehicle body image Imi can also be referred to as an additional image.
  • the vehicle outside image Imo is indicated by a solid line and the vehicle body image Imi is indicated by a broken line for convenience.
  • the actual outside image Imo is not limited to a solid line, and the vehicle body image Imi is not limited to a broken line.
  • the imaging unit 12 is a digital camera that incorporates an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 12 can output image data, that is, moving image data at a predetermined frame rate.
  • the vehicle body 2 is provided with only the imaging unit 12R provided at the rear part of the vehicle body 2 as the imaging unit 12 that images the outside of the vehicle.
  • the imaging unit 12R images the rear and side of the vehicle 1, that is, the rear and side outside the passenger compartment.
  • the imaging unit 12R is, for example, a wide angle lens or a fisheye lens.
  • the imaging range by the imaging unit 12R is at least from the direction in which the rear end 2b of the vehicle body 2 is reflected to above the horizontal direction Lrh behind the vehicle 1 as indicated by the broken line in FIG. It is set to include the range. Thereby, both an image behind the vehicle during traveling and an image near the road surface behind the vehicle during parking can be obtained from the image captured by the imaging unit 12R.
  • FIGS. 4 and 5 The imaging range illustrated in FIGS. 4 and 5 is an example, and the imaging range by the imaging unit 12R is not limited to the examples in FIGS.
  • FIG. 6 illustrates an example of an outside-vehicle image Imo obtained from an image captured by the imaging unit 12.
  • the horizontal direction Lrh here is a horizontal direction with respect to the vehicle 1 and is a direction that becomes horizontal when the vehicle 1 is positioned on a horizontal plane.
  • the vehicle body image Imi includes a contour line Lo or an edge as a display element drawn in a three-dimensional frame shape showing the structure of the vehicle body 2.
  • the vehicle body components indicated by the contour line Lo are, for example, corners, edges, windows, pillars, doors, floors, ceilings, trims, wheels, axles, differential gears, and the like of the vehicle body 2.
  • the vehicle body image Imi is not limited to the vehicle body shape itself as long as the occupant can roughly recognize the position and shape of the vehicle body 2.
  • the vehicle body image Imi may be a schematic one.
  • the region between the contour lines Lo may be colored in a state where the vehicle outside image Imo is transmitted.
  • the vehicle body image Imi is a line drawing (line diagram).
  • a line as a display element included in a line drawing can have various display modes. Examples of display modes include type, surface density, width, thickness, density, transparency, color, and pattern.
  • the types include, for example, a solid line, a broken line, a one-dot chain line, a two-dot chain line, a broken line, a jagged line, and a wavy line.
  • the surface density is a density per unit area of the screen or image. For example, in the case of the same thickness, the surface density of the solid line is larger than the surface density of the broken line.
  • the line drawing can include a plurality of lines having locally different display modes.
  • the line drawing may partially include dots, symbols, characters, figures, and the like. The display mode of these line drawings can be set or changed according to the vehicle state such as the traveling state or the operation state.
  • the output image Im including the vehicle body image Imi together with the vehicle exterior image Imo is displayed on the display unit 10 a, so that the occupant can recognize the relative position between the vehicle 1 and the object B outside the vehicle. It is easy to recognize the distance between the vehicle 1 and the object B, the direction of the object B, the size of the object B, and the like.
  • a part Pw that shows an end part of the vehicle body 2 in the vehicle width direction, a part Pr that shows a rear end part of the vehicle body 2, and a lower part of the vehicle body 2 A portion Pb that represents can be included.
  • a portion Pbw indicating an end portion of the lower portion of the vehicle body 2 in the vehicle width direction, a portion Pbr indicating a rear end portion of the lower portion of the vehicle body 2 in the vehicle front-rear direction, and the vehicle front and rear portions of the side portion of the vehicle body 2 A portion Psr indicating the rear end of the direction may be included.
  • the vehicle body image Imi is created so that at least the lower part of the vehicle body 2 can be recognized two-dimensionally, that is, two-dimensionally. Therefore, the occupant can easily recognize, for example, the planar size, shape, and part of the vehicle body 2. For example, the occupant can easily recognize the size and height of the object B outside the passenger compartment, the positional relationship of the object B in the horizontal direction, and the like with reference to the vehicle body image Imi.
  • the vehicle body image Imi is stored in advance in a nonvolatile storage unit.
  • the storage unit can store vehicle body images Imi for a plurality of vehicle types. In this case, for example, the vehicle body image Imi selected according to the vehicle type of the vehicle 1, the user's preference, or the like can be used as the composite image.
  • the storage unit may be, for example, the SSD 11d shown in FIG.
  • the ECU 11 can transform the vehicle body image Imi based on an input instruction or operation or the like at the operation input unit 10b in a setting operation such as calibration. Specifically, for example, the vehicle body image Imi is deformed such that the vehicle body image Imi is stretched left and right as it goes upward, is stretched up and down, and the vertical and horizontal positions are changed. Is changed.
  • the changed body image Imi is stored in the storage unit, and the changed body image Imi is used as the composite image.
  • the vehicle body image Imi a room image captured by the imaging unit 12I as exemplified in FIG. 8, an image in which the room image is changed, or the like may be used.
  • the ECU 11 can set or change the transmission ratio ⁇ of the vehicle body image Imi, that is, the composition ratio with the vehicle exterior image Imo.
  • the vehicle body image Imi has a luminance of x1
  • the vehicle exterior image Imo has a luminance of x2
  • the transmittance ⁇ can be set to an arbitrary value.
  • the vehicle body 2 has, as the imaging unit 12, an imaging unit 12 ⁇ / b> S that images the side of the vehicle 1, that is, the side outside the passenger compartment, and the rear of the vehicle 1, that is, the rear outside the passenger compartment.
  • An imaging unit 12R is provided.
  • the imaging units 12S and 12R may capture images including both the rear and side of the vehicle 1, respectively.
  • the imaging unit 12S is provided on each of the left and right sides of the vehicle body 2, and the imaging unit 12R is provided on the rear end 2b of the vehicle body 2.
  • the imaging unit 12S can be provided on a door mirror, and the imaging unit 12R can be provided on a rear hatch.
  • the imaging units 12 may be provided at the left end and the right end of the rear end 2b of the vehicle body 2, for example.
  • the imaging unit 12 that captures at least one of the vehicle interior and the exterior of the vehicle interior may be provided in the vehicle interior.
  • the imaging ranges of the plurality of imaging units 12 may be different vertically.
  • the imaging unit 12 may be a wide-angle lens or a fisheye lens, respectively.
  • the ECU 11 combines the images acquired by the plurality of imaging units 12 with a known technique and illustrated in FIG. 10.
  • a series of outside images Imo as described above can be obtained.
  • the vehicle outside image Imo may be a panoramic image.
  • a relatively wide range on the rear and side of the vehicle 1 is imaged by the plurality of imaging units 12 so that the vehicle exterior image Imo at each position in a relatively wide range can be displayed on the display unit 10a.
  • a part of the wide range is used, that is, displayed on the composite image as the output image Im.
  • the ECU 11 can change the display range Ad of the output image Im and the outside image Imo according to the situation of the vehicle 1.
  • the ECU 11 can use detection results of various sensors, instruction signals, and the like as signals or data serving as triggers for changing the display range Ad.
  • the detection results include, for example, the non-contact measuring device 13 shown in FIG. 1, the steering angle sensor 14 for the front wheels, the steering angle sensor 15a of the rear wheel steering system 15, the GPS 16 (global positioning system), the wheel speed sensor 17, the brake This is a detection result of the brake sensor 18a of the system 18, the accelerator sensor 19, the torque sensor 20a of the front wheel steering system 20, the shift sensor 21, and the like.
  • the instruction signal is, for example, an instruction signal acquired from the direction indicator 22 or the operation input unit 24b.
  • the instruction signal can also be referred to as a control signal, a switching signal, an operation signal, an input signal, instruction data, or the like.
  • the display range Ad can also be referred to as a range from which the output image Im and the outside-vehicle image Imo are based.
  • corresponds to the advancing direction of the vehicle 1 acquired by the advancing direction acquisition part 111 shown by FIG. 11, the position of the vehicle 1 acquired by the vehicle position acquisition part 112, the detection result by the object detection part 113, etc.
  • the ECU 11 may set or change the thickness of the outline Lo of the vehicle body image Imi, the presence or absence of a shadow, and the like.
  • the electrical components included in the image display system 100 are connected electrically or communicably via the in-vehicle network 23, for example.
  • the electrical components include, for example, the non-contact measuring device 13, the steering angle sensor 14, the steering angle sensor 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22.
  • the operation input unit 24b is, for example, a CAN (controller area network).
  • Each electrical component may be electrically or communicably connected via other than CAN.
  • the non-contact measuring device 13 is, for example, a sonar or radar that emits ultrasonic waves or radio waves and captures the reflected waves.
  • the ECU 11 can measure the presence / absence of the object B as an obstacle and the distance to the object B as shown in FIG. 2 positioned around the vehicle 1 based on the detection result of the non-contact measuring device 13. That is, the non-contact measuring device 13 is an example of a distance measuring unit and an object detecting unit.
  • the steering angle sensor 14 is a sensor that detects a steering amount of a steering wheel (not shown) as a steering unit, and is configured using, for example, a hall element.
  • the rudder angle sensor 15a is a sensor that detects the steering amount of the rear wheel 3R, and is configured using, for example, a hall element. Note that the steering amount is detected as, for example, a rotation angle.
  • the wheel speed sensor 17 is a sensor that detects the amount of rotation of the wheel 3 (3F, 3R) and the number of rotations per unit time, and is configured using, for example, a hall element.
  • the ECU 11 can calculate the amount of movement of the vehicle 1 based on the data acquired from the wheel speed sensor 17.
  • the wheel speed sensor 17 may be provided in the brake system 18.
  • the brake system 18 includes an ABS (anti-lock brake system) that suppresses brake locking, a skid prevention device (ESC: electronic stability control) that suppresses side slip of the vehicle 1 during cornering, and an electric brake system that enhances braking force.
  • BBW brake by wire
  • the brake system 18 applies a braking force to the wheels 3 via an actuator (not shown), and decelerates the vehicle 1.
  • the brake sensor 18a is, for example, a sensor that detects an operation amount of a brake pedal.
  • the accelerator sensor 19 is a sensor that detects the amount of operation of the accelerator pedal.
  • the torque sensor 20a detects torque that the driver gives to the steering unit.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation part, and is configured using a displacement sensor or the like.
  • the movable part is, for example, a lever, an arm, a button, or the like. Note that the configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are examples, and can be variously set or changed.
  • the direction indicator 22 outputs a signal for instructing to turn on, turn off, blink, etc. the direction indication light.
  • the display unit 10a can be covered with a transparent operation input unit 10b.
  • the operation input unit 10b is, for example, a touch panel.
  • a passenger or the like can visually recognize an image displayed on the display screen of the display unit 10a via the operation input unit 10b.
  • the occupant or the like operates variously in the image display system 100 by touching, pushing, or moving the operation input unit 10b with a finger or the like at a position corresponding to the image displayed on the display screen of the display unit 10a.
  • the operation input can be executed.
  • the housing 10 may be provided with an operation input unit 10c.
  • the operation input unit 10c can be configured as, for example, a push button, a switch, a knob, or the like.
  • a display unit 24a different from the display unit 10a and an audio output device 24c are provided in the vehicle.
  • the display unit 24a is, for example, an LCD or an OELD.
  • the audio output device 24c is, for example, a speaker.
  • the display unit 24a is covered with a transparent operation input unit 24b.
  • the operation input unit 24b is, for example, a touch panel.
  • a passenger or the like can visually recognize an image displayed on the display screen of the display unit 24a via the operation input unit 24b.
  • an occupant or the like can perform an operation input by operating the operation input unit 24b with a finger or the like at a position corresponding to an image displayed on the display screen of the display unit 24a. Can do.
  • the monitor device 24 can include an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button, for example.
  • the monitor device 24 can also be used as a navigation system or an audio system.
  • the ECU 11 can cause the display unit 24a of the monitor device 24 to display an image similar to that of the display unit 10a.
  • the ECU 11 includes, for example, a CPU 11a (central processing unit), a ROM 11b (read only memory), a RAM 11c (random access memory), an SSD 11d (solid state drive), a display control unit 11e, a voice control unit 11f, and the like.
  • the SSD 11d may be a flash memory.
  • the CPU 11a can execute various calculations.
  • the CPU 11a can read a program installed and stored in a nonvolatile storage device such as the ROM 11b or the SSD 11d, and execute arithmetic processing according to the program.
  • the RAM 11c temporarily stores various types of data used in computations by the CPU 11a.
  • the SSD 11d is a rewritable nonvolatile storage unit, and can store data even when the ECU 11 is powered off.
  • the display control unit 11e mainly performs image processing using image data obtained by the imaging unit 12, image processing of image data displayed by the display units 10a and 24a, etc. Can be executed.
  • the voice control unit 11 f can mainly execute processing of voice data output from the voice output device 24 c among the calculation processes in the ECU 11.
  • the CPU 11a, the ROM 11b, the RAM 11c, and the like can be integrated in the same package.
  • the ECU 11 may have a configuration in which another logical operation processor such as a DSP (digital signal processor) or a logic circuit is used instead of the CPU 11a.
  • an HDD hard disk drive
  • the SSD 11d and the HDD may be provided separately from the ECU 11.
  • the output image Im corresponding to the mirror image of the rearview mirror is displayed on the display unit 10a by the image processing of the ECU 11.
  • functions, coefficients, constants, data, etc. for performing coordinate transformation from the vehicle exterior image Imo to the output image Im corresponding to the mapping of the room mirror are the mapping of the room mirror of a plurality of markers actually arranged outside the vehicle or inside the vehicle.
  • the position can be obtained by actually acquiring the position in the inside, performing calibration by imaging, or performing geometric calculation.
  • the function may be a conversion formula, a conversion matrix, or the like.
  • the output image Im is, for example, an image similar to a mapping of a room mirror, a registered image, a suitable image, or the like.
  • the position, size, shape, etc., of the body image Imi are actually acquired in the mapping of the room mirror of multiple markers that are actually placed outside or inside the vehicle, or calibration by imaging is performed. Or by performing a geometric operation.
  • the ECU 11 functions as at least a part of the image display control device in cooperation with hardware and software (program). That is, in this embodiment, for example, as shown in FIG. 11, the ECU 11 includes an image generation unit 110 and a traveling direction acquisition unit in addition to the display control unit 11 e and the voice control unit 11 f also shown in FIG. 1. 111, vehicle position acquisition unit 112, object detection unit 113, captured image acquisition unit 110a, range determination unit 110b, display mode determination unit 110c, mirror image creation unit 110d, distortion correction unit 110e, viewpoint conversion processing unit 110f, object image correction unit 110g, additional image acquisition unit 110h, image composition unit 110i, and the like.
  • the image generation unit 110 is, for example, a CPU 11a, and the storage unit 11g is, for example, an SSD 11d.
  • the storage unit 11g stores, for example, data used in calculations, calculation results, and the like. Note that at least part of the image processing executed by the image generation unit 110 may be executed by the display control unit 11e.
  • Each unit in FIG. 11 may correspond to a module of a program or may be configured as hardware.
  • the configuration of the ECU 11 shown in FIGS. 1 and 11 is an example.
  • the traveling direction acquisition unit 111 is based on a detection result by the shift sensor 21, a detection result by the wheel speed sensor 17, a detection result by an acceleration sensor (not shown), data from other ECUs (not shown), and the like. You can get directions.
  • the traveling direction acquisition unit 111 acquires whether the vehicle 1 is moving forward or backward.
  • the vehicle position acquisition unit 112 includes, for example, the wheel speed detected by the wheel speed sensor 17, the steering angle detected by the steering angle sensors 14 and 15a, the data from the GPS 16, the detection result of the non-contact measuring device 13, and the imaging unit.
  • the position of the vehicle 1 can be acquired based on the image processing result of the vehicle outside image Imo acquired by 12, the data from other ECUs (not shown), and the like.
  • the position of the vehicle 1 may be, for example, a relative position with respect to a current position or a target position in the parking assistance system.
  • the object detection unit 113 can detect the object B outside the vehicle, for example, by performing image processing on the vehicle outside image Imo created by the image generation unit 110.
  • the object B is, for example, a vehicle, an object, a person, or the like.
  • the object detection unit 113 can detect the object B outside the vehicle from the data obtained from the non-contact measuring device 13, and the image processing result of the image Imo outside the vehicle and the non-contact measuring device 13 can obtain the result.
  • the object B outside the vehicle can be detected from the data. Further, the object detection unit 113 may acquire the distance from the vehicle 1 to the object B from the result of image processing of the outside image Imo or the data obtained from the non-contact measuring device 13.
  • the captured image acquisition unit 110a acquires the vehicle exterior image Imo captured by at least one imaging unit 12.
  • the captured image acquisition unit 110a connects a plurality of (for example, three) captured images captured by the plurality of imaging units 12 by combining their boundary portions, A series of outside-vehicle images Imo can be created.
  • the range determination unit 110b determines the display range Ad used for the output image Im in the outside image Imo.
  • the range determination unit 110b is, for example, according to the traveling direction of the vehicle 1 acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the detection result by the object detection unit 113, and the like.
  • the display range Ad of the output image Im and the vehicle outside image Imo can be set.
  • the range determination unit 110b may determine the display range Ad according to detection results from other sensors or devices, signals, data, and the like.
  • Other sensors and devices include, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22. Etc.
  • the display mode determination unit 110c determines the display mode of the output image Im on the display units 10a and 24a.
  • the display mode determination unit 110c is, for example, according to the traveling direction of the vehicle 1 acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the detection result by the object detection unit 113, and the like.
  • the display mode of the output image Im can be set or changed.
  • the display mode determination unit 110c may set or change the display mode of the output image Im according to detection results by other sensors or devices, signals, data, and the like.
  • the display mode determination unit 110c can set or change the transmittance ⁇ , the color, the luminance, the saturation, and the like of the vehicle body image Imi, for example. Further, when the synthesized image includes an indoor image, the display mode determination unit 110c can set or change the transparency of the indoor image.
  • the mirror image creation unit 110d can create a mirror image of the captured image, the vehicle exterior image Imo, or the output image Im.
  • the output image Im only needs to include an out-of-vehicle image Imo that is a mirror image of the captured image, a vehicle body image Im, an additional image, and the like, and the mirror image creation unit 110d may create a mirror image at any stage.
  • the distortion correction unit 110e corrects distortion of the captured image captured by the imaging unit 12.
  • the imaging unit 12 is a wide-angle lens or a fish-eye lens
  • image distortion increases as the distance from the center of the image increases. Therefore, the distortion correction unit 110e corrects the captured image by performing, for example, coordinate conversion or complementation processing so that an image with less discomfort is displayed when the image is displayed with a rectangular angle of view.
  • the coordinate transformation is given by, for example, a map or a function.
  • coordinate conversion for distortion correction there are, for example, cylindrical projection conversion for projecting into a cylindrical shape, equidistant projection conversion in which an image height corresponds to a circumferential distance, and the like.
  • the distortion correction unit 110e is an example of an image correction unit and a first image correction unit.
  • the viewpoint conversion processing unit 110 f executes processing for converting the viewpoint of the captured image captured by the imaging unit 12. For example, when the difference between the imaging point of the imaging unit 12 and the viewpoint of the mapping with the room mirror is large, the viewpoint conversion processing unit 110f performs, for example, coordinate conversion and complement processing so that an image with less discomfort is obtained. By performing the correction, the captured image is corrected so as to approach the image from the viewpoint from the front, for example, the viewpoint of the mapping of the room mirror.
  • the coordinate transformation is given by, for example, a map or a function.
  • the viewpoint conversion processing unit 110f executes image processing different from that of the distortion correction unit 110e.
  • the viewpoint conversion processing unit 110f corrects the inclination of the image by, for example, extending the image to the left or right, or extending the image to the left or right as it goes to the lower side of the image. It is also possible to obtain.
  • the viewpoint conversion processing unit 110f is an example of an image correction unit, and is an example of a second image correction unit that performs correction different from the first image correction unit. Note that the correction of the outside-vehicle image Imo by the distortion correction unit 110e and the viewpoint conversion processing unit 110f does not have to be perfectly aligned with the mirror image when the room mirror is provided.
  • the object image correction unit 110g corrects an object image included in the outside-vehicle image Imo. For example, when the object detection unit 113 detects an object B such as another vehicle in which an image is included in the vehicle exterior image Imo, the object image correction unit 110g enlarges the image of the other vehicle in the vehicle exterior image Imo. be able to.
  • the additional image acquisition unit 110h acquires an image included in the output image Im separately from the outside image Imo.
  • an image that is not the vehicle outside image Imo is referred to as an additional image.
  • the additional image includes, for example, a vehicle body image Imi, a road frame image, an object image, an image indicating a traveling direction, an image indicating a target position, an image indicating a past locus, and an object detected by the object detection unit 113. These are various images such as emphasis display and character images.
  • the additional image acquisition unit 110h determines, for example, the traveling direction acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the object detected by the object detection unit 113, and the range determination.
  • An additional image corresponding to the display range Ad determined by the unit 110b, the display mode determined by the display mode determination unit 110c, and the like can be acquired.
  • the additional image acquisition unit 110h may acquire an indoor image based on the imaging unit 12I (see FIGS. 8 and 9, etc.) that images the interior of the vehicle as the additional image.
  • the plurality of additional images can be stored in the storage unit 11g, for example. Further, data for specifying an additional image according to the value of each parameter can be stored in the storage unit 11g, for example.
  • the image composition unit 110i synthesizes the outside image Imo and the additional image to generate an output image Im.
  • the image composition unit 110i can superimpose a room image in which a window portion is cut out by image processing as a transparent image.
  • the image display system 100 can execute processing in a procedure as shown in FIG.
  • the captured image acquisition unit 110a acquires an image captured by the imaging unit 12 (S1).
  • the mirror image creation unit 110d creates a mirror image of the image captured by the imaging unit 12 (S2).
  • the distortion correction unit 110e and the viewpoint conversion processing unit 110f acquire the display mode set by the display mode determination unit 110c (S3), and correct the vehicle exterior image Imo according to the acquired display mode (S4).
  • the additional image acquisition unit 110h acquires an additional image (S5)
  • the image composition unit 110i combines the additional image acquired by the additional image acquisition unit 110h and the outside-vehicle image Imo to obtain an output image Im.
  • the display control unit 11e controls the display unit 10a so that the output image Im is displayed (S7).
  • the distortion correction unit 110e corrects the captured image in FIG. 13 to create the vehicle exterior image Imo with reduced distortion as illustrated in FIG.
  • the coordinate conversion here is given by, for example, a map or a function.
  • the luminance value (pixel value) of the blank pixel at the coordinates of the conversion destination is calculated by complementing the luminance value of the pixel having the adjacent luminance value.
  • the viewpoint conversion processing unit 110f corrects the outside-vehicle image Imo in FIG. 14 so that the originally vertical line Lrv as illustrated in FIG. 15 approaches the vertical direction, that is, the inclination is corrected.
  • the outside image Imo thus obtained is obtained.
  • the coordinate conversion here is also given by, for example, a map or a function.
  • the luminance value (pixel value) of the blank pixel at the coordinates of the conversion destination is calculated by complementing the luminance value of the pixel having the adjacent luminance value.
  • the output image ImBK (Im) at the time of reverse is created based on the outside image Imo corrected by the distortion correction unit 110e as illustrated in FIG. ImFW (Im) is created based on the outside-vehicle image Imo that is corrected by the distortion correction unit 110e illustrated in FIG. 15 and corrected by the viewpoint conversion processing unit 110f. Therefore, for example, when the vehicle 1 moves backward, the calculation load by the image generation unit 110 is more easily reduced.
  • the display range Adb of the output image ImBK at the time of reverse is the vehicle body 2 including the image of the rear end portion 2b of the vehicle body 2 out of the vehicle exterior image Imo corrected in distortion shown in FIG. Is set in a relatively close region behind the.
  • the display range Adf of the output image ImFW at the time of forward movement is relatively far away from the rear end 2b of the rear of the vehicle body 2 in the vehicle exterior image Imo whose distortion is corrected and the viewpoint is converted as illustrated in FIG. In other words, it is set to a region farther than the region at the time of retreat.
  • the display range Adf is set in an area wider than the display range Adb at the time of backward movement in the left-right direction.
  • the ECU 11 obtains the vehicle exterior image Imo (output image ImFW) during forward travel and the vehicle exterior image Imo (output image ImBK) during travel backward from the captured image by the imaging unit 12. be able to. Therefore, for example, compared to the case where the imaging units 12 are provided separately for forward use and reverse use, the components are shared, so that the configuration of the image display system 100 can be further simplified. Further, the ECU 11 can obtain different outside-vehicle images Imo corresponding to the respective situations when the vehicle is moving forward and when the vehicle is moving backward.
  • the display ranges Adb and Adf can also be said to be ranges that are the basis of the outside-vehicle image Imo.
  • the ECU 11 can display the output image Im in various display ranges and display modes as exemplified in FIGS. 16 to 18, 20, and 21. 16 to 18, 20, and 21, only the display area of each output image Im is shown, and no specific image is shown.
  • the output image Im is displayed on the entire surface of the display unit 10a.
  • the output image Im is displayed in a part of the display unit 10a, specifically, in the center in the left-right direction of the display unit 10a.
  • the ECU 11 can control the display unit 10a to display the output image Im as shown in FIG. 16 when moving forward and to display the output image Im as shown in FIG. 17 when moving backward. That is, the forward output image Im is larger than the backward output image Im, has a large left and right length, that is, a width, and has a high ratio of a length in the left and right direction, that is, a width to a length in the vertical direction, that is, a height.
  • the ECU 11 may control the display unit 10a so that other information such as character information is displayed in the regions on both sides of the output image Im.
  • the ECU 11 may widen the output image Im in the turning direction of the vehicle 1 when the vehicle 1 moves backward while turning, for example, during parking.
  • the output image Im when the vehicle 1 moves backward while turning leftward toward a predetermined parking frame is in the region from the center of the display unit 10 a to the left end, that is, the end in the turning direction. Is displayed.
  • the ECU 11 changes the output image Im of FIG. 17 from the output image Im of FIG. Can also be switched to the output image Im of FIG. 18 expanded in the left direction, that is, in the turning direction.
  • the output image Im spreading in the turning direction is displayed, so that, for example, an occupant such as a driver can easily visually recognize the direction in which the vehicle 1 moves, such as the parking target position. Further, compared to a case where the output image Im spreads in the direction opposite to the turning direction, for example, effects such as a reduction in calculation processing load of the ECU 11 and power consumption can be obtained.
  • FIG. 19 shows, for example, an output image Im when the vehicle 1 parks to the left while moving backward to the expected arrival position.
  • FIG. 19 shows a more specific example of FIG.
  • the vehicle exterior image Imo overlaps the vehicle body image Imi, the detected image B of the object B, the frame-shaped highlighting Imf1 surrounding the image Imb, the image Iml of the road frame line L, and the image Iml.
  • a band-shaped highlighting Imf2, an image Imf3 indicating the predicted arrival position spaced apart from the current position by a predetermined distance, a linear image Imf4 indicating a predicted movement path from the predicted arrival position, the steering angle, and the like are added. Yes.
  • the images Imf3 and Imf4 correspond to the display area Ab corresponding to the lower part of the vehicle body 2 in the vehicle body image Imi.
  • the side edges of the images Imf3 and Imf4 can be drawn so as to coincide with the side edges of the display area Ab at the predicted arrival position.
  • the driver can more easily recognize the surroundings of the vehicle 1, the situation outside the vehicle in the traveling direction, the parking target position P, the predicted arrival position, the movement route, and the like.
  • FIG. 20 shows an example in which two output images Im (Im1, Im2) having different display ranges Ad in the captured image are simultaneously displayed in parallel on the display unit 10a.
  • the ECU 11 displays the output image Im1 corresponding to the display range Adb shown in FIG. 14 closer to the road surface in the left area A1, and closes to the right area A2 in the horizontal direction.
  • the display unit 10a is controlled such that the output image Im2 corresponding to the display range Adf shown in FIG.
  • the area A1, that is, the output image Im1, is smaller than the area A2, that is, the output image Im2, has a narrow left and right length, that is, a width, and a lower ratio of the length in the left and right direction, that is, the width to the length in the vertical direction, that is, the height.
  • the range of the region A1, that is, the output image Im1, in the captured image is wider in the vehicle front-rear direction, narrower in the vehicle width direction, and closer to the vehicle 1 than the region A2, that is, the range of the output image Im2. According to this example, for example, an occupant such as a driver may more easily grasp the situation from a plurality of output images Im (Im1, Im2).
  • the arrangement, size, and range in the captured image of the areas A1 and A2, that is, the output images Im1 and Im2, are not limited to the example in FIG. 20, and can be variously set or changed. It may be configured such that the setting can be changed by an operation input of the operation input units 10b, 10c, 24b and the like by an occupant such as a driver.
  • FIG. 21 shows an example in which the output image Im3 is displayed in the area A3 of the display unit 10a and the area A4 is blacked out, that is, the output image Im is not displayed and is darkened, for example, blackened.
  • the ECU 11 controls the display unit 10a so that the output image Im3 is displayed in the area A3 and the area A4 is blacked out.
  • the area A3, that is, the output image Im3 is, for example, the same as the area A1, that is, the output image Im1, in the example of FIG.
  • a half mirror is provided on the surface side, that is, the rear side of the display unit 10a, the surface of the display unit 10a corresponding to the region A4 functions as a room mirror (mirror). That is, as illustrated in FIG.
  • the output image Im3 is displayed in the region A3 of the display unit 10a provided on the front surface (rear surface) of the housing 10, and the output image Im is not displayed in the region A4.
  • Region A4 functions as a mirror. According to this example, for example, an occupant such as a driver may more easily grasp the situation from the output image Im3 displayed in the region A3 and the actual mirror image (mapping) in the region A4.
  • the arrangement, size, range in the captured image, and the like of the regions A3 and A4, that is, the output image Im3 and the mirror image (mapping) in the half mirror are not limited to the examples of FIGS. Or can be changed. It may be configured such that the setting can be changed by an operation input of the operation input units 10b, 10c, 24b and the like by an occupant such as a driver.
  • the output image Im in FIGS. 23 to 25 includes the outside-vehicle image Imo corrected by the distortion correction unit 110e and the viewpoint conversion processing unit 110f.
  • the ECU 11 can obtain the distance between the object B and the vehicle 1 from the image processing of the outside image Imo, the detection result by the non-contact measuring device 13, or the like.
  • the ECU 11 extracts the image Imb of the object B from the outside-image Imo by image processing, and the image Imb of the object B is enlarged and displayed as the distance from the vehicle 1 to the object B increases.
  • the display unit 10a is controlled.
  • the image Imb of the object B is enlarged twice as large as the image of the original object B indicated by the two-dot chain line in the figure, and in the case of FIG. 24, the two-dot chain line in the figure.
  • the image Imb is not enlarged.
  • an occupant such as a driver can easily grasp the object B located further away.
  • the size of the enlargement ratio according to the distance of the image Imb of the object B, the position of the enlarged image, the display form, and the like are not limited to the examples in FIGS. 23 to 25 and can be variously changed.
  • the range determination unit 110b and the display mode determination unit 110c can determine the range and display mode of the vehicle outside image Imo, the vehicle body image Imi, the additional image, and the output image Im based on the operation input of the driver or the like. it can. In this case, for example, an occupant such as a driver can visually recognize the output image Im displayed in the favorite range or display mode on the display unit 10a.
  • the operation input is performed by an operation input unit 10b, 10c, 24b or a steering operation by an occupant such as a driver.
  • the operation input based on the steering operation is obtained from the detection result of the steering angle sensor 14.
  • the range determination unit 110b (range change unit) is included in the output image Im (display image) of the captured images when the vehicle 1 moves forward and backward.
  • the display range Ad (range) is changed. Therefore, according to the present embodiment, for example, the output image Im of the display range Ad corresponding to the forward movement and the backward movement of the vehicle 1 can be displayed on the display unit 10a (display device). Therefore, for example, an occupant such as a driver can see an output image Im that is easy to see according to each situation, or can easily view an image of an object or the like according to each situation.
  • the display range Ad may be the same as or different from the correction range by a correction unit such as the distortion correction unit 110e or the viewpoint conversion processing unit 110f. That is, the ECU 11 (image display control device) may correct the pixel (image) in the display range Ad, or may extract the display range Ad from the corrected pixel (image) range.
  • a correction unit such as the distortion correction unit 110e or the viewpoint conversion processing unit 110f. That is, the ECU 11 (image display control device) may correct the pixel (image) in the display range Ad, or may extract the display range Ad from the corrected pixel (image) range.
  • the vehicle exterior image Imo is obtained from images captured by the single imaging unit 12R during forward and backward travel. Therefore, for example, the image display system 100 can be further simplified. Further, the ECU 11 obtains the vehicle outside image Imo by performing different image processing on the image captured by the one imaging unit 12R, for example, when moving forward and when moving backward. Therefore, for example, an occupant such as a driver can see an output image Im that is easy to see according to each situation, or can easily view an image of an object or the like according to each situation.
  • the distortion correction unit 110e image correction unit
  • the viewpoint conversion processing unit 110f image correction unit
  • the distortion correction unit 110e image correction unit
  • the viewpoint conversion processing unit 110f image correction unit
  • the output image Im of the display mode according to each of the forward time and the backward time of the vehicle 1 can be displayed on the display unit 10a. Therefore, for example, an occupant such as a driver can see an output image Im that is easy to see according to each situation, or can easily view an image of an object or the like according to each situation.
  • the calculation load of the ECU 11 can be reduced by changing the presence / absence and manner of image correction between forward and backward.
  • the range determination unit 110b changes the size of the display range Ad between when the vehicle 1 moves forward and when the vehicle moves backward. Therefore, for example, the output image Im having a size corresponding to each time the vehicle 1 moves forward and backwards can be displayed on the display unit 10a. Therefore, for example, an occupant such as a driver can see an output image Im that is easy to see according to each situation, or can easily view an image of an object or the like according to each situation. Note that the magnification of the output image Im may be different between forward and backward.
  • the image generation unit 110 can generate an output image Im including a plurality of outside-vehicle images Imo with different display ranges Ad. Therefore, for example, the output image Im including a plurality of outside-vehicle images Imo can be displayed on the display unit 10a. Therefore, for example, an occupant such as a driver can view more images of objects and the like. Further, for example, an occupant such as a driver can grasp the whole from the second output image Im2 in the wider display range Ad and can grasp the details from the first output image Im1 in the narrower display range Ad. Therefore, a passenger such as a driver may be able to grasp the situation of the vehicle 1 more easily, more quickly, or more accurately.
  • the plurality of outside-vehicle images Imo included in the output image Im are images that have been corrected in different manners by the image generation unit 110, respectively. Therefore, for example, an occupant such as a driver can easily view a plurality of output images Im or can easily view an image of an object or the like. Further, for example, the calculation load on the ECU 11 can be reduced by changing the presence / absence and manner of correction in the plurality of output images Im.
  • the display unit 10a (display device) is covered with the half mirror 25, and the display control unit 11e displays the output image Im on a part of the display unit 10a and the display unit 10a.
  • the display unit 10a is controlled so that the other part is blacked out and the half mirror 25 functions as a mirror. Therefore, for example, the display unit 10a can be used as a display and a mirror. Therefore, for example, a state in which an occupant such as a driver can view a plurality of images (output image Im and mapping) can be obtained by a relatively simple configuration and control.
  • the display control unit 11e controls the display unit 10a so that the output image Im is displayed at different positions when the vehicle 1 moves forward and backwards. Therefore, for example, an occupant such as a driver can see an output image Im that is easy to see according to each situation, or can easily view an image of an object or the like according to each situation.
  • the image generation unit 110 adds additional images such as different vehicle body images Imi when the vehicle 1 is moving forward and backward. Therefore, for example, an occupant such as a driver can see an output image Im that is easy to see according to each situation, or can easily view an image of an object or the like according to each situation.
  • the said embodiment is an example and is not intending limiting the range of invention.
  • the embodiment can be implemented in various other forms, and various omissions, replacements, combinations, and changes can be made without departing from the scope of the invention.
  • the configuration and shape of each example can be partially exchanged.
  • specifications structure, type, direction, shape, size, length, width, thickness, height, number, arrangement, position, color, pattern, etc.
  • the correction may be correction other than distortion correction or viewpoint conversion processing. The order of operations such as correction processing can be changed as appropriate.
  • the output image may be displayed on a plurality of display devices, or may be displayed on a display device other than the position of the room mirror.
  • the display device may be a device that displays an image on a front window, a screen in the vehicle, or the like, or may be a display panel provided on a dashboard or a center console in the vehicle.
  • the display panel may be provided in a cockpit module, an instrument panel, a fascia, or the like.
  • an image outside the vehicle may be obtained from a composite image of the picked-up images picked up by a plurality of image pickup units when moving forward, and an image outside the vehicle may be obtained from the image picked up by one image pickup unit when moving backward. That is, the imaging unit that obtains the captured image (image outside the vehicle) at the time of forward movement and the imaging unit that obtains the captured image (image outside the vehicle) at the time of backward movement may be different. In this case, a display image that is easier to view can be obtained, and the calculation load can be further reduced.
  • SYMBOLS 1 ... Vehicle, 2 ... Vehicle body, 2b ... Rear end part, 10a ... Display part (display apparatus), 11 ... ECU (image display control apparatus), 11e ... Display control part, 12, 12R ... Imaging part, 25 ... Half mirror , 100 ... Image display system, 110 ... Image generation unit, 110b ... Range determination unit (range change unit), 110e ... Distortion correction unit (image correction unit), 110f ... Viewpoint conversion processing unit (image correction unit), Ad ... display Range (range), Im, Im1, Im2, Im3 ... output image (display image), Imo ... image outside the vehicle, Lrh ... horizontal direction.

Abstract

　実施形態の画像表示制御装置は、車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車両の前進時と後退時とで、撮像画像のうち表示画像に含まれる範囲を変更する範囲変更部と、表示画像が表示されるよう表示装置を制御する表示制御部と、を備える。

Description

画像表示制御装置および画像表示システム
　本発明の実施形態は、画像表示制御装置および画像表示システムに関する。
　従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。
特開２００３－１９６６４５号公報
　この種の装置では、例えば、車両の前進時および後進時のそれぞれでより不都合の少ない表示形態で画像を表示可能な画像表示制御装置および画像表示システムが得られれば、有意義である。
　実施形態の画像表示制御装置は、例えば、車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車両の前進時と後退時とで、上記撮像画像のうち上記表示画像に含まれる範囲を変更する範囲変更部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備える。よって、本実施形態によれば、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた範囲の表示画像が表示されうる。
　前記撮像画像は、一つの前記撮像部によって撮像された撮像画像である。よって、例えば、画像表示システムがより簡素化されうる。
　また、上記画像表示制御装置は、例えば、車両の前進時と後退時とで異なる態様で上記車外画像を補正する画像補正部を有する。よって、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた表示態様の表示画像が表示されうる。
　また、上記画像表示制御装置では、例えば、上記範囲変更部は、車両の前進時と後退時とで上記範囲の大きさを異ならせる。よって、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた大きさの表示画像が表示されうる。
　また、上記画像表示制御装置では、例えば、上記画像生成部は、上記範囲が異なる複数の上記車外画像を含む上記表示画像を生成可能である。よって、例えば、表示装置に、複数の車外画像を含む表示画像が表示されうる。
　また、上記画像表示制御装置では、例えば、上記表示装置はハーフミラーで覆われ、上記表示制御部は、上記表示装置の一部に上記表示画像が表示されるとともに、上記表示装置の他の一部をブラックアウトして上記ハーフミラーがミラーとして機能するよう、上記表示装置を制御する。よって、例えば、表示装置が、ディスプレイおよびミラーとして利用されうる。
　また、実施形態の画像表示システムは、例えば、車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、上記表示装置に表示される表示画像、を生成する画像生成部と、車両の前進時と後退時とで、上記撮像画像のうち上記表示画像に含まれる範囲を変更する範囲変更部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備える。よって、本実施形態によれば、例えば、表示装置に、車両の前進時と後退時とのそれぞれに応じた範囲の表示画像が表示されうる。
図１は、実施形態の画像表示システムの例示的な概略構成図である。 図２は、実施形態の画像表示システムによる表示画像の一例が示された図である。 図３は、実施形態の画像表示システムによる表示画像の別の一例が示された図である。 図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。 図５は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。 図６は、実施形態の画像表示システムによる表示画像に含まれる車外画像の一例が示された図である。 図７は、実施形態の画像表示システムで追加される車体画像の一例が示された図である。 図８は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図９は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図１０は、実施形態の画像表示システムにおける車外画像中の表示範囲の一例が示された図である。 図１１は、実施形態の画像表示システムに含まれるＥＣＵの例示的なブロック図である。 図１２は、実施形態の画像表示システムの処理手順の例示的なフローチャートである。 図１３は、実施形態の画像表示システムで撮像された撮像画像の一例が示された図である。 図１４は、実施形態の画像表示システムで歪み補正された撮像画像の一例が示された図である。 図１５は、実施形態の画像表示システムで歪み補正されるとともに視点変換された撮像画像の一例が示された図である。 図１６は、実施形態の画像表示システムによる表示画像の表示態様の一例が示された模式図である。 図１７は、実施形態の画像表示システムによる表示画像の表示態様の別の一例が示された模式図である。 図１８は、実施形態の画像表示システムによる表示画像の表示態様のさらに別の一例が示された模式図である。 図１９は、駐車時における車両の位置と当該位置での実施形態の画像表示システムによる表示画像とを含む例示的な概念図であって、車両が駐車目標位置に到達する前の状態での図である。 図２０は、実施形態の画像表示システムによる表示画像の表示態様のさらに別の一例が示された模式図である。 図２１は、実施形態の画像表示システムによる表示画像の表示態様のさらに別の一例が示された模式図である。 図２２は、実施形態の画像表示システムの表示装置の例示的な斜視図である。 図２３は、実施形態の画像表示システムによる表示画像のさらに別の一例が示された図である。 図２４は、実施形態の画像表示システムによる表示画像のさらに別の一例が示された図である。 図２５は、実施形態の画像表示システムによる表示画像のさらに別の一例が示された図である。
　以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
　また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
　車両１に装備される画像表示システム１００は、図１に示されるように、表示装置としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic　control　unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用の不図示のルームミラーに替えて設けられる。表示部１０ａには、撮像部１２で撮像された画像に基づいて、図２に例示されるような、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。運転者等の乗員は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。なお、ルームミラーはバックミラーとも称されうる。
　ルームミラーが設けられている車両１の場合、筐体１０の表示部１０ａは、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部１２で撮像された画像とは左右逆の画像、すなわち鏡像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electro-luminescent　display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａの筐体１０内に収容されてもよいし、表示部１０ａとは別の場所に設けられた筐体１０内に収容されてもよい。なお、表示部１０ａの表面側すなわち後側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、ハーフミラーのうち、表示部１０ａが部分的に画像を表示していない領域、例えばブラックアウトされた領域、を覆う部分は、ルームミラーとして用いられうる。また、筐体１０には、室内画像を撮像する図８，９に示されるような撮像部１２Ｉが設けられてもよい。
　図２，３に例示されるように、表示部１０ａで表示される画像としての出力画像Ｉｍには、実線で示される車外画像Ｉｍｏと破線で示される車体画像Ｉｍｉとが含まれている。車外画像Ｉｍｏは、一つまたは複数の撮像部１２によって撮像された画像から生成されうる。出力画像Ｉｍは、表示画像とも称されうる。車外画像Ｉｍｏ、すなわち撮像部１２によって撮像された画像は、撮像画像とも称されうる。また、車体画像Ｉｍｉは、追加画像とも称されうる。なお、図２等では、図面中で車外画像Ｉｍｏと区別するため、便宜上、車外画像Ｉｍｏが実線で示され、車体画像Ｉｍｉが破線で示されている。実際の車外画像Ｉｍｏは、実線には限定されないし、車体画像Ｉｍｉは、破線には限定されない。
　撮像部１２は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。
　図４，５の例では、車体２には、車外を撮像する撮像部１２としては、車体２の後部に設けられた撮像部１２Ｒのみが設けられている。撮像部１２Ｒは、車両１の後方かつ側方すなわち車室外の後方かつ側方を撮像する。撮像部１２Ｒは、例えば、広角レンズまたは魚眼レンズである。また、この場合、撮像部１２Ｒによる撮像範囲は、図５に破線で示されているように、少なくとも、車体２の後端部２ｂが映る方向から車両１の後方の水平方向Ｌｒｈよりも上方までの範囲が含まれるよう、設定される。これにより、撮像部１２Ｒによる撮像画像から、走行中における車両後方の画像、および駐車時における車両後方の路面近傍の画像の、双方を得ることができる。なお、図４，５に例示される撮像範囲は一例であって、撮像部１２Ｒによる撮像範囲は、図４，５の例には限定されない。図６には、撮像部１２による撮像画像から得られた車外画像Ｉｍｏの一例が示されている。また、ここでの水平方向Ｌｒｈとは、車両１を基準とする水平方向であって、車両１が水平面上に位置された場合に水平となる方向である。
　また、図２，３，７の例では、車体画像Ｉｍｉには、車体２の構造を示す立体的なフレーム状に描かれた表示要素としての輪郭線Ｌｏまたは縁が含まれている。輪郭線Ｌｏによって示される車体構成要素は、例えば、車体２の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Ｉｍｉは、乗員が車体２の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Ｉｍｉは、模式化されたものであってもよい。輪郭線Ｌｏの間の領域は、車外画像Ｉｍｏが透過される状態で着色されてもよい。
　また、図２，３，７の例では、車体画像Ｉｍｉは、線画（線図）である。線画に含まれる表示要素としての線は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅、太さ、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面または画像の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画の表示態様は、例えば、走行状態や操作状態等の車両状態に応じて、設定されうるし、変更されうる。
　図２，３に例示されるように、表示部１０ａに車外画像Ｉｍｏとともに車体画像Ｉｍｉを含む出力画像Ｉｍが表示されることで、乗員は、車両１と車外の物体Ｂとの相対的な位置や、車両１と物体Ｂとの距離、物体Ｂの方向、物体Ｂの大きさ等を認識しやすい。また、車体画像Ｉｍｉには、図２，３，７に示されるように、車体２の車幅方向の端部を示す部分Ｐｗ、車体２の後端部を示す部分Ｐｒ、ならびに車体２の下部を示す部分Ｐｂが、含まれうる。さらに、車体画像Ｉｍｉには、車体２の下部の車幅方向の端部を示す部分Ｐｂｗや、車体２の下部の車両前後方向の後端部を示す部分Ｐｂｒ、車体２の側部の車両前後方向の後端部を示す部分Ｐｓｒ等が、含まれうる。また、車体画像Ｉｍｉは、車体２の少なくとも下部が平面的すなわち二次元的に認識できるよう作成されている。よって、乗員は、例えば、車体２の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂの大きさや、高さ、物体Ｂの水平方向の位置関係等を認識しやすい。
　車体画像Ｉｍｉは、不揮発性の記憶部に予め記憶されている。記憶部には、複数の車種毎の車体画像Ｉｍｉが記憶されうる。この場合、合成画像には、例えば車両１の車種や使用者の嗜好等に応じて選択された車体画像Ｉｍｉが用いられうる。なお、記憶部は、例えば、図１に示されるＳＳＤ１１ｄ等であってもよい。また、ＥＣＵ１１は、キャリブレーション等の設定作業における操作入力部１０ｂでの入力指示や操作等に基づいて、車体画像Ｉｍｉを変形することができる。具体的には、例えば、車体画像Ｉｍｉは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Ｉｍｉが記憶部に記憶され、合成画像には、当該変更された車体画像Ｉｍｉが用いられる。なお、車体画像Ｉｍｉとして、図８に例示されるような撮像部１２Ｉが撮像した室内画像や、当該室内画像が変更された画像等が用いられてもよい。
　ＥＣＵ１１は、車体画像Ｉｍｉの透過度αすなわち車外画像Ｉｍｏとの合成比率を設定したり変更したりすることができる。比較的簡単な例では、車外画像Ｉｍｏと車体画像Ｉｍｉとが互いに位置合わせされた状態での各点について、車体画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像の輝度ｘは、ｘ＝（１－α）×ｘ１＋α×ｘ２であることができる。なお、透過度αは、任意の値に設定することができる。
　一方、図８，９の例では、車体２には、撮像部１２として、車両１の側方すなわち車室外の側方を撮像する撮像部１２Ｓと、車両１の後方すなわち車室外の後方を撮像する撮像部１２Ｒとが、設けられている。また、撮像部１２Ｓ，１２Ｒは、それぞれ、車両１の後方および側方の双方が含まれる画像を撮像してもよい。撮像部１２Ｓは、車体２の左右それぞれに設けられるとともに、撮像部１２Ｒは、車体２の後端部２ｂに設けられている。例えば、撮像部１２Ｓはドアミラーに設けられ、撮像部１２Ｒはリヤハッチに設けられうる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部２ｂの左端および右端にそれぞれ設けられてもよい。また、車室内および車室外のうち少なくとも一方を撮像する撮像部１２は、車室内に設けられてもよい。また、複数の撮像部１２が設けられる場合、複数の撮像部１２のそれぞれの撮像範囲は、上下に異なってもよい。また、撮像部１２は、それぞれ、広角レンズまたは魚眼レンズであってもよい。
　図８，９に例示されるように、車体２に複数の撮像部１２が設けられる場合、ＥＣＵ１１は、複数の撮像部１２で取得された画像を公知の技術で合成して、図１０に例示されるような一連の車外画像Ｉｍｏを得ることができる。車外画像Ｉｍｏは、パノラマ画像であってもよい。この場合、比較的広い範囲の各位置での車外画像Ｉｍｏを、表示部１０ａで表示することができるよう、複数の撮像部１２によって、車両１の後方かつ側方の比較的広い範囲が撮像される。そして、図１０に示されるように、広い範囲の中の一部が、出力画像Ｉｍとしての合成画像に用いられる、すなわち表示される。
　また、ＥＣＵ１１は、車両１の状況に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを変更することができる。ＥＣＵ１１は、表示範囲Ａｄを変更するトリガとなる信号あるいはデータとして、各種のセンサの検出結果や、指示信号等を用いることができる。検出結果は、例えば、図１に示される非接触計測装置１３や、前輪用の舵角センサ１４、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global　positioning　system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１等の検出結果である。指示信号は、例えば、方向指示器２２や、操作入力部２４ｂ等から取得した指示信号である。なお、指示信号は、例えば、制御信号や、切替信号、操作信号、入力信号、指示データ等とも称されうる。また、表示範囲Ａｄは、出力画像Ｉｍおよび車外画像Ｉｍｏの元となる範囲とも称されうる。
　また、ＥＣＵ１１は、図１１に示される進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄや、車体画像Ｉｍｉの透過度α、色（色相）、輝度、彩度等を、設定したり変更したりすることができる。また、車体画像Ｉｍｉが線画の場合、ＥＣＵ１１は、車体画像Ｉｍｉの輪郭線Ｌｏの太さや陰影の有無等を設定したり変更したりしてもよい。
　図１に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。
　非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された図２に示されるような障害物としての物体Ｂの有無や物体Ｂまでの距離を測定することができる。すなわち、非接触計測装置１３は、測距部、物体検出部の一例である。
　舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪３Ｒの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。
　車輪速センサ１７は、車輪３（３Ｆ，３Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。
　ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪３に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。
　アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
　また、表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。乗員等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。なお、操作入力部１０ｂとは別に、筐体１０には、操作入力部１０ｃが設けられてもよい。この場合、操作入力部１０ｃは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。
　また、車内には、表示部１０ａとは別の表示部２４ａや、音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。乗員等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、これら表示部２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。
　ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central　processing　unit）や、ＲＯＭ１１ｂ（read　only　memory）、ＲＡＭ１１ｃ（random　access　memory）、ＳＳＤ１１ｄ（solid　state　drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示部１０ａ，２４ａで表示される画像データの画像処理等を実行することができる。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
　また、本実施形態では、例えば、表示部１０ａには、ＥＣＵ１１の画像処理によって、ルームミラーの鏡像に対応した出力画像Ｉｍが表示される。この場合、車外画像Ｉｍｏからルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。なお、関数は、変換式や、変換行列等であってもよい。また、出力画像Ｉｍは、例えば、ルームミラーの写像に似た画像や、位置合わせされた画像、適合した画像等である。また、車体画像Ｉｍｉの合成位置や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。
　また、本実施形態では、例えば、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能する。すなわち、本実施形態では、例えば、図１１に示されるように、ＥＣＵ１１は、図１にも示されている表示制御部１１ｅや音声制御部１１ｆの他、画像生成部１１０や、進行方向取得部１１１、車両位置取得部１１２、物体検出部１１３、撮像画像取得部１１０ａ、範囲決定部１１０ｂ、表示態様決定部１１０ｃ、鏡像作成部１１０ｄ、歪み補正部１１０ｅ、視点変換処理部１１０ｆ、物体画像補正部１１０ｇ、追加画像取得部１１０ｈ、画像合成部１１０ｉ等として機能する。画像生成部１１０は、例えばＣＰＵ１１ａであり、記憶部１１ｇは、例えばＳＳＤ１１ｄである。記憶部１１ｇは、例えば、演算で用いられるデータや、演算結果等を記憶する。なお、画像生成部１１０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。図１１の各部は、プログラムのモジュールに対応してもよいし、ハードウエアとして構成されてもよい。なお、図１，１１に示されるＥＣＵ１１の構成は、一例である。
　進行方向取得部１１１は、シフトセンサ２１による検出結果や、車輪速センサ１７による検出結果、不図示の加速度センサによる検出結果、不図示の他のＥＣＵからのデータ等に基づいて、車両１の進行方向を取得することができる。進行方向取得部１１１は、車両１が前進中であるか後退中であるかを取得する。
　車両位置取得部１１２は、例えば、車輪速センサ１７によって検出された車輪速や、舵角センサ１４，１５ａによって検出された舵角、ＧＰＳ１６からのデータ、非接触計測装置１３の検出結果、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果、他の不図示のＥＣＵからのデータ等に基づいて、車両１の位置を取得することができる。車両１の位置は、例えば、駐車支援システムにおける現在位置や目標位置との相対的な位置であってもよい。
　物体検出部１１３は、例えば、画像生成部１１０で作成された車外画像Ｉｍｏを画像処理することにより、車外の物体Ｂを検出することができる。物体Ｂは、例えば、車両や、物、人等である。物体Ｂの検出に際しては、例えば、パターンマッチング等が用いられうる。また、物体検出部１１３は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１３は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得してもよい。
　撮像画像取得部１１０ａは、少なくとも一つの撮像部１２で撮像された車外画像Ｉｍｏを取得する。複数の撮像部１２が設けられている場合、撮像画像取得部１１０ａは、複数の撮像部１２で撮像された複数（例えば三つ）の撮像画像を、それらの境界部分を合成することで繋ぎ、一連の車外画像Ｉｍｏを作成することができる。
　範囲決定部１１０ｂは、車外画像Ｉｍｏのうち出力画像Ｉｍに用いる表示範囲Ａｄを決定する。範囲決定部１１０ｂは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを設定することができる。また、範囲決定部１１０ｂは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、表示範囲Ａｄを決定してもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。
　表示態様決定部１１０ｃは、表示部１０ａ，２４ａにおける出力画像Ｉｍの表示態様を決定する。表示態様決定部１１０ｃは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりすることができる。また、表示態様決定部１１０ｃは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。また、表示態様決定部１１０ｃは、例えば、車体画像Ｉｍｉの透過率αや、色、輝度、彩度等を設定したり変更したりすることができる。また、合成画像に室内画像が含まれる場合、表示態様決定部１１０ｃは、室内画像の透過度等を設定したり変更したりすることができる。
　鏡像作成部１１０ｄは、撮像画像、車外画像Ｉｍｏ、あるいは出力画像Ｉｍの鏡像を作成することができる。出力画像Ｉｍに撮像画像の鏡像となる車外画像Ｉｍｏや、車体画像Ｉｍ、追加画像等が含まれていればよく、鏡像作成部１１０ｄは、どの段階で鏡像を作成してもよい。
　歪み補正部１１０ｅは、撮像部１２で撮像された撮像画像の歪みを補正する。撮像部１２が、広角レンズあるいは魚眼レンズである場合、画像の中心から離れるほど画像の歪みが大きい。そこで、歪み補正部１１０ｅは、矩形の画角で表示された場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、撮像画像を補正する。座標変換は、例えば、マップや関数等によって与えられる。歪み補正の座標変換としては、例えば、円筒状に投影する円筒投影変換や、円周状の距離に像高が対応する等距離投影変換等がある。歪み補正部１１０ｅは、画像補正部および第一の画像補正部の一例である。
　視点変換処理部１１０ｆは、撮像部１２で撮像された撮像画像の視点を変換する処理を実行する。視点変換処理部１１０ｆは、例えば、撮像部１２の撮像点と、ルームミラーでの写像の視点との差が大きい場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、より前方からの視点、例えばルームミラーの写像の視点での画像に近付くように、撮像画像を補正する。座標変換は、例えば、マップや関数等によって与えられる。視点変換処理部１１０ｆは、歪み補正部１１０ｅとは異なる画像処理を実行する。また、視点変換処理部１１０ｆは、例えば、画像を左右に引き延ばしたり、画像の下側に向かうほど大きく左右方向に引き延ばすなどによって画像の傾きを補正したりすることで、視点変換と同様の効果を得ることも可能である。視点変換処理部１１０ｆは、画像補正部の一例であり、第一の画像補正部とは異なる補正を実行する第二の画像補正部の一例である。なお、歪み補正部１１０ｅおよび視点変換処理部１１０ｆによる車外画像Ｉｍｏの補正は、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。
　物体画像補正部１１０ｇは、車外画像Ｉｍｏに含まれる物体の画像を補正する。物体画像補正部１１０ｇは、例えば、物体検出部１１３が、車外画像Ｉｍｏ中に画像が含まれる他の車両等の物体Ｂを検出した場合、車外画像Ｉｍｏ中で当該他の車両の画像を拡大することができる。
　追加画像取得部１１０ｈは、車外画像Ｉｍｏとは別に出力画像Ｉｍに含まれる画像を取得する。本実施形態では、出力画像Ｉｍに含まれる画像のうち、車外画像Ｉｍｏでは無い画像が、追加画像と称される。追加画像は、例えば、車体画像Ｉｍｉや、路面の枠線の画像、物体の画像、進行方向を示す画像、目標位置を示す画像、過去の軌跡を示す画像、物体検出部１１３によって検出された物体の強調表示、文字画像等の、種々の画像である。また、追加画像取得部１１０ｈは、例えば、進行方向取得部１１１で取得された進行方向や、車両位置取得部１１２で取得された車両１の位置、物体検出部１１３で検出された物体、範囲決定部１１０ｂで決定された表示範囲Ａｄ、表示態様決定部１１０ｃで決定された表示態様等に対応する追加画像を、取得することができる。また、追加画像取得部１１０ｈは、追加画像として、車室内を撮像する撮像部１２Ｉ（図８，９等参照）に基づく室内画像を取得してもよい。なお、複数の追加画像は、例えば、記憶部１１ｇに記憶されうる。また、各パラメータの値に応じて追加画像を特定するデータは、例えば、記憶部１１ｇに記憶されうる。
　画像合成部１１０ｉは、車外画像Ｉｍｏと追加画像とを合成し、出力画像Ｉｍを生成する。追加画像として室内画像が含まれる場合、画像合成部１１０ｉでは、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。
　本実施形態にかかる画像表示システム１００は、例えば、図１２に示されるような手順で処理を実行することができる。まず、撮像画像取得部１１０ａは、撮像部１２が撮像した画像を取得する（Ｓ１）。次に、鏡像作成部１１０ｄは、撮像部１２が撮像した画像の鏡像を作成する（Ｓ２）。次に、歪み補正部１１０ｅおよび視点変換処理部１１０ｆは、表示態様決定部１１０ｃで設定された表示態様を取得し（Ｓ３）、取得した表示態様に応じて、車外画像Ｉｍｏを補正する（Ｓ４）。次に、追加画像取得部１１０ｈは、追加画像を取得し（Ｓ５）、画像合成部１１０ｉは、追加画像取得部１１０ｈで取得された追加画像と車外画像Ｉｍｏとを合成して、出力画像Ｉｍを得る（Ｓ６）。次に、表示制御部１１ｅは、出力画像Ｉｍが表示されるよう、表示部１０ａを制御する（Ｓ７）。
　図１３に例示されるように、撮像部１２Ｒによる撮像画像は、中心から離れるほど歪んでいる。そこで、本実施形態では、歪み補正部１１０ｅが図１３の撮像画像を補正することにより、図１４に例示されるような歪みが減らされた車外画像Ｉｍｏを作成する。ここでの座標変換は、例えば、マップや関数等によって与えられる。また、変換先の座標における空白画素の輝度値（画素値）は、隣接する輝度値の有る画素の当該輝度値から補完されて算出される。この歪み補正部１１０ｅによる補正により、本来直線であるのに曲線で示されていた部分が直線に近付けられる。
　しかし、図１４の車外画像Ｉｍｏの周縁部では、破線で示されるように、本来垂直な線Ｌｒｖが画面の上下方向に対して左右方向へ拡がるように傾斜している。そこで、本実施形態では、視点変換処理部１１０ｆが図１４の車外画像Ｉｍｏを補正することにより、図１５に例示されるような、本来垂直な線Ｌｒｖが上下方向に近付いた、すなわち傾きが補正された車外画像Ｉｍｏが得られる。ここでの座標変換も、例えば、マップや関数等によって与えられる。また、変換先の座標における空白画素の輝度値（画素値）は、隣接する輝度値の有る画素の当該輝度値から補完されて算出される。この視点変換処理部１１０ｆによる補正により、本来垂直な線Ｌｒｖの画面の上下方向に対する傾斜が小さくなる。
　また、本実施形態では、例えば、後退時の出力画像ＩｍＢＫ（Ｉｍ）は、図１４に例示されるような歪み補正部１１０ｅによって補正された車外画像Ｉｍｏに基づいて作成され、前進時の出力画像ＩｍＦＷ（Ｉｍ）は、図１５に例示されるような歪み補正部１１０ｅによって補正されるとともに視点変換処理部１１０ｆによって補正された車外画像Ｉｍｏに基づいて作成される。よって、例えば、車両１の後退時に、画像生成部１１０による演算負荷がより軽減されやすい。
　また、本実施形態では、例えば、後退時の出力画像ＩｍＢＫの表示範囲Ａｄｂは、図１４に示される歪み補正された車外画像Ｉｍｏのうち、車体２の後端部２ｂの画像が含まれる車体２の後方の比較的近傍の領域に設定される。一方、前進時の出力画像ＩｍＦＷの表示範囲Ａｄｆは、図１５に例示された歪み補正されるとともに視点変換された車外画像Ｉｍｏのうち、車体２の後方の後端部２ｂから離間した比較的遠方の領域、すなわち、後退時の領域よりも遠い領域に設定される。また、表示範囲Ａｄｆは、左右方向には後退時の表示範囲Ａｄｂよりも広い領域に設定される。このように、本実施形態によれば、例えば、ＥＣＵ１１は、撮像部１２による撮像画像から、前進時の車外画像Ｉｍｏ（出力画像ＩｍＦＷ）と後退時の車外画像Ｉｍｏ（出力画像ＩｍＢＫ）とを得ることができる。よって、例えば、前進時用と後退時用とで撮像部１２がそれぞれ別個に設けられた場合に比べて、構成部品が共用化されるため、画像表示システム１００の構成がより簡素化されうる。また、ＥＣＵ１１は、前進時と後退時とで、それぞれの状況に対応した異なる車外画像Ｉｍｏを得ることができる。なお、表示範囲Ａｄｂ，Ａｄｆは、車外画像Ｉｍｏの元となる範囲と言うこともできる。
　また、本実施形態では、ＥＣＵ１１は、図１６～１８，２０，２１に例示されるような種々の表示範囲および表示態様で、出力画像Ｉｍを表示することができる。なお、図１６～１８，２０，２１には、各出力画像Ｉｍの表示領域のみが示され、具体的な画像は示されていない。
　図１６の例では、出力画像Ｉｍが、表示部１０ａの全面に表示される。また、図１７の例では、出力画像Ｉｍが、表示部１０ａの一部、具体的には、表示部１０ａの左右方向の中央部に表示される。本実施形態では、例えば、ＥＣＵ１１は、前進時には図１６のように出力画像Ｉｍを表示し、後退時には図１７のように出力画像Ｉｍを表示するよう、表示部１０ａを制御することができる。すなわち、前進時の出力画像Ｉｍは、後退時の出力画像Ｉｍより大きく、左右の長さすなわち幅が大きく、上下方向の長さすなわち高さに対する左右方向の長さすなわち幅の比が高い。駐車時等の後退時には、例えば、前進時ほど左右に広い範囲が必要とならないケースもあり、また、例えば、広い範囲が見えすぎると近い範囲への注意力が低下するようなケースも想定されうる。また、例えば、表示範囲が狭いほど、ＥＣＵ１１の演算処理の負荷が減ったり、消費電力が減ったりといった効果が得られる。この例によれば、前進時と後退時とで表示範囲および表示態様を異ならせる設定により、例えば、より不都合の少ない表示範囲および表示態様が得られる場合がある。なお、図１７の例では、ＥＣＵ１１は、出力画像Ｉｍの両側の領域に文字情報等の他の情報が表示されるよう、表示部１０ａを制御してもよい。
　また、ＥＣＵ１１は、例えば駐車時等、車両１が旋回しながら後退する場合には、当該車両１の旋回方向に出力画像Ｉｍを広げてもよい。図１８の例では、車両１が所定の駐車枠に向けて左方向へ旋回しながら後退する場合の出力画像Ｉｍが、表示部１０ａの中央部から左端、すなわち旋回方向の端部に至る領域に、表示されている。この場合、ＥＣＵ１１は、例えば、舵角センサ１４の検出結果より、舵角が所定の舵角（閾値）以上となった場合に、図１７の出力画像Ｉｍを、当該図１７の出力画像Ｉｍよりも左方向、すなわち旋回方向へ広げられた図１８の出力画像Ｉｍに切り替えることができる。この例によれば、旋回方向に広がった出力画像Ｉｍが表示されることで、例えば、運転者等の乗員が、駐車目標位置等、車両１が移動する方向を視認しやすい。また、出力画像Ｉｍが旋回方向の反対方向にも広がっている場合に比べて、例えば、ＥＣＵ１１の演算処理の負荷が減ったり、消費電力が減ったりといった効果が得られる。
　図１９には、例えば、車両１が左側に旋回しながら到達予想位置まで後進する駐車を行う場合の出力画像Ｉｍが示されている。図１９には、図１８のより具体的な例が示されている。この例では、車外画像Ｉｍｏには、車体画像Ｉｍｉや、検出された物体Ｂの画像Ｉｍｂ、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１、路面の枠線Ｌの画像Ｉｍｌ、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２、現在位置から所定距離後方に離間した到達予想位置を示す画像Ｉｍｆ３、到達予想位置や舵角等から予想される移動経路を示す線状の画像Ｉｍｆ４等が、追加されている。ここで、画像Ｉｍｆ３，Ｉｍｆ４は、車体画像Ｉｍｉのうち車体２の下部に対応した表示領域Ａｂに対応する。例えば、画像Ｉｍｆ３，Ｉｍｆ４の側縁は、到達予想位置での表示領域Ａｂの側縁と一致するように、描画されうる。この例によれば、例えば、運転者は、車両１の周囲や、進行する方向の車外の状況、駐車目標位置Ｐ、到達予想位置、移動経路等を、より認識しやすい。また、本実施形態によれば、例えば、運転者等の乗員は、表示領域Ａｂを含む車体画像Ｉｍｉと、表示領域Ａｂに対応した画像Ｉｍｆ３，Ｉｍｆ４とによって、予想される車両１の移動経路を把握しやすい。
　また、図２０には、表示部１０ａに、撮像画像における表示範囲Ａｄが異なる二つの出力画像Ｉｍ（Ｉｍ１，Ｉｍ２）が同時に並行して表示された例が示されている。この場合、例えば、ＥＣＵ１１は、左側の領域Ａ１には、路面により近い図１４に示された表示範囲Ａｄｂに対応する出力画像Ｉｍ１が表示され、右側の領域Ａ２には、水平方向により近い図１５に示された表示範囲Ａｄｆに対応する出力画像Ｉｍ２が表示されるよう、表示部１０ａを制御する。領域Ａ１すなわち出力画像Ｉｍ１は、領域Ａ２すなわち出力画像Ｉｍ２よりも、小さく、左右の長さすなわち幅が狭く、上下方向の長さすなわち高さに対する左右方向の長さすなわち幅の比が低い。また、撮像画像における領域Ａ１すなわち出力画像Ｉｍ１の範囲は、領域Ａ２すなわち出力画像Ｉｍ２の範囲よりも、車両前後方向に広く、車幅方向に狭く、車両１に近い。この例によれば、例えば、運転者等の乗員は、複数の出力画像Ｉｍ（Ｉｍ１，Ｉｍ２）によって、より状況を把握しやすい場合がある。なお、領域Ａ１，Ａ２すなわち出力画像Ｉｍ１，Ｉｍ２の配置や、大きさ、撮像画像中の範囲等は、図２０の例には限定されず、種々に設定されたり変更されたりしうる。運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力により、設定を変更できるよう構成されてもよい。
　図２１には、表示部１０ａの領域Ａ３には、出力画像Ｉｍ３が表示され、領域Ａ４がブラックアウト、すなわち、出力画像Ｉｍが表示されず、暗く、例えば黒色化された例が、示されている。ＥＣＵ１１は、領域Ａ３には出力画像Ｉｍ３が表示され、領域Ａ４はブラックアウトされるよう、表示部１０ａを制御する。領域Ａ３すなわち出力画像Ｉｍ３は、例えば、図２０の例での領域Ａ１すなわち出力画像Ｉｍ１と同様である。表示部１０ａの表面側すなわち後側に、ハーフミラーが設けられた場合には、領域Ａ４に対応する表示部１０ａの表面は、ルームミラー（ミラー）として機能する。すなわち、図２２に例示されるように、筐体１０の表面（後面）に設けられる表示部１０ａの領域Ａ３には出力画像Ｉｍ３が表示され、領域Ａ４には出力画像Ｉｍが表示されず、当該領域Ａ４は、ミラーとして機能する。この例によれば、例えば、運転者等の乗員は、領域Ａ３に表示される出力画像Ｉｍ３と領域Ａ４での実際の鏡像（写像）とによって、より状況を把握しやすい場合がある。なお、領域Ａ３，Ａ４すなわち出力画像Ｉｍ３とハーフミラーにおける鏡像（写像）との配置や、大きさ、撮像画像中の範囲等は、図２１，２２の例には限定されず、種々に設定されたり変更されたりしうる。運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力により、設定を変更できるよう構成されてもよい。
　図２３～２５には、物体画像補正部１１０ｇによる他の車両等の物体Ｂの画像Ｉｍｂの補正の例が示されている。図２３には、物体Ｂが車両１から最も遠い場合、図２４には、物体Ｂが図２３よりも車両１に近付いた場合、また、図２５には、物体Ｂが図２４よりも車両１にさらに近付いた場合が、それぞれ示されている。図２３～２５の出力画像Ｉｍは、歪み補正部１１０ｅおよび視点変換処理部１１０ｆによって補正された車外画像Ｉｍｏを含む。ＥＣＵ１１は、物体Ｂと車両１との距離を、車外画像Ｉｍｏの画像処理や、非接触計測装置１３による検出結果等から、得ることができる。この例では、ＥＣＵ１１は、車外画像Ｉｍｏから画像処理により物体Ｂの画像Ｉｍｂを抽出し、車両１から物体Ｂの距離が大きいほど、当該物体Ｂの画像Ｉｍｂがより大きく拡大されて表示されるよう、表示部１０ａを制御する。物体Ｂの画像Ｉｍｂは、図２３の場合、当該図中に二点鎖線で示される元の物体Ｂの画像の大きさよりも２倍に拡大され、図２４の場合、当該図中に二点鎖線で示される元の物体Ｂの画像の大きさよりも１．５倍に拡大され、図２５の場合、画像Ｉｍｂは拡大されていない。この例によれば、例えば、運転者等の乗員は、より遠くに位置する物体Ｂを、より把握しやすい。なお、物体Ｂの画像Ｉｍｂの距離に応じた拡大率の大きさや、拡大画像の位置、表示形態等は、図２３～２５の例には限定されず、種々に変更されうる。
　また、範囲決定部１１０ｂや、表示態様決定部１１０ｃは、運転者等の乗員の操作入力によって、車外画像Ｉｍｏや、車体画像Ｉｍｉ、追加画像、出力画像Ｉｍの範囲や表示態様を決定することができる。この場合、例えば、運転者等の乗員は、表示部１０ａで好みの範囲や表示態様で表示された出力画像Ｉｍを視認することができる。操作入力は、運転者等の乗員による、操作入力部１０ｂ，１０ｃ，２４ｂや、ステアリングの操作によって行われる。ステアリングの操作に基づく操作入力は、舵角センサ１４の検出結果から得られる。
　以上、説明したように、本実施形態では、例えば、範囲決定部１１０ｂ（範囲変更部）は、車両１の前進時と後退時とで、撮像画像のうち出力画像Ｉｍ（表示画像）に含まれる表示範囲Ａｄ（範囲）を変更する。よって、本実施形態によれば、例えば、表示部１０ａ（表示装置）に、車両１の前進時と後退時とのそれぞれに応じた表示範囲Ａｄの出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。なお、表示範囲Ａｄは、歪み補正部１１０ｅや視点変換処理部１１０ｆ等の補正部による補正範囲とは同じであってもよいし異なっていてもよい。すなわち、ＥＣＵ１１（画像表示制御装置）は、表示範囲Ａｄの画素（画像）に補正を行ってもよいし、補正を行った画素（画像）の範囲から表示範囲Ａｄを抽出してもよい。
　また、本実施形態では、例えば、前進時と後退時とで、車外画像Ｉｍｏが、一つの撮像部１２Ｒによる撮像画像から得られる。よって、例えば、画像表示システム１００がより簡素化されうる。また、ＥＣＵ１１は、例えば、一つの撮像部１２Ｒによる撮像画像に、前進時と後退時とで異なる画像処理を行うことにより、車外画像Ｉｍｏを得る。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。
　また、本実施形態では、例えば、歪み補正部１１０ｅ（画像補正部）および視点変換処理部１１０ｆ（画像補正部）は、車両１の前進時と後退時とで異なる態様で車外画像Ｉｍｏを補正する。よって、例えば、表示部１０ａに、車両１の前進時と後退時とのそれぞれに応じた表示態様の出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。また、例えば、前進時と後退時とで画像の補正の有無や態様を異ならせることにより、ＥＣＵ１１の演算負荷が軽減されうる。
　また、本実施形態では、例えば、範囲決定部１１０ｂは、車両１の前進時と後退時とで表示範囲Ａｄの大きさを異ならせる。よって、例えば、表示部１０ａに、車両１の前進時と後退時とのそれぞれに応じた大きさの出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。なお、前進時と後退時とで、出力画像Ｉｍの倍率が異なってもよい。
　また、本実施形態では、例えば、画像生成部１１０は、表示範囲Ａｄが異なる複数の車外画像Ｉｍｏを含む出力画像Ｉｍを生成可能である。よって、例えば、表示部１０ａに、複数の車外画像Ｉｍｏを含む出力画像Ｉｍが表示されうる。よって、例えば、運転者等の乗員は、より多くの物体等の画像を視認できる。また、例えば、運転者等の乗員は、より広い表示範囲Ａｄの第二の出力画像Ｉｍ２によって全体を把握するとともに、より狭い表示範囲Ａｄの第一の出力画像Ｉｍ１によって細部を把握できる。よって、運転者等の乗員は、車両１の状況をより容易に、より迅速に、あるいはより精度良く把握できる場合がある。
　また、本実施形態では、例えば、出力画像Ｉｍに含まれる複数の車外画像Ｉｍｏは、それぞれ、画像生成部１１０によって異なる態様で補正が行われた画像である。よって、例えば、運転者等の乗員は、複数の出力画像Ｉｍを見やすかったり、物体等の画像を視認しやすかったりする。また、例えば、複数の出力画像Ｉｍで補正の有無や態様を異ならせることにより、ＥＣＵ１１の演算負荷が軽減されうる。
　また、本実施形態では、例えば、表示部１０ａ（表示装置）はハーフミラー２５で覆われ、表示制御部１１ｅは、表示部１０ａの一部に出力画像Ｉｍが表示されるとともに、表示部１０ａの他の一部をブラックアウトしてハーフミラー２５がミラーとして機能するよう、表示部１０ａを制御する。よって、例えば、表示部１０ａが、ディスプレイおよびミラーとして利用されうる。よって、例えば、比較的簡単な構成や制御によって、運転者等の乗員が複数の画像（出力画像Ｉｍおよび写像）を見ることができる状態が得られる。
　また、本実施形態では、例えば、表示制御部１１ｅは、車両１の前進時と後退時とで、異なる位置に出力画像Ｉｍが表示されるよう、表示部１０ａを制御する。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。
　また、本実施形態では、例えば、画像生成部１１０は、車両１の前進時と後退時とで、異なる車体画像Ｉｍｉ等の追加画像を追加する。よって、例えば、運転者等の乗員は、それぞれの状況に応じて見やすい出力画像Ｉｍを見ることができたり、それぞれの状況に応じた物体等の画像を視認しやすかったりする。
　以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。例えば、補正は、歪み補正や、視点変換処理以外の補正であってもよい。また、補正処理等の演算の順序は、適宜変更することができる。
　また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ルームミラーの位置以外の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
　また、例えば、前進時には複数の撮像部によって撮像された撮像画像の合成画像から車外画像が得られ、後退時には一つの撮像部によって撮像された撮像画像から車外画像が得られてもよい。すなわち、前進時の撮像画像（車外画像）を得る撮像部と、後退時の撮像画像（車外画像）を得る撮像部とが、相異なってもよい。この場合、より見やすい表示画像が得られたり、演算負荷がより軽減されたりしうる。
１…車両、２…車体、２ｂ…後端部、１０ａ…表示部（表示装置）、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２，１２Ｒ…撮像部、２５…ハーフミラー、１００…画像表示システム、１１０…画像生成部、１１０ｂ…範囲決定部（範囲変更部）、１１０ｅ…歪み補正部（画像補正部）、１１０ｆ…視点変換処理部（画像補正部）、Ａｄ…表示範囲（範囲）、Ｉｍ，Ｉｍ１，Ｉｍ２，Ｉｍ３…出力画像（表示画像）、Ｉｍｏ…車外画像、Ｌｒｈ…水平方向。

Claims (7)

  1. 　車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、表示装置に表示される表示画像、を生成する画像生成部と、
    　車両の前進時と後退時とで、前記撮像画像のうち前記表示画像に含まれる範囲を変更する範囲変更部と、
    　前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
    　を備えた、画像表示制御装置。
  2. 　前記撮像画像は、一つの前記撮像部によって撮像された撮像画像である、請求項１に記載の画像表示制御装置。
  3. 　車両の前進時と後退時とで異なる態様で前記車外画像を補正する画像補正部を有した、請求項１または２に記載の画像表示制御装置。
  4. 　前記範囲変更部は、車両の前進時と後退時とで前記範囲の大きさを異ならせる、請求項１～３のうちいずれか一つに記載の画像表示制御装置。
  5. 　前記画像生成部は、前記範囲が異なる複数の前記車外画像を含む前記表示画像を生成可能である、請求項１～４のうちいずれか一つに記載の画像表示制御装置。
  6. 　前記表示装置はハーフミラーで覆われ、
    　前記表示制御部は、前記表示装置の一部に前記表示画像が表示されるとともに、前記表示装置の他の一部をブラックアウトして前記ハーフミラーがミラーとして機能するよう、前記表示装置を制御する請求項１～５のうちいずれか一つに記載の画像表示制御装置。
  7. 　車体の後端部が写る方向から車両後方の水平方向よりも上方までを撮像範囲とする撮像部と、
    　表示装置と、
    　画像表示制御装置と、
    　を備え、
    　前記画像表示制御装置は、
    　前記撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、前記表示装置に表示される表示画像、を生成する画像生成部と、
    　車両の前進時と後退時とで、前記撮像画像のうち前記表示画像に含まれる範囲を変更する範囲変更部と、
    　前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
    　を備えた、画像表示システム。
PCT/JP2015/073579 2014-09-05 2015-08-21 画像表示制御装置および画像表示システム WO2016035580A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/507,792 US20170282813A1 (en) 2014-09-05 2015-08-21 Image display control device and image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-181774 2014-09-05
JP2014181774A JP6565148B2 (ja) 2014-09-05 2014-09-05 画像表示制御装置および画像表示システム

Publications (1)

Publication Number Publication Date
WO2016035580A1 true WO2016035580A1 (ja) 2016-03-10

Family

ID=55439646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073579 WO2016035580A1 (ja) 2014-09-05 2015-08-21 画像表示制御装置および画像表示システム

Country Status (3)

Country Link
US (1) US20170282813A1 (ja)
JP (1) JP6565148B2 (ja)
WO (1) WO2016035580A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106427784A (zh) * 2016-11-28 2017-02-22 奇瑞汽车股份有限公司 一种车辆用全景显示系统及其全景显示方法
CN107298050A (zh) * 2016-04-15 2017-10-27 本田技研工业株式会社 图像显示装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method
JP6658054B2 (ja) * 2016-02-16 2020-03-04 トヨタ車体株式会社 車体部品の施工部位判定システム及び施工部位判定方法
US10547849B1 (en) * 2016-03-03 2020-01-28 Rockwell Collins, Inc. Low-power and low-latency distortion correction for image processors
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
CN117934775A (zh) * 2017-09-22 2024-04-26 麦克赛尔株式会社 车辆
JP7201315B2 (ja) * 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
WO2020122084A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
JP7404871B2 (ja) 2019-12-27 2023-12-26 船井電機株式会社 電子ミラー
JP7287355B2 (ja) * 2020-06-26 2023-06-06 トヨタ自動車株式会社 車両周辺監視装置
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP3352096B2 (ja) * 1991-02-28 2002-12-03 株式会社デンソー 車両用車外監視装置
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP2007221200A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2013129386A (ja) * 2011-12-22 2013-07-04 Toyota Motor Corp 車両用後方監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512111Y2 (ja) * 1987-07-06 1993-03-26
US5956181A (en) * 1997-07-18 1999-09-21 Lin; William Two way mirror with dual functions of rear view mirror and video displayer
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
JP5136071B2 (ja) * 2008-01-15 2013-02-06 日産自動車株式会社 車両用後方監視装置および車両後方監視方法
JP5421788B2 (ja) * 2008-02-20 2014-02-19 クラリオン株式会社 車両周辺画像表示システム
JP5118605B2 (ja) * 2008-10-30 2013-01-16 クラリオン株式会社 車両周辺画像表示システム
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
EP2512133B1 (en) * 2009-12-07 2018-07-18 Clarion Co., Ltd. Vehicle periphery image display system
WO2015041005A1 (ja) * 2013-09-19 2015-03-26 富士通テン株式会社 画像生成装置、画像表示システム、画像生成方法、および画像表示方法
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352096B2 (ja) * 1991-02-28 2002-12-03 株式会社デンソー 車両用車外監視装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP2007221200A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2013129386A (ja) * 2011-12-22 2013-07-04 Toyota Motor Corp 車両用後方監視装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107298050A (zh) * 2016-04-15 2017-10-27 本田技研工业株式会社 图像显示装置
CN106427784A (zh) * 2016-11-28 2017-02-22 奇瑞汽车股份有限公司 一种车辆用全景显示系统及其全景显示方法

Also Published As

Publication number Publication date
JP2016058801A (ja) 2016-04-21
JP6565148B2 (ja) 2019-08-28
US20170282813A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6565148B2 (ja) 画像表示制御装置および画像表示システム
JP6380410B2 (ja) 画像表示制御装置および画像表示システム
US11657618B2 (en) Display apparatus
JP6446925B2 (ja) 画像表示制御装置および画像表示システム
JP6056612B2 (ja) 画像表示制御装置および画像表示システム
JP6507626B2 (ja) 車両周辺監視装置
JP7151293B2 (ja) 車両周辺表示装置
JP2016097896A (ja) 画像表示制御装置
US20190244324A1 (en) Display control apparatus
JP2020120327A (ja) 周辺表示制御装置
WO2016027689A1 (ja) 画像表示制御装置および画像表示システム
JP6958163B2 (ja) 表示制御装置
JP6554866B2 (ja) 画像表示制御装置
JP6876236B2 (ja) 表示制御装置
JP2018036444A (ja) 表示制御装置
US11669230B2 (en) Display control device
US11475676B2 (en) Periphery monitoring device
JP6711151B2 (ja) 運転支援装置
JP6772716B2 (ja) 周辺監視装置
JP6601097B2 (ja) 表示制御装置
JP2021014244A (ja) 車両周辺表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838457

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15507792

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838457

Country of ref document: EP

Kind code of ref document: A1