WO2016035581A1 - 画像表示制御装置および画像表示システム - Google Patents

画像表示制御装置および画像表示システム Download PDF

Info

Publication number
WO2016035581A1
WO2016035581A1 PCT/JP2015/073580 JP2015073580W WO2016035581A1 WO 2016035581 A1 WO2016035581 A1 WO 2016035581A1 JP 2015073580 W JP2015073580 W JP 2015073580W WO 2016035581 A1 WO2016035581 A1 WO 2016035581A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
display
unit
attention area
Prior art date
Application number
PCT/JP2015/073580
Other languages
English (en)
French (fr)
Inventor
淳邦 橋本
進 藤▲高▼
青木　淳
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to DE112015004046.3T priority Critical patent/DE112015004046B4/de
Priority to US15/508,268 priority patent/US20170305345A1/en
Publication of WO2016035581A1 publication Critical patent/WO2016035581A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • Embodiments described herein relate generally to an image display control device and an image display system.
  • the image display control device includes, for example, an image generation unit that generates a display image displayed on the display device including a mirror image of an image outside the vehicle based on at least a part of the captured image obtained by capturing at least the rear of the vehicle.
  • a reference image setting unit capable of setting a reference image corresponding to a position separated from the rear of the vehicle as an image to be included in the display image while the vehicle is moving forward, and the display device for displaying the display image.
  • the reference image setting unit displays at least one of a reference image corresponding to a position separated rearward of the vehicle and a reference image indicating a rear part of the vehicle body while the vehicle is moving forward. It can be set as an image to be included in the display image. Therefore, for example, the relative positional relationship with an object such as another vehicle located behind the vehicle is more easily grasped by the reference image.
  • the image display control device displays, in the display image, a caution area image that is located on at least one of the left and right sides of the reference image and indicates a caution area corresponding to an oblique rearward of the vehicle.
  • An attention area image setting unit that can be set as an image to be included is provided. Therefore, for example, it is easy to grasp that an object such as another vehicle exists diagonally behind the vehicle by the attention area image.
  • the image display control device includes, for example, an object detection unit that detects an object, and the attention area image setting unit, when an object is detected at a position corresponding to the attention area by the object detection unit, The above attention area image is set. Therefore, for example, when there is no object and the necessity of the attention area image is low, the attention area image is not displayed.
  • the attention area image setting unit sets different attention area images according to the position of the detected object. Therefore, for example, since the attention area image changes, it is easier to grasp that an object such as another vehicle is present obliquely behind the vehicle.
  • the image display system includes, for example, an imaging unit that captures at least the rear of the vehicle, a display device, and an image display control device.
  • the image display control device is captured by the imaging unit.
  • An image generation unit that generates a display image displayed on the display device including an image outside the vehicle based on at least a part of the captured image, and a reference image that indicates a position separated from the rear of the vehicle body.
  • a reference image setting unit that can be set as an image to be included in the display image; and a display control unit that controls the display device so that the display image is displayed. Therefore, according to the present embodiment, for example, the relative positional relationship with an object such as another vehicle located behind the vehicle is easily grasped by the reference image.
  • FIG. 1 is an exemplary schematic configuration diagram of an image display system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a display image by the image display system of the embodiment.
  • FIG. 3 is a diagram illustrating another example of a display image by the image display system of the embodiment.
  • FIG. 4 is a plan view of an example of an imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 5 is a side view of an example of an imaging range by the imaging unit of the image display system according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of an outside image included in a display image by the image display system of the embodiment.
  • FIG. 7 is a diagram illustrating an example of a vehicle body image added in the image display system of the embodiment.
  • FIG. 8 is a plan view of another example of the imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 9 is a side view of another example of the imaging range by the imaging unit of the image display system of the embodiment.
  • FIG. 10 is a diagram illustrating an example of a display range in an image outside the vehicle in the image display system of the embodiment.
  • FIG. 11 is an exemplary block diagram of an ECU included in the image display system of the embodiment.
  • FIG. 12 is an exemplary flowchart of a processing procedure of the image display system according to the embodiment.
  • FIG. 13 is a diagram illustrating an example of an output image by the image display system of the embodiment.
  • FIG. 14 is a diagram showing another example of an output image by the image display system of the embodiment.
  • FIG. 15 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 16 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 17 is a diagram illustrating still another example of an output image by the image display system of the embodiment.
  • FIG. 18 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 19 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 20 is a diagram illustrating still another example of an output image by the image display system of the embodiment.
  • FIG. 21 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 22 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 23 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 24 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 25 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 26 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • FIG. 27 is a diagram showing still another example of an output image by the image display system of the embodiment.
  • the image display system 100 equipped in the vehicle 1 includes an ECU 11 (electronic control unit) that controls an image displayed on the display unit 10a as a display device, as shown in FIG.
  • the ECU 11 is an example of a display control unit or an image display control device.
  • the display unit 10a is provided in place of, for example, a rear view mirror (not shown) provided at the front and upper part of the vehicle interior. Based on the image captured by the imaging unit 12, the display unit 10a displays an image resembling a mirror image reflected in a room mirror provided at the front and upper part of the vehicle interior as illustrated in FIG.
  • the A passenger such as a driver can use the display unit 10a as a room mirror or instead of a room mirror.
  • the room mirror can also be referred to as a rearview mirror.
  • the display unit 10a of the housing 10 can be attached to the rearview mirror by an attachment or an attachment so as to cover the mirror surface of the rearview mirror, for example.
  • an image that is opposite to the left and right of the image captured by the imaging unit 12 provided outside the vehicle, that is, outside the passenger compartment, that is, a mirror image is displayed.
  • the display unit 10a can be configured, for example, as an LCD (liquid crystal display), an OELD (organic electro-luminescent display), a projector device, or the like.
  • ECU11 may be accommodated in the housing
  • a half mirror (not shown) may be provided on the front side, that is, the rear side of the display unit 10a.
  • the half mirror in a state where the image display system 100 is not used and no image is displayed on the display unit 10a, the half mirror can be used as a room mirror.
  • region blacked out among half mirrors, can be used as a room mirror.
  • the housing 10 may be provided with an imaging unit 12I as shown in FIGS.
  • the output image Im as an image displayed on the display unit 10a includes a vehicle exterior image Imo indicated by a solid line and a vehicle body image Imi indicated by a broken line.
  • the outside-vehicle image Imo can be generated from images captured by one or a plurality of imaging units 12.
  • the output image Im can also be referred to as a display image.
  • the outside image Imo that is, the image captured by the imaging unit 12 can also be referred to as a captured image.
  • the vehicle body image Imi can also be referred to as an additional image.
  • the vehicle outside image Imo is indicated by a solid line and the vehicle body image Imi is indicated by a broken line for convenience.
  • the actual outside image Imo is not limited to a solid line, and the vehicle body image Imi is not limited to a broken line.
  • the body image Imi is an example of a reference image and an example of an additional image.
  • the imaging unit 12 is a digital camera that incorporates an imaging element such as a CCD (charge coupled device) or a CIS (CMOS image sensor).
  • the imaging unit 12 can output image data, that is, moving image data at a predetermined frame rate.
  • the vehicle body 2 is provided with only the imaging unit 12R provided at the rear part of the vehicle body 2 as the imaging unit 12 that images the outside of the vehicle.
  • the imaging unit 12R images the rear and side of the vehicle 1, that is, the rear and side outside the passenger compartment.
  • the imaging unit 12R is, for example, a wide angle lens or a fisheye lens.
  • the imaging range by the imaging unit 12R is at least from the direction in which the rear end 2b of the vehicle body 2 is reflected to above the horizontal direction Lrh behind the vehicle 1 as indicated by the broken line in FIG. It is set to include the range. Thereby, both an image behind the vehicle during traveling and an image near the road surface behind the vehicle during parking can be obtained from the image captured by the imaging unit 12R.
  • FIGS. 4 and 5 The imaging range illustrated in FIGS. 4 and 5 is an example, and the imaging range by the imaging unit 12R is not limited to the examples in FIGS.
  • FIG. 6 illustrates an example of an outside-vehicle image Imo obtained from an image captured by the imaging unit 12.
  • the horizontal direction Lrh here is a horizontal direction with respect to the vehicle 1 and is a direction that becomes horizontal when the vehicle 1 is positioned on a horizontal plane.
  • the vehicle body image Imi includes a contour line Lo or an edge as a display element drawn in a three-dimensional frame shape showing the structure of the vehicle body 2.
  • the vehicle body components indicated by the contour line Lo are, for example, corners, edges, windows, pillars, doors, floors, ceilings, trims, wheels, axles, differential gears, and the like of the vehicle body 2.
  • the vehicle body image Imi is not limited to the vehicle body shape itself as long as the occupant can roughly recognize the position and shape of the vehicle body 2.
  • the vehicle body image Imi may be a schematic one.
  • the region between the contour lines Lo may be colored in a state where the vehicle outside image Imo is transmitted.
  • the vehicle body image Imi is a line drawing (line diagram).
  • a line as a display element included in a line drawing can have various display modes. Examples of display modes include type, surface density, width, thickness, density, transparency, color, and pattern.
  • the types include, for example, a solid line, a broken line, a one-dot chain line, a two-dot chain line, a broken line, a jagged line, and a wavy line.
  • the surface density is a density per unit area of the screen or image. For example, in the case of the same thickness, the surface density of the solid line is larger than the surface density of the broken line.
  • the line drawing can include a plurality of lines having locally different display modes.
  • the line drawing may partially include dots, symbols, characters, figures, and the like. The display mode of these line drawings can be set or changed according to the vehicle state such as the traveling state or the operation state.
  • the output image Im including the vehicle body image Imi together with the vehicle exterior image Imo is displayed on the display unit 10 a, so that the occupant can recognize the relative position between the vehicle 1 and the object B outside the vehicle. It is easy to recognize the distance between the vehicle 1 and the object B, the direction of the object B, the size of the object B, and the like.
  • a part Pw that shows an end part of the vehicle body 2 in the vehicle width direction, a part Pr that shows a rear end part of the vehicle body 2, and a lower part of the vehicle body 2 A portion Pb that represents can be included.
  • a portion Pbw indicating an end portion of the lower portion of the vehicle body 2 in the vehicle width direction, a portion Pbr indicating a rear end portion of the lower portion of the vehicle body 2 in the vehicle front-rear direction, and the vehicle front and rear portions of the side portion of the vehicle body 2 A portion Psr indicating the rear end of the direction may be included.
  • the vehicle body image Imi is created so that at least the lower part of the vehicle body 2 can be recognized two-dimensionally, that is, two-dimensionally. Therefore, the occupant can easily recognize, for example, the planar size, shape, and part of the vehicle body 2. For example, the occupant can easily recognize the size and height of the object B outside the passenger compartment, the positional relationship of the object B in the horizontal direction, and the like with reference to the vehicle body image Imi.
  • the vehicle body image Imi is stored in advance in a nonvolatile storage unit.
  • the storage unit can store vehicle body images Imi for a plurality of vehicle types. In this case, for example, the vehicle body image Imi selected according to the vehicle type of the vehicle 1, the user's preference, or the like can be used as the composite image.
  • the storage unit may be, for example, the SSD 11d shown in FIG.
  • the ECU 11 can transform the vehicle body image Imi based on an input instruction or operation or the like at the operation input unit 10b in a setting operation such as calibration. Specifically, for example, the vehicle body image Imi is deformed such that the vehicle body image Imi is stretched left and right as it goes upward, is stretched up and down, and the vertical and horizontal positions are changed. Is changed.
  • the changed body image Imi is stored in the storage unit, and the changed body image Imi is used as the composite image.
  • the vehicle body image Imi a room image captured by the imaging unit 12I as exemplified in FIG. 8, an image in which the room image is changed, or the like may be used.
  • the ECU 11 can set or change the transmission ratio ⁇ of the vehicle body image Imi, that is, the composition ratio with the vehicle exterior image Imo.
  • the vehicle body image Imi has a luminance of x1
  • the vehicle exterior image Imo has a luminance of x2
  • the transmittance ⁇ can be set to an arbitrary value.
  • the vehicle body 2 has, as the imaging unit 12, an imaging unit 12 ⁇ / b> S that images the side of the vehicle 1, that is, the side outside the passenger compartment, and the rear of the vehicle 1, that is, the rear outside the passenger compartment.
  • An imaging unit 12R is provided.
  • the imaging units 12S and 12R may capture images including both the rear and side of the vehicle 1, respectively.
  • the imaging unit 12S is provided on each of the left and right sides of the vehicle body 2, and the imaging unit 12R is provided on the rear end 2b of the vehicle body 2.
  • the imaging unit 12S can be provided on a door mirror, and the imaging unit 12R can be provided on a rear hatch.
  • the imaging units 12 may be provided at the left end and the right end of the rear end 2b of the vehicle body 2, for example.
  • the imaging unit 12 that captures at least one of the vehicle interior and the exterior of the vehicle interior may be provided in the vehicle interior.
  • the imaging ranges of the plurality of imaging units 12 may be different vertically.
  • the imaging unit 12 may be a wide-angle lens or a fisheye lens, respectively.
  • the ECU 11 combines the images acquired by the plurality of imaging units 12 with a known technique and illustrated in FIG. 10.
  • a series of outside images Imo as described above can be obtained.
  • the vehicle outside image Imo may be a panoramic image.
  • a relatively wide range on the rear and side of the vehicle 1 is imaged by the plurality of imaging units 12 so that the vehicle exterior image Imo at each position in a relatively wide range can be displayed on the display unit 10a.
  • a part of the wide range is used, that is, displayed on the composite image as the output image Im.
  • the ECU 11 can change the display range Ad of the output image Im and the outside image Imo according to the situation of the vehicle 1.
  • the ECU 11 can use detection results of various sensors, instruction signals, and the like as signals or data serving as triggers for changing the display range Ad.
  • the detection results include, for example, the non-contact measuring device 13 shown in FIG. 1, the steering angle sensor 14 for the front wheels, the steering angle sensor 15a of the rear wheel steering system 15, the GPS 16 (global positioning system), the wheel speed sensor 17, the brake This is a detection result of the brake sensor 18a of the system 18, the accelerator sensor 19, the torque sensor 20a of the front wheel steering system 20, the shift sensor 21, and the like.
  • the instruction signal is, for example, an instruction signal acquired from the direction indicator 22 or the operation input unit 24b.
  • the instruction signal can also be referred to as a control signal, a switching signal, an operation signal, an input signal, instruction data, or the like.
  • corresponds to the advancing direction of the vehicle 1 acquired by the advancing direction acquisition part 111 shown by FIG. 11, the position of the vehicle 1 acquired by the vehicle position acquisition part 112, the detection result by the object detection part 113, etc.
  • the ECU 11 may set or change the thickness of the outline Lo of the vehicle body image Imi, the presence or absence of a shadow, and the like.
  • the electrical components included in the image display system 100 are connected electrically or communicably via the in-vehicle network 23, for example.
  • the electrical components include, for example, the non-contact measuring device 13, the steering angle sensor 14, the steering angle sensor 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22.
  • the operation input unit 24b is, for example, a CAN (controller area network).
  • Each electrical component may be electrically or communicably connected via other than CAN.
  • the non-contact measuring device 13 is, for example, a sonar or radar that emits ultrasonic waves or radio waves and captures the reflected waves.
  • the ECU 11 can measure the presence / absence of the object B as an obstacle and the distance to the object B as shown in FIG. 2 positioned around the vehicle 1 based on the detection result of the non-contact measuring device 13. That is, the non-contact measuring device 13 is an example of a distance measuring unit and an object detecting unit.
  • the steering angle sensor 14 is a sensor that detects a steering amount of a steering wheel (not shown) as a steering unit, and is configured using, for example, a hall element.
  • the rudder angle sensor 15a is a sensor that detects the steering amount of the rear wheel 3R, and is configured using, for example, a hall element. Note that the steering amount is detected as, for example, a rotation angle.
  • the wheel speed sensor 17 is a sensor that detects the amount of rotation of the wheel 3 (3F, 3R) and the number of rotations per unit time, and is configured using, for example, a hall element.
  • the ECU 11 can calculate the amount of movement of the vehicle 1 based on the data acquired from the wheel speed sensor 17.
  • the wheel speed sensor 17 may be provided in the brake system 18.
  • the brake system 18 includes an ABS (anti-lock brake system) that suppresses brake locking, a skid prevention device (ESC: electronic stability control) that suppresses side slip of the vehicle 1 during cornering, and an electric brake system that enhances braking force.
  • BBW brake by wire
  • the brake system 18 applies a braking force to the wheels 3 via an actuator (not shown), and decelerates the vehicle 1.
  • the brake sensor 18a is, for example, a sensor that detects an operation amount of a brake pedal.
  • the accelerator sensor 19 is a sensor that detects the amount of operation of the accelerator pedal.
  • the torque sensor 20a detects torque that the driver gives to the steering unit.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable part of the speed change operation part, and is configured using a displacement sensor or the like.
  • the movable part is, for example, a lever, an arm, a button, or the like. Note that the configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are examples, and can be variously set or changed.
  • the direction indicator 22 outputs a signal for instructing to turn on, turn off, blink, etc. the direction indication light.
  • the display unit 10a can be covered with a transparent operation input unit 10b.
  • the operation input unit 10b is, for example, a touch panel.
  • a passenger or the like can visually recognize an image displayed on the display screen of the display unit 10a via the operation input unit 10b.
  • the occupant or the like operates variously in the image display system 100 by touching, pushing, or moving the operation input unit 10b with a finger or the like at a position corresponding to the image displayed on the display screen of the display unit 10a.
  • the operation input can be executed.
  • the housing 10 may be provided with an operation input unit 10c.
  • the operation input unit 10c can be configured as, for example, a push button, a switch, a knob, or the like.
  • a display unit 24a different from the display unit 10a and an audio output device 24c are provided in the vehicle.
  • the display unit 24a is, for example, an LCD or an OELD.
  • the audio output device 24c is, for example, a speaker.
  • the display unit 24a is covered with a transparent operation input unit 24b.
  • the operation input unit 24b is, for example, a touch panel.
  • a passenger or the like can visually recognize an image displayed on the display screen of the display unit 24a via the operation input unit 24b.
  • an occupant or the like can perform an operation input by operating the operation input unit 24b with a finger or the like at a position corresponding to an image displayed on the display screen of the display unit 24a. Can do.
  • the monitor device 24 can include an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button, for example.
  • the monitor device 24 can also be used as a navigation system or an audio system.
  • the ECU 11 can cause the display unit 24a of the monitor device 24 to display an image similar to that of the display unit 10a.
  • the ECU 11 includes, for example, a CPU 11a (central processing unit), a ROM 11b (read only memory), a RAM 11c (random access memory), an SSD 11d (solid state drive), a display control unit 11e, a voice control unit 11f, and the like.
  • the SSD 11d may be a flash memory.
  • the CPU 11a can execute various calculations.
  • the CPU 11a can read a program installed and stored in a nonvolatile storage device such as the ROM 11b or the SSD 11d, and execute arithmetic processing according to the program.
  • the RAM 11c temporarily stores various types of data used in computations by the CPU 11a.
  • the SSD 11d is a rewritable nonvolatile storage unit, and can store data even when the ECU 11 is powered off.
  • the display control unit 11e mainly performs image processing using image data obtained by the imaging unit 12, image processing of image data displayed by the display units 10a and 24a, etc. Can be executed.
  • the voice control unit 11 f can mainly execute processing of voice data output from the voice output device 24 c among the calculation processes in the ECU 11.
  • the CPU 11a, the ROM 11b, the RAM 11c, and the like can be integrated in the same package.
  • the ECU 11 may have a configuration in which another logical operation processor such as a DSP (digital signal processor) or a logic circuit is used instead of the CPU 11a.
  • an HDD hard disk drive
  • the SSD 11d and the HDD may be provided separately from the ECU 11.
  • the output image Im corresponding to the mirror image of the rearview mirror is displayed on the display unit 10a by the image processing of the ECU 11.
  • functions, coefficients, constants, data, etc. for performing coordinate transformation from the vehicle exterior image Imo to the output image Im corresponding to the mapping of the room mirror are the mapping of the room mirror of a plurality of markers actually arranged outside the vehicle or inside the vehicle.
  • the position can be obtained by actually acquiring the position in the inside, performing calibration by imaging, or performing geometric calculation.
  • the function may be a conversion formula, a conversion matrix, or the like.
  • the output image Im is, for example, an image similar to a mapping of a room mirror, a registered image, a suitable image, or the like.
  • the position, size, shape, etc., of the body image Imi are actually acquired in the mapping of the room mirror of multiple markers that are actually placed outside or inside the vehicle, or calibration by imaging is performed. Or by performing a geometric operation.
  • the ECU 11 functions as at least a part of the image display control device in cooperation with hardware and software (program). That is, in this embodiment, for example, as shown in FIG. 11, the ECU 11 includes an image generation unit 110 and a traveling direction acquisition unit in addition to the display control unit 11 e and the voice control unit 11 f also shown in FIG. 1. 111, vehicle position acquisition unit 112, object detection unit 113, captured image acquisition unit 110a, range determination unit 110b, display mode determination unit 110c, mirror image creation unit 110d, image correction unit 110e, reference image setting unit 110f, attention area image setting Functions as a unit 110g, an additional image acquisition unit 110h, an image composition unit 110i, and the like.
  • the image generation unit 110 is, for example, a CPU 11a, and the storage unit 11g is, for example, an SSD 11d.
  • the storage unit 11g stores, for example, data used in calculations, calculation results, and the like. Note that at least part of the image processing executed by the image generation unit 110 may be executed by the display control unit 11e.
  • Each unit in FIG. 11 may correspond to a module of a program or may be configured as hardware.
  • the configuration of the ECU 11 shown in FIGS. 1 and 11 is an example.
  • the traveling direction acquisition unit 111 is based on a detection result by the shift sensor 21, a detection result by the wheel speed sensor 17, a detection result by an acceleration sensor (not shown), data from other ECUs (not shown), and the like. You can get directions.
  • the traveling direction acquisition unit 111 acquires whether the vehicle 1 is moving forward or backward.
  • the vehicle position acquisition unit 112 includes, for example, the wheel speed detected by the wheel speed sensor 17, the steering angle detected by the steering angle sensors 14 and 15a, the data from the GPS 16, the detection result of the non-contact measuring device 13, and the imaging unit.
  • the position of the vehicle 1 can be acquired based on the image processing result of the vehicle outside image Imo acquired by 12, the data from other ECUs (not shown), and the like.
  • the position of the vehicle 1 may be, for example, a relative position with respect to a current position or a target position in the parking assistance system.
  • the object detection unit 113 can detect the object B outside the vehicle, for example, by performing image processing on the vehicle outside image Imo created by the image generation unit 110.
  • the object B is, for example, a vehicle, an object, a person, or the like.
  • the object detection unit 113 can detect the object B outside the vehicle from the data obtained from the non-contact measuring device 13, and the image processing result of the image Imo outside the vehicle and the non-contact measuring device 13 can obtain the result.
  • the object B outside the vehicle can be detected from the data. Further, the object detection unit 113 may acquire the distance from the vehicle 1 to the object B from the result of image processing of the outside image Imo or the data obtained from the non-contact measuring device 13.
  • the captured image acquisition unit 110a acquires the vehicle exterior image Imo captured by at least one imaging unit 12.
  • the captured image acquisition unit 110a connects a plurality of (for example, three) captured images captured by the plurality of imaging units 12 by combining their boundary portions, A series of outside-vehicle images Imo can be created.
  • the range determination unit 110b determines the display range Ad used for the output image Im in the outside image Imo.
  • the range determination unit 110b is, for example, according to the traveling direction of the vehicle 1 acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the detection result by the object detection unit 113, and the like.
  • the display range Ad of the output image Im and the vehicle outside image Imo can be set.
  • the range determination unit 110b may determine the display range Ad according to detection results from other sensors or devices, signals, data, and the like.
  • Other sensors and devices include, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22. Etc.
  • the display mode determination unit 110c determines the display mode of the output image Im on the display units 10a and 24a.
  • the display mode determination unit 110c is, for example, according to the traveling direction of the vehicle 1 acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the detection result by the object detection unit 113, and the like.
  • the display mode of the output image Im can be set or changed.
  • the display mode determination unit 110c may set or change the display mode of the output image Im according to detection results by other sensors or devices, signals, data, and the like.
  • the display mode determination unit 110c can set or change the transmittance ⁇ , the color, the luminance, the saturation, and the like of the vehicle body image Imi, for example. Further, when the synthesized image includes an indoor image, the display mode determination unit 110c can set or change the transparency of the indoor image.
  • the mirror image creation unit 110d can create a mirror image of the captured image, the vehicle exterior image Imo, or the output image Im.
  • the output image Im only needs to include the vehicle exterior image Imo that is a mirror image of the captured image, and the mirror image creation unit 110d may create a mirror image at any stage.
  • the image correction unit 110e corrects the captured image captured by the imaging unit 12.
  • the image correction unit 110e can correct distortion of the captured image captured by the imaging unit 12.
  • the imaging unit 12 is a wide-angle lens or a fish-eye lens
  • image distortion increases as the distance from the center of the image increases. Therefore, the image correction unit 110e corrects the captured image by performing, for example, coordinate conversion or complementation processing so that an image with less discomfort is displayed when the image is displayed with a rectangular angle of view.
  • the image correction unit 110e can execute processing for converting the viewpoint of the captured image captured by the imaging unit 12.
  • the image correction unit 110e when the difference between the imaging point of the imaging unit 12 and the viewpoint of the mapping with the room mirror is large, the image correction unit 110e performs, for example, coordinate conversion or complement processing so that the image becomes less uncomfortable.
  • the captured image is corrected so as to approach the image from the viewpoint from the front, for example, the viewpoint of the mapping of the room mirror.
  • the coordinate transformation is given by, for example, a map or a function. It should be noted that the correction of the vehicle outside image Imo by the image correction unit 110e does not have to be perfectly aligned with the mirror image when the room mirror is provided.
  • the image correction unit 110e can also perform corrections other than distortion correction and viewpoint conversion processing.
  • the reference image setting unit 110f sets a reference image included in the output image Im.
  • the reference image is an image that serves as a guide for the position behind the vehicle 1, and is, for example, an image corresponding to a position separated behind the vehicle 1, an image simulating the shape of the rear part of the vehicle body 2, or the like.
  • the reference image setting unit 110f selects a reference image to be included in the output image Im from among a plurality of reference image candidates stored in advance by an operation input of the operation input units 10b, 10c, 24b and the like by an occupant such as a driver. Can be selected and set.
  • the reference image setting unit 110f includes, for example, the traveling direction of the vehicle 1 acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the detection result by the object detection unit 113, and the like. Accordingly, the reference image can be set or changed.
  • the reference image setting unit 110f may set or change the reference image according to detection results by other sensors or devices, signals, data, and the like.
  • Other sensors and devices include, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22.
  • Data indicating a reference image set or changed corresponding to each parameter can be stored in the storage unit 11g.
  • the attention area image setting unit 110g sets the attention area image included in the output image Im.
  • the attention area image is an image that is located on at least one of the left and right sides of the reference image and indicates the attention area corresponding to the diagonally rear of the vehicle 1.
  • the attention area image is set, for example, as a transmission image that transmits the vehicle outside image Imo.
  • the attention area image setting unit 110g is included in the output image Im from among a plurality of pre-stored attention area image candidates by an operation input of the operation input units 10b, 10c, and 24b by a driver or the like. A region image can be selected and set.
  • the attention area image setting unit 110g includes, for example, the traveling direction of the vehicle 1 acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the detection result by the object detection unit 113, and the like.
  • the attention area image can be set or changed according to the situation.
  • the attention area image setting unit 110g may set or change the attention area image in accordance with the detection result by other sensors or devices, signals, data, and the like.
  • Other sensors and devices include, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the wheel speed sensor 17, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22.
  • Data indicating the attention area image set or changed corresponding to each parameter can be stored in the storage unit 11g.
  • the additional image acquisition unit 110h acquires an image included in the output image Im separately from the outside image Imo.
  • an image that is not the vehicle outside image Imo is referred to as an additional image.
  • Additional images include, for example, body image Imi, reference image, caution area image, road surface border image, object image, traveling direction image, target position image, past locus image, object detection These are various images such as highlighting of an object detected by the unit 113 and a character image.
  • the additional image acquisition unit 110h determines, for example, the traveling direction acquired by the traveling direction acquisition unit 111, the position of the vehicle 1 acquired by the vehicle position acquisition unit 112, the object detected by the object detection unit 113, and the range determination.
  • An additional image corresponding to the display range Ad determined by the unit 110b, the display mode determined by the display mode determination unit 110c, and the like can be acquired. Further, the additional image acquisition unit 110h may acquire an indoor image based on the imaging unit 12I (see FIGS. 8 and 9, etc.) that images the interior of the vehicle as the additional image.
  • the plurality of additional images can be stored in the storage unit 11g, for example. Further, data for specifying an additional image according to the value of each parameter can be stored in the storage unit 11g, for example.
  • the image composition unit 110i synthesizes the outside image Imo and the additional image to generate an output image Im.
  • the image composition unit 110i can superimpose a room image in which a window portion is cut out by image processing as a transparent image.
  • the image display system 100 can execute processing in a procedure as shown in FIG. First, the captured image acquisition unit 110a acquires an image captured by the imaging unit 12 (S1). Next, the mirror image creation unit 110d creates a mirror image of the image captured by the imaging unit 12 (S2). Next, the object detection unit 113 detects an object (S3). Next, the image correction unit 110e acquires the display mode set by the display mode determination unit 110c (S4), and corrects the vehicle outside image Imo according to the acquired display mode (S5). The reference image setting unit 110f sets a reference image (S6), and the attention area image setting unit 110g sets an attention area image (S7).
  • the captured image acquisition unit 110a acquires an image captured by the imaging unit 12 (S1).
  • the mirror image creation unit 110d creates a mirror image of the image captured by the imaging unit 12 (S2).
  • the object detection unit 113 detects an object (S3).
  • the image correction unit 110e acquires the display mode set by the display mode determination unit 110c (S4), and correct
  • the additional image acquisition unit 110h acquires an additional image (S8), and the image composition unit 110i combines the additional image acquired by the additional image acquisition unit 110h and the outside-vehicle image Imo to obtain an output image Im.
  • the display control unit 11e controls the display unit 10a so that the output image Im is displayed (S10).
  • FIGS. 13 to 16 show examples of the output image Im.
  • the reference image setting unit 110f can set various reference images included in the output image Im as shown in FIGS.
  • the reference image is an example of an additional image.
  • the reference image includes a vehicle body image Imi corresponding to the rear portion, the side portion, and the bottom portion of the vehicle body 2 and imitating the respective portions.
  • the vehicle body image Imi corresponding to only the rear part of the vehicle body 2 is included as the reference image.
  • the reference image setting unit 110f includes a reference to be included in the output image Im from among a plurality of reference image candidates stored in advance in response to an operation input of the operation input units 10b, 10c, 24b, etc.
  • the output image Im may include a reference image according to the preference of a passenger such as a driver.
  • a reference image that is easier to see can be set according to the situation such as the weather.
  • the positional relationship with the image Imb of the object B such as another vehicle is easily grasped both at the rear and the side of the vehicle 1.
  • the image Imb of the object B can be more easily seen on the oblique side or side of the vehicle 1 because there is no vehicle body image Imi.
  • a caution area image Ima is added to the output image Im in addition to the vehicle body image Imi as a reference image illustrated in FIG.
  • the attention area image Ima is included in at least one of the left and right sides of the reference image in the output image Im.
  • the output image Im includes a caution area image Ima on both the left and right sides of the vehicle body image Imi as a reference image.
  • the central region of the output image Im is a region corresponding to the rear of the vehicle 1, and the regions on the left and right sides of the output image Im are regions corresponding to the diagonally rear of the vehicle 1. Further, the closer the image Imb of the object B is to the left and right ends of the output image Im, the closer the object B is to the front of the vehicle 1.
  • the driver can more closely move the object B closer to the front of the vehicle 1 to the object B.
  • the attention area image Ima is set, for example, as a transparent image that is lightly colored so as not to interfere with the visual recognition of the image Imb of the object B, that is, as an image through which the image Im outside the vehicle, the image Imb of the object B, etc. can be seen through. Can be done.
  • the color of the attention area image Ima can be set to yellow, pink, orange, red, or the like that generally attracts attention. Further, in the example of FIG.
  • the attention area image Ima is applied to the entire corresponding area, but is not limited to this.
  • the attention area image Ima may be displayed as a frame, a diagonal line pattern, or a dot pattern Or the like.
  • the attention area image Ima may be displayed on a part of an area corresponding to the obliquely rear side of the vehicle 1, for example, a part on the lower side in the output image Im.
  • the attention area may be an area extending from the oblique side of the vehicle 1 to the side of the vehicle 1.
  • a rear position image Imr corresponding to the rear position of the vehicle 1 is added to the output image Im as a reference image different from that of FIGS.
  • the rear position image Imr is an image that serves as a guide for the distance from the rear end of the floor of the vehicle body 2.
  • the rear position image Imr is drawn as points P1 to P3 as six elements. .
  • the two lowermost points P1 correspond to, for example, the rear end portion of the vehicle body 2 and the left and right side end portions, and are positioned above the point P1.
  • the two points P2 correspond to, for example, a position a predetermined distance (for example, 2 m) behind the rear end of the vehicle body 2 and the left and right ends, and the two points P3 positioned above the point P2 are
  • the vehicle body 2 is disposed corresponding to a position that is a predetermined distance (for example, 4 m) behind the rear end of the vehicle body 2 and the left and right ends.
  • a rear position image Imr in the output image Im
  • an occupant such as a driver can, for example, determine the relative position of the object B such as another vehicle located behind the vehicle 1 or the object B It is easy to recognize the size and the like with higher accuracy or more easily.
  • the reference image may include both the rear position image Imr and the vehicle body image Imi.
  • FIGS. 17 to 21 show an example of a change in the output image Im while the vehicle 1 is moving forward.
  • the ECU 11 controls the display unit 10a so that an output image Im as illustrated in each drawing is displayed.
  • FIG. 17 shows an example of an output image Im corresponding to a relatively narrow area behind the vehicle 1.
  • a vehicle body image Imi as a reference image is added to the output image Im together with the outside image Imo.
  • the vehicle body image Imi includes only an image corresponding to the rear portion of the vehicle body 2 and does not include an image corresponding to the side portion of the vehicle body 2.
  • the output image Im is displayed only in a relatively narrow region in the center of the display unit 10a. Note that the output image Im in FIG. 17 is an example, and may be an output image Im in a wider area.
  • FIG. 18 shows an example of the output image Im enlarged to the right side of the output image Im of FIG.
  • the output image Im includes a vehicle exterior image Imo enlarged to the right side of FIG. 17, a vehicle body image Imi as a reference image corresponding to the rear portion of the vehicle body 2, and a caution area image Ima positioned on the right side of the vehicle body image Imi. And are included.
  • the ECU 11 can switch the output image Im of FIG. 17 to the output image Im of FIG. 18 based on an operation input by the direction indicator 22, a detection result of the steering angle by the steering angle sensor 14, or the like.
  • the range determination unit 110b sets the display range Ad of the output image Im enlarged to the right side of FIG. 17, and the attention area image setting unit 110g sets the vehicle body image Imi as a reference image.
  • the attention area image Ima is set on the right side. Thereby, the output image Im with the attention region image Ima added to the right side is displayed on the display unit 10a.
  • FIG. 18 is an example, and it is needless to say that the vehicle body image Imi, the attention area image Ima, and the like as the reference image may have other display modes. Further, when the vehicle 1 is steered to the left side, the output image Im extended to the left side is displayed on the display unit 10a, contrary to FIG.
  • FIG. 19 illustrates an example in which an object B such as another vehicle appears at a position corresponding to the attention area image Ima in FIG. 18, and the image Imb of the object B is included in the attention area image Ima even in the output image Im.
  • the additional image acquisition unit 110h causes the output image Im to follow the outer frame of the image Imb of the object B.
  • the enhanced image Imf1 can be added.
  • the emphasized image Imf1 can be set as a frame line having a predetermined thickness with a color that attracts attention, such as yellow.
  • the emphasized image Imf1 in FIG. 19 is an example.
  • the highlighted image Imf1 may be filled in a state where the inside of the frame is transmitted, or a pattern such as hatching or shading may be added.
  • the attention area image setting unit 110g can set an attention area image Ima different from that in FIG. Specifically, for example, the color of the attention area image Ima may be different from that of the attention area image Ima in FIG. 19, or a gradation or a pattern may be set in the attention area image Ima.
  • the additional image acquisition unit 110h can also add an enhanced image Imf2 as an additional image different from the enhanced image Imf1 of FIG. 19 to the output image Im.
  • the color and line type of the emphasized image Imf2 may be different from those of the emphasized image Imf1 in FIG.
  • the color of the enhanced image Imf2 may be red, or the width of the line of the enhanced image Imf2 may be thicker than that of the enhanced image Imf1.
  • the attention area image setting unit 110g as shown in the example of FIG. 20, when the distance of the object B from the vehicle 1 is within a predetermined distance (threshold) based on the detection result of the object B by the object detection unit 113.
  • the attention area image Ima may be changed.
  • FIG. 21 illustrates an output image Im to which the enhanced image Imf3 is added.
  • the additional image acquisition unit 110h can add the enhanced image Imf3 to the output image Im in the same situation as in FIG.
  • the enhanced image Imf3 is, for example, a band-shaped image having a constant width along the right end portion Ime of the output image Im.
  • the emphasized image Imf3 may blink at a predetermined time interval.
  • the output images Im as shown in FIGS. 20 and 21 indicate that an occupant such as a driver is in a situation where an object B such as another vehicle is located closer to the front of the vehicle 1 and needs more attention. Easy to recognize.
  • the reference image setting unit 110f may set a rear position image Imr instead of the vehicle body image Imi of FIGS. 17 to 21 as a reference image added to the output image Im.
  • the output image Im includes the rear position image Imr together with the attention area image Ima.
  • FIGS. 23 and 24 illustrate various forms of the rear position image Imr as exemplified in FIGS.
  • FIG. 23 illustrates a ladder-like rear position image Imr including a line extending in the vehicle front-rear direction and a line extending in the vehicle width direction.
  • FIG. 24 illustrates a rear position image Imr including a plurality of T-shaped elements in which a line along the vehicle front-rear direction and a line along the vehicle width direction are combined.
  • FIG. 25 exemplifies a rear position image Imr including a plurality of L-shaped elements in which lines along the vehicle width direction and lines along the vehicle vertical direction are combined, and point-shaped elements indicating far away. ing.
  • FIG. 23 illustrates a ladder-like rear position image Imr including a line extending in the vehicle front-rear direction and a line extending in the vehicle width direction.
  • FIG. 24 illustrates a rear position image Imr including a plurality of T-shaped elements in which a line along the vehicle front-re
  • FIG. 26 illustrates a rear position image Imr including a plurality of L-shaped elements that differ depending on the distance.
  • FIG. 27 illustrates a rear position image Imr including a plurality of linear elements and a plurality of dotted elements. Also with such a rear position image Imr, the relative position to the object B such as another vehicle located behind the vehicle 1 can be easily grasped. 23 to 27 are examples of the rear position image Imr, and the rear position image Imr is not limited to these.
  • the range determination unit 110b and the display mode determination unit 110c can determine the range and display mode of the vehicle outside image Imo, the vehicle body image Imi, the additional image, and the output image Im based on the operation input of the driver or the like. it can. In this case, for example, an occupant such as a driver can visually recognize the output image Im displayed in the favorite range or display mode on the display unit 10a.
  • the operation input is performed by an operation input unit 10b, 10c, 24b or a steering operation by an occupant such as a driver.
  • the operation input based on the steering operation is obtained from the detection result of the steering angle sensor 14.
  • the output image Im (display image) when the vehicle 1 is moving forward includes the rear position image Imr (reference image) corresponding to the position separated from the rear of the vehicle 1. Can be. Therefore, according to the present embodiment, for example, the relative positional relationship with the object B such as another vehicle located behind the vehicle 1 is easily grasped by the rear position image Imr.
  • the rear position image Imr includes a plurality of elements having different distances from the vehicle 1. Therefore, for example, the position of the object B such as another vehicle from the vehicle 1 is more easily grasped by the plurality of elements.
  • the output image Im when the vehicle 1 is moving forward may include at least one of the rear position image Imr and the vehicle body image Imi showing the rear part of the vehicle body 2. Therefore, for example, the relative positional relationship with the object B such as another vehicle located behind the vehicle 1 can be more easily grasped. Further, for example, a passenger such as a driver can select the rear position image Imr and the vehicle body image Imi according to the preference, or can select an easy-to-see image according to the situation.
  • the output image Im when the vehicle 1 is moving forward may include a caution area image Ima indicating a caution area corresponding to the diagonally rear of the vehicle 1. Therefore, it is easy to grasp that an object B such as another vehicle is present obliquely behind the vehicle 1.
  • the attention area image Ima is displayed when an object B such as another vehicle is detected at a position corresponding to the attention area image Ima. Therefore, for example, when the object B does not exist and the necessity of the attention area image Ima is low, the attention area image Ima is not displayed. Therefore, for example, power consumption is easily suppressed. In addition, for example, the presence / absence of the object B in the attention area may be more easily grasped by switching whether or not the attention area image Ima is displayed.
  • the attention area image Ima changes according to the position of the object B. Therefore, for example, the presence of the object B in the attention area may be more easily grasped than when the attention area image Ima does not change.
  • the output image may be displayed on a plurality of display devices, or may be displayed on a display device other than the position of the room mirror.
  • the display device may be a device that displays an image on a front window, a screen in the vehicle, or the like, or may be a display panel provided on a dashboard or a center console in the vehicle.
  • the display panel may be provided in a cockpit module, an instrument panel, a fascia, or the like.
  • SYMBOLS 1 ... Vehicle, 2 ... Vehicle body, 10a ... Display part (display apparatus), 11 ... ECU (image display control apparatus), 11e ... Display control part, 12, 12R ... Imaging part, 100 ... Image display system, 110 ... Image generation 110f ... reference image setting unit 110g ... attention area image setting unit 113 ... object detection unit Im ... output image (display image), Imo ... image outside the vehicle, Imr ... rear position image (reference image), Imi ... vehicle body Image (reference image), Ima ... attention area image.

Abstract

　実施形態の画像表示制御装置は、少なくとも車両の後方が撮像された撮像画像の少なくとも一部に基づく車外画像の鏡像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車両の後方に離間した位置に対応した参照画像を、車両の前進中に表示画像に含める画像、として設定しうる、参照画像設定部と、表示画像が表示されるよう表示装置を制御する表示制御部と、を備える。

Description

画像表示制御装置および画像表示システム
　本発明の実施形態は、画像表示制御装置および画像表示システムに関する。
　従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。
特開２００３－１９６６４５号公報
　この種の装置では、例えば、他の車両等の物体をより認識しやすい画像表示制御装置および画像表示システムが得られれば、有意義である。
　実施形態の画像表示制御装置は、例えば、少なくとも車両の後方が撮像された撮像画像の少なくとも一部に基づく車外画像の鏡像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車両の後方に離間した位置に対応した参照画像を、車両の前進中に上記表示画像に含める画像、として設定しうる、参照画像設定部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備える。よって、本実施形態によれば、例えば、参照画像によって、車両の後方に位置する他の車両等の物体との相対的な位置関係が把握されやすい。
　また、上記画像表示制御装置では、例えば、上記参照画像設定部は、車両の後方に離間した位置に対応した参照画像、および車体の後部を示す参照画像のうち少なくとも一方を、車両が前進中に上記表示画像に含める画像、として設定しうる。よって、例えば、参照画像によって、車両の後方に位置する他の車両等の物体との相対的な位置関係がより一層把握されやすい。
　また、上記画像表示制御装置は、例えば、上記表示画像中で上記参照画像の左右の少なくともいずれか一方に位置されて車両の斜め後方に対応した注意領域を示す注意領域画像を、上記表示画像に含める画像として設定しうる、注意領域画像設定部を備える。よって、例えば、注意領域画像によって、車両の斜め後方に他の車両等の物体が存在することが把握されやすい。
　また、上記画像表示制御装置は、例えば、物体を検出する物体検出部を備え、上記注意領域画像設定部は、上記物体検出部によって上記注意領域に対応する位置に物体が検出された場合に、上記注意領域画像を設定する。よって、例えば、物体が存在せず注意領域画像の必要性が低い場合には、当該注意領域画像が表示されない。
　また、上記画像表示制御装置では、例えば、上記注意領域画像設定部は、検出された物体の位置に応じて異なる上記注意領域画像を設定する。よって、例えば、注意領域画像が変化するため、車両の斜め後方に他の車両等の物体が存在することがより一層把握されやすい。
　また、実施形態の画像表示システムは、例えば、少なくとも車両の後方を撮像する撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、上記表示装置に表示される表示画像、を生成する画像生成部と、車体の後方に離間した位置を示す参照画像を、車両が前進中に上記表示画像に含める画像、として設定しうる、参照画像設定部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を有する。よって、本実施形態によれば、例えば、参照画像によって、車両の後方に位置する他の車両等の物体との相対的な位置関係が把握されやすい。
図１は、実施形態の画像表示システムの例示的な概略構成図である。 図２は、実施形態の画像表示システムによる表示画像の一例が示された図である。 図３は、実施形態の画像表示システムによる表示画像の別の一例が示された図である。 図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。 図５は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。 図６は、実施形態の画像表示システムによる表示画像に含まれる車外画像の一例が示された図である。 図７は、実施形態の画像表示システムで追加される車体画像の一例が示された図である。 図８は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図９は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図１０は、実施形態の画像表示システムにおける車外画像中の表示範囲の一例が示された図である。 図１１は、実施形態の画像表示システムに含まれるＥＣＵの例示的なブロック図である。 図１２は、実施形態の画像表示システムの処理手順の例示的なフローチャートである。 図１３は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図１４は、実施形態の画像表示システムによる出力画像の別の一例が示された図である。 図１５は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１６は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１７は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１８は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１９は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２０は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２１は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２２は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２３は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２４は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２５は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２６は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２７は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。
　以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
　また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
　車両１に装備される画像表示システム１００は、図１に示されるように、表示装置としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic　control　unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用の不図示のルームミラーに替えて設けられる。表示部１０ａには、撮像部１２で撮像された画像に基づいて、図２に例示されるような、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。運転者等の乗員は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。なお、ルームミラーはバックミラーとも称されうる。
　ルームミラーが設けられている車両１の場合、筐体１０の表示部１０ａは、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部１２で撮像された画像とは左右逆の画像、すなわち鏡像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electro-luminescent　display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａの筐体１０内に収容されてもよいし、表示部１０ａとは別の場所に設けられた筐体１０内に収容されてもよい。なお、表示部１０ａの表面側すなわち後側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、ハーフミラーのうち、表示部１０ａが部分的に画像を表示していない領域、例えばブラックアウトされた領域、を覆う部分は、ルームミラーとして用いられうる。また、筐体１０には、室内画像を撮像する図８，９に示されるような撮像部１２Ｉが設けられてもよい。
　図２，３に例示されるように、表示部１０ａで表示される画像としての出力画像Ｉｍには、実線で示される車外画像Ｉｍｏと破線で示される車体画像Ｉｍｉとが含まれている。車外画像Ｉｍｏは、一つまたは複数の撮像部１２によって撮像された画像から生成されうる。出力画像Ｉｍは、表示画像とも称されうる。車外画像Ｉｍｏ、すなわち撮像部１２によって撮像された画像は、撮像画像とも称されうる。また、車体画像Ｉｍｉは、追加画像とも称されうる。なお、図２等では、図面中で車外画像Ｉｍｏと区別するため、便宜上、車外画像Ｉｍｏが実線で示され、車体画像Ｉｍｉが破線で示されている。実際の車外画像Ｉｍｏは、実線には限定されないし、車体画像Ｉｍｉは、破線には限定されない。車体画像Ｉｍｉは、参照画像の一例であり、追加画像の一例でもある。
　撮像部１２は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。
　図４，５の例では、車体２には、車外を撮像する撮像部１２としては、車体２の後部に設けられた撮像部１２Ｒのみが設けられている。撮像部１２Ｒは、車両１の後方かつ側方すなわち車室外の後方かつ側方を撮像する。撮像部１２Ｒは、例えば、広角レンズまたは魚眼レンズである。また、この場合、撮像部１２Ｒによる撮像範囲は、図５に破線で示されているように、少なくとも、車体２の後端部２ｂが映る方向から車両１の後方の水平方向Ｌｒｈよりも上方までの範囲が含まれるよう、設定される。これにより、撮像部１２Ｒによる撮像画像から、走行中における車両後方の画像、および駐車時における車両後方の路面近傍の画像の、双方を得ることができる。なお、図４，５に例示される撮像範囲は一例であって、撮像部１２Ｒによる撮像範囲は、図４，５の例には限定されない。図６には、撮像部１２による撮像画像から得られた車外画像Ｉｍｏの一例が示されている。また、ここでの水平方向Ｌｒｈとは、車両１を基準とする水平方向であって、車両１が水平面上に位置された場合に水平となる方向である。
　また、図２，３，７の例では、車体画像Ｉｍｉには、車体２の構造を示す立体的なフレーム状に描かれた表示要素としての輪郭線Ｌｏまたは縁が含まれている。輪郭線Ｌｏによって示される車体構成要素は、例えば、車体２の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Ｉｍｉは、乗員が車体２の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Ｉｍｉは、模式化されたものであってもよい。輪郭線Ｌｏの間の領域は、車外画像Ｉｍｏが透過される状態で着色されてもよい。
　また、図２，３，７の例では、車体画像Ｉｍｉは、線画（線図）である。線画に含まれる表示要素としての線は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅、太さ、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面または画像の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画の表示態様は、例えば、走行状態や操作状態等の車両状態に応じて、設定されうるし、変更されうる。
　図２，３に例示されるように、表示部１０ａに車外画像Ｉｍｏとともに車体画像Ｉｍｉを含む出力画像Ｉｍが表示されることで、乗員は、車両１と車外の物体Ｂとの相対的な位置や、車両１と物体Ｂとの距離、物体Ｂの方向、物体Ｂの大きさ等を認識しやすい。また、車体画像Ｉｍｉには、図２，３，７に示されるように、車体２の車幅方向の端部を示す部分Ｐｗ、車体２の後端部を示す部分Ｐｒ、ならびに車体２の下部を示す部分Ｐｂが、含まれうる。さらに、車体画像Ｉｍｉには、車体２の下部の車幅方向の端部を示す部分Ｐｂｗや、車体２の下部の車両前後方向の後端部を示す部分Ｐｂｒ、車体２の側部の車両前後方向の後端部を示す部分Ｐｓｒ等が、含まれうる。また、車体画像Ｉｍｉは、車体２の少なくとも下部が平面的すなわち二次元的に認識できるよう作成されている。よって、乗員は、例えば、車体２の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂの大きさや、高さ、物体Ｂの水平方向の位置関係等を認識しやすい。
　車体画像Ｉｍｉは、不揮発性の記憶部に予め記憶されている。記憶部には、複数の車種毎の車体画像Ｉｍｉが記憶されうる。この場合、合成画像には、例えば車両１の車種や使用者の嗜好等に応じて選択された車体画像Ｉｍｉが用いられうる。なお、記憶部は、例えば、図１に示されるＳＳＤ１１ｄ等であってもよい。また、ＥＣＵ１１は、キャリブレーション等の設定作業における操作入力部１０ｂでの入力指示や操作等に基づいて、車体画像Ｉｍｉを変形することができる。具体的には、例えば、車体画像Ｉｍｉは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Ｉｍｉが記憶部に記憶され、合成画像には、当該変更された車体画像Ｉｍｉが用いられる。なお、車体画像Ｉｍｉとして、図８に例示されるような撮像部１２Ｉが撮像した室内画像や、当該室内画像が変更された画像等が用いられてもよい。
　ＥＣＵ１１は、車体画像Ｉｍｉの透過度αすなわち車外画像Ｉｍｏとの合成比率を設定したり変更したりすることができる。比較的簡単な例では、車外画像Ｉｍｏと車体画像Ｉｍｉとが互いに位置合わせされた状態での各点について、車体画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像の輝度ｘは、ｘ＝（１－α）×ｘ１＋α×ｘ２であることができる。なお、透過度αは、任意の値に設定することができる。
　一方、図８，９の例では、車体２には、撮像部１２として、車両１の側方すなわち車室外の側方を撮像する撮像部１２Ｓと、車両１の後方すなわち車室外の後方を撮像する撮像部１２Ｒとが、設けられている。また、撮像部１２Ｓ，１２Ｒは、それぞれ、車両１の後方および側方の双方が含まれる画像を撮像してもよい。撮像部１２Ｓは、車体２の左右それぞれに設けられるとともに、撮像部１２Ｒは、車体２の後端部２ｂに設けられている。例えば、撮像部１２Ｓはドアミラーに設けられ、撮像部１２Ｒはリヤハッチに設けられうる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部２ｂの左端および右端にそれぞれ設けられてもよい。また、車室内および車室外のうち少なくとも一方を撮像する撮像部１２は、車室内に設けられてもよい。また、複数の撮像部１２が設けられる場合、複数の撮像部１２のそれぞれの撮像範囲は、上下に異なってもよい。また、撮像部１２は、それぞれ、広角レンズまたは魚眼レンズであってもよい。
　図８，９に例示されるように、車体２に複数の撮像部１２が設けられる場合、ＥＣＵ１１は、複数の撮像部１２で取得された画像を公知の技術で合成して、図１０に例示されるような一連の車外画像Ｉｍｏを得ることができる。車外画像Ｉｍｏは、パノラマ画像であってもよい。この場合、比較的広い範囲の各位置での車外画像Ｉｍｏを、表示部１０ａで表示することができるよう、複数の撮像部１２によって、車両１の後方かつ側方の比較的広い範囲が撮像される。そして、図１０に示されるように、広い範囲の中の一部が、出力画像Ｉｍとしての合成画像に用いられる、すなわち表示される。
　また、ＥＣＵ１１は、車両１の状況に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを変更することができる。ＥＣＵ１１は、表示範囲Ａｄを変更するトリガとなる信号あるいはデータとして、各種のセンサの検出結果や、指示信号等を用いることができる。検出結果は、例えば、図１に示される非接触計測装置１３や、前輪用の舵角センサ１４、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global　positioning　system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１等の検出結果である。指示信号は、例えば、方向指示器２２や、操作入力部２４ｂ等から取得した指示信号である。なお、指示信号は、例えば、制御信号や、切替信号、操作信号、入力信号、指示データ等とも称されうる。
　また、ＥＣＵ１１は、図１１に示される進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄや、車体画像Ｉｍｉの透過度α、色（色相）、輝度、彩度等を、設定したり変更したりすることができる。また、車体画像Ｉｍｉが線画の場合、ＥＣＵ１１は、車体画像Ｉｍｉの輪郭線Ｌｏの太さや陰影の有無等を設定したり変更したりしてもよい。
　図１に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。
　非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された図２に示されるような障害物としての物体Ｂの有無や物体Ｂまでの距離を測定することができる。すなわち、非接触計測装置１３は、測距部、物体検出部の一例である。
　舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪３Ｒの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。
　車輪速センサ１７は、車輪３（３Ｆ，３Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。
　ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪３に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。
　アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
　また、表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。乗員等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。なお、操作入力部１０ｂとは別に、筐体１０には、操作入力部１０ｃが設けられてもよい。この場合、操作入力部１０ｃは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。
　また、車内には、表示部１０ａとは別の表示部２４ａや、音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。乗員等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、これら表示部２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。
　ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central　processing　unit）や、ＲＯＭ１１ｂ（read　only　memory）、ＲＡＭ１１ｃ（random　access　memory）、ＳＳＤ１１ｄ（solid　state　drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示部１０ａ，２４ａで表示される画像データの画像処理等を実行することができる。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
　また、本実施形態では、例えば、表示部１０ａには、ＥＣＵ１１の画像処理によって、ルームミラーの鏡像に対応した出力画像Ｉｍが表示される。この場合、車外画像Ｉｍｏからルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。なお、関数は、変換式や、変換行列等であってもよい。また、出力画像Ｉｍは、例えば、ルームミラーの写像に似た画像や、位置合わせされた画像、適合した画像等である。また、車体画像Ｉｍｉの合成位置や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。
　また、本実施形態では、例えば、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能する。すなわち、本実施形態では、例えば、図１１に示されるように、ＥＣＵ１１は、図１にも示されている表示制御部１１ｅや音声制御部１１ｆの他、画像生成部１１０や、進行方向取得部１１１、車両位置取得部１１２、物体検出部１１３、撮像画像取得部１１０ａ、範囲決定部１１０ｂ、表示態様決定部１１０ｃ、鏡像作成部１１０ｄ、画像補正部１１０ｅ、参照画像設定部１１０ｆ、注意領域画像設定部１１０ｇ、追加画像取得部１１０ｈ、画像合成部１１０ｉ等として機能する。画像生成部１１０は、例えばＣＰＵ１１ａであり、記憶部１１ｇは、例えばＳＳＤ１１ｄである。記憶部１１ｇは、例えば、演算で用いられるデータや、演算結果等を記憶する。なお、画像生成部１１０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。図１１の各部は、プログラムのモジュールに対応してもよいし、ハードウエアとして構成されてもよい。なお、図１，１１に示されるＥＣＵ１１の構成は、一例である。
　進行方向取得部１１１は、シフトセンサ２１による検出結果や、車輪速センサ１７による検出結果、不図示の加速度センサによる検出結果、不図示の他のＥＣＵからのデータ等に基づいて、車両１の進行方向を取得することができる。進行方向取得部１１１は、車両１が前進中であるか後退中であるかを取得する。
　車両位置取得部１１２は、例えば、車輪速センサ１７によって検出された車輪速や、舵角センサ１４，１５ａによって検出された舵角、ＧＰＳ１６からのデータ、非接触計測装置１３の検出結果、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果、他の不図示のＥＣＵからのデータ等に基づいて、車両１の位置を取得することができる。車両１の位置は、例えば、駐車支援システムにおける現在位置や目標位置との相対的な位置であってもよい。
　物体検出部１１３は、例えば、画像生成部１１０で作成された車外画像Ｉｍｏを画像処理することにより、車外の物体Ｂを検出することができる。物体Ｂは、例えば、車両や、物、人等である。物体Ｂの検出に際しては、例えば、パターンマッチング等が用いられうる。また、物体検出部１１３は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１３は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得してもよい。
　撮像画像取得部１１０ａは、少なくとも一つの撮像部１２で撮像された車外画像Ｉｍｏを取得する。複数の撮像部１２が設けられている場合、撮像画像取得部１１０ａは、複数の撮像部１２で撮像された複数（例えば三つ）の撮像画像を、それらの境界部分を合成することで繋ぎ、一連の車外画像Ｉｍｏを作成することができる。
　範囲決定部１１０ｂは、車外画像Ｉｍｏのうち出力画像Ｉｍに用いる表示範囲Ａｄを決定する。範囲決定部１１０ｂは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを設定することができる。また、範囲決定部１１０ｂは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、表示範囲Ａｄを決定してもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。
　表示態様決定部１１０ｃは、表示部１０ａ，２４ａにおける出力画像Ｉｍの表示態様を決定する。表示態様決定部１１０ｃは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりすることができる。また、表示態様決定部１１０ｃは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。また、表示態様決定部１１０ｃは、例えば、車体画像Ｉｍｉの透過率αや、色、輝度、彩度等を設定したり変更したりすることができる。また、合成画像に室内画像が含まれる場合、表示態様決定部１１０ｃは、室内画像の透過度等を設定したり変更したりすることができる。
　鏡像作成部１１０ｄは、撮像画像、車外画像Ｉｍｏ、あるいは出力画像Ｉｍの鏡像を作成することができる。出力画像Ｉｍに撮像画像の鏡像となる車外画像Ｉｍｏが含まれていればよく、鏡像作成部１１０ｄは、どの段階で鏡像を作成してもよい。
　画像補正部１１０ｅは、撮像部１２で撮像された撮像画像を補正する。画像補正部１１０ｅは、例えば、撮像部１２で撮像された撮像画像の歪みを補正することができる。撮像部１２が、広角レンズあるいは魚眼レンズである場合、画像の中心から離れるほど画像の歪みが大きい。そこで、画像補正部１１０ｅは、矩形の画角で表示された場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、撮像画像を補正する。また、画像補正部１１０ｅは、撮像部１２で撮像された撮像画像の視点を変換する処理を実行することができる。画像補正部１１０ｅは、例えば、撮像部１２の撮像点と、ルームミラーでの写像の視点との差が大きい場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、より前方からの視点、例えばルームミラーの写像の視点での画像に近付くように、撮像画像を補正する。座標変換は、例えば、マップや関数等によって与えられる。なお、画像補正部１１０ｅによる車外画像Ｉｍｏの補正は、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。また、画像補正部１１０ｅは、歪み補正や視点変換処理以外の補正をも実行しうる。
　参照画像設定部１１０ｆは、出力画像Ｉｍに含まれる参照画像を設定する。参照画像は、車両１の後方の位置の目安となる画像であって、例えば、車両１の後方に離間した位置に対応した画像や、車体２の後部の形状を模した画像等である。参照画像設定部１１０ｆは、運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力によって、予め記憶されている複数の参照画像の候補の中から、出力画像Ｉｍに含める参照画像を選択し、設定することができる。また、参照画像設定部１１０ｆは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、参照画像を設定したり変更したりすることができる。また、参照画像設定部１１０ｆは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、参照画像を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。各パラメータに対応して設定あるいは変更される参照画像を示すデータは、記憶部１１ｇに記憶されうる。
　注意領域画像設定部１１０ｇは、出力画像Ｉｍに含まれる注意領域画像を設定する。注意領域画像は、参照画像の左右少なくともいずれか一方に位置され、車両１の斜め後方に対応した注意領域を示す画像である。注意領域画像は、例えば、車外画像Ｉｍｏを透過する透過画像として設定される。注意領域画像設定部１１０ｇは、運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力によって、予め記憶されている複数の注意領域画像の候補の中から、出力画像Ｉｍに含める注意領域画像を選択し、設定することができる。また、注意領域画像設定部１１０ｇは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、注意領域画像を設定したり変更したりすることができる。また、注意領域画像設定部１１０ｇは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、注意領域画像を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。各パラメータに対応して設定あるいは変更される注意領域画像を示すデータは、記憶部１１ｇに記憶されうる。
　追加画像取得部１１０ｈは、車外画像Ｉｍｏとは別に出力画像Ｉｍに含まれる画像を取得する。本実施形態では、出力画像Ｉｍに含まれる画像のうち、車外画像Ｉｍｏでは無い画像が、追加画像と称される。追加画像は、例えば、車体画像Ｉｍｉや、参照画像、注意領域画像、路面の枠線の画像、物体の画像、進行方向を示す画像、目標位置を示す画像、過去の軌跡を示す画像、物体検出部１１３によって検出された物体の強調表示、文字画像等の、種々の画像である。また、追加画像取得部１１０ｈは、例えば、進行方向取得部１１１で取得された進行方向や、車両位置取得部１１２で取得された車両１の位置、物体検出部１１３で検出された物体、範囲決定部１１０ｂで決定された表示範囲Ａｄ、表示態様決定部１１０ｃで決定された表示態様等に対応する追加画像を、取得することができる。また、追加画像取得部１１０ｈは、追加画像として、車室内を撮像する撮像部１２Ｉ（図８，９等参照）に基づく室内画像を取得してもよい。なお、複数の追加画像は、例えば、記憶部１１ｇに記憶されうる。また、各パラメータの値に応じて追加画像を特定するデータは、例えば、記憶部１１ｇに記憶されうる。
　画像合成部１１０ｉは、車外画像Ｉｍｏと追加画像とを合成し、出力画像Ｉｍを生成する。追加画像として室内画像が含まれる場合、画像合成部１１０ｉでは、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。
　本実施形態にかかる画像表示システム１００は、例えば、図１２に示されるような手順で処理を実行することができる。まず、撮像画像取得部１１０ａは、撮像部１２が撮像した画像を取得する（Ｓ１）。次に、鏡像作成部１１０ｄは、撮像部１２が撮像した画像の鏡像を作成する（Ｓ２）。次に、物体検出部１１３は、物体を検出する（Ｓ３）。次に、画像補正部１１０ｅは、表示態様決定部１１０ｃで設定された表示態様を取得し（Ｓ４）、取得した表示態様に応じて、車外画像Ｉｍｏを補正する（Ｓ５）。参照画像設定部１１０ｆは、参照画像を設定し（Ｓ６）、注意領域画像設定部１１０ｇは、注意領域画像を設定する（Ｓ７）。次に、追加画像取得部１１０ｈは、追加画像を取得し（Ｓ８）、画像合成部１１０ｉは、追加画像取得部１１０ｈで取得された追加画像と車外画像Ｉｍｏとを合成して、出力画像Ｉｍを得る（Ｓ９）。次に、表示制御部１１ｅは、出力画像Ｉｍが表示されるよう、表示部１０ａを制御する（Ｓ１０）。
　図１３～１６には、出力画像Ｉｍの例が示されている。参照画像設定部１１０ｆは、図１３～１６に示されるように、出力画像Ｉｍに含まれる種々の参照画像を設定することができる。参照画像は、追加画像の一例である。図１３の例では、参照画像として、車体２の後部、側部、および底部に対応し、当該各部を模した車体画像Ｉｍｉが含まれている。これに対し、図１４の例では、参照画像として、車体２の後部のみに対応した車体画像Ｉｍｉが含まれている。参照画像設定部１１０ｆは、運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力に応じて、予め記憶されている複数の参照画像の候補の中から、出力画像Ｉｍに含める参照画像を選択し、設定することができる。よって、出力画像Ｉｍには、運転者等の乗員の嗜好に応じた参照画像が含まれうる。また、天気等の状況に応じてより見やすい参照画像が設定されうる。図１３の例では、車両１の後方および側方の双方で、他の車両等の物体Ｂの画像Ｉｍｂとの位置関係が把握されやすい。一方、図１４の例では、車両１の斜め側方や側方では、車体画像Ｉｍｉが無い分、物体Ｂの画像Ｉｍｂをより視認しやすい。
　図１５の例では、出力画像Ｉｍに、図１４に例示される参照画像としての車体画像Ｉｍｉに加えて、注意領域画像Ｉｍａが追加されている。注意領域画像Ｉｍａは、出力画像Ｉｍ中、参照画像に対する左右両側のうち少なくともいずれか一方に、含まれる。図１５の例では、出力画像Ｉｍには、参照画像としての車体画像Ｉｍｉの左右両側に注意領域画像Ｉｍａが含まれている。出力画像Ｉｍの中央の領域は、車両１の後方に対応した領域であり、出力画像Ｉｍの左右両側の領域は、車両１の斜め後方に対応した領域である。また、物体Ｂの画像Ｉｍｂが出力画像Ｉｍの左右両端部の近くに位置するほど、当該物体Ｂは車両１の前部により近い位置にある。そこで、本実施形態では、車両１の斜め後方の注意領域に対応した注意領域画像Ｉｍａを出力画像Ｉｍに含めることで、運転者は、車両１の前部により近い位置にある物体Ｂに、より注意を払うことができる場合がある。注意領域画像Ｉｍａは、例えば、物体Ｂの画像Ｉｍｂの視認に支障を来さない程度に薄く色づけられた透過画像、すなわち車外画像Ｉｍや、物体Ｂの画像Ｉｍｂ等が透けて見える画像として、設定されうる。注意領域画像Ｉｍａの色は、一般的に注意を惹きやすい黄色や、ピンク色、オレンジ色、赤色等に設定されうる。また、図１５の例では、注意領域画像Ｉｍａは、該当する領域全体に施されているが、これには限定されず、例えば枠として表示されてもよいし、斜線等のパターンや、ドットパターン等で示されてもよい。また、注意領域画像Ｉｍａは、車両１の斜め後方に対応する領域の一部、例えば、出力画像Ｉｍ中の下側の一部などに、表示されてもよい。なお、注意領域は、車両１の斜め側方から車両１の側方にかけての領域であってもよい。
　図１６の例では、出力画像Ｉｍに、図１３～１５とは異なる参照画像として、車両１の後方の位置に対応した後方位置画像Ｉｍｒが追加されている。後方位置画像Ｉｍｒは、車体２のフロアの後端部からの距離の目安となる画像であり、図１６には、後方位置画像Ｉｍｒは、六つの要素としての点Ｐ１～Ｐ３として描画されている。これら後方位置画像Ｉｍｒのうち、最も下側に位置された二つの点Ｐ１は、例えば、車体２の後端部かつ左右両側の側端部に対応し、当該点Ｐ１よりも上側に位置された二つの点Ｐ２は、例えば、車体２の後端部かつ左右両側の端部よりも所定距離（例えば２ｍ）後方の位置に対応し、当該点Ｐ２よりも上側に位置された二つの点Ｐ３は、例えば、車体２の後端部かつ左右両側の端部よりも所定距離（例えば４ｍ）後方の位置に対応して配置されている。このような後方位置画像Ｉｍｒが、出力画像Ｉｍに含まれることにより、運転者等の乗員は、例えば、車両１の後方に位置する他の車両等の物体Ｂの相対的な位置や、物体Ｂの大きさ等をより精度良くあるいはより容易に認識しやすい。なお、図示されないが、参照画像には、後方位置画像Ｉｍｒと車体画像Ｉｍｉとの双方が含まれてもよい。
　図１７～図２１には、車両１の前進中の出力画像Ｉｍの変化の一例が示されている。ＥＣＵ１１は、各図に例示されるような出力画像Ｉｍが表示されるよう、表示部１０ａを制御する。
　図１７には、車両１の後方の比較的狭い領域に対応した出力画像Ｉｍの例が、示されている。出力画像Ｉｍには、車外画像Ｉｍｏとともに、参照画像としての車体画像Ｉｍｉが追加されている。車体画像Ｉｍｉには、車体２の後部に対応する画像のみが含まれ、車体２の側部に対応する画像は含まれていない。図１７の例では、表示部１０ａのうち中央部の比較的狭い幅の領域のみに、出力画像Ｉｍが表示されている。なお、図１７の出力画像Ｉｍは一例であって、より幅の広い領域の出力画像Ｉｍであってもよい。
　図１８には、図１７の出力画像Ｉｍよりも右側に拡大された出力画像Ｉｍの例が、示されている。出力画像Ｉｍには、図１７よりも右側に拡大された車外画像Ｉｍｏとともに、車体２の後部に対応した参照画像としての車体画像Ｉｍｉと、当該車体画像Ｉｍｉの右側に位置された注意領域画像Ｉｍａとが含まれている。ＥＣＵ１１は、方向指示器２２による操作入力や、舵角センサ１４による舵角の検出結果等に基づいて、図１７の出力画像Ｉｍを図１８の出力画像Ｉｍに切り替えることができる。具体的には、例えば、方向指示器２２で右側への移動を指示する操作入力が行われた場合、あるいは舵角センサ１４によって右方向への操舵を示す所定角度（閾値）以上の舵角が検出された場合等に、範囲決定部１１０ｂは、図１７よりも右側に拡大された出力画像Ｉｍの表示範囲Ａｄを設定するとともに、注意領域画像設定部１１０ｇは、参照画像としての車体画像Ｉｍｉの右側に、注意領域画像Ｉｍａを設定する。これにより、表示部１０ａには、右側に注意領域画像Ｉｍａが追加された出力画像Ｉｍが表示される。よって、例えば、運転者等の乗員は、車線変更等の転舵の際の旋回方向の領域を、注意すべき領域として認識しやすい。なお、図１８の例は一例であって、参照画像としての車体画像Ｉｍｉや注意領域画像Ｉｍａ等が他の表示態様でも良いことは勿論である。また、車両１が左側に転舵する際、表示部１０ａには、図１８とは逆に当該左側に拡張された出力画像Ｉｍが表示される。
　図１９には、図１８の注意領域画像Ｉｍａと対応する位置に他の車両等の物体Ｂが現れ、出力画像Ｉｍ中でも注意領域画像Ｉｍａ中に当該物体Ｂの画像Ｉｍｂが含まれた場合が例示されている。物体検出部１１３によって、物体Ｂが出力画像Ｉｍ中で注意領域画像Ｉｍａと重なる位置に検出された場合、追加画像取得部１１０ｈは、出力画像Ｉｍに、当該物体Ｂの画像Ｉｍｂの外枠に沿った強調画像Ｉｍｆ１を追加することができる。強調画像Ｉｍｆ１は、例えば、黄色等の注意を惹きやすい色が付けられた所定の太さの枠線として設定されうる。なお、図１９の強調画像Ｉｍｆ１は、一例であって、例えば、枠内が透過する状態で塗り潰されるなどしてもよいし、ハッチングや網掛け等のパターンが追加されてもよい。
　図２０には、図１９の状態から他の車両等の物体Ｂが車両１に対して相対的に前進した状態での出力画像Ｉｍが、例示されている。図２０の状態で、物体Ｂは、当該物体Ｂの画像Ｉｍｂが出力画像Ｉｍの右側の端部Ｉｍｅと重なる位置に到達している。物体検出部１１３は、画像処理結果等により、画像Ｉｍｂが出力画像Ｉｍの端部Ｉｍｅと接するかあるいは重なる状態であることを検出することができる。この場合、注意領域画像設定部１１０ｇは、図１９とは異なる注意領域画像Ｉｍａを設定することができる。具体的には、例えば、注意領域画像Ｉｍａの色は、図１９の注意領域画像Ｉｍａとは異なる色であったり、注意領域画像Ｉｍａにグラデーションやパターンが設定されたりしてもよい。また、追加画像取得部１１０ｈも、出力画像Ｉｍに、図１９の強調画像Ｉｍｆ１とは異なる追加画像としての強調画像Ｉｍｆ２を追加することができる。具体的には、例えば、強調画像Ｉｍｆ２の色や線種は、図１９の強調画像Ｉｍｆ１とは異なる色や線種であってもよい。例えば、強調画像Ｉｍｆ２の色は赤色であったり、強調画像Ｉｍｆ２の線の幅は強調画像Ｉｍｆ１より太かったりしてもよい。なお、注意領域画像設定部１１０ｇは、物体検出部１１３による物体Ｂの検出結果によって、物体Ｂの車両１からの距離が所定距離（閾値）以内となった場合に、図２０の例のように注意領域画像Ｉｍａを変更してもよい。
　さらに、図２１には、強調画像Ｉｍｆ３が追加された出力画像Ｉｍが、例示されている。追加画像取得部１１０ｈは、図２０と同じ状況で、出力画像Ｉｍに、さらに強調画像Ｉｍｆ３を追加することができる。強調画像Ｉｍｆ３は、例えば、出力画像Ｉｍの右側の端部Ｉｍｅに沿った一定幅の帯状の画像である。強調画像Ｉｍｆ３は、所定の時間間隔で点滅してもよい。図２０，２１のような出力画像Ｉｍにより、運転者等の乗員は、他の車両等の物体Ｂが、車両１の前部のより近くに位置し、より注意が必要な状況であることを認識しやすい。
　また、参照画像設定部１１０ｆは、図２２に示されるように、出力画像Ｉｍに追加される参照画像として、図１７～２１の車体画像Ｉｍｉに替えて後方位置画像Ｉｍｒを設定してもよい。この場合、出力画像Ｉｍには、注意領域画像Ｉｍａとともに、後方位置画像Ｉｍｒが含まれる。
　また、参照画像設定部１１０ｆは、図２３～２７に例示されるような、種々の形態の後方位置画像Ｉｍｒを設定することができる。図２３には、車両前後方向に延びた線と車幅方向に延びた線とを含む梯子状の後方位置画像Ｉｍｒが例示されている。図２４には、車両前後方向に沿った線と車幅方向に沿った線とが結合された複数のＴ字状の要素を含む後方位置画像Ｉｍｒが例示されている。図２５には、車幅方向に沿った線と車両上下方向に沿った線とが結合された複数のＬ字状の要素と遠方を示す点状の要素とを含む後方位置画像Ｉｍｒが例示されている。図２６には、距離により異なる複数のＬ字状の要素を含む後方位置画像Ｉｍｒが例示されている。図２７には、線状の複数の要素と点状の複数の要素とを含む後方位置画像Ｉｍｒが例示されている。このような後方位置画像Ｉｍｒによっても、車両１の後方に位置する他の車両等の物体Ｂとの相対的な位置が把握されやすい。なお、図２３～２７は、後方位置画像Ｉｍｒの一例であって、後方位置画像Ｉｍｒは、これらには限定されない。
　また、範囲決定部１１０ｂや、表示態様決定部１１０ｃは、運転者等の乗員の操作入力によって、車外画像Ｉｍｏや、車体画像Ｉｍｉ、追加画像、出力画像Ｉｍの範囲や表示態様を決定することができる。この場合、例えば、運転者等の乗員は、表示部１０ａで好みの範囲や表示態様で表示された出力画像Ｉｍを視認することができる。操作入力は、運転者等の乗員による、操作入力部１０ｂ，１０ｃ，２４ｂや、ステアリングの操作によって行われる。ステアリングの操作に基づく操作入力は、舵角センサ１４の検出結果から得られる。
　以上、説明したように、本実施形態では、例えば、車両１が前進中の出力画像Ｉｍ（表示画像）に、車両１の後方に離間した位置に対応した後方位置画像Ｉｍｒ（参照画像）が含まれうる。よって、本実施形態によれば、例えば、後方位置画像Ｉｍｒによって、車両１の後方に位置する他の車両等の物体Ｂとの相対的な位置関係が把握されやすい。
　また、本実施形態では、例えば、後方位置画像Ｉｍｒには、車両１からの距離が異なる複数の要素が含まれている。よって、例えば、当該複数の要素によって、他の車両等の物体Ｂの車両１からの位置がより把握されやすい。
　また、本実施形態では、例えば、車両１が前進中の出力画像Ｉｍに、後方位置画像Ｉｍｒおよび車体２の後部を示す車体画像Ｉｍｉのうち少なくとも一方が含まれうる。よって、例えば、車両１の後方に位置する他の車両等の物体Ｂとの相対的な位置関係がより一層把握されやすい。また、例えば、運転者等の乗員は、嗜好に応じて後方位置画像Ｉｍｒおよび車体画像Ｉｍｉを選択できたり、状況に応じて見やすい画像を選択できたりする。
　また、本実施形態では、例えば、車両１が前進中の出力画像Ｉｍに、車両１の斜め後方に対応した注意領域を示す注意領域画像Ｉｍａが含まれうる。よって、車両１の斜め後方に他の車両等の物体Ｂが存在することが把握されやすい。
　また、本実施形態では、例えば、注意領域画像Ｉｍａは、当該注意領域画像Ｉｍａに対応する位置に他の車両等の物体Ｂが検出された場合に表示される。よって、例えば、物体Ｂが存在せず注意領域画像Ｉｍａの必要性が低い場合には、当該注意領域画像Ｉｍａが表示されない。よって、例えば、電力消費が抑制されやすい。また、例えば、注意領域画像Ｉｍａの表示の有無が切り替わることにより、注意領域における物体Ｂの存在がより一層把握されやすくなる場合がある。
　また、本実施形態では、例えば、注意領域画像Ｉｍａは、物体Ｂの位置に応じて変化する。よって、例えば、注意領域画像Ｉｍａが変化しない場合に比べて、注意領域における物体Ｂの存在がより一層把握されやすくなる場合がある。
　以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。
　また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ルームミラーの位置以外の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
　１…車両、２…車体、１０ａ…表示部（表示装置）、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２，１２Ｒ…撮像部、１００…画像表示システム、１１０…画像生成部、１１０ｆ…参照画像設定部、１１０ｇ…注意領域画像設定部、１１３…物体検出部、Ｉｍ…出力画像（表示画像）、Ｉｍｏ…車外画像、Ｉｍｒ…後方位置画像（参照画像）、Ｉｍｉ…車体画像（参照画像）、Ｉｍａ…注意領域画像。

Claims (6)

  1. 　少なくとも車両の後方が撮像された撮像画像の少なくとも一部に基づく車外画像の鏡像を含む、表示装置に表示される表示画像、を生成する画像生成部と、
    　車両の後方に離間した位置に対応した参照画像を、車両の前進中に前記表示画像に含める画像、として設定しうる、参照画像設定部と、
    　前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
    　を備えた、画像表示制御装置。
  2. 　前記参照画像設定部は、車両の後方に離間した位置に対応した参照画像、および車体の後部を示す参照画像のうち少なくとも一方を、車両が前進中に前記表示画像に含める画像、として設定しうる、請求項１に記載の画像表示制御装置。
  3. 　前記表示画像中で前記参照画像の左右の少なくともいずれか一方に位置されて車両の斜め後方に対応した注意領域を示す注意領域画像を、前記表示画像に含める画像として設定しうる、注意領域画像設定部を備えた、請求項１または２に記載の画像表示制御装置。
  4. 　物体を検出する物体検出部を備え、
    　前記注意領域画像設定部は、前記物体検出部によって前記注意領域に対応する位置に物体が検出された場合に、前記注意領域画像を設定する、請求項３に記載の画像表示制御装置。
  5. 　前記注意領域画像設定部は、検出された物体の位置に応じて異なる前記注意領域画像を設定する、請求項４に記載の画像表示制御装置。
  6. 　少なくとも車両の後方を撮像する撮像部と、
    　表示装置と、
    　画像表示制御装置と、
    　を備え、
    　前記画像表示制御装置は、
    　前記撮像部によって撮像された撮像画像の少なくとも一部に基づく車外画像を含む、前記表示装置に表示される表示画像、を生成する画像生成部と、
    　車体の後方に離間した位置を示す参照画像を、車両が前進中に前記表示画像に含める画像、として設定しうる、参照画像設定部と、
    　前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
    　を有した、画像表示システム。
PCT/JP2015/073580 2014-09-05 2015-08-21 画像表示制御装置および画像表示システム WO2016035581A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112015004046.3T DE112015004046B4 (de) 2014-09-05 2015-08-21 Bildanzeigesteuervorrichtung und bildanzeigesystem
US15/508,268 US20170305345A1 (en) 2014-09-05 2015-08-21 Image display control apparatus and image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014181775A JP6446925B2 (ja) 2014-09-05 2014-09-05 画像表示制御装置および画像表示システム
JP2014-181775 2014-09-05

Publications (1)

Publication Number Publication Date
WO2016035581A1 true WO2016035581A1 (ja) 2016-03-10

Family

ID=55439647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073580 WO2016035581A1 (ja) 2014-09-05 2015-08-21 画像表示制御装置および画像表示システム

Country Status (4)

Country Link
US (1) US20170305345A1 (ja)
JP (1) JP6446925B2 (ja)
DE (1) DE112015004046B4 (ja)
WO (1) WO2016035581A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644256B (zh) 2016-09-22 2021-04-09 苹果公司 车载视频系统
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
JP6930120B2 (ja) * 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
JP6878109B2 (ja) * 2017-04-20 2021-05-26 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
JP2018177133A (ja) * 2017-04-20 2018-11-15 株式会社Ｓｕｂａｒｕ 画像表示装置
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
US11603043B2 (en) * 2018-12-11 2023-03-14 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
KR20210100611A (ko) 2018-12-11 2021-08-17 소니그룹주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
JP7444073B2 (ja) * 2018-12-11 2024-03-06 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
CN112298042A (zh) * 2020-11-15 2021-02-02 西南石油大学 一种消除汽车a柱盲区及周边环境预警的音像装置
JP2022094050A (ja) * 2020-12-14 2022-06-24 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182254A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp 車両用運転支援装置
JP2013005233A (ja) * 2011-06-16 2013-01-07 Aisin Seiki Co Ltd 車両周辺監視装置
WO2013157184A1 (ja) * 2012-04-16 2013-10-24 日産自動車株式会社 車両用後方視界支援装置及び車両用後方視界支援方法
JP2014036268A (ja) * 2012-08-07 2014-02-24 Honda Motor Co Ltd 移動体の周辺画像表示装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364471B2 (ja) * 2001-12-28 2009-11-18 株式会社エクォス・リサーチ 車両の画像処理装置
JP4323377B2 (ja) * 2004-05-24 2009-09-02 オリンパス株式会社 画像表示装置
JP4772409B2 (ja) * 2005-07-20 2011-09-14 株式会社オートネットワーク技術研究所 画像表示システム
JP5115136B2 (ja) * 2007-10-16 2013-01-09 株式会社デンソー 車両後方監視装置
JP5320970B2 (ja) 2008-10-15 2013-10-23 日産自動車株式会社 車両用表示装置および表示方法
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182254A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp 車両用運転支援装置
JP2013005233A (ja) * 2011-06-16 2013-01-07 Aisin Seiki Co Ltd 車両周辺監視装置
WO2013157184A1 (ja) * 2012-04-16 2013-10-24 日産自動車株式会社 車両用後方視界支援装置及び車両用後方視界支援方法
JP2014036268A (ja) * 2012-08-07 2014-02-24 Honda Motor Co Ltd 移動体の周辺画像表示装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム

Also Published As

Publication number Publication date
JP2016055684A (ja) 2016-04-21
US20170305345A1 (en) 2017-10-26
JP6446925B2 (ja) 2019-01-09
DE112015004046T5 (de) 2017-06-29
DE112015004046B4 (de) 2021-11-18

Similar Documents

Publication Publication Date Title
JP6446925B2 (ja) 画像表示制御装置および画像表示システム
JP6380410B2 (ja) 画像表示制御装置および画像表示システム
JP6565148B2 (ja) 画像表示制御装置および画像表示システム
JP6056612B2 (ja) 画像表示制御装置および画像表示システム
US9321400B2 (en) Drive assist device
WO2016027689A1 (ja) 画像表示制御装置および画像表示システム
JP6555056B2 (ja) 周辺監視装置
US20190244324A1 (en) Display control apparatus
WO2018150642A1 (ja) 周辺監視装置
JP2020043401A (ja) 車両周辺表示装置
JP6876236B2 (ja) 表示制御装置
WO2019008824A1 (ja) 周辺監視装置
JP2017094922A (ja) 周辺監視装置
JP2019054420A (ja) 画像処理装置
JP2016189576A (ja) 画像表示制御装置
WO2018003188A1 (ja) 周辺監視装置
JP6720729B2 (ja) 表示制御装置
WO2018220915A1 (ja) 周辺監視装置
JP2020042441A (ja) 表示制御装置
US10807529B2 (en) Driving assistant apparatus with lane marking
JP6711151B2 (ja) 運転支援装置
JP6601097B2 (ja) 表示制御装置
JP2017069846A (ja) 表示制御装置
JP2016060237A (ja) 駐車支援装置及び駐車支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838746

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15508268

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015004046

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838746

Country of ref document: EP

Kind code of ref document: A1