WO2011058875A1 - 車載照明装置、画像処理装置及び画像表示システム - Google Patents

車載照明装置、画像処理装置及び画像表示システム Download PDF

Info

Publication number
WO2011058875A1
WO2011058875A1 PCT/JP2010/068930 JP2010068930W WO2011058875A1 WO 2011058875 A1 WO2011058875 A1 WO 2011058875A1 JP 2010068930 W JP2010068930 W JP 2010068930W WO 2011058875 A1 WO2011058875 A1 WO 2011058875A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
light source
image
light sources
mode
Prior art date
Application number
PCT/JP2010/068930
Other languages
English (en)
French (fr)
Inventor
正博 山田
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to CN201080051841.5A priority Critical patent/CN102639360B/zh
Priority to US13/509,900 priority patent/US9610891B2/en
Publication of WO2011058875A1 publication Critical patent/WO2011058875A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/2665—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on rear-view mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/32—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating vehicle sides, e.g. clearance lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a technique for performing illumination that assists photographing around a vehicle.
  • an image display system that is mounted on a vehicle such as an automobile and displays an image obtained by photographing the periphery of the vehicle with an in-vehicle camera on a display in the vehicle interior is known.
  • the driver can grasp the situation around the vehicle almost in real time.
  • the outer area of the front fender on the opposite side of the driver's seat tends to be a blind spot from the driver's seat, and it is difficult for the driver to grasp the clearance between the vehicle body and the obstacle.
  • the image display system is used, an image showing the outer region of the front fender is acquired by photographing with the in-vehicle camera, and the image is displayed on the display in the vehicle interior.
  • the driver can easily confirm the clearance between the vehicle body on the opposite side of the driver's seat and the obstacle, for example, when the vehicle is brought close.
  • the front and rear of the vehicle can be illuminated with a travel lighting device (headlight, tail lamp, etc.) provided as a standard in the vehicle.
  • a travel lighting device headlight, tail lamp, etc.
  • the illumination by the standard driving lighting device it is difficult for the illumination by the standard driving lighting device to reach, so it is necessary to illuminate a relatively wide range from the front to the rear of the vehicle with auxiliary light.
  • the range that can be illuminated with a single light source is limited, in order to illuminate the entire lateral region from the front to the rear of the vehicle, it is necessary to divide and illuminate with a plurality of light sources.
  • the light sources at a plurality of positions (for example, the front end portion, the central portion, and the rear end portion of the vehicle) from the front end to the rear end on the side surface of the vehicle.
  • the light sources are arranged at a plurality of positions on the side surface of the vehicle, it is necessary to arrange power lines and control lines up to the respective positions of the plurality of light sources, which is an enormous and complicated work for attaching the plurality of light sources to the vehicle. Is required.
  • This increases the mounting cost of the plurality of light sources, and further increases the mounting cost of the image display system.
  • it is a necessary condition that it can be easily and inexpensively attached to the vehicle. Therefore, a solution to such a problem has been required.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of easily and inexpensively attaching a plurality of light sources for assisting photographing.
  • An in-vehicle illumination device that performs illumination that assists photographing by the plurality of cameras of an image generation device that generates a composite image viewed from a virtual viewpoint based on images around the vehicle photographed by a plurality of cameras, A plurality of light sources that illuminate a side region of the vehicle, and a housing that holds the plurality of light sources fixedly in a state where optical axes of the plurality of light sources are directed in different directions.
  • the plurality of light sources may include a first light source that mainly illuminates a front area located on a front side of the vehicle in the side area, and a vehicle in the side area.
  • a second light source that mainly illuminates a rear region located on the rear side, and a third light source that mainly illuminates a region located between the front region and the rear region.
  • the direction of the optical axis of the first light source and the direction of the optical axis of the second light source are symmetric with respect to the direction of the optical axis of the third light source.
  • the in-vehicle illumination device further includes a light source driving unit configured to reduce a light amount of the third light source as compared with the first light source and the second light source.
  • a camera that captures the lateral region of the vehicle among the plurality of cameras is housed in the housing. .
  • the in-vehicle illumination device according to any one of (1) to (4), further including control means for selectively turning on and off the plurality of light sources.
  • the image generation device outputs an image showing at least a partial area around the vehicle to the display device, and displays the image on the display device.
  • the control means selects one or more light sources to be turned on from the plurality of light sources in accordance with a region shown in the image to be displayed on the display device.
  • the in-vehicle illumination device further including an input unit that inputs a signal indicating an operation state of a travel lighting device used in traveling of the vehicle, wherein the control unit includes the lighting device.
  • One or more light sources to be turned on are selected from the plurality of light sources according to the operation state.
  • the in-vehicle illumination device further including input means for inputting a direction instruction intended by a driver of the vehicle, wherein the housings are respectively disposed on the left side and the right side of the vehicle,
  • the control means selects one or more light sources to be turned on from among the plurality of light sources accommodated in the housing arranged on the side indicated by the direction indication.
  • An image processing device mounted on a vehicle wherein the image generation device generates a composite image viewed from a virtual viewpoint based on images around the vehicle taken by a plurality of cameras, and the image generation device
  • the vehicle-mounted illumination device according to any one of (1) to (8), wherein illumination is performed to assist photographing with the plurality of cameras.
  • the plurality of light sources that illuminate the side regions of the vehicle are accommodated in a state where the directions of the optical axes are different from each other by the housing. For this reason, a plurality of light sources are integrated by the housing, and a plurality of light sources for illuminating a lateral region of the vehicle over a wide range can be attached to the vehicle simply and at low cost.
  • the integrated light source can be used for both the left and right sides of the vehicle, versatility is improved and costs can be reduced.
  • the light quantity of the third light source that illuminates a region relatively close to the position of the light source from the first light source and the second light source that illuminate a region relatively far from the position of the light source is reduced.
  • the camera and the plurality of light sources for assisting photographing with the camera are integrated by the housing, so that the camera and the light sources can be easily attached to the vehicle in a lump. it can.
  • FIG. 1 is a block diagram showing the configuration of the image display system.
  • FIG. 2 is a diagram illustrating a position where the in-vehicle camera is arranged in the vehicle.
  • FIG. 3 is a diagram illustrating an external configuration of the side camera unit.
  • FIG. 4 is a cross-sectional view of the side camera unit viewed from the rear of the vehicle.
  • FIG. 5 is a cross-sectional view of the side camera unit viewed from the left side of the vehicle.
  • FIG. 6 is a diagram showing the positional relationship of the optical axes of the three light sources with respect to the vehicle.
  • FIG. 7 is a diagram illustrating the positional relationship of the optical axes of the three light sources with respect to the vehicle.
  • FIG. 8 is a diagram showing an outline of a circuit related to power supply to three light sources.
  • FIG. 9 is a diagram for explaining a method of generating a composite image.
  • FIG. 10 is a diagram illustrating transition of operation modes of the image display system.
  • FIG. 11 is a diagram illustrating transition of the position of the virtual viewpoint in the surrounding confirmation mode.
  • FIG. 12 is a diagram illustrating a display example in the surrounding confirmation mode.
  • FIG. 13 is a diagram showing transition of the display mode in the front mode.
  • FIG. 14 is a diagram illustrating display mode transition in the back mode.
  • FIG. 15 is a diagram illustrating a state in which the door mirror is stored.
  • FIG. 16 is a diagram illustrating the contents of the illumination table.
  • FIG. 10 is a diagram showing an outline of a circuit related to power supply to three light sources.
  • FIG. 9 is a diagram for explaining a method of generating a composite image.
  • FIG. 10 is a diagram illustrating transition of operation modes of
  • FIG. 17 is a diagram illustrating a flow of processing for selecting a light source in the first embodiment.
  • FIG. 18 is a diagram illustrating a screen state transition in the vehicle confirmation mode.
  • FIG. 19 is a diagram illustrating transition of the position of the virtual viewpoint.
  • FIG. 20 is a diagram illustrating a flow of processing for selecting a light source in the second embodiment.
  • FIG. 21 is a diagram illustrating an area that can be illuminated by a headlight of a vehicle.
  • FIG. 22 is a diagram illustrating a flow of processing for selecting a light source in the third embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of an image display system 120 according to the first embodiment.
  • This image display system 120 is mounted on a vehicle (in this embodiment, an automobile), and has a function of photographing the periphery of the vehicle, generating an image, and displaying the image in the passenger compartment.
  • a user typically a driver of the image display system 120 can grasp the state around the vehicle in almost real time.
  • the image display system 120 mainly includes an image processing device 100 that generates a peripheral image showing the periphery of the vehicle, and a navigation device 20 that displays various types of information to a user who gets on the vehicle. ing.
  • the peripheral image generated by the image processing device 100 is displayed on the navigation device 20.
  • the navigation device 20 provides navigation guidance to the user, and includes a display 21 such as a liquid crystal provided with a touch panel function, an operation unit 22 that is operated by the user, and a control unit 23 that controls the entire device. Yes.
  • the navigation device 20 is installed on an instrument panel or the like of the vehicle so that the screen of the display 21 is visible from the user.
  • Various instructions from the user are received by the operation unit 22 and the display 21 as a touch panel.
  • the control part 23 is comprised as a computer provided with CPU, RAM, ROM, etc., and various functions including a navigation function are implement
  • the navigation device 20 is communicably connected to the image processing device 100, and can transmit and receive various control signals to and from the image processing device 100 and receive peripheral images generated by the image processing device 100.
  • An image based on the function of the navigation device 20 alone is normally displayed on the display 21 under the control of the control unit 23, but the periphery showing the state of the periphery of the vehicle generated by the image processing device 100 under a predetermined condition An image is displayed.
  • the navigation device 20 also functions as a display device that receives and displays a peripheral image generated by the image processing device 100.
  • the image processing apparatus 100 is configured as an ECU (Electronic Control Unit) whose main body 10 has a function of generating a peripheral image, and is arranged at a predetermined position of the vehicle.
  • the image processing apparatus 100 includes an imaging unit 5 that captures the periphery of the vehicle.
  • the image generation unit 5 generates a composite image viewed from a virtual viewpoint based on a captured image obtained by capturing the periphery of the vehicle. Functions as a device.
  • the image processing apparatus 100 includes an auxiliary illumination unit 6 that performs illumination that assists photographing of the photographing unit 5, and also functions as an in-vehicle illumination device that performs illumination that assists photographing of the photographing unit 5.
  • the plurality of in-vehicle cameras 51, 52, and 53 provided in the photographing unit 5 and the plurality of light sources 60 provided in the auxiliary illumination unit 6 are disposed at appropriate positions of the vehicle different from the main body unit 10, but details will be described later. .
  • the main body 10 of the image processing apparatus 100 includes a control unit 1 that controls the entire apparatus, an image generation unit 3 that generates a peripheral image for display by processing a captured image acquired by the imaging unit 5, and a navigation device 20. And a navigation communication unit 42 that communicates with each other.
  • the image processing apparatus 100 includes a changeover switch 43 that receives an instruction to switch display contents from a user. A signal indicating a user instruction is also input to the control unit 1 from the changeover switch 43.
  • the image processing apparatus 100 can perform an operation in response to both a user operation on the navigation apparatus 20 and a user operation on the changeover switch 43.
  • the changeover switch 43 is arranged at an appropriate position of the vehicle separately from the main body unit 10 so that the user can easily operate.
  • the image generation unit 3 is configured as a hardware circuit capable of various image processing, and includes a captured image adjustment unit 31 and a composite image generation unit 32 as main functions.
  • the photographed image adjustment unit 31 adjusts the photographed image acquired by the photographing unit 5 and performs image quality adjustment such as brightness and contrast of the photographed image and distortion correction.
  • the captured image adjustment unit 31 refers to the average luminance indicating the brightness of the entire captured image as acquired by the imaging unit 5, and adjusts the gain according to the average luminance to adjust the brightness of the captured image. adjust. Specifically, the gain adjustment value is decreased when the average luminance of the captured image is relatively high, and the gain adjustment value is increased when the average brightness is relatively low. As a result, the captured image is adjusted to be relatively bright even when the surrounding environment of the vehicle is somewhat dark. However, when the surrounding environment is very dark, such as at night, sufficient brightness as an image to be displayed cannot be obtained even if such gain adjustment is performed, and thus illumination by the auxiliary illumination unit 6 is necessary.
  • the composite image generation unit 32 generates a composite image viewed from an arbitrary virtual viewpoint around the vehicle based on the plurality of captured images acquired by the plurality of in-vehicle cameras 51, 52, and 53 of the capturing unit 5. A method by which the composite image generation unit 32 generates a composite image viewed from a virtual viewpoint will be described later.
  • the captured image adjusted by the captured image adjustment unit 31 and the composite image generated by the composite image generation unit 32 are further adjusted to display images, and then output to the navigation device 20 by the navigation communication unit 42. Thereby, a peripheral image showing the periphery of the vehicle is displayed on the display 21 of the navigation device 20.
  • the control unit 1 is configured as a computer including a CPU, a RAM, a ROM, and the like, and various control functions are realized by the CPU performing arithmetic processing according to a predetermined program.
  • the image control unit 11 and the illumination control unit 12 shown in the drawing show some of the functions of the control unit 1 realized in this way.
  • the image control unit 11 controls image processing executed by the image generation unit 3. For example, the image control unit 11 instructs various parameters necessary for generating a composite image generated by the composite image generation unit 32.
  • the illumination control unit 12 controls illumination by the auxiliary illumination unit 6.
  • the illumination control unit 12 can selectively illuminate a plurality of light sources 60 included in the auxiliary illumination unit 6. Specifically, the illumination control unit 12 selects a light source 60 to be illuminated from among the plurality of light sources 60 and outputs a signal to the auxiliary illumination unit 6 so that only the selected light source 60 illuminates.
  • the main body 10 of the image processing apparatus 100 further includes a nonvolatile memory 40, a card reading unit 44, and a signal input unit 41, which are electrically connected to the control unit 1.
  • the non-volatile memory 40 is composed of a flash memory that can maintain the stored contents even when the power is turned off.
  • the nonvolatile memory 40 stores vehicle type data 4a and a lighting table 4b.
  • the vehicle type data 4a is data according to the type of vehicle that is required when the composite image generation unit 32 generates a composite image.
  • the illumination table 4b is table data that is referenced when the illumination control unit 12 selects the light source 60 to be illuminated from the plurality of light sources 60 of the auxiliary illumination unit 6.
  • the card reading unit 44 reads the memory card MC that is a portable recording medium.
  • the card reading unit 44 includes a card slot in which the memory card MC can be attached and detached, and reads data recorded on the memory card MC installed in the card slot. Data read by the card reading unit 44 is input to the control unit 1.
  • the memory card MC is configured by a flash memory or the like capable of storing various data, and the image processing apparatus 100 can use various data stored in the memory card MC.
  • a program firmware that realizes the function of the control unit 1 can be updated by storing a program in the memory card MC and reading the program.
  • the vehicle type data corresponding to the vehicle of a type different from the vehicle type data 4a stored in the nonvolatile memory 40 is stored in the memory card MC, and this is read out and stored in the nonvolatile memory 40, thereby displaying an image. It is also possible for the system 120 to correspond to different types of vehicles.
  • the signal input unit 41 inputs signals from various devices provided in the vehicle.
  • a signal from the outside of the image display system 120 is input to the control unit 1 via the signal input unit 41.
  • signals indicating various information are input to the control unit 1 from the shift sensor 81, the vehicle speed sensor 82, the illuminance sensor 83, the lighting control device 84, the direction indicator 85, the mirror driving device 86, and the like. .
  • the operation position of the shift lever of the transmission of the vehicle 9 ie, “P (parking)”, “D (forward)”, “N (neutral)”, “R (reverse)”, etc.
  • the shift position is input.
  • the traveling speed (km / h) of the vehicle 9 at that time is input.
  • the illuminance sensor 83 is mounted on the center upper part of the front window of the vehicle or on the dashboard, and detects the illuminance indicating the brightness of the surrounding environment of the vehicle. From the illuminance sensor 83, the illuminance that is the detection result is input.
  • the lighting control device 84 controls a traveling lighting device that is provided in the vehicle as a standard separately from the auxiliary lighting unit 6 and is used for normal traveling of the vehicle.
  • the driving lighting device includes a headlight (headlamp), a small lamp (vehicle width lamp), a tail lamp (tail lamp), a brake lamp (braking lamp), a back lamp (reverse lamp), and the like.
  • the lighting control device 84 turns on the headlight and the small lamp in response to the operation of the driver, and turns on the tail lamp when turning on the headlight or the small lamp.
  • the lighting control device 84 turns on the brake lamp when the driver steps on the brake, and turns on the back lamp when the shift position is “R”. From the lighting control device 84, lighting states of such various traveling lighting devices are input.
  • a turn signal indicating a direction instruction based on the operation of the blinker switch that is, a direction instruction intended by the driver of the vehicle is input.
  • a turn signal is generated, and the turn signal indicates the operated direction (left direction or right direction).
  • the turn signal switch is in the neutral position, the turn signal is turned off.
  • the mirror drive device 86 stores / deploys the door mirror of the vehicle in response to the driver's operation. From the mirror driving device 86, the state (storage / deployment) of the door mirror is input.
  • the photographing unit 5 and the auxiliary illumination unit 6 of the image processing apparatus 100 are electrically connected to the control unit 1 and operate based on a signal from the control unit 1.
  • the photographing unit 5 includes a front camera 51, a back camera 52, and a side camera 53, which are in-vehicle cameras.
  • Each of these on-vehicle cameras 51, 52, and 53 includes an image sensor such as a CCD or a CMOS and electronically acquires an image.
  • FIG. 2 is a diagram showing positions where the in-vehicle cameras 51, 52, 53 are arranged on the vehicle 9.
  • the three-dimensional XYZ orthogonal coordinates shown in the figure are used as appropriate when indicating the direction and direction.
  • the XYZ axes are fixed relative to the vehicle 9.
  • the X-axis direction is along the left-right direction of the vehicle 9
  • the Y-axis direction is along the straight traveling direction (front-rear direction) of the vehicle 9
  • the Z-axis direction is along the vertical direction.
  • the + X side is the right side of the vehicle 9
  • the + Y side is the rear side of the vehicle 9
  • the + Z side is the upper side.
  • the front camera 51 is provided in the vicinity of the license plate mounting position at the front end of the vehicle 9, and its optical axis 51a is directed in the straight direction of the vehicle 9 (-Y side in the Y-axis direction in plan view).
  • the back camera 52 is provided in the vicinity of the license plate mounting position at the rear end of the vehicle 9, and its optical axis 52 a is directed in the reverse direction of the vehicle 9 in the straight traveling direction (+ Y side in the Y-axis direction in plan view).
  • the side cameras 53 are provided on the left and right door mirrors 93, respectively, and the optical axis 53a is directed to the outside along the left-right direction of the vehicle 9 (X-axis direction in plan view).
  • the mounting position of the front camera 51 and the back camera 52 is preferably approximately the center in the left and right, but may be slightly shifted in the left and right directions from the center in the left and right.
  • each of the in-vehicle cameras 51, 52, and 53 has an angle of view ⁇ of 180 degrees or more. For this reason, it is possible to shoot the entire periphery of the vehicle 9 by using the four in-vehicle cameras 51, 52, and 53.
  • the auxiliary illumination unit 6 includes six light sources 60 that perform illumination that assists the photographing of the photographing unit 5.
  • Each light source 60 is configured by an LED that emits near-infrared light, which is invisible light. Since near-infrared light is invisible to human eyes, even if the periphery of the vehicle 9 is illuminated from the light source 60 of the auxiliary illumination unit 6, it does not affect pedestrians or the like existing around the vehicle 9.
  • the image sensor employed in the in-vehicle cameras 51, 52, and 53 has sensitivity to near infrared light.
  • the auxiliary illumination unit 6 illuminates the side area of the vehicle 9.
  • three light sources 60 are arranged on the left side of the vehicle 9, and the remaining three light sources 60 are arranged on the right side of the vehicle 9.
  • the three light sources 60 on the left side of the vehicle 9 are housed and integrated in the same housing together with the side camera 53 on the left side of the vehicle 9 to form a side camera unit 70.
  • the three light sources 60 on the right side of the vehicle 9 are housed and integrated in the same housing together with the side camera 53 on the right side of the vehicle 9 to form a side camera unit 70.
  • FIG. 3 is a diagram showing an external configuration of the left side camera unit 70. Since the configuration and arrangement of the side camera unit 70 are symmetrical on the left and right of the vehicle 9, the following description will be specifically made taking the left side of the vehicle 9 as an example, but the same applies to the right side. As shown in the figure, the side camera unit 70 is disposed below the door mirror 93 via a bracket 79.
  • FIG. 4 is a cross-sectional view of the left side camera unit 70 on the XZ plane viewed from the rear (+ Y side) of the vehicle 9.
  • FIG. 5 is a cross-sectional view of the left side camera unit 70 on the YZ plane as viewed from the left side ( ⁇ X side) of the vehicle 9. 5 corresponds to a cross-sectional view at the position VV in FIG. 4, and FIG. 4 corresponds to a cross-sectional view at the position IV-IV in FIG.
  • the side camera unit 70 has a housing 7 serving as a housing.
  • the side camera 53 and the three light sources 60 and the light source driving unit 69 of the auxiliary illumination unit 6 are accommodated.
  • the three light sources 60 include a front light source 61 that mainly illuminates a region on the front side of the vehicle 9, a rear light source 62 that mainly illuminates a region on the rear side of the vehicle 9, a front light source 61, and a rear side.
  • the light source driving unit 69 supplies power to these three light sources 60 to cause the light sources 60 to emit light.
  • the side camera 53 includes a lens 531 and an image sensor 532. As shown in FIG. 4, a part of the side camera 53 is disposed in the housing 7, and the optical axis 53 a is directed to the outside of the vehicle 9. The side camera 53 is fixed to the housing 7 so that the direction of the optical axis 53a is a predetermined angle (for example, about 45 degrees) with respect to the vertical direction.
  • a predetermined angle for example, about 45 degrees
  • the three light sources 60 of the auxiliary illumination unit 6 are arranged inside (+ X side) the side camera 53 in the housing 7.
  • the optical axes 61a, 62a, 63a of the three light sources 61, 62, 63 are directed to the outside of the vehicle 9, and all of their directions are at a predetermined angle with respect to the vertical direction when viewed from the front-rear direction (Y-axis direction) of the vehicle 9. ⁇ 1.
  • the angle ⁇ 1 is desirably 30 degrees or less.
  • a central light source 63 is disposed in the central portion in the housing 7, and the front light source 61 and the rear light source 62 are disposed symmetrically with respect to the center in the housing 7.
  • the direction of the optical axis 63 a of the central light source 63 is along the vertical direction (Z-axis direction)
  • the direction of the optical axis 61 a of the front light source 61 is the front of the vehicle 9.
  • the direction of the optical axis 62a of the rear light source 62 is tilted to the rear side (+ Y side) of the vehicle 9.
  • the direction of the optical axis 61 a of the front light source 61 and the direction of the optical axis 62 a of the rear light source 62 are symmetric with respect to the direction of the optical axis 63 a of the central light source 63. That is, the angle formed by the optical axis 63a of the central light source 63 and the optical axis 61a of the front light source 61 coincides with the angle formed by the optical axis 63a of the central light source 63 and the optical axis 62a of the rear light source 62, and a predetermined angle ⁇ 2. It is said that.
  • the angle ⁇ 2 is preferably set to 60 degrees or more and 70 degrees or less.
  • the three light sources 60 of the auxiliary illumination unit 6 are fixed to the housing 7 by the fixing member 71 so as to be in the position and direction described above. That is, the three light sources 60 are fixed to the housing 7 with their optical axes directed in different directions.
  • a transmissive member 72 that transmits near-infrared light is employed in the portion of the housing 7 corresponding to the lower part of the fixed position of the light source 60. Thereby, the auxiliary light of the light source 60 can be projected to the outside of the housing 7.
  • 6 and 7 are diagrams showing the positional relationship of the optical axes of the three light sources 60 in the left side camera unit 70 with respect to the vehicle 9.
  • 6 is a top view (viewed from + Z side)
  • FIG. 7 is a side view (viewed from ⁇ X side).
  • the optical axes 61a, 62a, and 63a of the three light sources 60 are directed from the side camera unit 70 provided on the door mirror 93 to a position separated from the side surface of the vehicle 9 by 500 mm in the X-axis direction. It extends.
  • the directions of the optical axes 61a, 62a, 63a of the three light sources 60 are different from each other. Specifically, in plan view (see FIG. 6), the optical axis 63a of the central light source 63 is along the left-right direction (X-axis direction) of the vehicle 9, and the optical axis 61a of the front light source 61 is the front side of the vehicle 9.
  • the optical axis 62a of the rear light source 62 is directed to the rear side (+ Y side) of the vehicle 9. Further, in a side view (see FIG. 7), the optical axis 63a of the central light source 63 is along the vertical direction (Z-axis direction), and the optical axis 61a of the front light source 61 is on the front side ( ⁇ Y side) of the vehicle 9. The optical axis 62 a of the rear light source 62 is directed to the rear side (+ Y side) of the vehicle 9.
  • the direction of the optical axis 61 a of the front light source 61 and the direction of the optical axis 62 a of the rear light source 62 are symmetric with respect to the direction of the optical axis 63 a of the central light source 63.
  • the three light sources 61, 62, 63 illuminate the side region of the vehicle 9 in a shared manner.
  • a side area to be illuminated a predetermined area that is fixed relative to the vehicle 9 is set.
  • the side region to be illuminated is from a position approximately 2 m ahead of the front end of the vehicle 9 to approximately the rear end position of the vehicle 9.
  • the side region to be illuminated is from the position of the side surface of the vehicle 9 to a position about 1 m away from the outside.
  • the front light source 61 mainly illuminates a region (hereinafter referred to as “front region”) FA ahead of the front end of the vehicle 9 in the side region to be illuminated.
  • the rear light source 62 mainly illuminates an area outside the rear door 96 and the rear fender 97 of the vehicle 9 (hereinafter referred to as “rear area”) BA among the side areas to be illuminated.
  • the central light source 63 is an area outside the front fender 94 and the front door 95 of the vehicle 9 that is between the front area FA and the rear area BA among the side areas to be illuminated (hereinafter referred to as “center”). It is referred to as “region”.) CA is mainly illuminated.
  • the three light sources 60 that illuminate the side regions in the same direction of the vehicle 9 are fixedly accommodated in the same housing 7 with the directions of the optical axes being different from each other. .
  • the three light sources 60 are integrated as a side camera unit 70 by the housing 7. For this reason, it is possible to attach a plurality of light sources 60 at a time only by attaching the side camera unit 70.
  • wiring such as power supply lines and control lines to the three light sources 60 may be performed up to the position of one side camera unit 70. For this reason, it becomes possible to attach the several light source 60 for illuminating the side area
  • a side camera 53 that captures a side region of the vehicle 9 is housed together with the three light sources 60, and the three light sources 60 and the side camera 53 are integrated. For this reason, only by attaching the side camera unit 70, the side camera 53 and the plurality of light sources 60 can be attached to the vehicle 9 easily and at low cost. As a result, the attachment cost to the vehicle 9 as the entire image display system 120 can be greatly reduced.
  • the direction of the optical axis 61a of the front light source 61 and the direction of the optical axis 62a of the rear light source 62 are symmetric with respect to the direction of the optical axis 63a of the central light source 63.
  • the direction of the optical axes of the three light sources 60 relative to the vehicle 9 can be made the same regardless of whether the side camera unit 70 is disposed on the left side or the right side of the vehicle 9. Therefore, since the side camera unit 70 can be used for both the left side and the right side of the vehicle 9, it is not necessary to prepare a dedicated device for the left side or the right side as the side camera unit 70, so that the manufacturing cost can be reduced.
  • the brightness of each part of the side area varies depending on the light source 60 that performs the lighting, and the brightness of the side area as a whole is increased. It may be non-uniform.
  • the light amounts of the three light sources 60 arranged in the same side camera unit 70 are adjusted.
  • FIG. 8 is a diagram showing an outline of a circuit related to power supply to the three light sources 60 in the light source driving unit 69 provided in the side camera unit 70.
  • the power of a predetermined voltage Vcc (for example, 6V) is supplied to the three light sources 60 from the battery B provided in the vehicle 9 through the power supply line 691.
  • the front light source 61 and the rear light source 62 are connected in series, and are connected to the power supply line 691 via a predetermined resistor 692.
  • the central light source 63 is connected to the power supply line 691 via a predetermined resistor 693 in a parallel path different from the paths of the front light source 61 and the rear light source 62.
  • the same current I1 flows through the front light source 61 and the rear light source 62, and a current I2 different from the current I1 flows through the central light source 63.
  • the resistance values of the three light sources 61, 62, and 63 are the same.
  • the resistance value of the resistor 693 connected in series with the central light source 63 is larger than that of the resistor 692 connected in series with the front light source 61 and the rear light source 62.
  • the current I2 flowing through the central light source 63 is smaller than the current I1 flowing through the front light source 61 and the rear light source 62.
  • the current I2 is desirably less than 30% of the current I1, and further desirably less than 20%.
  • the light amount of the light source 60 depends on the current, the light amount of the front light source 61 and the rear light source 62 becomes the same by adjusting the current, while the light amount of the central light source 63 is larger than that of the front light source 61 and the rear light source 62. Less.
  • the central light source 63 illuminates a region relatively close to the position of the side camera unit 70 (position where the three light sources 60 are arranged) as compared with the front light source 61 and the rear light source 62. For this reason, the entire side region of the vehicle 9 extending from the front side to the rear side of the vehicle 9 can be illuminated substantially uniformly by relatively reducing the light amount of the central light source 63 in this way.
  • fever by the light sources 60 also becomes a problem.
  • the total value of the current I1, the current I2, and other currents (currents other than the light source 60) is limited to less than a predetermined value (for example, 200 mA) to generate heat by the light source 60 and the like. It is desirable to suppress this. This can be realized by adjusting the values of the resistors 692 and 693.
  • FIG. 9 is a diagram for explaining a method of generating a composite image.
  • the front camera 51, the back camera 52, and the side camera 53 of the photographing unit 5 perform photographing simultaneously, four photographed images P1 to P4 respectively showing the front, rear, left side, and right side of the vehicle 9 are acquired.
  • the four photographed images P1 to P4 acquired by the photographing unit 5 include information indicating the entire periphery of the vehicle 9 at the time of photographing.
  • each pixel of the four captured images P1 to P4 is projected onto a three-dimensional curved surface SP in a virtual three-dimensional space.
  • the three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the vehicle 9 exists.
  • a correspondence relationship is determined in advance between the position of each pixel included in the captured images P1 to P4 and the position of each pixel of the solid curved surface SP. Therefore, the value of each pixel of the three-dimensional curved surface SP can be determined based on this correspondence and the value of each pixel included in the captured images P1 to P4.
  • the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is determined by the arrangement of the four in-vehicle cameras 51, 52, 53 in the vehicle 9 (the distance between each other, the height of the ground, the optical axis). Angle). For this reason, the table data indicating this correspondence is included in the vehicle type data 4 a stored in the nonvolatile memory 40.
  • polygon data indicating the shape and size of the vehicle body included in the vehicle type data 4a is used, and a vehicle image which is a polygon model indicating the three-dimensional shape of the vehicle 9 is virtually configured.
  • the configured vehicle image is arranged in a substantially hemispherical central portion determined as the position of the vehicle 9 in the three-dimensional space where the three-dimensional curved surface SP is set.
  • the virtual viewpoint VP is set by the control unit 1 for the three-dimensional space where the solid curved surface SP exists.
  • the virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set to an arbitrary visual field position corresponding to the periphery of the vehicle 9 in this three-dimensional space toward an arbitrary visual field direction.
  • a necessary area on the three-dimensional curved surface SP is cut out as an image.
  • the relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface SP is determined in advance, and is stored in advance in the nonvolatile memory 40 or the like as table data.
  • rendering is performed on the vehicle image composed of polygons according to the set virtual viewpoint VP, and the resulting two-dimensional vehicle image is superimposed on the cut out image.
  • the composite image which shows a mode that the periphery of the vehicle 9 and the vehicle 9 was seen from arbitrary virtual viewpoints is produced
  • the vehicle 9 ( Actually, a composite image CP1 showing the vehicle image) and the surroundings of the vehicle 9 is generated.
  • the virtual viewpoint VP2 in which the viewpoint position is the left rear of the position of the vehicle 9 and the visual field direction is substantially in front of the vehicle 9 is set, the entire periphery from the left rear of the vehicle 9 is set.
  • a composite image CP ⁇ b> 2 is generated that shows the vehicle 9 (actually a vehicle image) and the surroundings of the vehicle 9.
  • FIG. 10 is a diagram illustrating transition of operation modes of the image display system 120.
  • the image display system 120 has four operation modes: a navigation mode M0, a surrounding confirmation mode M1, a front mode M2, and a back mode M3. These operation modes are switched by the control of the control unit 1 according to the operation of the driver and the traveling state of the vehicle 9.
  • the navigation mode M0 is an operation mode in which a map image for navigation guidance is displayed on the display 21 by the function of the navigation device 20.
  • the functions of the image processing apparatus 100 are not used, and various displays are performed using the functions of the navigation apparatus 20 alone. For this reason, when the navigation device 20 has a function of receiving and displaying television broadcast radio waves, a television broadcast screen may be displayed instead of the map image for navigation guidance.
  • Surrounding confirmation mode M1 is an operation mode in which an animation is expressed such that the vehicle 9 circulates around the vehicle 9 with the vehicle 9 looking down.
  • the front mode M2 is an operation mode for displaying a display image that mainly indicates the front or side of the vehicle 9 that is required when moving forward.
  • the back mode M3 is an operation mode for displaying a display image that mainly indicates the rear of the vehicle 9 that is required when the vehicle is moving backward.
  • the surrounding confirmation mode M1 is first set.
  • the surrounding confirmation mode M1 when a predetermined time (for example, 6 seconds) elapses after the animation expression that goes around the vehicle 9 is made, the mode is automatically switched to the front mode M2.
  • the front mode M2 for example, if the changeover switch 43 is continuously pressed for a predetermined time or more while the traveling speed is 0 km / h (stopped state), the surrounding confirmation mode M1 is switched.
  • the mode is switched to the navigation mode M0.
  • the traveling speed input from the vehicle speed sensor 82 is less than 10 km / h in the navigation mode M0, the mode is switched to the front mode M2.
  • the front mode M2 When the traveling speed of the vehicle 9 is relatively high, the front mode M2 is canceled in order to concentrate the driver on traveling. On the other hand, when the traveling speed of the vehicle 9 is relatively low, the driver drives in consideration of the situation around the vehicle 9, more specifically, approaching an intersection with poor visibility, changing direction, or shifting the width. There are many scenes where such as. For this reason, when the traveling speed is relatively low, the navigation mode M0 is switched to the front mode M2. When switching from the navigation mode M0 to the front mode M2, a condition that there is an explicit operation instruction from the driver may be added to the condition that the traveling speed is less than 10 km / h.
  • the mode is switched to the back mode M3. That is, when the transmission of the vehicle 9 is operated to the “R (reverse)” position, since the vehicle 9 is in a reverse state, the vehicle 9 is switched to the back mode M3 mainly showing the rear of the vehicle 9.
  • the back mode M3 when the position of the shift lever is other than “R (reverse)”, it is switched to the navigation mode M0 or the front mode M2 based on the traveling speed at that time. That is, if the traveling speed is 10 km / h or more, the mode is switched to the navigation mode M0, and if the traveling speed is less than 10 km / h, the mode is switched to the front mode M2.
  • the display mode around the vehicle 9 in the surrounding confirmation mode M1 will be described.
  • the virtual viewpoint VP is set so as to look down at the vehicle 9, and the virtual viewpoint VP is continuously moved so as to go around the vehicle 9.
  • the virtual viewpoint VP is initially set behind the vehicle 9 and then circulates around the vehicle 9 clockwise. In this way, when the virtual viewpoint VP moves to the rear again via the left side, the front side, and the right side of the vehicle 9, the virtual viewpoint VP moves to just above the vehicle 9.
  • a plurality of composite images are generated continuously in time with the virtual viewpoint VP being moved.
  • the plurality of generated composite images are sequentially output to the navigation device 20 and displayed on the display 21 continuously in time.
  • an animation expression is made such that the vehicle 9 circulates around the vehicle 9 while looking down at the vehicle 9.
  • composite images RP are sequentially displayed in the order of states ST1 to ST6.
  • the vehicle 9 is arranged in the vicinity of the center of the image, and the situation around the vehicle 9 can be confirmed together with the vehicle 9.
  • the user can confirm the situation around the entire vehicle 9 from the viewpoint of the vehicle 9 in front of the user.
  • the positional relationship between surrounding obstacles and the vehicle 9 can be grasped.
  • FIG. 13 is a diagram showing transition of display modes in the front mode M2.
  • the front mode M2 there are three display modes, a traveling bird's-eye view mode M21, a vehicle confirmation mode M22, and a side camera mode M23, and these display modes have different display modes.
  • a field-of-view guide 90 indicating the field-of-view range in each display mode is displayed to indicate which area around the vehicle 9 is displayed to the user.
  • These display modes are switched by the control of the control unit 1 in the order of the traveling bird's-eye view mode M21, the own vehicle confirmation mode M22, and the side camera mode M23 each time the user presses the changeover switch 43.
  • the changeover switch 43 is pressed in the side camera mode M23, the operation returns to the traveling bird's-eye view mode M21 again.
  • the traveling bird's-eye view mode M21 displays on the display 21 a screen including a composite image FP1 showing the state of the vehicle 9 viewed from the virtual viewpoint VP immediately above the vehicle 9 and a front image FP2 obtained by photographing with the front camera 51 side by side. Display mode. That is, in the traveling bird's-eye view mode M21, two images of a composite image FP1 showing the entire periphery of the vehicle 9 and a front image FP2 showing the front of the vehicle 9 are shown on the same screen.
  • the traveling bird's-eye view mode M21 such two images FP1 and FP2 can be viewed, so that the user can confirm the situation in front of the traveling direction of the vehicle 9 together with the entire periphery of the vehicle 9 at a glance. It can be said that the traveling bird's-eye view mode M21 is a display mode that can be used with high versatility in various scenes during forward movement.
  • the own vehicle confirmation mode M22 displays a screen including a front image FP3 obtained by photographing with the front camera 51 and a composite image FP4 showing the state of the vehicle 9 viewed from the virtual viewpoint VP behind the vehicle 9 side by side. Is the display mode to be displayed. That is, in the own vehicle confirmation mode M22, two images of a front image FP3 showing the front of the vehicle 9 and a composite image FP4 showing the side of the vehicle 9 are shown on the same screen.
  • the front image FP3 in the vehicle confirmation mode M22 has a wider field of view in the left-right direction than the front image FP2 in the traveling bird's-eye view mode M21. For this reason, it is possible to confirm an object that is present in front and in the left-right direction from the front end of the vehicle 9 that is likely to become a blind spot when entering an intersection with poor visibility.
  • the composite image FP4 in the own vehicle confirmation mode M22 is moved to the rear of the vehicle 9 compared to the composite image FP1 in the traveling bird's-eye view mode M21. Although narrowed, the side of the vehicle 9 can be easily confirmed. For this reason, when passing the oncoming vehicle, the clearance with the oncoming vehicle can be easily confirmed.
  • the side camera mode M23 is a display mode for displaying on the display 21 a screen including side images FP5 and FP6 that are respectively obtained by photographing with the left and right side cameras 53.
  • the side images FP5 and FP6 show only the outside of the front fender 94 that tends to be a blind spot from the driver's seat.
  • the user can easily check the situation of the region to be confirmed when performing the width adjustment to bring the vehicle body to the end of the road. Can be confirmed.
  • FIG. 14 is a diagram illustrating display mode transition in the back mode M3.
  • the back mode M3 there are two display modes, a parking bird's-eye view mode M31 and a door mirror mode M32. These display modes have different display modes.
  • a visual field guide 90 indicating the visual field range in each display mode is displayed, which indicates to the user which area around the vehicle 9 is displayed.
  • These display modes are switched by the control of the control unit 1 in accordance with the state of the door mirror 93 input from the mirror driving device 86. Specifically, when the door mirror 93 is deployed in the normal state, the parking bird's-eye view mode M31 is set, and when the door mirror 93 is stored, the door mirror mode M32 is set.
  • the parking bird's-eye view mode M31 displays on the display 21 a screen including a composite image BP1 showing the state of the vehicle 9 viewed from the virtual viewpoint VP directly above the vehicle 9 and a back image BP2 obtained by photographing with the back camera 52 side by side. Display mode. That is, in the parking bird's-eye view mode M31, two images of a composite image BP1 showing the entire periphery of the vehicle 9 and a back image BP2 showing the rear of the vehicle 9 are shown on the same screen.
  • the parking bird's-eye view mode M31 such two images BP1 and BP2 can be browsed, so that the user can confirm at a glance the situation behind the vehicle 9 along with the entire periphery of the vehicle 9. It can be said that the parking bird's-eye view mode M31 is a display mode that can be used with high versatility in various situations during retreat.
  • the door mirror mode M32 is a display mode in which a screen including side images BP3 and BP4 obtained by photographing with the left and right side cameras 53 is displayed on the display 21.
  • the side images BP3 and BP4 show a range substantially similar to the range reflected on the door mirror 93 when the door mirror 93 is unfolded, specifically, the rear of the side region of the vehicle 9.
  • the side camera 53 since the side camera 53 is provided on the door mirror 93, when the door mirror 93 is in the retracted state, the direction of the optical axis 53a is directed to the rear of the vehicle 9. In this state, the side camera 53 cannot acquire an image showing the entire side of the vehicle 9, so it is difficult to generate a composite image viewed from an arbitrary virtual viewpoint. However, since the optical axis 53a moves to the rear of the vehicle 9, a captured image with relatively little distortion can be acquired behind the side region of the vehicle 9. In the door mirror mode M32, two images BP3 and BP4 showing the rear of the side region of the vehicle 9 are generated and displayed using the captured image acquired by the side camera 53.
  • the display 21 shows the surroundings of the vehicle 9 in various display modes, and the surrounding environment is relatively dark, so that the brightness as an image showing the surroundings of the vehicle 9 is sufficiently ensured.
  • the auxiliary illumination unit 6 performs illumination.
  • the illumination control unit 12 selects the light source 60 to be illuminated from among the plurality of light sources of the auxiliary illumination unit 6 according to the display mode at that time, and only the selected light source 60 is illuminated. Let Thereby, the light source 60 according to the area
  • the correspondence relationship between such a display mode and the light source 60 selected by the illumination control unit 12 is determined in advance, and the correspondence relationship is shown in the illumination table 4b stored in the nonvolatile memory 40.
  • FIG. 16 is a diagram showing the contents of the illumination table 4b.
  • the illumination table 4b describes which of the front light source 61, the central light source 63, and the rear light source 62 is illuminated for each display mode.
  • the light source 60 to be illuminated is indicated as “ON”, and the light source 60 that is not illuminated is indicated as “OFF”.
  • the surrounding confirmation mode M1 all of the front light source 61, the central light source 63, and the rear light source 62 are shown as the light sources 60 to be illuminated. Since the surrounding confirmation mode M1 is a display mode for confirming the situation of the entire surroundings of the vehicle 9, it is desirable to illuminate as wide a range as possible. For this reason, all the light sources 60 are selected as the light sources 60 to illuminate.
  • the traveling bird's-eye view mode M21 all of the front light source 61, the central light source 63, and the rear light source 62 are shown as the light sources 60 to be illuminated.
  • the composite image FP1 showing the entire periphery of the vehicle 9 is shown, it is desirable to illuminate as wide a range as possible. For this reason, all the light sources 60 are selected as the light sources 60 to illuminate.
  • the front light source 61 and the central light source 63 are shown as the light sources 60 to be illuminated.
  • the own vehicle confirmation mode M22 is used when entering an intersection with poor visibility or passing an oncoming vehicle. For this reason, only the front light source 61 and the central light source 63 are selected as the light source 60 to illuminate, and the rear light source 62 is not selected in order for the user to pay attention to the front side of the vehicle 9 to be noted.
  • the central light source 63 is shown as the light source 60 to be illuminated.
  • the central light source 63 is selected as the light source 60 to illuminate, and the front light source 61 and the rear light source 62 are not selected.
  • the front light source 61, the central light source 63, and the rear light source 62 are all shown as the light source 60 to be illuminated.
  • the composite image BP1 showing the entire periphery of the vehicle 9 is shown, it is desirable to illuminate as wide a range as possible. For this reason, all the light sources 60 are selected as the light sources 60 to illuminate.
  • the central light source 63 is shown as the light source 60 to be illuminated.
  • the rear of the side region of the vehicle 9 is shown.
  • the directions of the optical axes of the three light sources 60 are also moved to the rear side of the vehicle 9.
  • only the central light source 63 whose optical axis is directed to the rear of the side region of the vehicle 9 is selected as the light source 60 to be illuminated, and the front light source 61 and the rear light source 62 are not selected.
  • FIG. 17 is a diagram illustrating a flow of processing in which the illumination control unit 12 selects the light source 60 to be illuminated. This process is repeatedly executed by the illumination control unit 12.
  • step S11 it is determined whether or not the display 21 displays an image around the vehicle 9 (step S11). Specifically, it is determined whether the operation mode is other than the navigation mode M0 (any one of the surrounding confirmation mode M1, the front mode M2, and the back mode M3). When the operation mode is the navigation mode M0 (No in step S11), since the illumination by the auxiliary illumination unit 6 is unnecessary, all the light sources 60 are turned off (step S17).
  • step S12 it is next determined whether or not the surrounding environment is dark enough to require illumination by the auxiliary illumination unit 6 (step S12). Specifically, it is determined whether or not the illuminance indicating the brightness of the surrounding environment of the vehicle 9 input from the illuminance sensor 83 is lower than a predetermined threshold value. If the illuminance from the illuminance sensor 83 is higher than the predetermined threshold (No in step S12), since the illumination by the auxiliary illumination unit 6 is unnecessary, all the light sources 60 are turned off (step S17).
  • step S12 If the illuminance from the illuminance sensor 83 is lower than the predetermined threshold (Yes in step S12), then the brightness of the captured image actually acquired by the imaging unit 5 is determined by the auxiliary illumination unit 6 It is determined whether or not the illumination is dark enough to be necessary (step S13). Specifically, the average brightness of the captured image is input from the captured image adjustment unit 31 to the control unit 1, and it is determined whether or not the average brightness of the captured image is lower than a predetermined threshold value. When the average brightness of the captured image is higher than the predetermined threshold (No in step S13), since the illumination by the auxiliary illumination unit 6 is unnecessary, all the light sources 60 are turned off (step S17).
  • step S13 if the average brightness of the captured image is lower than the predetermined threshold (Yes in step S13), then the display mode at that time is acquired (step S14). Then, referring to the illumination table 4b stored in the nonvolatile memory 40, the light source 60 to be illuminated is selected according to the display mode (step S15).
  • a signal is output from the illumination control unit 12 to the auxiliary illumination unit 6 so that only the selected light source 60 illuminates. Thereby, only the light source 60 selected according to the display mode is turned on (step S16).
  • the plurality of light sources 60 of the auxiliary illumination unit 6 can be selectively illuminated, power consumption can be reduced by not illuminating unnecessary light sources 60. Further, since the light source 60 to be illuminated is selected according to the area to be displayed on the display 21, only the area necessary for display can be illuminated, and the power consumption can be effectively reduced.
  • Second Embodiment> Next, a second embodiment will be described.
  • the configuration and processing of the image display system in the second embodiment are substantially the same as those in the first embodiment, but only a part thereof is different. Therefore, the differences from the first embodiment are described below. The explanation will be focused on.
  • the viewpoint position of the virtual viewpoint VP of the composite image FP4 is moved in response to the operation of the winker switch of the direction indicator 85 of the driver.
  • FIG. 18 is a diagram showing a screen state transition in the vehicle confirmation mode M22.
  • FIG. 19 is a diagram illustrating transition of the position of the virtual viewpoint VP.
  • the viewpoint position of the virtual viewpoint VP is the position VPC (see FIG. 19) at the substantially center left and right behind the vehicle 9, and the viewing direction. Is set in the forward direction of the vehicle 9.
  • the display 21 shows a composite image FP4 that includes the left and right side regions of the vehicle 9 substantially equally.
  • the turn signal input from the direction indicator 85 is on, that is, when there is a direction instruction
  • the visual field direction remains the front direction of the vehicle 9 with respect to the virtual viewpoint VP
  • the viewpoint position is the direction indicated by the turn signal. Moved to position.
  • the viewpoint position of the virtual viewpoint VP is set to the position VPL on the left side of the vehicle 9 (see FIG. 19).
  • a composite image FP4 that shows the left side area indicated by the turn signal of the direction indicator 85 larger than the right side area is displayed on the display 21. .
  • the viewpoint position of the virtual viewpoint VP is set to the position VPR on the right side of the vehicle 9 (see FIG. 19).
  • a composite image FP4 that shows the right side area indicated by the turn signal of the direction indicator 85 larger than the left side area is displayed on the display 21.
  • the direction indicated by the direction indicator 85 has a high possibility that there is an object that the vehicle 9 moves and comes into contact with when the direction is changed or the width is adjusted. Therefore, by showing the side area in the direction instructed by the direction indicator 85 in this way, the user's (typically a driver) 's attention can be directed to an object that may come into contact with the vehicle. The contact between 9 and the object can be effectively prevented.
  • the direction instruction is canceled, as shown in state STC in FIG. 18, the state returns to a state in which the composite image FP4 including both the left and right side regions of the vehicle 9 is displayed substantially equally.
  • the light source 60 to be illuminated is selected from the three light sources 60 housed in the housing 7 arranged in the direction indicated by the direction instruction.
  • FIG. 20 is a diagram illustrating a flow of processing for selecting the light source 60 to be illuminated by the illumination control unit 12 according to the second embodiment.
  • steps S21 to S25 shown in FIG. 20 is the same as the processing in steps S11 to S15 shown in FIG. Therefore, when step S25 is completed, the light source 60 to be illuminated is selected according to the display mode.
  • step S25 it is subsequently determined whether or not the display mode is the vehicle confirmation mode M22 and there is a direction instruction (step S26). The presence / absence of a direction instruction is determined based on the turn signal.
  • the display mode is other than the vehicle confirmation mode M22 or when there is no direction instruction even in the vehicle confirmation mode M22 (No in step S26)
  • the light source 60 selected in step S25 is illuminated as it is. Control is performed (step S28).
  • step S26 when the display mode is the vehicle confirmation mode M22 and there is a direction instruction (Yes in step S26), among the light sources 60 selected in step S25, the light sources arranged in the direction indicated by the direction instruction Only 60 is selected, and the selection of the light source 60 arranged in the direction opposite to the direction indication is canceled (step S27). And it controls so that only the light source 60 arrange
  • the attention of the user is directed to the side region in the direction indicated by the direction indicator 85. be able to.
  • the light source 60 to be illuminated is selected based on the direction indicated by the direction instruction only in the vehicle confirmation mode M22.
  • the direction is the same in other display modes. Only the light source 60 arranged in the direction indicated by the instruction may be illuminated.
  • the three light sources 60 arranged in one side camera unit 70 illuminate the front area FA, the central area CA, and the rear area BA as shown in FIG. Of these, the front area FA can be illuminated by a headlight that the vehicle 9 includes as a standard.
  • FIG. 21 is a diagram showing an area where the headlight 98 of the vehicle 9 can be illuminated.
  • an area HA that can be illuminated by the headlight 98 to such an extent that an image with sufficient brightness can be acquired (for example, 0.5 lux or more) is indicated by hatching.
  • the front area FA is included in an area HA that the headlight 98 can illuminate. Therefore, when the headlight 98 is lit, the necessity for illuminating the front area FA is low. For this reason, in the third embodiment, when the headlight 98 is lit, the front light source 61 is not selected as the light source 60 to be illuminated.
  • FIG. 22 is a diagram showing a flow of processing for selecting the light source 60 to be illuminated by the illumination control unit 12 in the third embodiment.
  • steps S31 to S35 shown in FIG. 22 is the same as the processing in steps S11 to S15 shown in FIG. Therefore, when step S35 is completed, the light source 60 to be illuminated is selected according to the display mode.
  • step S35 it is subsequently determined whether or not the headlight 98 is turned on (step S36).
  • the lighting state of the headlight 98 is determined based on a signal from the lighting control device 84. If the headlight 98 is not turned on (No in step S36), the light source 60 selected in step S35 is controlled to illuminate as it is (step S38).
  • the light source 60 other than the front light source 61 is selected from the light sources 60 selected in step S35, and the selection of the front light source 61 is canceled (step S37). And it controls so that only the light source 60 selected out of the front light sources 61 illuminates (step S38).
  • the headlight 98 by not illuminating the area illuminated by the headlight 98, useless illumination is not performed and power consumption can be effectively reduced.
  • the lighting state of the headlight 98 among the lighting devices for traveling is considered, but the lighting is performed in consideration of the lighting state of other traveling lighting devices such as a tail lamp and a brake lamp.
  • the light source 60 to be used may be selected.
  • the traveling state of the vehicle such as the shift position and the traveling speed may be considered.
  • the shift position is “D (forward)”
  • the front light source 61 is selected as the light source 60 to be illuminated
  • the shift position is “R (reverse)”
  • the rear light source 62 is selected as the light source 60 to be illuminated. It is possible to do.
  • the traveling speed is higher than a predetermined value
  • only the front light source 61 is selected as the light source 60 to illuminate so that the driver concentrates in the traveling direction.
  • the traveling speed is less than the predetermined value, it is necessary to check the periphery of the vehicle Therefore, it is conceivable to select all the light sources 60 as the light sources 60 to be illuminated.
  • the image processing apparatus 100 and the navigation apparatus 20 are described as separate apparatuses. However, the image processing apparatus 100 and the navigation apparatus 20 are arranged in the same casing and are integrated. It may be configured as.
  • the display device that displays the image generated by the image processing device 100 is described as the navigation device 20, but a general display device that does not have a special function such as a navigation function. It may be.
  • control unit 1 of the image processing apparatus 100 may be realized by the control unit 23 of the navigation apparatus 20.
  • part or all of the signals described as being input to the control unit 1 of the image processing apparatus 100 via the signal input unit 41 are input to the navigation apparatus 20. Also good. In this case, the signal may be input to the control unit 1 of the image processing apparatus 100 via the navigation communication unit 42.
  • the direction instruction intended by the driver of the vehicle 9 is input from the direction indicator 85, but may be input by other means.
  • the movement of the viewpoint of the driver may be detected from an image obtained by photographing the eyes of the driver, and a direction instruction intended by the driver may be input from the detection result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

　撮影を補助する複数の光源を簡便かつ低コストに車両に取り付ける。　車両の同一方向の側方領域を照明する３つの光源６０が、同一のハウジング７内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、３つの光源６０がハウジング７によってサイドカメラユニット７０として一体化される。このため、このサイドカメラユニット７０を取り付けるのみで、複数の光源６０を車両に一度に取り付けることができる。その結果、車両９の側方領域を広範囲に照明するための複数の光源６０を、簡便かつ低コストに車両に取り付けることができる。

Description

車載照明装置、画像処理装置及び画像表示システム
　本発明は、車両の周辺の撮影を補助する照明を行う技術に関する。
　従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
　例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをドライバが把握しにくい。これに対して、画像表示システムを利用すれば、車載カメラの撮影によりフロントフェンダの外側領域を示す画像が取得され、その画像が車室内のディスプレイに表示される。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバが容易に確認できる。
　このような画像表示システムでは、夜間など周辺環境が暗い場合においては撮影時に十分な露光量が得られず、車両の周辺を示す画像としての明るさが十分に確保できない場合がある。このため、周辺環境が比較的暗い場合には撮影を補助する補助光を発光して撮影対象となる領域を照明し、画像として必要な明るさを確保することも提案されている（例えば、特許文献１参照。）。
日本国特開２００４－１８９０６０号公報 日本国特許第３２８６３０６号公報
　ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムが提案されている（例えば、特許文献２参照。）。この画像表示システムでは、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
　このような画像表示システムを利用する場合においても、周辺環境が比較的暗い場合には車両の周囲を照明することが望ましい。この場合、車両の前方や後方は、車両が標準で備える走行用灯火装置（ヘッドライト、テールランプなど）で照明が可能である。これに対し、車両の側方領域については、標準の走行用灯火装置による照明が届きにくいため、車両の前方から後方にわたる比較的広い範囲を補助光で照明する必要がある。
　一つの光源で照明できる範囲は限られることから、車両の前方から後方にわたる側方領域全体を照明するためには、複数の光源で分担して照明することが必要となる。この場合においては、例えば、車両の側面における前端から後端にかけての複数の位置（例えば、車両の前端部、中央部、及び、後端部など）にそれぞれ光源を配置することが考えられる。
　しかしながら、車両の側面の複数の位置に光源を配置すると、複数の光源のそれぞれの位置まで電源ラインや制御ラインを配置することが必要となり、複数の光源の車両への取り付けに膨大かつ複雑な作業が必要となる。これにより、複数の光源の取付コストが増大し、さらには、画像表示システムの取付コストが増大してしまう。画像表示システムを車両に対する後付のオプションとして提供する場合には、車両への取り付けが簡便かつ低コストにできることが必要条件となるため、このような問題への解決策が必要となっていた。
　本発明は、上記課題に鑑みてなされたものであり、撮影を補助する複数の光源を簡便かつ低コストに車両に取り付けることができる技術を提供することを目的とする。
　本発明の目的は、以下の構成によって達成される。
（１）　複数のカメラで撮影された車両の周辺の画像に基づいて仮想視点からみた合成画像を生成する画像生成装置の当該複数のカメラによる撮影を補助する照明を行う車載照明装置であって、前記車両の側方領域を照明する複数の光源と、前記複数の光源の光軸を互いに異なる方向に向けた状態で前記複数の光源を固定して収容するハウジングと、を備えている。
　また、車載照明装置において、前記複数の光源は、前記側方領域のうちの前記車両の前方側に位置する前方領域を主に照明する第１光源と、前記側方領域のうちの前記車両の後方側に位置する後方領域を主に照明する第２光源と、前記前方領域と前記後方領域との間に位置する領域を主に照明する第３光源と、を含む。
（２）　上記（１）に記載の車載照明装置において、前記第１光源の光軸の方向と前記第２光源の光軸の方向とは、前記第３光源の光軸の方向に関して対称となる。
（３）　上記（１）または（２）に記載の車載照明装置において、前記第３光源の光量を、前記第１光源及び前記第２光源よりも少なくする光源駆動手段、をさらに備えている。
（４）　上記（１）ないし（３）のいずれかに記載の車載照明装置において、前記ハウジング内には、前記複数のカメラのうちの前記車両の前記側方領域を撮影するカメラが収容される。
（５）　上記（１）ないし（４）のいずれかに記載の車載照明装置において、前記複数の光源を選択的にオンおよびオフする制御手段、をさらに備えている。
（６）　上記（５）に記載の車載照明装置において、前記画像生成装置は、前記車両の周辺の少なくとも一部の領域を示す画像を表示装置に出力して、当該画像を当該表示装置に表示させ、前記制御手段は、前記表示装置に表示させる前記画像に示される領域に応じて、前記複数の光源のうちからオンする光源を一つ以上選択する。
（７）　上記（５）に記載の車載照明装置において、前記車両の走行において用いられる走行用灯火装置の動作状態を示す信号を入力する入力手段、をさらに備え、前記制御手段は、前記灯火装置の前記動作状態に応じて、前記複数の光源のうちからオンする光源を一つ以上選択する。
（８）　上記（５）に記載の車載照明装置において、前記車両のドライバが意図する方向指示を入力する入力手段、をさらに備え、前記ハウジングは、前記車両の左側及び右側にそれぞれ配置され、前記制御手段は、前記方向指示が有るときは、前記方向指示が示す側に配置された前記ハウジングに収容された前記複数の光源のうちからオンする光源を一つ以上選択する。
（９）　車両に搭載される画像処理装置であって、複数のカメラで撮影された前記車両の周辺の画像に基づいて仮想視点からみた合成画像を生成する画像生成装置と、前記画像生成装置の前記複数のカメラによる撮影を補助する照明を行う上記（１）ないし（８）のいずれかに記載の車載照明装置と、を備えている。
（１０）　車両に搭載される画像表示システムであって、上記（９）に記載の画像処理装置と、前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、を備えている。
　上記（１）ないし（１０）の構成によれば、車両の側方領域を照明する複数の光源がハウジングによって光軸の方向が互いに異なる状態で収容される。このため、複数の光源がハウジングによって一体化され、車両の側方領域を広範囲に照明するための複数の光源を、簡便かつ低コストに車両に取り付けることができる。
　また、特に上記（１）の構成によれば、車両の側方領域を車両の前方側から後方側にわたって照明できる。
　また、特に上記（２）の構成によれば、一体化された光源を車両の左右の双方に兼用できるため、汎用性が向上してコスト削減できる。
　また、特に上記（３）の構成によれば、光源の位置から比較的遠い領域を照明する第１光源及び第２光源より、光源の位置から比較的近い領域を照明する第３光源の光量を少なくすることで、車両の側方領域を車両の前方側から後方側にわたっておよそ均一に照明できる。
　また、特に上記（４）の構成によれば、カメラとそのカメラの撮影を補助する複数の光源とがハウジングによって一体化されるため、カメラと光源とを一括して容易に車両に取り付けることができる。
　また、特に上記（５）の構成によれば、複数の光源を選択的に照明させることができることから、不要な光源を照明させないことで消費電力を低減できる。
　また、特に上記（６）の構成によれば、表示させる領域に応じて必要な領域のみを照明でき、消費電力を有効に低減できる。
　また、特に上記（７）の構成によれば、走行用灯火装置が照明している領域を照明しないことで、消費電力を有効に低減できる。
　また、特に上記（８）の構成によれば、ドライバが意図する方向の側方領域が照明されるため、ドライバが注目すべき領域のみを照明することができる。
図１は、画像表示システムの構成を示すブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、サイドカメラユニットの外観構成を示す図である。 図４は、車両の後方から見たサイドカメラユニットの断面図である。 図５は、車両の左側から見たサイドカメラユニットの断面図である。 図６は、３つの光源の光軸の車両に対する位置関係を示す図である。 図７は、３つの光源の光軸の車両に対する位置関係を示す図である。 図８は、３つの光源への電力供給に係る回路の概略を示す図である。 図９は、合成画像を生成する手法を説明するための図である。 図１０は、画像表示システムの動作モードの遷移を示す図である。 図１１は、周囲確認モードにおける仮想視点の位置の遷移を示す図である。 図１２は、周囲確認モードにおける表示例を示す図である。 図１３は、フロントモードにおける表示モードの遷移を示す図である。 図１４は、バックモードにおける表示モードの遷移を示す図である。 図１５は、ドアミラーが格納された状態を示す図である。 図１６は、照明テーブルの内容を示す図である。 図１７は、第１の実施の形態における、光源を選択する処理の流れを示す図である。 図１８は、自車確認モードにおける画面の状態遷移を示す図である。 図１９は、仮想視点の位置の遷移を示す図である。 図２０は、第２の実施の形態における、光源を選択する処理の流れを示す図である。 図２１は、車両のヘッドライトが照明可能な領域を示す図である。 図２２は、第３の実施の形態における、光源を選択する処理の流れを示す図である。
　以下、図面を参照しつつ本発明の実施の形態について説明する。
　＜１．第１の実施の形態＞
　　＜１－１．システム構成＞
　図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
　図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成する画像処理装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像処理装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
　ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
　ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能である。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
　画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。さらに、画像処理装置１００は、撮影部５の撮影を補助する照明を行う補助照明部６を備えており、撮影部５の撮影を補助する照明を行う車載照明装置としても機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３と補助照明部６が備える複数の光源６０とは、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
　画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
　ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能である。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。
　画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、及び、合成画像生成部３２を主な機能として備えている。
　撮影画像調整部３１は、撮影部５で取得された撮影画像について調整を行うものであり、撮影画像の明るさやコントラスト等の画質調整や歪み補正などを行う。撮影画像調整部３１は、撮影部５で取得されたままの撮影画像の全体としての明るさを示す平均輝度を参照し、その平均輝度に応じたゲイン調整を行うことで撮影画像の明るさを調整する。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両の周辺環境がある程度暗い場合などにあっても撮影画像が比較的明るく調整されることとなる。しかしながら、夜間など周辺環境が非常に暗い場合においては、このようなゲイン調整を行っても表示する画像としての十分な明るさが得られないため、補助照明部６による照明が必要となる。
　合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。
　撮影画像調整部３１により調整された撮影画像や合成画像生成部３２により生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示される。
　制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１及び照明制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。
　画像制御部１１は、画像生成部３によって実行される画像処理を制御する。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
　照明制御部１２は、補助照明部６による照明を制御する。照明制御部１２は、補助照明部６に含まれる複数の光源６０を選択的に照明させることが可能である。具体的には、照明制御部１２は、複数の光源６０のうちから照明すべき光源６０を選択し、選択した光源６０のみが照明するように補助照明部６に信号を出力する。
　また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に電気的に接続されている。
　不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａ、及び、照明テーブル４ｂが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる、車両の種別に応じたデータである。また、照明テーブル４ｂは、照明制御部１２が、補助照明部６の複数の光源６０から照明すべき光源６０を選択する際に参照するテーブルデータである。
　カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。
　メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。
　また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、照度センサ８３、灯火制御装置８４、方向指示器８５、及び、ミラー駆動装置８６などから、各種情報を示す信号が制御部１に入力される。
　シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
　照度センサ８３は、車両のフロントウインドウ中央上部やダッシュボード上に取り付けられ、車両の周辺環境の明るさを示す照度を検出する。照度センサ８３からは、検出結果となる照度が入力される。
　灯火制御装置８４は、補助照明部６とは別に車両に標準的に設けられる、車両の通常の走行に用いる走行用灯火装置の制御を行う。走行用灯火装置には、ヘッドライト（前照灯）、スモールランプ（車幅灯）、テールランプ（尾灯）、ブレーキランプ（制動灯）、及び、バックランプ（後退灯）などが含まれる。灯火制御装置８４は、ドライバの操作に応答してヘッドライトやスモールランプを点灯させ、ヘッドライトまたはスモールランプを点灯させるときにはテールランプを点灯させる。また、灯火制御装置８４は、ドライバによりブレーキが踏まれた場合はブレーキランプを点灯させ、シフトポジションが”Ｒ”のときにバックランプを点灯させる。灯火制御装置８４からは、このような各種の走行用灯火装置の点灯状態が入力される。
　方向指示器８５からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示す。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
　また、ミラー駆動装置８６は、ドライバの操作に応答して車両のドアミラーを格納／展開する。ミラー駆動装置８６からは、ドアミラーの状態（格納／展開）が入力される。
　　＜１－２．撮影部及び補助照明部＞
　次に、画像処理装置１００の撮影部５及び補助照明部６について詳細に説明する。撮影部５及び補助照明部６は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
　撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
　図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
　フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の－Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
　これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３の各々は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能である。
　図１に戻り、補助照明部６は、撮影部５の撮影を補助する照明を行う６つの光源６０を備えている。各光源６０は、不可視光である近赤外光を発光するＬＥＤなどで構成される。近赤外光は人間の目には見えないため、補助照明部６の光源６０から車両９の周辺を照明したとしても、車両９の周辺に存在する歩行者などに影響を与えることがない。一方で、車載カメラ５１，５２，５３に採用される撮像素子は、近赤外光の感度を有している。このため、車両９の周辺環境が比較的暗い場合においては、補助照明部６の光源の近赤外光を補助光として車両９の周辺の領域を照明することにより、歩行者などに影響を与えることなく、その領域の状況を示す十分な明るさの画像を取得できる。
　補助照明部６は、車両９の側方領域を照明する。補助照明部６の６つの光源６０のうち、３つの光源６０は車両９の左側に配置され、残りの３つの光源６０は車両９の右側に配置される。車両９の左側の３つの光源６０は、車両９の左側のサイドカメラ５３とともに、同一のハウジング内に収容されて一体化され、サイドカメラユニット７０を形成する。同様に、車両９の右側の３つの光源６０は、車両９の右側のサイドカメラ５３とともに、同一のハウジング内に収容されて一体化され、サイドカメラユニット７０を形成する。
　図３は、左側のサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。
　図４は、左側のサイドカメラユニット７０の車両９の後方（＋Ｙ側）から見たＸＺ平面での断面図である。また、図５は、左側のサイドカメラユニット７０の車両９の左側（－Ｘ側）から見たＹＺ平面での断面図である。図５は図４のＶ－Ｖ位置での断面図に相当し、図４は図５のＩＶ－ＩＶ位置での断面図に相当する。
　これらの図に示すように、サイドカメラユニット７０は、筐体となるハウジング７を有している。このハウジング７内には、サイドカメラ５３、ならびに、補助照明部６の３つの光源６０及び光源駆動部６９が収容されている。３つの光源６０は、具体的には、車両９の前方側の領域を主に照明する前方光源６１と、車両９の後方側の領域を主に照明する後方光源６２と、前方光源６１及び後方光源６２が照明する領域の相互間の領域を主に照明する中央光源６３とがある。光源駆動部６９は、これら３つの光源６０に電力を供給して光源６０を発光させる。
　サイドカメラ５３は、レンズ５３１と撮像素子５３２とを備えて構成されている。図４に示すように、サイドカメラ５３は、その一部がハウジング７内に配置され、光軸５３ａが車両９の外側に向けられている。サイドカメラ５３は、この光軸５３ａの方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジング７に固定される。
　補助照明部６の３つの光源６０は、ハウジング７内においてサイドカメラ５３よりも内側（＋Ｘ側）に配置されている。３つの光源６１，６２，６３の光軸６１ａ，６２ａ，６３ａは車両９の外側に向けられ、その方向はすべて車両９の前後方向（Ｙ軸方向）から見て鉛直方向に対して所定の角度θ１とされている。角度θ１は、例えば３０度以下とすることが望ましい。
　また、図５に示すように、ハウジング７内の中央部分には中央光源６３が配置されるとともに、前方光源６１と後方光源６２とはハウジング７内の中心に関して左右対称に配置されている。車両９の左右方向（Ｘ軸方向）から見て、中央光源６３の光軸６３ａの方向は鉛直方向（Ｚ軸方向）に沿っており、前方光源６１の光軸６１ａの方向は車両９の前方側（－Ｙ側）に傾けられ、後方光源６２の光軸６２ａの方向は車両９の後方側（＋Ｙ側）に傾けられている。そして、前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。すなわち、中央光源６３の光軸６３ａと前方光源６１の光軸６１ａとでなす角度は、中央光源６３の光軸６３ａと後方光源６２の光軸６２ａとでなす角度に一致し、所定の角度θ２とされている。角度θ２は、例えば６０度以上７０度以下とすることが望ましい。
　補助照明部６の３つの光源６０は、上記で説明した位置及び方向となるように、固定部材７１によりハウジング７に固定される。すなわち、３つの光源６０は、その光軸が互いに異なる方向に向けた状態でハウジング７に固定される。これらの光源６０の固定位置の下部に相当するハウジング７の部分には、近赤外光を透過する透過部材７２が採用されている。これにより、光源６０の補助光をハウジング７の外部に投光できる。
　図６及び図７は、左側のサイドカメラユニット７０における３つの光源６０の光軸の車両９に対する位置関係を示す図である。図６は上面図（＋Ｚ側から見た図）、図７は側面図（－Ｘ側から見た図）である。
　これらの図に示すように、ドアミラー９３に設けられるサイドカメラユニット７０から、車両９の側面に対しＸ軸方向に５００ｍｍ離間した位置に向けて、３つの光源６０の光軸６１ａ，６２ａ，６３ａが延びている。３つの光源６０の光軸６１ａ，６２ａ，６３ａの方向は互いに異なっている。具体的には、平面視（図６参照）で、中央光源６３の光軸６３ａは車両９の左右方向（Ｘ軸方向）に沿っており、前方光源６１の光軸６１ａは車両９の前方側（－Ｙ側）に向けられ、後方光源６２の光軸６２ａは車両９の後方側（＋Ｙ側）に向けられている。また、側面視（図７参照）で、中央光源６３の光軸６３ａは鉛直方向（Ｚ軸方向）に沿っており、前方光源６１の光軸６１ａは車両９の前方側（－Ｙ側）に向けられ、後方光源６２の光軸６２ａは車両９の後方側（＋Ｙ側）に向けられている。前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。
　このような光軸の配置により、３つの光源６１，６２，６３によって車両９の側方領域が分担して照明される。照明対象となる側方領域としては、車両９に対して相対固定される所定の領域が設定されている。具体的には、車両９の前後方向（Ｙ軸方向）においては、照明対象となる側方領域は、車両９の前端よりも約２ｍ前方の位置から車両９のおよそ後端位置までである。また、車両９の左右方向（Ｘ軸方向）においては、照明対象となる側方領域は、車両９の側面の位置からその外側に約１ｍ離れた位置までである。
　前方光源６１は、照明対象となる側方領域のうち、車両９の前端よりも前方の領域（以下、「前方領域」という。）ＦＡを主に照明する。後方光源６２は、照明対象となる側方領域のうち、車両９のリアドア９６及びリアフェンダ９７付近の外側の領域（以下、「後方領域」という。）ＢＡを主に照明する。また、中央光源６３は、照明対象となる側方領域のうち、前方領域ＦＡと後方領域ＢＡとの間となる、車両９のフロントフェンダ９４及びフロントドア９５付近の外側の領域（以下、「中央領域」という。）ＣＡを主に照明する。
　このように、本実施の形態においては、車両９の同一方向の側方領域を照明する３つの光源６０が、同一のハウジング７内に光軸の方向が互いに異なる状態で固定されて収容される。これにより、３つの光源６０がハウジング７によってサイドカメラユニット７０として一体化される。このため、このサイドカメラユニット７０を取り付けるのみで、複数の光源６０を一度に取り付けることができる。また、３つの光源６０への電源ラインや制御ラインなどの配線も、一つのサイドカメラユニット７０の位置まで行えばよい。このため、車両９の側方領域を広範囲に照明するための複数の光源６０を、簡便かつ低コストに車両９に取り付けることが可能となる。
　また、サイドカメラユニット７０のハウジング７内には、３つの光源６０とともに、車両９の側方領域を撮影するサイドカメラ５３も収容され、３つの光源６０とサイドカメラ５３とが一体化される。このため、サイドカメラユニット７０を取り付けるのみで、サイドカメラ５３と複数の光源６０とを一括して容易かつ低コストに車両９に取り付けることができる。その結果、画像表示システム１２０全体としての車両９への取付コストを大きく低減できる。
　また、サイドカメラユニット７０内において、前方光源６１の光軸６１ａの方向と後方光源６２の光軸６２ａの方向とは、中央光源６３の光軸６３ａの方向に関して対称とされている。このため、サイドカメラユニット７０を、車両９の左側及び右側のいずれに配置した場合であっても、３つの光源６０の光軸の車両９に対する方向を同一とすることができる。したがって、サイドカメラユニット７０は、車両９の左側及び右側の双方に兼用できることから、サイドカメラユニット７０として左側あるいは右側の専用の装置を用意する必要が無いため、製造コストを低減できる。
　また、このように側方領域を３つの光源６０で分担して照明する場合、側方領域の部分ごとの明るさが照明を担う光源６０によって異なってしまい、側方領域の全体として明るさが不均一となることが考えられる。これに対応するため、本実施の形態では、同一のサイドカメラユニット７０に配置される３つの光源６０の光量を調整するようにしている。
　図８は、サイドカメラユニット７０に設けられる光源駆動部６９における、３つの光源６０への電力供給に係る回路の概略を示す図である。
　３つの光源６０には、電源ライン６９１によって、車両９に備えられたバッテリＢから所定の電圧Ｖｃｃ（例えば、６Ｖ）の電力が供給される。前方光源６１と後方光源６２とは直列に接続され、所定の抵抗６９２を介して電源ライン６９１に接続される。一方、中央光源６３は、前方光源６１及び後方光源６２の経路とは別の並列経路で、所定の抵抗６９３を介して電源ライン６９１に接続される。
　このため、前方光源６１及び後方光源６２には同一の電流Ｉ１が流れ、中央光源６３には電流Ｉ１とは異なる電流Ｉ２が流れる。３つの光源６１，６２，６３の抵抗値は同一である。また、中央光源６３と直列に接続される抵抗６９３は、前方光源６１及び後方光源６２に直列に接続される抵抗６９２よりも、抵抗値が大きくされている。これにより、中央光源６３に流れる電流Ｉ２は、前方光源６１及び後方光源６２に流れる電流Ｉ１よりも小さい。例えば、電流Ｉ２は、電流Ｉ１の３０％未満であることが望ましく、さらには、２０％未満であることが望ましい。
　光源６０の光量は電流に依存するため、このような電流の調整により、前方光源６１及び後方光源６２の光量は同一となる一方で、中央光源６３の光量は前方光源６１及び後方光源６２よりも少なくなる。中央光源６３は、前方光源６１及び後方光源６２と比較して、サイドカメラユニット７０の位置（３つの光源６０が配置される位置）から比較的近い領域を照明する。このため、このように中央光源６３の光量を相対的に少なくすることで、車両９の前方側から後方側にわたる車両９の側方領域の全体をおよそ均一に照明できる。
　なお、本実施の形態のように、同一のハウジング７内に３つの光源６０を配置すると、光源６０による発熱も問題となる。このため、光源駆動部６９において、電流Ｉ１、電流Ｉ２、及び、その他の電流（光源６０以外に流れる電流）の合計値を所定値（例えば、２００ｍＡ）未満に制限して、光源６０等による発熱を抑制することが望ましい。これは、抵抗６９２，６９３の値を調整することで実現できる。
　　＜１－３．画像変換処理＞
　次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図９は、合成画像を生成する手法を説明するための図である。
　撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１～Ｐ４が取得される。撮影部５で取得される４つの撮影画像Ｐ１～Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれている。
　次に、４つの撮影画像Ｐ１～Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１～Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１～Ｐ４に含まれる各画素の値とに基づいて決定できる。
　撮影画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
　また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
　さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
　そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成される。
　例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
　なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１～Ｐ４に基づいて決定することで、処理速度を向上できる。
　　＜１－４．動作モード＞
　次に、画像表示システム１２０の動作モードについて説明する。図１０は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられる。
　ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
　これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。
　周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。
　画像表示システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。
　また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。
　車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。
　また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。
　一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
　以下、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のそれぞれにおける、車両９の周辺の表示態様について詳細に説明する。
　　＜１－５．周囲確認モード＞
　まず、周囲確認モードＭ１における車両９の周辺の表示態様について説明する。周囲確認モードＭ１においては、図１１に示すように、車両９を見下ろすように仮想視点ＶＰが設定され、車両９の周辺を周回するように仮想視点ＶＰが連続的に移動される。仮想視点ＶＰは、最初に車両９の後方に設定された後、右回りで車両９の周辺を周回する。このようにして仮想視点ＶＰが、車両９の左側、前方及び右側を経由して再び後方まで移動すると、車両９の直上まで移動する。
　このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。
　これにより、図１２に示すように、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現がなされる。図１２の示す例では、状態ＳＴ１～ＳＴ６の順で合成画像ＲＰが順次に表示される。各合成画像ＲＰにおいては、車両９は画像の中心付近に配置されており、車両９とともに車両９の周辺の様子を確認できる。
　ユーザは、周囲確認モードＭ１のこのようなアニメーション表現を視認することで、車両９を目の前にした視点から車両９の全周囲の状況を確認することができ、直感的に車両９の全周囲の障害物と車両９との位置関係を把握できる。
　　＜１－６．フロントモード＞
　次に、フロントモードＭ２における車両９の周辺の表示態様について詳細に説明する。図１３は、フロントモードＭ２における表示モードの遷移を示す図である。フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、及び、サイドカメラモードＭ２３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示される。
　これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ２３の場合に切替スイッチ４３を押下すると、再び、走行俯瞰モードＭ２１に戻る。
　走行俯瞰モードＭ２１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ１と、フロントカメラ５１での撮影により得られるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１と、車両９の前方を示すフロント画像ＦＰ２との二つの画像が同一画面上に示される。
　走行俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
　また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ３と、車両９の後方の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、自車確認モードＭ２２では、車両９の前方を示すフロント画像ＦＰ３と、車両９の側方を示す合成画像ＦＰ４との二つの画像が同一画面上に示される。
　自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前端より前方かつ左右方向に存在する物体を確認できる。
　また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両９の後方に移動されているため、車両９の後方を示す領域は狭くなるものの、車両９の側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。
　自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。
　また、サイドカメラモードＭ２３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９４の外側のみを示している。
　サイドカメラモードＭ２３においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。
　　＜１－７．バックモード＞
　次に、バックモードＭ３における車両９の周辺の表示態様について詳細に説明する。図１４は、バックモードＭ３における表示モードの遷移を示す図である。バックモードＭ３では、駐車俯瞰モードＭ３１、及び、ドアミラーモードＭ３２の２つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面にも、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示される。
　これらの表示モードは、ミラー駆動装置８６から入力されるドアミラー９３の状態に応じて制御部１の制御により切り替えられる。具体的には、ドアミラー９３が通常状態に展開されている場合は駐車俯瞰モードＭ３１となり、ドアミラー９３が格納されている場合はドアミラーモードＭ３２となる。
　駐車俯瞰モードＭ３１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＢＰ１と、バックカメラ５２での撮影により得られるバック画像ＢＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１と、車両９の後方を示すバック画像ＢＰ２との二つの画像が同一画面上に示される。
　駐車俯瞰モードＭ３１においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードＭ３１は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。
　また、ドアミラーモードＭ３２は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＢＰ３，ＢＰ４を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＢＰ３，ＢＰ４は、ドアミラー９３が展開している際に、ドアミラー９３に映る範囲とほぼ同様の範囲、具体的には、車両９の側方領域のうちの後方を示す。
　図１５に示すように、サイドカメラ５３はドアミラー９３に設けられるため、ドアミラー９３が格納された状態となると、その光軸５３ａの方向が車両９の後方に向けられる。この状態では、サイドカメラ５３において車両９の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸５３ａが車両９の後方へ移動するため、車両９の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードＭ３２では、このようなサイドカメラ５３で取得された撮影画像を利用して、車両９の側方領域の後方を示す二つの画像ＢＰ３，ＢＰ４を生成して表示する。
　ドアミラーモードＭ３２においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、ユーザは、駐車環境によってドアミラー９３を格納せざるを得ない場合であっても、ドアミラー９３に映る範囲とほぼ同様の範囲を確認することができる。
　　＜１－８．光源の選択＞
　このように画像表示システム１２０においては、各種の表示態様で車両９の周辺の様子がディスプレイ２１に示され、周辺環境が比較的暗くて車両９の周辺を示す画像としての明るさが十分に確保できないときは、補助照明部６で照明を行う。
　ただし、補助照明部６の複数の光源６０をすべて一律に照明したのでは、電力が無駄に消費される可能性がある。例えば、サイドカメラモードＭ２３においては、フロントフェンダ９４の外側のみが示されることから、図６における中央領域ＣＡのみを照明すれば必要な画像が取得でき、前方領域ＦＡや後方領域ＢＡを照明する必要性は低い。
　このため、画像表示システム１２０では、照明制御部１２が、その時点の表示モードに応じて、補助照明部６の複数の光源のうちから照明させる光源６０を選択し、選択した光源６０のみを照明させる。これにより、その時点においてディスプレイ２１に表示されている車両９の周辺の領域に応じた光源６０が選択され、表示に必要な領域のみが主に照明される。
　このような表示モードと、照明制御部１２が選択する光源６０との対応関係は予め定められており、その対応関係は、不揮発性メモリ４０に記憶された照明テーブル４ｂに示されている。
　図１６は、この照明テーブル４ｂの内容を示す図である。図に示すように、照明テーブル４ｂにおいては、表示モードごとに、前方光源６１、中央光源６３及び後方光源６２のいずれを照明するかが記載されている。照明テーブル４ｂにおいて、照明すべき光源６０は「ＯＮ」と示され、照明しない光源６０は「ＯＦＦ」と示されている。
　周囲確認モードＭ１においては、前方光源６１、中央光源６３及び後方光源６２の全てが照明すべき光源６０として示されている。周囲確認モードＭ１は、車両９の全周囲の状況を確認するための表示モードであるため、できるだけ広い範囲を照明することが望ましい。このため、全ての光源６０が照明する光源６０として選択される。
　走行俯瞰モードＭ２１においては、前方光源６１、中央光源６３及び後方光源６２の全てが照明すべき光源６０として示されている。走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１が示されることから、できるだけ広い範囲を照明することが望ましい。このため、全ての光源６０が照明する光源６０として選択される。
　自車確認モードＭ２２においては、前方光源６１及び中央光源６３が照明すべき光源６０として示されている。自車確認モードＭ２２は、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などに利用される。このため、ユーザが注目すべき車両９の前方側に注意を向けさせるために、前方光源６１及び中央光源６３のみが照明する光源６０として選択され、後方光源６２は選択されない。
　サイドカメラモードＭ２３においては、中央光源６３のみが照明すべき光源６０として示されている。サイドカメラモードＭ２３においては、フロントフェンダ９４の外側のみが示されることから、中央光源６３のみが照明する光源６０として選択され、前方光源６１及び後方光源６２は選択されない。
　駐車俯瞰モードＭ３１においては、前方光源６１、中央光源６３及び後方光源６２の全てが照明すべき光源６０として示されている。駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１が示されることから、できるだけ広い範囲を照明することが望ましい。このため、全ての光源６０が照明する光源６０として選択される。
　また、ドアミラーモードＭ３２においては、中央光源６３のみが照明すべき光源６０として示されている。ドアミラーモードＭ３２においては、車両９の側方領域の後方が示される。ただしこの場合、ドアミラー９３が格納されているため、３つの光源６０の光軸の方向も車両９の後方側へ移動される。このため、車両９の側方領域の後方に光軸が向けられた中央光源６３のみが照明すべき光源６０として選択され、前方光源６１及び後方光源６２は選択されない。
　　＜１－９．処理フロー＞
　次に、上記のような照明すべき光源６０を選択する処理の流れについて説明する。図１７は、照明制御部１２が照明すべき光源６０を選択する処理の流れを示す図である。この処理は、照明制御部１２により繰り返し実行される。
　まず、ディスプレイ２１に車両９の周辺の画像を表示させる状態であるかが判定される（ステップＳ１１）。具体的には、動作モードが、ナビモードＭ０以外（周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のいずれか）であるかが判定される。動作モードがナビモードＭ０の場合は（ステップＳ１１にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）。
　また、動作モードがナビモードＭ０以外のときには（ステップＳ１１にてＹｅｓ）、次に、補助照明部６による照明が必要な程度に周辺環境が暗いか否かが判定される（ステップＳ１２）。具体的には、照度センサ８３から入力される車両９の周辺環境の明るさを示す照度が、所定のしきい値よりも低いか否かが判定される。照度センサ８３からの照度が所定のしきい値よりも高い場合は（ステップＳ１２にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）。
　また、照度センサ８３からの照度が所定のしきい値よりも低い場合は（ステップＳ１２にてＹｅｓ）、続いて、撮影部５で実際に取得される撮影画像の明るさが、補助照明部６による照明が必要な程度に暗いか否かが判定される（ステップＳ１３）。具体的には、撮影画像調整部３１から撮影画像の平均輝度が制御部１に入力され、撮影画像の平均輝度が所定のしきい値よりも低いか否かが判定される。撮影画像の平均輝度が所定のしきい値よりも高い場合は（ステップＳ１３にてＮｏ）、補助照明部６による照明が不要であるため全ての光源６０が消灯される（ステップＳ１７）。
　一方、撮影画像の平均輝度が所定のしきい値よりも低い場合は（ステップＳ１３にてＹｅｓ）、次に、その時点の表示モードが取得される（ステップＳ１４）。そして、不揮発性メモリ４０に記憶された照明テーブル４ｂが参照されて、表示モードに応じて照明すべき光源６０が選択される（ステップＳ１５）。
　続いて、選択された光源６０のみが照明するように照明制御部１２から補助照明部６に信号が出力される。これにより、表示モードに応じて選択された光源６０のみが点灯する（ステップＳ１６）。
　以上のように、本実施の形態では、補助照明部６の複数の光源６０を選択的に照明させることができることから、不要な光源６０を照明させないことで消費電力を低減できる。また、ディスプレイ２１に表示させる領域に応じて照明すべき光源６０を選択するため、表示に必要な領域のみを照明でき、消費電力を有効に低減できる。
　＜２．第２の実施の形態＞
　次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
　第２の実施の形態では、自車確認モードＭ２２において、ドライバの方向指示器８５のウインカースイッチの操作に応答して、合成画像ＦＰ４の仮想視点ＶＰの視点位置が移動される。
　図１８は、自車確認モードＭ２２における画面の状態遷移を示す図である。また、図１９は、仮想視点ＶＰの位置の遷移を示す図である。方向指示器８５から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は車両９の後方における左右略中央の位置ＶＰＣ（図１９参照）、視野方向は車両９の前方方向に設定される。これにより、図１８の状態ＳＴＣに示すように、ディスプレイ２１には、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ４が示される。
　一方、方向指示器８５から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
　具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される（図１９参照）。これにより、図１８の状態ＳＴＬに示すように、方向指示器８５のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ４が、ディスプレイ２１に表示される。
　また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される（図１９参照）。これにより、図１８の状態ＳＴＲに示すように、方向指示器８５のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ４がディスプレイ２１に表示される。
　方向指示器８５で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８５で指示された方向の側方領域を大きく示すことで、ユーザ（代表的にはドライバ）の注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。なお、方向指示が解除されると、図１８の状態ＳＴＣに示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ４が表示される状態に戻る。
　また、第２の実施の形態では、このように方向指示が有る場合は、方向指示が示す方向に配置されたハウジング７に収容された３つの光源６０のうちから照明すべき光源６０が選択される。
　図２０は、第２の実施の形態における、照明制御部１２が照明すべき光源６０を選択する処理の流れを示す図である。
　図２０に示すステップＳ２１～Ｓ２５の処理は、図１９に示すステップＳ１１～Ｓ１５の処理と同様である。したがって、ステップＳ２５が完了した時点で、表示モードに応じて照明すべき光源６０が選択されている。
　ステップＳ２５が完了すると、続いて、表示モードが自車確認モードＭ２２で、かつ、方向指示が有るか否かが判定される（ステップＳ２６）。方向指示の有無は、ターン信号に基づいて判断される。表示モードが自車確認モードＭ２２以外の場合や、自車確認モードＭ２２であっても方向指示が無い場合は（ステップＳ２６にてＮｏ）、そのままステップＳ２５で選択された光源６０が照明するように制御される（ステップＳ２８）。
　一方、表示モードが自車確認モードＭ２２で、かつ、方向指示が有る場合は（ステップＳ２６にてＹｅｓ）、ステップＳ２５で選択された光源６０のうちで、方向指示が示す方向に配置された光源６０のみが選択され、方向指示とは逆方向に配置された光源６０の選択が解除される（ステップＳ２７）。そして、方向指示が示す方向に配置された光源６０のみが照明するように制御される（ステップＳ２８）。
　このように、方向指示が示す方向に配置された光源６０のみを照明させることで、方向指示器８５で指示された方向の側方領域に、ユーザ（代表的にはドライバ）の注意を向けさせることができる。
　なお、第２の実施の形態では、自車確認モードＭ２２の場合にのみ、方向指示が示す方向に基づいて照明すべき光源６０を選択していたが、他の表示モードにおいても同様に、方向指示が示す方向に配置された光源６０のみを照明させるようにしてもよい。
　＜３．第３の実施の形態＞
　次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。
　一つのサイドカメラユニット７０に配置される３つの光源６０は、図６に示すように、前方領域ＦＡ、中央領域ＣＡ及び後方領域ＢＡを照明する。このうち、前方領域ＦＡについては、車両９が標準的に備えるヘッドライトによっても照明することが可能である。
　図２１は、車両９のヘッドライト９８が照明可能な領域を示す図である。図中では、ヘッドライト９８によって、十分な明るさの画像の取得が可能な程度（例えば、０．５ルクス以上）に照明できる領域ＨＡをハッチングで示している。図に示すように、前方領域ＦＡは、ヘッドライト９８が照明可能な領域ＨＡに含まれている。したがって、ヘッドライト９８が点灯している場合は、前方領域ＦＡを照明する必要性は低い。このため、第３の実施の形態では、ヘッドライト９８が点灯している場合は、前方光源６１を照明すべき光源６０として選択しない。
　図２２は、第３の実施の形態における、照明制御部１２が照明すべき光源６０を選択する処理の流れを示す図である。
　図２２に示すステップＳ３１～Ｓ３５の処理は、図１９に示すステップＳ１１～Ｓ１５の処理と同様である。したがって、ステップＳ３５が完了した時点で、表示モードに応じて照明すべき光源６０が選択されている。
　ステップＳ３５が完了すると、続いて、ヘッドライト９８が点灯されているか否かが判定される（ステップＳ３６）。ヘッドライト９８の点灯状態は、灯火制御装置８４からの信号に基づいて判断される。ヘッドライト９８が点灯していない場合は（ステップＳ３６にてＮｏ）、そのままステップＳ３５で選択された光源６０が照明するように制御される（ステップＳ３８）。
　一方、ヘッドライト９８が点灯している場合は、ステップＳ３５で選択された光源６０のうちから、前方光源６１以外の光源６０が選択され、前方光源６１の選択が解除される（ステップＳ３７）。そして、前方光源６１以外のうちから選択された光源６０のみが照明するように制御される（ステップＳ３８）。
　このように、ヘッドライト９８が照明している領域を照明しないことで、無駄な照明がなされず、消費電力を有効に低減できる。なお、第３の実施の形態では、走行用灯火装置のうちヘッドライト９８の灯火状態のみを考慮していたが、テールランプやブレーキランプなど他の走行用灯火装置の点灯状態を考慮して照明すべき光源６０を選択するようにしてもよい。
　＜４．変形例＞
　以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
　例えば、照明すべき光源６０を選択する条件として、シフトポジションや走行速度などの車両の走行状態を考慮するようにしてもよい。例えば、シフトポジションが”Ｄ（前進）”であれば前方光源６１を照明すべき光源６０として選択し、シフトポジションが”Ｒ（後退）”であれば後方光源６２を照明すべき光源６０として選択することなどが考えられる。また、走行速度が所定以上の場合はドライバに進行方向に集中させるために前方光源６１のみを照明すべき光源６０として選択し、走行速度が所定未満の場合は車両の周辺の確認が必要な場合が多いため全ての光源６０を照明すべき光源６０として選択することが考えられる。
　また、上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
　また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
　また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
　また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
　また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８５から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
　また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
　本出願は、２００９年１１月１６日に提出された日本特許出願（特願２００９－２６０６９９）に基づくものであり、その内容はここに参照として取り込まれる。
　１　　　制御部
　１２　　照明制御部
　２１　　ディスプレイ
　３　　　画像生成部
　３２　　合成画像生成部
　４ｂ　　照明テーブル
　５３　　サイドカメラ
　６　　　補助照明部
　６１　　前方光源
　６２　　後方光源
　６３　　中央光源
　７　　　ハウジング
　７０　　サイドカメラユニット
　９３　　ドアミラー

Claims (10)

  1. 　複数のカメラで撮影された車両の周辺の画像に基づいて仮想視点からみた合成画像を生成する画像生成装置の当該複数のカメラによる撮影を補助する照明を行う車載照明装置であって、
    　前記車両の側方領域を照明する複数の光源と、
    　前記複数の光源の光軸を互いに異なる方向に向けた状態で前記複数の光源を固定して収容するハウジングと、を備え、
    　前記複数の光源は、
    　　前記側方領域のうちの前記車両の前方側に位置する前方領域を主に照明する第１光源と、
    　　前記側方領域のうちの前記車両の後方側に位置する後方領域を主に照明する第２光源と、
    　　前記前方領域と前記後方領域との間に位置する領域を主に照明する第３光源と、を含む。
  2. 　請求項１に記載の車載照明装置において、
    　前記第１光源の光軸の方向と前記第２光源の光軸の方向とは、前記第３光源の光軸の方向に関して対称となる。
  3. 　請求項１または２に記載の車載照明装置において、
    　前記第３光源の光量を、前記第１光源及び前記第２光源よりも少なくする光源駆動手段、
    をさらに備える。
  4. 　請求項１ないし３のいずれかに記載の車載照明装置において、
    　前記ハウジング内には、前記複数のカメラのうちの前記車両の前記側方領域を撮影するカメラが収容される。
  5. 　請求項１ないし４のいずれかに記載の車載照明装置において、
    　前記複数の光源を選択的にオンおよびオフする制御手段、をさらに備える。
  6. 　請求項５に記載の車載照明装置において、
    　前記画像生成装置は、前記車両の周辺の少なくとも一部の領域を示す画像を表示装置に出力して、当該画像を当該表示装置に表示させ、
    　前記制御手段は、前記表示装置に表示させる前記画像に示される領域に応じて、前記複数の光源のうちからオンする光源を一つ以上選択する。
  7. 　請求項５に記載の車載照明装置において、
    　前記車両の走行において用いられる走行用灯火装置の動作状態を示す信号を入力する入力手段、をさらに備え、
    　前記制御手段は、前記灯火装置の前記動作状態に応じて、前記複数の光源のうちからオンする光源を一つ以上選択する。
  8. 　請求項５に記載の車載照明装置において、
    　前記車両のドライバが意図する方向指示を入力する入力手段、をさらに備え、
    　前記ハウジングは、前記車両の左側及び右側にそれぞれ配置され、
    　前記制御手段は、前記方向指示が有るときは、前記方向指示が示す側に配置された前記ハウジングに収容された前記複数の光源のうちからオンする光源を一つ以上選択する。
  9. 　車両に搭載される画像処理装置であって、
    　複数のカメラで撮影された前記車両の周辺の画像に基づいて仮想視点からみた合成画像を生成する画像生成装置と、
    　前記画像生成装置の前記複数のカメラによる撮影を補助する照明を行う請求項１ないし８のいずれかに記載の車載照明装置と、を備える。
  10. 　車両に搭載される画像表示システムであって、
    　請求項９に記載の画像処理装置と、
    　前記画像処理装置から出力された前記車両の周辺を示す画像を表示する表示装置と、を備える。
PCT/JP2010/068930 2009-11-16 2010-10-26 車載照明装置、画像処理装置及び画像表示システム WO2011058875A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201080051841.5A CN102639360B (zh) 2009-11-16 2010-10-26 车载照明设备、图像处理设备和图像显示系统
US13/509,900 US9610891B2 (en) 2009-11-16 2010-10-26 In-vehicle illuminating apparatus, image processing apparatus, and image displaying system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009260699A JP5503259B2 (ja) 2009-11-16 2009-11-16 車載照明装置、画像処理装置及び画像表示システム
JP2009-260699 2009-11-16

Publications (1)

Publication Number Publication Date
WO2011058875A1 true WO2011058875A1 (ja) 2011-05-19

Family

ID=43991534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/068930 WO2011058875A1 (ja) 2009-11-16 2010-10-26 車載照明装置、画像処理装置及び画像表示システム

Country Status (4)

Country Link
US (1) US9610891B2 (ja)
JP (1) JP5503259B2 (ja)
CN (1) CN102639360B (ja)
WO (1) WO2011058875A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813941A (zh) * 2011-09-28 2014-05-21 丰田自动车株式会社 具备车辆侧域照明/视认单元的车辆
CN106168728A (zh) * 2015-05-21 2016-11-30 株式会社电装 图像生成设备
CN110654306A (zh) * 2015-04-10 2020-01-07 麦克赛尔株式会社 车辆
WO2021153233A1 (ja) * 2020-01-30 2021-08-05 株式会社小糸製作所 車載赤外線投光器、車両用周辺検知装置、車両用灯具
US11643015B2 (en) 2020-04-22 2023-05-09 Motherson Innovations Company Limited Exterior rearview device for automotive vehicles and kit of parts

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5807405B2 (ja) * 2011-06-27 2015-11-10 アイシン精機株式会社 車両周辺撮影装置
JP6027782B2 (ja) * 2012-06-13 2016-11-16 矢崎総業株式会社 車両用映像表示装置
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
JP6481273B2 (ja) * 2014-07-11 2019-03-13 株式会社デンソー 車両用表示装置
JP6484420B2 (ja) * 2014-09-17 2019-03-13 株式会社小糸製作所 車両用リアランプ
TWI516118B (zh) * 2014-12-22 2016-01-01 晶睿通訊股份有限公司 攝影裝置控制方法及其攝影裝置
CN105989743A (zh) * 2015-02-13 2016-10-05 杭州海存信息技术有限公司 停放车辆的夜间探测
JP6167143B2 (ja) * 2015-07-15 2017-07-19 尹金樹 ヘッドライトと補助灯の照明切り換えシステム
US9815370B2 (en) * 2015-09-14 2017-11-14 Hyundai Motor Company Vehicle and control method thereof
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
FR3046393B1 (fr) * 2016-01-05 2022-08-19 Valeo Schalter & Sensoren Gmbh Procede mis en oeuvre dans un vehicule automobile et vehicule automobile associe
US10906453B2 (en) * 2016-09-06 2021-02-02 Koito Manufacturing Co., Ltd. Vehicular detection device and vehicular lamp
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10511762B2 (en) 2016-10-24 2019-12-17 Rosemount Aerospace Inc. System and method for aircraft camera image alignment
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
CN106926772B (zh) * 2017-03-22 2020-05-08 奇瑞汽车股份有限公司 汽车照明系统
DE112017007684T5 (de) * 2017-07-21 2020-03-05 Mitsubishi Electric Corporation Bestrahlungssystem und bestrahlungsverfahren
US10569697B2 (en) 2017-10-10 2020-02-25 Magna Mirrors Of America, Inc. Vehicle door handle assembly with light module
SE542685C2 (en) * 2017-12-27 2020-06-23 Scania Cv Ab Method and control unit for configuring an add-on interface
US10780821B2 (en) * 2018-01-09 2020-09-22 Toyota Research Institute, Inc. System for alerting a vehicle occupant to a ground surface condition adjacent a vehicle door
JP7309724B2 (ja) * 2018-08-15 2023-07-18 株式会社小糸製作所 車両用表示システム及び車両
DE102019215926A1 (de) * 2018-10-17 2020-04-23 Magna Mirrors Of America, Inc. Duales beleuchtungsmodul für ein fahrzeug
FR3087721B1 (fr) * 2018-10-24 2021-07-30 Valeo Vision Systeme et procede pour l’eclairage d’une region laterale d’un vehicule
JP7279438B2 (ja) * 2019-03-19 2023-05-23 株式会社リコー 撮像装置、車両及び撮像方法
CN110065432B (zh) * 2019-05-23 2023-11-24 上海工程技术大学 一种用于货车右侧盲区的多功能警示灯
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법
FR3103251B1 (fr) * 2019-11-15 2021-11-12 Valeo Vision Module d’éclairage pour partie latérale d’un véhicule
US20220390083A1 (en) * 2019-11-15 2022-12-08 Valeo Vision Lighting module for lateral part of a vehicle
EP3836537A1 (de) * 2019-12-09 2021-06-16 ZKW Group GmbH System zur überwachung der umgebung eines kraftfahrzeuges

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002240629A (ja) * 2001-02-20 2002-08-28 Sony Corp 車載用ビデオカメラ
JP2004189060A (ja) * 2002-12-10 2004-07-08 Auto Network Gijutsu Kenkyusho:Kk 車両用周辺視認装置
JP2006324222A (ja) * 2005-05-20 2006-11-30 Auto Pal:Kk 車両側部照明装置
JP2008059159A (ja) * 2006-08-30 2008-03-13 Nissan Motor Co Ltd 車両用運転支援装置及び運転支援方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6276821B1 (en) * 1992-12-16 2001-08-21 Donnelly Corporation Vehicle exterior mirror system with signal light
US5837994C1 (en) * 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
EP2267656A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
DE10059313A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
JP2005055318A (ja) 2003-08-05 2005-03-03 Sunway:Kk 路面撮影装置
JP2007519549A (ja) * 2004-02-20 2007-07-19 シャープ株式会社 周囲状況提示システムおよび周囲状況提示方法
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
EP1876829A4 (en) * 2005-04-28 2010-06-09 Aisin Seiki SYSTEM FOR MONITORING THE PERIPHERY OF A VEHICLE
JP4727329B2 (ja) * 2005-07-15 2011-07-20 パナソニック株式会社 画像合成装置及び画像合成方法
JP5422902B2 (ja) 2008-03-27 2014-02-19 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002240629A (ja) * 2001-02-20 2002-08-28 Sony Corp 車載用ビデオカメラ
JP2004189060A (ja) * 2002-12-10 2004-07-08 Auto Network Gijutsu Kenkyusho:Kk 車両用周辺視認装置
JP2006324222A (ja) * 2005-05-20 2006-11-30 Auto Pal:Kk 車両側部照明装置
JP2008059159A (ja) * 2006-08-30 2008-03-13 Nissan Motor Co Ltd 車両用運転支援装置及び運転支援方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813941A (zh) * 2011-09-28 2014-05-21 丰田自动车株式会社 具备车辆侧域照明/视认单元的车辆
EP2762360A4 (en) * 2011-09-28 2016-01-06 Toyota Motor Co Ltd VEHICLE COMPRISING VISUAL RECOGNITION / VEHICLE LATERAL REGION LIGHTING MEANS
CN103813941B (zh) * 2011-09-28 2016-02-24 丰田自动车株式会社 具备车辆侧域照明/视认单元的车辆
CN110654306A (zh) * 2015-04-10 2020-01-07 麦克赛尔株式会社 车辆
CN106168728A (zh) * 2015-05-21 2016-11-30 株式会社电装 图像生成设备
CN106168728B (zh) * 2015-05-21 2019-11-05 株式会社电装 图像生成设备
WO2021153233A1 (ja) * 2020-01-30 2021-08-05 株式会社小糸製作所 車載赤外線投光器、車両用周辺検知装置、車両用灯具
US11643015B2 (en) 2020-04-22 2023-05-09 Motherson Innovations Company Limited Exterior rearview device for automotive vehicles and kit of parts
US11912200B2 (en) 2020-04-22 2024-02-27 Motherson Innovations Company Limited Exterior rearview device for automotive vehicles and kit of parts

Also Published As

Publication number Publication date
CN102639360A (zh) 2012-08-15
US20120229645A1 (en) 2012-09-13
JP2011105084A (ja) 2011-06-02
CN102639360B (zh) 2014-12-10
JP5503259B2 (ja) 2014-05-28
US9610891B2 (en) 2017-04-04

Similar Documents

Publication Publication Date Title
JP5503259B2 (ja) 車載照明装置、画像処理装置及び画像表示システム
JP5604146B2 (ja) 車載照明装置、画像処理装置、画像表示システム及び照明方法
JP5523954B2 (ja) 画像表示システム
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP5324310B2 (ja) 車載照明装置、画像処理装置及び画像表示システム
JP5592138B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP5548002B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
US9706175B2 (en) Image processing device, image processing system, and image processing method
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
WO2011078183A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JP5271154B2 (ja) 画像生成装置及び画像表示システム
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012257004A (ja) 画像生成装置、画像表示システム、及び、画像生成方法
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2005231605A (ja) 後方確認装置
JP5466743B2 (ja) 画像生成装置及び画像表示システム
JP2019043408A (ja) 車両の前照灯制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080051841.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10829835

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13509900

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10829835

Country of ref document: EP

Kind code of ref document: A1