WO2011093354A1 - 画像処理装置、および画像処理方法 - Google Patents

画像処理装置、および画像処理方法 Download PDF

Info

Publication number
WO2011093354A1
WO2011093354A1 PCT/JP2011/051546 JP2011051546W WO2011093354A1 WO 2011093354 A1 WO2011093354 A1 WO 2011093354A1 JP 2011051546 W JP2011051546 W JP 2011051546W WO 2011093354 A1 WO2011093354 A1 WO 2011093354A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
luminance
vehicle
brightness
camera
Prior art date
Application number
PCT/JP2011/051546
Other languages
English (en)
French (fr)
Inventor
昌彦 村上
信徳 朝山
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010017615A external-priority patent/JP5464741B2/ja
Priority claimed from JP2010019060A external-priority patent/JP5413843B2/ja
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to US13/575,408 priority Critical patent/US9041807B2/en
Publication of WO2011093354A1 publication Critical patent/WO2011093354A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Definitions

  • the present invention relates to a technique for adjusting the luminance of a plurality of camera images to be combined.
  • a technology for processing an image input from a camera and displaying it on a display screen is known.
  • camera image processing called AGC (Automatic Gain Control).
  • the AGC is usually composed of an electric circuit or the like.
  • the average brightness of the image signal input from the camera is weak, the overall brightness is increased.
  • the average brightness is strong, the brightness is totally bright. This is control that performs processing to reduce the image so that the image displayed on the display screen is not too dark and not too bright.
  • Patent Document 1 Japanese Patent Application Publication No. 11-136571
  • the luminance is increased by a predetermined percentage according to the low, or the luminance is high based on the average luminance.
  • Performs a correction that decreases by a predetermined percentage according to the height hereinafter, this correction is referred to as an average luminance correction.
  • the average luminance of the image is calculated as follows: This is considerably higher than the case where the headlight light is not included.
  • the average brightness correction is performed based on the increased average brightness, the brightness of the entire image is settled with reference to the high average brightness, so that the overall brightness becomes dark and the originally dark portion does not become bright. The trouble that it becomes difficult to see occurs.
  • a vehicle peripheral image is generated by combining images input from a plurality of cameras mounted on the vehicle to generate a vehicle peripheral image showing a state of the periphery of one vehicle and displaying the generated vehicle peripheral image on a display screen.
  • a display system has been developed.
  • a first object of the present invention is to provide a technique that makes it easy to see a composite image of a plurality of camera images captured by a plurality of cameras mounted on a vehicle.
  • the second object of the present invention is to provide a technique capable of performing an optimal brightness correction on an image captured by an in-vehicle camera.
  • An image processing apparatus mounted on a vehicle, Image acquisition means for acquiring a plurality of camera images from a plurality of cameras provided in the vehicle; Image selecting means for selecting one of the plurality of camera images as a representative image based on the luminance of the plurality of camera images; First brightness adjusting means for adjusting at least one brightness of another camera image based on the brightness of the representative image; Based on the representative image and the other camera image having at least one brightness adjusted by the first brightness adjusting means, a composite image generating means for generating a composite image showing the periphery of the vehicle; An image processing apparatus comprising: an image providing unit that outputs information corresponding to the composite image to a display device mounted on the vehicle.
  • the image selecting means calculates an average value of luminances of a plurality of pixels constituting each camera image for each of the plurality of camera images, and selects a camera image having the highest average value as the representative image.
  • the image processing device is characterized in that the image selection means excludes pixels having luminance higher than a predetermined value when calculating the average value.
  • Image processing further comprising control means for enabling the first brightness adjusting means when the difference between the highest average value and the lowest average value calculated by the image selection means is a predetermined value or more. apparatus.
  • Second brightness adjusting means for adjusting the brightness of each of the plurality of camera images based on the average for each of the plurality of camera images calculated by the image selecting means;
  • the image processing apparatus characterized in that the control means enables the second luminance adjustment means when the difference is less than the predetermined value.
  • An image processing method Acquire multiple camera images from multiple cameras installed in the vehicle, Selecting one of the plurality of camera images as a representative image based on the luminance of the plurality of camera images; Adjusting at least one brightness of another camera image based on the brightness of the representative image; Based on the representative image and the other camera image in which at least one brightness is adjusted, a composite image showing the periphery of the vehicle is generated, An image processing method, comprising: outputting information corresponding to the composite image to a display device mounted on the vehicle.
  • An image processing apparatus mounted on a vehicle Image acquisition means for acquiring a camera image from a camera provided in the vehicle; First average calculating means for dividing the camera image into a plurality of regions each including a plurality of pixels and calculating an average value of the luminance of the pixels as a first average luminance for each of the plurality of regions; A region selecting means for selecting at least one region of the plurality of regions in which the first average value is equal to or less than a threshold; Brightness adjusting means for adjusting the brightness of the entire camera image based on the brightness of the at least one area selected by the area selecting means; Image providing means for outputting information corresponding to the camera image whose overall brightness has been adjusted by the brightness adjusting means to a display device mounted on the vehicle; Second average calculation means for calculating an average value of luminance of pixels included in the at least one area selected by the area selection means as a second average value; An image processing apparatus comprising: a threshold update unit configured to update the
  • (9) In the image processing device according to (7), The image processing apparatus, wherein the luminance adjusting unit adjusts the luminance of the entire camera image based on a maximum value of luminance of pixels included in the at least one region selected by the region selecting unit.
  • the image acquisition means acquires a plurality of camera images from a plurality of cameras provided in the vehicle
  • the first average calculating means calculates the first average value for each of the plurality of camera images
  • the region selecting means selects the at least one region for each of the plurality of camera images
  • the brightness adjusting means adjusts the overall brightness for each of the plurality of camera images
  • the image processing apparatus further includes composite image generation means for generating a composite image showing the periphery of the vehicle based on the plurality of camera images whose brightness has been adjusted by the image adjustment means,
  • the image providing device outputs information corresponding to the composite image to the display device.
  • An image processing method Obtain a camera image from the camera installed in the vehicle, Dividing the camera image into a plurality of regions each including a plurality of pixels; Calculating an average value of luminance of the pixels as a first average value for each of the plurality of regions; Selecting at least one region of the plurality of regions where the first average value is equal to or less than a threshold; Based on the brightness of the at least one area selected by the area selection means, the brightness of the entire camera image is adjusted, Outputs information corresponding to the camera image with the overall brightness adjusted to a display device mounted on the vehicle, Calculating an average value of luminance of pixels included in the at least one region selected by the region selection means as a second average value; An image processing method, wherein the threshold value is updated based on the second average value.
  • the generated composite image has little unevenness in luminance, and can prevent the user from feeling uncomfortable.
  • the highest average luminance can be prevented from becoming extremely high, and visibility to the user can be improved.
  • the luminance can be adjusted based on the average luminance for each camera image, and image degradation can be prevented.
  • the luminance is extremely high while the luminance of the entire image is calmed based on the second average value. It is possible to prevent the dark part from being affected by the influence of the part and the dark part from becoming bright.
  • the luminance of the entire image can be calmed based on the maximum luminance, and the image quality of the high-luminance portion is degraded.
  • FIG. 1 is a diagram showing a vehicle equipped with a vehicle periphery image display system according to the present invention.
  • FIG. 2 is a system block diagram of the vehicle periphery image display system according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining image processing executed by the vehicle periphery image display system of FIG.
  • FIG. 4 is a flowchart for explaining details of the image luminance calculation processing in FIG.
  • FIG. 5 is a diagram illustrating reception of an image signal from the imaging unit in FIG.
  • FIG. 6 is a diagram for explaining reception of an image signal from the imaging unit in FIG.
  • FIG. 7 is a flowchart for explaining details of the setting selection process in FIG. FIG.
  • FIG. 8 is a diagram illustrating an example of a camera image received from the imaging unit in FIG.
  • FIG. 9 is a diagram showing an example in which a conventional brightness adjustment process is performed on the camera image of FIG.
  • FIG. 10 is a flowchart for explaining the first image luminance adjustment processing in FIG.
  • FIG. 11 is a diagram illustrating an example in which the first image brightness adjustment process is performed on the camera image of FIG. 8.
  • FIG. 12 is a flowchart for explaining the second image brightness adjustment processing in FIG. 3.
  • FIG. 13 is a flowchart for explaining the image composition processing in FIG.
  • FIG. 14 is a diagram for explaining the image composition processing of FIG.
  • FIG. 15 is a flowchart for explaining the image adjustment processing in FIG.
  • FIG. 16 is a flowchart for explaining the image display processing in FIG. FIG.
  • FIG. 17 is a system block diagram of the vehicle surrounding image display system according to the second embodiment of the present invention.
  • FIG. 18 is a system block diagram of an AGC unit in the vehicle periphery image display system of FIG.
  • FIG. 19 is a flowchart for explaining image processing executed by the vehicle periphery image display system of FIG.
  • FIG. 20 is a flowchart for explaining details of the image luminance calculation processing in FIG.
  • FIG. 21 is a diagram illustrating an example of a camera image received from the imaging unit in FIG.
  • FIG. 22 is a diagram illustrating an example in which the image luminance calculation process of FIG. 20 is performed on the camera image of FIG.
  • FIG. 23 is a flowchart for explaining details of the image brightness adjustment processing in FIG.
  • FIG. 24 is a diagram for explaining the details of the image adjustment processing of FIG.
  • the vehicle periphery image display system S1 includes an image processing system S2, an in-vehicle device 100, various switches, and sensors that are electrically connected to the in-vehicle network N.
  • the image processing system S2 includes a control device 10, a first imaging unit 200, a second imaging unit 201, a third imaging unit 202, and a fourth imaging unit 203 that constitute the imaging system S3.
  • the control device 10 is installed under the passenger seat of the vehicle 1.
  • the in-vehicle device 100 is installed between a driver seat and a passenger seat on the dashboard of the vehicle 1.
  • the first imaging unit 200 is installed in the front part of the vehicle 1
  • the second imaging unit 201 is installed in the left side mirror 2 of the vehicle 1
  • the third imaging unit 202 is installed in the right side mirror 3 of the vehicle 1
  • the four imaging unit 203 is installed at the rear part of the vehicle 1.
  • Various switches and sensors are appropriately arranged at positions for achieving the purpose.
  • the in-vehicle network N is disposed inside the body of the vehicle 1 such as the engine room or pillar of the vehicle 1.
  • the vehicle surrounding image display system S ⁇ b> 1 includes an image processing system S ⁇ b> 2 and the in-vehicle device 100.
  • the image processing system S2 includes a control device 10 and an imaging system S3.
  • the imaging system S3 includes a first imaging unit 200, a second imaging unit 201, a third imaging unit 202, and a fourth imaging unit 203.
  • the first imaging unit 200 is a front camera that is a vehicle-mounted camera
  • the second imaging unit 201 is a left-side camera that is a vehicle-mounted camera
  • the third imaging unit 202 is a right-side camera that is a vehicle-mounted camera
  • the 4th imaging part 203 is a back camera which is a vehicle-mounted camera.
  • Each of these imaging units includes an imaging element such as a CCD or a CMOS, and acquires an image electronically.
  • the first imaging unit 200 is provided in the vicinity of the license plate mounting position at the front end of the vehicle 1, and its optical axis is directed in the straight traveling direction of the vehicle 1.
  • the second imaging unit 201 is provided in the left side mirror 2, and its optical axis is directed to the outside along the left direction with reference to the straight traveling direction of the vehicle 1.
  • the third imaging unit 202 is provided in the light side mirror 3, and its optical axis is directed to the outside along the right direction with reference to the straight traveling direction of the vehicle 1.
  • the fourth imaging unit 203 is provided in the vicinity of the license plate mounting position at the rear end of the vehicle 1, and the optical axis thereof is directed in the direction opposite to the straight traveling direction of the vehicle 1.
  • the attachment position of the first imaging unit 200 and the fourth imaging unit 203 is desirably the substantially horizontal center, but may be a position slightly shifted in the horizontal direction from the horizontal center.
  • a fish-eye lens or the like is adopted as the lens of the first imaging unit 200 to the fourth imaging unit 203, and the first imaging unit 200 to the fourth imaging unit 203 have an angle of view of 180 degrees or more. For this reason, it is possible to capture the entire periphery of the vehicle 1 by using these four imaging units.
  • the control apparatus 10 corresponds to the image processing apparatus of the present invention, and includes a control unit 11, an AGC unit 12, a non-volatile storage unit 13, a volatile storage unit 14, and an image adjustment unit 15, as shown in FIG. .
  • the control unit 11 includes a setting selection unit 16, a first image luminance adjustment unit 17, a second image luminance adjustment unit 18, an image composition unit 19, and an image display unit 20. That is, the control unit 11 exhibits a setting selection function, a first image brightness adjustment function, a second image brightness adjustment function, an image composition function, and an image display function, which will be described later.
  • control unit 11 is a microcomputer including a CPU, a ROM, a RAM, and the like.
  • the CPU executes a program for demonstrating the function stored in the ROM while using the RAM serving as a working area.
  • the AGC unit 12 includes an image luminance calculation unit 21. That is, the AGC unit 12 exhibits an image luminance calculation function, which will be described later.
  • the AGC unit 12 is composed of an electronic circuit or the like.
  • An image captured by the imaging system S3 is input to an electronic circuit or the like, and the electronic circuit or the like performs its function based on the input image.
  • the nonvolatile storage unit 13 is composed of an EEPROM.
  • the controller 11 serves as a backup memory that stores parameters when the controller 11 performs various functions.
  • the volatile storage unit 14 is composed of a RAM.
  • the control unit 11 stores a fixed amount of the synthesized image and displays the image stored by the image display function, the controller 11 deletes the displayed image and stores the latest image. That is, it plays the role of a video memory.
  • the image adjustment unit 15 is a contour correction function that corrects the contour of one vehicle peripheral image combined from a plurality of images by the image combining function of the control unit 11, and a contrast correction function that corrects the contrast of one vehicle peripheral image. It exhibits a saturation correction function that corrects the saturation of a single vehicle periphery image.
  • the image adjustment unit 15 is configured by an electronic circuit or the like.
  • One vehicle periphery image synthesized by the control unit 11 is input to an electronic circuit or the like, and the electronic circuit or the like performs its function based on the input image.
  • the image processing system S2 including the control device 10 and the imaging system S3 can be considered as an image composition device.
  • the in-vehicle device 100 includes a display / operation unit 101 and a control unit 112, as shown in FIG.
  • the display / operation unit 101 corresponds to the display device of the present invention and exhibits a display function and an operation function.
  • the display / operation unit 101 includes a touch panel display.
  • the display / operation unit 101 performs data display when display data such as an image is controlled by the control unit 11.
  • the display / operation unit 101 causes the control unit 11 to perform a function associated with the icon.
  • the control unit 102 exhibits the above-described display control function, navigation function, audio function, broadcast data communication function, and the like.
  • control unit 102 includes a CPU, a ROM, a RAM, and the like.
  • the CPU executes a program for demonstrating the function stored in the ROM while using the RAM serving as a working area.
  • the in-vehicle device 100 also exhibits a large-capacity storage device that stores map data necessary for performing a navigation function, an audio playback device necessary for performing an audio function, and a broadcast data communication function. It has a communication unit that is necessary for this.
  • Switch / sensor Various switches and sensors are connected to the in-vehicle network N together with the control device 10 and the in-vehicle device 100.
  • the switches and sensors include, for example, a lighting switch 300, a wiper switch 301, an illuminance sensor 302, and a setting switch 303.
  • the lighting switch 300 is a switch that is operated by the user to brighten the front of the vehicle 1 at night or when passing through a tunnel, and is provided near the driver's seat.
  • illumination (not shown) is turned on and the front of the vehicle 1 is brightened. That is, the control part 11 of the control apparatus 10 estimates that the surroundings of the vehicle 1 are dark when the lighting switch 300 is operated by the user.
  • the wiper switch 301 is a switch that is operated to remove water droplets on the windshield and rear glass of the vehicle 1 on which the user travels in rainy weather or heavy fog, and is provided near the driver's seat.
  • a wiper (not shown) is activated, and water droplets on the windshield and rear glass of the vehicle 1 are removed. That is, when the wiper switch 300 is operated by the user, the control unit 11 of the control device 10 estimates that the outside of the vehicle 1 is rainy or dense fog.
  • the illuminance sensor 302 is for detecting the degree of light that enters the outside of the vehicle 1 or the inside of the vehicle 1, and is appropriately provided at a position where the purpose can be achieved. That is, the control unit 11 of the control device 10 estimates the brightness around the vehicle 1 based on a signal indicating the degree of light detected by the illuminance sensor 302 received at a predetermined period or at a predetermined timing.
  • the setting switch 303 is used when performing a setting selection process in which the user sets which of the first image luminance adjustment process or the second image luminance adjustment process, which will be described later, to be performed by the control unit 11 of the control device 10.
  • the functions exhibited by the control device 10 include an image luminance calculation function exhibited by the AGC unit 12, and a setting selection function, a first image luminance adjustment function, a second image luminance adjustment function, and an image exhibited by the control unit 11.
  • the image adjustment function includes a contour correction function, a contrast correction function, and a saturation correction function.
  • control device 10 performs image luminance calculation processing S1000, setting selection processing S2000, first image luminance adjustment processing S3000, second image luminance adjustment processing S4000, image composition processing S5000, image shown in FIG. An adjustment process S6000 and an image display process S7000 are executed.
  • control unit 11, the AGC unit 12, and the image adjustment unit 15 of the control device 10 start executing image processing at a predetermined cycle when the control device 10 is activated by the user. That is, the process proceeds to step S1000 in FIG.
  • luminance Since the brightness of an image can be expressed in terms of luminance, it will be described below as “luminance”.
  • step S1000 the AGC unit 12 of the control device 10 executes an image luminance calculation process. Details of the image luminance calculation processing will be described with reference to FIG.
  • the AGC unit 12 starts executing the image luminance calculation process, and proceeds to step S1001. *
  • step S1001 the AGC unit 12 functions as an image acquisition unit of the present invention, and acquires (receives) an image captured by the first imaging unit 200 to the fourth imaging unit 203 and transmitted to the control unit 11.
  • the first imaging unit 200 transmits an image in the imaging range H ⁇ b> 1 to the control unit 11.
  • the second imaging unit 201 transmits an image in the imaging range H2 to the control unit 11.
  • the third imaging unit 202 transmits an image in the imaging range H3 to the control unit 11.
  • the third imaging unit 202 transmits an image in the imaging range H3 to the control unit 11.
  • the fourth imaging unit 203 transmits an image in the imaging range H4 to the control unit 11.
  • a fish-eye lens or the like is adopted as the lens included in the first imaging unit 200 to the fourth imaging unit 203, and the imaging ranges H1 to H4 of the first imaging unit 200 to the fourth imaging unit 203 shown in FIG. As shown, it has an angle of view of 180 degrees or more.
  • the image displayed by the first imaging unit 200 is a vehicle peripheral image of 180 degrees or more in the straight traveling direction of the vehicle 1 as shown in an image Z1 of FIG.
  • the image displayed by the second imaging unit 201 is a vehicle image of 180 degrees or more in the left direction with reference to the straight traveling direction of the vehicle 1 as shown in an image Z2 in FIG.
  • the image displayed by the third imaging unit 202 is a vehicle image of 180 degrees or more in the right direction with reference to the straight traveling direction of the vehicle 1 as shown in an image Z3 in FIG.
  • the image projected by the fourth imaging unit 203 is a vehicle image of 180 degrees or more in the direction opposite to the straight traveling direction of the vehicle 1 as shown by an image Z4 in FIG.
  • the process proceeds to step S1002.
  • the AGC unit 12 functions as an image selection unit of the present invention, and calculates an average luminance for each image in the images Z1 to Z4 received from the first imaging unit 200 to the fourth imaging unit 203.
  • the calculation of the average luminance of the image means that the total luminance assigned to each pixel in the image is divided by the total number of pixels.
  • the AGC unit 12 determines whether or not the luminance assigned to the pixel exceeds a threshold value that is a constant value, and if it exceeds, the luminance is the sum of the luminance in the calculation of the average luminance. Not included, and not included in the total number of pixels.
  • the threshold value is a value for excluding the high luminance from the calculation of the average luminance of the image.
  • step S1003 the average luminance is increased due to the high luminance applied to the pixels in the bright portion, and the image corrected based on the correction coefficient obtained by the average luminance in the subsequent processing is the high luminance in the bright portion. It prevents the overall brightness from being affected.
  • step S1003 the average luminance is increased due to the high luminance applied to the pixels in the bright portion, and the image corrected based on the correction coefficient obtained by the average luminance in the subsequent processing is the high luminance in the bright portion. It prevents the overall brightness from being affected.
  • the control unit 11 calculates a correction coefficient (gain adjustment value) based on the maximum average luminance among the average luminances calculated for each of the images Z1 to Z4 received from the AGC unit 12.
  • the correction coefficient is a value obtained by dividing the maximum average luminance by the respective average luminance. For example, as shown in FIG. 8, if the average brightness of the image Z1 is the maximum, the correction coefficient of the image Z1 is obtained by dividing the average brightness of the image Z1 by the average brightness of the image Z1, and the correction of the image Z2 The coefficient is obtained by dividing the average luminance of the image Z1 by the average luminance of the image Z2.
  • the correction coefficient of the image Z3 is obtained by dividing the average luminance of the image Z1 by the average luminance of the image Z3, and the correction of the image Z4.
  • the coefficient is obtained by dividing the average luminance of the image Z1 by the average luminance of the image Z4.
  • step S2000 the setting selection unit 16 of the control unit 11 executes a setting selection process. Details of the image luminance calculation processing will be described with reference to FIG.
  • step S2001 the control unit 11 receives a signal from the setting switch 303 via the in-vehicle network N.
  • the control unit 11 determines whether the received signal indicates setting 1 or setting 2. If the control unit 11 determines that the received signal indicates setting 1, the control unit 11 proceeds to step S2002 (setting 1 in step S2001). If the control unit 11 determines that the received signal indicates setting 2, the control unit 11 proceeds to step S2003 (setting 2 in step S2001).
  • the user enables setting 1 when a bright image and a dark image are mixed in a plurality of images received from the imaging system S3, and when a bright image and a dark image are not mixed, that is, all of the plurality of images are included.
  • Setting 2 is effective when it is bright or dark.
  • step S2002 the first flag set in the RAM included in the control unit 11 is turned on. Next, the process proceeds to return.
  • step S2003 the second flag set in the RAM provided in the control unit 11 is turned on. Next, the process proceeds to return.
  • the first flag and the second flag set in the RAM are set to 1 at the time of manufacture, and the control unit 11 sets the values set in the end process in the initial process. Next, the process proceeds to step S3000 in FIG.
  • the control unit 11 calculates the average luminance of the images Z1 to Z4 captured as one image
  • the luminance assigned to all the pixels of all the images is set to the luminance of the dark pixel based on the average luminance.
  • the image Z2 which is too dark and difficult to see, becomes brighter and easier to see, but is sufficiently bright and easy to see. This causes a problem that the image Z1 becomes even brighter and difficult to see.
  • a correction based on the same average brightness is performed on an extremely dark image and the brightest image, the outline of the object in the bright image becomes thin or disappears due to being dragged by the extremely dark image, making it difficult to see. .
  • a part of the image before the composition may become extremely darker than the other images, and such a problem is sufficiently considered to occur.
  • a shade such as a building.
  • the subsequent processing is executed so that there is no sense of incongruity when a single composite image is generated so that the luminance in the images Z1 to Z4 is uniform.
  • step S3000 the first image luminance adjustment unit 17 of the control unit 11 functions as a first luminance adjustment unit of the present invention and executes a first image luminance adjustment process. Details of the first image luminance calculation processing will be described with reference to FIG.
  • step S3001 the control unit 11 functions as a control unit of the present invention, and determines whether or not the first flag set in the provided RAM is on. When it is determined that the first flag is on (when setting 1 is enabled), control unit 11 proceeds to step S3002 (YES in step S3001). When the control unit 11 determines that the first flag is off, the control unit 11 proceeds to return (NO in step S3001).
  • step S3002 the calculated correction coefficient is multiplied by the luminance in the images Z1 to Z4.
  • Multiplying a correction coefficient for an image means multiplying each luminance assigned to each pixel in the image by a correction coefficient.
  • step S1003 in FIG. 4 and step S3002 in FIG. 10 the control unit 11 determines the image having the maximum average luminance as a representative image and adjusts the luminance of other images based on the determined representative image.
  • the brightness of the images can be unified as in the images Z1 to Z4 shown in FIG. 11, and the visibility of extremely dark images can be improved.
  • the user can be provided with an image that does not feel uncomfortable.
  • the multiplication process may be omitted. Further, the multiplication of the image with the maximum average luminance, that is, the images Z2 to Z4 which are images other than the image Z1, is applied to the luminance assigned to the pixels exceeding the threshold value (pixels close to saturation). The multiplication process may be omitted. Next, the process proceeds to step S3004.
  • step S3004 the control unit 11 transmits the multiplied (corrected) image to the volatile storage unit including the images Z1 to Z4.
  • the aperture of each imaging unit is adjusted in advance to a level (luminance) that the user feels that the image is most easily seen based on the brightness of the surroundings of the vehicle in the daytime in the captured image. Therefore, the control unit 11 estimates that the image having the highest average luminance among the images captured by the aperture is the ideal image that is most easily viewed by the user.
  • step S4000 the second image luminance adjusting unit 18 of the control unit 11 functions as a second luminance adjusting unit of the present invention, and executes a second image luminance adjusting process. Details of the second image luminance calculation processing will be described with reference to FIG.
  • step S4001 the control unit 11 functions as a control unit of the present invention, and determines whether or not the second flag set in the RAM included in the control unit 11 is on. When it is determined that the second flag is on (when setting 2 is enabled), control unit 11 proceeds to step S4002 (YES in step S4001). When determining that the second flag is off, the control unit 11 proceeds to return (NO in step S4001).
  • step S4002 the control unit 11 adjusts (corrects) the image for which the average luminance is calculated based on the average luminance of each of the images Z1 to Z4 received from the AGC unit 12. Specifically, the control unit 11 obtains a correction coefficient (gain adjustment value) by dividing the predetermined value by a value obtained by subtracting the correction rate from the average luminance, and is applied to the pixel in the image for which the average luminance is calculated. Multiply (correct) the luminance by the correction coefficient. Since the correction rate is set in association with the average luminance in the register table provided in the control unit 11, the correction rate is referred to from the register table based on the average luminance. As a result, the dark image as a whole becomes brighter for the user and can be adjusted to an easy-to-see image. Next, the process proceeds to step S4003.
  • a correction coefficient gain adjustment value
  • step S4003 the control unit 11 transmits the image Z1 to the image Z4 obtained by the multiplication (correction) to the volatile storage unit 14. The process proceeds to step S5000 in FIG.
  • step S5000 the image composition unit 19 of the control unit 11 functions as a composite image generation unit of the present invention and executes image composition processing. Details of the image composition processing will be described with reference to FIG.
  • step S5001 the control unit 11 projects the corrected images Z1 to Z4 stored in the volatile storage unit 14 onto the three-dimensional curved surface P in the virtual three-dimensional space shown in FIG.
  • the three-dimensional curved surface P has, for example, a substantially hemispherical shape (a bowl shape), and a central portion (a bottom portion of the bowl) is determined as a position where the vehicle 1 exists.
  • the correspondence between the positions of the pixels included in the images Z1 to Z4 and the positions of the pixels of the solid curved surface P is determined in advance. Therefore, the value of each pixel of the three-dimensional curved surface P is determined based on this correspondence and the value of each pixel included in the images Z1 to Z4.
  • the correspondence between the positions of the pixels of the images Z1 to Z4 and the positions of the pixels of the three-dimensional curved surface P is determined by the arrangement of the first imaging unit 200 to the fourth imaging unit 203, which are the four on-vehicle cameras in the vehicle 1 (between each other). Distance, ground height, optical axis angle, etc.). Therefore, the table data indicating this correspondence is included in the vehicle type data stored in the nonvolatile storage unit 13.
  • polygon data indicating the shape and size of the vehicle body included in the vehicle type data is used, and a vehicle image that is a polygon model indicating the three-dimensional shape of the vehicle 1 is virtually configured.
  • the configured vehicle image is arranged in a substantially hemispherical central portion defined as the position of the vehicle 1 in the three-dimensional space in which the three-dimensional curved surface P is set.
  • the virtual viewpoint AGL is set by the control unit 11 for the three-dimensional space where the solid curved surface P exists.
  • the virtual viewpoint AGL is defined by the viewpoint position and the viewing direction, and is set at an arbitrary viewpoint position corresponding to the periphery of the vehicle 1 in this three-dimensional space toward an arbitrary viewing direction.
  • the process proceeds to step S5002.
  • step S5002 the control unit 11 cuts out a necessary area on the three-dimensional curved surface P as an image according to the set virtual viewpoint AGL.
  • the relationship between the virtual viewpoint AGL and the necessary area on the three-dimensional curved surface P is determined in advance, and is stored in advance in the nonvolatile storage unit 13 or the like as table data.
  • rendering is performed on a vehicle image composed of polygons according to the set virtual viewpoint AGL, and the resulting two-dimensional vehicle image is superimposed on the cut out image.
  • the vehicle 1 when the virtual viewpoint AGL1 in which the viewpoint position is a position just above the center of the position of the vehicle 1 and the visual field direction is a direction immediately below the vehicle 1 is set, the vehicle 1 ( In practice, a composite image G1 showing the vehicle image) and the surroundings of the vehicle 1 is generated. Further, as shown in the figure, when the virtual viewpoint AGL2 in which the viewpoint position is the left rear of the position of the vehicle 1 and the visual field direction is substantially in front of the vehicle 1 is set, the entire periphery from the left rear of the vehicle 1 is set. As seen, a composite image G2 showing the vehicle 1 (actually a vehicle image) and the surroundings of the vehicle 1 is generated.
  • step S5003 the process proceeds to step S5003.
  • step S5003 the control unit 11 transmits the generated composite image G1 or G2 to the image adjustment unit 15. The process proceeds to step S6000 in FIG.
  • step S6000 the image adjustment unit 15 performs image adjustment processing. Details of the image adjustment processing will be described with reference to FIG.
  • step S6001 the image adjustment unit 15 corrects the contour of the object in the composite image G1 or G2 received from the control unit 11.
  • the contour correction is, for example, adjusting the strength of the contour of an object according to the distance or performing smoothing correction of a curve.
  • the process proceeds to step S6002.
  • step S6002 the image adjustment unit 15 corrects the contrast between the objects or between the object parts in the composite image G1 or G2 received from the control unit 11.
  • the contrast correction is, for example, performing contrast strength adjustment between objects or between object parts according to the distance.
  • the process proceeds to step S6003.
  • step S6003 the image adjustment unit 15 corrects the saturation between objects in the composite image G1 or G2 received from the control unit 11.
  • Saturation correction is, for example, adjusting the strength of the color of an object according to the distance.
  • the process proceeds to step S7000 in FIG.
  • step S7000 the image display unit 20 of the control unit 11 functions as an image providing unit of the present invention and executes an image display process. Details of the image display processing will be described with reference to FIG.
  • step S7001 the image display unit 20 reads the composite image stored in the volatile storage unit 14. At that time, when the composite image G1 or G2 stored in the volatile storage unit 14 exceeds a certain amount, the image display unit 20 deletes the oldest composite image and stores the latest composite image, or Then, storage control for overwriting the oldest synthesized image with the latest synthesized image is executed. Next, the process proceeds to step S7002.
  • step S7002 the image display unit 20 controls the display operation unit 101 included in the in-vehicle device 100 to display the composite image G1 or G2 read from the volatile storage unit 14. Specifically, the image display unit 20 updates and displays the composite image G1 or G2 stored in the volatile storage unit 14 from an old image to a new image at a predetermined cycle so that it looks like a moving image. The process proceeds to the return in FIG.
  • the AGC unit 12 calculates the average luminance for each of the images Z1 to Z4 received from the first imaging unit 200 to the fourth imaging unit 203 in step S1002 of FIG. 12 determines whether or not the luminance allocated to the pixel exceeds a threshold value that is a constant value, and if it exceeds, the luminance is not included in the total luminance in the calculation of the average luminance,
  • the control unit 11 of the control device 10 determines the brightness outside the vehicle and calculates the above-described average brightness based on the threshold value corresponding to the brightness outside the vehicle. It may be a thing.
  • control unit 11 determines that the vehicle exterior is dark
  • the control unit 11 sets the threshold value to a threshold value higher than the above threshold value
  • the threshold value is set to the above-described threshold value. Set the threshold value lower than the threshold value.
  • the control unit 11 determines that the vehicle exterior is dark when receiving an on signal of the lighting switch 300 connected to the in-vehicle network N, and the vehicle when receiving the off signal. Judge that the outside is bright. Further, the control unit 11 determines that the vehicle exterior is dark when receiving the ON signal of the wiper switch 301 connected to the in-vehicle network N, and the vehicle exterior is bright when receiving the OFF signal. Judge. Further, when the control unit 11 receives a signal from the illuminance sensor 302 connected to the in-vehicle network N, the control unit 11 determines the brightness outside the vehicle according to the signal level, and the threshold value is variable according to the brightness. To.
  • the threshold value may be configured to be arbitrarily set by the user.
  • the average brightness which is the basis of the coefficient for correcting the image brightness, is darker when the vehicle exterior is brighter, and when the vehicle exterior is darker Since it is set to the bright side, the visibility of the image corrected based on this average luminance can be improved.
  • the control unit 11 receives a signal from the setting switch 303 via the in-vehicle network N, and determines whether the received signal indicates setting 1 or setting 2. to decide.
  • the control unit 11 determines that the received signal indicates setting 1
  • the control unit 11 executes the first image luminance adjustment process illustrated in FIG. 10, and when it determines that the received signal indicates setting 2, the control unit 11 performs FIG.
  • the control unit 11 determines that the difference between the highest average luminance and the lowest average luminance among the average luminances of the images Z1 to Z4 received from the AGC unit 12 is a predetermined value.
  • the first flag is turned on and the first image luminance adjustment process shown in FIG. If it is not determined that this is the case, the second flag may be turned on and the second image brightness adjustment process shown in FIG. 12 may be executed.
  • the predetermined value is set in advance as a value for determining a combination of images in which the above-described problem occurs.
  • the first flag and the second flag are turned off during the initial process and the end process, and are turned off when the purpose of the function is finished.
  • the first image brightness adjustment process is executed.
  • the pattern does not cause the above-described problem, it is possible to prevent image degradation by executing the second image brightness adjustment process without executing the first image brightness adjustment process.
  • step S2001 the control unit 11 receives a signal from the setting switch 303 via the in-vehicle network N, and whether the received signal indicates setting 1 or setting 2. It is determined whether or not.
  • the control unit 11 determines that the received signal indicates setting 1
  • the control unit 11 executes the first image luminance adjustment process illustrated in FIG. 10, and when it determines that the received signal indicates setting 2, the control unit 11 performs FIG.
  • the control unit 11 has an average luminance that exceeds the upper limit among the average luminances of the images Z1 to Z4 received from the AGC unit 12, and sets the lower limit. If the condition that there is an average brightness exceeding the first condition is set, the first flag is turned on and the first image brightness adjustment process shown in FIG. 10 is executed. If the condition is not satisfied, the second flag is turned on and The second image brightness adjustment process shown in FIG.
  • the upper limit value and the lower limit value are set in advance as values for determining a combination of images that cause the above-described problems.
  • the first image brightness adjustment process is executed.
  • the pattern does not cause the above-described problem, it is possible to prevent image degradation by executing the second image brightness adjustment process without executing the first image brightness adjustment process.
  • the control device 110 of this embodiment corresponds to the image processing device of the present invention. As shown in FIG. 17, the control unit 111, the AGC unit 112, the nonvolatile storage unit 13, the volatile storage unit 14, and the image adjustment unit 15 are used. Consists of.
  • the control unit 111 includes an image luminance adjustment unit 116, an image composition unit 19, and an image display unit 20. That is, the control unit 111 exhibits an image brightness adjustment function, an image composition function, and an image display function, which will be described later.
  • control unit 111 is a microcomputer including a CPU, a ROM, a RAM, and the like.
  • the CPU executes a program for demonstrating the function stored in the ROM while using the RAM serving as a working area.
  • the AGC unit 112 includes an image luminance calculation unit 119. That is, the AGC unit 112 exhibits an image luminance calculation function, which will be described later.
  • the image luminance calculation unit 119 includes an average luminance calculation unit 120, a threshold value calculation unit 121, and a gain adjustment value calculation unit 122, as shown in FIG. That is, the image luminance calculation unit 119 exhibits an average luminance calculation function, a threshold value calculation function, and a gain adjustment value calculation function, which will be described later.
  • Switch / sensor Various switches and sensors are connected to the in-vehicle network N together with the control device 110 and the in-vehicle device 100.
  • the switches and sensors include, for example, a lighting switch 300, a wiper switch 301, an illuminance sensor 302, a first setting switch 304, and a second setting switch 305.
  • the first setting switch 304 receives from the user an on / off setting of a threshold value adjustment function (following function) described later.
  • the second setting switch 305 is an operation unit that receives, from the user, a setting for correcting an image with an average luminance or a maximum value, which will be described later, in the control unit 111 of the control device 110.
  • the functions exhibited by the control device 110 include an image luminance calculation function exhibited by the AGC unit 112, and an image luminance adjustment function, an image composition function, and an image display function exhibited by the control unit 111.
  • the image luminance calculation function includes an average luminance calculation function, a threshold value calculation function, and a gain adjustment calculation function.
  • the image adjustment function includes a contour correction function, a contrast correction function, and a saturation correction function.
  • control device 110 executes an image brightness calculation process S1500, an image brightness adjustment process S2500, an image composition process S5000, an image adjustment process S6000, and an image display process S7000 shown in FIG.
  • the control unit 111, the AGC unit 112, and the image adjustment unit 15 of the control device 110 repeatedly execute the image processing illustrated in FIG. 19 at a predetermined cycle when the control device 110 is activated by the user.
  • images are acquired at a predetermined cycle, and the acquired images are continuously input from the imaging system S3 to the control device 110 and are subjected to image processing in FIG.
  • luminance Since the brightness of an image can be expressed in terms of luminance, it will be described below as “luminance”.
  • step S1500 the image luminance calculation unit 119 of the AGC unit 112 of the control device 110 executes an image luminance calculation process. Details of the image luminance calculation processing will be described with reference to FIG.
  • the image luminance calculation unit 119 starts execution of the image luminance calculation process, and proceeds to step S1501.
  • step S1501 the image luminance calculation unit 119 functions as an image acquisition unit of the present invention, and the images captured by the first imaging unit 200 to the fourth imaging unit 203 and transmitted to the control unit 111 (see FIGS. 5 and 6). ) Is received (received).
  • the average luminance calculation unit 120 of the image luminance calculation unit 119 functions as the first average calculation unit of the present invention, and in the images Z1 to Z4 received from the first imaging unit 200 to the fourth imaging unit 203.
  • the average luminance is calculated for each of a plurality of areas obtained by dividing the image.
  • each region includes a plurality of pixels.
  • the calculation of the average luminance of the image means that the sum of the luminance assigned to each pixel in the region is divided by the total number of pixels in the region.
  • the average luminance calculation unit 120 divides each of the images Z1 to Z4 shown in FIG. 21 into eight regions as shown in FIG. 22, and the average luminance for each region is set to the first average luminance (the present invention). 1st average value).
  • the average luminance calculation unit 120 functions as a region selection unit and a second average calculation unit of the present invention, and determines whether or not each first average luminance exceeds a threshold value that is a threshold value.
  • a threshold value that is a threshold value.
  • the entire area other than the area where the average luminance is calculated is specified as the target area.
  • the average luminance of the pixels included in the target area is calculated as the second average luminance (second average value of the present invention). That is, among the plurality of divided regions, a region where the first average luminance is equal to or less than the threshold value is set as the target region, and the second average luminance is calculated based on the luminance of the pixels included in the target region.
  • a region where the first average luminance exceeds the threshold value is a non-target region that is excluded from subsequent processing targets.
  • the average luminance calculation unit 120 determines whether or not the first average luminance for each region exceeds the threshold value in the regions 1 to 8 in the images Z1 to Z4 shown in FIG. When it is determined that the first average luminance of the region 3 and the region 4 in the image Z1 exceeds the threshold value, the average luminance calculation unit 120, the region excluding the region 3 and the region 4 in the image Z1, and the images Z2 to Z2 All regions of the image Z4 are set as target regions, and the average luminance of the target region is calculated.
  • the area 3 and the area 4 in the image Z1 shown in FIG. 22 show the light B of the headlight of the vehicle A traveling in the oncoming lane, and therefore the average luminance is extremely higher than the other areas in the image Z1.
  • the region 3 and the region 4 in the image Z1 in which the light B of the headlight is reflected are excluded from the calculation of the average luminance.
  • the average luminance is calculated in the area excluding the area 3 and the area 4 in the image Z1 and the area including all the areas in the images Z2 to Z4. This is because it is synthesized with the peripheral image.
  • the average luminance calculation unit 120 uses an initial value stored in the nonvolatile storage unit 13 as a threshold value in the calculation of the first average luminance.
  • step S1503 the threshold value calculation unit 121 of the AGC unit 112 calculates a threshold value used in step S1502 of the image luminance calculation process for the next input image.
  • the average luminance calculated for each of a plurality of regions in the image is the first average luminance, and the average is calculated for all regions other than the region where the first average luminance exceeding the threshold value is calculated.
  • the luminance be the second average luminance.
  • the threshold value calculation unit 121 of the AGC unit 112 receives an ON signal from the first setting switch 304 via the in-vehicle network N, the threshold value calculation unit 121 determines that the threshold value tracking function is turned on by the user, 2. Based on the average brightness, a threshold value (threshold value used in the next still image constituting the moving image) used in step S1502 of the next cycle in the image processing execution cycle is calculated.
  • the threshold value calculation unit 121 functions as a threshold update unit of the present invention, and the next threshold value is obtained by adding a predetermined value stored in advance in a register included in the AGC unit 112 to the second average luminance. Calculate (update the current threshold with the calculated value).
  • the threshold value calculation unit 121 determines that the threshold value tracking function is turned off by the user, and performs image processing.
  • the threshold value used in step S1502 of the next cycle in the execution cycle is set.
  • the threshold value calculation unit 121 sets the threshold value so that the currently set threshold value is maintained without being updated, or is returned to the initial value.
  • step S1504 when the gain adjustment value calculation unit 122 of the AGC unit 112 receives an on signal from the second setting switch 305 via the in-vehicle network N, the first mode is turned on by the user.
  • the gain adjustment value is calculated based on the second average luminance.
  • the gain adjustment value calculation unit 122 calculates the gain adjustment value by dividing the predetermined value by the value obtained by subtracting the correction factor from the second average luminance. Since the correction rate is set in association with the average luminance in the register table included in the AGC unit, the correction rate is referred to from the register table based on the average luminance. If the image is adjusted based on such a gain adjustment value, the portion that is too dark is bright and the portion that is too bright becomes dark on the basis of the second average brightness, and the image as a whole is given a calm impression. As a result, it is easy for the user to see.
  • the gain adjustment value calculation unit 122 of the AGC unit 112 receives an off signal from the second setting switch 304 via the in-vehicle network N, the gain adjustment value calculation unit 122 determines that the second mode is turned on by the user.
  • the gain adjustment value is calculated based on the maximum value (luminance peak value) of the luminance in the target area where the first average luminance is equal to or less than the threshold value.
  • the gain adjustment value calculation unit 122 calculates a correction rate corresponding to each luminance with reference to the maximum luminance value. Since the correction rate is defined in association with the maximum luminance value in the register table of the AGC unit, the correction rate is referred to from the register table based on the maximum luminance value. As a result, the bright portion is generally maintained and the dark portion is brightened based on the maximum luminance value, and the dark portion is brightened. Therefore, it is possible to prevent the bright portion from being blown out and the image quality from being deteriorated. Can be brightened. Next, the process proceeds to step S2500 in FIG.
  • step S2500 the image brightness adjustment unit 116 of the control unit 111 functions as the brightness adjustment unit of the present invention, and executes image brightness adjustment processing. Details of the image luminance calculation processing will be described with reference to FIG.
  • step S2501 the image brightness adjustment unit 116 of the control unit 111 adjusts (corrects) the images Z1 to Z4 based on the gain adjustment value received from the AGC unit 112.
  • the image brightness adjustment unit 116 multiplies the brightness assigned to the pixels in the images Z1 to Z4 by the gain adjustment value.
  • step S2502 the control unit 111 transmits the adjusted (corrected) image Z1 to the image Z4 to the volatile storage unit 14.
  • control unit 111 and the AGC unit 112 perform the second average of the previously received images Z1 to Z4 in the process of continuously receiving the vehicle periphery images from the first imaging unit 200 to the second imaging unit 203 in a predetermined cycle.
  • a process of calculating the second average luminance of the image Z1 to image Z4 received this time step S1502X
  • the image Z1 to image received next time based on the second average luminance calculated this time
  • the processing for calculating the threshold value for calculating the second average luminance of Z4 is repeatedly executed (loop processing) until the image processing is completed.
  • step S1504X a process (step S1504X) of calculating a gain adjustment value based on the second average luminance is executed in parallel, and thereafter, the images Z1 to Z1 are calculated based on the gain adjustment value.
  • the process (step S2501X) for adjusting (correcting) the image Z2 is repeatedly executed until the image processing is completed.
  • the gain adjustment value is calculated based on the second average luminance calculated by excluding an extremely high luminance region.
  • the image can be adjusted (corrected) based on the gain adjustment value, and thus the adjusted (corrected) image becomes dark overall due to the influence of the extremely high brightness area, In addition, it is possible to prevent the problem that the originally dark part is not bright.
  • the comparison with the threshold value is not performed with each brightness assigned to the pixel, but with the average brightness of the image area. Since this is done, the processing load at that time can be reduced.
  • the threshold value used for the calculation is updated (updated), it is possible to set a threshold value corresponding to each of the images that are continuously captured while the vehicle 1 is moving, based on the threshold value.
  • An appropriate gain adjustment value can be calculated from the calculated second average luminance, and an appropriate image can be adjusted (corrected) by this gain adjustment value. That is, the threshold value used in the image luminance calculation process can follow an image having various luminance distribution variations.
  • the process proceeds to step 5000 in FIG. Subsequent processing is the same as that of the first embodiment, and thus description thereof is omitted.
  • step S1502 of FIG. 20 “For example, the average luminance calculation unit 120 determines whether or not the average luminance for each region exceeds the threshold value in the regions 1 to 8 in the images Z1 to Z4 shown in FIG. When it is determined that the average luminance of the region 3 and the region 4 in the image Z1 illustrated in FIG. 22 exceeds the threshold, the average luminance calculation unit 120 includes the region excluding the region 3 and the region 4 in the image Z1, and The average luminance including all the regions of the image Z2 to the image Z4 is calculated. "However, the average luminance calculating unit 120 calculates the second average luminance for each image in the images Z1 to Z4. Also good.
  • the threshold value calculated by the threshold value calculation unit 121 in step S1503 and the gain adjustment value calculated by the gain adjustment value calculation unit 122 in step S1504 are also calculated for each image in the images Z1 to Z4.
  • image brightness adjustment may be performed for each of the images Z1 to Z4.
  • the threshold value derived based on an image has been described as being applied to the processing of an image input next to the image.
  • an image to which the threshold value is applied has its threshold value. If it is an image input after the derived image, it may not be the next image.
  • each process in the flowchart for explaining the control of each embodiment is shown as one series for convenience.
  • each control unit processes each subdivided process in parallel by the multitask control function. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

　車両に搭載される画像処理装置は、画像取得手段と、画像選択手段と、第１輝度調整手段と、合成画像生成手段と、画像提供手段とを備える。画像取得手段は、車両に設けられた複数のカメラから複数のカメラ画像を取得する。画像選択手段は、前記複数のカメラ画像の輝度に基づいて前記複数のカメラ画像のうちの一画像を代表の画像として選択する。第１輝度調整手段は、前記代表の画像の輝度に基づいて、他のカメラ画像の少なくとも一つの輝度を調整する。合成画像生成手段は、前記代表の画像と前記第１輝度調整手段により少なくとも一つの輝度が調整された前記他のカメラ画像とに基づいて、前記車両の周辺を示す合成画像を生成する。画像提供手段は、前記車両に搭載された表示装置へ前記合成画像に対応する情報を出力する。

Description

画像処理装置、および画像処理方法
　本発明は、合成される複数のカメラ画像の輝度を調整する技術に関する。
　カメラから入力された画像を処理して表示画面へ表示させる技術が知られている。例えば、ＡＧＣ（オートマチックゲインコントロール）と呼ばれるカメラ画像処理がある。
　ＡＧＣとは、通常、電気回路等から構成され、カメラから入力された画像信号の平均の明るさが、弱い場合には全体的に明るさを上げる処理を行い、強い場合には全体的に明るさを下げる処理を行って、表示画面へ表示される画像を、暗すぎないように、かつ、明るすぎないようにする制御をいう。このようにカメラ画像を処理する技術は、例えば、日本国特許出願公開１１－１３６５７１号公報（特許文献１）に開示されている。
　具体的には、画像における全ての画素に充てられる輝度に対し、その平均輝度を基準に低い場合は、その低さに応じて所定％高くし、または、その輝度が平均輝度を基準に高い場合は、その高さに応じて所定％低くする補正を行う（以後、この補正を平均輝度補正という）。
　このように、画像に対して平均輝度補正をすることによって、平均輝度を基準に、暗すぎる部分が明るく、かつ、明るすぎる部分が暗くなり、画像全体としてユーザに対し落ち着いた印象を与えることができ、結果、ユーザに対し見やすくすることができる。
　一方で、画像の一部分が他の部分と比べて極端に明るい場合に、単純に平均輝度補正を行うと画像が見づらくなってしまうという不具合が発生する。
　例えば、車両外側に搭載のカメラが撮像した車両周辺画像の一部に、対向車線を走行する車両のヘッドライトの光が含まれる場合は、その画像の平均輝度を算出すると、算出した平均輝度は、ヘッドライトの光が含まれない場合と比べてかなり高くなる。高くなったその平均輝度に基づいて平均輝度補正を行うと、高い平均輝度を基準にして画像全体の輝度が落ち着くので、全体的に暗くなり、かつ、もともと暗い部分が明るくならず、ユーザに対し見づらくしてしまうという不具合が発生する。
　そこで、平均輝度を算出する際に、画像における画素に充てられた輝度が閾値を超えている場合は、その輝度を平均輝度の算出から除外する。つまり、除外された輝度以外の輝度に対する平均輝度を算出して平均輝度補正を実行することによって、画像の一部に高い輝度を有する画像であっても、その一部の高い輝度の影響により、補正後の画像が全体的に暗くなり、かつ、もともと暗い部分が明るくならないという不具合の発生を解消することができる。このような技術は、例えば、日本国特許出願公開２００４－１２０２０３号公報（特許文献２）に開示されている。
　しかし、車載カメラが連続して撮像する画像における輝度分布のバリエーションは、車両が様々な状況に置かれるため多様であり、このような画像に対し一定の閾値を用いて平均輝度を算出しても、最適な平均輝度補正がされない虞がある。例えば、夜間に得られる画像において極端に明るい部分の輝度は、昼間に得られる画像においては適正な明るさとなる。このため、一定の閾値を用いた場合、夜間の画像もしくは昼間の画像において、適切な補正がなされない虞がある。
　また、近年、車両搭載の複数のカメラから入力された画像を合成して１枚の車両の周辺の様子を示す車両周辺画像を生成し、生成した車両周辺画像を表示画面へ表示させる車両周辺画像表示システムが開発されている。
　しかし、車両周辺画像表示システムにおいて、複数のカメラ画像において一のカメラ画像ごとにＡＧＣを施した後に１枚の合成画像を生成すると、合成画像において明るさのムラが発生してしまう虞がある。また、複数のカメラ画像を１枚の車両周辺画像に合成してから、ＡＧＣを施すと、輝度が最も暗い画像の影響により、輝度が最も明るい画像がいっそう明るくなって見にくくなってしまう虞がある。
　よって本発明は、車両搭載の複数のカメラが撮像した、複数のカメラ画像の合成画像を見やすくできる技術を提供することを第１の目的とする。
　また本発明は、車載カメラが撮像する画像に対し、最適な輝度補正をすることができる技術を提供することを第２の目的とする。
　上記第１の目的を達成するため、本発明によれば、以下に列挙するものが提供され得る。
　（１）：車両に搭載される画像処理装置であって、
　車両に設けられた複数のカメラから複数のカメラ画像を取得する画像取得手段と、
　前記複数のカメラ画像の輝度に基づいて前記複数のカメラ画像のうちの一画像を代表の画像として選択する画像選択手段と、
　前記代表の画像の輝度に基づいて、他のカメラ画像の少なくとも一つの輝度を調整する第１輝度調整手段と、
　前記代表の画像と前記第１輝度調整手段により少なくとも一つの輝度が調整された前記他のカメラ画像とに基づいて、前記車両の周辺を示す合成画像を生成する合成画像生成手段と、
　前記車両に搭載された表示装置へ前記合成画像に対応する情報を出力する画像提供手段とを備えることを特徴とする画像処理装置。
　（２）：（１）に記載の画像処理装置において、
　前記画像選択手段は、前記複数のカメラ画像ごとに各カメラ画像を構成する複数の画素の輝度の平均値を算出して最も高い平均値を有するカメラ画像を前記代表の画像として選択することを特徴とする画像処理装置。
　（３）：（２）に記載の画像処理装置において、
　前記画像選択手段は、前記平均値の算出に際して所定値よりも高い輝度を有する画素を排除することを特徴とする画像処理装置。
　（４）：（３）に記載の画像処理装置において、
　前記画像選択手段により計算された最も高い平均値と最も低い平均値との差が所定値以上の場合に、前記第１輝度調整手段を有効にする制御手段を更に備えることを特徴とする画像処理装置。
　（５）：（４）に記載の画像処理装置において、
　前記画像選択手段により算出された前記複数のカメラ画像ごとの前記平均に基づいて、前記複数のカメラ画像の各々の輝度を調整する第２輝度調整手段を備え、
　前記制御手段は、前記差が前記所定値未満の場合に、前記第２輝度調整手段を有効にすることを特徴とする画像処理装置。
　（６）：画像処理方法であって、
　車両に設けられた複数のカメラから複数のカメラ画像を取得し、
　前記複数のカメラ画像の輝度に基づいて前記複数のカメラ画像のうちの一画像を代表の画像として選択し、
　前記代表の画像の輝度に基づいて、他のカメラ画像の少なくとも一つの輝度を調整し、
　前記代表の画像と少なくとも一つの輝度が調整された前記他のカメラ画像とに基づいて、前記車両の周辺を示す合成画像を生成し、
　前記車両に搭載された表示装置へ前記合成画像に対応する情報を出力することを特徴とする画像処理方法。
　上記第２の目的を達成するため、本発明によれば、以下に列挙するものが提供され得る。
　（７）：車両に搭載される画像処理装置であって、
　前記車両に設けられたカメラからカメラ画像を取得する画像取得手段と、
　前記カメラ画像を各々複数の画素を含む複数の領域に分割し、該複数の領域の各々について前記画素の輝度の平均値を第１平均輝度として算出する第１平均算出手段と、
　前記複数の領域のうち、前記第１平均値が閾値以下となる少なくとも一つの領域を選択する領域選択手段と、
　前記領域選択手段により選択された前記少なくとも一つの領域の輝度に基づいて、前記カメラ画像全体の輝度を調整する輝度調整手段と、
　前記車両に搭載された表示装置へ前記輝度調整手段により前記全体の輝度が調整された前記カメラ画像に対応する情報を出力する画像提供手段と、　
　前記領域選択手段により選択された前記少なくとも一つの領域に含まれる画素の輝度の平均値を第２平均値として算出する第２平均算出手段と、
　前記第２平均値に基づいて前記閾値を更新する閾値更新手段とを備えることを特徴とする画像処理装置。
　（８）：（７）に記載の画像処理装置において、
　前記輝度調整手段は、前記第２平均値に基づいて、前記カメラ画像全体の輝度を調整することを特徴とする画像処理装置。
　（９）：（７）に記載の画像処理装置において、
　前記輝度調整手段は、前記領域選択手段により選択された前記少なくとも一つの領域に含まれる画素の輝度の最大値に基づいて、前記カメラ画像全体の輝度を調整することを特徴とする画像処理装置。
　（１０）：（７）から（９）の何れかに記載の画像処理装置において、
　前記画像取得手段は、前記車両に設けられた複数のカメラから複数のカメラ画像を取得し、
　前記第１平均算出手段は、前記複数のカメラ画像の各々について前記第１平均値を算出し、
　前記領域選択手段は、前記複数のカメラ画像の各々について前記少なくとも一つの領域を選択し、
　前記輝度調整手段は、前記複数のカメラ画像の各々について前記全体の輝度を調整し、
　前記画像処理装置は、前記画像調整手段により輝度が調整された前記複数のカメラ画像に基づいて、前記車両の周辺を示す合成画像を生成する合成画像生成手段を更に備え、
　　前記画像提供手段は、前記表示装置へ前記合成画像に対応する情報を出力することを特徴とする画像処理装置。
　（１１）：画像処理方法であって、
　車両に設けられたカメラからカメラ画像を取得し、
　前記カメラ画像を各々複数の画素を含む複数の領域に分割し、
　前記複数の領域の各々について前記画素の輝度の平均値を第１平均値として算出し、
　前記複数の領域のうち、前記第１平均値が閾値以下となる少なくとも一つの領域を選択し、
　前記領域選択手段により選択された前記少なくとも一つの領域の輝度に基づいて、前記カメラ画像全体の輝度を調整し、
　前記全体の輝度が調整された前記カメラ画像に対応する情報を前記車両に搭載された表示装置へ出力し、
　前記領域選択手段により選択された前記少なくとも一つの領域に含まれる画素の輝度の平均値を第２平均値として算出し、
　前記第２平均値に基づいて前記閾値を更新することを特徴とする画像処理方法。
　上記（１）から（６）に記載の構成によれば、生成された合成画像において輝度のムラが少なく、ユーザに違和感を持たせることを防ぐことができる。
　上記（２）に記載の構成によれば、平均輝度が最も高い理想のカメラ画像に基づいて他のカメラ画像を調整するので、ユーザに対する視認性を向上させることができる。
　上記（３）に記載の構成によれば、上記の最も高い平均輝度が極端に高くならないようにでき、ユーザに対する視認性を向上させることができる。
　上記（４）に記載の構成によれば、明るい画像と暗い画像が混在する際に明るい画像を基準に調整されることになり、暗い画像を明るくできる。
　上記（５）に記載の構成によれば、明るい画像と暗い画像が混在しない際に各カメラ画像ごとの平均輝度に基づいて輝度を調整することができ画像劣化を防ぐことができる。
　上記（７）から（１１）に記載の構成によれば、様々な状況に置かれる車両に搭載のカメラが撮像する、多様な輝度分布のバリエーションを有する画像を最適に調整することができる。
　上記（８）に記載の構成によれば、カメラ画像において、輝度が高い部分と低い部分とが多い場合に、第２平均値を基準に画像全体の輝度を落ち着かせつつ、極端に輝度が高い部分が影響して全体的に暗くなり、かつ、もともと暗い部分が明るくならないことを防ぐことができる。
　上記（９）に記載の構成によれば、カメラ画像において、輝度が高い部分が多い場合に、最大の輝度を基準に画像全体の輝度を落ち着かせることができ、輝度が高い部分の画質の劣化を防ぐとともに、極端に輝度が高い部分が影響して全体的に暗くなり、かつ、もともと暗い部分が明るくならないことを防ぐことができる。
　上記（１０）に記載の構成によれば、合成画像が車両の状況が変化することにより変わっても適切な補正ができる。
図１は、本発明に係る車両周辺画像表示システムが搭載された車両を示す図である。 図２は、本発明の第１実施例に係る車両周辺画像表示システムのシステムブロック図である。 図３は、図２の車両周辺画像表示システムにより実行される画像処理を説明するフローチャート図である。 図４は、図３における画像輝度算出処理の詳細を説明するフローチャート図である。 図５は、図４における撮像部からの画像信号の受信を説明する図である。 図６は、図４における撮像部からの画像信号受信を説明する図である。 図７は、図３における設定選択処理の詳細を説明するフローチャート図である。 図８は、図２の撮像部から受信したカメラ画像の例を示す図である。 図９は、図８のカメラ画像に従来の輝度調整処理を施した例を示す図である。 図１０は、図３における第１画像輝度調整処理を説明するフローチャート図である。 図１１は、図８のカメラ画像に第１画像輝度調整処理を施した例を示す図である。 図１２は、図３における第２画像輝度調整処理を説明するフローチャート図である。 図１３は、図３における画像合成処理を説明するフローチャート図である。 図１４は、図１３の画像合成処理を説明する図である。 図１５は、図３における画像調整処理を説明するフローチャート図である。 図１６は、図３における画像表示処理を説明するフローチャート図である。 図１７は、本発明の第２実施例に係る車両周辺画像表示システムのシステムブロック図である。 図１８は、図１７の車両周辺画像表示システムにおけるＡＧＣ部のシステムブロック図である。 図１９は、図１７の車両周辺画像表示システムにより実行される画像処理を説明するフローチャート図である。 図２０は、図１９における画像輝度算出処理の詳細を説明するフローチャート図である。 図２１は、図１８の撮像部から受信したカメラ画像の例を示す図である。 図２２は、図２１のカメラ画像に図２０の画像輝度算出処理を施す例を示す図である。 図２３は、図１９における画像輝度調整処理の詳細を説明するフローチャート図である。 図２４は、図２３の画像調整処理の詳細を説明する図である。
　本発明に係る車両周辺画像表示システムの実施形態を、以下、添付図面を参照しながら説明する。
＜第１実施例＞
[車両]
　まず、駆動源であるエンジン又は走行電動モータを搭載した車両に搭載される車両周辺画像表示システムを図１に基づいて説明する。
　車両周辺画像表示システムＳ１は、画像処理システムＳ２、車載機１００、および種々のスイッチ、並びに、センサが車載ネットワークＮへ電気的に接続して構成されている。
　画像処理システムＳ２は、制御装置１０、撮像システムＳ３を構成する第１撮像部２００、第２撮像部２０１、第３撮像部２０２、および第４撮像部２０３から構成されている。
　制御装置１０は、車両１の助手席下に設置される。車載機１００は、車両１のダッシュボードにおける運転席と助手席との間に設置される。第１撮像部２００は車両１の前部に設置され、第２撮像部２０１は車両１のレフトサイドミラー２に設置され、第３撮像部２０２は車両１のライトサイドミラー３に設置され、第４撮像部２０３は車両１の後部に設置される。種々のスイッチ並びにセンサはそれぞれ適宜目的を達成するための位置に配置される。車載ネットワークＮは車両１のエンジンルームやピラーなど車両１のボディ内部に配設されている。
（車両周辺画像表示システム）
　車両周辺画像表示システムＳ１は、図２に示すように、画像処理システムＳ２、および車載機１００により構成されている。
（画像処理システム）
　画像処理システムＳ２は、図２に示すように、制御装置１０、および撮像システムＳ３により構成されている。
（撮像システム）
　撮像システムＳ３は、図２に示すように、第１撮像部２００、第２撮像部２０１、第３撮像部２０２、および第４撮像部２０３により構成されている。
　第１撮影部２００は、車載カメラであるフロントカメラであり、第２撮像部２０１は、車載カメラであるレフトサイドカメラであり、第３撮像部２０２は、車載カメラであるライトサイドカメラであり、第４撮像部２０３は、車載カメラであるバックカメラである。これらの撮像部はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
　第１撮像部２００は、車両１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。第２撮像部２０１は、レフトサイドミラー２に設けられており、その光軸は車両１の直進方向を基準にした左方向に沿って外部へ向けられている。第３撮像部２０２は、ライトサイドミラー３に設けられており、その光軸は車両１の直進方向を基準にした右方向に沿って外部へ向けられている。第４撮像部２０３は、車両１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。なお、第１撮像部２００や第４撮像部２０３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
　これらの第１撮像部２００～第４撮像部２０３のレンズとしては魚眼レンズなどが採用されており、第１撮像部２００～第４撮像部２０３は１８０度以上の画角を有している。このため、これら４つの撮像部を利用することで、車両１の全周囲の撮影が可能となっている。
（制御装置）
　制御装置１０は本発明の画像処理装置に対応し、図２に示すように、制御部１１、ＡＧＣ部１２、不揮発性記憶部１３、揮発性記憶部１４、および画像調整部１５により構成される。
　制御部１１は、設定選択部１６、第１画像輝度調整部１７、第２画像輝度調整部１８、画像合成部１９、および画像表示部２０を備える。つまり、制御部１１は、後述する、設定選択機能、第１画像輝度調整機能、第２画像輝度調整機能、画像合成機能、および画像表示機能を発揮する。
　具体的に、制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成されるマイクロコンピュータである。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。
　ＡＧＣ部１２は、画像輝度算出部２１を備える。つまり、ＡＧＣ部１２は、後述する、画像輝度算出機能を発揮する。
　具体的には、ＡＧＣ部１２は、電子回路等より構成される。撮像システムＳ３によって撮像された画像が電子回路等へ入力され、電子回路等は入力された画像に基づいてその機能を発揮させる。
　不揮発性記憶部１３は、ＥＥＰＲＯＭより構成される。制御部１１が種々の機能を発揮する際のパラメータを記憶させる、バックアップメモリの役割を果たす。
　揮発性記憶部１４は、ＲＡＭより構成される。制御部１１が、合成処理した画像を一定量記憶させるとともに、画像表示機能により記憶させた画像を表示させると、表示させた画像を消去して最新の画像を記憶させる。つまり、ビデオメモリの役割を果たす。
　画像調整部１５は、制御部１１の画像合成機能により複数の画像から合成された１枚の車両周辺画像の輪郭を補正する輪郭補正機能、１枚の車両周辺画像のコントラストを補正するコントラスト補正機能、１枚の車両周辺画像の彩度を補正する彩度補正機能などを発揮する。
　具体的に、画像調整部１５は、電子回路等により構成される。制御部１１により合成された１枚の車両周辺画像が電子回路等に入力され、電子回路等は入力された画像に基づいてその機能を発揮させる。
　以上、説明したように、制御装置１０、および撮像システムＳ３により構成される画像処理システムＳ２は、画像合成装置と考えることができる。
（車載機）
　車載機１００は、図２に示すように、表示・操作部１０１、および制御部１１２より構成される。
　表示・操作部１０１は本発明の表示装置に対応し、表示機能、および操作機能を発揮する。
　具体的に、表示・操作部１０１はタッチパネルディスプレイにより構成される。表示・操作部１０１は、制御部１１により画像などの表示データを表示制御されることによってデータ表示を行う。また、表示されたアイコンがユーザによりタッチされると、表示・操作部１０１は当該アイコンに関連付けられた機能を制御部１１に発揮させる。
　制御部１０２は、前述した表示制御機能、ナビゲーション機能、オーディオ機能、および放送データ通信機能などを発揮する。
　具体的に、制御部１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成される。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。
　車載機１００は、この他にもナビゲーション機能を発揮する際に必要となる地図データを記憶する大容量記憶装置、オーディオ機能を発揮する際に必要となるオーディオ再生装置、放送データ通信機能を発揮する際に必要となる通信部などが備わっている。
（スイッチ・センサ）
　車載ネットワークＮには、制御装置１０や車載機１００と共に、種々のスイッチ、並びに、センサが接続されている。そのスイッチ並びにセンサには、例えば、照明スイッチ３００、ワイパースイッチ３０１、照度センサ３０２、および設定スイッチ３０３がある。　　　
　照明スイッチ３００は、夜間やトンネル通過の際に、ユーザが車両１の前方を明るくするために操作するスイッチであって運転席付近に備わる。ユーザによって照明スイッチ３００が操作されると、図示しない照明が点灯し車両１の前方を明るくする。つまり、制御装置１０の制御部１１は、ユーザにより照明スイッチ３００が操作される場合は、車両１周辺が暗い状況であると推測する。
　ワイパースイッチ３０１は、雨天時や濃霧時に、ユーザが走行する車両１のフロントガラスや後部ガラスの水滴を除去するために操作するスイッチであって、運転席付近に備わる。ユーザによってワイパースイッチ３０１が操作されると、図示しないワイパーが作動し車両１のフロントガラスや後部ガラスの水滴が除去される。つまり、制御装置１０の制御部１１は、ユーザによりワイパースイッチ３００が操作される場合は、車両１外部が雨天又は濃霧であると推測する。
　照度センサ３０２は、車両１の外部又は車両１内部に差し込む光の度合いを検知するためのものであって、その目的を達成可能な位置に適宜備えられる。つまり、制御装置１０の制御部１１は、所定の周期で又は所定のタイミングで受信した照度センサ３０２が検知する光の度合いを示す信号に基づいて車両１周辺の明るさを推測する。
　設定スイッチ３０３は、制御装置１０の制御部１１に後述する第１画像輝度調整処理又は第２画像輝度調整処理の何れを実施させるかをユーザが設定する設定選択処理を行なう際に使用される。
 [画像処理]
　次に、制御装置１０が実行する画像処理を図３に基づいて説明する。制御装置１０が発揮する機能には、ＡＧＣ部１２が発揮する画像輝度算出機能があり、また、制御部１１が発揮する設定選択機能、第１画像輝度調整機能、第２画像輝度調整機能、画像合成機能、および画像表示機能があり、更に、画像調整部１５が発揮する画像調整機能がある。また、画像調整機能には、輪郭補正機能、コントラスト補正機能、および彩度補正機能がある。
　制御装置１０はこれら機能を発揮するために、図３に示す、画像輝度算出処理Ｓ１０００、設定選択処理Ｓ２０００、第１画像輝度調整処理Ｓ３０００、第２画像輝度調整処理Ｓ４０００、画像合成処理Ｓ５０００、画像調整処理Ｓ６０００、および画像表示処理Ｓ７０００を実行する。
　制御装置１０の制御部１１、ＡＧＣ部１２、および画像調整部１５は、制御装置１０がユーザにより起動されたことにより所定の周期で画像処理の実行を開始する。つまり、図３におけるステップＳ１０００へ移行する。
　画像の明るさについては輝度で表現することができるため、以下「輝度」として説明する。
（画像輝度算出処理）
　ステップＳ１０００において、制御装置１０のＡＧＣ部１２は、画像輝度算出処理を実行する。画像輝度算出処理の詳細を図４に基づいて説明する。
　ＡＧＣ部１２は、画像輝度算出処理の実行を開始し、ステップＳ１００１へ移行する。　　
　ステップＳ１００１において、ＡＧＣ部１２は本発明の画像取得手段として機能し、第１撮像部２００～第４撮像部２０３が撮像して、制御部１１へ送信した画像を取得（受信）する。
　ここで、第１撮像部２００～第４撮像部２０３が撮像する画像（本発明におけるカメラ画像）について説明する。図５に示すように、第１撮像部２００は、撮像範囲Ｈ１の画像を制御部１１へ送信する。第２撮像部２０１は、撮像範囲Ｈ２の画像を制御部１１へ送信する。第３撮像部２０２は、撮像範囲Ｈ３の画像を制御部１１へ送信する。第３撮像部２０２は、撮像範囲Ｈ３の画像を制御部１１へ送信する。第４撮像部２０３は、撮像範囲Ｈ４の画像を制御部１１へ送信する。第１撮像部２００～第４撮像部２０３が備えるレンズは、前述した通り、魚眼レンズなどが採用されており、図５に示す第１撮像部２００～第４撮像部２０３の撮像範囲Ｈ１からＨ４が示すように１８０度以上の画角を有している。
　従って、第１撮像部２００が映し出す画像は、図６の画像Ｚ１に示すように車両１の直進方向における１８０度以上の車両周辺画像となる。第２撮像部２０１が映し出す画像は図６の画像Ｚ２に示すように車両１の直進方向を基準にした左方向における１８０度以上の車両画像となる。第３撮像部２０２が映し出す画像は図６の画像Ｚ３に示すように車両１の直進方向を基準にした右方向における１８０度以上の車両画像となる。第４撮像部２０３が映し出す画像は図６の画像Ｚ４に示すように車両１の直進方向とは逆方向における１８０度以上の車両画像となる。次に、ステップＳ１００２へ移行する。
　ステップＳ１００２において、ＡＧＣ部１２は本発明の画像選択手段として機能し、第１撮像部２００～第４撮像部２０３より受信した画像Ｚ１～画像Ｚ４における、画像ごとの平均輝度を算出する。画像の平均輝度の算出とは、画像における画素ごとに充てられている輝度の総和を、全画素数で除算することをいう。その際に、ＡＧＣ部１２は、画素に充てられた輝度が一定値であるスレッシュ値を超えているか否かを判定し、超えている場合はその輝度は平均輝度の算出における輝度の総和には含めず、更に、全画素数にも含めない。スレッシュ値は高い輝度を画像の平均輝度の算出から除外するための値としている。
　つまり、画像において極端に明るい部分がある場合には、白とび（飽和）などが生じている可能性がある。この場合に、明るい部分の画素に充てられた高い輝度によって平均輝度が高くなってしまい、後の処理において、平均輝度により求めた補正係数に基づいて補正した画像が、その明るい部分の高い輝度の影響を受けて全体的に明るくなってしまうことを防いでいる。次に、ステップＳ１００３へ移行する。
　ステップＳ１００３において、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１から画像Ｚ４までの画像ごとに算出した平均輝度のうち、最大の平均輝度に基づいて補正係数（ゲイン調整値）を算出する。補正係数は、最大平均輝度を夫々の平均輝度で除算した値である。例えば、図８に示すように、画像Ｚ１の平均輝度が最大であるとすると、画像Ｚ１の補正係数は、画像Ｚ１の平均輝度を画像Ｚ１の平均輝度で除算したものであり、画像Ｚ２の補正係数は、画像Ｚ１の平均輝度を画像Ｚ２の平均輝度で除算したものであり、画像Ｚ３の補正係数は、画像Ｚ１の平均輝度を画像Ｚ３の平均輝度で除算したものであり、画像Ｚ４の補正係数は、画像Ｚ１の平均輝度を画像Ｚ４の平均輝度で除算したものである。次に、図３におけるステップＳ２０００へ移行する。
（設定選択処理）
　ステップＳ２０００において、制御部１１の設定選択部１６は、設定選択処理を実行する。画像輝度算出処理の詳細を図７に基づいて説明する。
　ステップＳ２００１において、制御部１１は、車載ネットワークＮを介して設定スイッチ３０３からの信号を受信する。制御部１１は受信した信号が設定１を示すか設定２を示すかを判断する。制御部１１は、その受信信号が設定１を示すと判断する場合は、ステップＳ２００２へ移行する（ステップＳ２００１において設定１）。制御部１１は、その受信信号が設定２を示すと判断する場合は、ステップＳ２００３へ移行する（ステップＳ２００１において設定２）。ユーザは、撮像システムＳ３から受信した複数の画像において明るい画像と暗い画像が混在している場合に設定１を有効とし、明るい画像と暗い画像が混在していない場合、すなわち複数の画像の全てが明るい又は暗い場合に設定２を有効とする。
　ステップＳ２００２において、制御部１１が備えるＲＡＭに設定される第１フラグをオンにする。次に、リターンへ移行する。
　ステップＳ２００３において、制御部１１が備えるＲＡＭに設定される第２フラグをオンにする。次に、リターンへ移行する。
　なお、そのＲＡＭに設定される第１フラグと第２フラグは、製造の際において設定１にされており、また、制御部１１が初期処理において、終了処理において設定されている値に設定する。次に図３におけるステップＳ３０００へ移行する。
　さて、図８に示すように、全体的な輝度が画像Ｚ１～画像Ｚ４において相互に異なる場合であって、全体的な輝度が最も高い画像Ｚ１と全体的な輝度が最も低い画像Ｚ２との輝度差が大きい場合、つまり、画像Ｚ１の平均輝度と画像Ｚ２の平均輝度との差が所定値以上ある場合に、これら画像を後に１枚の画像に合成することから１枚の画像と捉えて輝度調整（輝度補正）を行うと画質において不具合が発生してしまう。
　その不具合を具体的に説明する。制御部１１が、その１枚画像と捉えた画像Ｚ１～画像Ｚ４の平均輝度を算出した後に、全ての画像の全ての画素に充てられる輝度を、その平均輝度を基準に暗い画素の輝度を所定％明るくし、明るい画素の輝度を所定％暗くする調整（補正）をすると、図９に示すように、暗すぎて見づらかった画像Ｚ２が、より明るくなって見やすくなる一方で、十分に明るくて見やすかった画像Ｚ１がよりいっそう明るくなって見づらくなってしまうという不具合が発生する。つまり、極端に暗い画像と最も明るい画像とを同じ平均輝度に基づく補正を実行すると、極端に暗い画像に引きずられて明るい画像における物体の輪郭が薄くなったり、消滅したりして見づらくなってしまう。
　このように、車両周辺画像の場合、合成する前の一部の画像が他の画像と比べて極端に暗くなる場合があり、そのような不具合の発生は十分に考えられる。例えば、車両１の後部のみが暗い屋根付き駐車場に存する場合や、車両１の側面が建物などの陰に覆われる場合などである。
　従って、そのような不具合が発生しないよう、画像Ｚ１～画像Ｚ４における輝度が均一になるようにして１枚の合成画像を生成した際に違和感が無いように以降の処理を実行する。
（第１画像輝度調整処理）
　ステップＳ３０００において、制御部１１の第１画像輝度調整部１７は本発明の第１輝度調整手段として機能し、第１画像輝度調整処理を実行する。第１画像輝度算出処理の詳細を図１０に基づいて説明する。
　ステップＳ３００１において、制御部１１は本発明の制御手段として機能し、備えるＲＡＭに設定された第１フラグがオンか否かを判断する。制御部１１は、第１フラグがオンであると判断する場合（設定１が有効とされた場合）は、ステップＳ３００２へ移行する（ステップＳ３００１においてＹＥＳ）。制御部１１は、第１フラグがオフであると判断する場合は、リターンへ移行する（ステップＳ３００１においてＮＯ）。
　ステップＳ３００２において、算出した補正係数を画像Ｚ１～画像Ｚ４における輝度へ乗算する。画像に対する補正係数の乗算とは、画像における画素ごとに充てられた輝度１つ１つに対し補正係数を乗算することを言う。
　つまり、制御部１１は、図４のステップＳ１００３及び図１０のステップＳ３００２において、最大の平均輝度の画像を代表の画像に決定して、決定した代表画像を基準にして他の画像の輝度を調整することによって、図１１に示す画像Ｚ１～画像Ｚ４のように相互の画像の輝度に統一感ができ、かつ、極端に暗い画像の視認性を向上でき、後に１枚の車両周辺画像にした場合にユーザに対し違和感がない画像を提供することができる。
　なお、最大の平均輝度の画像、つまり、画像Ｚ１については、補正係数は１であるので、その乗算する処理を省略しても良い。また、最大の平均輝度の画像、つまり、画像Ｚ１以外の画像である画像Ｚ２～画像Ｚ４におけるその乗算は、前述したスレッシュ値を超える画素（飽和に近い画素）に充てられた輝度に対してはその乗算する処理を省略しても良い。次に、ステップＳ３００４へ移行する。
　ステップＳ３００４において、制御部１１は、その乗算（補正）をした画像Ｚ１～画像Ｚ４を備える揮発性記憶部へ送信する。
　ここで、最大の平均輝度の画像に基づいて算出した補正係数に基づいて、画像Ｚ１～画像Ｚ４を補正する理由を説明する。
　まず、画像Ｚ１～画像Ｚ４のうち、ヒストグラムにおいて表現した場合に最も適した輝度分布となる理想的な画像を代表の画像とし、この代表の画像を基準にして他の画像の輝度を調整（補正）してもよい。ただし、その場合その処理を実現するロジックを備えた回路やソフトウェアを設ける必要がありコストが増加する可能性があり、そのようなデメリットがないようにするには、簡易に理想的な画像を推測する必要がある。
　そこで、各撮像部の絞りは予め、撮り込む画像において、物体の輪郭が日中における車両周辺の明るさを基準に、ユーザをしてその画像が最も見やすいと感じるレベル（輝度）に調整されているので、制御部１１はその絞りによって撮り込まれたそれら画像のうち平均輝度が最も高い画像は、ユーザをして最も見やすい理想的な画像であると推測している。
　従って、その理由は、簡易に推測した理想的な画像、つまり、最大の平均輝度となる画像を基準にして他の画像を補正することによって、適切な輝度補正をしつつコストの増加を抑制することができるという点に基づいている。次に、図３におけるステップＳ４０００へ移行する。
（第２画像輝度調整処理）
　ステップＳ４０００において、制御部１１の第２画像輝度調整部１８は本発明の第２輝度調整手段として機能し、第２画像輝度調整処理を実行する。第２画像輝度算出処理の詳細を図１２に基づいて説明する。
　ステップＳ４００１において、制御部１１は本発明の制御手段として機能し、制御部１１が備えるＲＡＭに設定された第２フラグがオンか否かを判断する。制御部１１は、第２フラグがオンであると判断する場合（設定２が有効とされた場合）は、ステップＳ４００２へ移行する（ステップＳ４００１においてＹＥＳ）。制御部１１は、第２フラグがオフであると判断する場合は、リターンへ移行する（ステップＳ４００１においてＮＯ）。
　ステップＳ４００２において、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１～画像Ｚ４の夫々の平均輝度に基づいて、当該平均輝度を算出した画像を調整（補正）する。具体的には、制御部１１は、既定値を、平均輝度から補正率を差し引いた値で除算して補正係数（ゲイン調整値）を求め、当該平均輝度を算出した画像における画素に充てられた輝度へその補正係数を乗算（補正）する。補正率は、制御部１１が備えるレジスタのテーブルに平均輝度と対応付けられて既定されているため、当該平均輝度に基づいてそのレジスタのテーブルから補正率を参照する。これによって、ユーザをして全体的に暗い画像が全体的に明るくなって、見やすい画像に調整することができる。次に、ステップＳ４００３へ移行する。
　ステップＳ４００３において、制御部１１は、その乗算（補正）をした画像Ｚ１～画像Ｚ４を揮発性記憶部１４へ送信する。図３におけるステップＳ５０００へ移行する。
（画像合成処理）
　ステップＳ５０００において、制御部１１の画像合成部１９は本発明の合成画像生成手段として機能し、画像合成処理を実行する。画像合成処理の詳細を図１３に基づいて説明する。
　ステップＳ５００１において、制御部１１は、揮発性記憶部１４に記憶された補正後の画像Ｚ１～画像Ｚ４を、図１４に示す仮想的な三次元空間における立体曲面Ｐに投影する。立体曲面Ｐは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１が存在する位置として定められている。画像Ｚ１～画像Ｚ４に含まれる各画素の位置と、この立体曲面Ｐの各画素の位置とは予め対応関係が定められている。このため、立体曲面Ｐの各画素の値は、この対応関係と画像Ｚ１～画像Ｚ４に含まれる各画素の値とに基づいて決定する。
　画像Ｚ１～画像Ｚ４の各画素の位置と立体曲面Ｐの各画素の位置との対応関係は、車両１における４つの車載カメラである第１撮像部２００～第４撮像部２０３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性記憶部１３に記憶された車種別データに含まれている。
　また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面Ｐが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。
　さらに、立体曲面Ｐが存在する三次元空間に対して、制御部１１により仮想視点ＡＧＬが設定される。仮想視点ＡＧＬは、視点位置と視野方向とで規定され、この三次元空間における車両１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。次に、ステップＳ５００２へ移行する。
　ステップＳ５００２において、制御部１１は、設定された仮想視点ＡＧＬに応じて、立体曲面Ｐにおける必要な領域を画像として切り出す。仮想視点ＡＧＬと、立体曲面Ｐにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性記憶部１３等に予め記憶されている。一方で、設定された仮想視点ＡＧＬに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両１及びその車両１の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
　例えば、視点位置が車両１の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＡＧＬ１を設定した場合は、車両１の略直上から車両１を見下ろすように、車両１（実際には車両像）及び車両１の周辺の様子を示す合成画像Ｇ１が生成される。また、図中に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方とした仮想視点ＡＧＬ２を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１（実際には車両像）及び車両１の周辺の様子を示す合成画像Ｇ２が生成される。
　なお、実際に合成画像を生成する場合においては、立体曲面Ｐの全ての画素の値を決定する必要はなく、設定された仮想視点ＡＧＬに対応して必要となる領域の画素の値のみを画像Ｚ１～画像Ｚ４に基づいて決定することで、処理速度を向上できる。次に、ステップＳ５００３へ移行する。
　ステップＳ５００３において、制御部１１は、生成した合成画像Ｇ１又はＧ２を画像調整部１５へ送信する。図３におけるステップＳ６０００へ移行する。
（画像調整処理）
　ステップＳ６０００において、画像調整部１５は、画像調整処理を実行する。画像調整処理の詳細を図１５に基づいて説明する。
　ステップＳ６００１において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体の輪郭を補正する。輪郭補正とは、例えば、遠近に応じて物体の輪郭の強弱調整を行う、或いは、曲線のスムージング補正を行うなどである。次に、ステップＳ６００２へ移行する。
　ステップＳ６００２において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体間や物体の部分間のコントラストを補正する。コントラスト補正とは、例えば、遠近に応じて物体間や物体の部分間のコントラストの強弱調整を行うなどである。次に、ステップＳ６００３へ移行する。
　ステップＳ６００３において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体間の彩度を補正する。彩度補正とは、例えば、遠近に応じて物体の色の強弱調整を行うなどである。次に、図３におけるステップＳ７０００へ移行する。
（画像表示処理）
　ステップＳ７０００において、制御部１１の画像表示部２０は本発明の画像提供手段として機能し、画像表示処理を実行する。画像表示処理の詳細を図１６に基づいて説明する。
　ステップＳ７００１において、画像表示部２０は、揮発性記憶部１４に記憶されている合成画像を読み出す。その際に、画像表示部２０は、揮発性記憶部１４へ記憶している合成画像Ｇ１又はＧ２が一定量を超えると、最古の合成画像を消去して最新の合成画像を記憶する、又は、最古の合成画像を最新の合成画像によって上書きする記憶制御を実行する。次に、ステップＳ７００２へ移行する。
　ステップＳ７００２において、画像表示部２０は、揮発性記憶部１４から読み出した合成画像Ｇ１又はＧ２を車載機１００が備える表示操作部１０１に表示制御する。具体的には、画像表示部２０は、動画に見えるように、揮発性記憶部１４に記憶されている合成画像Ｇ１又はＧ２を所定の周期で古い画像から新しい画像へと更新表示させる。図１６におけるリターンへ移行する。
　＜変形例＞
　以上、本発明の第１実施例について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下ではそのような変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
　＜変形例１＞
　上記第１実施例では、図４のステップＳ１００２において、ＡＧＣ部１２は、第１撮像部２００～第４撮像部２０３から受信した画像Ｚ１～画像Ｚ４ごとの平均輝度を算出する際に、ＡＧＣ部１２は、画素に充てられた輝度が一定値であるスレッシュ値を超えているか否かを判定し、超えている場合はその輝度は平均輝度の算出における輝度の総和には含めず、更に、全画素数にも含めないと説明したが、制御装置１０の制御部１１が、車両外部の明るさを判断し、その車両外部の明るさに応じたスレッシュ値に基づいて前述した平均輝度を算出するものであっても良い。
　例えば、制御部１１は、車両外部が暗いと判断した場合は、スレッシュ値を前述のスレッシュ値よりも高い側のスレッシュ値に設定し、車両外部が明るいと判断した場合は、スレッシュ値を前述のスレッシュ値よりも低い側のスレッシュ値に設定する。
　具体的には、制御部１１は、その判断を、車載ネットワークＮに接続されている照明スイッチ３００のオン信号を受信する場合に車両外部が暗いと判断し、そのオフ信号を受信する場合に車両外部が明るいと判断する。また、制御部１１は、その判断を、車載ネットワークＮに接続されているワイパースイッチ３０１のオン信号を受信する場合に車両外部が暗いと判断し、そのオフ信号を受信する場合に車両外部が明るいと判断する。更に、制御部１１は、車載ネットワークＮに接続されている照度センサ３０２の信号を受信する場合にその信号レベルに応じ車両外部の明るさを判断して、スレッシュ値をその明るさに応じて可変にする。
　なお、このスレッシュ値はユーザが任意に設定可能に構成しても良い。
　このように車両外部の明るさに応じスレッシュ値を変更することによって、画像輝度を補正する係数の基礎となる平均輝度が、車両外部が明るい場合には暗い側へ、車両外部が暗い場合には明るい側へ設定されるので、この平均輝度に基づいて補正した画像の視認性の向上が図れる。
　＜変形例２＞
　上記第１実施例では、図７のステップＳ２００１において、制御部１１は、車載ネットワークＮを介して設定スイッチ３０３からの信号を受信し、受信した信号が設定１を示すか設定２を示すかを判断する。制御部１１は、その受信信号が設定１を示すと判断する場合は、図１０に示す第１画像輝度調整処理を実行し、その受信信号が設定２を示すと判断する場合は、図１２に示す第２画像輝度調整処理を実行すると説明したが、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１～画像Ｚ４の平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定値以上か否かを判断し、その差が所定値以上であると判断する場合は、第１フラグをオンにして、図１０に示す第１画像輝度調整処理を実行し、その差が所定値以上であると判断しない場合は、第２フラグをオンにして、図１２に示す第２画像輝度調整処理を実行するようにしても良い。
　なお、上記の所定値は前述するような不具合が発生するような画像の組み合わせになる場合を判定する値を予め設定している。また、第１フラグと第２フラグは初期処理と終了処理の際にオフにされるとともに、その機能の目的が終了する際にオフにされる。
　つまり、第１撮像部２００～第４撮像部２０３が夫々撮像した画像の組み合わせが、前述するような不具合が発生するパターンである場合には、第１画像輝度調整処理を実行させる。一方で、前述するような不具合が発生するパターンでない場合には、第１画像輝度調整処理を実行させず、第２画像輝度調整処理を実行することで、画像の劣化を防止することができる。
　＜変形例３＞
　上記第１実施例では、図７のステップＳ２００１において、ステップＳ２００１において、制御部１１は、車載ネットワークＮを介して設定スイッチ３０３からの信号を受信し、受信した信号が設定１を示すか設定２を示すかを判断する。制御部１１は、その受信信号が設定１を示すと判断する場合は、図１０に示す第１画像輝度調整処理を実行し、その受信信号が設定２を示すと判断する場合は、図１２に示す第２画像輝度調整処理を実行すると説明したが、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１～画像Ｚ４の平均輝度のうち、上限値を超える平均輝度があり、かつ、下限値を超える平均輝度があるという条件を満たす場合は、第１フラグをオンにして、図１０に示す第１画像輝度調整処理を実行し、その条件を満たさない場合は、第２フラグをオンにして図１２に示す第２画像輝度調整処理を実行するようにしても良い。
　なお、上限値及び下限値は前述するような不具合が発生するような画像の組み合わせになる場合を判定する値を予め設定している。
　つまり、第１撮像部２００～第４撮像部２０３が夫々撮像した画像の組み合わせが、前述するような不具合が発生するパターンである場合には、第１画像輝度調整処理を実行させる。一方で、前述するような不具合が発生するパターンでない場合には、第１画像輝度調整処理を実行させず、第２画像輝度調整処理を実行することで、画像の劣化を防止することができる。
＜第２実施例＞
　次に本発明に係る車両周辺画像表示システムの第２実施例について説明する。第１実施例において示したものと同一、同様または同等の構成および機能を備える要素については同一の参照番号を付与して示し、重複する説明は割愛する。
（制御装置）
　本実施例の制御装置１１０は本発明の画像処理装置に対応し、図１７に示すように、制御部１１１、ＡＧＣ部１１２、不揮発性記憶部１３、揮発性記憶部１４、および画像調整部１５により構成される。
　制御部１１１は、画像輝度調整部１１６、画像合成部１９、および画像表示部２０を備える。つまり、制御部１１１は、後述する、画像輝度調整機能、画像合成機能、および画像表示機能を発揮する。
　具体的に、制御部１１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成されるマイクロコンピュータである。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。
　ＡＧＣ部１１２は、画像輝度算出部１１９を備える。つまり、ＡＧＣ部１１２は、後述する、画像輝度算出機能を発揮する。
　更に、画像輝度算出部１１９は、図１８に示すように、平均輝度算出部１２０、スレッシュ値算出部１２１、およびゲイン調整値算出部１２２を備える。つまり、画像輝度算出部１１９は、後述する、平均輝度算出機能、スレッシュ値算出機能、およびゲイン調整値算出機能を発揮する。
（スイッチ・センサ）
　車載ネットワークＮには、制御装置１１０や車載機１００と共に、種々のスイッチ、並びに、センサが接続されている。そのスイッチ並びにセンサには、例えば、照明スイッチ３００、ワイパースイッチ３０１、照度センサ３０２、第１設定スイッチ３０４、および第２設定スイッチ３０５がある。
　第１設定スイッチ３０４は、後述するスレッシュ値調整機能（追従機能）のオン／オフの設定をユーザから受け付ける。また、第２設定スイッチ３０５は、制御装置１１０の制御部１１１に、後述する平均輝度と最大値との何れで画像を補正するかの設定をユーザから受け付ける操作手段である。
[画像処理]
　次に、制御装置１１０が実行する画像処理を図１９に基づいて説明する。制御装置１１０が発揮する機能には、ＡＧＣ部１１２が発揮する画像輝度算出機能があり、制御部１１１が発揮する画像輝度調整機能、画像合成機能、および画像表示機能がある。また、画像輝度算出機能には、平均輝度算出機能、スレッシュ値算出機能、およびゲイン調整算出機能がある。
　更に、画像調整部１５が発揮する画像調整機能がある。画像調整機能には、輪郭補正機能、コントラスト補正機能、および彩度補正機能がある。
　制御装置１１０はこれら機能を発揮するために、図１９に示す、画像輝度算出処理Ｓ１５００、画像輝度調整処理Ｓ２５００、画像合成処理Ｓ５０００、画像調整処理Ｓ６０００、および画像表示処理Ｓ７０００を実行する。
　制御装置１１０の制御部１１１、ＡＧＣ部１１２、および画像調整部１５は、制御装置１１０がユーザにより起動されたことにより、所定の周期で図１９に示す画像処理を繰り返し実行する。撮像システムＳ３においては所定の周期で画像が取得され、取得された画像は撮像システムＳ３から連続して制御装置１１０に入力され、図１９の画像処理の対象とされる。
　画像の明るさについては輝度で表現することができるため、以下「輝度」として説明する。
（画像輝度算出処理）
　ステップＳ１５００において、制御装置１１０のＡＧＣ部１１２の画像輝度算出部１１９は、画像輝度算出処理を実行する。画像輝度算出処理の詳細を図２０に基づいて説明する。
　画像輝度算出部１１９は、画像輝度算出処理の実行を開始し、ステップＳ１５０１へ移行する。
　ステップＳ１５０１において、画像輝度算出部１１９は本発明の画像取得手段として機能し、第１撮像部２００～第４撮像部２０３が撮像して、制御部１１１へ送信した画像（図５および図６参照）を取得（受信）する。
　次にステップＳ１５０２において、画像輝度算出部１１９の平均輝度算出部１２０は本発明の第１平均算出手段として機能し、第１撮像部２００～第４撮像部２０３より受信した画像Ｚ１～画像Ｚ４における、画像を分割して得られる複数の領域ごとに平均輝度を算出する。ここで各領域は複数の画素を含むものとする。画像の平均輝度の算出とは、領域における画素ごとに充てられている輝度の総和を、領域における全画素数で除算することをいう。
　例えば、平均輝度算出部１２０は、図２１に示す画像Ｚ１～画像Ｚ４を、図２２に示すように、夫々を８つの領域に分割して、領域ごとの平均輝度を第１平均輝度（本発明の第１平均値）として算出する。
　その際に、平均輝度算出部１２０は本発明の領域選択手段および第２平均算出手段として機能し、各第１平均輝度が閾値であるスレッシュ値を超えているか否かを判定し、超えている場合はその平均輝度を算出した領域以外の全領域を対象領域として特定する。そして、その対象領域に含まれる画素の平均輝度を第２平均輝度（本発明の第２平均値）として算出する。つまり、分割された複数の領域のうち、第１平均輝度がスレッシュ値以下となる領域を対象領域とし、その対象領域に含まれる画素の輝度に基づいて第２平均輝度を算出する。なお、分割された複数の領域のうち、第１平均輝度がスレッシュ値を超える領域は、以降の処理の対象から除外される非対象領域となる。
　例えば、平均輝度算出部１２０は、図２２に示す画像Ｚ１～画像Ｚ４における領域１～領域８において、領域ごとの第１平均輝度がスレッシュ値を超えているか否かを判断し、図２２に示す画像Ｚ１における領域３及び領域４の第１平均輝度がスレッシュ値を超えていると判断した場合は、平均輝度算出部１２０は、画像Ｚ１における領域３及び領域４を除く領域、並びに、画像Ｚ２～画像Ｚ４の全ての領域を対象領域とし、その対象領域の平均輝度を算出する。
　つまり、図２２に示す画像Ｚ１における領域３及び領域４は、対向車線を走行する車両Ａのヘッドライトの光Ｂが映っているため、画像Ｚ１における他の領域と比べ極端に平均輝度が高くなり、そのヘッドライトの光Ｂが映る画Ｚ１における領域３及び領域４が平均輝度の算出から除かれることになる。また、画像Ｚ１における領域３及び領域４を除く領域、並びに、画像Ｚ２～画像Ｚ４の全ての領域を含めた領域で平均輝度を算出するのは、後に画像Ｚ１～画像Ｚ４が１枚の車両の周辺画像に合成されるためである。
　なお、平均輝度算出部１２０は、初回の平均輝度の算出におけるスレッシュ値は、不揮発性記憶部１３に記憶されている初期値を用いる。
　次にステップＳ１５０３において、ＡＧＣ部１１２のスレッシュ値算出部１２１が、次回に入力される画像を対象とした画像輝度算出処理のステップＳ１５０２において用いられるスレッシュ値を算出する。
　以降、説明をするにあたり、画像における複数の領域ごとに算出する平均輝度を第１平均輝度とし、スレッシュ値を超えている第１平均輝度を算出した領域以外の全領域を対象にして算出した平均輝度を第２平均輝度とする。
　ＡＧＣ部１１２のスレッシュ値算出部１２１は、車載ネットワークＮを介して、第１設定スイッチ３０４からオン信号を受信する場合は、スレッシュ値追従機能がユーザによりオンにされていると判断して、第２平均輝度に基づいて、画像処理の実行周期における次回の周期のステップＳ１５０２において用いるスレッシュ値（動画を構成する次の静止画において用いるスレッシュ値）を算出する。
　具体的には、スレッシュ値算出部１２１が本発明の閾値更新手段として機能し、第２平均輝度にＡＧＣ部１１２が備えるレジスタに予め記憶されている所定値を加算することにより次回のスレッシュ値を算出する（現在の閾値を算出した値で更新する）。
　また、スレッシュ値算出部１２１は、車載ネットワークＮを介して、第１設定スイッチ３０４からオフ信号を受信する場合は、スレッシュ値追従機能がユーザによりオフにされていると判断して、画像処理の実行周期における次回の周期のステップＳ１５０２において用いるスレッシュ値を設定する。
　具体的には、スレッシュ値算出部１２１が、現在設定されているスレッシュ値を更新せずに維持するように、あるいは初期値に戻すようにスレッシュ値を設定する。
　次にステップＳ１５０４において、ＡＧＣ部１１２のゲイン調整値算出部１２２は、車載ネットワークＮを介して、第２設定スイッチ３０５からオン信号を受信する場合は、第１モードがユーザによりオンにされていると判断して、第２平均輝度に基づいて、ゲイン調整値を算出する。
　具体的には、ゲイン調整値算出部１２２が、既定値を、第２平均輝度から補正率を差し引いた値で除算してゲイン調整値を算出する。補正率は、ＡＧＣ部が備えるレジスタのテーブルに平均輝度と対応付けられて既定されているため、当該平均輝度に基づいてそのレジスタのテーブルから補正率を参照する。このようなゲイン調整値に基づいて画像を調整すれば、第２平均輝度を基準に、暗すぎる部分が明るく、かつ、明るすぎる部分が暗くなって、画像全体としてユーザに対し落ち着いた印象を与えることができ、結果、ユーザに対し見やすくできる。
　また、ＡＧＣ部１１２のゲイン調整値算出部１２２は、車載ネットワークＮを介して、第２設定スイッチ３０４からオフ信号を受信する場合は、第２モードがユーザによりオンにされていると判断して、第１平均輝度がスレッシュ値以下となる対象領域における輝度の最大値（輝度ピーク値）に基づいて、ゲイン調整値を算出する。
　具体的には、ゲイン調整値算出部１２２が、輝度の最大値を基準にして各輝度に応じた補正率を算出する。補正率は、ＡＧＣ部が備えるレジスタのテーブルに輝度の最大値と対応付けられて既定されているため、当該輝度の最大値に基づいてそのレジスタのテーブルから補正率を参照する。これによって、輝度の最大値を基準に、明るい部分は概ね維持し、かつ、暗い部分を明るくするので、既に明るい部分が白飛びして、画質が劣化することを防ぐことができるとともに、暗い部分を明るくすることができる。次に、図１９におけるステップＳ２５００へ移行する。
（画像輝度調整処理）
　ステップＳ２５００において、制御部１１１の画像輝度調整部１１６は本発明の輝度調整手段として機能し、画像輝度調整処理を実行する。画像輝度算出処理の詳細を図２３に基づいて説明する。
　ステップＳ２５０１において、制御部１１１の画像輝度調整部１１６は、ＡＧＣ部１１２から受信したゲイン調整値に基づいて、画像Ｚ１～画像Ｚ４を調整（補正）する。
　具体的には、画像輝度調整部１１６は、画像Ｚ１～画像Ｚ４における画素に充てられた輝度へゲイン調整値を乗算する。
　なお、第２平均輝度の算出対象とならなかった非対象領域における画素に充てられた輝度に対しては、ゲイン調整による調整（補正）を省いても良い。次に、ステップＳ２５０２へ移行する。
　ステップＳ２５０２において、制御部１１１は、調整（補正）をした画像Ｚ１～画像Ｚ４を備える揮発性記憶部１４へ送信する。
　上述した画像輝度算出処理と画像輝度調整処理との総合的な流れを簡易に示すと図２４のようになる。つまり、制御部１１１及びＡＧＣ部１１２は、第１撮像手段２００～第２撮像手段２０３より車両周辺画像を所定周期で連続して受信する処理において、前回受信した画像Ｚ１～画像Ｚ４の第２平均輝度に基づいて算出したスレッシュ値により、今回受信した画像Ｚ１～画像Ｚ４の第２平均輝度を算出する処理（ステップＳ１５０２Ｘ）と、今回算出した第２平均輝度に基づいて次回受信する画像Ｚ１～画像Ｚ４の第２平均輝度を算出するためのスレッシュ値を算出する処理（ステップＳ１５０３Ｘ）を、画像処理を終了させるまで繰り返し実行する（ループ処理する）。そのループ処理における、ステップＳ１５０２Ｘの処理の後に、並行して、第２平均輝度に基づいてゲイン調整値を算出する処理（ステップＳ１５０４Ｘ）を実行し、その後に、ゲイン調整値に基づいて画像Ｚ１～画像Ｚ２を調整（補正）する処理（ステップＳ２５０１Ｘ）を、画像処理を終了させるまで繰り返し実行する。
　従って、画像輝度算出処理において、ユーザにより第１設定スイッチ３０４がオンにされている場合に、極端に輝度が高い領域を除外して算出した第２平均輝度に基づいて、ゲイン調整値を算出することにより、画像輝度調整処理において、そのゲイン調整値に基づいて画像を調整（補正）できるため、調整（補正）された画像が、極端に輝度が高い領域の影響により、全体的に暗くなり、かつ、もともと暗い部分が明るくならいという不具合を防ぐことができる。
　また、車両Ａのライトの光Ｂによって極端に高くなる輝度は所定の領域を占めるため、スレッシュ値との比較を画素に充てられた輝度１つ１つと行うのではなく、画像領域の平均輝度と行うのでその際の処理負荷を軽くできる。
　更に、画像処理の実行周期における今回の周期に実行する画像輝度算出処理において、算出される第２平均輝度に基き、次回の周期に実行する画像輝度算出処理において、第２平均輝度を算出する際に利用するスレッシュ値を算出（更新）するので、車両１が走行するなどによって変化しながら連続して撮像される画像のそれぞれに応じたスレッシュ値を設定することができ、そのスレッシュ値に基づいて算出した第２平均輝度により適切なゲイン調整値が算出でき、このゲイン調整値により適切な画像が調整（補正）できる。つまり、画像輝度算出処理において用いるスレッシュ値を、多様な輝度分布のバリエーションを有する画像に追従させることができる。次に、図１９におけるステップ５０００へ移行する。以降の処理は第１実施例と同一であるため、説明を省略する。
＜変形例＞
　以上、本発明の第２実施例について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下ではそのような変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
　図２０のステップＳ１５０２において、「例えば、平均輝度算出部１２０は、図２２に示す画像Ｚ１～画像Ｚ４における領域１～領域８において、領域ごとの平均輝度がスレッシュ値を超えているか否かを判断し、図２２に示す画像Ｚ１における領域３及び領域４の平均輝度が閾値を超えていると判断した場合は、平均輝度算出部１２０は、画像Ｚ１における領域３及び領域４を除く領域、並びに、画像Ｚ２～画像Ｚ４の全ての領域を含めた平均輝度を算出する」と説明したが、平均輝度算出部１２０は、画像Ｚ１～画像Ｚ４における画像ごとに第２平均輝度を算出するものであっても良い。更に、ステップＳ１５０３におけるスレッシュ値算出部１２１が算出するスレッシュ値、およびステップＳ１５０４におけるゲイン調整値算出部１２２が算出するゲイン調整値についても、画像Ｚ１～画像Ｚ４における画像ごとに算出するものであっても良く、また、画像輝度調整処理Ｓ２５００においても、画像Ｚ１～画像Ｚ４における画像ごとに、画像輝度調整をするものであっても良い。
　また、上記実施の形態では、ある画像に基づいて導出したスレッシュ値を、その画像の次に入力される画像の処理に適用するものとして説明したが、スレッシュ値を適用する画像はそのスレッシュ値を導出した画像の後に入力される画像であれば、次の画像でなくてもよい。
　上記の各実施例では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
　更に、各実施例の制御を説明するフローチャート図における各処理は、便宜上一の系列で示しているが、細分化された各処理を各制御部がマルチタスク制御機能により並列に処理するものであっても良い。
　本出願は、２０１０年１月２９日に提出された日本特許出願２０１０－０１７６１５、および２０１０年１月２９日に提出された日本特許出願２０１０－０１９０６０に基づくものであり、その内容はここに参照として取り込まれる。

Claims (11)

  1. 　車両に搭載される画像処理装置であって、
    　車両に設けられた複数のカメラから複数のカメラ画像を取得する画像取得手段と、
    　前記複数のカメラ画像の輝度に基づいて前記複数のカメラ画像のうちの一画像を代表の画像として選択する画像選択手段と、
    　前記代表の画像の輝度に基づいて、他のカメラ画像の少なくとも一つの輝度を調整する第１輝度調整手段と、
    　前記代表の画像と前記第１輝度調整手段により少なくとも一つの輝度が調整された前記他のカメラ画像とに基づいて、前記車両の周辺を示す合成画像を生成する合成画像生成手段と、
    　前記車両に搭載された表示装置へ前記合成画像に対応する情報を出力する画像提供手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記画像選択手段は、前記複数のカメラ画像ごとに各カメラ画像を構成する複数の画素の輝度の平均値を算出して最も高い平均値を有するカメラ画像を前記代表の画像として選択することを特徴とする画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記画像選択手段は、前記平均値の算出に際して所定値よりも高い輝度を有する画素を排除することを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記画像選択手段により計算された最も高い平均値と最も低い平均値との差が所定値以上の場合に、前記第１輝度調整手段を有効にする制御手段を更に備えることを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記画像選択手段により算出された前記複数のカメラ画像ごとの前記平均に基づいて、前記複数のカメラ画像の各々の輝度を調整する第２輝度調整手段を備え、
    　前記制御手段は、前記差が前記所定値未満の場合に、前記第２輝度調整手段を有効にすることを特徴とする画像処理装置。
  6. 　画像処理方法であって、
    　車両に設けられた複数のカメラから複数のカメラ画像を取得し、
    　前記複数のカメラ画像の輝度に基づいて前記複数のカメラ画像のうちの一画像を代表の画像として選択し、
    　前記代表の画像の輝度に基づいて、他のカメラ画像の少なくとも一つの輝度を調整し、
    　前記代表の画像と少なくとも一つの輝度が調整された前記他のカメラ画像とに基づいて、前記車両の周辺を示す合成画像を生成し、
    　前記車両に搭載された表示装置へ前記合成画像に対応する情報を出力する
    ことを特徴とする画像処理方法。
  7. 　車両に搭載される画像処理装置であって、
    　前記車両に設けられたカメラからカメラ画像を取得する画像取得手段と、
    　前記カメラ画像を各々複数の画素を含む複数の領域に分割し、該複数の領域の各々について前記画素の輝度の平均値を第１平均輝度として算出する第１平均算出手段と、
    　前記複数の領域のうち、前記第１平均値が閾値以下となる少なくとも一つの領域を選択する領域選択手段と、
    　前記領域選択手段により選択された前記少なくとも一つの領域の輝度に基づいて、前記カメラ画像全体の輝度を調整する輝度調整手段と、
    　前記車両に搭載された表示装置へ前記輝度調整手段により前記全体の輝度が調整された前記カメラ画像に対応する情報を出力する画像提供手段と、　
    　前記領域選択手段により選択された前記少なくとも一つの領域に含まれる画素の輝度の平均値を第２平均値として算出する第２平均算出手段と、
    　前記第２平均値に基づいて前記閾値を更新する閾値更新手段と、
    を備えることを特徴とする画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記輝度調整手段は、前記第２平均値に基づいて、前記カメラ画像全体の輝度を調整することを特徴とする画像処理装置。
  9. 　請求項７に記載の画像処理装置において、
    　前記輝度調整手段は、前記領域選択手段により選択された前記少なくとも一つの領域に含まれる画素の輝度の最大値に基づいて、前記カメラ画像全体の輝度を調整することを特徴とする画像処理装置。
  10. 　請求項７から９の何れか１項に記載の画像処理装置において、
    　前記画像取得手段は、前記車両に設けられた複数のカメラから複数のカメラ画像を取得し、
    　前記第１平均算出手段は、前記複数のカメラ画像の各々について前記第１平均値を算出し、
    　前記領域選択手段は、前記複数のカメラ画像の各々について前記少なくとも一つの領域を選択し、
    　前記輝度調整手段は、前記複数のカメラ画像の各々について前記全体の輝度を調整し、
    　前記画像処理装置は、前記画像調整手段により輝度が調整された前記複数のカメラ画像に基づいて、前記車両の周辺を示す合成画像を生成する合成画像生成手段を更に備え、
    　　前記画像提供手段は、前記表示装置へ前記合成画像に対応する情報を出力することを特徴とする画像処理装置。
  11. 　画像処理方法であって、
    　車両に設けられたカメラからカメラ画像を取得し、
    　前記カメラ画像を各々複数の画素を含む複数の領域に分割し、
    　前記複数の領域の各々について前記画素の輝度の平均値を第１平均値として算出し、
    　前記複数の領域のうち、前記第１平均値が閾値以下となる少なくとも一つの領域を選択し、
    　前記領域選択手段により選択された前記少なくとも一つの領域の輝度に基づいて、前記カメラ画像全体の輝度を調整し、
    　前記全体の輝度が調整された前記カメラ画像に対応する情報を前記車両に搭載された表示装置へ出力し、
    　前記領域選択手段により選択された前記少なくとも一つの領域に含まれる画素の輝度の平均値を第２平均値として算出し、
    　前記第２平均値に基づいて前記閾値を更新することを特徴とする画像処理方法。
PCT/JP2011/051546 2010-01-29 2011-01-27 画像処理装置、および画像処理方法 WO2011093354A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/575,408 US9041807B2 (en) 2010-01-29 2011-01-27 Image processing device and image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-019060 2010-01-29
JP2010017615A JP5464741B2 (ja) 2010-01-29 2010-01-29 画像合成装置、及び、画像合成方法
JP2010019060A JP5413843B2 (ja) 2010-01-29 2010-01-29 画像処理装置、及び、画像処理方法
JP2010-017615 2010-01-29

Publications (1)

Publication Number Publication Date
WO2011093354A1 true WO2011093354A1 (ja) 2011-08-04

Family

ID=44319337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/051546 WO2011093354A1 (ja) 2010-01-29 2011-01-27 画像処理装置、および画像処理方法

Country Status (2)

Country Link
US (1) US9041807B2 (ja)
WO (1) WO2011093354A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2846542A4 (en) * 2012-07-04 2016-01-13 Denso Corp VEHICLE ENVIRONMENT IMAGE DISPLAY CONTROL DEVICE, VEHICLE ENVIRONMENT IMAGE DISPLAY CONTROL METHOD, AND COMPUTER-READABLE TANGIBLE MEDIUM COMPRISING CONTROLS INCLUDING SAID METHOD

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6094252B2 (ja) * 2013-02-20 2017-03-15 株式会社デンソー 道路標識認識装置
CA2902430C (en) 2013-03-15 2020-09-01 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US10326969B2 (en) * 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
KR101497933B1 (ko) * 2013-08-19 2015-03-03 현대모비스(주) 클러스터링 기법을 이용한 다수 영상의 합성 시스템 및 방법
JP6224251B2 (ja) * 2013-12-19 2017-11-01 インテル コーポレイション ボウル形状イメージングシステム
KR101543159B1 (ko) * 2014-05-02 2015-08-10 현대자동차주식회사 카메라를 이용한 영상 조정 시스템 및 방법
DE102014118314A1 (de) * 2014-12-10 2016-06-16 Connaught Electronics Ltd. Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
JP7009785B2 (ja) * 2017-06-02 2022-01-26 株式会社アイシン 周辺監視装置
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
US10406995B2 (en) 2017-11-10 2019-09-10 Denso Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
US10232800B1 (en) * 2017-11-10 2019-03-19 Denson Corporation Camera module
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10534253B2 (en) 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10661725B2 (en) * 2017-11-10 2020-05-26 Denso Corporation Camera module
JP7047549B2 (ja) 2018-04-03 2022-04-05 株式会社アイシン 画像処理装置
JP7183562B2 (ja) 2018-04-03 2022-12-06 株式会社アイシン 画像処理装置
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2006173988A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd 車載用カメラ映像提示装置及び車載用カメラ映像提示方法
JP2007141098A (ja) * 2005-11-21 2007-06-07 Nissan Motor Co Ltd 画像処理装置及び画像処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
JPH11136571A (ja) 1997-10-24 1999-05-21 Matsushita Electric Ind Co Ltd 信号処理装置および方法
EP1408693A1 (en) * 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP3565749B2 (ja) * 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
WO2002007443A1 (fr) * 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Systeme de controle
JP4702917B2 (ja) 2001-03-30 2011-06-15 キヤノン株式会社 カメラ
JP4123888B2 (ja) 2002-09-25 2008-07-23 ソニー株式会社 撮像装置，自動露光処理方法
JP4855662B2 (ja) 2003-09-16 2012-01-18 富士フイルム株式会社 カメラシステム、カメラ制御方法、及びプログラム
KR100986660B1 (ko) * 2004-10-20 2010-10-11 후지쓰 텐 가부시키가이샤 표시 장치
JP4762698B2 (ja) * 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
JP4982127B2 (ja) 2006-07-19 2012-07-25 クラリオン株式会社 画像表示システム
JP4862774B2 (ja) * 2006-12-20 2012-01-25 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4538468B2 (ja) * 2007-02-27 2010-09-08 日立オートモティブシステムズ株式会社 画像処理装置，画像処理方法、及び画像処理システム
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5020792B2 (ja) 2007-12-04 2012-09-05 アルパイン株式会社 合成画像生成装置および合成画像生成方法
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
JP4622001B2 (ja) * 2008-05-27 2011-02-02 トヨタ自動車株式会社 道路区画線検出装置および道路区画線検出方法
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2006173988A (ja) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd 車載用カメラ映像提示装置及び車載用カメラ映像提示方法
JP2007141098A (ja) * 2005-11-21 2007-06-07 Nissan Motor Co Ltd 画像処理装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2846542A4 (en) * 2012-07-04 2016-01-13 Denso Corp VEHICLE ENVIRONMENT IMAGE DISPLAY CONTROL DEVICE, VEHICLE ENVIRONMENT IMAGE DISPLAY CONTROL METHOD, AND COMPUTER-READABLE TANGIBLE MEDIUM COMPRISING CONTROLS INCLUDING SAID METHOD

Also Published As

Publication number Publication date
US20120293660A1 (en) 2012-11-22
US9041807B2 (en) 2015-05-26

Similar Documents

Publication Publication Date Title
WO2011093354A1 (ja) 画像処理装置、および画像処理方法
JP5464741B2 (ja) 画像合成装置、及び、画像合成方法
US10509972B2 (en) Vehicular vision system
US9646572B2 (en) Image processing apparatus
US8780202B2 (en) Image generation apparatus
JP5604146B2 (ja) 車載照明装置、画像処理装置、画像表示システム及び照明方法
US9969330B2 (en) Mirror substitute device and vehicle
US8842176B2 (en) Automatic vehicle exterior light control
EP0830267B1 (en) Rearview vision system for vehicle including panoramic view
JP6717929B2 (ja) 駐車支援装置、車載カメラ、車両および駐車支援方法
US8009977B2 (en) On-vehicle lighting apparatus
JP6811106B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
US20200023772A1 (en) Apparatus and method for displaying information
JP6969488B2 (ja) 画像表示装置
JP5592138B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP5413843B2 (ja) 画像処理装置、及び、画像処理方法
US10735667B1 (en) Vehicle surroundings monitoring apparatus
JP2023174682A (ja) 車両用映像処理装置および車両用映像処理方法
JP7051667B2 (ja) 車載装置
WO2014010179A1 (ja) 車両用視界支援装置
JP5466743B2 (ja) 画像生成装置及び画像表示システム
US20220297601A1 (en) Control system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11737066

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13575408

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11737066

Country of ref document: EP

Kind code of ref document: A1