WO2019194012A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2019194012A1
WO2019194012A1 PCT/JP2019/012545 JP2019012545W WO2019194012A1 WO 2019194012 A1 WO2019194012 A1 WO 2019194012A1 JP 2019012545 W JP2019012545 W JP 2019012545W WO 2019194012 A1 WO2019194012 A1 WO 2019194012A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
luminance
interest
vehicle
correction
Prior art date
Application number
PCT/JP2019/012545
Other languages
English (en)
French (fr)
Inventor
欣司 山本
渡邊　一矢
いつ子 福島
哲也 丸岡
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201980024142.2A priority Critical patent/CN111937380B/zh
Priority to US17/044,919 priority patent/US11082631B2/en
Publication of WO2019194012A1 publication Critical patent/WO2019194012A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Definitions

  • Embodiments described herein relate generally to an image processing apparatus.
  • a plurality of image pickup units provided in a vehicle are used to pick up images of the situation around the vehicle in different directions, perform image processing (for example, viewpoint conversion) of the picked up images, and connect the images to the surroundings.
  • An image processing device that generates an image (for example, an overhead image) is known.
  • images are picked up by each image pickup unit depending on the mounting position of the image pickup unit, the image pickup (shooting) direction, the shooting time zone, whether or not the headlamp is turned on, the degree of aperture adjustment for each image pickup unit, and the like. There may be a difference in brightness (luminance) of the image.
  • the brightness of the peripheral images generated by joining differs depending on the direction, and the brightness difference is conspicuous at the joined position, resulting in an uncomfortable image. Therefore, correct the brightness of the entire screen based on the average brightness of multiple images, adjust the brightness of other images by calculating the brightness average of four locations for the front image, and the brightness average value of the previous and next images Techniques such as correcting the luminance of a side image using a synthesizer have been proposed.
  • each imaging unit may be individually subjected to aperture adjustment (gain adjustment) at the time of imaging as described above, and depending on the situation around the vehicle, the brightness (luminance) of the area to be imaged for each captured image ) May vary greatly. For example, when there is a light such as a streetlight or lighting of another vehicle around the vehicle at night, the difference in aperture adjustment for each imaging unit does not become extremely large. On the other hand, if the vehicle (own vehicle) alone exists at night in a place with no lighting and the headlight of the own vehicle is attached, the entire imaging area is sufficiently bright by the headlight in front of the vehicle. Increases and the brightness of the entire image is lowered.
  • aperture adjustment gain adjustment
  • An image processing apparatus includes, for example, an acquisition unit that acquires a plurality of pieces of image information captured as a surrounding situation of the vehicle by a plurality of imaging units provided in the vehicle, and a side of the vehicle.
  • the luminance of the first region of interest included in the vehicle front region of the side image information is equal to or higher than the first predetermined value and is included in the vehicle rear region of the side image information.
  • a determination unit that determines that the luminance is the specific luminance state when the difference between the luminance of the second region of interest and the luminance of the first region of interest is greater than or equal to a second predetermined value; and the specific luminance state
  • the first correction value for setting the luminance of the first region of interest to the first target luminance is determined according to the luminance of the vehicle front region, and the second interest included in the vehicle rear region First to make the brightness of the area the second target brightness Based on the first setting unit that determines the correction value according to the luminance of the rear image information obtained by imaging the rear of the vehicle, and the first interest value based on the first correction value and the second correction value.
  • a second setting unit that sets an individual correction value for correcting the luminance of the region between the region and the second region of interest.
  • the captured image is used when the vehicle is in a specific luminance state in which the periphery of the vehicle is dark and the front of the vehicle is particularly bright (luminance greater than the first predetermined value). Can be determined appropriately.
  • the first setting unit of the image processing apparatus may use the first target luminance as the luminance of the first region of interest. Good.
  • the first target luminance the luminance of the image captured by the imaging unit is used as it is, so that the image content on the front side of the side image is easy to maintain the content at the time of imaging,
  • a peripheral image is generated by connecting a plurality of images, it is possible to easily recognize the image contents.
  • the first setting unit of the image processing apparatus when determining the first correction value, has a luminance less than the first predetermined value around the first region of interest.
  • the first region of interest may be moved to this region, and the luminance of that region may be set as the first target luminance.
  • the first correction value when there is an area brighter than the first predetermined value in the front area of the side image information, based on the luminance of the area around the bright part and less than the first predetermined value. Since the first correction value is determined, the bright area that is equal to or greater than the first predetermined value is not corrected, and the side area that is corrected otherwise is suppressed from being extremely dark. As a result, it is possible to easily recognize the image content of the peripheral image obtained by joining a plurality of images.
  • the first setting unit of the image processing apparatus may use the second target luminance as a predetermined predetermined target luminance.
  • the brightness behind the vehicle can be easily determined even in a specific luminance state where the periphery of the vehicle is dark and the front of the vehicle is particularly bright.
  • the recognizability of the image content can be improved easily.
  • the determination unit of the image processing apparatus is configured such that the first region of interest includes the vehicle front region of the side image information and the front image information obtained by imaging the front of the vehicle. It is set in the overlapping first overlapping region, and the second region of interest is set in the second overlapping region where the vehicle rear region and the rear image information of the side image information partially overlap. It may be.
  • this configuration for example, when performing luminance correction in a plurality of images, it is possible to use a common region of interest in the determination processing whether or not the specific luminance state is used and in the luminance correction processing, This can contribute to reducing the load of image processing.
  • FIG. 1 is a schematic plan view illustrating an example of a vehicle on which the image processing apparatus according to the embodiment can be mounted.
  • FIG. 2 is an exemplary block diagram of a configuration of an image processing system including the image processing apparatus according to the embodiment.
  • FIG. 3 is an exemplary block diagram of a configuration of a CPU of the image processing apparatus according to the embodiment.
  • FIG. 4 is a schematic bird's-eye view for explaining the imaged area captured by each imaging unit and its overlapping area.
  • FIG. 5 is a schematic diagram illustrating an example of a luminance distribution of an original image to be processed by the image processing apparatus according to the embodiment and a setting position of a region of interest (ROI).
  • ROI region of interest
  • FIG. 6 is a flowchart for explaining an example of a process flow in the image processing apparatus according to the embodiment when the brightness correction is performed using the fixed target brightness when the vehicle surrounding state is the normal brightness state.
  • FIG. 7 is a diagram for exemplarily explaining a part of the processing of the image processing apparatus according to the embodiment.
  • the luminance of the region of interest in the imaging area in front of the vehicle is corrected to a fixed target luminance, and the correction is performed.
  • It is a schematic diagram which shows a corresponding linear interpolation type
  • FIG. 8 is a diagram for explaining a case where correction by the luminance set by the linear interpolation equation of FIG.
  • FIG. 7 is executed, and is a schematic diagram illustrating an example of a change in luminance state before and after correction of an imaging region in front of the vehicle. is there.
  • FIG. 9 is a diagram for exemplifying a part of the processing of the image processing apparatus according to the embodiment, and corrects the luminance of the region of interest in the imaged region on the side of the vehicle to a fixed target luminance, and the correction It is a schematic diagram which shows the linear interpolation type corresponding to.
  • FIG. 10 is a schematic diagram illustrating an example of a luminance state of a peripheral image generated when luminance correction is performed on an imaging region around the vehicle.
  • FIG. 11 is a schematic diagram illustrating an example in which the slope of the linear interpolation equation used when correcting the luminance is too large in the image processing apparatus according to the embodiment.
  • FIG. 12 is a schematic diagram for explaining a correction example of the slope of the linear interpolation formula in the case of FIG.
  • FIG. 13 is a schematic diagram illustrating an example in which the correction amount is limited based on the correction upper limit value when the correction amount is too large when performing luminance correction in the image processing apparatus according to the embodiment.
  • FIG. 14 is a schematic diagram illustrating an example of the relationship between input luminance and output luminance when describing linear interpolation of luminance using a coefficient of a ⁇ curve.
  • FIG. 15 is a schematic diagram illustrating an example of another relationship between input luminance and output luminance in the case of describing linear interpolation of luminance using a coefficient of a ⁇ curve.
  • FIG. 16 is a schematic diagram showing a linear interpolation formula generated using the coefficient of the ⁇ curve shown in FIGS. 14 and 15.
  • FIG. 17 is a diagram illustrating an image processing apparatus according to an embodiment in which linear interpolation correction (bottom-up correction) is performed using a predetermined value (fixed value) when a vehicle surrounding state is a normal luminance state, and luminance correction is performed. It is a flowchart explaining an example of the flow of the process in the case of performing.
  • FIG. 18 is a diagram for explaining an example of a linear interpolation formula before correction when performing the image processing shown in FIG. 17.
  • the target luminance of the region of interest in the imaged region in front of the vehicle is the average of a pair of regions of interest. It is a schematic diagram explaining the case where it determines using a value.
  • FIG. 19 is a schematic diagram illustrating an example in which the linear interpolation formula illustrated in FIG. 18 is corrected (bottom-up correction) with a predetermined value (adjustment value).
  • FIG. 20 after setting the brightness of the front imaged area by the linear interpolation equation after correction shown in FIG. 19 and setting the brightness of the back imaged area by the same method, the brightness of the side imaged area is set. It is a schematic diagram explaining an example.
  • FIG. 20 shows an example in which the linear interpolation formula illustrated in FIG. 18 is corrected (bottom-up correction) with a predetermined value (adjustment value).
  • FIG. 20 after setting the brightness of the front imaged area by the
  • FIG. 21 is a flowchart illustrating an example of a processing flow when performing luminance correction after determining whether or not the state around the vehicle is the specific luminance state in the image processing apparatus according to the embodiment.
  • FIG. 22 is a schematic diagram exemplarily showing the luminance of the region of interest in the front image and the rear image in the specific luminance state that can be determined by the image processing apparatus according to the present embodiment.
  • FIG. 23 is a schematic diagram exemplarily showing the luminance of the region of interest in the left and right side images in the specific luminance state that can be determined by the image processing apparatus according to the present embodiment.
  • FIG. 24 is a schematic diagram illustrating an example of luminance correction when the state around the vehicle is a specific luminance state in the image processing apparatus according to the embodiment.
  • FIG. 1 is a schematic plan view of a vehicle 10 on which the image processing apparatus of the present embodiment is mounted.
  • the vehicle 10 may be, for example, an automobile (an internal combustion engine automobile) using an internal combustion engine (engine, not shown) as a drive source, or an automobile (electric vehicle) using an electric motor (motor, not shown) as a drive source. Or a fuel cell vehicle or the like, or a vehicle (hybrid vehicle) using both of them as drive sources.
  • the vehicle 10 can be mounted with various transmissions, and various devices (systems, components, etc.) necessary for driving the internal combustion engine and the electric motor can be mounted.
  • the system, number, layout, and the like of devices related to driving of the wheels 12 (front wheels 12F, rear wheels 12R) in the vehicle 10 can be set in various ways.
  • the imaging unit 14 is a digital camera that incorporates an imaging element such as a CCD (Charge Coupled Device) or a CIS (CMOS image sensor).
  • the imaging unit 14 can output moving image data (captured image data, image information) at a predetermined frame rate.
  • Each of the imaging units 14 includes a wide-angle lens or a fisheye lens, and can capture a range (imaged region) of, for example, 140 ° to 220 ° in the horizontal direction. Further, the optical axis of the imaging unit 14 can be set obliquely downward.
  • the imaging unit 14 is a road surface on which the vehicle 10 is movable, marks (including arrows, division lines, lines indicating parking spaces, lane separation lines, etc.) and objects (for example, pedestrians, vehicles, etc.) ) Including the surroundings of the vehicle 10 are sequentially captured and output as captured image data.
  • the imaging unit 14 is provided on the outer periphery of the vehicle 10.
  • the imaging unit 14a is provided at, for example, the front side of the vehicle 10, that is, the front side in the front-rear direction of the vehicle and the substantially center end in the vehicle width direction, for example, the front bumper 10a, the front grille, etc.
  • a front image (front imaging area) including the front bumper 10a) can be captured.
  • the imaging unit 14b is provided on, for example, the left end of the vehicle 10, for example, the left door mirror 10b, and includes a left side including a region centering on the left side of the vehicle 10 (for example, a region from the left front to the left rear). It is possible to capture a side image (a left side imaged area).
  • the imaging unit 14c is provided on, for example, the right end of the vehicle 10, for example, the right door mirror 10c, and includes a right side including a region centered on the right side of the vehicle 10 (for example, a region from right front to right rear).
  • a side image (right side imaged area) can be imaged.
  • the imaging unit 14d is provided at the rear side of the vehicle 10, that is, at the rear side in the vehicle front-rear direction, at the substantially center end in the vehicle width direction, for example, at a position above the rear bumper 10d.
  • a rear image (rear imaging region) including the rear bumper 10d) can be captured.
  • the image processing apparatus generates arithmetic images and image processing based on captured image data obtained by the plurality of imaging units 14 to generate an image with a wider viewing angle or It is possible to generate a virtual image (a bird's-eye view image (planar image), a side view image, a front view image, etc.) viewed from above, the front, the side, or the like.
  • the captured image data (images) captured by each imaging unit 14 is provided with overlapping regions that overlap each other so that missing regions do not occur when images are joined.
  • the end region on the left side in the vehicle width direction of the captured image data captured by the imaging unit 14a overlaps with the end region on the front side in the vehicle front-rear direction of the captured image data captured by the imaging unit 14b. Then, a process of connecting (combining) two images is executed. Similarly, an overlap area is provided for the front image and the right side image, the left side image and the back image, and the back image and the right side image, and a process of connecting (combining) the two images is executed.
  • FIG. 2 is an exemplary block diagram of the configuration of the image processing system 100 including the image processing device mounted on the vehicle 10.
  • a display device 16 and an audio output device 18 are provided in the passenger compartment of the vehicle 10.
  • the display device 16 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display).
  • the audio output device 18 is, for example, a speaker.
  • the display device 16 is covered with a transparent operation input unit 20 such as a touch panel, for example. An occupant (for example, a driver) can visually recognize an image displayed on the display screen of the display device 16 via the operation input unit 20.
  • the occupant can perform an operation input by operating the operation input unit 20 by touching, pushing, or moving the operation input unit 20 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 16.
  • the display device 16, the audio output device 18, the operation input unit 20, and the like are provided, for example, in a monitor device 22 that is positioned in the vehicle width direction of the dashboard of the vehicle 10, that is, the central portion in the left-right direction.
  • the monitor device 22 can have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button.
  • the monitor device 22 can be used also as, for example, a navigation system or an audio system.
  • the image processing system 100 includes an ECU 24 (electronic control unit) in addition to the imaging unit 14 (14a to 14d) and the monitor device 22.
  • the ECU 24 and the monitor device 22 are electrically connected via an in-vehicle network 26 as an electric communication line.
  • the in-vehicle network 26 is configured as a CAN (controller area network), for example.
  • the ECU 24 can control various systems by sending a control signal through the in-vehicle network 26. Further, the ECU 24 can receive operation signals of the operation input unit 20 and various switches, detection signals of various sensors not shown, and the like via the in-vehicle network 26.
  • the ECU 24 transmits to the monitor device 22 data related to surrounding images and sounds generated based on the captured image data acquired from the imaging unit 14.
  • the ECU 24 has, for example, a CPU 24a (central processing unit), a ROM 24b (read only memory), a RAM 24c (random access memory), a display control unit 24d, an audio control unit 24e, an SSD 24f (solid state drive, flash memory), and the like. ing.
  • the CPU 24a reads a program stored (installed) in a non-volatile storage device such as the ROM 24b and executes arithmetic processing according to the program.
  • the ROM 24b stores each program and parameters necessary for executing the program.
  • the CPU 24 a includes various modules as shown in FIG. 3, for example, and executes processing related to an image displayed on the display device 16. For example, as an example of processing, the CPU 24a executes correction processing, arithmetic processing, image processing, and the like on the captured image data captured by the imaging unit 14, and generates a peripheral image (for example, a bird's-eye view image) obtained by connecting a plurality of images. Generate. Details of the CPU 24a will be described later.
  • the RAM 24c temporarily stores various types of data used in computations by the CPU 24a.
  • the display control unit 24 d mainly performs data conversion of a display image to be displayed on the display device 16 among the arithmetic processing in the ECU 24.
  • the voice control unit 24e mainly performs processing of voice data output from the voice output device 18 among the calculation processes in the ECU 24.
  • the SSD 24f is a rewritable nonvolatile storage unit, and can store data even when the power of the ECU 24 is turned off. Note that the CPU 24a, the ROM 24b, the RAM 24c, and the like can be integrated in the same package.
  • the ECU 24 may have a configuration in which another logical operation processor, a logic circuit, or the like such as a DSP (digital signal processor) is used instead of the CPU 24a.
  • a DSP digital signal processor
  • an HDD hard disk drive
  • the SSD 24f and the HDD may be provided separately from the ECU 24.
  • the ECU 24 manages image generation processing of an image displayed on the display device 16 through cooperation of hardware and software (control program).
  • the ECU 24 corrects the luminance of the image when the captured image data (image) captured by the imaging unit 14 is subjected to image processing, for example, viewpoint conversion processing and the like, and displayed on the display device 16.
  • the ECU 24 suppresses inconvenience that the continuity between images due to a difference in brightness decreases, partial or entire image becomes too bright, or conversely becomes too dark when the front, rear, left and right images are connected. And it suppresses that the visibility of the whole image (A peripheral image produced by connecting and a bird's-eye view image) falls.
  • FIG. 3 is an exemplary block diagram of a configuration for realizing the image processing of the present embodiment in the CPU 24a included in the ECU 24.
  • the CPU 24a includes various modules for executing image processing including luminance correction as described above.
  • the various modules are realized by the CPU 24a reading a program installed and stored in a storage device such as the ROM 24b and executing it. For example, as illustrated in FIG. 3, the CPU 24 a obtains the acquisition unit 28, the region of interest setting unit 30, the specific mode determination unit 31, the first setting unit 32 (first setting unit), and the second setting unit 34 (second setting unit). For example).
  • the first setting unit 32 includes a fixed value setting unit 32a, a fixed value addition setting unit 32b, a specific mode correction unit 32c, and the like.
  • the second setting unit 34 includes a linear interpolation unit 34a, an inclination setting unit 34b, a ⁇ curve coefficient calculation unit 34c, a luminance setting unit 34d, and the like.
  • the acquisition unit 28 acquires an image captured by each imaging unit 14 via the display control unit 24d.
  • Each imaging unit 14 (14a to 14d) can capture an imaged area 36 as shown in FIG.
  • Each imaged region 36 includes an overlapping region 38 that partially overlaps the adjacent imaged region 36 as described above.
  • the left side in the vehicle width direction of the imaged area 36F in front of the vehicle 10 and the vehicle front side of the imaged area 36SL on the left side of the vehicle 10 form an overlapping area 38FL.
  • the vehicle rear side of the imaged area 36SL and the left side in the vehicle width direction of the imaged area 36R behind the vehicle 10 form an overlapping area 38RL.
  • Each imaging unit 14 may attach an identification code for each imaging unit 14 to the captured image data and output it to the acquisition unit 28, or identify an output source for each captured image data acquired on the acquisition unit 28 side. An identification code to be attached may be attached.
  • one of a pair of the imaged regions 36 (for example, the imaged region 36F and the imaged region 36R) that are separated from each other with the vehicle 10 in between.
  • the imaged region 36F may be referred to as a first imaged region.
  • one of a pair of the image capturing areas 36 (for example, the image capturing area 36SL and the image capturing area 36SR) adjacent to the first image capturing area is referred to as a second image capturing area (for example, the image capturing area 36SL).
  • the overlapping region 38 (overlapping region 38FL) where the first imaged region and the second imaged region overlap may be referred to as a first overlapping region.
  • the other of the pair of imaged regions 36 (for example, the imaged region 36SL and the imaged region 36SR) adjacent to the first imaged region is the third imaged region (for example, the imaged region 36SR).
  • the overlapping region 38 (overlapping region 38FR) where the first imaged region and the third imaged region overlap may be referred to as a second overlapping region.
  • the pair of imaged areas 36 that are separated from each other with the vehicle 10 in between may be, for example, an imaged area 36SL and an imaged area 36SR.
  • the second imaging area is either the imaging area 36F or the imaging area 36R
  • the third imaging area is the other.
  • the region-of-interest setting unit 30 refers to a region of interest 40 (40FL, 40RL, 40RR, 40FR) that is referred to when performing luminance adjustment for each overlapping region 38 of the imaged region 36 acquired by the acquisition unit 28. ) Is set.
  • the region of interest 40 is, for example, a rectangular region having a predetermined length in the vehicle width direction and the front-rear direction of the vehicle 10.
  • the luminance of the region of interest 40 is, for example, the average value of the luminance of each pixel included in the region of interest 40. It is.
  • the position of the region of interest 40 when the position of the region of interest 40 is specified, the position is, for example, the center position of the region of interest 40 (the center point in the vehicle width direction and the front-rear direction).
  • Each imaging unit 14 automatically adjusts the aperture (gain adjustment) during imaging, and adjusts the brightness (brightness adjustment) of each imaging area 36.
  • the aperture value is increased, and a darker image with reduced brightness is captured.
  • the aperture value is reduced, and a brighter image with improved brightness is captured. Therefore, as shown in FIG. 5, for example, in a region of interest 40FL included in the overlapping region 38FL, a portion corresponding to the region of interest 40FL on the imaging region 36F side and a portion corresponding to the region of interest 40FL on the imaging region 36SL side,
  • the brightness (luminance) may be different. For example, in FIG.
  • the luminance on the 36F side is bright at “250”, and the luminance on the imaging region 36SL side is “100”, which is darker than the imaging region 36F side.
  • a number marked with “100” or the like indicates luminance.
  • the number marked in the region of interest 40 may represent luminance.
  • the region-of-interest setting unit 30 may set the set position of the region of interest 40 to a predetermined position, or may change the set position according to the luminance distribution of the imaged region 36.
  • the specific mode determination unit 31 determines whether the brightness state around the vehicle 10 is “normal luminance state” or “specific luminance state”.
  • the “normal luminance state” is a state in which a large difference in luminance between images is unlikely to occur. For example, when the surroundings of the vehicle 10 are bright or there is a suitable light such as illumination, the difference in luminance between images captured by the imaging units 14 is unlikely to increase. For example, during the daytime, although there is a difference in luminance between images due to the presence of a shadow or the like, even if aperture adjustment is made, a large luminance difference between images is unlikely to occur.
  • the “specific luminance state” is a state in which a large difference in luminance is likely to occur between the images.
  • the vehicle 10 is in a completely dark state at night or the like, the headlight is turned on in a place where there is no street light or illumination by other vehicles (eg, in the mountains at night).
  • the vehicle 10 is present, only the front side of the vehicle 10 is bright, the rear side of the vehicle 10 is dark, and the brightness difference is very large.
  • the specific mode determination unit 31 is in the “specific luminance state” when the luminance at the time of imaging of the side image of the vehicle 10 (the image of the imaged area 36SL and the imaged area 36SR) satisfies at least two conditions. judge.
  • the specific mode determination unit 31 uses side image information (for example, an image of the imaged region 36SL) in the side image information (image information of the imaged region 36SL and the imaged region 36SR) obtained by imaging the side of the vehicle 10. If the brightness of the first region of interest (for example, the region of interest 40FL) included in the vehicle front area of (information) is equal to or higher than a first predetermined value (for example, a predetermined target brightness), it is determined that the first condition is satisfied. To do.
  • a first predetermined value for example, a predetermined target brightness
  • the difference between the luminance of the second region of interest (for example, the region of interest 40RL) included in the vehicle rear region and the luminance of the first region of interest (for example, the region of interest 40FL) is a second predetermined value (for example, luminance). If the difference is “100” or more, it is determined that the second condition is satisfied.
  • the specific mode determination unit 31 determines that the brightness state around the vehicle 10 is the “specific luminance state” when the first condition and the second condition are satisfied. Therefore, when one of the first condition and the second condition is not satisfied, the specific mode determination unit 31 determines that the brightness state around the vehicle 10 is the “normal luminance state”.
  • the specific mode determination unit 31 is an overlapping region that is referred to when performing luminance correction when determining whether the brightness of the surrounding area of the vehicle 10 is the “specific luminance state” or the “normal luminance state”. Reference is made to the region of interest 40 set in 38. As a result, the processing target region (region of interest) is shared, which can contribute to the reduction of processing load. In the case of the image processing apparatus according to the present embodiment, a luminance correction method to be described later is selected based on “normal luminance state” or “specific luminance state”. The control using the specific mode determination unit 31 will be described later. Even if it is determined to be in the “specific brightness state”, the second condition is not satisfied when a new light appears, for example, when a subsequent vehicle with a headlight turned on appears. There is a case of shifting to “luminance state”. In that case, the process moves to the process corresponding to the “normal luminance state”.
  • the first setting unit 32 corrects the luminance of the region of interest 40. For example, consider a first imaged region (eg, imaged region 36F) that is one of a pair of imaged regions 36 (eg, imaged region 36F and imaged region 36R) that are spaced apart with the vehicle 10 in between.
  • the first setting unit 32 includes a first imaged region (for example, an imaged region 36F) and a second imaged region (one of a pair of imaged regions 36 adjacent to the first imaged region) (
  • the brightness of the first region of interest for example, the region of interest 40FL
  • the first overlapping region for example, the overlapping region 38FL
  • the first setting unit 32 includes a first imaged region (for example, an imaged region 36F) and a third imaged region (for example, the other imaged region 36 adjacent to the first imaged region).
  • the brightness of the second region of interest (region of interest 40FR) included in the second overlapping region (for example, the overlapping region 38FR) that overlaps the imaged region 36SR) is corrected.
  • the first setting unit 32 corrects the luminance of the region of interest 40RL and the region of interest 40RR.
  • the first setting unit 32 can perform a plurality of methods when correcting the luminance of the region of interest 40.
  • the fixed value setting unit 32a determines a correction value that achieves the target luminance set as a predetermined value, and corrects the luminance.
  • the fixed value setting unit 32a obtains a target luminance (for example, “200” of 256 gradations) that is most visible regardless of the surrounding light and dark environment, which is derived in advance through experiments or the like. Correction is performed using a correction value that increases the luminance.
  • the fixed value addition setting unit 32b included in the first setting unit 32 determines the target luminance as a predetermined value when calculating the target luminance for correcting the luminance of the region of interest 40 included in the imaged region 36. By adding the adjusted values, the brightness of the imaged region 36 is uniformly raised and corrected. For example, in the case of the imaged region 36F, when the luminance of the region of interest 40FL on the left side in the vehicle width direction is “150” and the luminance of the region of interest 40FR on the right side in the vehicle width direction is “100”, at least one luminance is used. Determine the target brightness. For example, the average luminance “125” of the region of interest 40FL and the region of interest 40FR is set as the target luminance.
  • the specific mode correction unit 32c included in the first setting unit 32 is lateral when the specific mode determination unit 31 determines that the brightness state around the vehicle 10 is the “specific luminance state”.
  • the target luminance is set and the luminance is corrected by a method different from the fixed value setting unit 32a and the fixed value addition setting unit 32b.
  • the specific mode correction unit 32c determines the luminance of the first region of interest (for example, the region of interest 40FL) included in the vehicle front region of the side image when the brightness state around the vehicle 10 is the “specific luminance state”.
  • the specific mode correction unit 32c determines the first correction value according to the luminance of the vehicle front area. As an example, the specific mode correction unit 32c sets the current luminance of the first region of interest as the first target luminance, and determines the first correction value. In another example, the specific mode correction unit 32c moves the first region of interest around the first region of interest to a region where the luminance is less than a first predetermined value (for example, a predetermined target luminance). Then, the luminance of the area is set to the first target luminance, and the first correction value is determined. The specific mode correction unit 32c determines the second correction value according to the luminance of the rear image information (image information of the imaged region 36R) obtained by imaging the rear of the vehicle 10.
  • a first predetermined value for example, a predetermined target luminance
  • 2nd setting part 34 sets the brightness
  • the linear interpolation unit 34a uses the first correction value and the second correction value to connect, for example, a linear interpolation formula (first correction value and second correction value) for performing linear interpolation. Line). Then, the luminance of the region between the two regions of interest 40 is corrected based on the generated linear interpolation equation (for example, linear interpolation equation).
  • the inclination setting unit 34b corrects the inclination of the linear interpolation equation when the inclination of the linear interpolation equation generated by the linear interpolation unit 34a is equal to or greater than a predetermined limit value. For example, when one luminance of the adjacent region of interest 40 is greatly deviated from the target luminance set by the fixed value setting unit 32a, the slope of the linear interpolation formula generated by the linear interpolation unit 34a is large. As a result, for example, a portion darker than the region of interest 40 around the region of interest 40 may be corrected in a brighter direction due to the influence of the correction of the luminance of the region of interest 40. As a result, correction that increases the luminance more than necessary is performed, and so-called “whiteout” may occur.
  • the slope setting unit 34b corrects the slope of the linear interpolation formula generated by the linear interpolation unit 34a with a preset curve.
  • this curve has a characteristic such that no correction is made when the slope of the linear interpolation formula is smaller than the limit value, and the slope is corrected to decrease when the slope is greater than or equal to a predetermined value.
  • this curve may be provided with a characteristic that the slope becomes a predetermined value (fixed value) set in advance when the slope becomes a limit value larger than the limit value.
  • the linear interpolation unit 34a generates a linear interpolation formula by connecting correction values for two adjacent regions of interest 40 with a straight line.
  • the correction amount may be too small to cause “blackout” of the image, or conversely, the correction amount may be too large to cause “out-of-white” of the image.
  • the ⁇ curve coefficient calculation unit 34c calculates the first coefficient of the first ⁇ curve calculated as a curve equation that becomes the first target luminance with respect to the luminance of the first region of interest (for example, the region of interest 40FL). Is calculated.
  • the ⁇ curve coefficient calculation unit 34c calculates the second coefficient of the second ⁇ curve calculated as a curve expression that becomes the second target luminance with respect to the luminance of the second region of interest (for example, the region of interest 40FR). Is calculated. Then, the ⁇ curve coefficient calculation unit 34c generates a linear interpolation formula (linear interpolation formula) based on the calculated first coefficient and the second coefficient, and sets the correction value ( ⁇ curve coefficient) calculated by the linear interpolation formula. Accordingly, the brightness of the region between the first region of interest and the second region of interest is set.
  • the ⁇ curve equation is a curve that always includes the minimum luminance value “0” and the maximum luminance value “255” when the luminance is expressed in 256 gradations.
  • the luminance setting unit 34d is configured to use the first region of interest (for example, the region of interest 40FL) and the second region of interest (for example, the region of interest). 40FR), an individual correction value for correcting the luminance of the region is set.
  • the linear interpolation formula generated by the linear interpolation unit 34a is a linear interpolation formula related to the imaged area 36F in front of the vehicle 10
  • the luminance setting unit 34d follows the linear interpolation formula and follows the linear interpolation formula in the imaged area 36F.
  • the luminance correction is performed for the direction area. Therefore, in the case of the imaged region 36F, the luminance correction is executed with the same correction value (correction amount) in the vehicle longitudinal direction region.
  • the configuration of the CPU 24a in FIG. 3 is an example.
  • one of corrections by a predetermined value (fixed value setting unit 32a and fixed value addition setting unit 32b) can be selected. May be. When either one is used in a fixed manner, either the fixed value setting unit 32a or the fixed value addition setting unit 32b may be omitted.
  • the ⁇ curve coefficient calculation unit 34c may be omitted.
  • FIGS. 7 to 16 An example of processing of the image processing system 100 (image processing apparatus) configured as described above will be described with reference to FIGS. 7 to 16 in addition to the flowchart of FIG. 6 and FIGS.
  • a predetermined value is set by the fixed value setting unit 32 a.
  • luminance correction executed when a preset target luminance is set will be described.
  • the CPU 24a determines whether it is the timing to generate a bird's eye view peripheral image centered on the vehicle 10 (S100). This determination is made, for example, when the CPU 24a performs an operation state of the vehicle 10 (for example, when the shift lever is moved to the reverse travel position) or when a driver's display request operation is performed via the operation input unit 20 or the like. Is affirmative.
  • the CPU 24a determines to generate a peripheral image (Yes in S100)
  • the acquisition unit 28 acquires an image (image information) of the imaged region 36 captured by each imaging unit 14 (S102).
  • the flow of FIG. 6 is temporarily ended.
  • the region-of-interest setting unit 30 sets the region of interest 40 for the captured region 36 of each acquired image (S104). For example, when the luminance in each region of interest 36 in the region of interest 40 is as shown in FIG. 5, the fixed value setting unit 32 a sets the target luminance (for example, 256 floor) for each region of interest 40 as a predetermined value. “200”) is set in the key (S106), and a correction value for correcting the luminance of the region of interest 40 to be the target luminance (for example, “200”) is set (S108).
  • FIG. 7 is an example of correcting the luminance of the imaged area 36 ⁇ / b> F in front of the vehicle 10.
  • the luminance of the region of interest 40FL on the left in the vehicle width direction is “250” in 256 gradations
  • the luminance of the region of interest 40FR on the right in the vehicle width direction is “150” in 256 gradations.
  • the region of interest 40FL sets a correction value of “ ⁇ 50” as the luminance value M in the imaged region 36F.
  • a correction value of “+50” is set.
  • the luminance in the vehicle front-rear direction (Z-axis direction) region is set (corrected) with the same correction value (S112).
  • the imaged area 36F before correction is corrected so that the luminance on the left side in the vehicle width direction (part of the region of interest 40FL) becomes darker, for example, from “250” to “200”.
  • the brightness on the right side in the width direction (part of the region of interest 40FR) is corrected so as to increase from “150” to “200”, for example.
  • the CPU 24a monitors whether or not the correction processing as described above has been completed for the entire screen (S114). If the correction process has not been completed (No in S114), the process returns to S102, and the region-of-interest setting unit 30, the first setting unit 32, and the second setting unit 34 perform the above-described processing on the region to be imaged 36R, This is executed for the imaging area 36SL and the imaging area 36SR.
  • the region-of-interest setting unit 30, the first setting unit 32, and the second setting unit 34 perform the same processing as described above on the imaged region 36R behind the vehicle 10.
  • the area to be imaged 36R before correction is corrected so that the luminance on the left side in the vehicle width direction (part of the region of interest 40RL) increases from “50” to “200”, and the right side in the vehicle width direction (on the region of interest 40RR).
  • the brightness of (part) is corrected so as to increase from “50” to “200”.
  • the region-of-interest setting unit 30, the first setting unit 32, and the second setting unit 34 are the same for the left side imaging region 36SL and the right side imaging region 36SR of the vehicle 10, as shown in FIG. Correct correction.
  • the luminance of the region of interest 40FL on the front side in the vehicle longitudinal direction (Z-axis direction) is “100” in 256 gradations
  • the luminance of the region of interest 40RL on the rear side is 256 gradations. “50”.
  • the region of interest 40FL sets a correction value of “+100” as the luminance value M in the first setting unit 32.
  • a correction value of “+150” is set in the region of interest 40RL on the rear side.
  • the luminance of the region of interest 40FR on the front side in the vehicle front-rear direction (Z-axis direction) is “100” in 256 gradations
  • the luminance of the region of interest 40RR on the rear side is 256 gradations. “50”.
  • the region of interest 40FR sets a correction value of “+100” as the luminance value M in the first setting unit 32. Then, a correction value of “+150” is set in the region of interest 40RR on the rear side.
  • the correction amount of the luminance in the vehicle front-rear direction (Z-axis direction) between the region of interest 40FL and the region of interest 40RL in the imaged region 36SL is indicated by the linear interpolation formula 42L
  • the region of interest 40FR in the imaged region 36SR is indicated by an individual correction amount of luminance in the vehicle front-rear direction (Z-axis direction) between the region of interest 40RR and the region of interest 40RR.
  • the luminance setting unit 34d similarly applies the luminance of the region between the region of interest 40FL and the region of interest 40RL and the luminance of the region in the vehicle width direction (X-axis direction) in the imaged region 36SL based on the linear interpolation formula 42L. Correct with the individual correction amount. Further, the luminance setting unit 34d similarly applies the luminance of the region between the region of interest 40FR and the region of interest 40RR and the luminance of the region in the vehicle width direction (X-axis direction) in the imaged region 36SR based on the linear interpolation formula 42R. Correct with the individual correction amount.
  • the display control unit 24d The peripheral images of the overhead view are generated by connecting the images and displayed on the display device 16 (S116), and the processing from S100 is repeated in the next processing cycle to update the peripheral images.
  • the luminance of each region of interest 40 (40FL, 40RL, 40RR, 40FR) is “200” in 256 gradations, and each imaged region 36 (36F, 36SL, 36R, 36SR) It is possible to generate the peripheral image 44 in which the joining is performed smoothly. Further, since the luminance between the regions of interest 40 is also corrected by the linear interpolation formula 42, generation of an excessively bright part or an excessively dark part is suppressed, and the image content can be easily recognized in any part of the peripheral image 44. Become.
  • the luminance difference between adjacent regions of interest 40 is originally large.
  • a dark shadow 46 of the own vehicle may exist in a part of the periphery of the vehicle 10.
  • the luminance of the region of interest 40RL not included in the shadow 46 eg, “180” in 256 gradations
  • the luminance of the region of interest 40RR included in the shadow 46 eg, “operation input unit 20” in 256 gradations.
  • the linear interpolation unit 34a when the linear interpolation unit 34a generates the linear interpolation formula 42, the linear interpolation formula 42 having a large slope may be generated as shown in FIG. In this case, the region 48 brighter than the region of interest 40RR around the region of interest 40RR may be corrected in a brighter direction due to the influence of the luminance correction of the region of interest 40RR. As a result, the region 48 brighter than the region of interest 40RR may be so-called “whiteout”.
  • the inclination setting unit 34b corrects the inclination of the linear interpolation formula 42 generated by the linear interpolation unit 34a with a preset curve 50 as shown in FIG.
  • the curve 50 is “normal zone” and no tilt correction is performed, and when the slope is equal to or greater than the predetermined limit value, the curve 50 is defined as a “limit zone”. Correct the slope to decrease.
  • the curve 50 is corrected so that the corrected inclination becomes a predetermined value (fixed value) set in advance when the inclination becomes a predetermined limit value larger than the limit value.
  • the slope correction is corrected by the curve 50, so that the brightness correction for the region 48 brighter than the region of interest 40RR is relaxed, and “whiteout” is suppressed. it can. Further, by correcting the inclination with a limit value (fixed value), it is possible to prevent further increase in luminance. Note that in this case, the correction of brightness is inherently corrected so that a smooth luminance change is achieved, so that the correction is limited. "Can be suppressed, which can contribute to the improvement of image content recognition. Note that the shape, limit value, and limit value (fixed value) of the curve 50 can be determined as appropriate by taking into account the balance with the surrounding luminance and the like through experiments and the like. The curve 50 may be calculated by the linear interpolation unit 34a in consideration of a balance with surrounding luminance.
  • the luminance setting unit 34d sets a correction value (individual correction value) for correcting the luminance of the region between the region of interest 40RL and the region of interest 40RR based on the linear interpolation formula 42.
  • a limit may be added to the correction value.
  • a correction upper limit value Max is set for the correction value, and according to the linear interpolation formula 42, as the luminance correction amount increases, the set individual correction amount becomes the correction upper limit value Max. To converge to. Also in this case, the brightness correction for the region 48 brighter than the region of interest 40RR is relaxed, and “whiteout” can be suppressed.
  • the correction upper limit value Max may be set as a fixed value in advance, or may be set according to the calculated slope of the linear interpolation formula 42.
  • the linear interpolation formula 42 when the linear interpolation formula 42 is generated by connecting the correction values of the two adjacent regions of interest 40 with a straight line according to the target luminance set by the fixed value setting unit 32a or the like, the processing load is increased. Thus, there is an advantage that the luminance correction can be performed.
  • the correction value if the correction amount is too small in the brightness correction of the middle part, the image may be “blackout”, or conversely if it is too large, the image may be “out-of-white” Garage. Therefore, in the case of the present embodiment, ⁇ correction may be used when correcting the luminance.
  • a region of interest 40FL first region of interest
  • a region of interest 40FR second region of interest
  • the luminance of the region of interest 40FL (average luminance within the region) is “150” with 256 gradations
  • the luminance of the region of interest 40FR is “100”
  • the target luminance set by the fixed value setting unit 32a is 256 gradations.
  • “125” In this case, in order to obtain the target luminance, the region of interest 40FL needs a correction value of “ ⁇ 25”, and the region of interest 40FR needs a correction value of “+25”.
  • the ⁇ curve coefficient calculating unit 34c calculates the first ⁇ curve 52L for the region of interest 40FL when the horizontal axis is the input luminance Y 0 and the vertical axis is the output luminance Y 1L. .
  • the ⁇ curve coefficient calculation unit 34c calculates “ ⁇ 1” as the first coefficient.
  • the ⁇ curve coefficient calculation unit 34c calculates “ ⁇ 2” as the second coefficient.
  • the linear interpolation unit 34a generates the linear interpolation formula 56 using the ⁇ curve coefficients ⁇ 1 and ⁇ 2 calculated by the ⁇ curve coefficient calculation unit 34c.
  • FIG. 16 is a diagram in which the ordinate represents the ⁇ curve coefficient and the abscissa represents the position coordinate of the brightness correction target in the vehicle width direction.
  • the ⁇ curve coefficient is “ ⁇ 1”.
  • the linear interpolation formula 56 ( ⁇ aX + b) in the case where the central coordinate of the region of interest 40FR is X2 and the ⁇ curve coefficient is “ ⁇ 2”.
  • the corrected luminance (output luminance Y 1 ) of the region between the pair of regions of interest 40 can be calculated.
  • the fixed value addition setting unit 32 b performs linear interpolation.
  • a case will be described in which the above correction is performed with a predetermined value and luminance correction (brightness increase correction) is executed.
  • the CPU 24a determines whether it is the timing to generate a bird's eye view peripheral image centered on the vehicle 10 (S200). This determination is made, for example, when the CPU 24a performs an operation state of the vehicle 10 (for example, when the shift lever is moved to the reverse travel position) or when a driver's display request operation is performed via the operation input unit 20 or the like. Affirmative determination.
  • the acquisition unit 28 acquires an image (image information) of the imaged area 36 captured by each imaging unit 14 (S202).
  • the flow of FIG. 17 is temporarily ended.
  • the region-of-interest setting unit 30 sets the region of interest 40 for the captured region 36 of each acquired image (S204).
  • the fixed value addition setting unit 32b for example, with respect to the imaging region 36F in front of the vehicle 10, the brightness (region of interest) of the two regions of interest 40 (region of interest 40FL and region of interest 40FR) in the vehicle width direction that has been set. (Average luminance within 40) is calculated as the target luminance of the imaged area 36F (S206). For example, as shown in FIG.
  • the luminance of the region of interest 40FL on the left side in the vehicle width direction (X-axis direction) of the imaged region 36F is “150” in 256 gradations, and the luminance of the region of interest 40FR on the right is 256 floors It is assumed that the key is “100”.
  • the fixed value addition setting unit 32b sets “125” as the target luminance, and sets a correction value for correcting the luminance of the region of interest 40FL and the region of interest 40FR to the target luminance (for example, “125”).
  • Set (S208) In the case of FIG. 18, in the region to be imaged 36F, the region of interest 40FL is set with a correction value of “ ⁇ 25” as the luminance value M, and the region of interest 40FR is set with a correction value of “+25”.
  • the target luminance is determined by the average value of the luminance values of two regions of interest 40 (for example, the region of interest 40FL and the region of interest 40FR) included in the imaged region 36 to be corrected, and is a linear interpolation formula. 42 is generated. Therefore, the target brightness is too low, that is, the corrected image may not be sufficiently bright even though the brightness correction process is executed. Therefore, when the fixed value addition setting unit 32b determines that the luminance corrected by the linear interpolation formula 42 is lower than the predetermined luminance (lower limit luminance) and needs to be increased (Yes in S212), the fixed value is set. The addition setting unit 32b performs correction using a predetermined value (adjustment value) (S214).
  • the correction values (“ ⁇ 25” and “+25”) are set to the target luminance (for example, “125”) determined by the average value of the luminance of the region of interest 40FL and the luminance of the region of interest 40FR.
  • Is adjusted brightness value 50.
  • the linear interpolation formula 42 is generated by shifting the linear interpolation formula 42 in the increasing direction so that the luminance value becomes +50 as it is.
  • the luminance setting unit 34d has the same luminance of the region between the region of interest 40FL and the region of interest 40FR and the luminance of the region in the vehicle front-rear direction (Z-axis direction) in the imaged region 36F.
  • the correction amount is set (corrected) (S216). In this case, the brightness of the imaged region 36F is uniformly raised by “+50”, resulting in a bright image.
  • S212 when the luminance corrected by the linear interpolation formula 42 is equal to or higher than a predetermined luminance (lower limit luminance), it is determined that the increase adjustment is not necessary (No in S212), and the processing in S214 is skipped.
  • the first setting unit 32 monitors whether or not the luminance correction of the front imaged area 36F and the rear imaged area 36R of the vehicle 10 has been completed (S218), and if not completed (No in S218). , Returning to S204, the same processing is executed. On the other hand, when the brightness correction of the imaging area 36F in front of the vehicle 10 and the imaging area 36R in the rear is completed (Yes in S218), the first setting unit 32 sets the imaging area 36SL on the side of the vehicle 10. Then, the region of interest 40 is set to correct the brightness of the imaged region 36SR (S220).
  • the first setting unit 32 sets the luminance of the region of interest 40 in the region to be imaged 36SL and the region of interest 36 in the region to be imaged 36R, and the luminance of the region of interest 40 in the region to be imaged 36R that has already been corrected for luminance.
  • the luminance is set (S222).
  • the corrected luminance of the region of interest 40FL in the imaged region 36F is “175”
  • the corrected region of interest 40FL of the imaged region 36SL luminance during imaging
  • the first setting unit 32 sets the target luminance of the region of interest 40FL of the imaged region 36SL to “175” (S222). That is, the first setting unit 32 sets “+75” as the correction value of the region of interest 40FL of the imaged region 36SL (S224).
  • the first setting unit 32 sets the target luminance of the region of interest 40RL of the imaged region 36SL to “100” (S222). That is, the correction value of the region of interest 40RL of the imaged region 36SL is “+50” (S224).
  • the luminance correction amount in the vehicle front-rear direction (Z-axis direction) between the region of interest 40FL and the region of interest 40RL is represented by a linear interpolation formula 42L.
  • the luminance setting unit 34d calculates the luminance of the region between the region of interest 40FL and the region of interest 40RL and the luminance of the region in the vehicle width direction (X-axis direction) in the region to be imaged 36SL based on the linear interpolation formula 42L. The same correction amount is set (corrected) (S228).
  • the first setting unit 32 monitors whether or not the luminance correction of the left imaged area 36SL and the right imaged area 36SR of the vehicle 10 has been completed (S230). No), returning to S220, a linear interpolation formula 42R related to the imaged region 36SR is generated by the same processing, and right-side luminance correction processing is executed.
  • the CPU 24a uses the display control unit 24d to connect the images and look down.
  • a peripheral image for viewing is generated and displayed on the display device 16 (S232), and the processing from S200 is repeated in the next processing cycle to update the peripheral image. In this case, as shown in FIG.
  • the imaged region 36F including the region of interest 40FL and the imaged region 36SL are unified with luminance “175” and smoothly connected.
  • the imaged region 36SL including the region of interest 40RL and the imaged region 36R are unified with a luminance of “100” and smoothly connected.
  • the imaged region 36R and the imaged region 36SR including the region of interest 40RR are unified with a luminance of “100” and smoothly connected.
  • the imaged region 36SR and the imaged region 36F including the region of interest 40FR are unified with a luminance “175” and smoothly connected. That is, the generated peripheral image is an easy-to-see image that does not have a disparity in luminance at the connected portion of the images and is smoothly connected.
  • the luminance between the regions of interest 40 is also corrected by the linear interpolation equations 42a, 42L, and 42R, generation of an excessively bright part or an excessively dark part is suppressed, and the image content is recognized in any part of the peripheral image. It becomes easy to do.
  • the correction of the slope of the linear interpolation formula and the calculation of the linear interpolation formula using the ⁇ curve coefficient as described above can be applied, and the same effect can be obtained.
  • the CPU 24a determines whether it is time to generate a bird's-eye view peripheral image centered on the vehicle 10 (S300). This determination is made, for example, when the CPU 24a performs an operation state of the vehicle 10 (for example, when the shift lever is moved to the reverse travel position) or when a driver's display request operation is performed via the operation input unit 20 or the like. Is affirmative. If the CPU 24a determines that a peripheral image is to be generated (Yes in S300), the acquisition unit 28 acquires an image (image information) of the imaged area 36 captured by each imaging unit 14 (S302). When it is determined that it is not the timing for generating the peripheral image (No in S300), the flow of FIG. 21 is temporarily ended.
  • the region-of-interest setting unit 30 sets the region of interest 40 for the captured region 36 of each acquired image (S304).
  • the specific mode determination unit 31 refers to the side image information (the imaged area 36SL and the imaged area 36SR), and the brightness state around the vehicle 10 is “normal luminance state” or “specific luminance state”. This determination is executed (S306). If the result of determination by the specific mode determination unit 31 is not “specific luminance state” (No in S306), the first setting unit 32 sets “normal mode setting” corresponding to the “normal luminance state” as the luminance correction processing setting. (S308).
  • the first setting unit 32 sets the luminance correction process setting to “specific mode” corresponding to “specific luminance state”. The process proceeds to “Setting” (S310).
  • the fixed value setting unit 32a sets a target luminance (for example, “200” in 256 gradations) set as a predetermined value for each region of interest 40 (S312). Then, the fixed value setting unit 32a sets a correction value for correcting so that the luminance of the region of interest 40 becomes the target luminance (for example, “200”) as described with reference to FIG. 7 (S314).
  • a target luminance for example, “200” in 256 gradations
  • An interpolation formula 42 (42F) is generated (S316).
  • the correction amount (individual correction value) of the luminance in the vehicle width direction (X-axis direction) between the region of interest 40FL and the region of interest 40FR in the imaged region 36F is indicated by the linear interpolation formula 42F.
  • the luminance setting unit 34d corrects (sets) the luminance of the region between the region of interest 40FL and the region of interest 40FR based on the individual correction value calculated by the generated linear interpolation formula 42F.
  • the luminance in the vehicle front-rear direction (Z-axis direction) region is corrected (set) with the same individual correction value (S318).
  • the imaged area 36F before correction is corrected so that the luminance on the left side in the vehicle width direction (part of the region of interest 40FL) becomes darker, for example, from “250” to “200”.
  • the brightness on the right side in the vehicle width direction (part of the region of interest 40FR) is corrected so as to increase from “150” to “200”, for example.
  • the CPU 24a monitors whether or not the correction processing as described above is completed for the entire screen (S320). If the correction process has not been completed (No in S320), the process returns to S304, and the region-of-interest setting unit 30, the first setting unit 32, and the second setting unit 34 perform the above-described processing on the region to be captured 36R, This is executed for the imaging area 36SL and the imaging area 36SR.
  • the CPU 24a When the CPU 24a confirms that the correction processing has been completed for all the images (images of the imaged area 36F, the imaged area 36R, the imaged area 36SL, and the imaged area 36SR) (Yes in S320), Generate an image. That is, the CPU 24a causes the display control unit 24d to connect the images to generate a bird's-eye view peripheral image, display it on the display device 16 (S322), and repeat the processing from S300 in the next processing cycle. Update the surrounding image. In this case, as shown in FIG.
  • each region of interest 40 (40FL, 40RL, 40RR, 40FR) is “200” in 256 gradations, and each imaged region 36 (36F, 36SL, 36R, 36SR) It is possible to generate the peripheral image 44 in which the joining is performed smoothly. Further, since the luminance between the regions of interest 40 is also corrected by the linear interpolation formula 42, generation of an excessively bright part or an excessively dark part is suppressed, and the image content can be easily recognized in any part of the peripheral image 44. Become.
  • the luminance correction in “normal mode setting” may be executed by the fixed value addition setting unit 32b instead of the fixed value setting unit 32a.
  • FIG. 22 is a schematic diagram illustrating an example of a luminance state at the time of imaging in the imaging area 36F in front of the vehicle 10 and the imaging area 36R in the rear when it is determined that the state is the “specific luminance state”.
  • the luminance of the region of interest 40FL is suppressed to “120”, for example, and the luminance of the region of interest 40FR is suppressed to “130”, for example.
  • the luminance of the region of interest 40RL is “10” and the luminance of the region of interest 40RR is “20” by aperture adjustment. This is an example in which the increase is adjusted.
  • the specific mode correction unit 32c performs the same luminance correction as the fixed value setting unit 32a on the imaged region 36F, and the fixed value setting unit 32a or the fixed value regarding the imaged region 36R. Brightness correction similar to that performed by the value addition setting unit 32b is executed.
  • the specific mode correction unit 32c first sets the target luminance (for example, “150” in 256 gradations) as a predetermined value for the region of interest 40FL and the region of interest 40FR, as in the case described with reference to FIG.
  • a correction value for correcting the luminance of the region of interest 40FL and the region of interest 40FR so as to become the target luminance (for example, “150”) is set.
  • Expression 42 (42F) is generated (S316).
  • the luminance correction amount in the vehicle width direction (X-axis direction) between the region of interest 40FL and the region of interest 40FR is indicated by the linear interpolation formula 42F.
  • the luminance setting unit 34d corrects (sets) the luminance of the region between the region of interest 40FL and the region of interest 40FR based on the correction value calculated by the generated linear interpolation formula 42F.
  • the luminance setting unit 34d corrects (sets) the luminance of the region in the vehicle front-rear direction (Z-axis direction) with the same correction value in the imaged region 36F (S318).
  • the imaged area 36F before correction is corrected so that the luminance on the left side in the vehicle width direction (part of the region of interest 40FL) increases from, for example, “120” to “150”.
  • the brightness on the right side in the vehicle width direction (part of the region of interest 40FR) is corrected so as to increase from “130” to “150”, for example.
  • the CPU 24a monitors whether or not the correction processing as described above has been completed for all screens (S320). In this case, the CPU 24a determines that the correction process has not been completed (No in S320), and returns to S304. Then, the region-of-interest setting unit 30, the first setting unit 32, and the second setting unit 34 perform the above-described processing on the imaged region 36R. As a result, the imaged region 36R is corrected so that the luminance on the left side in the vehicle width direction (portion of the region of interest 40RL) increases from, for example, “vehicle 10” to “150”, and the right side in the vehicle width direction (portion of the region of interest 40RR). ) Is corrected so as to increase from “20” to “150”, for example.
  • FIG. 23 is a schematic diagram illustrating an example of a luminance state at the time of imaging of the imaged region 36SL and the imaged region 36SR on the side of the vehicle 10 when it is determined that the state is the “specific luminance state”. For example, when the headlight of the vehicle 10 is lit in a lightless condition at night, only the area H on the front side of the imaged area 36SL is very bright and most of the other areas are very dark. Therefore, when imaging is performed by the imaging unit 14b, aperture adjustment is performed, and an image adjusted to be brighter than actual luminance is captured. In the case of FIG.
  • the region of interest 40FL and the region of interest 40FR included in the region H are adjusted so as to be brighter.
  • “255” indicates the maximum luminance value.
  • the region of interest 40RL behind the vehicle is corrected so as to be brighter, the luminance is increased and adjusted to, for example, “30”, and the luminance of the region of interest 40RR is increased and adjusted to, for example, “20”.
  • the specific mode correction unit 32c sets the luminance of the region of interest (region of interest 40RL and 40RR: second region of interest) included in the vehicle rear region of the imaged region 36SL and the imaged region 36SR as the target luminance (second target).
  • the brightness is determined in accordance with the brightness of the rear image information of the imaged area 36R in which the rear of the vehicle is imaged.
  • the specific mode correction unit 32c corrects the imaging region 36R so as to have a predetermined target brightness (for example, “150”) determined in advance as a predetermined value, and thus the region of interest 40RL and the region of interest
  • Expression 42 (42L) is generated (S316).
  • the luminance correction amount in the vehicle front-rear direction (Z-axis direction) between the region of interest 40FL and the region of interest 40RL is indicated by the linear interpolation formula 42L.
  • the luminance setting unit 34d corrects (sets) the luminance of the region between the region of interest 40FL and the region of interest 40RL based on the correction value calculated by the generated linear interpolation formula 42L.
  • the luminance setting unit 34d sets (corrects) the luminance of the region in the vehicle width direction (X-axis direction) with the same correction value in the imaged region 36SL (S318).
  • the amount of correction from a bright state can be reduced.
  • the luminance correction using only the fixed value setting unit 32a and the fixed value addition setting unit 32b the luminance of the left front area of the vehicle 10 where the influence of the headlight appears is lowered by the luminance correction, and the visibility of the image content is improved. There was a case of decline.
  • the “specific brightness state” is determined from the image of the imaged region 36SL, and the brightness of the vehicle left front region is maintained by the processing of the specific mode correction unit 32c, thereby improving visibility. Can be maintained.
  • the specific mode correction unit 32c executes brightness correction related to the imaged region 36SR in accordance with S304 to S318 as in the case of 36SL.
  • the luminance in the right front area of the vehicle 10 where the influence of the headlight appears is lowered by the luminance correction, and the visibility of the image content is improved. There was a case of decline.
  • the display control unit 24d The peripheral images of the overhead view are generated by connecting the images, displayed on the display device 16 (S322), and the peripheral image is updated by repeating the processing from S300 in the next processing cycle.
  • the luminance correction using the specific mode correction unit 32c may darken and generate a region where visibility is lowered. Even in the case of “specific luminance state”, it is possible to suppress a decrease in visibility. Note that a luminance boundary is generated in the joined portion of the imaged region 36F, the imaged region 36SL, and the imaged region 36SR due to a high luminance part based on the light of the headlight. On the other hand, since the luminance adjustment is performed in accordance with the luminance of the imaged region 36R, the joined part of the imaged region 36R, the imaged region 36SL, and the imaged region 36SR is smoothly connected. As a result, for the entire peripheral image, it is possible to generate an image with good visibility in which the luminance changes smoothly.
  • the specific mode correction unit 32c uses the current brightness of the region of interest 40FL and the region of interest 40FR (for example, “255”) as it is for the imaged region 36SL and the imaged region 36SR. To prevent the visibility of the front part of the vehicle in the side image from being lowered.
  • the specific mode correction unit 32c uses the current brightness of the region of interest 40FL and the region of interest 40FR (for example, “255”) as it is for the imaged region 36SL and the imaged region 36SR.
  • first correction value of the region of interest 40 (region of interest 40FL, 40FR: first region of interest)
  • first predetermined value for example, luminance “150” that is the target luminance value of the imaged region 36F
  • the brightness of the shift area 40FLd and the shift area 40FRd may be set as the first target brightness.
  • the correction value in the moved area (shift area 40FLd and shift area 40FRd) is “+0”.
  • the correction amount of the region on the front side of the vehicle that is bright at the time of imaging can be suppressed to a small amount. That is, the change in luminance in the area on the front side of the vehicle can be reduced, and the visibility of the image content can be maintained. Also, in this case, the luminance correction of the entire side image is performed without correcting the bright area that is equal to or greater than the first predetermined value (while leaving the bright area) and suppressing the extremely dark area. Can do. The same applies to the imaging region 36SR. As a result, it is possible to easily recognize the image content of the peripheral image obtained by joining a plurality of images.
  • the process proceeds to the above-described “specific mode setting” and the brightness of the imaged area 36R is corrected so that the target brightness (for example, “150”) set in advance is corrected.
  • the target brightness for example, “150”
  • an average value of luminances of the region of interest 40RL and the region of interest 40RR may be obtained in the imaged region 36R, and the average value may be set as the target luminance.
  • the target brightness of the region of interest 40RL of the imaged region 36SL on the side of the vehicle 10 and the region of interest 40RR of the imaged region 36SR is set to an average value.
  • the image pickup regions 36R, 36SL, the region of interest 40RL of the image pickup region 36SR, and the target luminance of the region of interest 40RR are connected by using the average value, the image pickup regions 36 adjacent to each other are connected. The brightness disparity between them is suppressed and a smooth connection can be made.
  • the imaged area 36R which is actually a dark area, is displayed darkly in a state close to the actual luminance, the improvement in visibility is small, but a more realistic peripheral image can be displayed.
  • the average value can also be used for the imaged region 36F, but the brightness of the entire imaged region 36F may be too bright due to the influence of the headlight. Therefore, the use of the average value may be determined according to the brightness of the imaged region 36F.
  • the target brightness set by the fixed value setting unit 32a and the adjustment value set by the fixed value addition setting unit 32b have been described as predetermined values regardless of the surrounding conditions of the vehicle 10.
  • the predetermined value may be changed according to the brightness state around the vehicle 10 such as day and night, or the brightness setting of the display device 16.
  • the imaging unit 14b is fixed to the left door mirror 10b, and the imaging unit 14c is fixed to the right door mirror 10c.
  • the display control unit 24d cannot accurately join images when the door is open. Therefore, when the door is open, the CPU 24a may generate a peripheral image as a reference without executing the brightness correction process as described above.
  • the image processing program executed by the CPU 24a of this embodiment is an installable or executable format file such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), etc. It may be configured to be recorded on a computer-readable recording medium.
  • the image processing program may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
  • the image processing program executed in the present embodiment may be provided or distributed via a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

複数の画像情報を取得する取得部と、車両の側方画像情報の車両前方領域に含まれる第一の関心領域の輝度が第一の所定値以上であり、かつ側方画像情報の車両後方領域の第二の関心領域の輝度と第一の関心領域の輝度との差が第二の所定値以上の場合に特定輝度状態であるとする判定部と、特定輝度状態の場合、第一の関心領域の輝度を第一の目標輝度にする第一の補正値を車両前方領域の輝度に応じて決定し、第二の関心領域の輝度を第二の目標輝度にする第二の補正値を車両の後方画像情報の輝度に応じて決定する第一の設定部と、第一の補正値と第二の補正値とに基づき、第一の関心領域と第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、を含む。

Description

画像処理装置
　本発明の実施形態は、画像処理装置に関する。
　従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況をそれぞれ異なる方向で撮像し、撮像した複数の画像の画像処理（例えば視点変換）を行うとともに、各画像を繋げて周辺画像（例えば俯瞰画像）を生成する画像処理装置が知られている。このような画像処理装置においては、撮像部の取付位置や撮像（撮影）方向、撮影時間帯、前照灯の点灯の有無、撮像部ごとの絞り調整の程度差等により各撮像部で撮像される画像の明るさ（輝度）にずれが生じる場合がある。その結果、繋ぎ合わせて生成した周辺画像の明るさが方向によって異なり、繋ぎ合わせた位置で輝度差が目立ち、違和感のある画像になってしまう場合があった。そこで、複数の画像の平均輝度に基づき全画面の輝度を補正したり、前方の画像について四箇所の輝度平均値を算出して他の画像の輝度を調整したり、前後の画像の輝度平均値を用いて側方の画像の輝度を補正したりする等の技術が提案されている。
特許第５４６４７４１号公報 特許第５６８４１４４号公報 特許第６１１５１０４号公報
　しかしながら、各撮像部は、上述のように撮像の際に個々に絞り調整（ゲイン調整）が行われることがあり、車両の周囲の状況によっては、撮像画像ごとに被撮像領域の明るさ（輝度）が大きく異なる場合がある。例えば、夜間で、車両の周囲に街灯や他車の照明等の明かりが存在する場合、撮像部ごとの絞り調整の差は、極端に大きくならない。一方、夜間で、照明のない場所に車両（自車）単独で存在し、自車のヘッドライトを付けていた場合、車両前方はヘッドライトにより被撮像領域の全体が十分に明るいため、絞り値が大きくなり、画像全体の輝度が下げられる。逆に、車両の側方は、車両前方側のヘッドライトによる明るい部分以外の部分は非常に暗い。その結果、側方画像の被撮像領域は、全体として暗いと見なされ、絞り値が小さくなり、画像全体の輝度が上げられる。その結果、元々ヘッドライトの影響で明るかった部分がさらに明るくなる。このような状況で複数の画像を繋ぎ合わせた周辺画像を従来のように平均輝度等を用いて生成すると、側方画像の前方部分の明るい部分が暗くなるように補正され、側方(特に側方前方領域)の視認性が低下してしまう場合があった。したがって、複数の画像を繋ぎ合わせて周辺画像を表示する場合に、車両の周囲の状況を適切に判定し、適切な輝度補正を行い、画像内容の認識をしやすくする画像処理装置が提供できれば有意義である。
　本発明の実施形態にかかる画像処理装置は、例えば、車両に設けられた複数の撮像部で、上記車両の周辺状況として撮像された複数の画像情報を取得する取得部と、上記車両の側方を撮像した側方画像情報において、当該側方画像情報の車両前方領域に含まれる第一の関心領域の輝度が第一の所定値以上であり、かつ上記側方画像情報の車両後方領域に含まれる第二の関心領域の輝度と上記第一の関心領域の輝度との差が第二の所定値以上の場合に特定輝度状態であると判定する判定部と、上記特定輝度状態と判定された場合、上記第一の関心領域の輝度を第一の目標輝度にするための第一の補正値を上記車両前方領域の輝度に応じて決定するとともに、上記車両後方領域に含まれる第二の関心領域の輝度を第二の目標輝度にするための第二の補正値を上記車両の後方を撮像した後方画像情報の輝度に応じて決定する第一の設定部と、上記第一の補正値と上記第二の補正値とに基づき、上記第一の関心領域と上記第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、を含む。この構成によれば、例えば、車両の存在する状況が、自車の周囲が暗く、自車の前方が特に明るい（第一の所定値以上の輝度）という特定輝度状態であると撮像画像を用いて適切に判定することができる。その結果、車両の現在の周囲状況に応じた輝度補正を適切に行うことが可能になり、複数の画像を繋ぎ合わせて周辺画像を表示する場合に、画像内容の認識がしやすい画像の提供ができる。
　本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第一の補正値を決定する場合、上記第一の目標輝度を、上記第一の関心領域の輝度としてもよい。この構成によれば、例えば、第一の目標輝度は、撮像部が撮像した画像の輝度がそのまま利用されるため、側方画像の前方側の画像内容は、撮像時の内容を維持し易く、複数の画像を繋ぎ合わせて周辺画像を生成する場合、画像内容の認識をしやすくすることができる。
　本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第一の補正値を決定する場合、上記第一の関心領域の周辺で輝度が上記第一の所定値未満の領域に上記第一の関心領域を移動させて、その領域の輝度を上記第一の目標輝度としてもよい。この構成によれば、例えば、側方画像情報の前方領域で第一の所定値より明るい輝度の領域が存在する場合、その明るい部分の周辺でかつ第一の所定値未満の部分の輝度に基づき、第一の補正値を決定するので、第一の所定値以上の明るい領域の補正は行わず、かつそれ以外で補正を行う側方領域については画像が極端に暗くなることが抑制される。その結果、複数の画像を繋ぎ合わせた周辺画像の画像内容の認識をしやすくすることができる。
　本発明の実施形態にかかる画像処理装置の上記第一の設定部は、例えば、上記第二の補正値を決定する場合、上記第二の目標輝度を予め定められた所定の目標輝度としてもよい。この構成によれば、例えば、自車の周囲が暗く、自車の前方が特に明るいという特定輝度状態である場合でも自車後方の明るさを容易に決定することができるので、後方画像に関しても容易に画像内容の認識性を向上することができる。
　本発明の実施形態にかかる画像処理装置の上記判定部は、例えば、上記第一の関心領域を上記側方画像情報の上記車両前方領域と上記車両の前方を撮像した前方画像情報とが一部重複する第一の重複領域内に設定し、上記第二の関心領域を上記側方画像情報の上記車両後方領域と上記後方画像情報とが一部重複する第二の重複領域内に設定するようにしてもよい。この構成によれば、例えば、複数の画像において輝度補正を行う場合に、特定輝度状態か否かの判定処理のときと、輝度補正処理のときとで、共通の関心領域の利用が可能となり、画像処理の負荷の軽減に寄与できる。
図１は、実施形態にかかる画像処理装置を搭載可能な車両の一例を示す模式的な平面図である。 図２は、実施形態にかかる画像処理装置を含む画像処理システムの構成の例示的なブロック図である。 図３は、実施形態にかかる画像処理装置のＣＰＵの構成の例示的なブロック図である。 図４は、各撮像部により撮像される被撮像領域とその重複領域を説明する俯瞰的な模式図である。 図５は、実施形態にかかる画像処理装置で処理対象とする元画像の輝度分布と関心領域（ＲＯＩ：Region　of　Interest）の設定位置の一例を示す模式図である。 図６は、実施形態にかかる画像処理装置において、車両周囲の状態が通常輝度状態のときに固定の目標輝度を用いて輝度修正を行う場合の処理の流れの一例を説明するフローチャートである。 図７は、実施形態にかかる像処理装置の処理の一部を例示的に説明する図であり、車両の前方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。 図８は、図７の直線補間式により設定された輝度による補正が実行される場合を説明する図であり、車両の前方の被撮像領域の補正前後の輝度状態の変化例を示す模式図である。 図９は、実施形態にかかる画像処理装置の処理の一部を例示的に説明する図であり、車両の側方の被撮像領域の関心領域の輝度を固定の目標輝度に補正し、その補正に対応する直線補間式を示す模式図である。 図１０は、車両の周囲の被撮像領域に対して輝度補正を行った場合に生成される周辺画像の輝度状態の一例を示す模式図である。 図１１は、実施形態にかかる画像処理装置において、輝度の補正を行う場合に用いる直線補間式の傾きが大きすぎる例を示す模式図である。 図１２は、図１１の場合に、直線補間式の傾きの補正例を説明する模式図である。 図１３は、実施形態にかかる画像処理装置において、輝度の補正を行うとき補正量が大きすぎる場合に、補正上限値に基づき補正量の制限を行う例を示す模式図である。 図１４は、γ曲線の係数を用いた輝度の線形補間を説明する場合の入力輝度と出力輝度の関係の一例を示す模式図である。 図１５は、γ曲線の係数を用いた輝度の線形補間を説明する場合の入力輝度と出力輝度の他の関係の例を示す模式図である。 図１６は、図１４および図１５のγ曲線の係数を用いて生成した線形補間式を示す模式図である。 図１７は、実施形態にかかる画像処理装置において、車両周囲の状態が通常輝度状態のときに所定の値（固定値）を用いて、直線補間式の補正（底上げ補正）を行い、輝度補正を行う場合の処理の流れの一例を説明するフローチャートである。 図１８は、図１７に示す画像処理を行う際に、補正前の直線補間式の例を説明する図であり、車両の前方の被撮像領域の関心領域の目標輝度を一対の関心領域の平均値を用いて決定する場合を説明する模式図である。 図１９は、図１８に示す直線補間式を所定の値（調整値）によって補正（底上げ補正）する例を示す模式図である。 図２０は、図１９に示す補正後の直線補間式による前方の被撮像領域の輝度設定および同様な方法による後方の被撮像領域の輝度設定の後に、側方の被撮像領域の輝度設定を行う例を説明する模式図である。 図２１は、実施形態にかかる画像処理装置において、車両周囲の状態が特定輝度状態か否かの判定を行った上で、輝度補正を行う場合の処理の流れの一例を説明するフローチャートである。 図２２は、本実施形態にかかる画像処理装置で判定可能な特定輝度状態のときの前方画像および後方画像の関心領域の輝度を例示的に示す模式図である。 図２３は、本実施形態にかかる画像処理装置で判定可能な特定輝度状態のときの左右の側方画像の関心領域の輝度を例示的に示す模式図である。 図２４は、実施形態にかかる画像処理装置において、車両周囲の状態が特定輝度状態の場合の輝度補正の一例を説明する模式図である。
　以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
　図１は、本実施形態の画像処理装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
　図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge　Coupled　Device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ、画像情報）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲（被撮像領域）を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定され得る。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（例えば、歩行者、車両等）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。
　撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像（前方の被撮像領域）を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像（左側方の被撮像領域）を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像（右側方の被撮像領域）を撮像可能である。また、撮像部１４ｄは、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｄの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｄ）を含む後方画像（後方の被撮像領域）を撮像可能である。
　本実施形態の画像処理装置は、複数の撮像部１４で得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４が撮像する撮像画像データ（画像）には、互いに重複する重複領域が設けられ、画像を繋ぎ合わせるときに欠落領域が生じないようにしている。例えば、撮像部１４ａの撮像した撮像画像データの車幅方向左側の端部領域と撮像部１４ｂが撮像した撮像画像データの車両前後方向のうち前方側の端部領域とが重複する。そして、二つの画像を繋げる（合成する）処理が実行される。同様に、前方画像と右側方画像、左側方画像と後方画像、後方画像と右側方画像についても重複領域が設けられて二つの画像を繋げる（合成する）処理が実行される。
　図２は、車両１０に搭載される画像処理装置を含む画像処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
　また、図２に例示されるように、画像処理システム１００（画像処理装置）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic　control　unit）を含む。画像処理システム１００（画像処理装置）では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller　area　network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。
　ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central　processing　unit）や、ＲＯＭ２４ｂ（read　only　memory）、ＲＡＭ２４ｃ（random　access　memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid　state　drive、フラッシュメモリ）等を有している。
　ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、処理の一例として、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。
　ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
　本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（画像）に画像処理、例えば視点変換処理等を施して表示装置１６に表示させる際に、画像の輝度補正を行う。ＥＣＵ２４は、前後左右の画像を繋ぎ合わせた場合に、輝度差による画像間の連続性が低下する不都合や部分的または全体的に画像が明るくなりすぎたり、逆に暗くなりすぎたりすることを抑制し、画像全体（繋ぎ合わせることで生成する周辺画像、俯瞰画像）の視認性が低下することを抑制する。
　図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａにおいて、本実施形態の画像処理を実現するための構成の例示的なブロック図である。なお、ＣＰＵ２４ａにおいて、本実施形態の画像処理を実行する以外の構成は図示を省略している。ＣＰＵ２４ａは、上述したような輝度補正を含む画像処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、取得部２８、関心領域設定部３０、特定モード判定部３１、第１設定部３２（第一の設定部）、第２設定部３４（第二の設定部）等を備える。また、第１設定部３２は、固定値設定部３２ａ、固定値加算設定部３２ｂ、特定モード補正部３２ｃ等を含む。また、第２設定部３４は、線形補間部３４ａ、傾き設定部３４ｂ、γ曲線係数算出部３４ｃ、輝度設定部３４ｄ等を含む。
　取得部２８は、各撮像部１４が撮像した画像を表示制御部２４ｄを介して取得する。各撮像部１４(１４ａ～１４ｄ)は、図４に示すような被撮像領域３６を撮像可能である。そして、各被撮像領域３６は、前述したように隣接する被撮像領域３６とそれぞれ一部が重なった重複領域３８を含む。被撮像領域３６のうち車両１０の前方の被撮像領域３６Ｆの車幅方向左側と車両１０の左側方の被撮像領域３６ＳＬの車両前方側とは、重複領域３８ＦＬを形成する。被撮像領域３６のうち被撮像領域３６ＳＬの車両後方側と車両１０の後方の被撮像領域３６Ｒの車幅方向左側とは、重複領域３８ＲＬを形成する。被撮像領域３６のうち被撮像領域３６Ｒの車幅方向右側と車両１０の右側方の被撮像領域３６ＳＲの車両後方側とは、重複領域３８ＲＲを形成する。そして、被撮像領域３６のうち被撮像領域３６ＳＲの車両前方側と被撮像領域３６Ｆの車幅方向右側とは、重複領域３８ＦＲを形成する。各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して取得部２８に出力してもよいし、取得部２８側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。
　なお、本実施形態において、例えば、被撮像領域３６Ｆに着目する処理を行う場合、車両１０を挟んで離間する一対の被撮像領域３６（例えば、被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方（例えば被撮像領域３６Ｆ）を第一の被撮像領域と称する場合がある。また、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち一方を第二の被撮像領域（例えば、被撮像領域３６ＳＬ）と称する場合がある。そして、第一被撮像領域と第二被撮像領域とが重なる重複領域３８（重複領域３８ＦＬ）を第一の重複領域と称する場合がある。同様に、第一の被撮像領域に隣接する一対の被撮像領域３６（例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲ）のうち他方を第三の被撮像領域（例えば、被撮像領域３６ＳＲ）と称する場合がある。そして、第一被撮像領域と第三被撮像領域とが重なる重複領域３８（重複領域３８ＦＲ）を第二の重複領域と称する場合がある。なお、車両１０を挟んで離間する一対の被撮像領域３６を例えば、被撮像領域３６ＳＬと被撮像領域３６ＳＲとすることもできる。この場合、第二の被撮像領域は、被撮像領域３６Ｆと被撮像領域３６Ｒとのいずれか一方、第三の被撮像領域が他方となる。
　関心領域設定部３０は、図５に示すように、取得部２８が取得した被撮像領域３６の重複領域３８ごとに、輝度調整を行う際に参照する関心領域４０(４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）を設定する。関心領域４０は、車両１０の車幅方向および前後方向に所定の長さを持つ、例えば矩形の領域で、関心領域４０の輝度とは、関心領域４０に含まれる各画素の輝度の例えば平均値である。また、本実施形態において関心領域４０の位置を特定する場合、その位置は、例えば関心領域４０の中心位置（車幅方向および前後方向の中点）とする。
　なお、各撮像部１４は、撮像時に自動的に絞り調整（ゲイン調整）が行われ、各被撮像領域３６の明るさ調整(輝度調整)が成される。その結果、被撮像領域３６に明るい領域が多く存在する場合、絞り値が大きくなり、明るさが抑えられた暗めの画像が撮像される。逆に被撮像領域３６に暗い領域が多く存在する場合、絞り値が小さくなり、明るさが向上された明るめの画像が撮像される。したがって、図５に示すように、例えば重複領域３８ＦＬに含まれる関心領域４０ＦＬにおいて、被撮像領域３６Ｆ側の関心領域４０ＦＬに対応する部分と被撮像領域３６ＳＬ側の関心領域４０ＦＬに対応する部分で、明るさ（輝度）が異なる場合がある。例えば、図５において、輝度を０～２５５の２５６階調（「０」が暗く、「２５５」が明るい）で表した場合、例えば、重複領域３８ＦＬに含まれる関心領域４０ＦＬの場合、被撮像領域３６Ｆ側の輝度は、「２５０」で明るく、被撮像領域３６ＳＬ側の輝度は、「１００」で被撮像領域３６Ｆ側より暗い。なお、図５において、「１００」等で標記された数字が輝度を示す。また、別の図においては、関心領域４０の中に標記された数字が輝度を表す場合もある。なお、関心領域設定部３０は、関心領域４０の設定位置を予め定めた位置に設定してもよいし、被撮像領域３６の輝度分布に応じて設定位置を変更するようにしてもよい。
　特定モード判定部３１は、車両１０の周囲の明るさの状態が「通常輝度状態」か「特定輝度状態」かの判定を行う。「通常輝度状態」とは、各画像間の輝度に大きな格差は生じにくい状態である。例えば、車両１０の周囲が明るかったり適度に照明等の明かりが存在したりする場合、各撮像部１４で撮像される画像の輝度の格差が大きくなり難い。例えば、日中であれば、影等の存在により各画像間で輝度の差は生じるものの、絞り調整が成されても画像間で大きな輝度格差は生じにくい。同様に、夜間の場合でも、車両１０の周囲に街灯や他車のヘッドライト等による明かりが存在する場合、絞り調整が成されても各画像間の輝度の大きな格差は生じにくい。一方、「特定輝度状態」とは、各画像間の輝度の大きな格差が生じやすい状態である。例えば、車両１０が、夜間等で周囲が完全に暗い状態のときに、周囲に街灯や他車による照明が存在しない場所（例えば、夜間の山中）でヘッドライトを点灯して単独で存在している場合、車両１０の前方側のみが明るく、車両１０の後方側は暗く、その輝度の格差は非常に大きくなる。
　特定モード判定部３１は、車両１０の側方画像（被撮像領域３６ＳＬや被撮像領域３６ＳＲの画像）の撮像時の輝度が少なくとも二つの条件を満たした場合に、「特定輝度状態」であると判定する。例えば、特定モード判定部３１は、車両１０の側方を撮像した側方画像情報（被撮像領域３６ＳＬや被撮像領域３６ＳＲの画像情報）において、側方画像情報（例えば、被撮像領域３６ＳＬの画像情報）の車両前方領域に含まれる第一の関心領域（例えば、関心領域４０ＦＬ）の輝度が第一の所定値（例えば、予め定めた目標輝度）以上の場合、第一の条件を満たしたと判定する。また、車両後方領域に含まれる第二の関心領域（例えば、関心領域４０ＲＬ）の輝度と第一の関心領域(例えば、関心領域４０ＦＬ)の輝度との差が第二の所定値（例えば、輝度格差「１００」）以上の場合に、第二の条件を満たしたと判定する。そして、特定モード判定部３１は、第一の条件と第二の条件を満たした場合に、車両１０の周囲の明るさの状態が「特定輝度状態」であると判定する。したがって、特定モード判定部３１は、第一の条件と第二の条件のいずれか一方でも満たされない場合、車両１０の周囲の明るさの状態は、「通常輝度状態」であると判定する。特定モード判定部３１は、車両１０の周囲の明るさの状態が「特定輝度状態」であるか「通常輝度状態」であるかの判定を行う際に、輝度補正を行う際に参照する重複領域３８内に設定された関心領域４０を参照する。その結果、処理対象領域（関心領域）の共通化が行われ、処理負荷の軽減に寄与することができる。また、本実施形態の画像処理装置の場合、「通常輝度状態」か「特定輝度状態」かに基づき、後述する輝度補正の方法を選択する。特定モード判定部３１を用いた制御に関しては後述する。なお、「特定輝度状態」であると判定されていても、例えば、ヘッドライトを点灯した後続車が現れる等、新たに明かりが現れた場合には、第二の条件が満たされなくなり、「通常輝度状態」に移行する場合がある。その場合には、「通常輝度状態」に対応する処理に移行することになる。
　第１設定部３２は、関心領域４０の輝度を補正する。例えば、車両１０を挟んで離間する一対の被撮像領域３６（例えば被撮像領域３６Ｆと被撮像領域３６Ｒ）のうち一方である第一の被撮像領域（例えば被撮像領域３６Ｆ）を考える。第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と、当該第一の被撮像領域に隣接する一対の被撮像領域３６のうち一方である第二の被撮像領域(例えば被撮像領域３６ＳＬ)と、が重なる第一の重複領域（例えば重複領域３８ＦＬ）に含まれる第一の関心領域（例えば関心領域４０ＦＬ）の輝度を補正する。同様に、第１設定部３２は、第一の被撮像領域（例えば被撮像領域３６Ｆ）と当該第一の被撮像領域に隣接する他方の被撮像領域３６である第三の被撮像領域（例えば被撮像領域３６ＳＲ）とが重なる第二の重複領域(例えば重複領域３８ＦＲ)に含まれる第二の関心領域（関心領域４０ＦＲ）の輝度を補正する。同様に、第１設定部３２は、関心領域４０ＲＬおよび関心領域４０ＲＲの輝度を補正する。
　本実施形態の場合、第１設定部３２は関心領域４０の輝度を補正する場合、複数の方法によって行うことができる。例えば、固定値設定部３２ａは、所定の値として定めた目標輝度になるような補正値を決定して、輝度の補正を行う。固定値設定部３２ａは、例えば、予め実験等で導き出した、周囲の明暗環境に拘わらず、最も視認性がよいとされる目標輝度（例えば、２５６階調の「２００」）に関心領域４０の輝度がなるような補正値を用いて補正を行う。
　また、第１設定部３２に含まれる固定値加算設定部３２ｂは、被撮像領域３６に含まれる関心領域４０の輝度を補正するための目標輝度を算出した場合、目標輝度に所定の値として定めた調整値を加算することで、被撮像領域３６の輝度を一律に底上げ補正する。例えば、被撮像領域３６Ｆの場合、車幅方向左側の関心領域４０ＦＬの輝度が「１５０」と車幅方向右側の関心領域４０ＦＲの輝度が「１００」であった場合、少なくとも一方の輝度を用いて、目標輝度を決める。例えば、関心領域４０ＦＬと関心領域４０ＦＲとの平均の輝度「１２５」を目標輝度とする。この目標輝度で補正を行った場合、被撮像領域３６Ｆ全体の明るさが足りないと判定した場合には、所定の値として定めた調整値を加算する。例えば、予め実験等により定めた調整値である「調整輝度値＝５０」を加算して、被撮像領域３６Ｆ全体の明るさを一律に底上げする。
　また、第１設定部３２に含まれる特定モード補正部３２ｃは、特定モード判定部３１によって、車両１０の周囲の明るさの状態が「特定輝度状態」であると判定された場合に、側方画像に関して固定値設定部３２ａや固定値加算設定部３２ｂとは異なる方法で、目標輝度の設定を行い、輝度補正を行う。特定モード補正部３２ｃは、車両１０の周囲の明るさの状態が「特定輝度状態」の場合、側方画像の車両前方領域に含まれる第一の関心領域（例えば、関心領域４０ＦＬ）の輝度を第一の目標輝度にするための第一の補正値と、車両後方領域に含まれる第二の関心領域(例えば、関心領域４０ＲＬ）の輝度を第二の目標輝度にするための第二の補正値を異なる方法で決定する。特定モード補正部３２ｃは、例えば、第一の補正値を車両前方領域の輝度に応じて決定する。一例として、特定モード補正部３２ｃは、第一の関心領域の現在の輝度を第一の目標輝度に設定して、第一の補正値を決定する。また別の例では、特定モード補正部３２ｃは、第一の関心領域の周辺で輝度が第一の所定値(例えば、予め定めた目標輝度)未満の領域に第一の関心領域を移動させて、その領域の輝度を第一の目標輝度に設定して、第一の補正値を決定する。なお、特定モード補正部３２ｃは、第二の補正値を車両１０の後方を撮像した後方画像情報（被撮像領域３６Ｒの画像情報）の輝度に応じて決定する。
　固定値設定部３２ａ、固定値加算設定部３２ｂ、特定モード補正部３２ｃによる補正の具体的な例は後述する。
　第２設定部３４は、隣り合う関心領域４０のそれぞれの補正値に基づいて、その間の輝度を設定する。例えば、被撮像領域３６Ｆの車幅方向左側の関心領域４０ＦＬを第一の関心領域とした場合、例えば、固定値設定部３２ａによって設定された固定の目標輝度に補正する補正値を第一の補正値とする。同様に、被撮像領域３６Ｆの車幅方向右側の関心領域４０ＦＲを第二の関心領域とした場合、例えば、固定値設定部３２ａによって設定された固定の目標輝度に補正する補正値を第二の補正値とする。この場合、線形補間部３４ａは、第一の補正値と第二の補正値とを用いて、線形補間を行うための例えば直線補間式（第一の補正値と第二の補正値とを結ぶ直線）を生成する。そして、生成した線形補間式(例えば直線補間式)に基づいて、二つの関心領域４０の間領域の輝度を補正する。
　傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きが所定の制限値以上の場合に、直線補間式の傾きを補正する。例えば、隣接する関心領域４０の一方の輝度が固定値設定部３２ａで設定した目標輝度から大きく乖離していた場合、線形補間部３４ａが生成する直線補間式の傾きは大きくなる。その結果、例えば関心領域４０の周辺で、関心領域４０より暗い部分も関心領域４０の輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、必要以上に輝度が高くなるような補正が行われ、いわゆる「白飛び」してしまう場合がある。傾き設定部３４ｂは、線形補間部３４ａで生成した線形補間式の傾きを予め設定した曲線によって補正する。この曲線は、例えば、線形補間式の傾きが制限値より小さい場合は補正なしとし、傾きが所定以上の場合に傾きを減少補正するような特性を備える。なお、この曲線は、傾きが制限値よりさらに大きな限界値以上になった場合、傾きが予め設定した所定の値（固定値）となるような特性を備えてもよい。
　線形補間部３４ａは、一例として、隣接する二つの関心領域４０に対する補正値を直線で結ぶことで、直線補間式を生成する。この場合、補正値によっては、中間部分の輝度補正において、補正量が小さすぎて画像の「黒つぶれ」が生じたり、逆に補正量が大きすぎて画像の「白飛び」が生じたりする場合がる。そこで、γ曲線係数算出部３４ｃは、第一の関心領域（例えば、関心領域４０ＦＬ）の輝度に対して第一の目標輝度となる曲線式として算出された第一のγ曲線の第一の係数を算出する。同様に、γ曲線係数算出部３４ｃは、第二の関心領域（例えば関心領域４０ＦＲ）の輝度に対して第二の目標輝度となる曲線式として算出された第二のγ曲線の第二の係数を算出する。そして、γ曲線係数算出部３４ｃは、算出した第一の係数と第二の係数に基づく線形補間式（直線補間式）を生成し、この線形補間式により算出した補正値（γ曲線係数）にしたがい第一の関心領域と第二の関心領域との間の領域の輝度を設定する。この場合、γ曲線式は、輝度を２５６階調で表す場合の最低輝度値「０」と最高輝度値「２５５」を必ず含む曲線であるため、γ曲線の係数を用いることにより、画像の黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）を発生しにくくすることができる。その結果、黒つぶれや白飛び等の情報欠如の抑制が可能で、認識しやすい周辺画像の生成ができる。
　輝度設定部３４ｄは、線形補間部３４ａで生成された線形補間式（例えば、直線補間式）に基づき、第一の関心領域（例えば、関心領域４０ＦＬ）と第二の関心領域（例えば、関心領域４０ＦＲ）の間の領域の輝度を補正する個別補正値を設定する。輝度設定部３４ｄは、線形補間部３４ａで生成された線形補間式が、車両１０の前方の被撮像領域３６Ｆに関する線形補間式である場合、この線形補間式にしたがい、被撮像領域３６Ｆにおける車両前後方向の領域に関しても同様に輝度補正を行う。したがって、被撮像領域３６Ｆの場合、車両前後方向の領域は、同様な補正値（補正量）で輝度の補正が実行される。
　図３のＣＰＵ２４ａの構成は、一例であり、例えば、第１設定部３２において、所定の値による補正（固定値設定部３２ａや固定値加算設定部３２ｂ）は、いずれか一方を選択できるようにしてもよい。また、いずれか一方を固定で利用する場合は、固定値設定部３２ａと固定値加算設定部３２ｂのいずれか一方を省略した構成としてもよい。また、第２設定部３４において、線形補間部３４ａが関心領域４０の補正値によってのみ線形補間式を形成する場合には、γ曲線係数算出部３４ｃを省略した構成としてもよい。
　このように構成される画像処理システム１００（画像処理装置）の処理の一例について、図６のフローチャートおよび図１～図５に加え図７～図１６を用いて説明する。
　図６のフローチャートを用いて、まず、「通常輝度状態」の場合、つまり、各撮像部１４で撮像した各画像間の輝度に大きな格差は生じにくい状態で、固定値設定部３２ａにより所定の値として、予め設定された目標輝度が設定される場合に実行される輝度補正について説明する。
　まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ１００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定となる。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ１００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ１０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ１００のＮｏ）、一旦、図６のフローを終了する。
　続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ１０４）。各被撮像領域３６の関心領域４０における輝度が例えば、図５で示すような場合、固定値設定部３２ａは、各関心領域４０に対して、所定の値として定めた目標輝度（例えば、２５６階調で「２００」）を設定するとともに（Ｓ１０６）、関心領域４０の輝度が目標輝度（例えば「２００」）になるように補正するための補正値を設定する（Ｓ１０８）。図７は、車両１０の前方の被撮像領域３６Ｆの輝度を補正する例である。被撮像領域３６Ｆの場合、車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調で「２５０」であり、車幅方向右側の関心領域４０ＦＲの輝度が２５６階調で「１５０」となっている例である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「－５０」の補正値が設定され、関心領域４０ＦＲは、「＋５０」の補正値が設定される。
　線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝－５０）と、関心領域４０ＦＲの補正値（Ｎ＝＋５０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ１１０）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される補正値（個別補正値）に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正（設定）する。同様に、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正値で設定（補正）する（Ｓ１１２）。その結果、図８に示すように、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「２５０」から「２００」に暗くなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１５０」から「２００」に明るくなるように補正される。
　ＣＰＵ２４ａは、上述のような補正処理が全画面に対して完了したか否かを監視する（Ｓ１１４）。そして、補正処理が完了していない場合（Ｓ１１４のＮｏ）、Ｓ１０２に戻り、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲに対して実行する。
　例えば、関心領域設定部３０、第１設定部３２、第２設定部３４は、車両１０の後方の被撮像領域３６Ｒに対して上述と同様な処理を実行する。その結果、補正前の被撮像領域３６Ｒは、車幅方向左側（関心領域４０ＲＬの部分）の輝度が「５０」から「２００」に明るくなるように補正され、車幅方向右側（関心領域４０ＲＲの部分）の輝度が「５０」から「２００」に明るくなるように補正される。
　同様に、関心領域設定部３０、第１設定部３２、第２設定部３４は、図９に示すように、車両１０の左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲについても同様な補正を行う。例えば、被撮像領域３６ＳＬの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＬの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＬの輝度が２５６階調で「５０」である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＬは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＬは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋１００）と、関心領域４０ＲＬの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｌを生成する。同様に、被撮像領域３６ＳＲの場合、車両前後方向（Ｚ軸方向）の前方側の関心領域４０ＦＲの輝度が２５６階調で「１００」であり、後方側の関心領域４０ＲＲの輝度が２５６階調で「５０」である。これに対して、固定値設定部３２ａが設定した目標輝度が２５６階調で「２００」の場合、第１設定部３２において、関心領域４０ＦＲは、輝度値Ｍとして「＋１００」の補正値が設定され、後方側の関心領域４０ＲＲは、「＋１５０」の補正値が設定される。線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＲの補正値（Ｎ＝＋１００）と、関心領域４０ＲＲの補正値（Ｎ＝＋１５０）を用いて、直線補間式４２Ｒを生成する。
　その結果、被撮像領域３６ＳＬにおける関心領域４０ＦＬと関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示され、被撮像領域３６ＳＲにおける関心領域４０ＦＲと関心領域４０ＲＲとの間の車両前後方向（Ｚ軸方向）の輝度の個別補正量が直線補間式４２Ｒによって示される。そして、輝度設定部３４ｄは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬの間の領域の輝度および、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。また、輝度設定部３４ｄは、直線補間式４２Ｒに基づき、関心領域４０ＦＲと関心領域４０ＲＲの間の領域の輝度および、被撮像領域３６ＳＲにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な個別補正量で補正する。
　ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了すると（Ｓ１１４のＹｅｓ）、表示制御部２４ｄにより、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ１１６）、次の処理周期でＳ１００からの処理を繰り返すことで周辺画像の更新を行う。この場合、図１０に示すように、各関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度が２５６階調で「２００」となり、各被撮像領域３６（３６Ｆ，３６ＳＬ，３６Ｒ，３６ＳＲ）を繋ぎ合わせが滑らかに行われた周辺画像４４を生成することができる。また、各関心領域４０の間の輝度も直線補間式４２によって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像４４のいずれの部分でも画像内容の認識がしやすくなる。
　ところで、隣接する関心領域４０の輝度差が元々大きい場合がある。例えば、図１１に示すように、屋外で日差しが強い場合に、車両１０の周囲の一部に自車の濃い影４６が存在する場合がある。この場合、影４６に含まれない関心領域４０ＲＬの輝度（例えば、２５６階調で「１８０」）と影４６に含まれる関心領域４０ＲＲの輝度（例えば、２５６階調で「操作入力部２０」）とで輝度の差が大きい場合がある。このような場合に、上述した場合と同様に、固定値設定部３２ａが目標輝度を「２００」に設定すると、関心領域４０ＲＬに対する補正値は「＋２０」となるのに対して、関心領域４０ＲＲに対する補正値は「＋１８０」となる。その結果、線形補間部３４ａが直線補間式４２を生成すると、図１１に示すように、傾きが大きな直線補間式４２が生成されてしまう場合がある。この場合、関心領域４０ＲＲの周辺で、関心領域４０ＲＲより明るい領域４８も関心領域４０ＲＲの輝度の補正の影響を受けてより明るい方向に補正されてしまうことがある。その結果、関心領域４０ＲＲより明るい領域４８が、いわゆる「白飛び」してしまう場合がある。そこで、傾き設定部３４ｂは、線形補間部３４ａで生成した直線補間式４２の傾きを、図１２に示すような予め設定した曲線５０によって補正する。この曲線５０は、例えば、直線補間式４２の傾きが所定の制限値未満の場合は、「通常ゾーン」とし傾き補正なしとし、傾きが所定の制限値以上の場合は、「制限ゾーン」として、傾きを減少補正する。また、曲線５０は、傾きが制限値より大きな所定の限界値以上になった場合には、補正後の傾きが予め設定した所定の値（固定値）となるような補正を行う。
　直線補間式４２の傾きが所定の制限値以上の場合に、その傾きを曲線５０によって補正することで、関心領域４０ＲＲより明るい領域４８に対する輝度補正が緩和され、「白飛び」を抑制することができる。また、傾きを限界値（固定値）で補正することにより、それ以上の輝度増加が生じないようにすることができる。なお、この場合、本来明るく補正されることで、滑らかな輝度変化を実現しているものに対して、補正の制限を加えることになるので、輝度変化の滑らかさが低減するが、「白飛び」が抑制できるので、画像内容の認識性向上に寄与できる。なお、曲線５０の形状や制限値や限界値（固定値）は、予め実験等により周囲の輝度とのバランス等を考慮し適宜決定することができる。また、曲線５０は、周囲の輝度とのバランス等を考慮して、線形補間部３４ａで算出するようにしてもよい。
　また、別の実施形態においては、輝度設定部３４ｄは、直線補間式４２に基づいて関心領域４０ＲＬと関心領域４０ＲＲの間の領域の輝度を補正する補正値（個別補正値）を設定する場合、補正値に制限を加えてもよい。例えば、図１３に示すように、補正値に対して補正上限値Ｍａｘを設定し、直線補間式４２にしたがい、輝度の補正量が増加するのに伴い、設定する個別補正量が補正上限値Ｍａｘに収束するようにする。この場合も、関心領域４０ＲＲより明るい領域４８に対する輝度補正が緩和され、「白飛び」を抑制することができる。なお、補正上限値Ｍａｘは、予め固定値で設定してもよいし、算出した直線補間式４２の傾きに応じて、設定してもよい。
　また、上述したように、固定値設定部３２ａ等で設定された目標輝度によって、隣接する二つの関心領域４０の補正値を直線で結んで直線補間式４２を生成する場合、処理負荷を増大させることなく、輝度修正を行うことができるというメリットがある。その反面、補正値によっては、中間部分の輝度補正において、補正量が小さすぎる場合に画像の「黒つぶれ」が生じたり、逆に大きすぎる場合に、画像の「白飛び」が生じたりする場合がる。そこで、本実施形態の場合、輝度の補正の際にγ補正を利用するようにし得る。例えば、車両１０の前方の被撮像領域３６Ｆにおいて、関心領域４０ＦＬ（第一の関心領域）と、関心領域４０ＦＲ（第二の関心領域）を考える。関心領域４０ＦＬの輝度（領域内の平均輝度）が２５６階調の「１５０」であり、関心領域４０ＦＲの輝度が「１００」であり、固定値設定部３２ａにより設定された目標輝度が２５６階調で「１２５」であったとする。この場合、目標輝度にするためには、関心領域４０ＦＬは、「－２５」の補正値が必要で、関心領域４０ＦＲは、「＋２５」の補正値が必要となる。
　そこで、γ曲線係数算出部３４ｃは、関心領域４０ＦＬについて、図１４に示すように、横軸を入力輝度Ｙ０、縦軸を出力輝度Ｙ１Ｌとした場合の第一のγ曲線５２Ｌを算出する。この場合、γ曲線係数算出部３４ｃは、第一のγ曲線５２Ｌとして、最低値（最低輝度）の座標ｐ＝（０，０）と、最高値（最高輝度）の座標ｑ＝（２５５，２５５）と、を通るととともに、入力輝度Ｙ０に対して出力輝度Ｙ１Ｌが「－２５」となる座標ｒとの三点を通る曲線（Ｙ１Ｌ＝Ｙ０ １/γ１）を算出する。そして、γ曲線係数算出部３４ｃは、第一の係数として、「γ１」を算出する。この場合、第一のγ曲線５２Ｌは、出力輝度Ｙ１Ｌ＝入力輝度Ｙ０となる直線５４に対して下に凸の曲線となる。同様に、γ曲線係数算出部３４ｃは、関心領域４０ＦＲについて、図１５に示すように、第二のγ曲線５２Ｒとして、最低値（最低輝度）の座標ｐ＝（０，０）と、最高値（最高輝度）の座標ｑ＝（２５５，２５５）と、を通るととともに、入力輝度Ｙ０に対して出力輝度Ｙ１Ｒが「＋２５」となる座標ｓとの三点を通る曲線（Ｙ１Ｒ＝Ｙ０ １/γ２）を算出する。そして、γ曲線係数算出部３４ｃは、第二の係数として、「γ２」を算出する。この場合、第二のγ曲線５２Ｒは、出力輝度Ｙ１Ｒ＝入力輝度Ｙ０となる直線５４に対して上に凸の曲線となる。
　線形補間部３４ａは、γ曲線係数算出部３４ｃが算出したγ曲線係数γ１およびγ２を用いて、直線補間式５６を生成する。図１６は、縦軸をγ曲線係数、横軸を車幅方向の輝度補正対象の位置座標とした図であり、関心領域４０ＦＬの中心座標をＸ１として場合にγ曲線係数が「γ１」となり、関心領域４０ＦＲの中心座標をＸ２として場合に、γ曲線係数が「γ２」となる場合の、直線補間式５６（γ＝ａＸ＋ｂ）である。したがって、輝度設定部３４ｄは、直線補間式５６に基づき関心領域４０ＦＬと関心領域４０ＦＲの間の位置の補正対象の位置に対応するγ曲線係数を算出し、入力輝度Ｙ０（元画像の輝度）と出力輝度Ｙ１との関係を示すＹ１＝Ｙ０ １/γに、算出したγ曲線係数と補正対象の位置の輝度（元画像の輝度値、入力輝度Ｙ０）を代入する。その結果、一対の関心領域４０の間の領域の補正後の輝度（出力輝度Ｙ１）を算出することができる。このような補正を他の画像においても実行することにより、画像が黒つぶれ（暗すぎる補正）や白飛び（明るすぎる補正）を発生しにくい、情報欠如の抑制が可能で、認識しやすい周辺画像を生成できる。
　次に、画像処理システム１００（画像処理装置）の処理の他の例について、図１７のフローチャートおよび図１８～図２０を用いて説明する。
　図１７のフローチャートを用いて、「通常輝度状態」の場合、つまり、各撮像部１４で撮像した各画像間の輝度に大きな格差が生じにくい状態で、固定値加算設定部３２ｂにより、線形補間式の補正を所定の値により行い、輝度補正（輝度の底上げ補正）を実行する場合について説明する。
　まず、ＣＰＵ２４ａは、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ２００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定とする。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ２００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ２０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ２００のＮｏ）、一旦、図１７のフローを終了する。
　続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ２０４）。続いて、固定値加算設定部３２ｂは、例えば、車両１０の前方の被撮像領域３６Ｆについて、設定された車幅方向の二つの関心領域４０（関心領域４０ＦＬと関心領域４０ＦＲ）の輝度（関心領域４０内の平均輝度）の平均値を算出し被撮像領域３６Ｆの目標輝度とする（Ｓ２０６）。例えば、図１８に示すように、被撮像領域３６Ｆの車幅方向（Ｘ軸方向）左側の関心領域４０ＦＬの輝度が２５６階調の「１５０」であり、右側の関心領域４０ＦＲの輝度が２５６階調で「１００」であるとする。この場合、固定値加算設定部３２ｂは、「１２５」を目標輝度に設定し、関心領域４０ＦＬおよび関心領域４０ＦＲの輝度が目標輝度（例えば「１２５」）になるように補正するための補正値を設定する（Ｓ２０８）。図１８の場合、被撮像領域３６Ｆにおいて、関心領域４０ＦＬは、輝度値Ｍとして「－２５」の補正値が設定され、関心領域４０ＦＲは、「＋２５」の補正値が設定される。
　線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝－２５）と、関心領域４０ＦＲの補正値（Ｎ＝＋２５）を用いて、直線補間式４２を生成する（Ｓ２１０）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。
　ところで、この例の場合、目標輝度は、補正対象の被撮像領域３６に含まれる二箇所の関心領域４０（例えば、関心領域４０ＦＬと関心領域４０ＦＲ）の輝度の平均値により決定され、直線補間式４２が生成されている。そのため、目標輝度が低すぎる、つまり、輝度補正処理を実行したにも拘わらず、補正後の画像が十分に明るくない場合がある。そこで、固定値加算設定部３２ｂは、直線補間式４２によって補正される輝度が予め設定された輝度（下限輝度）より低く、増加調整が必要であると判定した場合（Ｓ２１２のＹｅｓ）、固定値加算設定部３２ｂは所定の値（調整値）による補正を実行する（Ｓ２１４）。例えば、Ｓ２０８で設定した補正値に予め定めた調整値（例えば、調整輝度値＝５０）を加算する。すなわち、図１９に示すように、関心領域４０ＦＬの輝度と関心領域４０ＦＲの輝度の平均値によって定められた目標輝度（例えば「１２５」）になるような補正値（「－２５」および「＋２５」）のそれぞれに、調整輝度値＝５０を加算する。言い換えれば、直線補間式４２をそのまま輝度値＋５０となるように増加方向にシフトして、直線補間式４２ａを生成する。輝度設定部３４ｄは、直線補間式４２ａに基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度および、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正量で設定（補正）する（Ｓ２１６）。この場合、被撮像領域３６Ｆの輝度は、一律に「＋５０」だけ底上げされ、明るい画像となる。なお、Ｓ２１２において、直線補間式４２によって補正される輝度が予め設定された輝度（下限輝度）以上の場合、増加調整の必要はないと判定し（Ｓ２１２のＮｏ）、Ｓ２１４の処理をスキップする。
　第１設定部３２は、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの輝度補正が完了したか否かの監視を行い（Ｓ２１８）、完了していない場合（Ｓ２１８のＮｏ）、Ｓ２０４に戻り、同様な処理を実行する。一方、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの輝度補正が完了している場合（Ｓ２１８のＹｅｓ）、第１設定部３２は、車両１０の側方の被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの輝度補正のために、関心領域４０の設定を行う（Ｓ２２０）。そして、第１設定部３２は、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの関心領域４０の輝度を既に輝度補正が完了している被撮像領域３６Ｆおよび被撮像領域３６Ｒの関心領域４０の輝度を目標輝度として設定する（Ｓ２２２）。
　例えば、図２０に示されるように、被撮像領域３６Ｆにおける関心領域４０ＦＬの補正後の輝度が「１７５」で、被撮像領域３６ＳＬの関心領域４０ＦＬの補正前（撮像時の輝度）が「１００」の場合、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＦＬの目標輝度を「１７５」に設定する（Ｓ２２２）。つまり、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＦＬの補正値として「＋７５」を設定する（Ｓ２２４）。一方、被撮像領域３６Ｒにおける関心領域４０ＲＬの補正後の輝度が「１００」で、被撮像領域３６ＳＬの関心領域４０ＲＬの補正前（撮像時の輝度）が「５０」の場合、第１設定部３２は、被撮像領域３６ＳＬの関心領域４０ＲＬの目標輝度を「１００」に設定する（Ｓ２２２）。つまり、被撮像領域３６ＳＬの関心領域４０ＲＬの補正値は「＋５０」となる（Ｓ２２４）。
　線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（Ｎ＝＋７５）と、関心領域４０ＲＬの補正値（Ｎ＝＋５０）を用いて、直線補間式４２Ｌを生成する（Ｓ２２６）。その結果、関心領域４０ＦＬとの関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示される。そして、輝度設定部３４ｄは、直線補間式４２Ｌに基づき、関心領域４０ＦＬと関心領域４０ＲＬとの間の領域の輝度および、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な補正量で設定（補正）する（Ｓ２２８）。
　第１設定部３２は、車両１０の左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲの輝度補正が完了したか否かの監視を行い（Ｓ２３０）、完了していない場合（Ｓ２３０のＮｏ）、Ｓ２２０に戻り、同様な処理で被撮像領域３６ＳＲに関する直線補間式４２Ｒを生成して、右側方の輝度補正処理を実行する。一方、左側方の被撮像領域３６ＳＬおよび右側方の被撮像領域３６ＳＲの輝度補正が完了している場合（Ｓ２３０のＹｅｓ）、ＣＰＵ２４ａは、表示制御部２４ｄを用いて、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ２３２）、次の処理周期でＳ２００からの処理を繰り返すことで、周辺画像の更新を行う。この場合、図２０に示すように、関心領域４０ＦＬが含まれる被撮像領域３６Ｆと被撮像領域３６ＳＬとは、輝度「１７５」で統一され滑らかに繋がる。同様に、関心領域４０ＲＬが含まれる被撮像領域３６ＳＬと被撮像領域３６Ｒとは、輝度「１００」で統一され滑らかに繋がる。また、関心領域４０ＲＲが含まれる被撮像領域３６Ｒと被撮像領域３６ＳＲとは、輝度「１００」で統一され滑らかに繋がる。関心領域４０ＦＲが含まれる被撮像領域３６ＳＲと被撮像領域３６Ｆとは、輝度「１７５」で統一され滑らかに繋がる。つまり、生成される周辺画像は、各画像の繋ぎ合わせ部分に輝度の格差がなく滑らかに繋がった違和感のない見やすい画像となる。また、各関心領域４０の間の輝度も直線補間式４２ａ，４２Ｌ，４２Ｒによって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像のいずれの部分でも画像内容の認識がしやすくなる。なお、図１７の処理においても、前述したような、線形補間式の傾きの補正や、γ曲線係数を用いた線形補間式の算出を適用可能であり、同様の効果を得ることができる。
　次に、画像処理システム１００（画像処理装置）の処理の他の例について、図２１のフローチャートおよび図２２～図２４を用いて説明する。
　図２１のフローチャートを用いて、車両１０の周囲の明るさの状況が「特定輝度状態」であるか否かの判定を含む場合、つまり、各撮像部１４で撮像した各画像間の輝度に大きな格差が生じ得る場合の輝度補正の処理について説明する。
　まず、ＣＰＵ２４ａは、他の補正処理の場合と同様に、車両１０を中心とする俯瞰視の周辺画像を生成するタイミングであるかを判定する（Ｓ３００）。この判定は、例えば、ＣＰＵ２４ａが車両１０の操作状態（例えば、シフトレバーが後退走行の位置に移動された場合等）や操作入力部２０等を介して運転者の表示要求操作が行われた場合に肯定判定となる。ＣＰＵ２４ａが、周辺画像を生成すると判定した場合（Ｓ３００のＹｅｓ）、取得部２８は、各撮像部１４が撮像する被撮像領域３６の画像（画像情報）を取得する（Ｓ３０２）。なお、周辺画像を生成するタイミングではないと判定された場合（Ｓ３００のＮｏ）、一旦、図２１のフローを終了する。
　続いて、関心領域設定部３０は、取得した各画像の被撮像領域３６に対して関心領域４０の設定を行う（Ｓ３０４）。続いて、特定モード判定部３１は、側方画像情報（被撮像領域３６ＳＬや被撮像領域３６ＳＲ）を参照し、車両１０の周囲の明るさの状態が「通常輝度状態」か「特定輝度状態」かの判定を実行する（Ｓ３０６）。特定モード判定部３１の判定の結果、「特定輝度状態」ではない場合（Ｓ３０６のＮｏ）、第１設定部３２は、輝度補正の処理設定を「通常輝度状態」に対応する「通常モード設定」に移行する（Ｓ３０８）。一方、特定モード判定部３１の判定の結果、「特定輝度状態」である場合（Ｓ３０６のＹｅｓ）、第１設定部３２は、輝度補正の処理設定を「特定輝度状態」に対応する「特定モード設定」に移行する（Ｓ３１０）。
　「通常モード設定」に移行した場合、まず、車両１０の前方の被撮像領域３６Ｆに対して、図６のフローチャートで説明した処理と同様な処理を実行する。例えば、固定値設定部３２ａは、各関心領域４０に対して、所定の値として定めた目標輝度（例えば、２５６階調で「２００」）を設定する（Ｓ３１２）。そして、固定値設定部３２ａは、関心領域４０の輝度が目標輝度（例えば「２００」）になるように補正するための補正値を、例えば、図７で説明したように設定する（Ｓ３１４）。
　続いて、線形補間部３４ａは、第１設定部３２が設定した関心領域４０ＦＬの補正値（例えば、Ｎ＝－５０）と、関心領域４０ＦＲの補正値（例えばＮ＝＋５０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ３１６）。その結果、被撮像領域３６Ｆにおける関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量（個別補正値）が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される個別補正値に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正（設定）する。同様に、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な個別補正値で補正（設定）する（Ｓ３１８）。その結果、図８で説明したものと同様に、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「２５０」から「２００」に暗くなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１５０」から「２００」に明るくなるように補正される。
　ＣＰＵ２４ａは、「通常モード設定」の場合、上述のような補正処理が全画面に対して完了したか否かを監視する（Ｓ３２０）。そして、補正処理が完了していない場合（Ｓ３２０のＮｏ）、Ｓ３０４に戻り、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲに対して実行する。
　ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了したことが確認されると（Ｓ３２０のＹｅｓ）、周辺画像を生成させる。つまり、ＣＰＵ２４ａは、表示制御部２４ｄにより、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ３２２）、次の処理周期でＳ３００からの処理を繰り返すことで周辺画像の更新を行う。この場合、図１０に示すように、各関心領域４０（４０ＦＬ，４０ＲＬ，４０ＲＲ，４０ＦＲ）の輝度が２５６階調で「２００」となり、各被撮像領域３６（３６Ｆ，３６ＳＬ，３６Ｒ，３６ＳＲ）を繋ぎ合わせが滑らかに行われた周辺画像４４を生成することができる。また、各関心領域４０の間の輝度も直線補間式４２によって補正されているため、明るすぎる部分や暗すぎる部分の生成が抑制され、周辺画像４４のいずれの部分でも画像内容の認識がしやすくなる。なお、「通常モード設定」における輝度補正は、固定値設定部３２ａに代えて固定値加算設定部３２ｂで実行してもよい。
　一方、Ｓ３０６で、特定モード判定部３１により現在の状態が「特定輝度状態」であると判定され、「特定モード設定」に移行した場合（Ｓ３１０）、特定モード補正部３２ｃは、各画像に対して、特定モード用の輝度設定を実行する。
　図２２は、「特定輝度状態」であると判定される場合の、車両１０の前方の被撮像領域３６Ｆおよび後方の被撮像領域３６Ｒの撮像時の輝度状態の例を示す模式図である。前述したように、例えば、夜間で周囲の明かりが無い状態で、車両１０が単独で存在し、ヘッドライトを点灯した場合、車両１０の前方側のみが非常に明るくなる。そのため、撮像部１４ａで撮像を行うと、絞り調整が行われ、実際の輝度より暗めの画像が撮像される。図２２の場合、関心領域４０ＦＬの輝度が例えば「１２０」、関心領域４０ＦＲの輝度が例えば「１３０」に抑えられている例である。また、実質的に真っ暗な車両１０の後方を撮像する撮像部１４ｄから取得された被撮像領域３６Ｒに関しては、絞り調整により関心領域４０ＲＬの輝度が「１０」に、関心領域４０ＲＲの輝度が「２０」に増加調整されている例である。
　特定モード補正部３２ｃは、「特定モード設定」の場合、被撮像領域３６Ｆには、固定値設定部３２ａと同様な輝度補正を実行し、被撮像領域３６Ｒに関しては、固定値設定部３２ａまたは固定値加算設定部３２ｂと同様な輝度補正を実行する。図２１のフローチャートで示す例では、固定値設定部３２ａと同様な処理で固定の目標輝度を設定する例を説明する。したがって、特定モード補正部３２ｃは、まず、関心領域４０ＦＬおよび関心領域４０ＦＲに対して、図７で説明した場合と同様に、所定の値として目標輝度（例えば、２５６階調で「１５０」）を設定するとともに（Ｓ３１２）、関心領域４０ＦＬおよび関心領域４０ＦＲの輝度が目標輝度（例えば「１５０」）になるように補正するための補正値を設定する。この場合、関心領域４０ＦＬの補正値は、例えば「Ｎ＝＋３０」に設定され、関心領域４０ＦＲの補正値は、例えば「Ｎ＝＋２０」に設定される（Ｓ３１４）。続いて、線形補間部３４ａは、特定モード補正部３２ｃが設定した関心領域４０ＦＬの補正値（例えば、Ｎ＝＋３０）と、関心領域４０ＦＲの補正値（例えばＮ＝＋２０）を用いて、直線補間式４２（４２Ｆ）を生成する（Ｓ３１６）。その結果、関心領域４０ＦＬと関心領域４０ＦＲとの間の車幅方向（Ｘ軸方向）の輝度の補正量が直線補間式４２Ｆによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｆで算出される補正値に基づき、関心領域４０ＦＬと関心領域４０ＦＲとの間の領域の輝度を補正（設定）する。また、輝度設定部３４ｄは、被撮像領域３６Ｆにおいて、車両前後方向（Ｚ軸方向）の領域の輝度を同様な補正値で補正（設定）する（Ｓ３１８）。その結果、図８で説明したように、補正前の被撮像領域３６Ｆは、車幅方向左側（関心領域４０ＦＬの部分）の輝度が例えば「１２０」から「１５０」に明るくなるように補正され、車幅方向右側（関心領域４０ＦＲの部分）の輝度が例えば「１３０」から「１５０」に明るくなるように補正される。
　ＣＰＵ２４ａは、「特定モード設定」の場合、上述のような補正処理が全画面に対して完了したか否かの監視を行う（Ｓ３２０）。この場合、ＣＰＵ２４ａは、補正処理がまだ完了していないと判定して（Ｓ３２０のＮｏ）、Ｓ３０４に戻る。そして、関心領域設定部３０、第１設定部３２、第２設定部３４は、上述した処理を、被撮像領域３６Ｒに対して実行する。その結果、被撮像領域３６Ｒは、車幅方向左側（関心領域４０ＲＬの部分）の輝度が例えば「車両１０」から「１５０」に明るくなるように補正され、車幅方向右側（関心領域４０ＲＲの部分）の輝度が例えば「２０」から「１５０」に明るくなるように補正される。
　次に、ＣＰＵ２４ａは、車両１０の側方の被撮像領域３６ＳＬに関する輝度補正をＳ３０４～Ｓ３１８にしたがって実行する。図２３は、「特定輝度状態」であると判定される場合の、車両１０の側方の被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの撮像時の輝度状態の例を示す模式図である。例えば、夜間に明かりのない状況で車両１０のヘッドライトが点灯している場合、被撮像領域３６ＳＬの前方側の領域Ｈのみが非常に明るく、他の大部分は非常に暗くなる。そのため、撮像部１４ｂで撮像を行うと、絞り調整が行われ、実際の輝度より明るく調整された画像が撮像される。図２３の場合、領域Ｈに含まれる関心領域４０ＦＬおよび関心領域４０ＦＲはより明るくなるような調整が行われ、例えば「２５５」で最高輝度値を示している。また、車両後方の関心領域４０ＲＬも明るくなるような補正が行われ、輝度が例えば「３０」に増加調整され、関心領域４０ＲＲに関しても輝度が例えば「２０」に増加調整されている例である。
　特定モード補正部３２ｃは、「特定モード設定」の場合、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲに関して、前方側の関心領域４０（関心領域４０ＦＬおよび関心領域４０ＦＲ）の輝度を目標輝度（第一の目標輝度）にするための補正値（第一の補正値）を当該車両前方領域の輝度に応じて決定している。例えば、図２４に示すように、被撮像領域３６ＳＬの現在の前方側の関心領域４０ＦＬの輝度（例えば、「２５５」）をそのまま目標輝度に設定する（Ｓ３１２）。したがって、関心領域４０ＦＬの補正値は、「Ｎ＝＋０」となり（Ｓ３１４）、増減調整が行われないようにする。
　一方、特定モード補正部３２ｃは、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲの車両後方領域に含まれる関心領域（関心領域４０ＲＬおよび４０ＲＲ：第二の関心領域）の輝度を目標輝度（第二の目標輝度）にするための補正値（第二の補正値）を車両の後方を撮像した被撮像領域３６Ｒの後方画像情報の輝度に応じて決定する。上述したように、特定モード補正部３２ｃは、被撮像領域３６Ｒについて、所定の値として予め決定された目標輝度（例えば「１５０」）になるように補正しているため、関心領域４０ＲＬおよび関心領域４０ＲＲも同じ目標輝度「１５０」になるように、補正値（第二の補正値）を決定する。したがって、図２４の場合、被撮像領域３６ＳＬの関心領域４０ＲＬの補正値は、「Ｎ＝＋１２０」に設定される（Ｓ３１４）。
　続いて、線形補間部３４ａは、特定モード補正部３２ｃが設定した関心領域４０ＦＬの補正値（例えば、Ｎ＝＋０）と、関心領域４０ＲＬの補正値（例えばＮ＝＋１２０）を用いて、直線補間式４２（４２Ｌ）を生成する（Ｓ３１６）。その結果、関心領域４０ＦＬと関心領域４０ＲＬとの間の車両前後方向（Ｚ軸方向）の輝度の補正量が直線補間式４２Ｌによって示される。そして、輝度設定部３４ｄは、生成された直線補間式４２Ｌで算出される補正値に基づき、関心領域４０ＦＬと関心領域４０ＲＬとの間の領域の輝度を補正（設定）する。また、輝度設定部３４ｄは、被撮像領域３６ＳＬにおいて、車幅方向（Ｘ軸方向）の領域の輝度を同様な補正値で設定（補正）する（Ｓ３１８）。このように、関心領域４０ＦＬの補正量が「Ｎ＝＋０」で関心領域４０ＲＬの補正量が「＋１２０」となるような直線補間式４２Ｌで、被撮像領域３６ＳＬの車両前方領域が輝度補正される。その結果、明るい状態からの補正量が少なく抑えられる。つまり、固定値設定部３２ａや固定値加算設定部３２ｂのみを用いた輝度補正では、ヘッドライトの影響が現れる車両１０の左前方領域の輝度が、輝度補正によって下げられて画像内容の視認性が低下する場合があった。一方、本実施形態においては、「特定輝度状態」であることを、被撮像領域３６ＳＬの画像から判定し、特定モード補正部３２ｃの処理によって、車両左前方領域の明るさを保ち、視認性を維持することができる。
　特定モード補正部３２ｃは、被撮像領域３６ＳＲに関する輝度補正も３６ＳＬと同様に、Ｓ３０４～Ｓ３１８にしたがって実行する。その結果、被撮像領域３６ＳＲについて、関心領域４０ＦＲの補正量が「Ｎ＝＋０」で関心領域４０ＲＲの補正値の補正量が「＋１３０」となるような直線補間式４２Ｒで、被撮像領域３６ＳＲの車両前方領域が輝度補正される。その結果、明るい状態からの補正量が少なく抑えられる。つまり、固定値設定部３２ａや固定値加算設定部３２ｂのみを用いた輝度補正では、ヘッドライトの影響が現れる車両１０の右前方領域の輝度が、輝度補正によって下げられて画像内容の視認性が低下する場合があった。一方、本実施形態においては、「特定輝度状態」であることを被撮像領域３６ＳＲの画像から判定し、特定モード補正部３２ｃの処理によって、車両右前方領域の明るさを保ち、視認性を維持することができる。
　ＣＰＵ２４ａは、全ての画像（被撮像領域３６Ｆ、被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの画像）に対して補正処理が完了すると（Ｓ３２０のＹｅｓ）、表示制御部２４ｄにより、各画像を繋ぎ合わせて俯瞰視の周辺画像を生成させ、表示装置１６に表示させて（Ｓ３２２）、次の処理周期でＳ３００からの処理を繰り返すことで周辺画像の更新を行う。
　このように、特定モード補正部３２ｃを用いた輝度補正によれば、固定値設定部３２ａや固定値加算設定部３２ｂのみを用いた輝度補正では、暗くなり視認性が低下する領域が発生する虞のある「特定輝度状態」の場合でも、視認性の低下を抑制することができる。なお、被撮像領域３６Ｆと被撮像領域３６ＳＬおよび被撮像領域３６ＳＲとの繋ぎ合わせ部分は、ヘッドライトの光に基づく高輝度部分により輝度境界が生じる。一方、被撮像領域３６Ｒと被撮像領域３６ＳＬおよび被撮像領域３６ＳＲとの繋ぎ合わせ部分は、被撮像領域３６Ｒの輝度に応じて輝度調整が行われるので、滑らかな繋がりとなる。その結果、周辺画像全体をしては、概ね輝度が滑らかに変化する視認性がよい画像を生成することができる。
　なお、上述した例で、特定モード補正部３２ｃは、被撮像領域３６ＳＬおよび被撮像領域３６ＳＲについて、現在の前方側の関心領域４０ＦＬおよび関心領域４０ＦＲの輝度（例えば、「２５５」）をそのまま目標輝度に設定して、側方画像の車両前方部分の視認性が低下することを抑制した。別の実施形態では、図２４に示すように、関心領域４０（関心領域４０ＦＬ、４０ＦＲ：第一の関心領域）の補正値（第一の補正値）を決定する場合、第一の関心領域の周辺で輝度が第一の所定値（例えば、被撮像領域３６Ｆの目標輝度値である輝度「１５０」）未満の領域（シフト領域４０ＦＬｄおよびシフト領域４０ＦＲｄ）に第一の関心領域を移動させて、そのシフト領域４０ＦＬｄおよびシフト領域４０ＦＲｄの輝度を第一の目標輝度としてもよい。この場合も移動した領域（シフト領域４０ＦＬｄおよびシフト領域４０ＦＲｄ）における補正値は「＋０」となる。一方、被撮像領域３６ＳＲの車両後方側は、大分部が暗く輝度差がないので、いずれの領域でも例えば、関心領域４０ＲＬと同様な輝度、例えば「３０」と見なせる。したがって、被撮像領域３６ＳＬについて、シフト領域４０ＦＬｄ（移動した領域）の補正量が「Ｎ＝＋０」となり、シフト領域４０ＦＬｄに対する車両後方側の関心領域の補正量が「＋１３０」となるような直線補間式４２が得られる。その結果、関心領域４０ＦＬの輝度をそのまま目標輝度とする場合と同様に、撮像時に明るかった車両前方側の領域の補正量が少なく抑えられる。つまり、車両前方側の領域の輝度の変化が軽減できて、画像内容の視認性を維持することができる。また、この場合、第一の所定値以上の明るい領域の補正を行うことなく（明るい領域を残しつつ）、かつ極端に暗くなることを抑制して、側方画像の全体の輝度補正を行うことができる。被撮像領域３６ＳＲについても同様である。その結果、複数の画像を繋ぎ合わせた周辺画像の画像内容の認識をしやすくすることができる。
　また、上述した「特定モード設定」に移行して、被撮像領域３６Ｒの輝度補正を行う際に、予め設定された目標輝度（例えば、「１５０」）になるように補正する場合を示した。別の例では、被撮像領域３６Ｒにおいて、関心領域４０ＲＬと関心領域４０ＲＲの輝度の平均値を求めて、その平均値を目標輝度としてもよい。この場合、車両１０の側方の被撮像領域３６ＳＬの関心領域４０ＲＬおよび被撮像領域３６ＳＲの関心領域４０ＲＲの目標輝度を平均値に設定する。被撮像領域３６Ｒ、被撮像領域３６ＳＬ、被撮像領域３６ＳＲの関心領域４０ＲＬおよび関心領域４０ＲＲの目標輝度として、平均値を用いることにより、各被撮像領域３６を繋ぐ場合に、隣接する被撮像領域３６間で輝度格差が抑制され滑らかな接続ができる。また、実際は真っ暗な領域である、被撮像領域３６Ｒ等が、実際の輝度に近い状態で暗く表示されるので、視認性の向上性は少ないが、より現実に近い周辺画像の表示が可能になる。なお、被撮像領域３６Ｆについても平均値を用いることができるが、ヘッドライトの影響で被撮像領域３６Ｆ全体の輝度が明かり過ぎてしまう場合がある。そのため、平均値の利用を被撮像領域３６Ｆの輝度に応じて決定するようにしてもよい。
　上述した実施形態において、固定値設定部３２ａの設定する目標輝度や、固定値加算設定部３２ｂが設定する調整値は、車両１０の周囲の状況に拘わらず所定の値として説明した。例えば、夜間は、表示装置１６の周囲が暗いので、表示装置１６に表示する画像の輝度を全体として落としても、違和感はなく画像内容を認識することができる場合がある。逆に、昼間は周囲が明るいので、表示装置１６の輝度をさらに高めた方が画像内容を認識しやすい場合がある。したがって、別の実施形態においては、例えば、昼夜等車両１０の周囲の明るさ状態、または、表示装置１６の明るさ設定に応じて所定の値を変更するようにしてもよい。
　また、本実施形態の場合、撮像部１４ｂは左のドアミラー１０ｂに固定され、撮像部１４ｃは右のドアミラー１０ｃに固定されている。この場合、車両１０のドアが閉まっている状態で撮影された画像を用いることで、撮像部１４ａや撮像部１４ｄが撮像した画像との繋ぎ合わせが正確にできる。したがって。表示制御部２４ｄは、ドアが開いている場合は、画像のつなぎ合わせが正確にできない。そのためＣＰＵ２４ａは、ドアが開いている場合は、上述したような輝度の補正処理を実行せずに、参考としての周辺画像を生成するようにしてもよい。
　本実施形態のＣＰＵ２４ａで実行される画像処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
　さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
　本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｄ…表示制御部、２８…取得部、３０…関心領域設定部、３１…特定モード判定部、３２…第１設定部（第一の設定部）、３２ａ…固定値設定部、３２ｂ…固定値加算設定部、３２ｃ…特定モード補正部、３４…第２設定部（第二の設定部）、３４ａ…線形補間部、３４ｂ…傾き設定部、３４ｃ…γ曲線係数算出部、３４ｄ…輝度設定部、３６，３６Ｆ，３６ＳＬ，３６ＳＲ，３６Ｒ…被撮像領域、３８，３８ＦＬ，３８ＦＲ，３８ＲＬ，３８ＲＲ…重複領域、４０、４０ＦＬ，４０ＦＲ，４０ＲＬ，４０ＲＲ…関心領域、４２，４２ａ，４２Ｌ，４２Ｒ，５６…直線補間式、４４…周辺画像、５０…曲線、５２Ｌ…第一のγ曲線、５２Ｒ…第二のγ曲線、５４…直線、１００…画像処理システム。

Claims (5)

  1. 　車両に設けられた複数の撮像部で、前記車両の周辺状況として撮像された複数の画像情報を取得する取得部と、
    　前記車両の側方を撮像した側方画像情報において、当該側方画像情報の車両前方領域に含まれる第一の関心領域の輝度が第一の所定値以上であり、かつ前記側方画像情報の車両後方領域に含まれる第二の関心領域の輝度と前記第一の関心領域の輝度との差が第二の所定値以上の場合に特定輝度状態であると判定する判定部と、
    　前記特定輝度状態と判定された場合、前記第一の関心領域の輝度を第一の目標輝度にするための第一の補正値を前記車両前方領域の輝度に応じて決定するとともに、前記車両後方領域に含まれる第二の関心領域の輝度を第二の目標輝度にするための第二の補正値を前記車両の後方を撮像した後方画像情報の輝度に応じて決定する第一の設定部と、
    　前記第一の補正値と前記第二の補正値とに基づき、前記第一の関心領域と前記第二の関心領域との間の領域の輝度を補正する個別補正値を設定する第二の設定部と、
    　を含む画像処理装置。
  2. 　前記第一の設定部は、前記第一の補正値を決定する場合、前記第一の目標輝度を、前記第一の関心領域の輝度とする、請求項１に記載の画像処理装置。
  3. 　前記第一の設定部は、前記第一の補正値を決定する場合、前記第一の関心領域の周辺で輝度が前記第一の所定値未満の領域に前記第一の関心領域を移動させて、その領域の輝度を前記第一の目標輝度とする、請求項１に記載の画像処理装置。
  4. 　前記第一の設定部は、前記第二の補正値を決定する場合、前記第二の目標輝度を予め定められた所定の目標輝度とする、請求項１から請求項３のいずれか１項に記載の画像処理装置。
  5. 　前記判定部は、前記第一の関心領域を前記側方画像情報の前記車両前方領域と前記車両の前方を撮像した前方画像情報とが一部重複する第一の重複領域内に設定し、前記第二の関心領域を前記側方画像情報の前記車両後方領域と前記後方画像情報とが一部重複する第二の重複領域内に設定する、請求項１から請求項４のいずれか１項に記載の画像処理装置。
PCT/JP2019/012545 2018-04-03 2019-03-25 画像処理装置 WO2019194012A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980024142.2A CN111937380B (zh) 2018-04-03 2019-03-25 图像处理装置
US17/044,919 US11082631B2 (en) 2018-04-03 2019-03-25 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018071649A JP7047549B2 (ja) 2018-04-03 2018-04-03 画像処理装置
JP2018-071649 2018-04-03

Publications (1)

Publication Number Publication Date
WO2019194012A1 true WO2019194012A1 (ja) 2019-10-10

Family

ID=68100705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012545 WO2019194012A1 (ja) 2018-04-03 2019-03-25 画像処理装置

Country Status (4)

Country Link
US (1) US11082631B2 (ja)
JP (1) JP7047549B2 (ja)
CN (1) CN111937380B (ja)
WO (1) WO2019194012A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
JP7325308B2 (ja) * 2019-11-19 2023-08-14 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
US11216922B2 (en) * 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
CN114167849B (zh) * 2020-08-21 2023-12-08 富联精密电子(天津)有限公司 自走三角警示架及其行进控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141490A (ja) * 2007-12-04 2009-06-25 Alpine Electronics Inc 合成画像生成装置および合成画像生成方法
JP2011049735A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺画像提供装置
JP2011160019A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 画像合成装置、及び、画像合成方法
JP2013029995A (ja) * 2011-07-28 2013-02-07 Clarion Co Ltd 撮像システム
JP2014110627A (ja) * 2012-12-04 2014-06-12 Aisin Seiki Co Ltd 車両の制御装置、及び制御方法
JP2017220876A (ja) * 2016-06-10 2017-12-14 アイシン精機株式会社 周辺監視装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP4982127B2 (ja) * 2006-07-19 2012-07-25 クラリオン株式会社 画像表示システム
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
CN101399909B (zh) * 2007-09-28 2011-05-04 奇景光电股份有限公司 适应性图像调整方法及使用该方法的图像处理装置
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
CN101996597B (zh) * 2009-08-18 2013-11-13 夏普株式会社 显示装置、校正系统、作成装置、决定装置及其方法
US9041807B2 (en) * 2010-01-29 2015-05-26 Fujitsu Ten Limited Image processing device and image processing method
JP5471965B2 (ja) * 2010-08-16 2014-04-16 富士通セミコンダクター株式会社 画像処理装置、撮像装置、及び画像処理方法
WO2012050203A1 (ja) * 2010-10-15 2012-04-19 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、記録媒体
CN102642501B (zh) * 2012-04-05 2016-08-24 深圳市汉华安道科技有限责任公司 车辆辅助系统中的图像处理方法及相应系统
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
JP6091327B2 (ja) * 2013-05-21 2017-03-08 三菱電機株式会社 レーダ画像処理装置
EP2846532A1 (en) * 2013-09-06 2015-03-11 Application Solutions (Electronics and Vision) Limited System, device and method for displaying a harmonised combined image
CN105578021B (zh) * 2014-10-15 2019-03-26 上海弘视通信技术有限公司 双目相机的成像方法及其装置
JP2016109934A (ja) * 2014-12-08 2016-06-20 キヤノン株式会社 画像表示システム及びその制御方法、並びに、プログラム
CN105730336B (zh) * 2014-12-10 2018-12-21 比亚迪股份有限公司 倒车辅助装置及车辆
CN105933604A (zh) * 2016-05-20 2016-09-07 珠海市魅族科技有限公司 一种图像获取的方法及终端
JP6720012B2 (ja) * 2016-08-01 2020-07-08 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN106791475B (zh) * 2017-01-23 2019-08-27 上海兴芯微电子科技有限公司 曝光调整方法及所适用的车载摄像装置
JP7038729B2 (ja) * 2017-10-13 2022-03-18 三菱電機株式会社 画像合成装置および画像合成方法
WO2019116463A1 (ja) * 2017-12-13 2019-06-20 Ｎｅｃディスプレイソリューションズ株式会社 画像表示装置、及び画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141490A (ja) * 2007-12-04 2009-06-25 Alpine Electronics Inc 合成画像生成装置および合成画像生成方法
JP2011049735A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺画像提供装置
JP2011160019A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 画像合成装置、及び、画像合成方法
JP2013029995A (ja) * 2011-07-28 2013-02-07 Clarion Co Ltd 撮像システム
JP2014110627A (ja) * 2012-12-04 2014-06-12 Aisin Seiki Co Ltd 車両の制御装置、及び制御方法
JP2017220876A (ja) * 2016-06-10 2017-12-14 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
CN111937380B (zh) 2022-07-01
JP7047549B2 (ja) 2022-04-05
CN111937380A (zh) 2020-11-13
US11082631B2 (en) 2021-08-03
JP2019186622A (ja) 2019-10-24
US20210160432A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
WO2019194012A1 (ja) 画像処理装置
JP5548002B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
US9041807B2 (en) Image processing device and image processing method
US20200023772A1 (en) Apparatus and method for displaying information
US20200082185A1 (en) Periphery monitoring device
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP5592138B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2014089513A (ja) 画像生成装置、および画像生成プログラム
CN111095921B (zh) 显示控制装置
JP5464741B2 (ja) 画像合成装置、及び、画像合成方法
WO2019123975A1 (ja) 表示制御ユニット及びヘッドアップディスプレイ装置
WO2015151404A1 (ja) 後方状況表示装置、後方状況表示方法
JP7314518B2 (ja) 周辺監視装置
WO2019194014A1 (ja) 画像処理装置
US10821900B2 (en) Image processing device
JP5716944B2 (ja) 車載カメラ装置
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
JP2018206323A (ja) 画像処理装置
JP7013287B2 (ja) 画像処理装置
JP5413843B2 (ja) 画像処理装置、及び、画像処理方法
JP4832272B2 (ja) 車両周辺画像表示装置およびその表示方法
JP2014021543A (ja) 車両用視界支援装置および車両用視界支援プログラム
JP2020083071A (ja) 車載装置
JP2021175130A (ja) 車載用表示装置および車載用表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19781374

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19781374

Country of ref document: EP

Kind code of ref document: A1