WO2015004866A1 - 画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体 - Google Patents

画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体 Download PDF

Info

Publication number
WO2015004866A1
WO2015004866A1 PCT/JP2014/003347 JP2014003347W WO2015004866A1 WO 2015004866 A1 WO2015004866 A1 WO 2015004866A1 JP 2014003347 W JP2014003347 W JP 2014003347W WO 2015004866 A1 WO2015004866 A1 WO 2015004866A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
partial image
density
adjacent
target
Prior art date
Application number
PCT/JP2014/003347
Other languages
English (en)
French (fr)
Inventor
宗作 重村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/902,938 priority Critical patent/US9691142B2/en
Priority to CN201480038750.6A priority patent/CN105431883B/zh
Priority to DE112014003174.7T priority patent/DE112014003174B4/de
Publication of WO2015004866A1 publication Critical patent/WO2015004866A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image generation device for generating a composite image using a plurality of captured images, an image generation method, and a non-transition computer-readable storage medium therefor.
  • a technique in which an image representing a wide subject area exceeding the imaging range of one camera is generated by combining a plurality of captured images. For example, in Patent Document 1, based on the density characteristics of the images A and B in the overlapping part of the images A and B adjacent to each other, correction is performed so that the density characteristic of one image B approaches that of the other image A. The technology is described.
  • an overlapping part with the image B in the image A is cut out as a combining part a
  • an overlapping part with the image A in the image B is cut out as a combining part b.
  • histograms Ha (x) and Hb (x) for the synthesis units a and b are generated from the pixel values of the synthesis units a and b.
  • gradation conversion tables LUTa and LUTb that can execute histogram equalization are generated for the histograms Ha (x) and Hb (x), respectively.
  • gradation conversion is performed on the entire area of the image B using the gradation conversion table LUTb, and the inverse gradation conversion is further performed on the image after gradation conversion using the gradation conversion table LUTa. Executed. That is, gradation conversion processing for bringing the histogram Hb (x) of the synthesis unit b close to the histogram Ha (X) of the synthesis unit a is performed on the entire image B.
  • Patent Document 1 The technique described in Patent Document 1 described above is applied to a composite image in which a plurality of images are continuously arranged in a band shape (in a certain direction). Therefore, if other captured images are corrected in order based on one of the plurality of captured images, the density characteristic shift between adjacent images is reduced in all boundary portions (portions where the images are adjacent to each other) in the composite image. Can be suppressed.
  • a composite image for example, there is a composite image in which a plurality of images are continuously arranged in a ring shape, such as an image in which the periphery of the vehicle is viewed from above (a so-called top view image).
  • the technique described in Patent Document 1 may cause a problem that it is not possible to suppress a shift in density characteristics between adjacent images at one or more boundary portions in the composite image.
  • the image B is corrected based on the image A
  • the image C is corrected based on the corrected image B
  • the image D may be corrected based on the corrected image C.
  • the image A and the image A can be obtained by correcting the images B, C, and D in order as in the case of the belt-like shape.
  • a shift in density characteristic occurs. If the image A is corrected based on the corrected image D, the deviation of the density characteristics between the image A and the image D is suppressed, but instead, the corrected image A and the image B are between Since the deviation of the density characteristic occurs, the problem cannot be solved.
  • Such a problem is not limited to an image in which the periphery of the vehicle is viewed from above, and may be a composite image in which a plurality of images are continuously arranged in a ring shape.
  • the present disclosure relates to an image generation apparatus, an image generation method, and non-transition computer-readable storage therefor that suppress a deviation in density characteristics at all boundary portions in a composite image in which a plurality of images are continuously arranged in a ring shape.
  • the purpose is to provide a medium.
  • an image that generates a composite image in which partial images cut out from the captured image are continuously arranged in a ring shape using a plurality of captured images in which a part of the imaged region overlaps uses at least one of the plurality of partial images as a reference partial image, sets a target partial image other than the reference partial image, and converts the target partial image from both sides of the target partial image in the composite image.
  • Correction means for correcting at least one of the first adjacent partial image and the second adjacent partial image, which are the adjacent partial images, as a reference partial image, and the density characteristics of the target partial image in the first adjacent partial image
  • a first conversion table that is a density conversion table for performing correction to approximate the density characteristic of the target partial image, and a density characteristic of the target partial image that is close to the density characteristic of the second adjacent partial image.
  • a second conversion table that is a density conversion table for performing correction, and the density of the target partial image is generated using both the first conversion table and the second conversion table.
  • Mixing conversion means for converting for converting.
  • the generation means captures a target captured image that is the captured image that is a source of the target partial image and a first adjacent captured image that is the captured image that is a source of the first adjacent partial image.
  • a density conversion table for correcting the density characteristic of the target captured image in the second common area to the density characteristic of the second adjacent captured image in the second common area is generated as the second conversion table.
  • the closer the pixel in the target partial image is to the first adjacent partial image the greater the influence of the first conversion table is compared to the influence of the second conversion table
  • the density of the target partial image is such that the closer the pixel in the target partial image is to the second adjacent partial
  • the image generation method used in the generation device includes at least one of the plurality of partial images as a reference partial image, a non-reference partial image as a target partial image, and the target partial image in the composite image.
  • a second conversion table that is a density conversion table for performing a correction approaching the density characteristics of the image is the second adjacent part
  • a generation step that generates the target, using both the first conversion table and the second conversion table.
  • a target captured image that is the captured image that is the source of the target partial image and a first adjacent captured image that is the captured image that is the source of the first adjacent partial image are captured.
  • a density conversion table for correcting the density characteristic of the target captured image in FIG. 5 to be close to the density characteristic of the second adjacent captured image in the second common area is generated as the second conversion table.
  • the density of the target partial image is such that the closer the pixel in the target partial image is to the second adjacent partial image, the greater the influence of the second conversion table is compared with the influence of the first conversion table. Convert.
  • deviations in density characteristics can be suppressed at all boundary portions in a composite image in which a plurality of partial images are continuously arranged in a ring shape.
  • an image that generates a composite image in which partial images cut out from the captured image are continuously arranged in a ring shape using a plurality of captured images in which a part of the subject region overlaps A non-transition computer-readable storage medium including instructions for causing a computer to function as a generation device, wherein the instructions use at least one of the plurality of partial images as a reference partial image, and other than the reference partial image.
  • the target partial image is determined based on at least one of the first adjacent partial image and the second adjacent partial image that are the partial images adjacent to the target partial image from both sides in the composite image.
  • a correction step for correcting the image and the density characteristic of the target partial image to be close to the density characteristic of the first adjacent partial image A first conversion table that is a density conversion table for performing correction, and a second conversion table for performing correction to bring the density characteristic of the target partial image closer to the density characteristic of the second adjacent partial image. And a conversion step for converting the density of the target partial image using both the first conversion table and the second conversion table.
  • a target captured image that is the captured image that is the source of the target partial image and a first adjacent captured image that is the captured image that is the source of the first adjacent partial image are captured.
  • a density conversion table for correcting the density characteristic of the target captured image in FIG. 5 to be close to the density characteristic of the second adjacent captured image in the second common area is generated as the second conversion table.
  • the density of the target partial image is such that the closer the pixel in the target partial image is to the second adjacent partial image, the greater the influence of the second conversion table is compared with the influence of the first conversion table. Convert.
  • FIG. 1 is a block diagram showing a configuration of a top view image generation device
  • FIG. 2 is a diagram showing an imaging range of a camera installed in a vehicle
  • FIG. 3 is a flowchart of the top view image generation process.
  • 4 (A) and 4 (C) are diagrams illustrating captured images converted into top view images
  • FIG. 4 (B) is a diagram illustrating partial images constituting the top view image.
  • FIG. 5A is a diagram showing a procedure for associating the processing target concentration B with the processing target concentration A
  • FIG. 5B is a diagram showing a procedure for generating an LUT.
  • FIG. 6C are diagrams illustrating the second density conversion process.
  • FIG. 7 is a graph showing the relationship between the pixel position of the embodiment and the weight of the LUT
  • FIG. 8 is a graph showing the relationship between the pixel position and the LUT weight in the modified example.
  • a top-view image generation device 1 shown in FIG. 1 is a device mounted on a vehicle 9 (see FIG. 2), and displays a top-view image that is an image (an image looking down from above) of the vehicle 9 as viewed from above. It is a device that generates and displays for the driver's visual recognition.
  • the top view image generation apparatus 1 according to the present embodiment includes an imaging unit 10, a storage unit 20, an image generation unit 30, and a display unit 40.
  • the imaging unit 10 images the surroundings of the vehicle 9.
  • the imaging unit 10 includes four cameras 11, 12, 13, and 14 shown in FIG.
  • the first camera 11 is provided in the front portion of the vehicle 9 and images a lower (ground surface) imaging range 11 ⁇ / b> A in the front area of the vehicle 9.
  • the camera 12 is provided on the left side (for example, the left door mirror) of the vehicle 9 and images the lower imaging range 12 ⁇ / b> A in the left side region of the vehicle 9.
  • the camera 13 is provided at the rear portion of the vehicle 9 and images a lower imaging range 13 ⁇ / b> A in the rear region of the vehicle 9.
  • the camera 14 is provided on the right side of the vehicle 9 (for example, the right door mirror), and images the lower imaging range 14 ⁇ / b> A in the right side region of the vehicle 9.
  • These four cameras 11, 12, 13, and 14 are wide-angle cameras capable of imaging at an angle of view of 180 degrees, and four imaging ranges 11A, 12A, 13A, and 14A by these four cameras 11, 12, 13, and 14 are used.
  • the entire circumference of the vehicle 9 is covered.
  • the storage unit 20 shown in FIG. 1 stores unique data (calibration data) of the installation state of the four cameras 11, 12, 13, and 14 with respect to the vehicle 9.
  • the storage unit 20 includes a storage device in which calibration data is stored in advance.
  • Images captured by the four cameras 11, 12, 13, and 14 are combined (joined) as a series of images (top view images) that are continuously arranged in an annular shape so as to surround the vehicle 9 by a process that will be described later. .
  • the positions of the boundary portions where the images taken by different cameras are adjacent are aligned as accurately as possible. Therefore, in the stage before shipment of the vehicle 9, the calibration of the four cameras 11, 12, 13, and 14 is performed for each vehicle 9, and according to the individual difference of the vehicle 9 (individual difference of the camera installation state). Calibration data is stored in the storage unit 20.
  • a road surface on which a certain pattern (a pattern suitable for specifying the amount of deviation between images in a composite image) is drawn is actually used with four cameras 11, 12, 13, and 14. This is done by imaging. That is, by actually capturing an image and generating a top view image, the amount of deviation between the images in the top view image is specified, so the calibration data is set so that the amount of deviation approaches zero.
  • information on the coordinate position, pitch angle, yaw angle, and roll angle in the three-dimensional space with respect to a certain point for each of the four cameras 11, 12, 13, and 14 is the calibration data. As stored in the storage unit 20 in advance.
  • the image generation unit 30 shown in FIG. 1 is configured using a microcomputer including a CPU 31, a ROM 32, a RAM 33, and the like, and a CPU 31 as a processing subject (computer) performs processing according to a program recorded on a recording medium such as a ROM 32. Will run. Specifically, the image generation unit 30 performs position correction based on calibration data and image density correction (density conversion) on the images captured by the four cameras 11, 12, 13, and 14 to obtain a top view image. Is generated.
  • the display unit 40 displays the top view image generated by the image generation unit 30 to a vehicle occupant (for example, a driver).
  • the display unit 40 includes a display device (display) for displaying an image to a vehicle occupant.
  • top view image generation process (top view image generation method) executed by the image generation unit 30 (specifically, the CPU 31) according to a program will be described with reference to the flowchart of FIG. Note that the top view image generation processing in FIG. 3 is periodically executed at every imaging cycle (for example, a short cycle in which imaging can be performed a plurality of times per second) by the four cameras 11, 12, 13, and 14.
  • imaging cycle for example, a short cycle in which imaging can be performed a plurality of times per second
  • the image generation unit 30 acquires images captured by the four cameras 11, 12, 13, and 14 from the imaging unit 10 (S101). Note that the imaging by the four cameras 11, 12, 13, and 14 is performed simultaneously (synchronously).
  • the image generation unit 30 converts the images captured by the cameras 11, 12, 13, and 14 into top-view images (as if viewed from the top, and are based on wide-angle imaging). The image is converted into a distortion-corrected image (S102).
  • the image generation unit 30 includes a first camera 11, a second camera 12, a third camera 13, and a fourth camera 14.
  • the first top-view image 11B, the second top-view image 12B, the third top-view image 13B, and the fourth top-view image 14B which are obtained by converting the captured images by the top view, respectively, are generated.
  • 4A and 4C in order to make each top view image 11B, 12B, 13B, 14B easy to see, a set of the first top view image 11B and the third top view image 13B;
  • the second top view image 12B and the fourth top view image 14B are shown separately.
  • the left end portion of the first top view image 11B overlaps with the front end portion of the second top view image 12B, and the right end portion of the first top view image 11B overlaps with the front end portion of the fourth top view image 14B.
  • the left end portion of the third top view image 13B overlaps with the lower end portion of the second top view image 12B, and the right end portion of the third top view image 13B is the lower end portion of the fourth top view image 14B. And overlap.
  • the top view image 10C is configured by arranging four partial images 11C, 12C, 13C, and 14C centered on the vehicle 9 continuously in a ring shape so as not to overlap each other.
  • the image generation unit 30 follows the shape of the top view image 10C shown in FIG. 4B from each of the four top view images 11B, 12B, 13B, and 14B. , 13C, 14C are cut out.
  • the image generation unit 30 executes a reference image setting process for setting, as a reference partial image, one of the four partial images 11C, 12C, 13C, and 14C whose image density characteristics satisfy a predetermined condition.
  • the reference partial image is an image that is a reference for density conversion, which will be described later, among the four partial images 11C, 12C, 13C, and 14C, and that is not a target for density conversion.
  • the image generation unit 30 has the largest number N of pixels existing in a preset density range (density TH1 to TH2) among the four partial images 11C, 12C, 13C, and 14C. Select a partial image.
  • the analysis target regions 11R, 12R, 13R, and 14R are set at positions near the center where distortion is small. The determination is made based on the pixels included in each of these areas.
  • the concentration range (concentrations TH1 and TH2) is set at the center of the range from the minimum concentration to the maximum concentration that the concentration can take.
  • the density range is set so that it is difficult to select an image whose density is biased toward the minimum density side or the maximum density side. Note that the density can be restated as a pixel value, a gradation value, luminance, or the like.
  • the image generation unit 30 sets the image as a reference partial image. That is, a maximum of one reference partial image is set. In other words, the reference partial image is not set when none of the four partial images 11C, 12C, 13C, and 14C satisfies the above-mentioned predetermined density characteristics. In this case, as will be described later, the correction (density conversion processing) of the partial images 11C, 12C, 13C, and 14C is not performed (S104: NO).
  • the image generation unit 30 determines whether or not a reference partial image has been set in the reference image setting process of S103 (S104). If the image generation unit 30 determines that the reference partial image has been set (S104: YES), the image other than the reference partial image (hereinafter referred to as “target partial image”) among the partial images 11C, 12C, 13C, and 14C. .) Is performed (S105 to S111).
  • the image generation unit 30 is a partial image (both ends in this example) of images captured by the cameras 11, 12, 13, and 14, and includes the overlapping regions 112, 123, 134, and 141 (described above).
  • a duplicate image which is an image forming FIG. 2) is specified.
  • overlapping images are specified in the above-described top view images 11B, 12B, 13B, and 14B.
  • the image generation unit 30 generates a histogram representing the relationship between the density (pixel value) and the frequency (frequency) as information representing the density characteristic for each overlapping image (S105). Specifically, since there are two overlapping images in each of the four overlapping regions 112, 123, 134, 141, there are eight overlapping images and eight histograms are generated.
  • the image generating unit 30 adds the histogram B (density) of the other overlapping image B to the histogram A (density characteristic A) of one overlapping image A.
  • a density conversion table for approximating the characteristic B) is generated (S106).
  • the density conversion table lookup table
  • the LUT is generated for each of the four overlapping regions 112, 123, 134, and 141. That is, four LUTs are generated.
  • LUT generation methods for bringing the histogram B close to the histogram A.
  • the LUT is generated by the following procedures [M1] to [M4].
  • the minimum density of the histogram A is the processing target density A
  • the minimum density of the histogram B is the processing target density B.
  • the processing target concentration B is associated with the processing target concentration A.
  • the density of the histogram B corresponding to each density of the histogram A is determined. Then, as shown in FIG. 5B, the LUT is generated by connecting the determined corresponding points using the density of the histogram B as the input density and the density of the histogram A corresponding to those densities as the output density. Is done.
  • the image generation unit 30 determines whether or not density conversion processing (S110 or S111), which will be described later, has been completed for all target partial images (S107). If the image generation unit 30 determines that the density conversion processing has not been completed for all target partial images (one or more target partial images before density conversion exist) (S107: NO), before density conversion.
  • One of the target partial images is selected as a processing target (S108).
  • the target partial image selected here is hereinafter referred to as a “processing target image”.
  • the order of selecting the processing target images is set in advance according to the position of the reference partial image.
  • an order is set such that the target partial images adjacent to the reference partial image in the counterclockwise direction are sequentially selected in the circumferential direction (counterclockwise).
  • This order is an example, and is not particularly limited.
  • at least a target partial image that is not adjacent to any of the reference partial image and the target partial image after density conversion is set so as not to be selected as a processing target image. Yes.
  • the image generation unit 30 includes two partial images adjacent to the processing target image from both sides in the top view image 10C (hereinafter referred to as “first adjacent partial image” and “second adjacent partial image”). It is determined whether one of them is a target partial image before density conversion (S109). When it is determined that one of the first adjacent partial image and the second adjacent partial image is the target partial image before density conversion (S109: YES), the image generation unit 30 performs first density conversion processing. Is executed (S110), the process returns to S107. On the other hand, the image generation unit 30 is not the target partial image before density conversion of either the first adjacent partial image or the second adjacent partial image (either the reference partial image or the target partial image after density conversion). If it is determined (Yes) (S109: NO), after executing the second density conversion process (S111), the process returns to S107.
  • the first density conversion process is a reference partial image that is one of the first adjacent partial image and the second adjacent partial image or a target partial image after density conversion (herein, simply referred to as “adjacent partial image”). Is used (as a reference) to convert the density of the processing target image.
  • an LUT density conversion process for bringing the process target image closer to the adjacent partial image generated based on the overlapping area corresponding to the boundary between the process target image and the adjacent partial image is performed. Therefore, the density of the image to be processed is uniformly converted. As a result, discontinuity (density characteristic shift) on the density surface at the boundary between the processing target image and the adjacent partial image is suppressed.
  • the second density conversion process is a process of converting the density of the processing target image using both the first adjacent partial image and the second adjacent partial image (as a reference).
  • the first adjacent partial image and the second adjacent partial image here are either a reference partial image or a target partial image after density conversion.
  • the LUT generated based on the overlapping area is used among the pixels included in the processing target image 14C, for the pixels adjacent to the first adjacent partial image 11C, the boundary between the processing target image 14C and the first adjacent partial image 11C (line segment (P1 , P3)), the LUT generated based on the overlapping area is used.
  • This LUT is an LUT for correcting the density characteristic of the processing target image 14C to be close to the density characteristic of the first adjacent partial image 11C, and is hereinafter referred to as a “first LUT”.
  • the overlapping region referred to here is a top view image (hereinafter referred to as “target captured image 14B”) and “first adjacent captured image” that is the source (cutout source) of the processing target image 14C and the first adjacent partial image 11C.
  • first common area 11B is a common area (hereinafter referred to as" first common area "). That is, the first LUT is an LUT for correcting the density characteristic of the target captured image 14B in the first common area to be close to the density characteristic of the first adjacent captured image 11B in the first common area. .
  • the boundary between the processing target image 14C and the second adjacent partial image 13C (line segments (P2, P4)).
  • LUT generated based on the overlapping area corresponding to () is used.
  • This LUT is an LUT for correcting the density characteristic of the processing target image 14C to be close to the density characteristic of the second adjacent partial image 13C, and is hereinafter referred to as a “second LUT”.
  • the overlapping region referred to here is a target captured image 14B and a top view image (hereinafter referred to as “second adjacent captured image 13B”) that is a source (a cut-out source) of the second adjacent partial image 13C.
  • the second LUT is an LUT for correcting the density characteristic of the target captured image 14B in the second common area to be close to the density characteristic of the second adjacent captured image 13B in the second common area.
  • a combined LUT obtained by combining the first LUT and the second LUT is used.
  • the processing target image 14C is such that the closer the pixel in the processing target image 14C is to the first adjacent partial image 11C, the greater the influence of the first LUT compared to the influence of the second LUT.
  • a synthesis LUT for converting the density of the image is set. In other words, the closer the pixel in the processing target image 14C is to the second adjacent partial image 13C, the greater the influence of the second LUT compared to the influence of the first LUT.
  • a synthetic LUT for converting the density is set. That is, the synthesis LUT varies depending on the pixel position in the processing target image 14C. For example, for a pixel located intermediate to the first adjacent partial image 11C and the second adjacent partial image 13C, a combined LUT obtained by averaging the first LUT and the second LUT with equal weight is used.
  • the first LUT weight W1 according to the position on the line segment (distance to the points P1, P2).
  • the weight L2 of the second LUT may be changed linearly.
  • the line segment (P3, P4) is included in a rectangular region having one side and the line segment (P5, P6) that is a part of the line segment (P1, P2) as the opposite side.
  • the weights may be set so that the pixels on the straight line parallel to the line segment (P3, P5) all have the same weight.
  • the image generation unit 30 determines in S107 described above that density conversion processing has been completed for all target partial images (S107: YES), the image generation unit 30 shifts the processing to S112. If the image generation unit 30 determines that the reference partial image has not been set in S104 described above (S104: NO), it skips the processing for density conversion (S105 to S111) and performs the processing in S112. To move to.
  • the image generation unit 30 In S112, the image generation unit 30 generates a top view image in which the four partial images 11C, 12C, 13C, and 14C (images after density conversion when density conversion is performed) are continuously arranged in a ring shape. To do. Then, the image generation unit 30 displays the generated top view image on the display unit 40 (S113), and then ends the top view image generation process of FIG.
  • the image generation unit 30 includes a first LUT for performing correction to bring the density characteristic of the target partial image closer to the density characteristic of the first adjacent partial image; A second LUT for correcting the density characteristic of the target partial image to be close to the density characteristic of the second adjacent partial image is generated (S105 to S106). Then, the image generation unit 30 converts the density of at least one target partial image using both the first LUT and the second LUT (S111). Specifically, the image generation unit 30 is configured so that the influence of the first LUT is larger than the influence of the second LUT as the position of the target partial image is closer to the first adjacent partial image. The density of the target partial image is converted. In other words, the image generation unit 30 sets the target so that the influence of the second LUT is larger than the influence of the first LUT as the position of the target partial image is closer to the second adjacent partial image. Convert the density of the partial image.
  • the present embodiment it is possible to suppress a shift in density characteristics at all boundary portions in a composite image (top view image) in which a plurality of partial images are continuously arranged in a ring shape.
  • the image itself is digitally corrected, it can be adjusted with higher accuracy than a configuration in which, for example, the gain of the camera is corrected in an analog manner.
  • the image generation unit 30 sets, as a reference partial image, a plurality of partial images 11C, 12C, 13C, and 14C whose image density characteristics satisfy a predetermined condition (S103). Therefore, according to the present embodiment, it is possible to appropriately correct the partial images 11C, 12C, 13C, and 14C as compared with the case where the reference partial image is fixed (preset). That is, the partial image to be used as the reference partial image may vary depending on the environment around the vehicle (how light strikes the vehicle, such as daytime and nighttime, whether there is an oncoming vehicle, etc.).
  • the reference partial image when the reference partial image is fixed, even a partial image that is not appropriate as the reference partial image (for example, an image that is too dark or too bright as a whole) is used as the reference partial image.
  • a partial image that is not appropriate as the reference partial image for example, an image that is too dark or too bright as a whole
  • the reference partial image since the image whose density specification satisfies a predetermined condition is set as the reference partial image, it is suitable for the reference partial image among the plurality of partial images 11C, 12C, 13C, and 14C.
  • a partial image can be selected.
  • the image generating unit 30 determines that the partial images 11C, 12C are not included in the plurality of partial images 11C, 12C, 13C, 14C that satisfy a predetermined condition for setting as a reference partial image. , 13C, and 14C are not corrected (S104). Therefore, according to the present embodiment, an improper composite image is obtained by performing correction even though an appropriate partial image does not exist as a reference partial image among the plurality of partial images 11C, 12C, 13C, and 14C. It can suppress producing
  • the image generation unit 30 is a top view of the periphery of the vehicle 9 using a plurality of captured images obtained by capturing the periphery of the vehicle 9 with the plurality of cameras 11, 12, 13, and 14 mounted on the vehicle 9.
  • a top view image 10C is generated. Therefore, according to the present embodiment, a more natural top view image can be presented to the driver.
  • the image generation unit 30 corresponds to an example of an image generation apparatus
  • S103 to S111 correspond to an example of processing and correction steps as correction means
  • S103 corresponds to an example of processing as a setting unit
  • S105 to S106 correspond to examples of processing and generation steps as a generation unit
  • S110 corresponds to an example of processing as a fixed conversion unit
  • S111 corresponds to an example of processing as a mixing conversion unit and a mixing conversion step.
  • the cameras 11, 12, 13, and 14 correspond to an example of an imaging device
  • the top view image 10C corresponds to an example of a composite image
  • the first LUT corresponds to an example of a first conversion table
  • the second LUT corresponds to an example of a second conversion table.
  • the LUT generation method is not limited to the method exemplified in the above embodiment, and other known methods may be used. For example, as described in Patent Document 1 described above, an LUT that can execute histogram equalization may be generated for the histogram, and the same correction processing may be performed.
  • the density conversion method using the synthetic LUT is not limited to the method exemplified in the above embodiment.
  • the pixels on the straight line parallel to the line segment (P3, P5) all have the same weight with respect to the pixel on the line segment (P1, P2).
  • the weight may be set so that That is, the weight setting method for the pixels included in the two triangular regions (triangles (P1, P3, P5) and triangles (P2, P4, P6)) is different from the above embodiment.
  • the processing target image 14C for each straight line parallel to the line segment (P1, P2), both ends of the straight line are replaced with P1 and P2 in FIG. 7, and weights for pixels on the straight line are set. Also good.
  • the weight L1 of the first LUT and the first LUT are set according to the position on the line segment (distance to the points P5, P6).
  • the LUT weight W2 may be linearly changed.
  • the weight may be set so that all the pixels on the straight line parallel to the line segment (P3, P5) have the same weight.
  • the weights may be set so that the weights are maximized.
  • the processing target image 14C may be divided into a plurality of regions, and weights may be set for each region.
  • the timing for setting the reference partial image is not limited for each imaging cycle, and the reference partial image is prevented from being frequently changed. Also good.
  • the reference partial image may be fixed for a certain period.
  • the current reference partial image does not satisfy the criteria for selecting the reference partial image continuously for a certain period of time thereafter, and is more severe than the conditions for selecting the same reference partial image. Conditions may be set.
  • the same reference partial image means that the arrangement in the top view image 10C is the same, and changing the reference partial image selects a partial image having a different arrangement in the top view image 10C as the reference partial image. Means that.
  • the analysis target areas 11R, 12R, 13R, and 14R set in each of the partial images 11C, 12C, 13C, and 14C are set, and the determination is made based on the pixels included in these areas.
  • the present invention is not limited to this (S103).
  • the determination may be made based on all the pixels included in the partial images 11C, 12C, 13C, and 14C.
  • a maximum of one reference partial image is set (S103), but the present invention is not limited to this, and a plurality of reference partial images may be set.
  • S103 an image having the first largest number of pixels N and an image having the second largest number of pixels may be selected as the reference partial image.
  • the reference partial image may not be set (S103).
  • the present invention is not limited to this, and one or more reference partial images are always set and set.
  • the density conversion process may be performed based on the reference partial image.
  • the reference partial image can be changed.
  • the present invention is not limited to this, and a partial image at a predetermined position in the top view image 10C may be always used as the reference partial image.
  • the position and number of cameras are not limited to those exemplified in the above embodiment.
  • the present invention can also be applied to a composite image other than the top view image.
  • the present invention can be realized in various forms such as an image generation apparatus, an image generation method, an image generation program, a recording medium on which the image generation program is recorded, and a system including the image generation apparatus as components. .
  • each section is expressed as S100, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

　被写領域の一部が重複する撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）による合成画像（１０Ｃ）を生成する画像生成装置（３０）は、対象部分画像を、隣接する第１と第二の隣接部分画像の一方を基準部分画像として補正する補正手段（Ｓ１０３～Ｓ１１１）と、重複する第一または第二の共通領域における前記対象部分画像の濃度特性を前記第一または第二の隣接部分画像に近づける第１または第二の変換テーブルを生成する生成手段（Ｓ１０５～Ｓ１０６）と、位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルの影響を大きくし、位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルの影響を大きくするように、前記対象部分画像の濃度を変換する混合変換手段（Ｓ１１１）とを備える。

Description

画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体 関連出願の相互参照
　本開示は、２０１３年７月８日に出願された日本出願番号２０１３－１４２７２６号に基づくもので、ここにその記載内容を援用する。
　本開示は、複数の撮像画像を用いて合成画像を生成するための画像生成装置、画像生成方法及びそのための非遷移のコンピュータ読み取り可能記憶媒体に関するものである。
　１つのカメラによる撮像範囲を超える広い被写領域を表す画像を、複数の撮像画像を合成して生成する技術が知られている。例えば特許文献１には、互いに隣接する画像Ａ，Ｂの重複部分における画像Ａ，Ｂそれぞれの濃度特性に基づいて、一方の画像Ｂの濃度特性を他方の画像Ａの濃度特性に近づける補正を行う技術が記載されている。
　具体的には、特許文献１の記載によれば、まず、画像Ａにおける画像Ｂとの重複部分が合成部ａとして切り出され、画像Ｂにおける画像Ａとの重複部分が合成部ｂとして切り出される。次に、合成部ａ，ｂの画素値から、合成部ａ，ｂそれぞれについてのヒストグラムＨａ（ｘ），Ｈｂ（ｘ）が生成される。次に、各ヒストグラムＨａ（ｘ），Ｈｂ（ｘ）に対して、ヒストグラムイコライゼーション（ヒストグラム均一化）を実行可能な階調変換テーブルＬＵＴａ，ＬＵＴｂがそれぞれ生成される。次に、階調変換テーブルＬＵＴｂを利用して画像Ｂ全域に対して階調変換が実行され、階調変換後の画像に対して更に、階調変換テーブルＬＵＴａを利用して逆階調変換が実行される。つまり、合成部ｂのヒストグラムＨｂ（ｘ）を合成部ａのヒストグラムＨａ（Ｘ）に近づけるための階調変換処理が、画像Ｂ全域に対して施される。
　前述した特許文献１に記載の技術は、複数の画像が帯状に（一定方向に）連続して配置される合成画像に対して適用される。したがって、複数の撮像画像のうち１つを基準として他の撮像画像を順に補正すれば、合成画像におけるすべての境界部分（画像同士が隣接する部分）において、隣接する画像間の濃度特性のずれを抑制することができる。
　一方、合成画像としては、例えば車両の周囲を上面視した画像（いわゆるトップビュー画像）のように、複数の画像が環状に連続して配置される合成画像も存在する。この場合、特許文献１に記載の技術では、合成画像における１つ以上の境界部分において、隣接する画像間の濃度特性のずれを抑制することができないといった問題が生じ得る。
　すなわち、例えば、４つの画像Ａ，Ｂ，Ｃ，Ｄが順に帯状に連続して配置される場合、画像Ａを基準に画像Ｂを補正し、補正後の画像Ｂを基準に画像Ｃを補正し、補正後の画像Ｃを基準に画像Ｄを補正すればよい。
　これに対し、４つの画像Ａ，Ｂ，Ｃ，Ｄが順に環状に連続して配置される場合には、帯状の場合と同様に画像Ｂ，Ｃ，Ｄを順に補正しただけでは、画像Ａと補正後の画像Ｄとが隣接する境界部分において、濃度特性のずれが生じてしまう。なお、補正後の画像Ｄを基準に画像Ａを補正すれば、画像Ａと画像Ｄとの間の濃度特性のずれは抑制されるが、代わりに補正後の画像Ａと画像Ｂとの間に濃度特性のずれが生じるため、問題は解消されない。また、このような問題は、車両の周囲を上面視した画像に限らず、複数の画像が環状に連続して配置された合成画像であれば生じ得る問題である。
特開２０１１－１１０２４７号公報
　本開示は、複数の画像が環状に連続して配置された合成画像におけるすべての境界部分において、濃度特性のずれを抑制する画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体を提供することを目的とする。
　本開示の第一の態様において、被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像が環状に連続して配置された合成画像を生成する画像生成装置は、複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準部分画像として補正する補正手段と、前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成手段と、前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換手段とを備える。前記生成手段は、前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像との被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成する。前記混合変換手段は、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する。
　上記の装置において、複数の部分画像が環状に連続して配置された合成画像におけるすべての境界部分において、濃度特性のずれを抑制することができる。
　本開示の第二の態様において、被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像が環状に連続して配置された合成画像を生成する画像生成装置で用いられる画像生成方法は、複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正ステップと、前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成ステップと、前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換ステップとを備える。前記生成ステップでは、前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像との被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成する。前記混合変換ステップでは、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する。
　上記の方法において、複数の部分画像が環状に連続して配置された合成画像におけるすべての境界部分において、濃度特性のずれを抑制することができる。
　本開示の第三の態様において、被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像が環状に連続して配置された合成画像を生成する画像生成装置としてコンピュータを機能させるためのインストラクションを含んだ非遷移のコンピュータ読み取り可能記憶媒体であり、当該インストラクションは、複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正ステップと、前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成ステップと、前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換ステップとを備える。前記生成ステップでは、前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像との被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成する。前記混合変換ステップでは、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する。
　上記の記憶媒体において、複数の部分画像が環状に連続して配置された合成画像におけるすべての境界部分において、濃度特性のずれを抑制することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、トップビュー画像生成装置の構成を示すブロック図であり、 図２は、車両に設置されたカメラの撮像範囲を示す図であり、 図３は、トップビュー画像生成処理のフローチャートであり、 図４（Ａ）と図４（Ｃ）は上面視の画像に変換された撮像画像を示す図であり、図４（Ｂ）はトップビュー画像を構成する部分画像を示す図であり、 図５（Ａ）は処理対象濃度Ａに処理対象濃度Ｂを対応付ける手順を示す図であり、図５（Ｂ）はＬＵＴを生成する手順を示す図であり、 図６（Ａ）から図６（Ｃ）は、第２の濃度変換処理を示す図であり、 図７は、施形態の画素の位置とＬＵＴの重みとの関係を示すグラフであり、 図８は、変形例の画素の位置とＬＵＴの重みとの関係を示すグラフである。
　以下、本発明が適用された実施形態について、図面を用いて説明する。
　［１．構成］
　図１に示すトップビュー画像生成装置１は、車両９（図２参照）に搭載された装置であって、車両９を上面視した画像（上空から見下ろしたような画像）であるトップビュー画像を生成し、運転者の視認のために表示する装置である。本実施形態のトップビュー画像生成装置１は、撮像部１０と、記憶部２０と、画像生成部３０と、表示部４０と、を備える。
　撮像部１０は、車両９の周囲を撮像する。具体的には、撮像部１０は、図２に示す４つのカメラ１１，１２，１３，１４を備える。第１のカメラ１１は、車両９の前部に設けられ、車両９の前方領域における下方（地表面）の撮像範囲１１Ａを撮像する。カメラ１２は、車両９の左側部（例えば左側ドアミラー）に設けられ、車両９の左側方領域における下方の撮像範囲１２Ａを撮像する。カメラ１３は、車両９の後部に設けられ、車両９の後方領域における下方の撮像範囲１３Ａを撮像する。カメラ１４は、車両９の右側部（例えば右側ドアミラー）に設けられ、車両９の右側方領域における下方の撮像範囲１４Ａを撮像する。
　これら４つのカメラ１１，１２，１３，１４は、１８０度の画角で撮像可能な広角カメラであり、これら４つのカメラ１１，１２，１３，１４による４つの撮像範囲１１Ａ，１２Ａ，１３Ａ，１４Ａによって、車両９の全周がカバーされる。具体的には、車両９の周方向において互いに隣り合う撮像範囲同士には、図２においてハッチングで示すように、互いに重複する部分（重複領域）１１２，１２３，１３４，１４１が存在する。つまり、４つのカメラ１１，１２，１３，１４による４つの撮像画像は、被写領域（被写体）の一部が重複する。
　図１に示す記憶部２０は、４つのカメラ１１，１２，１３，１４の車両９に対する設置状態の固有データ（キャリブレーションデータ）を記憶する。具体的には、記憶部２０は、キャリブレーションデータがあらかじめ記憶された記憶装置を備える。
　４つのカメラ１１，１２，１３，１４による撮像画像は、後述する処理により、車両９を取り囲むように環状に連続して配置された一続きの画像（トップビュー画像）として合成（接合）される。合成された画像において、異なるカメラにより撮像された画像同士が隣接する境界部分は、できるだけ正確に位置が整合していることが好ましい。そこで、車両９の出荷前の段階において、車両９ごとに、４つのカメラ１１，１２，１３，１４のキャリブレーションが行われ、車両９の個体差（カメラの設置状態の個体差）に応じたキャリブレーションデータが記憶部２０に記憶される。ここでいうキャリブレーションは、例えば、一定の模様（合成画像における画像同士のずれ量を特定するために適した模様）が描かれた路面を、４つのカメラ１１，１２，１３，１４で実際に撮像して行われる。すなわち、実際に画像を撮像してトップビュー画像を生成することで、トップビュー画像における画像同士のずれ量が特定されるため、そのずれ量を０に近づけるようにキャリブレーションデータが設定される。なお、本実施形態では、４つのカメラ１１，１２，１３，１４のそれぞれについてのある点を基準とした３次元空間での座標位置、ピッチ角、ヨー角及びロール角の情報が、キャリブレーションデータとして記憶部２０にあらかじめ記憶されている。
　図１に示す画像生成部３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３等を備えたマイコンを用いて構成され、ＲＯＭ３２等の記録媒体に記録されているプログラムに従った処理を処理主体（コンピュータ）としてのＣＰＵ３１が実行する。具体的には、画像生成部３０は、４つのカメラ１１，１２，１３，１４による撮像画像に対し、キャリブレーションデータに基づく位置補正と画像の濃度補正（濃度変換）とを行い、トップビュー画像を生成する。
　表示部４０は、画像生成部３０により生成されたトップビュー画像を、車両の乗員（例えば運転者）に表示する。具体的には、表示部４０は、車両の乗員に画像を表示するための表示装置（ディスプレイ）を備える。
　［２．処理］
　次に、画像生成部３０（具体的にはＣＰＵ３１）がプログラムに従い実行するトップビュー画像生成処理（トップビュー画像生成方法）について、図３のフローチャートを用いて説明する。なお、図３のトップビュー画像生成処理は、４つのカメラ１１，１２，１３，１４による撮像周期（例えば１秒間に複数回撮像可能な短い周期）ごとに定期的に実行される。
　まず、画像生成部３０は、４つのカメラ１１，１２，１３，１４による撮像画像を撮像部１０から取得する（Ｓ１０１）。なお、４つのカメラ１１，１２，１３，１４による撮像は、同時に（同期して）行われる。
　続いて、画像生成部３０は、キャリブレーションデータに基づいて、各カメラ１１，１２，１３，１４による撮像画像を、上面視の画像（あたかも上面から見たような画像であって、広角撮像による歪みが補正された画像）に変換する（Ｓ１０２）。
　具体的には、図４（Ａ）および図４（Ｃ）に示すように、画像生成部３０は、第１のカメラ１１、第２のカメラ１２、第３のカメラ１３、第４のカメラ１４による撮像画像をそれぞれ上面視に変換した第１の上面視画像１１Ｂ、第２の上面視画像１２Ｂ、第３の上面視画像１３Ｂ、第４の上面視画像１４Ｂ、を生成する。なお、図４（Ａ）および図４（Ｃ）では、各上面視画像１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂを見やすくするため、第１の上面視画像１１Ｂ及び第３の上面視画像１３Ｂの組と、第２の上面視画像１２Ｂ及び第４の上面視画像１４Ｂの組と、に分けて示している。
　第１の上面視画像１１Ｂの左端部は、第２の上面視画像１２Ｂの前端部と重複し、第１の上面視画像１１Ｂの右端部は、第４の上面視画像１４Ｂの前端部と重複する。また、第３の上面視画像１３Ｂの左端部は、第２の上面視画像１２Ｂの下端部と重複し、第３の上面視画像１３Ｂの右端部は、第４の上面視画像１４Ｂの下端部と重複する。
　図４（Ｂ）に示すように、トップビュー画像１０Ｃは、車両９を中心とする４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃが、互いに重複しない形で環状に連続して配置されて構成される。このため、画像生成部３０は、図４（Ｂ）に示すトップビュー画像１０Ｃの形状に従い、４つの上面視画像１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂのそれぞれから、互いに重複しない４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃを切り出す。
　続いて、画像生成部３０は、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち、画像の濃度特性が所定の条件を満たすものを基準部分画像に設定するための基準画像設定処理を実行する（Ｓ１０３）。基準部分画像とは、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち、後述する濃度変換の基準となる画像であって、濃度変換の対象とならない画像のことである。
　具体的には、画像生成部３０は、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中から、あらかじめ設定された濃度範囲（濃度ＴＨ１～ＴＨ２の範囲）に存在する画素の数Ｎが最も多い部分画像を選択する。本実施形態では、図４（Ｂ）に示すように、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのそれぞれにおいて、歪みの小さい中央寄りの位置に解析対象領域１１Ｒ，１２Ｒ，１３Ｒ，１４Ｒが設定されており、これら各領域に含まれる画素を基準に判定される。濃度範囲（濃度ＴＨ１～ＴＨ２）は、濃度がとり得る最小濃度から最大濃度までの範囲における中央部に設定される。つまり、濃度範囲は、最小濃度側や最大濃度側へ濃度の偏った画像が選択されにくいように設定されている。なお、濃度は、画素値、階調値、輝度などと言い換えることができる。
　そして、画像生成部３０は、選択した画像についての画素数Ｎが、あらかじめ設定されたしきい値以上である場合に、その画像を基準部分画像として設定する。つまり、最大で１つの基準部分画像が設定される。換言すれば、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中に、画像の濃度特性が前述した所定の条件を満たすものが存在しない場合には、基準部分画像が設定されない。この場合、後述するように、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの補正（濃度変換処理）が行われない（Ｓ１０４：ＮＯ）。
　続いて、画像生成部３０は、Ｓ１０３の基準画像設定処理で基準部分画像が設定されたか否かを判定する（Ｓ１０４）。画像生成部３０は、基準部分画像が設定されたと判定した場合には（Ｓ１０４：ＹＥＳ）、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち、基準部分画像以外の画像（以下「対象部分画像」という。）の濃度を変換する処理（Ｓ１０５～Ｓ１１１）を行う。
　すなわち、画像生成部３０は、まず、各カメラ１１，１２，１３，１４による撮像画像における一部（この例では両端部）の画像であって、前述した重複領域１１２，１２３，１３４，１４１（図２）を形成する画像である重複画像を特定する。本実施形態では、前述した上面視画像１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂにおいて、重複画像が特定される。そして、画像生成部３０は、各重複画像についての濃度特性を表す情報として、濃度（画素値）と頻度（度数）との関係を表すヒストグラムを生成する（Ｓ１０５）。具体的には、４つの重複領域１１２，１２３，１３４，１４１のそれぞれに２つの重複画像が存在することから、８つの重複画像が存在し、８つのヒストグラムが生成される。
　続いて、画像生成部３０は、同一の重複領域を形成する２つの重複画像からなる組ごとに、一方の重複画像ＡのヒストグラムＡ（濃度特性Ａ）に他方の重複画像ＢのヒストグラムＢ（濃度特性Ｂ）を近づけるための濃度変換テーブルを生成する（Ｓ１０６）。ここでいうヒストグラムＢをヒストグラムＡに近づけるとは、ヒストグラムＢをヒストグラムＡに等しくすることが好ましいが、完全には等しくならない場合も含む。また、以下の説明では、濃度変換テーブル（ルックアップテーブル）を「ＬＵＴ」という。ＬＵＴは、４つの重複領域１１２，１２３，１３４，１４１のそれぞれについて生成される。つまり、４つのＬＵＴが生成される。
　ヒストグラムＢをヒストグラムＡに近づけるためのＬＵＴ生成方法としては、種々の方法が公知であるが、本実施形態では、次の［Ｍ１］～［Ｍ４］の手順によりＬＵＴが生成される。
　［Ｍ１］ヒストグラムＡの最小濃度を処理対象濃度Ａとし、ヒストグラムＢの最小濃度を処理対象濃度Ｂとする。
　［Ｍ２］図５（Ａ）に示すように、処理対象濃度Ａに処理対象濃度Ｂを対応付ける。
　［Ｍ３］下記式（１）が満たされない場合、処理対象濃度Ｂを、次に高い濃度に変更し、上記［Ｍ２］へ戻る。
　処理対象濃度Ａの頻度　≦　対応付けられた処理対象濃度Ｂの総頻度　…式（１）
　［Ｍ４］上記式（１）が満たされた場合、現在の処理対象濃度Ａに対応付けられた処理対象濃度Ｂで確定し、処理対象濃度Ａ及び処理対象濃度Ｂをそれぞれ次に高い濃度に変更した後、上記［Ｍ２］へ戻る。
　以上の手順を繰り返すことにより、ヒストグラムＡの各濃度に対応するヒストグラムＢの濃度が決定される。そして、図５（Ｂ）に示すように、ヒストグラムＢの濃度を入力濃度、それらの濃度に対応するヒストグラムＡの濃度を出力濃度として、決定された対応する点同士を結ぶことで、ＬＵＴが生成される。
　図３へ戻り、画像生成部３０は、すべての対象部分画像について後述する濃度変換処理（Ｓ１１０又はＳ１１１）が完了したか否かを判定する（Ｓ１０７）。画像生成部３０は、すべての対象部分画像について濃度変換処理が完了していない（濃度変換前の対象部分画像が１つ以上存在する）と判定した場合には（Ｓ１０７：ＮＯ）、濃度変換前の対象部分画像のうち１つを処理対象として選択する（Ｓ１０８）。ここで選択された対象部分画像を、以下「処理対象画像」という。処理対象画像を選択する順序は、基準部分画像の位置に応じてあらかじめ設定されている。例えば、トップビュー画像１０Ｃにおいて、基準部分画像に対して左回りの方向に隣接する対象部分画像から順に周方向（左回り）に選択するような順序が設定されている。この順序は一例であり、特に限定されないが、少なくとも、基準部分画像及び濃度変換後の対象部分画像のうちいずれにも隣接しない対象部分画像は、処理対象画像として選択されないような順序に設定されている。
　続いて、画像生成部３０は、トップビュー画像１０Ｃにおいて処理対象画像に対して両側から隣接する２つの部分画像（以下「第１の隣接部分画像」及び「第２の隣接部分画像」という。）のうち一方が、濃度変換前の対象部分画像であるか否かを判定する（Ｓ１０９）。画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像のうち一方が濃度変換前の対象部分画像であると判定した場合には（Ｓ１０９：ＹＥＳ）、第１の濃度変換処理を実行した後（Ｓ１１０）、Ｓ１０７へ戻る。一方、画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像のうちいずれも濃度変換前の対象部分画像でない（基準部分画像及び濃度変換後の対象部分画像のうちいずれかである）と判定した場合には（Ｓ１０９：ＮＯ）、第２の濃度変換処理を実行した後（Ｓ１１１）、Ｓ１０７へ戻る。
　ここで、第１の濃度変換処理及び第２の濃度変換処理について説明する。
　第１の濃度変換処理は、第１の隣接部分画像及び第２の隣接部分画像のうちの一方である基準部分画像又は濃度変換後の対象部分画像（ここでは単に「隣接部分画像」という。）を用いて（基準として）、処理対象画像の濃度を変換する処理である。具体的には、第１の濃度変換処理では、処理対象画像と隣接部分画像との境界に対応する重複領域に基づいて生成されたＬＵＴ（処理対象画像を隣接部分画像に近づける濃度変換処理を行うためのＬＵＴ）を用いて、処理対象画像の濃度が一律に変換される。その結果、処理対象画像と隣接部分画像との境界における濃度面での不連続性（濃度特性のずれ）が抑制される。
　一方、第２の濃度変換処理は、第１の隣接部分画像及び第２の隣接部分画像の両方を用いて（基準として）、処理対象画像の濃度を変換する処理である。ここでいう第１の隣接部分画像及び第２の隣接部分画像は、共に、基準部分画像及び濃度変換後の対象部分画像のうちいずれかである。
　具体的には、例えば図６（Ａ）から図６（Ｃ）に示すように、処理対象画像１４Ｃにおいて、第１の隣接部分画像１１Ｃ寄りの画素と、第２の隣接部分画像１３Ｃ寄りの画素と、で濃度変換処理に用いるＬＵＴを異ならせる。
　本実施形態では、処理対象画像１４Ｃに含まれる画素のうち、第１の隣接部分画像１１Ｃに隣接する画素については、処理対象画像１４Ｃと第１の隣接部分画像１１Ｃとの境界（線分（Ｐ１，Ｐ３））に対応する重複領域に基づいて生成されたＬＵＴが用いられる。このＬＵＴは、処理対象画像１４Ｃの濃度特性を第１の隣接部分画像１１Ｃの濃度特性に近づける補正を行うためのＬＵＴであり、以下「第１のＬＵＴ」という。また、ここでいう重複領域とは、処理対象画像１４Ｃ及び第１の隣接部分画像１１Ｃの元となる（切り出し元の）上面視画像（以下「対象撮像画像１４Ｂ」及び「第１の隣接撮像画像１１Ｂ」という。）の被写領域が共通する領域（以下「第１の共通領域」という。）である。つまり、第１のＬＵＴは、第１の共通領域における対象撮像画像１４Ｂの濃度特性を、第１の共通領域における第１の隣接撮像画像１１Ｂの濃度特性に、近づける補正を行うためのＬＵＴである。
　一方、処理対象画像１４Ｃに含まれる画素のうち、第２の隣接部分画像１３Ｃに隣接する画素については、処理対象画像１４Ｃと第２の隣接部分画像１３Ｃとの境界（線分（Ｐ２，Ｐ４））に対応する重複領域に基づいて生成されたＬＵＴが用いられる。このＬＵＴは、処理対象画像１４Ｃの濃度特性を第２の隣接部分画像１３Ｃの濃度特性に近づける補正を行うためのＬＵＴであり、以下「第２のＬＵＴ」という。また、ここでいう重複領域とは、対象撮像画像１４Ｂと、第２の隣接部分画像１３Ｃの元となる（切り出し元の）上面視画像（以下「第２の隣接撮像画像１３Ｂ」という。）と、の被写領域が共通する領域（以下「第２の共通領域」という。）である。つまり、第２のＬＵＴは、第２の共通領域における対象撮像画像１４Ｂの濃度特性を、第２の共通領域における第２の隣接撮像画像１３Ｂの濃度特性に、近づける補正を行うためのＬＵＴである。
　そして、処理対象画像１４Ｃを構成する残りの画素については、第１のＬＵＴと第２のＬＵＴとを合成した合成ＬＵＴが用いられる。具体的には、処理対象画像１４Ｃにおける位置が第１の隣接部分画像１１Ｃに近い画素ほど、第１のＬＵＴによる影響が第２のＬＵＴによる影響と比較して大きくなるように、処理対象画像１４Ｃの濃度を変換する合成ＬＵＴが設定される。換言すれば、処理対象画像１４Ｃにおける位置が第２の隣接部分画像１３Ｃに近い画素ほど、第２のＬＵＴによる影響が第１のＬＵＴによる影響と比較して大きくなるように、処理対象画像１４Ｃの濃度を変換する合成ＬＵＴが設定される。つまり、合成ＬＵＴは、処理対象画像１４Ｃにおける画素の位置に応じて異なる。例えば、第１の隣接部分画像１１Ｃ及び第２の隣接部分画像１３Ｃに対して中間に位置する画素については、第１のＬＵＴと第２のＬＵＴとを等しい重みで平均した合成ＬＵＴが用いられる。
　具体的には、図７に示すように、線分（Ｐ１，Ｐ２）上の画素については、当該線分上における位置（点Ｐ１，Ｐ２に対する距離）に応じて、第１のＬＵＴの重みＷ１と、第２のＬＵＴの重みＷ２と、をリニアに変更すればよい。また、当該線分上以外の画素のうち、線分（Ｐ３，Ｐ４）を一辺とし、線分（Ｐ１，Ｐ２）の一部である線分（Ｐ５，Ｐ６）を対辺とする長方形領域に含まれる画素については、線分（Ｐ３，Ｐ５）に平行な直線上の画素がすべて同じ重みとなるように重みを設定してもよい。そして、残りの２つの三角形領域（三角形（Ｐ１，Ｐ３，Ｐ５）及び三角形（Ｐ２，Ｐ４，Ｐ６））に含まれる画素については、点Ｐ３又は点Ｐ４を通る直線上の画素がすべて同じ重みとなるように重みを設定してもよい。
　図３へ戻り、画像生成部３０は、前述したＳ１０７で、すべての対象部分画像について濃度変換処理が完了したと判定した場合には（Ｓ１０７：ＹＥＳ）、処理をＳ１１２へ移行させる。また、画像生成部３０は、前述したＳ１０４で基準部分画像が設定されなかったと判定した場合には（Ｓ１０４：ＮＯ）、濃度変換のための処理（Ｓ１０５～Ｓ１１１）をスキップして、処理をＳ１１２へ移行させる。
　Ｓ１１２で、画像生成部３０は、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ（濃度変換が行われた場合には濃度変換後の画像）が環状に連続して配置されたトップビュー画像を生成する。そして、画像生成部３０は、生成したトップビュー画像を表示部４０に表示させた後（Ｓ１１３）、図３のトップビュー画像生成処理を終了する。
　［３．効果］
　以上詳述した実施形態によれば、以下の効果が得られる。
　［３Ａ］本実施形態のトップビュー画像生成装置１において、画像生成部３０は、対象部分画像の濃度特性を第１の隣接部分画像の濃度特性に近づける補正を行うための第１のＬＵＴと、対象部分画像の濃度特性を第２の隣接部分画像の濃度特性に近づける補正を行うための第２のＬＵＴと、を生成する（Ｓ１０５～Ｓ１０６）。そして、画像生成部３０は、少なくとも１つの対象部分画像の濃度を、第１のＬＵＴ及び第２のＬＵＴの両方を用いて変換する（Ｓ１１１）。具体的には、画像生成部３０は、対象部分画像における位置が第１の隣接部分画像に近い画素ほど、第１のＬＵＴによる影響が第２のＬＵＴによる影響と比較して大きくなるように、対象部分画像の濃度を変換する。換言すれば、画像生成部３０は、対象部分画像における位置が第２の隣接部分画像に近い画素ほど、第２のＬＵＴによる影響が第１のＬＵＴによる影響と比較して大きくなるように、対象部分画像の濃度を変換する。
　したがって、本実施形態によれば、複数の部分画像が環状に連続して配置された合成画像（トップビュー画像）におけるすべての境界部分において、濃度特性のずれを抑制することができる。特に、画像自体をデジタル補正するため、例えばカメラのゲインをアナログ的に補正するような構成と比較して、高精度に調整することができる。
　［３Ｂ］画像生成部３０は、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち画像の濃度特性が所定の条件を満たすものを、基準部分画像に設定する（Ｓ１０３）。したがって、本実施形態によれば、基準部分画像が固定されている（あらかじめ設定されている）場合と比較して、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの補正を適切に行うことができる。すなわち、基準部分画像とすべき部分画像は、車両周囲の環境（昼間と夜間、対向車両の有無など、車両周囲への光の当たり方）によって異なり得る。このため、基準部分画像が固定されている場合、基準部分画像として適切でない部分画像（例えば全体的に暗すぎる画像や明るすぎる画像）であっても、基準部分画像として用いられてしまう。これに対し、本実施形態では、画像の濃度特定が所定の条件を満たすものを基準部分画像に設定するため、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中で基準部分画像に適している部分画像が選択されるようにすることができる。
　［３Ｃ］画像生成部３０は、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中に、基準部分画像に設定するための所定の条件を満たすものが存在しない場合には、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの補正を行わない（Ｓ１０４）。したがって、本実施形態によれば、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中に、基準部分画像として適切な部分画像が存在しないにもかかわらず補正を行うことにより、適切でない合成画像が生成されてしまうことを抑制することができる。
　［３Ｄ］画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像が、基準部分画像又は濃度変換後の対象部分画像と、濃度変換前の対象部分画像と、である場合、第１のＬＵＴ及び第２のＬＵＴのうち一方を用いて対象部分画像の濃度を変換する（Ｓ１１０）。一方、画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像が共に基準部分画像及び濃度変換後の対象部分画像のうちいずれかである場合、第１のＬＵＴ及び第２のＬＵＴの両方を用いて対象部分画像の濃度を変換する（Ｓ１１１）。したがって、本実施形態によれば、第１のＬＵＴ及び第２のＬＵＴの両方を用いた対象部分画像の濃度の変換を、必要最小限の対象部分画像に対して行うことが可能となり、処理負荷を抑えることができる。
　［３Ｅ］画像生成部３０は、車両９に搭載された複数のカメラ１１，１２，１３，１４によって車両９の周囲を撮像した複数の撮像画像を用いて、車両９の周囲を上面視した画像であるトップビュー画像１０Ｃを生成する。したがって、本実施形態によれば、より自然なトップビュー画像を運転者に提示することができる。
　なお、本実施形態では、画像生成部３０が画像生成装置の一例に相当し、Ｓ１０３～Ｓ１１１が補正手段としての処理及び補正ステップの一例に相当する。また、Ｓ１０３が設定手段としての処理の一例に相当し、Ｓ１０５～Ｓ１０６が生成手段としての処理及び生成ステップの一例に相当する。また、Ｓ１１０が固定変換手段としての処理の一例に相当し、Ｓ１１１が混合変換手段としての処理及び混合変換ステップの一例に相当する。また、カメラ１１，１２，１３，１４が撮像装置の一例に相当し、トップビュー画像１０Ｃが合成画像の一例に相当し、第１のＬＵＴが第１の変換テーブルの一例に相当し、第２のＬＵＴが第２の変換テーブルの一例に相当する。
　［４．他の実施形態］
　以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
　［４Ａ］ＬＵＴ生成方法は、上記実施形態で例示した方法に限定されるものではなく、他の公知の方法を利用してもよい。例えば、前述した特許文献１に記載のように、ヒストグラムに対して、ヒストグラムイコライゼーションを実行可能なＬＵＴを生成し、同様の補正処理を行うようにしてもよい。
　［４Ｂ］合成ＬＵＴを用いた濃度変換方法は、上記実施形態で例示した方法に限定されるものではない。例えば、図７に示す処理対象画像１４Ｃに含まれるすべての画素について、線分（Ｐ１，Ｐ２）上の画素を基準として、線分（Ｐ３，Ｐ５）に平行な直線上の画素がすべて同じ重みとなるように重みを設定してもよい。つまり、２つの三角形領域（三角形（Ｐ１，Ｐ３，Ｐ５）及び三角形（Ｐ２，Ｐ４，Ｐ６））に含まれる画素についての重みの設定方法が、上記実施形態と異なる。また、処理対象画像１４Ｃにおいて、線分（Ｐ１，Ｐ２）に平行な直線ごとに、当該直線の両端を図７でいうＰ１，Ｐ２に置き換えて、当該直線上の画素についての重みを設定してもよい。
　また、図８に示すように、線分（Ｐ５，Ｐ６）上の画素については、当該線分上における位置（点Ｐ５，Ｐ６に対する距離）に応じて、第１のＬＵＴの重みＷ１と、第２のＬＵＴの重みＷ２と、をリニアに変更してもよい。そして、長方形領域（Ｐ３，Ｐ４，Ｐ６，Ｐ５）に含まれる画素については、線分（Ｐ３，Ｐ５）に平行な直線上の画素がすべて同じ重みとなるように重みを設定してもよい。そして、残りの２つの三角形領域（三角形（Ｐ１，Ｐ３，Ｐ５）及び三角形（Ｐ２，Ｐ４，Ｐ６））に含まれる画素については、重みが最大になるように重みを設定してもよい。
　また、処理対象画像１４Ｃを複数の領域に区分し、領域別に重みを設定してもよい。
　［４Ｃ］基準部分画像を設定するタイミング（基準部分画像が変更され得るタイミング）は、撮像周期ごとに限定されるものではなく、基準部分画像が頻繁に変更されることが抑制されるようにしてもよい。例えば、一定期間は基準部分画像を固定としてもよい。また例えば、基準部分画像を変更する際は、現時点における基準部分画像がその後一定期間連続して基準部分画像として選択される基準を満たさないなど、同一の基準部分画像が選択される条件よりも厳しい条件を設定してもよい。なお、基準部分画像が同一とは、トップビュー画像１０Ｃにおける配置が同一であることを意味し、基準部分画像を変更するとは、トップビュー画像１０Ｃにおける配置が異なる部分画像を基準部分画像として選択することを意味する。
　［４Ｄ］上記実施形態では、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのそれぞれにおいて設定された解析対象領域１１Ｒ，１２Ｒ，１３Ｒ，１４Ｒが設定されており、これら各領域に含まれる画素を基準に判定するようにしているが（Ｓ１０３）、これに限定されるものではない。例えば、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃに含まれるすべての画素を基準に判定してもよい。
　［４Ｅ］上記実施形態では、最大１つの基準部分画像を設定するようにしているが（Ｓ１０３）、これに限定されるものではなく、複数の基準部分画像が設定され得るようにしてもよい。例えば、前述したＳ１０３において、画素数Ｎが１番目に多い画像と２番目に多い画像とが、基準部分画像として選択されるようにしてもよい。
　［４Ｆ］基準部分画像が設定されない場合（濃度変換処理が行われない場合）には、その旨（又はその理由）を運転者に報知するようにしてもよい。
　［４Ｇ］上記実施形態では、基準部分画像が設定されない場合も生じ得るようにしているが（Ｓ１０３）、これに限定されるものではなく、１つ以上の基準部分画像が必ず設定され、設定された基準部分画像に基づいて濃度変換処理が行われるようにしてもよい。
　［４Ｈ］上記実施形態では、基準部分画像を変更可能としているが、これに限定されるものではなく、トップビュー画像１０Ｃにおけるあらかじめ決められた位置の部分画像を常に基準部分画像としてもよい。
　［４Ｉ］カメラの位置や数は、上記実施形態で例示したものに限定されない。また、本発明は、トップビュー画像以外の合成画像にも適用可能である。
　［４Ｊ］上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
　［４Ｋ］本発明は、画像生成装置、画像生成方法、画像生成プログラムの他、画像生成プログラムを記録した記録媒体、画像生成装置を構成要素とするシステムなど、種々の形態で実現することができる。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１００と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (7)

  1. 　被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する画像生成装置（３０）であって、
    　複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準部分画像として補正する補正手段（Ｓ１０３～Ｓ１１１）と、
    　前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成手段（Ｓ１０５～Ｓ１０６）と、
    　前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換手段（Ｓ１１１）と、
    　を備え、
    　前記生成手段は、
    　前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、
    　前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像との被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成し、
    　前記混合変換手段は、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する
    　画像生成装置。
  2. 　複数の前記部分画像のうち画像の濃度特性が所定の条件を満たす前記部分画像を、前記基準部分画像に設定する設定手段（Ｓ１０３）を更に備える
    　請求項１に記載の画像生成装置。
  3. 　前記補正手段は、複数の前記部分画像の中に、前記所定の条件を満たす前記部分画像が存在しない場合には、前記部分画像の補正を行わない（Ｓ１０４）
    　請求項２に記載の画像生成装置。
  4. 　前記第１の変換テーブル及び前記第２の変換テーブルのうち一方を用いて前記対象部分画像の濃度を変換する固定変換手段（Ｓ１１０）を更に備え、
    　前記補正手段は、前記第１の隣接部分画像及び前記第２の隣接部分画像が、前記基準部分画像及び濃度変換後の前記対象部分画像のうちいずれか一方、及び、濃度変換前の前記対象部分画像、である場合には、前記固定変換手段により前記対象部分画像の濃度を変換し、
    　前記補正手段は、前記第１の隣接部分画像及び前記第２の隣接部分画像が共に、前記基準部分画像及び濃度変換後の前記対象部分画像のうちいずれかである場合には、前記混合変換手段により前記対象部分画像の濃度を変換する
    　請求項１から請求項３までのいずれか１項に記載の画像生成装置。
  5. 　複数の前記撮像画像は、車両に搭載された複数の撮像装置によって撮像され、
    　前記合成画像は、車両の周囲を上面視した画像である
    　請求項１から請求項４までのいずれか１項に記載の画像生成装置。
  6. 　被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する画像生成装置（３０）で用いられる画像生成方法であって、
    　複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正ステップ（Ｓ１０３～Ｓ１１１）と、
    　前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成ステップ（Ｓ１０５～Ｓ１０６）と、
    　前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換ステップ（Ｓ１１１）と、
    　を備え、
    　前記生成ステップでは、
    　前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、
    　前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像との被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成し、
    　前記混合変換ステップでは、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する
    　画像生成方法。
  7. 　被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する画像生成装置（３０）としてコンピュータを機能させるためのインストラクションを含んだ非遷移のコンピュータ読み取り可能記憶媒体であり、
    　当該インストラクションは、
    　複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正ステップ（Ｓ１０３～Ｓ１１１）と、
    　前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成ステップ（Ｓ１０５～Ｓ１０６）と、
    　前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換ステップ（Ｓ１１１）と、
    　を備え、
    　前記生成ステップでは、
    　前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、
    　前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像との被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成し、
    　前記混合変換ステップでは、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する
    　非遷移のコンピュータ読み取り可能記憶媒体。
     
     
PCT/JP2014/003347 2013-07-08 2014-06-23 画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体 WO2015004866A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/902,938 US9691142B2 (en) 2013-07-08 2014-06-23 Image generating device, image generating method, and non-transitory computer-readable storage medium
CN201480038750.6A CN105431883B (zh) 2013-07-08 2014-06-23 图像生成装置、图像生成方法以及用于图像生成的非暂时性的计算机可读存储介质
DE112014003174.7T DE112014003174B4 (de) 2013-07-08 2014-06-23 Bilderzeugungsvorrichtung, Bilderzeugungsverfahren und nichtflüchtiges computerlesbares Speichermedium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013142726A JP5929849B2 (ja) 2013-07-08 2013-07-08 画像生成装置、画像生成方法及び画像生成プログラム
JP2013-142726 2013-07-08

Publications (1)

Publication Number Publication Date
WO2015004866A1 true WO2015004866A1 (ja) 2015-01-15

Family

ID=52279576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003347 WO2015004866A1 (ja) 2013-07-08 2014-06-23 画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体

Country Status (5)

Country Link
US (1) US9691142B2 (ja)
JP (1) JP5929849B2 (ja)
CN (1) CN105431883B (ja)
DE (1) DE112014003174B4 (ja)
WO (1) WO2015004866A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691142B2 (en) 2013-07-08 2017-06-27 Denso Corporation Image generating device, image generating method, and non-transitory computer-readable storage medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614603B2 (en) * 2016-09-19 2020-04-07 Qualcomm Incorporated Color normalization for a multi-camera system
CN111028192B (zh) * 2019-12-18 2023-08-08 维沃移动通信（杭州）有限公司 一种图像合成方法及电子设备
US11681297B2 (en) * 2021-03-02 2023-06-20 Southwest Research Institute Autonomous vehicle and self-location estimating method in autonomous vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321972A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び方法
JP2011110247A (ja) * 2009-11-27 2011-06-09 Shimadzu Corp Ｘ線撮影装置およびｘ線撮影方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3948229B2 (ja) 2001-08-01 2007-07-25 ソニー株式会社 画像撮像装置及び方法
US7352887B2 (en) * 2003-04-11 2008-04-01 Hologic, Inc. Scatter rejection for composite medical imaging systems
JP4085283B2 (ja) * 2005-02-14 2008-05-14 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4982127B2 (ja) 2006-07-19 2012-07-25 クラリオン株式会社 画像表示システム
EP2355037A1 (en) 2009-12-18 2011-08-10 Nxp B.V. Method of and system for determining an average colour value for pixels
WO2012056518A1 (ja) * 2010-10-26 2012-05-03 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム
JP6102930B2 (ja) * 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
JP2013142726A (ja) 2012-01-06 2013-07-22 Canon Inc 電子写真感光体の製造装置
KR102062921B1 (ko) * 2013-05-14 2020-01-06 현대모비스 주식회사 다수 영상의 밝기 균일화 방법
JP5929849B2 (ja) 2013-07-08 2016-06-08 株式会社デンソー 画像生成装置、画像生成方法及び画像生成プログラム
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321972A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び方法
JP2011110247A (ja) * 2009-11-27 2011-06-09 Shimadzu Corp Ｘ線撮影装置およびｘ線撮影方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691142B2 (en) 2013-07-08 2017-06-27 Denso Corporation Image generating device, image generating method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
DE112014003174T5 (de) 2016-03-24
DE112014003174B4 (de) 2023-07-27
US20160155219A1 (en) 2016-06-02
CN105431883B (zh) 2018-09-04
JP5929849B2 (ja) 2016-06-08
US9691142B2 (en) 2017-06-27
CN105431883A (zh) 2016-03-23
JP2015014997A (ja) 2015-01-22

Similar Documents

Publication Publication Date Title
US9544562B2 (en) Converting an image from a dual-band sensor to a visible color image
WO2015004866A1 (ja) 画像生成装置、画像生成方法及び、そのための非遷移のコンピュータ読み取り可能記憶媒体
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
JP6269286B2 (ja) 画像ノイズ低減方法及び画像ノイズ低減装置
US9135688B2 (en) Method for brightness equalization of various images
EP3110128A1 (en) Color gamut mapping based on the mapping of cusp colors obtained through simplified cusp lines
US10270942B2 (en) Method of mapping source colors of an image in a chromaticity plane
US10602027B2 (en) Color gamut mapping using a lightness mapping based also on the lightness of cusp colors belonging to different constant-hue leaves
JP6255928B2 (ja) 俯瞰画像生成装置
US9639916B2 (en) Image processing device, and image processing method
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
US8861850B2 (en) Digital image color correction
EP3701490B1 (en) Method and system of fast image blending for overlapping regions in surround view
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
JP5202749B1 (ja) 画像処理方法
JP6957665B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11410274B2 (en) Information processing device and program
JP2008042664A (ja) 画像表示装置
JP2020102755A (ja) 半導体装置、画像処理方法およびプログラム
JP6896658B2 (ja) ホワイトバランス調整装置及びホワイトバランス調整方法
EP4266669A1 (en) Imaging device and image processing device
JP6978720B2 (ja) 画像処理装置
JP2019067097A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480038750.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14823364

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14902938

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014003174

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14823364

Country of ref document: EP

Kind code of ref document: A1