WO2019111651A1 - 撮像システム、画像処理装置、及び、画像処理方法 - Google Patents

撮像システム、画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
WO2019111651A1
WO2019111651A1 PCT/JP2018/041978 JP2018041978W WO2019111651A1 WO 2019111651 A1 WO2019111651 A1 WO 2019111651A1 JP 2018041978 W JP2018041978 W JP 2018041978W WO 2019111651 A1 WO2019111651 A1 WO 2019111651A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
image
imaging unit
signal processing
Prior art date
Application number
PCT/JP2018/041978
Other languages
English (en)
French (fr)
Inventor
一輝 大橋
知市 藤澤
松原　義明
智樹 中里
松井　啓
昌俊 横川
神尾　和憲
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニー株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2019111651A1 publication Critical patent/WO2019111651A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to an imaging system, an image processing apparatus, and an image processing method.
  • various parameters relating to imaging are appropriately selected so that the luminance level matches in an operation state under a predetermined light source (for example, under D65 light source) It is conceivable that imaging is performed using that parameter. However, in this case, when imaging is performed under a light source different from a predetermined light source, it is conceivable that a difference in luminance level occurs among a plurality of images due to the difference in spectral sensitivity among the imaging devices. Further, even if the luminance level is adjusted on the entire screen, it is conceivable that the luminance level difference occurs in a specific part of the screen due to the difference in the position or the color of the subject. From the viewpoint of performing image processing based on a plurality of images well, it is preferable to reduce such luminance level difference as much as possible.
  • an imaging system an image processing apparatus, and an image that can reduce a luminance level difference between images caused by a difference between a light source and a subject when capturing an image using a plurality of imaging units.
  • the purpose is to provide a treatment method.
  • An imaging system for achieving the above object is: A first imaging unit, a second imaging unit, and a signal processing unit; The signal processing unit Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit and the image captured by the second imaging unit; Image processing is performed based on the pair of images subjected to the luminance level adjustment processing. It is an imaging system.
  • An image processing apparatus for achieving the above object is: An image processing apparatus comprising a signal processing unit that performs image processing based on an image captured by a first imaging unit and an image captured by a second imaging unit, The signal processing unit Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit and the image captured by the second imaging unit; Image processing is performed based on the pair of images subjected to the luminance level adjustment processing. It is an image processing device.
  • An image processing method for performing image processing based on an image captured by a first imaging unit and an image captured by a second imaging unit, Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit and the image captured by the second imaging unit; Performing image processing based on the pair of images subjected to the luminance level adjustment processing step; Equipped with It is an image processing method.
  • FIG. 1 is a schematic view for describing a configuration of an imaging system according to a first embodiment of the present disclosure.
  • FIG. 2 is a schematic view for explaining the configuration of the imaging system of the reference example.
  • FIG. 3 is a schematic graph for explaining the spectral characteristics of the imaging device used as the imaging unit in the first embodiment.
  • FIG. 4 is a schematic view for explaining the method of setting the sensitivity difference gain under a predetermined light source in the imaging system of the reference example.
  • FIG. 5 is a schematic view for explaining an operation at the time of imaging under a predetermined light source based on the sensitivity difference gain set in the imaging system of the reference example.
  • FIG. 1 is a schematic view for describing a configuration of an imaging system according to a first embodiment of the present disclosure.
  • FIG. 2 is a schematic view for explaining the configuration of the imaging system of the reference example.
  • FIG. 3 is a schematic graph for explaining the spectral characteristics of the imaging device used as the imaging unit in the first embodiment.
  • FIG. 4
  • FIG. 6 is a schematic diagram for explaining the operation when imaging under a light source different from a predetermined light source based on the sensitivity difference gain set in the imaging system of the reference example.
  • FIG. 7 is a schematic view for describing an operation at the time of imaging under a predetermined light source in the imaging system according to the first embodiment of the present disclosure.
  • FIG. 8 is a schematic diagram for explaining a method of calculating coefficients in the spectral gain processing unit shown in FIG.
  • FIG. 9 is a schematic diagram for explaining the operation when the coefficient calculated by the equation shown in FIG. 8 is used in FIG.
  • FIG. 10 is a schematic view for describing an operation at the time of imaging under a light source different from the predetermined light source in the imaging system according to the first embodiment of the present disclosure.
  • FIG. 10 is a schematic view for describing an operation at the time of imaging under a light source different from the predetermined light source in the imaging system according to the first embodiment of the present disclosure.
  • FIG. 11 is a schematic diagram for explaining the operation in the case where the coefficient calculated by the equation shown in FIG. 8 is used.
  • FIG. 12 is a schematic view for explaining a modification of the imaging system according to the first embodiment of the present disclosure.
  • FIG. 13 is a schematic view for describing a configuration of an imaging system according to the second embodiment of the present disclosure.
  • FIG. 14 is a schematic graph for explaining the spectral characteristics of an imaging device used as an imaging unit in the second embodiment.
  • FIG. 15 shows the difference observed between the spectral characteristics of the two when the spectral characteristics at the time of combining the monochrome image based on the output of the color imaging device are set to substantially match the spectral characteristics of the monochrome imaging device. It is a schematic graph for demonstrating.
  • FIG. 12 is a schematic view for explaining a modification of the imaging system according to the first embodiment of the present disclosure.
  • FIG. 13 is a schematic view for describing a configuration of an imaging system according to the second embodiment of the present disclosure.
  • FIG. 16 is a schematic diagram for explaining the operation of the image correction unit.
  • FIG. 17 is a schematic view for explaining image division of the first imaging unit and the second imaging unit.
  • FIG. 18A is a schematic diagram for explaining calculation of coefficients in the (u, v) -th divided region in the image of the first imaging unit.
  • FIG. 18B is a schematic diagram for explaining calculation of coefficients in the (u, v) -th divided region in the image of the second imaging unit.
  • FIG. 19A is a schematic diagram for explaining the coefficients in each divided region in the image of the first imaging unit.
  • FIG. 19B is a schematic view for explaining the coefficients in each divided region in the image of the second imaging unit.
  • FIG. 20 is a schematic diagram for explaining the coefficient ratio of each divided area.
  • FIG. 21 is a schematic diagram for explaining a method of obtaining a gain by which image information corresponding to a pixel is multiplied by bilinear interpolation using coefficient ratios of four divided areas.
  • FIG. 22 is a schematic diagram for explaining a method of obtaining a gain by which image information corresponding to a pixel is multiplied by bilinear interpolation using coefficient ratios of 16 divided areas.
  • FIG. 23 is a schematic view for describing a configuration of an imaging system according to a third embodiment of the present disclosure.
  • FIG. 24 is a schematic view for explaining that a difference occurs in the position of an image in a part of a nearby subject when imaging a distant subject and a nearby subject.
  • FIG. 25 is a schematic diagram for explaining the configuration of the level matching control unit.
  • FIG. 26 is a schematic diagram for explaining the case where a difference occurs in gradation between the image of the first imaging unit and the image of the second imaging unit.
  • FIG. 27A is a schematic diagram for explaining that if the degree of gradation is the same in the reference image and the reference image, the matching can be performed well.
  • FIG. 27B is a schematic diagram for illustrating that if there is a difference in the degree of gradation between the reference image and the reference image, an error occurs in the matching.
  • FIG. 28 is a schematic diagram for explaining the configuration of the level alignment control unit according to the first modification of the third embodiment.
  • FIG. 29 is a schematic flowchart for explaining the operation of the gradation determination unit.
  • FIG. 27A is a schematic diagram for explaining that if the degree of gradation is the same in the reference image and the reference image, the matching can be performed well.
  • FIG. 27B is a schematic diagram for illustrating that if there is a difference in the degree of gradation between the reference image and the
  • FIG. 30 is a schematic diagram for explaining the configuration of the level alignment control unit according to the second modification of the third embodiment.
  • FIG. 31 is a schematic diagram for explaining the configuration of the level alignment control unit according to the third modification of the third embodiment.
  • FIG. 32 is a schematic view for describing a configuration of an imaging system according to a fourth modified example of the third embodiment.
  • FIG. 33 is a schematic diagram for describing a configuration of an imaging system according to a fifth modified example of the third embodiment.
  • FIG. 34 is a schematic diagram for describing a configuration of an imaging system according to a sixth modified embodiment of the third embodiment.
  • FIG. 35 is a schematic view for describing a configuration of an imaging system according to a fourth embodiment of the present disclosure.
  • FIG. 36 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 37 is an explanatory view showing an example of installation positions of the outside-vehicle information detection unit and the imaging unit.
  • the signal processor Performing a luminance level adjustment process by adjusting the spectral gain applied to the image data from the second imaging unit based on the image data from the first imaging unit; It can be configured.
  • the first imaging unit captures a color image
  • the signal processing unit adjusts the spectral gain based on the white balance correction amount obtained from the image data from the first imaging unit. It can be configured.
  • the second imaging unit captures a monochrome image
  • the signal processing unit adjusts the spectral gain based on the value of the spectral ratio and the white balance correction amount in the second imaging unit. It can be configured.
  • the signal processing unit adjusts the spectral gain based on a calculated value using the value of the spectral ratio and the white balance correction amount in the second imaging unit. It can be configured.
  • the signal processor Performing a luminance level adjustment process by adjusting the spectral gain applied to the image data from the first imaging unit based on the image data from the first imaging unit; It can be configured.
  • the first imaging unit captures a color image
  • the signal processing unit adjusts the spectral gain based on the white balance correction amount obtained from the image data from the first imaging unit. It can be configured.
  • the second imaging unit captures a monochrome image
  • the signal processing unit adjusts the spectral gain based on the value of the spectral ratio and the white balance correction amount in the second imaging unit. It can be configured.
  • the image captured by the first imaging unit and the image captured by the second imaging unit are each divided into a plurality of areas, and the luminance level is adjusted based on the value obtained by comparing the image data of the corresponding areas.
  • Perform brightness level adjustment processing It can be configured.
  • the number of the plurality of regions may be a predetermined constant value. From the viewpoint of achieving high-speed processing, the number of regions is preferably set to a predetermined constant value.
  • the signal processing unit may be configured to dynamically control the number of regions. It is preferable to control the number of regions dynamically from the viewpoint of further improving the accuracy of the luminance level processing.
  • the signal processing unit dynamically controls the number of regions according to the position information of the subject, or alternatively, the image captured by the first imaging unit and the image captured by the second imaging unit
  • information such as lens focus position information of an optical system or image plane phase difference information can be used as position information of an object.
  • position information of an object when the object is at a position close to the imaging unit, it is preferable to control to reduce the number of the plurality of areas (in other words, to make the division rough).
  • the gradation area information is obtained, for example, by performing differential filtering on image information (including AE detection information for exposure control) and extracting an area in which the luminance gradually decreases or an area in which the luminance gradually increases. be able to.
  • image information including AE detection information for exposure control
  • ALB auto white balance
  • the signal processing unit may include position information of the subject, size information of a gradation area included in an image captured by the first imaging unit and an image captured by the second imaging unit, and characteristics of the light source at the time of imaging.
  • the number of regions may be dynamically controlled based on at least one or more pieces of information.
  • the signal processing unit dynamically controls the number of the plurality of areas according to the determination information of the subject. Can be configured. Alternatively, the signal processing unit may be configured to correct the contrast of the image subjected to the brightness level adjustment processing after the brightness level adjustment processing is performed.
  • the first imaging unit and the second imaging unit both capture monochrome images or both color images, or
  • the first imaging unit may capture a color image
  • the second imaging unit may capture monochrome image data.
  • the image processing method according to the present disclosure can be performed using, for example, the imaging system or the image processing apparatus of the present disclosure including the above-described preferable configuration.
  • the signal processing unit is implemented as hardware. It may be implemented as software, or hardware and software may be implemented to cooperate with each other.
  • the first imaging unit and the second imaging unit used in the present disclosure are, for example, a CMOS sensor or a CCD in which pixels including photoelectric conversion elements and various pixel transistors are arranged in a two-dimensional matrix in the row direction and the column direction. It can be configured by an imaging element such as a sensor.
  • the first imaging unit and the second imaging unit are usually disposed apart from each other. The separation distance may be appropriately set in accordance with the electronic device or the like to be mounted on the imaging unit.
  • the number of imaging units used in the imaging system is not limited to two, and may be three or more in some cases.
  • the present disclosure can be applied within the range where the same subject is shown.
  • the present disclosure can be applied by, for example, aligning the number of pixels by image resizing processing or the like.
  • image processing is performed based on the pair of images subjected to the luminance level adjustment processing.
  • the content of the image processing is not particularly limited. For example, a configuration in which a plurality of images are combined to improve S / N, a configuration in which color information is added to a monochrome image and a color image is combined, a configuration in which disparity information between images is extracted, disparity information between images Adjust the depth of field by using a separate image, insert a separate image so as to correspond to a predetermined depth, or alternatively switch and display a pair of images on which the brightness level adjustment process has been performed. And so on.
  • the first embodiment relates to an imaging system, an image processing apparatus, and an image processing method according to the present disclosure.
  • FIG. 1 is a schematic view for describing a configuration of an imaging system according to a first embodiment of the present disclosure.
  • the imaging system 1 A first imaging unit 10, a second imaging unit 20, and a signal processing unit 100 corresponding to an image processing apparatus are provided.
  • the signal processing unit 100 Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit 10 and the image captured by the second imaging unit 20; Image processing is performed based on the pair of images subjected to the luminance level adjustment processing.
  • the first imaging unit 10 and the second imaging unit 20 are configured by, for example, an optical system such as a lens and a CMOS sensor.
  • the first imaging unit 10 and the second imaging unit 20 are disposed, for example, at predetermined intervals in the horizontal direction.
  • the first imaging unit 10 is for color imaging
  • the second imaging unit 20 is for monochrome imaging.
  • the signal processing unit 100 performs luminance level adjustment processing by adjusting the spectral gain applied to the image data from the second imaging unit 20 based on the image data from the first imaging unit 10.
  • the first imaging unit 10 captures a color image, and the signal processing unit 100 adjusts the spectral gain based on the white balance correction amount obtained from the image data from the first imaging unit 10. More specifically, the second imaging unit 20 captures a monochrome image, and the signal processing unit 100 adjusts the spectral gain on the basis of the value of the spectral ratio in the second imaging unit 20 and the white balance correction amount.
  • the signal processing unit 100 is formed, for example, on a semiconductor substrate made of silicon.
  • the signal processing unit 100 includes a first common gain processing unit 110, a white balance gain processing unit 111, and a white balance correction amount calculation unit 112 for processing a signal from the first imaging unit 10.
  • the image processing unit 130 that performs image processing based on the signal from the white balance gain processing unit 111 and the signal from the spectral gain processing unit 121 is provided.
  • the first common gain processing unit 110 and the second common gain processing unit 120 multiply a predetermined gain so that the image data has a numerical value in a certain range, for example, even in imaging in a bright place or a dark place.
  • the white balance correction amount calculation unit 112 calculates a correction amount necessary to adjust the color tone of the captured image.
  • the white balance gain processing unit 111 performs processing such as multiplying the white balance gain in order to adjust the color tone of the image to be captured.
  • the spectral gain processing unit 121 operates based on the information from the white balance correction amount calculation unit 112 and performs processing such as multiplying the signal from the second common gain processing unit 120 by the spectral gain.
  • the image processing unit 130 performs a process of combining a plurality of images to improve S / N, a process of adding color information to a black and white image to combine a color image, and a process of extracting disparity information between images
  • a process of adjusting the depth of field using parallax information between images, a process of inserting another image to correspond to a predetermined depth portion, or a pair of images subjected to a brightness level adjustment process Perform processing of switching and displaying each of them.
  • FIG. 2 is a schematic view for explaining the configuration of the imaging system of the reference example.
  • the sensitivity difference gain processing unit 921 performs processing such as multiplying the signal from the second common gain processing unit 120 by the sensitivity difference gain.
  • the sensitivity difference gain is set, for example, to have a characteristic suitable for operation under a predetermined light source.
  • FIG. 3 is a schematic graph for explaining the spectral characteristics of the imaging device used as the imaging unit in the first embodiment.
  • reference symbols B, G and R respectively indicate spectral characteristics of blue, green and red in the color imaging device.
  • the symbol W indicates the spectral characteristic of the monochrome imaging device.
  • the horizontal axis shows the wavelength of light.
  • the vertical axis indicates one normalized with reference to the peak value of the spectral characteristic.
  • a monochrome imaging device has higher sensitivity than a color imaging device. Therefore, in the signal processing system that performs signal processing based on the image of the monochrome imaging device and the image of the color imaging device, when imaging is performed under the same conditions, the monochrome image has a higher luminance level than the color image. For this reason, it is necessary to match the luminance levels of both images.
  • the luminance levels of both images it is possible to match the luminance levels of both images as a configuration in which AE control is independently performed by each imaging element.
  • the imaging system 9 shown in FIG. 2 is the latter configuration. This configuration is advantageous over the configuration in which AE control is performed independently for each imaging device, and it is possible to reduce the deviation of the luminance level caused by non-linear factors such as saturation and black deviation of the imaging device.
  • FIG. 4 is a schematic view for explaining the method of setting the sensitivity difference gain under a predetermined light source in the imaging system of the reference example.
  • symbols R, G and B indicate digital values of each color of color image data
  • symbol W indicates digital values of monochrome image data
  • symbol W 1 indicates monochrome image data synthesized from color image data R, G and B. Indicates the digital value of. The same applies to the other drawings described later.
  • the white balance correction amount calculation unit 112 performs light source estimation by automatic white balance (AWB) control or the like based on data from the first imaging unit 10 and the like, for example, G output / R output or G output / Based on an operation such as B output, the white balance gain processing unit 111 calculates the white balance to be multiplied.
  • ABB automatic white balance
  • R white balance gain wbg_r 1.2
  • B white balance gain wbg_b 1.5 It is.
  • the color image data (R, G, B) from the first common gain processing unit 110 has a value such as (83, 100, 67).
  • the white balance gain processing unit 111 multiplies each data of (83, 100, 67) by the gain described above.
  • the color image data (R, G, B) from the white balance gain processing unit 111 is (100, 100, 100).
  • the sensitivity difference gain under a predetermined light source can be set by the above-described procedure.
  • FIG. 5 is a schematic view for explaining an operation at the time of imaging under a predetermined light source based on the sensitivity difference gain set in the imaging system of the reference example.
  • the value of each digital data is the same as the value described in FIG.
  • FIG. 6 is a schematic diagram for explaining the operation when imaging under a light source different from a predetermined light source based on the sensitivity difference gain set in the imaging system of the reference example.
  • FIG. 6 is an example of the case where imaging is performed under a light source that is less blue than that under a predetermined light source, for example.
  • the white balance correction amount calculation unit 112 performs multiplication by the white balance gain processing unit 111 based on data from the first imaging unit 10, for example, based on an operation such as G output / R output or G output / B output. Calculate the white balance to be done.
  • R white balance gain wbg_r 1.2
  • G white balance gain wbg_g 1.0
  • B white balance gain wbg_b 3.0 It is.
  • color image data (R, G, B) from the first common gain processing unit 110 is (83, 100, 33).
  • the white balance gain processing unit 111 multiplies each data of (83, 100, 33) by the gain described above.
  • the color image data (R, G, B) from the white balance gain processing unit 111 is (100, 100, 100).
  • the monochrome image data W from the second common gain processing unit 120 has a value such as 188, for example.
  • the spectral gain processing unit 121 operates based on the information from the white balance correction amount calculation unit 112 and multiplies the signal from the second common gain processing unit 120 by the spectral gain. Do the processing. This reduces the phenomenon that the luminance level shifts when imaging is performed under a light source different from that under the predetermined light source.
  • the image processing method performed by the imaging system 1 is Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit 10 and the image captured by the second imaging unit 20; Performing image processing based on the pair of images subjected to the luminance level adjustment processing step; Is equipped.
  • the second imaging unit 20 captures a monochrome image. Then, the signal processing unit 100 adjusts the spectral gain based on the value of the spectral ratio in the second imaging unit 20 and the white balance correction amount. More specifically, the signal processing unit 100 adjusts the spectral gain based on the calculated value using the value of the spectral ratio and the white balance correction amount in the second imaging unit 20.
  • FIG. 7 is a schematic view for describing an operation at the time of imaging under a predetermined light source in the imaging system according to the first embodiment of the present disclosure.
  • the white balance correction amount calculation unit 112 Since the output values from the first common gain processing unit 110, the second common gain processing unit 120, the white balance correction amount calculation unit 112, and the white balance gain processing unit 111 are the same as the values described in FIG. I omit it.
  • the spectral gain is a spectral ratio (sp_r, sp_g, sp_b) estimated in advance based on color and black and white spectral sensitivities, and a white balance gain (wbg_r, wbg_g, etc.) from the white balance correction amount calculation unit 112. Calculated based on wbg_b).
  • FIG. 8 is a schematic diagram for explaining a method of calculating coefficients in the spectral gain processing unit shown in FIG.
  • the spectral ratio (sp_r, sp_g, sp_b) is calculated as a constant coefficient at the time of approximating the graph of W in FIG. 8 by appropriately adding the graphs of B, G, and R.
  • the spectral ratio sp_r indicates the R spectral ratio of the monochrome imaging unit
  • the spectral ratio sp_g indicates the G spectral ratio of the monochrome imaging unit
  • the spectral ratio sp_b indicates the B spectral ratio of the monochrome imaging unit. Therefore, the approximate expression shown in the following expression (1) holds.
  • the spectral gain represented by the symbol SP_Gain is based on the constants of the spectral ratio (sp_r, sp_g, sp_b) and the white balance gains (wbg_r, wbg_g, wbg_b) from the white balance correction amount calculation unit 112. Is calculated by the following equation (3).
  • FIG. 9 is a schematic diagram for explaining the operation when the coefficient calculated by the equation shown in FIG. 8 is used in FIG.
  • the spectral gain (SP_Gain) to be multiplied by the spectral gain processing unit 121 is calculated by the following equation (4).
  • the color image data (R, G, B) from the first common gain processing unit 110 is (83, 100, 67), and the white balance gain processing unit 111 multiplies each data by the gain described above.
  • the color image data (R, G, B) from the white balance gain processing unit 111 is (100, 100, 100).
  • the luminance level is suitably adjusted in imaging under a predetermined light source.
  • an operation when imaging under a light source different from that under the predetermined light source will be described.
  • FIG. 10 is a schematic view for describing an operation at the time of imaging under a light source different from the predetermined light source in the imaging system according to the first embodiment of the present disclosure.
  • the white balance correction amount calculation unit 112 Since the output values from the first common gain processing unit 110, the second common gain processing unit 120, the white balance correction amount calculation unit 112, and the white balance gain processing unit 111 are the same as the values described in FIG. I omit it.
  • FIG. 11 is a schematic diagram for explaining the operation in the case where the coefficient calculated by the equation shown in FIG. 8 is used in FIG.
  • the spectral gain (SP_Gain) to be multiplied by the spectral gain processing unit 121 is calculated by the following equation (5).
  • the color image data (R, G, B) from the first common gain processing unit 110 is (83, 100, 33), and the gains described above by the white balance gain processing unit 111 are (83, 100, 33). Data is multiplied.
  • the color image data (R, G, B) from the white balance gain processing unit 111 is (100, 100, 100).
  • the luminance level is suitably adjusted even when imaging is performed under a light source different from the predetermined light source. Therefore, the phenomenon that a difference occurs in the luminance level when imaging is performed under a light source different from a predetermined light source is reduced.
  • the image processing is performed based on the image whose luminance level is well adjusted even under the environment where the light source fluctuates. be able to.
  • the spectral gain processing unit 121 is described as being disposed on the second imaging unit 20 side (monochrome imaging unit side), but is disposed on the first imaging unit 10 side (color imaging unit side) It can also be configured as An imaging system 1A of such a modified example is shown in FIG.
  • the signal processing unit 100A A luminance level adjustment process is performed by adjusting the spectral gain applied to the image data from the first imaging unit 10 based on the image data from the first imaging unit 10.
  • the first imaging unit 10 captures a color image.
  • the signal processing unit 100A adjusts the spectral gain based on the white balance correction amount obtained from the image data from the first imaging unit 10.
  • the second imaging unit 20 captures a monochrome image, and the signal processing unit 100A adjusts the spectral gain based on the value of the spectral ratio and the white balance correction amount in the second imaging unit 20.
  • the imaging systems 1 and 1A according to the first embodiment have been described above.
  • the two imaging units of the imaging system consist of a combination of a color imaging unit and a monochrome imaging unit
  • imaging units of the same type having different spectral characteristics color imaging unit and
  • the processing by the above-described spectral gain processing unit can be appropriately applied to a combination of a color imaging unit or a monochrome imaging unit and a monochrome imaging unit).
  • the processing by the above-described spectral gain processing unit can be applied as appropriate.
  • the second embodiment also relates to an imaging system, an image processing apparatus, and an image processing method according to the present disclosure.
  • FIG. 13 is a schematic view for describing a configuration of an imaging system according to the second embodiment of the present disclosure.
  • the imaging system 2 A first imaging unit 10, a second imaging unit 20, and a signal processing unit 200 corresponding to an image processing apparatus are provided.
  • the signal processing unit 200 Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit 10 and the image captured by the second imaging unit 20; Image processing is performed based on the pair of images subjected to the luminance level adjustment processing.
  • the signal processing unit 200 An image captured by the first imaging unit 10 and an image captured by the second imaging unit 20 are each divided into a plurality of regions, and a luminance level is obtained based on values obtained by comparing image data of corresponding regions. To adjust the brightness level.
  • the first imaging unit 10 and the second imaging unit 20 have basically the same configuration as the configuration described in the first embodiment except that the spectral characteristics are different, and thus the description thereof will be omitted.
  • the first imaging unit 10 is for color imaging and the second imaging unit 20 is for monochrome imaging.
  • the signal processing unit 200 is formed, for example, on a semiconductor substrate made of silicon.
  • the signal processing unit 200 includes an image correction unit 210 that corrects image data from the first imaging unit 10 and the second imaging unit 20, a level adjustment unit 211 that performs level adjustment based on signals from the image correction unit 210, and level adjustment.
  • An image processing unit 230 that performs image processing based on a signal from the unit 211 is provided.
  • the image correction unit 210 performs processing such as demosaicing processing, YUV conversion processing, scaler processing, noise reduction processing, and rectangle processing.
  • the level alignment unit 211 is obtained by dividing the image captured by the first imaging unit 10 and the image captured by the second imaging unit 20 into a plurality of regions and comparing image data of corresponding regions. A brightness level adjustment process is performed to match the brightness levels based on the values.
  • the image processing unit 230 performs, for example, a process of combining a plurality of images to improve the S / N, and adding color information to a black and white image to obtain a color image Processing to extract the parallax information between images, processing to adjust the depth of field using parallax information between images, and the like.
  • FIG. 14 is a schematic graph for explaining the spectral characteristics of an imaging device used as an imaging unit in the second embodiment.
  • reference symbols B, G, and R respectively indicate spectral characteristics of blue, green, and red in the color imaging device.
  • the symbol W indicates the spectral characteristic of the monochrome imaging device.
  • the horizontal axis shows the wavelength of light.
  • the vertical axis indicates one normalized with reference to the peak value of the spectral characteristic.
  • FIG. 15 shows the difference observed between the spectral characteristics of the two when the spectral characteristics at the time of combining the monochrome image based on the output of the color imaging device are set to substantially match the spectral characteristics of the monochrome imaging device. It is a schematic graph for demonstrating.
  • the integral value obtained by integrating the graphs of the symbols B, G, and R shown in FIG. 14 by appropriately multiplying the coefficients is the integral value of the symbol W shown in FIG. Is a curve when fitting is performed so as to roughly follow the graph of W.
  • the image of the color imaging device and the image of the monochrome imaging device have substantially the same luminance level over the entire screen.
  • the monochrome imaging device exhibits a high luminance level with respect to the color imaging device.
  • the monochrome imaging device exhibits a lower luminance level than the color imaging device.
  • a behavior is shown in which the luminance levels of the monochrome imaging device and the color imaging device are alternately switched.
  • the image correction unit 210 of the signal processing unit 200 receives an image P10 from the first imaging unit 10 and an image P20 from the second imaging unit 20.
  • the image correction unit 210 performs optical distortion correction processing and parallelization processing (Rectification) on these images to correct the images, and outputs images P11 and P21 in which the displacement is only translational displacement.
  • FIG. 16 is a schematic diagram for explaining the operation of the image correction unit.
  • the level alignment unit 211 of the signal processing unit 200 divides the images P11 and P21 into a plurality of regions such as U in the horizontal direction, V in the vertical direction, and U ⁇ V in total. Then, a brightness level adjustment process is performed to match the brightness levels based on the values obtained by comparing the image data of the corresponding areas.
  • FIG. 17 is a schematic view for explaining image division of the first imaging unit and the second imaging unit.
  • the code U and the code V are set to, for example, predetermined fixed values determined in advance. Therefore, the number of regions is a predetermined constant value.
  • the region of the u-th column and the v-th row in the image P21 is denoted by a symbol T2 (u, v).
  • Each of these regions includes J pieces in the horizontal direction, K pieces in the vertical direction, and J ⁇ K pieces of pixel data in total. In other words, the size of each area is all the same.
  • the level matching unit 211 illustrated in FIG. 13 compares the regions at the same position to obtain the ratio of the luminance level. Then, based on the ratio, the image data is multiplied by a gain. This will be described in detail with reference to FIGS. 18 to 22.
  • FIG. 18A is a schematic diagram for explaining calculation of coefficients in the (u, v) -th divided region in the image of the first imaging unit.
  • FIG. 18B is a schematic diagram for explaining calculation of coefficients in the (u, v) -th divided region in the image of the second imaging unit.
  • the level matching unit 211 obtains the sum of the luminance levels of the pixels included in the region T2 (u, v).
  • the pixel in the j-th column and the k-th row in the area T2 (u, v) is represented by a code P2 (j, k)
  • the luminance thereof is represented by a code LP2 (j, k)
  • the area T2 (u, v) If the sum of the luminance levels of the included pixels is represented by a symbol LT2 (u, v), then LT2 (u, v) is represented by the following equation (7) (see FIG. 18B).
  • FIG. 19A is a schematic diagram for explaining the coefficients in each divided region in the image of the first imaging unit.
  • FIG. 19B is a schematic view for explaining the coefficients in each divided region in the image of the second imaging unit.
  • the level matching unit 211 compares the sum of the luminance levels of the area T1 (u, v) with the sum of the luminance levels of the area T2 (u, v) to obtain a ratio of the luminance levels.
  • FIG. 20 is a schematic diagram for explaining the coefficient ratio of each divided area.
  • the level matching unit 211 multiplies the image data by a gain based on the ratio of the luminance levels obtained as described above.
  • the luminance level is matched by multiplying the image data of the area T1 (u, v) by the gain.
  • FIG. 21 is a schematic diagram for explaining a method of obtaining a gain by which image information corresponding to a pixel is multiplied by bilinear interpolation using coefficient ratios of four divided areas.
  • the gain by which the pixel P1 (j, k) in the region T1 (u, v) is multiplied is represented as a code LC (u, v, j, k).
  • the gain LC (u, v, j, k) corresponding to the position of the pixel P1 can be determined by bilinear interpolation.
  • the luminance level can be adjusted by multiplying the obtained gain LC (u, v, j, k) by the image data of the pixel P1 (j, k).
  • the interpolation method for obtaining the gain LC is not particularly limited. For example, as shown in FIG. 22, assuming that the weight of the luminance ratio shown in FIG. 20 is at the center of 16 peripheral regions surrounding the pixel P1, it can be obtained by bicubic interpolation.
  • the level matching unit 211 is an image formed by multiplying the data of the input image P ⁇ b> 22 similar to the input image P ⁇ b> 21 and the data of the input image P ⁇ b> 12 by the gain LC (u, v, j, k) described above.
  • the image is divided into a plurality of areas, and the image data of the corresponding areas are compared to match the luminance level. Therefore, even if there is a difference in the luminance level in a specific part of the original image, the luminance level is suitably adjusted.
  • the third embodiment also relates to an imaging system, an image processing apparatus, and an image processing method according to the present disclosure.
  • the number of divided areas of the images P11 and P21 is fixed.
  • the number of regions is dynamically controlled.
  • FIG. 23 is a schematic view for describing a configuration of an imaging system according to a third embodiment of the present disclosure.
  • the imaging system 3 A first imaging unit 10, a second imaging unit 20, and a signal processing unit 300 corresponding to an image processing apparatus are provided.
  • the signal processing unit 300 Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit 10 and the image captured by the second imaging unit 20; Image processing is performed based on the pair of images subjected to the luminance level adjustment processing.
  • the signal processing unit 300 An image captured by the first imaging unit 10 and an image captured by the second imaging unit 20 are each divided into a plurality of regions, and a luminance level is obtained based on values obtained by comparing image data of corresponding regions. To adjust the brightness level. Furthermore, the number of regions is dynamically controlled.
  • first imaging unit 10 and the second imaging unit 20 have the same configuration as the configuration described in the second embodiment, the description will be omitted.
  • the signal processing unit 300 is formed, for example, on a semiconductor substrate made of silicon.
  • the signal processing unit 300 corrects the image data from the first imaging unit 10 and the second imaging unit 20.
  • the level adjustment unit 211 performs level adjustment based on the signals from the image correction unit 210.
  • An image processing unit 230 that performs image processing based on a signal from the unit 211 is provided.
  • the signal processing unit 300 includes a level adjustment control unit 310 that controls the level adjustment unit 211.
  • the level matching unit 211 has the same configuration as that described in the second embodiment except that the number of regions into which an image is divided is dynamically controlled, and thus the description thereof is omitted.
  • FIG. 24 is a schematic view for explaining that a difference occurs in the position of an image in a part of a nearby subject when imaging a distant subject and a nearby subject.
  • the parallax is small for an object having a long distance to the subject.
  • the parallax is large for an object whose distance to the subject is short.
  • the parallax is small at the mountain in the distant view, and the parallax is large at the bird's-eye view in the near view.
  • the number of image divisions is dynamically changed.
  • the signal processing unit 300 dynamically controls the number of regions according to the position information of the subject. Qualitatively, control is performed so as to reduce the signs U and V in the second embodiment as the subject included in the original image is closer.
  • FIG. 25 is a schematic diagram for explaining the configuration of the level matching control unit.
  • the level adjustment control unit 310 includes a distance determination unit 311 and a division number determination unit 312.
  • the level alignment unit 211 controls the division of the image in accordance with the signal from the division number determination unit 312.
  • the distance determination unit 311 calculates an evaluation value by multiplying, for example, a predetermined weighting factor based on the distance information.
  • the division number determination unit 312 determines the values of the codes U and V based on the evaluation value from the distance determination unit 311.
  • the level matching unit 211 performs image division processing based on the signal from the division number determination unit 312.
  • the luminance level is adjusted in a state where the division is roughly divided, so that image data in which different objects are photographed is compared as it is. Is avoided.
  • the number of the plurality of areas is dynamically controlled according to the position information of the subject, a configuration is also possible in which the dynamic control is performed based on other elements.
  • the signal processing unit determines the number of the plurality of regions according to the size information of the gradation region included in the image captured by the first imaging unit 10 and the image captured by the second imaging unit 20. Dynamically control.
  • FIG. 26 is a schematic diagram for explaining the case where a difference in gradation occurs between the image of the first imaging unit 10 and the image of the second imaging unit.
  • FIG. 26 shows an example in which the area PT1 of the image P11 is dark gradation and the area PT2 of the image P21 is light gradation.
  • FIG. 27A is a schematic diagram for explaining that if the degree of gradation is the same in the reference image and the reference image, the matching can be performed well.
  • FIG. 27B is a schematic diagram for illustrating that if there is a difference in the degree of gradation between the reference image and the reference image, an error occurs in the matching.
  • the gradation area has a larger size such as the luminance gradually decreases or gradually increases in the original image.
  • FIG. 28 is a schematic diagram for explaining the configuration of the level alignment control unit according to the first modification of the third embodiment.
  • the level alignment control unit 310A includes a gradation determination unit 311A and a division number determination unit 312A.
  • the level matching unit 211 controls the division of the image according to the signal from the division number determination unit 312A.
  • FIG. 29 is a schematic flowchart for explaining the operation of the gradation determination unit.
  • the gradation determination unit 311A performs gradation area determination from AE detection information and image information, and calculates an evaluation value based on the size of the area.
  • the gradation determination basically, it is determined whether or not there is a continuous gradation in the parallax direction. Specifically, differentiation is performed in the parallax direction, and the gradation processing is performed by performing labeling processing each time the same sign continues. At this time, the value below the set threshold may be excluded from the target of the labeling process.
  • the size of the gradation area can be determined by the size of the area of the same label, and the evaluation value can be calculated from the value.
  • the division number determination unit 312A determines the values of the codes U and V based on the evaluation value from the gradation determination unit 311A.
  • the level alignment unit 211 performs image division processing based on the signal from the division number determination unit 312A.
  • the signal processing unit dynamically controls the number of the plurality of regions in accordance with the characteristic information of the light source at the time of imaging.
  • a difference in luminance level is likely to occur due to a difference in sensor spectral characteristics. Therefore, it is preferable that the image is divided finely and processed qualitatively as the light source is more likely to have a luminance level difference.
  • FIG. 30 is a schematic diagram for explaining the configuration of the level alignment control unit according to the second modification of the third embodiment.
  • the level adjustment control unit 310B includes a light source determination unit 311B and a division number determination unit 312B.
  • the level matching unit 211 controls the division of the image according to the signal from the division number determination unit 312B.
  • the light source determination unit 311B calculates an evaluation value by multiplying, for example, a predetermined weighting factor based on light source estimation information such as AWB.
  • the division number determination unit 312B determines the values of the codes U and V based on the evaluation value from the light source determination unit 311B.
  • the level alignment unit 211 performs image division processing based on the signal from the division number determination unit 312B.
  • the signal processing unit may include position information of the subject, size information of a gradation area included in an image captured by the first imaging unit and an image captured by the second imaging unit, and characteristic information of the light source at the time of imaging
  • the number of regions can be dynamically controlled based on at least one or more pieces of information.
  • FIG. 31 is a schematic diagram for explaining the configuration of the level alignment control unit according to the third modification of the third embodiment.
  • the level alignment control unit 310C includes a distance determination unit 311, a gradation determination unit 311A, a light source determination unit 311B, and a division number determination unit 312C.
  • the level matching unit 211 controls the division of the image according to the signal from the division number determination unit 312C.
  • the division number determination unit 312C determines the values of the codes U and V in consideration of the evaluation value from the distance determination unit 311, the evaluation value from the gradation determination unit 311A, and the evaluation value from the light source determination unit 311B.
  • the values of the codes U and V may be determined using a function or a table having each evaluation value as an argument.
  • the level adjustment control unit may further be configured to determine an object and perform control.
  • the signal processing unit dynamically controls the number of the plurality of areas according to the determination information of the subject.
  • FIG. 32 is a schematic view for describing a configuration of an imaging system according to a fourth modified example of the third embodiment.
  • the former divides the image more finely and adjusts the luminance level, assuming that the image includes the subject. It is possible to do.
  • the subject determination unit 350 determines a subject and sends a predetermined evaluation value to the level adjustment control unit 310D.
  • the level matching control unit 310D is configured to operate in consideration of the evaluation value from the subject determination unit 350 in addition to the various evaluation values described above.
  • the contrast correction unit 212 may be added between the level matching unit 211 and the image processing unit 230.
  • the signals of the first imaging unit 10 and the second imaging unit 20 are directed to the level matching control unit, in some cases, the signal via the image correction unit is directed
  • a configuration is also conceivable.
  • the configuration is as shown in the sixth modification shown in FIG.
  • the fourth embodiment also relates to an imaging system, an image processing apparatus, and an image processing method according to the present disclosure.
  • the fourth embodiment has a configuration in which the second embodiment or the third embodiment is weighted with respect to the first embodiment.
  • FIG. 35 is a schematic view for describing a configuration of an imaging system according to a fourth embodiment of the present disclosure.
  • the signal processing unit 400 in the imaging system 4 in the fourth embodiment adds a level matching unit 211 (311) to the first half of the image processing unit 130 with respect to the signal processing unit 100 in the first embodiment shown in FIG. It is composition such as.
  • the configuration of the level matching unit 211 (311) is the same as that described in the second embodiment or the third embodiment.
  • image processing is performed using an image whose luminance level is more suitably adjusted. It can be done.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is any type of movement, such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), etc. It may be realized as a device mounted on the body.
  • FIG. 36 is a block diagram showing a schematic configuration example of a vehicle control system 7000 which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting the plurality of control units is, for example, an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing in accordance with various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various arithmetic operations, and drive circuits that drive devices to be controlled. Equipped with Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and by wired communication or wireless communication with an apparatus or sensor inside or outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • the other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • Drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • drive system control unit 7100 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as an ABS (Antilock Brake System) or an ESC (Electronic Stability Control).
  • Vehicle state detection unit 7110 is connected to drive system control unit 7100.
  • the vehicle state detection unit 7110 may be, for example, a gyro sensor that detects an angular velocity of an axial rotational movement of a vehicle body, an acceleration sensor that detects an acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of the sensors for detecting the angle, the engine speed, the rotational speed of the wheel, etc. is included.
  • Drive system control unit 7100 performs arithmetic processing using a signal input from vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • Body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a head lamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 7200 may receive radio waves or signals of various switches transmitted from a portable device substituting a key.
  • Body system control unit 7200 receives the input of these radio waves or signals, and controls a door lock device, a power window device, a lamp and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 which is a power supply source of the drive motor according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device provided with the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device or the like provided in the battery device.
  • Outside-vehicle information detection unit 7400 detects information outside the vehicle equipped with vehicle control system 7000.
  • the imaging unit 7410 and the external information detection unit 7420 is connected to the external information detection unit 7400.
  • the imaging unit 7410 includes at least one of a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and another camera.
  • ToF time-of-flight
  • an environment sensor for detecting the current weather or weather, or another vehicle, an obstacle or a pedestrian around the vehicle equipped with the vehicle control system 7000 is detected in the outside-vehicle information detection unit 7420, for example.
  • the ambient information detection sensors at least one of the ambient information detection sensors.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects wet weather, a fog sensor that detects fog, a sunshine sensor that detects sunshine intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a light detection and ranging (LIDAR) device.
  • the imaging unit 7410 and the external information detection unit 7420 may be provided as independent sensors or devices, or may be provided as an integrated device of a plurality of sensors or devices.
  • FIG. 37 shows an example of installation positions of the imaging unit 7410 and the external information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided at, for example, at least one of the front nose of the vehicle 7900, the side mirror, the rear bumper, the back door, and the upper portion of the windshield of the vehicle interior.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 37 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
  • the imaging range d indicates The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown.
  • a bird's-eye view of the vehicle 7900 as viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, and corners of the vehicle 7900 and above the windshield of the vehicle interior may be, for example, ultrasonic sensors or radar devices.
  • the external information detection units 7920, 7926, 7930 provided on the front nose of the vehicle 7900, the rear bumper, the back door, and the upper part of the windshield of the vehicle interior may be, for example, a LIDAR device.
  • These outside-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle or the like.
  • the out-of-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle, and receives the captured image data. Further, the external information detection unit 7400 receives detection information from the external information detection unit 7420 connected. When the out-of-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the out-of-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing or distance detection processing of a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions and the like based on the received information.
  • the external information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the external information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the external information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. It is also good.
  • the external information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • An in-vehicle information detection unit 7500 detects information in the vehicle.
  • a driver state detection unit 7510 that detects a state of a driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera for imaging the driver, a biometric sensor for detecting the driver's biological information, a microphone for collecting sound in the vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver who grips the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver does not go to sleep You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 in accordance with various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input operated by the passenger.
  • the integrated control unit 7600 may receive data obtained by speech recognition of speech input by the microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above-described input unit 7800 and outputs the generated signal to the integrated control unit 7600. The passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • HDD hard disk drive
  • semiconductor storage device an optical storage device
  • magneto-optical storage device or the like.
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)), Bluetooth (registered trademark), etc. may be implemented.
  • the general-purpose communication I / F 7620 is connected to, for example, an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or access point
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or an operator-specific network
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) existing near the vehicle using, for example, P2P (Peer To Peer) technology. It may be connected with
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol designed for use in a vehicle.
  • the dedicated communication I / F 7630 may be a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of lower layer IEEE 802.11p and upper layer IEEE 1609, for example. May be implemented.
  • the dedicated communication I / F 7630 is typically used for Vehicle to Vehicle communication, Vehicle to Infrastructure communication, Vehicle to Home communication, and Vehicle to Pedestrian. 2.) Perform V2X communication, a concept that includes one or more of the communication.
  • the positioning unit 7640 receives a GNSS signal (for example, a GPS signal from a Global Positioning System (GPS) satellite) from, for example, a Global Navigation Satellite System (GNSS) satellite and executes positioning, thereby performing latitude, longitude, and altitude of the vehicle.
  • Generate location information including Positioning section 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone having a positioning function, a PHS, or a smartphone.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station or the like installed on a road, and acquires information such as the current position, traffic jams, closing times or required time.
  • the function of the beacon reception unit 7650 may be included in the above-described dedicated communication I / F 7630.
  • An in-vehicle apparatus I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle apparatuses 7760 existing in the vehicle.
  • the in-car device I / F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected via a connection terminal (not shown) (and, if necessary, a cable) via USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile)
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried in or attached to a vehicle. Further, the in-vehicle device 7760 may include a navigation device for performing a route search to any destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled in accordance with various programs based on the information acquired. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the driving system control unit 7100. It is also good.
  • the microcomputer 7610 realizes the function of an advanced driver assistance system (ADAS) including collision avoidance or shock mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. Cooperative control for the purpose of In addition, the microcomputer 7610 automatically runs without using the driver's operation by controlling the driving force generating device, the steering mechanism, the braking device, etc. based on the acquired information of the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving and the like.
  • ADAS advanced driver assistance system
  • the microcomputer 7610 is information acquired via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon reception unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a collision of a vehicle or a pedestrian or the like approaching a road or the like on the basis of the acquired information, and may generate a signal for warning.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or aurally notifying information to a passenger or the outside of a vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a wearable device such as a glasses-type display worn by a passenger, a projector, or a lamp other than these devices.
  • the display device may obtain information obtained from various processes performed by the microcomputer 7610 or information received from another control unit in various formats such as text, images, tables, graphs, etc. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data or audio data into an analog signal and outputs it in an auditory manner.
  • At least two control units connected via communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may comprise another control unit not shown.
  • part or all of the functions of any control unit may be provided to another control unit. That is, as long as transmission and reception of information are performed via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit is connected to another control unit, a plurality of control units may mutually transmit and receive detection information via the communication network 7010. .
  • the technique according to the present disclosure may be applied to, for example, the imaging unit of the external information detection unit in the configuration described above. That is, according to the present disclosure, in an imaging system having a plurality of imaging units, it is possible to reduce the brightness level difference between the images caused by the difference between the light source and the subject. Therefore, since image processing can be performed with a difference in output level between a plurality of images reduced, more detailed information can be obtained.
  • the present disclosure can also be configured as follows.
  • the signal processing unit A luminance level adjustment process is performed by adjusting the spectral gain applied to the image data from the second imaging unit based on the image data from the first imaging unit.
  • the imaging system according to the above [A1].
  • the first imaging unit captures a color image
  • the signal processing unit adjusts the spectral gain based on a white balance correction amount obtained from image data from the first imaging unit.
  • the second imaging unit captures a monochrome image
  • the signal processing unit adjusts the spectral gain based on the value of the spectral ratio in the second imaging unit and the white balance correction amount.
  • the signal processing unit adjusts the spectral gain based on a value calculated using the value of the spectral ratio in the second imaging unit and the white balance correction amount.
  • a luminance level adjustment process is performed by adjusting the spectral gain applied to the image data from the first imaging unit based on the image data from the first imaging unit.
  • the first imaging unit captures a color image
  • the signal processing unit adjusts the spectral gain based on a white balance correction amount obtained from image data from the first imaging unit.
  • the second imaging unit captures a monochrome image
  • the signal processing unit adjusts the spectral gain based on the value of the spectral ratio in the second imaging unit and the white balance correction amount.
  • the signal processing unit A luminance level based on a value obtained by dividing an image captured by the first imaging unit and an image captured by the second imaging unit into a plurality of regions and comparing image data of corresponding regions.
  • the number of the plurality of areas is a predetermined constant value, The imaging system according to the above [A9].
  • the signal processing unit dynamically controls the number of the plurality of areas.
  • the signal processing unit dynamically controls the number of the plurality of areas according to position information of the subject.
  • the signal processing unit dynamically controls the number of the plurality of regions according to size information of a gradation region included in an image captured by the first imaging unit and an image captured by the second imaging unit. Do, The imaging system according to the above [A11].
  • the signal processing unit dynamically controls the number of the plurality of areas according to characteristic information of a light source at the time of imaging.
  • the signal processing unit includes position information of a subject, size information of a gradation area included in an image captured by the first imaging unit and an image captured by the second imaging unit, and characteristics of a light source at the time of imaging Dynamically controlling the number of the plurality of areas based on at least one or more pieces of information among the information; The imaging system according to the above [A11].
  • the signal processing unit Dynamically controlling the number of the plurality of areas according to the determination information of the subject, The imaging system according to any one of the above [A11] to [A15].
  • the signal processing unit After performing the luminance level adjustment processing, the contrast of the image subjected to the luminance level adjustment processing is further corrected.
  • the imaging system according to any one of the above [A9] to [A16].
  • the first imaging unit captures a color image, and the second imaging unit captures a monochrome image.
  • the imaging system according to any one of the above [A9] to [A17].
  • An image processing apparatus comprising a signal processing unit that performs image processing based on an image captured by a first imaging unit and an image captured by a second imaging unit, The signal processing unit Performing a brightness level adjustment process to match the brightness levels of the image captured by the first imaging unit and the image captured by the second imaging unit; Image processing is performed based on the pair of images subjected to the luminance level adjustment processing. Image processing device.
  • the signal processing unit A luminance level adjustment process is performed by adjusting the spectral gain applied to the image data from the second imaging unit based on the image data from the first imaging unit.
  • the first imaging unit captures a color image
  • the signal processing unit adjusts the spectral gain based on a white balance correction amount obtained from image data from the first imaging unit.
  • the image processing apparatus according to the above [B2].
  • the second imaging unit captures a monochrome image
  • the signal processing unit adjusts the spectral gain based on the value of the spectral ratio in the second imaging unit and the white balance correction amount.
  • [B5] The signal processing unit adjusts the spectral gain based on a value calculated using the value of the spectral ratio in the second imaging unit and the white balance correction amount.
  • the signal processing unit A luminance level adjustment process is performed by adjusting the spectral gain applied to the image data from the first imaging unit based on the image data from the first imaging unit.
  • the first imaging unit captures a color image
  • the signal processing unit adjusts the spectral gain based on a white balance correction amount obtained from image data from the first imaging unit.
  • the second imaging unit captures a monochrome image, The signal processing unit adjusts the spectral gain based on the value of the spectral ratio in the second imaging unit and the white balance correction amount.
  • the signal processing unit A luminance level based on a value obtained by dividing an image captured by the first imaging unit and an image captured by the second imaging unit into a plurality of regions and comparing image data of corresponding regions. Perform brightness level adjustment processing to match The image processing apparatus according to any one of the above [B1] to [B8].
  • the number of the plurality of areas is a predetermined constant value, The image processing apparatus according to the above [B9].
  • the signal processing unit dynamically controls the number of the plurality of areas.
  • the signal processing unit dynamically controls the number of the plurality of areas according to position information of the subject.
  • the signal processing unit dynamically controls the number of the plurality of regions according to size information of a gradation region included in an image captured by the first imaging unit and an image captured by the second imaging unit. Do, The image processing apparatus according to the above [B11].
  • the signal processing unit dynamically controls the number of the plurality of areas according to characteristic information of a light source at the time of imaging. The image processing apparatus according to the above [B11].
  • the signal processing unit includes position information of a subject, size information of a gradation area included in an image captured by the first imaging unit and an image captured by the second imaging unit, and characteristics of a light source at the time of imaging Dynamically controlling the number of the plurality of areas based on at least one or more pieces of information among the information; The image processing apparatus according to the above [B11].
  • the signal processing unit Dynamically controlling the number of the plurality of areas according to the determination information of the subject, The image processing apparatus according to any one of the above [B11] to [B15].
  • the signal processing unit After performing the luminance level adjustment processing, the contrast of the image subjected to the luminance level adjustment processing is further corrected.
  • the image processing apparatus according to any one of the above [B9] to [B16]. [B18] The first imaging unit captures a color image, and the second imaging unit captures a monochrome image. The image processing apparatus according to any one of the above [B9] to [B17].
  • the first imaging unit captures a color image, Adjusting the spectral gain based on a white balance correction amount obtained from image data from the first imaging unit; Equipped with The image processing method as described in said [C2].
  • the second imaging unit captures a monochrome image, Adjusting the spectral gain based on the value of the spectral ratio in the second imaging unit and the white balance correction amount; Equipped with The image processing method as described in said [C3].
  • [C5] Adjusting the spectral gain based on a calculated value using the value of the spectral ratio in the second imaging unit and the white balance correction amount; Equipped with The image processing method as described in said [C4].
  • [C6] Performing a luminance level adjustment process by adjusting the spectral gain applied to the image data from the first imaging unit based on the image data from the first imaging unit; Equipped with The image processing method as described in said [C1].
  • the first imaging unit captures a color image, Adjusting the spectral gain based on a white balance correction amount obtained from image data from the first imaging unit; Equipped with The image processing method as described in said [C6].
  • the second imaging unit captures a monochrome image, Adjusting the spectral gain based on the value of the spectral ratio in the second imaging unit and the white balance correction amount; Equipped with The image processing method as described in said [C7].
  • [C9] A luminance level based on a value obtained by dividing an image captured by the first imaging unit and an image captured by the second imaging unit into a plurality of regions and comparing image data of corresponding regions. Performing a brightness level adjustment process to match the Equipped with The image processing method according to any one of the above [C1] to [C8].
  • the number of the plurality of areas is a predetermined constant value, The image processing method as described in said [C9].
  • [C11] Dynamically control the number of the plurality of areas, The image processing method as described in said [C9].
  • [C12] Dynamically control the number of the plurality of areas according to position information of the subject, The image processing method as described in said [C11].
  • [C13] Dynamically controlling the number of the plurality of areas according to size information of a gradation area included in an image captured by the first imaging unit and an image captured by the second imaging unit; The image processing method as described in said [C11].
  • [C14] Dynamically controlling the number of the plurality of areas according to the characteristic information of the light source at the time of imaging; The image processing method as described in said [C11].
  • [C15] At least one of position information of a subject, size information of a gradation area included in an image captured by the first imaging unit and an image captured by the second imaging unit, and characteristic information of a light source at the time of imaging Dynamically control the number of the plurality of areas based on one or more pieces of information, The image processing method as described in said [C11].
  • Second common gain processing unit 121 spectral gain processing unit 130, 230: image processing unit 210: image correction unit 211: level matching unit 211: level matching unit 212: contrast correction unit 310, 310D, 310F: level adjustment control unit 311: distance determination unit 311A: gradation determination unit 311B: light source determination unit 12,312A, 312B, 312C ⁇ division number determination unit, 350 ... object determination unit, 921 ... sensitivity difference gain processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

撮像システムは、第１撮像部と、第２撮像部と、信号処理部とを備えており、信号処理部は、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。

Description

撮像システム、画像処理装置、及び、画像処理方法
　本開示は、撮像システム、画像処理装置、及び、画像処理方法に関する。
　近年、画像を撮像する撮像部を複数有する複眼構成の撮像システムを用いて、各撮像部が撮像する複数の画像に基づいて画像処理を行なうといったことが提案されている。複数の画像間の出力レベルの差が大きい状態で画像合成等の画像処理を行なう場合、処理に支障を来たす場合がある。このため、例えば、画面全体で露光合わせを行い、複数の画像間において輝度レベルを合わせるなどといったことが提案されている（例えば、特許文献１参照）。
特開２００８－４２２２７号公報
　複数の撮像部を有する撮像システムにあっては、初期設定時において、所定の光源下（例えばＤ65光源下）での動作状態において輝度レベルが合うように撮像に関する各種パラメータを適宜選定し、以降はそのパラメータを用いて撮像を行なうといったことが考えられる。しかしながら、この場合には、所定の光源とは異なる光源下で撮像を行なう際に、撮像素子間の分光感度の差によって複数の画像間において輝度レベルに差が生ずるといったことが考えられる。また、画面全体で輝度レベルを合わせたとしても、被写体の位置や色彩の相違などに起因して、画面の特定の部分において輝度レベル差が生ずるといったことが考えられる。複数の画像に基づく画像処理を良好に行なうといった観点からは、このような輝度レベル差はできるだけ少なくすることが好ましい。
　そこで、本開示は、複数の撮像部を用いて画像を撮像する際に光源や被写体の相違に起因する画像間の輝度レベル差を軽減することができる、撮像システム、画像処理装置、及び、画像処理方法をを提供することを目的とする。
　上記の目的を達成するための本開示に係る撮像システムは、
　第１撮像部と、第２撮像部と、信号処理部とを備えており、
　前記信号処理部は、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
撮像システムである。
　上記の目的を達成するための本開示に係る画像処理装置は、
　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う信号処理部を備えた画像処理装置であって、
　前記信号処理部は、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
画像処理装置である。
　上記の目的を達成するための本開示に係る画像処理方法は、
　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う画像処理方法であって、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
　前記輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
を備えている、
画像処理方法である。
図１は、本開示の第１の実施形態に係る撮像システムの構成を説明するための模式図である。 図２は、参考例の撮像システムの構成を説明するための模式図である。 図３は、第１の実施形態において撮像部として用いられる撮像素子の分光特性を説明するための模式的なグラフである。 図４は、参考例の撮像システムにおいて、所定の光源下で感度差ゲインを設定する方法を説明するための模式図である。 図５は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源下で撮像する際の動作を説明するための模式図である。 図６は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。 図７は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源下で撮像する際の動作を説明するための模式図である。 図８は、図７に示す分光ゲイン処理部における係数の算出方法を説明するための模式図である。 図９は、図７において、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。 図１０は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。 図１１は、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。 図１２は、本開示の第１の実施形態に係る撮像システムの変形例を説明するための模式図である。 図１３は、本開示の第２の実施形態に係る撮像システムの構成を説明するための模式図である。 図１４は、第２の実施形態において撮像部として用いられる撮像素子の分光特性を説明するための模式的なグラフである。 図１５は、カラー撮像素子の出力に基づいてモノクロ画像を合成する際の分光特性をモノクロ撮像素子の分光特性と概ね一致するように設定した場合に、両者の分光特性間に観察される差を説明するための模式的なグラフである。 図１６は、画像補正部の動作を説明するための模式図である。 図１７は、第１撮像部と第２撮像部の画像分割を説明するための模式図である。 図１８Ａは、第１撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。図１８Ｂは、第２撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。 図１９Ａは、第１撮像部の画像における各分割領域における係数を説明するための模式図である。図１９Ｂは、第２撮像部の画像における各分割領域における係数を説明するための模式図である。 図２０は、各分割領域の係数比を説明するための模式図である。 図２１は、画素に対応した画像情報に乗算するゲインを、４個の分割領域の係数比を用いたバイリニア補間によって求める方法を説明するための模式図である。 図２２は、画素に対応した画像情報に乗算するゲインを、１６個の分割領域の係数比を用いたバイリニア補間によって求める方法を説明するための模式図である。 図２３は、本開示の第３の実施形態に係る撮像システムの構成を説明するための模式図である。 図２４は、遠くの被写体と近くの被写体とを撮像する際に、近くの被写体の部分において画像の位置に差が生ずることを説明する模式的な図である。 図２５は、レベル合わせ制御部の構成を説明するための模式図である。 図２６は、第１撮像部の画像と第２撮像部の画像とでグラデーションに差が生ずる場合を説明するための模式図である。 図２７Ａは、基準画像と参照画像とでグラデーションの程度が同じであると良好に照合が行なえることを説明する模式図である。図２７Ｂは、基準画像と参照画像とでグラデーションの程度に差があると照合の際に誤差を生ずることを説明するための模式図である。 図２８は、第３の実施形態の第１変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図２９は、グラデーション判定部の動作を説明するための模式的なフローチャートである。 図３０は、第３の実施形態の第２変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図３１は、第３の実施形態の第３変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図３２は、第３の実施形態の第４変形例に係る撮像システムの構成を説明するための模式図である。 図３３は、第３の実施形態の第５変形例に係る撮像システムの構成を説明するための模式図である。 図３４は、第３の実施形態の第６変形例に係る撮像システムの構成を説明するための模式図である。 図３５は、本開示の第４の実施形態に係る撮像システムの構成を説明するための模式図である。 図３６は、車両制御システムの概略的な構成の一例を示すブロック図である。 図３７は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示に係る、撮像システム、画像処理装置、及び、画像処理方法、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態：応用例
７．その他
［本開示に係る、撮像システム、画像処理装置、及び、画像処理方法、全般に関する説明］
　本開示に係る撮像システムや画像処理装置において、
　信号処理部は、
　第１撮像部からの画像データに基づいて、第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
構成とすることができる。
　上述した好ましい構成の本開示に係る撮像システムや画像処理装置にあっては、
　第１撮像部はカラー画像を撮像し、
　信号処理部は、第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する、
構成とすることができる。
　この場合において、
　第２撮像部はモノクロ画像を撮像し、
　信号処理部は、第２撮像部における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する、
構成とすることができる。
　この場合において、
　信号処理部は、第２撮像部における分光比率の値とホワイトバランス補正量とを用いた計算値に基づいて、分光ゲインを調整する、
構成とすることができる。
　あるいは又、本開示に係る撮像システムや画像処理装置において、
　信号処理部は、
　第１撮像部からの画像データに基づいて、第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
構成とすることができる。
　上述した好ましい構成の本開示に係る撮像システムや画像処理装置にあっては、
　第１撮像部はカラー画像を撮像し、
　信号処理部は、第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する、
構成とすることができる。
　この場合において、
　第２撮像部はモノクロ画像を撮像し、
　信号処理部は、第２撮像部における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する、
構成とすることができる。
　あるいは又、本開示に係る撮像システムや画像処理装置において、
　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
構成とすることができる。
　上述した好ましい構成の本開示に係る撮像システムや画像処理装置にあっては、複数の領域の個数は所定の一定値である構成とすることができる。処理の高速性を図るといった観点からは、領域の個数は所定の一定値とすることが好ましい。
　あるいは又、信号処理部は、複数の領域の個数を動的に制御するといった構成とすることもできる。輝度レベル処理の正確性をより高めるといった観点からは、領域の個数を動的に制御することが好ましい。
　この場合において、信号処理部は、被写体の位置情報に応じて複数の領域の個数を動的に制御する構成、あるいは又、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する構成、更には、撮像時における光源の特性情報に応じて複数の領域の個数を動的に制御する構成とすることができる。
　被写体の位置情報として、例えば、光学系のレンズフォーカス位置情報や、像面位相差情報といった情報を用いることができる。定性的には、被写体が撮像部から近い位置にあるといった場合には、複数の領域の個数を少なくする（換言すれば、分割を粗くする）といった制御をすることが好ましい。
　グラデーション領域情報は、例えば、画像情報（露光制御のためのＡＥ検波情報なども含む）について、微分フィルタ処理を行い、輝度が漸減する領域、あるいは、輝度が漸増する領域を抽出するといったことで得ることができる。定性的には、画像が所定のサイズより広いグラデーション領域を含むといった場合には、複数の領域の個数を少なくする（換言すれば、分割を粗くする）といった制御をすることが好ましい。
　光源の特性情報としては、例えばオートホワイトバランス（ＡＷＢ）情報などを用いることができる。定性的には、第１撮像部と第２撮像部とで感度差が相対的に大きい波長の光成分を含む光源下と判定した場合には、複数の領域の個数を多くする（換言すれば、分割を細かくする）といった制御をすることが好ましい。
　更には、信号処理部は、被写体の位置情報、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、複数の領域の個数を動的に制御する構成とすることもできる。
　複数の領域の個数を動的に制御する態様の、上述した本開示に係る撮像システムや画像処理装置において、信号処理部は、被写体の判定情報に応じて複数の領域の個数を動的に制御する構成とすることができる。あるいは又、信号処理部は、輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する構成とすることもできる。
　複数の領域の個数を動的に制御する態様の上述した本開示に係る撮像システムや画像処理装置において、第１撮像部と第２撮像部は共にモノクロ画像あるいは共にカラー画像を撮像する構成、あるいは又、第１撮像部はカラー画像を撮像し第２撮像部はモノクロ画像データを撮像する構成とすることができる。定性的には、後者の構成において輝度レベル調整の効果はより顕著に発揮される。
　本開示に係る画像処理方法は、例えば上述した好ましい構成を含む本開示の撮像システムや画像処理装置を用いて実行することができる。
　上述した好ましい構成を含む本開示の撮像システム、画像処理装置、及び、画像処理方法（以下、これらを単に、本開示と呼ぶ場合がある）において、信号処理部は、ハードウェアとして実装されていてもよいし、ソフトウェアとして実装されていてもよい、更には、ハードウェアとソフトウェアとが協同するように実装されていてもよい。
　本開示に用いられる第１撮像部や第２撮像部は、例えば、光電変換素子や種々の画素トランジスタを含む画素が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサやＣＣＤセンサといった撮像素子によって構成することができる。第１撮像部や第２撮像部は通常離間して配置される。離間の間隔は、撮像部の搭載対象となる電子機器等に応じて適宜設定すればよい。
　撮像システムに用いられる撮像部の数は２台に限定されるものでなはく、場合によっては３台以上であってもよい。定性的には、各撮像部の画角や画素数は同じであることが好ましい。しかしながら、画像間で画角が異なっていても、同じ被写体が写っている範囲内においては本開示を適用することができる。更には、画像間で画素数が異なっている場合にも、例えば、画像のリサイズ処理などによって画素数を揃えることによって、本開示を適用することができる。
　本開示にあっては、輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。画像処理の内容は特に限定するものではない。例えば、複数の画像を合成してＳ／Ｎを向上させるといった構成、白黒画像に色情報を加えてカラー画像を合成するといった構成、画像間の視差情報を抽出するといった構成、画像間の視差情報を利用して被写界深度を調整するといった構成、所定の奥行き箇所に対応するように別画像を挟むといった構成、あるいは又、輝度レベル調整処理が施された一対の画像をそれぞれ切り替えて表示するなどといった構成を挙げることができる。
［第１の実施形態］
　第１の実施形態は、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。
　図１は、本開示の第１の実施形態に係る撮像システムの構成を説明するための模式図である。
　撮像システム１は、
　第１撮像部１０と、第２撮像部２０と、画像処理装置に対応する信号処理部１００とを備えており、
　信号処理部１００は、
　第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。
　先ず、撮像システム１の概要について説明する。第１撮像部１０と第２撮像部２０は、例えば、レンズ等の光学系とＣＭＯＳセンサなどによって構成されている。第１撮像部１０と第２撮像部２０は、例えば、水平方向に所定の間隔を空けて配されている。説明の都合上、第１の実施形態において、第１撮像部１０はカラー撮像用、第２撮像部２０はモノクロ撮像用であるとする。
　信号処理部１００は、第１撮像部１０からの画像データに基づいて、第２撮像部２０からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう。
　第１撮像部１０はカラー画像を撮像し、信号処理部１００は、第１撮像部１０からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する。より詳しくは、第２撮像部２０はモノクロ画像を撮像し、信号処理部１００は、第２撮像部２０における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する。
　信号処理部１００は、例えば、シリコンから成る半導体基板上に形成されている。信号処理部１００は、第１撮像部１０からの信号を処理するための、第１共通ゲイン処理部１１０、ホワイトバランスゲイン処理部１１１、及び、ホワイトバランス補正量算出部１１２を備えており、更に、第２撮像部２０からの信号を処理するための、第２共通ゲイン処理部１２０、及び、上述したホワイトバランス補正量算出部１１２からの情報に基づいて動作する分光ゲイン処理部１２１を備えている。更に、ホワイトバランスゲイン処理部１１１からの信号と分光ゲイン処理部１２１からの信号に基づいて画像処理を行なう画像処理部１３０を備えている。
　第１共通ゲイン処理部１１０や第２共通ゲイン処理部１２０は、例えば明所や暗所での撮像においても、画像データが或る程度の範囲の数値になるように所定のゲインを乗算する。
　ホワイトバランス補正量算出部１１２は、撮像される画像の色調を整えるのに必要な補正量を算出する。ホワイトバランスゲイン処理部１１１は、撮像される画像の色調を整えるために、ホワイトバランスゲインを乗算するといった処理を行なう。
　分光ゲイン処理部１２１は、ホワイトバランス補正量算出部１１２からの情報に基づいて動作し、第２共通ゲイン処理部１２０からの信号に対して分光ゲインを乗算するといった処理を行なう。
　画像処理部１３０は、例えば、複数の画像を合成してＳ／Ｎを向上させるといった処理、白黒画像に色情報を加えてカラー画像を合成するといった処理、画像間の視差情報を抽出するといった処理、画像間の視差情報を利用して被写界深度を調整するといった処理、所定の奥行き箇所に対応するように別画像を挟むといった処理、あるいは又、輝度レベル調整処理が施された一対の画像をそれぞれ切り替えて表示するといった処理を行なう。
　上述した撮像システム１の動作については、後述する図７ないし図１１を参照して、後で詳しく説明する。
　以上、撮像システム１の概要について説明した。次いで、第１の実施形態の理解を助けるため、図１に示す分光ゲイン処理部を廃し、固定的なゲイン処理を行なう感度差ゲイン処理部に置き換えた参考例の撮像システムの構成と、その問題点について説明する。
　図２は、参考例の撮像システムの構成を説明するための模式図である。
　参考例の撮像システム９において、感度差ゲイン処理部９２１は、第２共通ゲイン処理部１２０からの信号に対して感度差ゲインを乗算するといった処理を行なう。感度差ゲインは、例えば所定の光源下での動作において好適な特性となるように設定される。
　先ず、撮像システムに用いられる撮像部の特性について説明する。
　図３は、第１の実施形態において撮像部として用いられる撮像素子の分光特性を説明するための模式的なグラフである。この図において、符号Ｂ，Ｇ，Ｒはそれぞれ、カラー撮像素子における青色、緑色、赤色の分光特性を示す。符号Ｗは、モノクロ撮像素子における分光特性を示す。横軸は光の波長を示す。縦軸は分光特性のピーク値を基準に正規化したものを示す。
　図３に示すように、一般に、モノクロ撮像素子はカラー撮像素子に比べて感度が高い。従って、モノクロ撮像素子の画像とカラー撮像素子の画像とに基づいて信号処理を行なう信号処理システムにおいて、同じ条件下で撮像を行なうと、モノクロ画像はカラー画像よりも輝度レベルが高くなる。このため、双方の画像の輝度レベルを合わせるといった必要が生ずる。
　例えば、それぞれの撮像素子で独立にＡＥ制御を行うといった構成として双方の画像の輝度レベルを合わせるといったことができる。あるいは又、一方の撮像素子におけるＡＥ制御の結果を共通で用い他方の撮像素子に感度差に応じた固定ゲインを乗算するといったことによって双方の画像の輝度レベルを合わせるとこともできる。図２に示す撮像システム９は後者の構成である。この構成は、各撮像素子で独立でＡＥ制御を行なう構成に対して、撮像素子の飽和や黒ずれ等の非線形要因に起因する輝度レベルのズレを低減することができるといった利点を備えている。
　しかしながら、参考例の撮像システム９にあっては、感度差ゲインを設定する時の光源下とは異なる光源下で撮像をしたときに、分光感度の違いから生じる差分により、輝度レベルにズレを生ずるという現象が生ずる。以下、図４ないし図６を参照して、詳しく説明する。
　図４は、参考例の撮像システムにおいて、所定の光源下で感度差ゲインを設定する方法を説明するための模式図である。尚、図４において、符号Ｒ，Ｇ，Ｂはカラー画像データの各色のデジタル値、符号Ｗはモノクロ画像データのデジタル値、符号Ｗ１はカラー画像データＲ，Ｇ，Ｂから合成されたモノクロ画像データのデジタル値を示す。後述する他の図面においても同様である。
　ホワイトバランス補正量算出部１１２は、第１撮像部１０からのデータなどに基づいて、オートホワイトバランス（ＡＷＢ）制御等により光源推定を行ない、例えば、Ｇ出力／Ｒ出力、あるいは又、Ｇ出力／Ｂ出力といった演算に基づき、ホワイトバランスゲイン処理部１１１が乗算すべきホワイトバランスを算出する。図に示す例では、
　Ｒホワイトバランスゲインwbg_r＝１．２
　Ｂホワイトバランスゲインwbg_b＝１．５
である。
　尚、ＧホワイトバランスゲインはＧ出力／Ｇ出力といった演算であるので正規化されるが、説明の都合上、
　Ｇホワイトバランスゲインwbg_g＝１．０、
とする。
　第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）が（８３，１００，６７）といった値であるとする。ホワイトバランスゲイン処理部１１１によって上述したゲインが（８３，１００，６７）の各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
　Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
　Ｗ１＝１００
といった値となる。
　一方、第２共通ゲイン処理部１２０からのモノクロ画像データＷが２２６といった値であるとする。感度差ゲイン処理部９２１における感度差ゲインを符号DF_Gainと表せば、感度差ゲイン処理部９２１から出力されるモノクロ画像データＷは、
　Ｗ＝２２６×DF_Gain
といった値となる。従って、合成したモノクロ画像データＷ１と輝度レベルを合わせるためには、
　DF_Gain＝Ｗ１／２２６＝０．４４
といった値に設定すればよい。
　参考例の撮像システムにあっては、上述した手順によって所定の光源下における感度差ゲインを設定することができる。
　図５は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源下で撮像する際の動作を説明するための模式図である。各デジタルデータの値は、図４において説明した値と同様であるので、詳しい説明は省略する。
　以上、所定の光源下での感度差ゲインの設定といったことについて説明した。しかしながら、参考例の撮像システムにあっては、感度差ゲインを設定する時の光源下とは異なる光源下で撮像をしたときに、輝度レベルにズレを生ずる。
　図６は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。
　図６は、例えば、所定の光源下よりも青みが少ない光源下で撮像を行なうといった場合の例である。
　ホワイトバランス補正量算出部１１２は、第１撮像部１０からのデータに基づいて、例えば、Ｇ出力／Ｒ出力、あるいは又、Ｇ出力／Ｂ出力といった演算に基づき、ホワイトバランスゲイン処理部１１１が乗算すべきホワイトバランスを算出する。図に示す例では、
　Ｒホワイトバランスゲインwbg_r＝１．２
　Ｇホワイトバランスゲインwbg_g＝１．０
　Ｂホワイトバランスゲインwbg_b＝３．０
である。
　第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）が（８３，１００，３３）であるとする。ホワイトバランスゲイン処理部１１１によって上述したゲインが（８３，１００，３３）の各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
　Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
　Ｗ１＝１００
といった値となる。
　一方、第２共通ゲイン処理部１２０からのモノクロ画像データＷは例えば１８８といった値を示す。感度差ゲイン処理部９２１から出力されるモノクロ画像データＷは、
　Ｗ＝２２６×DF_Gain
　　＝２２６×０．４４
　　＝８３
といった値となる。従って、合成したモノクロ画像データＷ１の値とのズレを生ずる。
　以上、参考例の撮像システムにあっては、感度差ゲインを設定する時の光源下とは異なる光源下で撮像をしたときに、輝度レベルにズレを生ずることを説明した。
　次いで、図１に示す撮像システムの動作について説明する。撮像システム１にあっては、分光ゲイン処理部１２１が、ホワイトバランス補正量算出部１１２からの情報に基づいて動作し、第２共通ゲイン処理部１２０からの信号に対して分光ゲインを乗算するといった処理を行なう。これによって、所定の光源下とは異なる光源下で撮像するときに輝度レベルがずれるといった現象が低減される。
　撮像システム１によって行なわれる画像処理方法は、
　第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
　輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
を備えている。
　撮像システム１において、第２撮像部２０はモノクロ画像を撮像する。そして、信号処理部１００は、第２撮像部２０における分光比率の値と前記ホワイトバランス補正量とに基づいて、分光ゲインを調整する。より具体的には、信号処理部１００は、第２撮像部２０における分光比率の値とホワイトバランス補正量とを用いた計算値に基づいて、分光ゲインを調整する。
　図７は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源下で撮像する際の動作を説明するための模式図である。
　第１共通ゲイン処理部１１０、第２共通ゲイン処理部１２０、ホワイトバランス補正量算出部１１２、ホワイトバランスゲイン処理部１１１からの出力値は、図４において説明した値と同様であるので、説明を省略する。
　撮像システム１において、分光ゲインは、カラー及び白黒の分光感度に基づいて予め推定した分光比率（sp_r,sp_g,sp_b）、及び、ホワイトバランス補正量算出部１１２からのホワイトバランスゲイン（wbg_r,wbg_g,wbg_b）に基づいて算出される。
　図８は、図７に示す分光ゲイン処理部における係数の算出方法を説明するための模式図である。
　分光比率（sp_r,sp_g,sp_b）は、図８におけるＷのグラフを、Ｂ，Ｇ，Ｒのグラフを適宜加算することによって近似する際の定数係数として算出される。分光比率sp_rはモノクロ撮像部のＲ分光比率を示し、分光比率sp_gはモノクロ撮像部のＧ分光比率を示し、分光比率sp_bはモノクロ撮像部のＢ分光比率を示す。従って、以下の式（１）に示す近似式が成立する。
Figure JPOXMLDOC01-appb-I000001
　尚、本実施形態に示す例において、分光比率（sp_r,sp_g,sp_b）は、以下の式（２）に示す定数が得られた。
Figure JPOXMLDOC01-appb-I000002
　そして、撮像システム１において、符号SP_Gainで表す分光ゲインは、分光比率（sp_r,sp_g,sp_b）の定数、及び、ホワイトバランス補正量算出部１１２からのホワイトバランスゲイン（wbg_r,wbg_g,wbg_b）に基づいて、以下の式（３）によって算出される。
Figure JPOXMLDOC01-appb-I000003
　図９は、図７において、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。
　この場合、分光ゲイン処理部１２１において乗算される分光ゲイン（SP_Gain）は、以下の式（４）によって算出される。
Figure JPOXMLDOC01-appb-I000004
　図に示す例では、
　Ｒホワイトバランスゲインwbg_r＝１．２
　Ｇホワイトバランスゲインwbg_b＝１．０
　Ｂホワイトバランスゲインwbg_b＝１．５
である。第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）は（８３，１００，６７）であり、ホワイトバランスゲイン処理部１１１によって上述したゲインが各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
　Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
　Ｗ１＝１００
といった値となる。
　一方、分光ゲイン処理部１２１における分光ゲイン（SP_Gain）は、式（４）に示す値であるので、第２共通ゲイン処理部１２０からのモノクロ画像データには分光ゲイン処理部１２１によってSP_Gainが乗算され、
　Ｗ＝２２６×SP_Gain＝２２６×０．４４
　　＝１００
といった値となる。
　以上説明したように、撮像システム１においても、所定の光源下の撮像において輝度レベルは好適に調整されている。次いで、所定の光源下とは異なる光源下で撮像するときの動作について説明する。
　図１０は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。
　第１共通ゲイン処理部１１０、第２共通ゲイン処理部１２０、ホワイトバランス補正量算出部１１２、ホワイトバランスゲイン処理部１１１からの出力値は、図６において説明した値と同様であるので、説明を省略する。
　図１１は、図１０において、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。
　この場合、分光ゲイン処理部１２１において乗算される分光ゲイン（SP_Gain）は、以下の式（５）によって算出される。
Figure JPOXMLDOC01-appb-I000005
　図に示す例では、
　Ｒホワイトバランスゲインwbg_r＝１．２
　Ｇホワイトバランスゲインwbg_b＝１．０
　Ｂホワイトバランスゲインwbg_b＝３．０
である。第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）が（８３，１００，３３）であり、ホワイトバランスゲイン処理部１１１によって上述したゲインが（８３，１００，３３）の各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
　Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
　Ｗ１＝１００
といった値となる。
　一方、分光ゲイン処理部１２１における分光ゲイン（SP_Gain）は、式（５）に示す値であるので、第２共通ゲイン処理部１２０からのモノクロ画像データには分光ゲイン処理部１２１によってSP_Gainが乗算され、
　Ｗ＝１８８×SP_Gain＝１８８×０．５３
　　＝１００
といった値となる。
　以上説明したように、撮像システム１にあっては、所定の光源とは異なる光源下で撮像するときにおいても、輝度レベルが好適に調整される。従って、所定の光源とは異なる光源下で撮像を行うときに輝度レベルに差が生ずるといった現象が低減される。
　第１の実施形態によれば、撮像時の光源によらず信号レベルを合わせることができるので、光源が変動するといった環境下においても輝度レベルが良好に調整された画像に基づいて画像処理を行なうことができる。
　尚、以上の説明では、分光ゲイン処理部１２１は第２撮像部２０側（モノクロ撮像部側）に配置されているとして説明したが、第１撮像部１０側（カラー撮像部側）に配置するといった構成とすることもできる。このような変形例の撮像システム１Ａを、図１２に示す。
　撮像システム１Ａにおいて、信号処理部１００Ａは、
　第１撮像部１０からの画像データに基づいて、第１撮像部１０からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう。
　より具体的には、撮像システム１Ａにおいて、第１撮像部１０はカラー画像を撮像する。信号処理部１００Ａは、第１撮像部１０からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する。第２撮像部２０はモノクロ画像を撮像し、信号処理部１００Ａは、第２撮像部２０における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する。
　以上、第１の実施形態に係る撮像システム１，１Ａについて説明した。
　第１の実施形態の説明においては、撮像システムの２つの撮像部をカラー撮像部とモノクロ撮像部の組合せから成るものとしたが、例えば、それぞれ分光特性が異なる同種の撮像部（カラー撮像部とカラー撮像部、あるいは、モノクロ撮像部とモノクロ撮像部）といった組合せにおいても、上述した分光ゲイン処理部による処理を適宜適用することができる。また、撮像システムが３つ以上の撮像部を含む場合においても、上述した分光ゲイン処理部による処理を適宜適用することができる。
［第２の実施形態］
　第２の実施形態も、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。
　図１３は、本開示の第２の実施形態に係る撮像システムの構成を説明するための模式図である。
　撮像システム２は、
　第１撮像部１０と、第２撮像部２０と、画像処理装置に対応する信号処理部２００とを備えており、
　信号処理部２００は、
　第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。
　より詳しくは、信号処理部２００は、
　第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う。
　先ず、撮像システム２の概要について説明する。第１撮像部１０と第２撮像部２０は、第１の実施形態において説明した構成と分光特性が相違する他は、基本的には同様の構成であるので、説明を省略する。説明の都合上、第２の実施形態においても、第１撮像部１０はカラー撮像用、第２撮像部２０はモノクロ撮像用であるとする。
　信号処理部２００は、例えば、シリコンから成る半導体基板上に形成されている。信号処理部２００は、第１撮像部１０及び第２撮像部２０からの画像データを補正する画像補正部２１０、画像補正部２１０からの信号に基づいてレベル合わせを行なうレベル合わせ部２１１、レベル合わせ部２１１からの信号に基づいて画像処理を行なう画像処理部２３０を備えている。
　画像補正部２１０では、デモザイク処理、ＹＵＶ変換処理、スケーラ処理、ノイズリダクション処理やレクティファイ処理などといった処理が行われる。
　レベル合わせ部２１１は、第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う。
　画像処理部２３０は、第１の実施形態において説明した画像処理部１３０と同様に、例えば、複数の画像を合成してＳ／Ｎを向上させるといった処理、白黒画像に色情報を加えてカラー画像を合成するといった処理、画像間の視差情報を抽出するといった処理、画像間の視差情報を利用して被写界深度を調整するといった処理などを行なう。
　上述した撮像システム２の動作については、後述する図１６ないし図２２を参照して、後で詳しく説明する。
　以上、撮像システム２の概要について説明した。次いで、第２の実施形態の理解を助けるため、画面全体で輝度レベルを合わせたとしても、被写体の位置や色彩の相違などに起因して、画面の特定の部分において輝度レベル差が生ずるといった現象が生ずることを説明する。
　図１４は、第２の実施形態において撮像部として用いられる撮像素子の分光特性を説明するための模式的なグラフである。
　図１４において、符号Ｂ，Ｇ，Ｒはそれぞれ、カラー撮像素子における青色、緑色、赤色の分光特性を示す。符号Ｗは、モノクロ撮像素子における分光特性を示す。横軸は光の波長を示す。縦軸は分光特性のピーク値を基準に正規化したものを示す。
　図１５は、カラー撮像素子の出力に基づいてモノクロ画像を合成する際の分光特性をモノクロ撮像素子の分光特性と概ね一致するように設定した場合に、両者の分光特性間に観察される差を説明するための模式的なグラフである。
　具体的には、図１５における符号RGB__IVで示す曲線は、図１４に示す符号Ｂ，Ｇ，Ｒのグラフに適宜係数を乗算して積分したときの積分値が図４に示す符号Ｗの積分値に概ね一致して符号Ｗのグラフに概ね倣うようにフィッティングをしたときの曲線である。この場合、カラー撮像素子の画像と、モノクロ撮像素子の画像とは、画面全体において略同様の輝度レベルとなる。
　しかしながら、図１５に示す符号Ａ１に対応する部分では、モノクロ撮像素子はカラー撮像素子に対して高い輝度レベルを示す。一方、図１５に示す符号Ａ２に対応する部分では、モノクロ撮像素子はカラー撮像素子に対して低い輝度レベルを示す。また、図１５に示す符号Ａ３に対応する部分では、モノクロ撮像素子とカラー撮像素子の輝度レベルが交互に入れ替わるような挙動を示す。
　従って、画面全体においては略同様の輝度レベルとなるように調整されていたとしても、被写体の色彩の相違などに起因して画面の特定の部分において輝度レベルに差が生ずるといったことが起こり得る。
　以上、被写体の位置や色彩の相違などに起因して、画面の特定の部分において輝度レベル差が生ずるといった現象が生ずることを説明した。
　次いで、図１３に示す撮像システム２における信号処理部の動作について説明する。
　図１３に示すように、信号処理部２００の画像補正部２１０には、第１撮像部１０からの画像Ｐ１０と第２撮像部２０からの画像Ｐ２０とが入力される。画像補正部２１０は、これらの画像について、光学的歪補正処理や平行化処理（Rectification）を施して画像を補正し、ずれが並進ずれのみとなった画像Ｐ１１，Ｐ２１を出力する。図１６は、画像補正部の動作を説明するための模式図である。
　信号処理部２００のレベル合わせ部２１１は、画像Ｐ１１，Ｐ２１を、水平方向にＵ個、垂直方向にＶ個、全体でＵ×Ｖ個といった複数の領域に分割する。そして、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行なう。
　図１７は、第１撮像部と第２撮像部の画像分割を説明するための模式図である。
　第２の実施形態において、符号Ｕ、符号Ｖは、例えば事前に定めた所定の一定値に設定されている。従って、複数の領域の個数は所定の一定値である。画像Ｐ１１における第ｕ列（但し、ｕ＝１，２・・・Ｕ）、第ｖ行目（但し、ｖ＝１，２・・・Ｖ）の領域を符号Ｔ１（ｕ，ｖ）で表す。同様に、画像Ｐ２１における第ｕ列、第ｖ行目の領域を符号Ｔ２（ｕ，ｖ）で表す。これらの各領域には、水平方向にＪ個、垂直方向にＫ個、全体でＪ×Ｋ個の画素データが含まれる。換言すれば、各領域のサイズは全て同一である。
　図１３に示すレベル合わせ部２１１は、同じ位置の領域を対比して輝度レベルの比を求める。そして、その比に基づいて、画像データにゲインを乗算する。以下、図１８ないし図２２を参照して、詳しく説明する。
　図１８Ａは、第１撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。図１８Ｂは、第２撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。
　レベル合わせ部２１１は、領域Ｔ１（ｕ，ｖ）に含まれる画素の輝度レベルの総和を求める。領域Ｔ１（ｕ，ｖ）における第ｊ列（但し、ｊ＝１，２・・・Ｊ）、第ｋ行目（但し、ｋ＝１，２・・・Ｋ）の画素を符号Ｐ１（ｊ，ｋ）と表し、その輝度を符号ＬＰ１（ｊ，ｋ）と表し、領域Ｔ１（ｕ，ｖ）に含まれる画素の輝度レベルの総和を符号ＬＴ１（ｕ，ｖ）と表せば、ＬＴ１（ｕ，ｖ）は以下の式（６）で表される（図１８Ａ参照）。
Figure JPOXMLDOC01-appb-I000006
　レベル合わせ部２１１は、同様に、領域Ｔ２（ｕ，ｖ）に含まれる画素の輝度レベルの総和を求める。領域Ｔ２（ｕ，ｖ）における第ｊ列、第ｋ行目の画素を符号Ｐ２（ｊ，ｋ）と表し、その輝度を符号ＬＰ２（ｊ，ｋ）と表し、領域Ｔ２（ｕ，ｖ）に含まれる画素の輝度レベルの総和を符号ＬＴ２（ｕ，ｖ）と表せば、ＬＴ２（ｕ，ｖ）は以下の式（７）で表される（図１８Ｂ参照）。
Figure JPOXMLDOC01-appb-I000007
　図１９Ａは、第１撮像部の画像における各分割領域における係数を説明するための模式図である。図１９Ｂは、第２撮像部の画像における各分割領域における係数を説明するための模式図である。
　次いで、レベル合わせ部２１１は、領域Ｔ１（ｕ，ｖ）の輝度レベルの総和と、領域Ｔ２（ｕ，ｖ）の輝度レベルの総和とを対比して、輝度レベルの比を求める。図２０は、各分割領域の係数比を説明するための模式図である。
　レベル合わせ部２１１は、以上のように求めた輝度レベルの比に基づいて、画像データにゲインを乗算する。説明の都合上、ここでは、領域Ｔ１（ｕ，ｖ）の画像データにゲインを乗算することによって輝度レベルを合わせるとして説明する。
　　図２１は、画素に対応した画像情報に乗算するゲインを、４個の分割領域の係数比を用いたバイリニア補間によって求める方法を説明するための模式図である。
　領域Ｔ１（ｕ，ｖ）における画素Ｐ１（ｊ，ｋ）に乗算されるゲインを符号ＬＣ（ｕ，ｖ，ｊ，ｋ）と表す。画素Ｐ１を囲む４つの周辺領域の中心に図２０で示す輝度比の重みがあるとし、バイリニア補間によって画素Ｐ１の位置に対応するゲインＬＣ（ｕ，ｖ，ｊ，ｋ）を求めることができる。そして、求めたゲインＬＣ（ｕ，ｖ，ｊ，ｋ）を、画素Ｐ１（ｊ，ｋ）の画像データに乗算することによって、輝度レベルを調整することができる。
　尚、ゲインＬＣ（ｕ，ｖ，ｊ，ｋ）を得るための補間方法は、特に限定するものではない。例えば、図２２に示すように、画素Ｐ１を囲む１６つの周辺領域の中心に図２０で示す輝度比の重みがあるとし、バイキュービック補間によって求めることができる。
　図１３に示す撮像システム２において、レベル合わせ部２１１は、入力画像Ｐ２１と同様の画像Ｐ２２と、入力画像Ｐ１２のデータに上述したゲインＬＣ（ｕ，ｖ，ｊ，ｋ）が乗算されて成る画像Ｐ１２を出力する。
　以上説明したように、撮像システム２では、画像を複数の領域に分割し、対応する領域の画像データを対比することによって輝度レベルを合わせる。従って、元画像の特定の部分において輝度レベルに差が生じていたとしても、輝度レベルが好適に調整される。
［第３の実施形態］
　第３の実施形態も、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。
　第２の実施形態にあっては、画像Ｐ１１，Ｐ２１の分割領域の個数は固定であった。これに対し、第３の実施形態にあっては、領域の個数は動的に制御される。
　図２３は、本開示の第３の実施形態に係る撮像システムの構成を説明するための模式図である。
　撮像システム３は、
　第１撮像部１０と、第２撮像部２０と、画像処理装置に対応する信号処理部３００とを備えており、
　信号処理部３００は、
　第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。
　撮像システム３においても、信号処理部３００は、
　第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う。更には、複数の領域の個数を動的に制御する。
　先ず、撮像システム３の概要について説明する。第１撮像部１０と第２撮像部２０は、第２の実施形態において説明した構成と同様の構成であるので、説明を省略する。
　信号処理部３００は、例えば、シリコンから成る半導体基板上に形成されている。信号処理部３００は、第１撮像部１０及び第２撮像部２０からの画像データを補正する画像補正部２１０、画像補正部２１０からの信号に基づいてレベル合わせを行なうレベル合わせ部２１１、レベル合わせ部２１１からの信号に基づいて画像処理を行なう画像処理部２３０を備えている。更に、信号処理部３００は、レベル合わせ部２１１を制御するレベル合わせ制御部３１０を備えている。
　画像補正部２１０や画像処理部２３０は、第２の実施形態において説明した構成と同様の構成であるので、説明を省略する。レベル合わせ部２１１は、画像を分割する領域の個数が動的に制御される点を除く他は、第２の実施形態において説明した構成と同様の構成であるので、説明を省略する。
　上述した撮像システム３の動作については、後述する図２５を参照して、後で詳しく説明する。
　以上、撮像システム３の概要について説明した。次いで、第３の実施形態の理解を助けるため、画面の分割数を動的に変化させることの意義について説明する。
　図２４は、遠くの被写体と近くの被写体とを撮像する際に、近くの被写体の部分において画像の位置に差が生ずることを説明する模式的な図である。
　第１撮像部１０と第２撮像部２０とが離間して配置されている場合、被写体までの距離が遠い物体では視差は小さい。逆に、被写体までの距離が近い物体では視差が大きい。図２４に示す例では、遠景の山では視差は小さく、近景の葡萄では視差が大きい。
　従って、第１撮像部１０の画像Ｐ１１の領域ＰＴ１には葡萄が撮像されているのに対し、領域ＰＴ１に対応する第２撮像部２０の画像Ｐ２１の領域ＰＴ２の部分には葡萄が撮像されていないといったことが起こりうる。
　このような場合に、領域ＰＴ１と領域ＰＴ２とを対比して輝度レベルを調整するとすれば、異なる対象物が写った画像データを対比して処理を行なうこととなり、支障を生ずる。このような場合、定性的には、画像の分割を粗くして処理を行なうことが好ましい。
　以上の点に鑑み、第３の実施形態にあっては、画像の分割数を動的に変化させる。信号処理部３００は、被写体の位置情報に応じて複数の領域の個数を動的に制御する。定性的には、元画像に含まれる被写体が近いほど、第２の実施形態における符号Ｕ、符号Ｖを減ずるように制御する。
　図２５は、レベル合わせ制御部の構成を説明するための模式図である。
　レベル合わせ制御部３１０は、距離判定部３１１と分割数判定部３１２とを備えている。レベル合わせ部２１１は、分割数判定部３１２からの信号に応じて、画像の分割を制御する。
　上述したように、定性的には、被写体位置が近いほど分割数を少なくし、逆に、遠いほど多くすることが好ましい。距離判定部３１１には、例えば、光学系のフォーカス位置や撮像部が有する像面位相差センサからの情報が距離情報として与えられる。距離判定部３１１は、距離情報に基づいて、例えば所定の重み係数を乗算して評価値を算出する。位置ごとの距離情報が取得できる場合は、その位置ごとの評価値を算出しても良い。分割数判定部３１２は、距離判定部３１１からの評価値に基づいて、符号Ｕ，Ｖの値を決定する。レベル合わせ部２１１は、分割数判定部３１２からの信号に基づいて、画像の分割処理を行なう。
　以上説明したように、撮像システム３では、元画像に含まれる被写体が近いほど、分割を粗く分割した状態で輝度レベルが調整されるので、異なる対象物が写った画像データをそのまま対比するといったことが回避される。
　上述の説明では、被写体の位置情報に応じて複数の領域の個数を動的に制御したが、他の要素に基づいて動的に制御するといった構成も可能である。
　以下、第３の実施形態の第１変形例について説明する。第１変形例において、信号処理部は、第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて複数の領域の個数を動的に制御する。
　先ず、元画像にグラデーションのある部分が含まれる場合に起こりうる現象について説明する。
　図２６は、第１撮像部１０の画像と第２撮像部の画像とでグラデーションに差が生ずる場合を説明するための模式図である。
　撮像部を構成する撮像素子の分光特性などにもよるが、同一の被写体を撮像した場合においても、グラデーションの程度に差が生ずるといったことが生じ得る。図２６は、画像Ｐ１１の領域ＰＴ１は濃いグラデーション、画像Ｐ２１の領域ＰＴ２は薄いグラデーションである例を示す。
　このような場合、領域ＰＴ１と領域ＰＴ２とで画像の照合を行なうとすれば誤差が生ずる。図２７Ａは、基準画像と参照画像とでグラデーションの程度が同じであると良好に照合が行なえることを説明する模式図である。図２７Ｂは、基準画像と参照画像とでグラデーションの程度に差があると照合の際に誤差を生ずることを説明するための模式図である。
　従って、元画像において輝度が漸減あるいは漸増するといったグラデーション領域が大きなサイズであるほど、定性的には、画像の分割を粗くして処理を行なうことが好ましい。
　図２８は、第３の実施形態の第１変形例に係るレベル合わせ制御部の構成を説明するための模式図である。
　レベル合わせ制御部３１０Ａは、グラデーション判定部３１１Ａと分割数判定部３１２Ａとを備えている。レベル合わせ部２１１は、分割数判定部３１２Ａからの信号に応じて、画像の分割を制御する。
　図２９は、グラデーション判定部の動作を説明するための模式的なフローチャートである。
　グラデーション判定部３１１Ａは、ＡＥ検波情報や画像情報からグラデーション領域判定を行い、その領域のサイズに基づいて評価値を算出する。グラデーション判定は、基本的には、視差方向に連続したグラデーションがあるかどうかを判定の対象とする。具体的には、視差方向に微分を行い、同符号が連続するごとにラベリング処理を行うことでグラデーション領域を判別する。その際、設定された閾値以下の値はラベリング処理の対象から外しても良い。同ラベルの領域の大きさによりがグラデーション領域サイズが求まり、その値から評価値を算出することができる。分割数判定部３１２Ａは、グラデーション判定部３１１Ａからの評価値に基づいて、符号Ｕ，Ｖの値を決定する。レベル合わせ部２１１は、分割数判定部３１２Ａからの信号に基づいて、画像の分割処理を行なう。
　引き続き、第３の実施形態の第２変形例について説明する。第２変形例において、信号処理部は、撮像時における光源の特性情報に応じて複数の領域の個数を動的に制御する。
　第２の実施形態において図１５を参照して説明したように、図１５に符号Ａ１，Ａ２，Ａ３に対応する部分においては、センサ分光特性の差によって輝度レベル差が生じやすい。従って、輝度レベル差が生じやすい光源であるほど、定性的には、画像の分割を細かくして処理をするといったことが好ましい。
　図３０は、第３の実施形態の第２変形例に係るレベル合わせ制御部の構成を説明するための模式図である。
　レベル合わせ制御部３１０Ｂは、光源判定部３１１Ｂと分割数判定部３１２Ｂとを備えている。レベル合わせ部２１１は、分割数判定部３１２Ｂからの信号に応じて、画像の分割を制御する。
　光源判定部３１１Ｂは、ＡＷＢなどの光源推定情報に基づいて、例えば所定の重み係数を乗算して評価値を算出する。分割数判定部３１２Ｂは、光源判定部３１１Ｂからの評価値に基づいて、符号Ｕ，Ｖの値を決定する。レベル合わせ部２１１は、分割数判定部３１２Ｂからの信号に基づいて、画像の分割処理を行なう。
　以上、第３の実施形態とその第１変形例および第２変形例について説明したが、これらを適宜統合した変形例も可能である。例えば、信号処理部は、被写体の位置情報、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、複数の領域の個数を動的に制御するといった構成とすることができる。
　図３１は、第３の実施形態の第３変形例に係るレベル合わせ制御部の構成を説明するための模式図である。
　レベル合わせ制御部３１０Ｃは、距離判定部３１１、グラデーション判定部３１１Ａ、光源判定部３１１Ｂ、分割数判定部３１２Ｃを備えている。レベル合わせ部２１１は、分割数判定部３１２Ｃからの信号に応じて、画像の分割を制御する。
　分割数判定部３１２Ｃは、距離判定部３１１からの評価値、グラデーション判定部３１１Ａからの評価値、及び、光源判定部３１１Ｂからの評価値を勘案して、符号Ｕ，Ｖの値を決定する。例えば、各評価値を引数とする関数やテーブルなどを用いて、符号Ｕ，Ｖの値を決定すればよい。
　尚、レベル合わせ制御部は、更に、被写体を判定して制御を行なうといった構成とすることもできる。第４変形例において、信号処理部は、被写体の判定情報に応じて前記複数の領域の個数を動的に制御する。
　図３２は、第３の実施形態の第４変形例に係る撮像システムの構成を説明するための模式図である。
　例えば、画像に人物像と背景とが含まれている場合と、画像に背景のみが含まれている場合とでは、前者は画像に主題が含まれているとしてより細かい分割を行い輝度レベルを調整するといったことが考えられる。
　図３２に示す信号処理部３００Ｄにおいて、被写体判定部３５０は、被写体を判定して所定の評価値をレベル合わせ制御部３１０Ｄに送る。レベル合わせ制御部３１０Ｄは、上述した各種の評価値に加えて、被写体判定部３５０からの評価値を勘案して動作するといった構成である。
　以上、第３の実施形態および各種の変形例について説明した。上述した実施形態にあっては、レベル合わせ部からの信号がそのまま画像処理部に送られるとしたが、これは例示にすぎない。
　例えば、視差情報を検出するといった場合には、コントラスト補正を施した画像を用いることが好ましい。このような場合には、図３３に示す第５変形例のように、レベル合わせ部２１１と画像処理部２３０との間に、コントラスト補正部２１２を加えればよい。
　また、上述した図２３にあっては、第１撮像部１０と第２撮像部２０の信号がレベル合わせ制御部に向かうように記したが、場合によって、画像補正部を介した信号が向かうといった構成も考えられる。例えば、図３４に示す第６変形例のような構成である。
［第４の実施形態］
　第４の実施形態も、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。
　第４の実施形態は、第１の実施形態に対して第２の実施形態あるいは第３の実施形態を加重したといった構成である。
　図３５は、本開示の第４の実施形態に係る撮像システムの構成を説明するための模式図である。
　第４の実施形態における撮像システム４における信号処理部４００は、図１に示す第１実施形態の信号処理部１００に対して、画像処理部１３０の前半にレベル合わせ部２１１（３１１）を加えたといった構成である。レベル合わせ部２１１（３１１）の構成は、第２の実施形態あるいは第３の実施形態において説明したのと同様である。
　第４の実施形態によれば、第１の実施形態における効果と第２あるいは第３の実施形態における効果とが相乗されるので、より好適に輝度レベルが調整された画像を用いて画像処理を行なうことができる。
［第５の実施形態：応用例］
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図３６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。即ち、本開示によれば、複数の撮像部を有する撮像システムにおいて光源や被写体の相違に起因する画像間の輝度レベル差を軽減することができる。従って、複数の画像間の出力レベルの差が軽減された状態で画像処理を行なうことができるので、より詳細な情報を得ることが可能になる。
［本開示の構成］
　尚、本開示は、以下のような構成をとることもできる。
［Ａ１］
　第１撮像部と、第２撮像部と、信号処理部とを備えており、
　前記信号処理部は、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
撮像システム。
［Ａ２］
　前記信号処理部は、
　前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ａ１］に記載の撮像システム。
［Ａ３］
　前記第１撮像部はカラー画像を撮像し、
　前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ａ２］に記載の撮像システム。
［Ａ４］
　前記第２撮像部はモノクロ画像を撮像し、
　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ａ３］に記載の撮像システム。
［Ａ５］
　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する、
上記［Ａ４］に記載の撮像システム。
［Ａ６］
　前記信号処理部は、
　前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ａ１］に記載の撮像システム。
［Ａ７］
　前記第１撮像部はカラー画像を撮像し、
　前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ａ６］に記載の撮像システム。
［Ａ８］
　前記第２撮像部はモノクロ画像を撮像し、
　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ａ７］に記載の撮像システム。
［Ａ９］
　前記信号処理部は、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
上記［Ａ１］ないし［Ａ８］のいずれかに記載の撮像システム。
［Ａ１０］
　前記複数の領域の個数は所定の一定値である、
上記［Ａ９］に記載の撮像システム。
［Ａ１１］
　前記信号処理部は、前記複数の領域の個数を動的に制御する、
上記［Ａ９］に記載の撮像システム。
［Ａ１２］
　前記信号処理部は、被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１３］
　前記信号処理部は、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１４］
　前記信号処理部は、撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１５］
　前記信号処理部は、被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１６］
　前記信号処理部は、
　被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］ないし［Ａ１５］のいずれかに記載の撮像システム。
［Ａ１７］
　前記信号処理部は、
　前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する、
上記［Ａ９］ないし［Ａ１６］のいずれかに記載の撮像システム。
［Ａ１８］
　前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
上記［Ａ９］ないし［Ａ１７］のいずれかに記載の撮像システム。
［Ｂ１］
　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う信号処理部を備えた画像処理装置であって、
　前記信号処理部は、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
　前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
画像処理装置。
［Ｂ２］
　前記信号処理部は、
　前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ｂ１］に記載の画像処理装置。
［Ｂ３］
　前記第１撮像部はカラー画像を撮像し、
　前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ｂ２］に記載の画像処理装置。
［Ｂ４］
　前記第２撮像部はモノクロ画像を撮像し、
　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ｂ３］に記載の画像処理装置。
［Ｂ５］
　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する、
上記［Ｂ４］に記載の画像処理装置。
［Ｂ６］
　前記信号処理部は、
　前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ｂ１］に記載の画像処理装置。
［Ｂ７］
　前記第１撮像部はカラー画像を撮像し、
　前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ｂ６］に記載の画像処理装置。
［Ｂ８］
　前記第２撮像部はモノクロ画像を撮像し、
　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ｂ７］に記載の画像処理装置。
［Ｂ９］
　前記信号処理部は、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
上記［Ｂ１］ないし［Ｂ８］のいずれかに記載の画像処理装置。
［Ｂ１０］
　前記複数の領域の個数は所定の一定値である、
上記［Ｂ９］に記載の画像処理装置。
［Ｂ１１］
　前記信号処理部は、前記複数の領域の個数を動的に制御する、
上記［Ｂ９］に記載の画像処理装置。
［Ｂ１２］
　前記信号処理部は、被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１３］
　前記信号処理部は、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１４］
　前記信号処理部は、撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１５］
　前記信号処理部は、被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１６］
　前記信号処理部は、
　被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］ないし［Ｂ１５］のいずれかに記載の画像処理装置。
［Ｂ１７］
　前記信号処理部は、
　前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する、
上記［Ｂ９］ないし［Ｂ１６］のいずれかに記載の画像処理装置。
［Ｂ１８］
　前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
上記［Ｂ９］ないし［Ｂ１７］のいずれかに記載の画像処理装置。
［Ｃ１］
　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う画像処理方法であって、
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
　前記輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
を備えている、
画像処理方法。
［Ｃ２］
　前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう工程、
を備えている、
上記［Ｃ１］に記載の画像処理方法。
［Ｃ３］
　前記第１撮像部はカラー画像を撮像し、
　前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ２］に記載の画像処理方法。
［Ｃ４］
　前記第２撮像部はモノクロ画像を撮像し、
　前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ３］に記載の画像処理方法。
［Ｃ５］
　前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ４］に記載の画像処理方法。
［Ｃ６］
　前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう工程、
を備えている、
上記［Ｃ１］に記載の画像処理方法。
［Ｃ７］
　前記第１撮像部はカラー画像を撮像し、
　前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ６］に記載の画像処理方法。
［Ｃ８］
　前記第２撮像部はモノクロ画像を撮像し、
　前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ７］に記載の画像処理方法。
［Ｃ９］
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う工程、
を備えている、
上記［Ｃ１］ないし［Ｃ８］のいずれかに記載の画像処理方法。
［Ｃ１０］
　前記複数の領域の個数は所定の一定値である、
上記［Ｃ９］に記載の画像処理方法。
［Ｃ１１］
　前記複数の領域の個数を動的に制御する、
上記［Ｃ９］に記載の画像処理方法。
［Ｃ１２］
　被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１３］
　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１４］
　撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１５］
　被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１６］
　被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］ないし［Ｃ１５］のいずれかに記載の画像処理方法。
［Ｃ１７］
　前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する工程、
を備えている、
上記［Ｃ９］ないし［Ｃ１６］のいずれかに記載の画像処理方法。
［Ｃ１８］
　前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
上記［Ｃ９］ないし［Ｃ１７］のいずれかに記載の画像処理方法。
１，１Ａ，２，３，３Ｄ，３Ｅ，３Ｆ，４，９・・・撮像システム、１０・・・第１撮像部、２０・・・第２撮像部、１００，１００Ａ，２００，３００，３００Ｄ，３００Ｅ，３００Ｆ，４００，９００・・・信号処理部、１１０・・・第１共通ゲイン処理部、１１１・・・ホワイトバランスゲイン処理部、１１２・・・ホワイトバランス補正量算出部、１２０・・・第２共通ゲイン処理部、１２１・・・分光ゲイン処理部、１３０，２３０・・・画像処理部、２１０・・・画像補正部、２１１・・・レベル合わせ部、２１１・・・レベル合わせ部、２１２・・・コントラスト補正部、３１０，３１０Ｄ，３１０Ｆ・・・レベル合わせ制御部、３１１・・・距離判定部、３１１Ａ・・・グラデーション判定部、３１１Ｂ・・・光源判定部、３１２，３１２Ａ，３１２Ｂ，３１２Ｃ・・・分割数判定部、３５０・・・被写体判定部、９２１・・・感度差ゲイン処理部

Claims (20)

  1. 　第１撮像部と、第２撮像部と、信号処理部とを備えており、
    　前記信号処理部は、
    　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
    　前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
    撮像システム。
  2. 　前記信号処理部は、
    　前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
    請求項１に記載の撮像システム。
  3. 　前記第１撮像部はカラー画像を撮像し、
    　前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
    請求項２に記載の撮像システム。
  4. 　前記第２撮像部はモノクロ画像を撮像し、
    　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
    請求項３に記載の撮像システム。
  5. 　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する、
    請求項４に記載の撮像システム。
  6. 　前記信号処理部は、
    　前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
    請求項１に記載の撮像システム。
  7. 　前記第１撮像部はカラー画像を撮像し、
    　前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
    請求項６に記載の撮像システム。
  8. 　前記第２撮像部はモノクロ画像を撮像し、
    　前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
    請求項７に記載の撮像システム。
  9. 　前記信号処理部は、
    　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
    請求項１に記載の撮像システム。
  10. 　前記複数の領域の個数は所定の一定値である、
    請求項９に記載の撮像システム。
  11. 　前記信号処理部は、前記複数の領域の個数を動的に制御する、
    請求項９に記載の撮像システム。
  12. 　前記信号処理部は、被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
  13. 　前記信号処理部は、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
  14. 　前記信号処理部は、撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
  15. 　前記信号処理部は、被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
  16. 　前記信号処理部は、
    　被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
  17. 　前記信号処理部は、
    　前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する、
    請求項９に記載の撮像システム。
  18. 　前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
    請求項９に記載の撮像システム。
  19. 　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う信号処理部を備えた画像処理装置であって、
    　前記信号処理部は、
    　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
    　前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
    画像処理装置。
  20. 　第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う画像処理方法であって、
    　前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
    　前記輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
    を備えている、
    画像処理方法。
PCT/JP2018/041978 2017-12-06 2018-11-13 撮像システム、画像処理装置、及び、画像処理方法 WO2019111651A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017233933A JP2019103046A (ja) 2017-12-06 2017-12-06 撮像システム、画像処理装置、及び、画像処理方法
JP2017-233933 2017-12-06

Publications (1)

Publication Number Publication Date
WO2019111651A1 true WO2019111651A1 (ja) 2019-06-13

Family

ID=66750943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041978 WO2019111651A1 (ja) 2017-12-06 2018-11-13 撮像システム、画像処理装置、及び、画像処理方法

Country Status (2)

Country Link
JP (1) JP2019103046A (ja)
WO (1) WO2019111651A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199271A (ja) * 2000-12-26 2002-07-12 Sanyo Electric Co Ltd 撮像装置
JP2009017457A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp 複眼撮影装置及びその調節方法
JP2013085140A (ja) * 2011-10-11 2013-05-09 Canon Inc 撮像装置およびその制御方法
JP2013092552A (ja) * 2011-10-24 2013-05-16 Toshiba Corp 固体撮像装置及びカメラモジュール
JP2015197745A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199271A (ja) * 2000-12-26 2002-07-12 Sanyo Electric Co Ltd 撮像装置
JP2009017457A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp 複眼撮影装置及びその調節方法
JP2013085140A (ja) * 2011-10-11 2013-05-09 Canon Inc 撮像装置およびその制御方法
JP2013092552A (ja) * 2011-10-24 2013-05-16 Toshiba Corp 固体撮像装置及びカメラモジュール
JP2015197745A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2019103046A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
EP3474534B1 (en) Image processing apparatus, imaging apparatus, and image processing system
US10704957B2 (en) Imaging device and imaging method
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
WO2017208536A1 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN110012215B (zh) 图像处理装置和图像处理方法
US11375137B2 (en) Image processor, image processing method, and imaging device
WO2018042815A1 (ja) 画像処理装置と画像処理方法
JPWO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法
WO2018088016A1 (ja) 画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
US10791287B2 (en) Imaging control apparatus and method, and vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885192

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18885192

Country of ref document: EP

Kind code of ref document: A1