WO2017169805A1 - 撮像装置、車載カメラ、および画像処理方法 - Google Patents

撮像装置、車載カメラ、および画像処理方法 Download PDF

Info

Publication number
WO2017169805A1
WO2017169805A1 PCT/JP2017/010505 JP2017010505W WO2017169805A1 WO 2017169805 A1 WO2017169805 A1 WO 2017169805A1 JP 2017010505 W JP2017010505 W JP 2017010505W WO 2017169805 A1 WO2017169805 A1 WO 2017169805A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
opening
intensity
passed
receiving surface
Prior art date
Application number
PCT/JP2017/010505
Other languages
English (en)
French (fr)
Inventor
知文 小石
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP17774349.9A priority Critical patent/EP3439300B1/en
Priority to US16/084,324 priority patent/US10582102B2/en
Priority to JP2018508998A priority patent/JP6633738B2/ja
Publication of WO2017169805A1 publication Critical patent/WO2017169805A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Definitions

  • Embodiments of the present disclosure relate to an imaging device, a vehicle-mounted camera, and an image processing method.
  • Patent Document 1 includes photodiodes each having a red transmission filter and a blue transmission filter within the image circle of the lens and outside the effective imaging area of the imaging device, and white balance based on the output of the photodiode.
  • An imaging device that performs adjustment is disclosed.
  • An imaging apparatus includes a lens, a mask, and an imaging element.
  • the mask has a first opening and a second opening into which light that has passed through the lens is incident.
  • the image sensor photoelectrically converts the first light that has passed through the first opening and the second light that has passed through the second opening, which are respectively irradiated on the light receiving surface.
  • the in-vehicle camera includes a lens, a mask, and an image sensor.
  • the mask has a first opening and a second opening into which light that has passed through the lens is incident.
  • the image sensor photoelectrically converts the first light that has passed through the first opening and the second light that has passed through the second opening, which are respectively irradiated on the light receiving surface.
  • the image processing method is an image processing method using an imaging apparatus including a lens, a mask, an imaging element, and a processor.
  • the mask has a first opening and a second opening into which light that has passed through the lens is incident.
  • the image sensor photoelectrically converts the first light that has passed through the first opening and the second light that has passed through the second opening, which are respectively irradiated on the light receiving surface.
  • the processor calculates the intensity of the second light, and adjusts the white balance based on the calculated intensity.
  • FIG. 1 It is a figure showing a vehicle provided with an imaging device concerning one embodiment of this indication. It is a figure which shows schematic structure of the imaging optical system and imaging device of an imaging device. The horizontal axis is a graph showing the wavelength of light, and the vertical axis is the sensitivity of each pixel of RGB. It is a front view of the mask contained in an imaging optical system. It is a figure which shows the positional relationship of the light-receiving surface of an image pick-up element, and the irradiation area
  • a vehicle 11 including an imaging device 10 according to an embodiment of the present disclosure will be described with reference to FIG.
  • the imaging device 10 is used as an in-vehicle camera, for example.
  • the imaging device 10 is disposed on the vehicle 11.
  • the vehicle 11 includes, for example, an automobile.
  • the vehicle 11 travels according to the operation of the driver in the vehicle 11.
  • the imaging device 10 is disposed behind the vehicle 11 so that, for example, an external region behind the vehicle 11 can be imaged.
  • the number and arrangement of the imaging devices 10 arranged in the vehicle 11 may be arbitrarily determined.
  • the imaging apparatus 10 includes an imaging optical system and an imaging element as will be described later.
  • On the light receiving surface of the image sensor a plurality of pixels corresponding to RGB are arranged in a pattern such as a Bayer array.
  • the light receiving surface of the imaging device is also referred to as an effective imaging range of the imaging device.
  • each pixel is provided with a color filter corresponding to one of RGB.
  • the pixels corresponding to R, G, and B are also referred to as pixel R, pixel G, and pixel B, respectively.
  • the light that has passed through the imaging optical system is irradiated onto the light receiving surface of the imaging device.
  • the imaging apparatus 10 performs white balance processing based on a comparison between the intensity of light in the infrared band included in the light that has passed through the imaging optical system and the intensity of light in other wavelength bands.
  • the light in other wavelength bands may include, for example, red light, green light, and blue light. This will be specifically described below.
  • the configuration of the imaging optical system 12 and the imaging element 13 included in the imaging apparatus 10 will be specifically described.
  • illustration of components other than the imaging optical system 12 and the imaging element 13 is omitted.
  • the constituent elements include, for example, a casing of the imaging apparatus 10 and a lens barrel that holds the imaging optical system 12.
  • the imaging optical system 12 has a plurality of optical members.
  • four lenses 14-17, a filter 18, a mask 19, and a cover glass 20 that protects the imaging device 13 are arranged side by side from the object side to the image side. Is done.
  • the lenses 14-17, the filter 18, and the mask 19 each have a disk shape centered on the optical axis.
  • the numbers and positional relationships of the lenses, filters, and masks are not limited to the above-described configuration, and may be arbitrarily determined.
  • the imaging optical system 12 including the four lenses 14-17 is configured as a fisheye lens having an angle of view of, for example, 180 degrees or more.
  • the lens 14 located closest to the object has a large chromatic aberration from the optical axis toward the outside in the radial direction.
  • the filter 18 functions as a dual bandpass filter, for example. Specifically, the filter 18 transmits light in two predetermined wavelength bands, and attenuates or blocks light in other wavelength bands.
  • the two wavelength bands transmitted by the filter 18 will be described.
  • the relationship between the wavelength of light and the sensitivity of the pixel can be determined in advance by, for example, experiments or simulations.
  • the sensitivity of the pixel of the image sensor 13 with respect to the light irradiated on the light receiving surface is different for each of the pixel R, the pixel G, and the pixel B.
  • the sensitivity of the pixel to light of an arbitrary wavelength within the visible light band A is different for each of the pixel R, the pixel G, and the pixel B.
  • the filter 18 according to this embodiment transmits light in the visible light band A.
  • the sensitivity of the pixel to light of an arbitrary wavelength in the first infrared band B having a wavelength longer than that of the visible light band A is different for each of the pixel R, the pixel G, and the pixel B.
  • the sensitivity of the pixel R with respect to light of an arbitrary wavelength in the first infrared band B is higher than the sensitivity of the pixel G and the pixel B. Therefore, for example, when the light receiving surface of the imaging element 13 is irradiated with light having a wavelength in the first infrared band B, the signal intensity of the pixel R is higher than that of the pixel G and the pixel B. For this reason, the white balance can be adversely affected, for example, the captured image is reddish.
  • the filter 18 according to the present embodiment attenuates or blocks the light in the first infrared band B.
  • the sensitivity of the pixel to an arbitrary wavelength in the second infrared band C is not necessarily the same in each of the pixel R, the pixel G, and the pixel B, but is visible.
  • the difference in sensitivity between RGB is small.
  • the sensitivities of the pixel R, the pixel G, and the pixel B with respect to an arbitrary wavelength in the second infrared band C can be regarded as substantially the same. Therefore, when the intensity of light having a wavelength within the second infrared band C irradiated on the light receiving surface of the image sensor 13 is large, the RGB signal intensity is increased substantially uniformly.
  • the filter 18 according to this embodiment transmits light in the second infrared band C.
  • the light in the second infrared band C is also referred to as infrared light.
  • the filter 18 transmits light in two wavelength bands, the visible light band A and the second infrared band C, and attenuates or blocks light in other wavelength bands.
  • Other wavelength bands include, for example, the first infrared band B.
  • the filter 18 transmits light in the visible light band A.
  • the imaging device 10 can generate a color image.
  • the light in the second infrared band C is transmitted by the filter 18. For this reason, even when the intensity of the light in the visible light band A is smaller than the intensity of the light in the second infrared band C, such as at night, the RGB signal intensity increases substantially uniformly. Therefore, it is possible to generate a relatively bright color image while suppressing adverse effects on white balance.
  • the light in the first infrared band B is suppressed or blocked by the filter 18. For this reason, when the intensity of the light in the first infrared band B is relatively high, for example, only the signal intensity of the pixel R is increased, and an adverse effect on white balance is suppressed.
  • the imaging device 10 has a white balance based on a comparison between the intensity of light in the second infrared band C and the intensity of light in other wavelength bands. Execute the process.
  • the light in other wavelength bands may include, for example, red light, green light, and blue light.
  • the mask 19 shown in FIG. 2 blocks part of the light that has passed through the lens 14-17.
  • the mask 19 has one first opening 21 and one or more second openings 22.
  • the mask 19 allows only the light that has entered the first opening 21 and the second opening 22 out of the light that has passed through the lens 14-17 to pass to the image side with respect to the mask 19 and blocks the other light.
  • a region on the light receiving surface of the image sensor 13 irradiated with light that has passed through the first opening 21 is referred to as a first region 23.
  • the light that has passed through the first opening 21 is also referred to as first light.
  • a region on the light receiving surface of the image sensor 13 irradiated with light that has passed through the second opening 22 is referred to as a second region 24.
  • the light that has passed through the second opening 22 is also referred to as second light.
  • the first opening 21 is, for example, a substantially circular hole as shown in FIG.
  • the first opening 21 defines an image circle of light passing through the imaging optical system 12.
  • the diameter of the image circle 25 substantially matches the length of the light receiving surface of the image sensor 13 in the longitudinal direction
  • the center of the image circle 25 is the light receiving surface of the image sensor 13.
  • the first opening 21 is provided so as to be located at the center. Therefore, the four corners of the light receiving surface exist outside the image circle 25.
  • the size of the image circle 25 and the relative position with respect to the light receiving surface are not limited to the above-described configuration, and at least a part of the light receiving surface only needs to exist outside the image circle 25.
  • 2nd opening part 22 is a hole smaller than the opening area of the 1st opening part 21, for example, as shown in FIG.
  • the second opening 22 may be a pinhole, for example.
  • the second opening 22 is provided on the outer side in the radial direction of the first opening 21 when viewed from the center of the first opening 21.
  • a first region 23 irradiated with the first light passing through the first opening 21 a second region 24 irradiated with the second light passing through the second opening 22, Leave.
  • the second region 24 is located outside the image circle 25 on the light receiving surface.
  • the second region 24 may be located at any one of the four corners of the light receiving surface, for example.
  • the second light passing through the second opening 22 will be described in detail.
  • part of the light incident on the outer peripheral portion of the lens 14 on the lens surface on the object side passes through the second opening 22 of the mask 19.
  • the chromatic aberration of the lens 14 increases from the optical axis toward the radially outer side. For this reason, part of the light incident on the outer peripheral portion on the lens surface on the object side of the lens 14 is dispersed by the chromatic aberration of the lens 14, passes through the second opening 22, and passes through the second light receiving surface of the image sensor 13. Two areas 24 are irradiated.
  • the light dispersed by the chromatic aberration of the lens 14 is irradiated to the second region 24 as the second light through the second opening 22. Therefore, the second light is irradiated to different positions on the light receiving surface for each wavelength band. More specifically, the second light is irradiated to different positions in the second region 24 on the light receiving surface for each wavelength band. For example, in the second region 24 shown in FIG.
  • the light irradiation region 26 of the blue wavelength band, the light irradiation region 27 of the green wavelength band, the light irradiation region 28 of the red wavelength band, and the second An irradiation region 29 of light in the infrared band C is arranged from the center of the image circle 25 (or the center of the light receiving surface of the image sensor 13) outward in the radial direction.
  • Each of the irradiation regions 26-29 may be arranged such that at least a part of each region overlaps each other so that the center position of the region is not included in other regions, or each region may be arranged apart from each other.
  • the irradiation position for each wavelength band of the second light on the light receiving surface of the image sensor 13 can be determined in advance by experiment or simulation. Therefore, the pixels existing in the vicinity of the center position of each of the irradiation regions 26-29 can be determined in advance.
  • the imaging device 10 detects the intensity of light in each wavelength band among the light that has passed through the imaging optical system 12 based on the intensity of the second light that has passed through the second opening 22. Specifically, the imaging device 10 detects the intensity of blue light, the intensity of green light, the intensity of red light, and the intensity of infrared light, respectively. Details of processing for detecting the intensity of light in each wavelength band will be described later. Hereinafter, detection of light intensity is also referred to as calculation of light intensity.
  • the imaging apparatus 10 includes an imaging optical system 12, an imaging element 13, a communication interface 30, a memory 31, and a processor 32.
  • the imaging optical system 12 includes a plurality of optical members as described above.
  • the imaging optical system 12 includes four lenses 14-17, a filter 18, a mask 19, and a cover glass 20.
  • the light that has passed through the imaging optical system 12 is applied to the imaging element 13.
  • the imaging device 13 is irradiated with the first light that has passed through the first opening 21 of the mask 19 and the second light that has passed through the second opening 22.
  • the imaging element 13 includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the image sensor 13 photoelectrically converts the first light and the second light irradiated on the light receiving surface.
  • the image sensor 13 captures a subject image formed by the first light and generates a color captured image.
  • the communication interface 30 is an interface that can communicate with an external device via a network.
  • the network may include, for example, wired (wireless), wireless, or CAN (Controller Area Network) mounted on the vehicle 11.
  • the memory 31 includes, for example, a first storage device and a second storage device.
  • the memory 31 stores various information and programs necessary for the operation of the imaging apparatus 10. For example, as shown in FIG. 3, the memory 31 stores information indicating the relationship between the above-described light wavelength and pixel sensitivity. For example, the memory 31 stores information on the irradiation position for each wavelength band of the second light on the light receiving surface of the image sensor 13. Specifically, the memory 31 stores information indicating pixels existing in the vicinity of the center positions of the irradiation regions 26-29 shown in FIG.
  • the processor 32 includes a dedicated processor such as a DSP (Digital Signal Processor) and a general purpose processor such as a CPU (Central Processing Unit).
  • the processor 32 controls the operation of the entire imaging apparatus 10.
  • the processor 32 controls the operation of the image sensor 13 to read out charges obtained by photoelectric conversion of the first light and the second light irradiated on the light receiving surface, and generate a captured image based on the first light.
  • the processor 32 may cause the image sensor 13 to periodically read out charges and generate a captured image at, for example, 30 fps (Frames Per Second).
  • the processor 32 performs predetermined image processing on the captured image generated by the image sensor 13.
  • the predetermined image processing may include, for example, white balance adjustment processing, exposure adjustment processing, gamma correction processing, trimming processing, subject recognition processing, and viewpoint conversion processing.
  • the predetermined image processing may be performed on the captured image of the current frame, or may be performed on the captured images of the next and subsequent frames.
  • the processor 32 may adjust the white balance of the captured image of the current frame using a white balance adjustment parameter calculated for the current frame, as will be described later. Further, the processor 32 may adjust the white balance setting when generating captured images of the next and subsequent frames. Details of the operation of the imaging apparatus 10 when executing the white balance adjustment processing will be described later.
  • the processor 32 may output a captured image on which predetermined image processing has been performed to an external device.
  • the external device may include, for example, a display provided on the vehicle 11 or an ECU (Electronic Control Unit).
  • Step S100 The processor 32 determines the intensity of light in each wavelength band in the one or more second regions 24, in this embodiment, the intensity of blue light, the intensity of green light, the intensity of red light, and the intensity of infrared light. Detect each.
  • the processor 32 detects the intensity of the blue light in the light that has passed through the imaging optical system 12 in, for example, the second region 24 illustrated in FIG.
  • the blue light intensity is detected by comparing the RGB signal intensity from the pixel existing in the vicinity of the center position of the light irradiation region 26 in the blue wavelength band, the wavelength of the light stored in the memory 31 and the sensitivity of the pixel. And information indicating the relationship.
  • the processor 32 detects the intensity of the green light, the intensity of the red light, and the intensity of the infrared light among the lights that have passed through the imaging optical system 12.
  • the detection of the intensity of each light includes the RGB signal intensities from the pixels existing in the vicinity of the center positions of the irradiation regions 27, 28, and 29, and information indicating the relationship between the light wavelength and the pixel sensitivity described above. , Based on.
  • the processor 32 may detect, for each wavelength band, the average value of the light intensity calculated in each of the plurality of second regions 24 as the light intensity of the wavelength band. Good.
  • the processor 32 When it is determined that the light intensity calculated in at least one of the plurality of second regions 24 is an abnormal value, the processor 32 removes the light intensity determined to be an abnormal value for each wavelength band.
  • the average value of the light intensity calculated in each of the plurality of second regions 24 may be detected as the light intensity in the wavelength band.
  • the remaining intensity may be determined as an abnormal value.
  • the predetermined number may be 0.5n or more.
  • the determination of the abnormal value is not limited to the algorithm described above, and any algorithm can be employed.
  • Step S101 The processor 32 calculates an adjustment parameter for white balance adjustment processing based on the light intensity of each wavelength band detected in step S100. Specifically, the processor 32, for example, when the intensity of infrared light is m times (1 ⁇ m) or more of at least one intensity of blue light, green light, and red light, the white balance of the captured image
  • the white balance adjustment parameter is calculated so as to reduce the influence of infrared light on the. Reducing the influence of infrared light on the white balance of the captured image may include, for example, reducing RGB signal components due to infrared light.
  • the calculation of the adjustment parameter is not limited to the algorithm described above, and any algorithm can be employed.
  • Step S102 The processor 32 adjusts the white balance using the adjustment parameter calculated in step S101. Specifically, the processor 32 may perform white balance adjustment processing on the captured image of the current frame. The processor 32 may adjust the white balance setting when generating the captured image of the next and subsequent frames.
  • the imaging device 10 passes through the mask 19 having the first opening 21 and the second opening 22, and the first opening 21 that is irradiated onto the light receiving surface.
  • the imaging element 13 that photoelectrically converts the first light and the second light that has passed through the second opening 22.
  • the first light and the second light can be simultaneously irradiated onto the light receiving surface of the image sensor 13.
  • the second light irradiated at the same time as the first light is useful for adjusting the white balance while reducing the influence of the change in the imaging condition. Therefore, according to the image pickup apparatus 10, it is possible to adjust the white balance while reducing the influence due to the change in the image pickup condition without adding a component such as a photodiode.
  • the imaging apparatus 10 for example, light dispersed by chromatic aberration of the lens 14 is incident on the second opening 22, and the second light is irradiated to different positions on the light receiving surface for each wavelength band.
  • the light in the second infrared band C (infrared light) included in the second light is separated from the light in other wavelength bands. And can be detected.
  • the detection of the separated infrared light is useful for reducing adverse effects on white balance caused by infrared light.
  • processor 32 of the imaging device 10 may be provided in another device that can communicate with the imaging device 10.
  • the configuration in which the image sensor 13 has RGB pixels has been described, but the configuration of the pixel in the image sensor 13 is not limited thereto.
  • the pixels included in the image sensor 13 may have a complementary color system configuration.
  • the processor 32 of the imaging device 10 detects the intensity of blue light, the intensity of green light, the intensity of red light, and the intensity of infrared light in one or more second regions 24, respectively.
  • the method for detecting the intensity of light in each wavelength band is not limited to this.
  • the processor 32 of the imaging device 10 may be configured to be capable of detecting at least the intensity of infrared light in the second region 24.
  • Step S200 The processor 32 detects the intensity of infrared light in one or more second regions 24.
  • Step S201 The processor 32 detects the intensity of light in each wavelength band in the first region 23.
  • the intensity of light in each wavelength band may include, for example, the intensity of blue light, the intensity of green light, and the intensity of red light.
  • the processor 32 calculates, for example, an RGB histogram of the captured image generated based on the first light irradiated on the first region 23.
  • the processor 32 detects the intensity of blue light, the intensity of green light, and the intensity of red light based on the calculated RGB histogram.
  • the algorithm executed by the processor 32 is not limited to the algorithm described above, and any algorithm that detects the intensity of light in each wavelength band in the first region 23 can be employed.
  • Step S202 The processor 32 calculates an adjustment parameter for white balance adjustment processing based on the intensity of the infrared light detected in step S200 and the intensity of the light in each wavelength band detected in step S201.
  • Step S203 The processor 32 adjusts the white balance using the adjustment parameter calculated in step S202. Specifically, the processor 32 may perform white balance adjustment processing on the captured image of the current frame. The processor 32 may adjust the white balance setting when generating a captured image of the next and subsequent frames (for example, the next frame).
  • the imaging apparatus 10 having such a configuration, it is possible to adjust the white balance while reducing the influence of changes in imaging conditions, without adding a component such as a photodiode, for example, in the same manner as the above-described embodiment.
  • the imaging device 10 may be realized as a communication device having a camera function such as a mobile phone or a smartphone, and may be connected to the vehicle 11 by wire or wirelessly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置１０は、レンズ１４と、マスク１９と、撮像素子１３と、を備える。マスク１９は、レンズ１４を通過した光がそれぞれ入射される第１開口部２１および第２開口部２２を有する。撮像素子１３は、受光面上にそれぞれ照射される第１開口部２１を通過した第１光および第２開口部２２を通過した第２光を光電変換する。

Description

撮像装置、車載カメラ、および画像処理方法 関連出願の相互参照
　本出願は、２０１６年３月２９日に日本国に特許出願された特願２０１６－０６５９４５の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示の実施形態は、撮像装置、車載カメラ、および画像処理方法に関する。
　従来、カメラなどの撮像装置において、撮像画像のホワイトバランスの調整が行われている。例えば、特許文献１には、レンズのイメージサークル内であって撮像素子の有効撮像面積外に、それぞれ赤色透過フィルタと青色透過フィルタを有するフォトダイオードを備え、フォトダイオードの出力に基づいてホワイトバランスの調整を行う撮像装置が開示されている。
実登１７７１７５４号公報
　本開示の実施形態に係る撮像装置は、レンズと、マスクと、撮像素子と、を備える。マスクは、前記レンズを通過した光がそれぞれ入射される第１開口部および第２開口部を有する。撮像素子は、受光面上にそれぞれ照射される前記第１開口部を通過した第１光および前記第２開口部を通過した第２光を光電変換する。
　本開示の実施形態に係る車載カメラは、レンズと、マスクと、撮像素子と、を備える。マスクは、前記レンズを通過した光がそれぞれ入射される第１開口部および第２開口部を有する。撮像素子は、受光面上にそれぞれ照射される前記第１開口部を通過した第１光および前記第２開口部を通過した第２光を光電変換する。
　本開示の実施形態に係る画像処理方法は、レンズと、マスクと、撮像素子と、プロセッサと、を備える撮像装置を用いる画像処理方法である。マスクは、前記レンズを通過した光がそれぞれ入射される第１開口部および第２開口部を有する。撮像素子は、受光面上にそれぞれ照射される前記第１開口部を通過した第１光および前記第２開口部を通過した第２光を光電変換する。画像処理方法は、前記プロセッサが、前記第２光の強度を算出し、算出された前記強度に基づいてホワイトバランスを調整する。
本開示の一実施形態に係る撮像装置を備える車両を示す図である。 撮像装置の撮像光学系および撮像素子の概略構成を示す図である。 横軸が光の波長、縦軸がＲＧＢそれぞれの画素の感度を示すグラフである。 撮像光学系に含まれるマスクの正面図である。 撮像素子の受光面と、マスクを通過した光の照射領域との位置関係を示す図である。 図５の要部拡大図である。 撮像装置の概略構成を示すブロック図である。 撮像装置の動作を示すフローチャートである。 実施形態の変形例に係る撮像装置の動作を示すフローチャートである。
　以下、本開示の実施形態について、図面を参照して説明する。
　図１を参照して、本開示の一実施形態に係る撮像装置１０を備えた車両１１について説明する。
　撮像装置１０は、例えば車載カメラとして用いられる。撮像装置１０は、車両１１に配置される。車両１１は、例えば自動車を含む。車両１１は、車両１１内の運転者の操作に応じて走行する。本実施形態において、撮像装置１０は、例えば車両１１の後方の外部領域を撮像可能となるように車両１１の後方に配置される。車両１１に配置される撮像装置１０の数および配置は、任意に定めてもよい。
　本実施形態に係る撮像装置１０は、後述するように撮像光学系と撮像素子とを備える。撮像素子の受光面上には、例えばベイヤー配列などのパターンで、ＲＧＢに対応する複数の画素が配列されている。以下、撮像素子の受光面を、撮像素子の有効撮像範囲ともいう。例えば、各画素には、ＲＧＢのうち１つに対応するカラーフィルタが設けられる。以下、Ｒ、Ｇ、およびＢにそれぞれ対応する画素を、画素Ｒ、画素Ｇ、および画素Ｂともいう。撮像光学系を通過した光は、撮像素子の受光面上に照射される。
　本実施形態に係る撮像装置１０は、撮像光学系を通過した光に含まれる赤外帯域の光の強度と、他の波長帯域の光の強度と、の比較に基づいて、ホワイトバランスの処理を実行する。他の波長帯域の光は、例えば赤色光、緑色光、および青色光を含んでもよい。以下、具体的に説明する。
　図２を参照して、撮像装置１０が備える撮像光学系１２および撮像素子１３の構成について、具体的に説明する。図２では、撮像光学系１２および撮像素子１３以外の構成要素の図示を省略している。当該構成要素は、例えば撮像装置１０の筐体および撮像光学系１２を保持する鏡筒などを含む。
　撮像光学系１２は、複数の光学部材を有する。例えば図２に示す撮像光学系１２において、４つのレンズ１４－１７と、フィルタ１８と、マスク１９と、撮像素子１３を保護するカバーガラス２０とが、物体側から像側へ向かって並んで配置される。レンズ１４－１７、フィルタ１８、ならびにマスク１９は、それぞれ光軸を中心とする円盤形状を有している。レンズ、フィルタ、およびマスクの数および位置関係は、上述した構成に限られず、任意に定められてもよい。
　４つのレンズ１４－１７を含む撮像光学系１２は、例えば１８０度以上の画角を有する魚眼レンズとして構成される。例えば最も物体側に位置するレンズ１４は、光軸から径方向外側に向かって色収差が大きくなる。
　フィルタ１８は、例えばデュアルバンドパスフィルタとして機能する。具体的には、フィルタ１８は、所定の２つの波長帯域の光を透過し、他の波長帯域の光を減衰または遮蔽する。
　図３を参照して、フィルタ１８が透過する２つの波長帯域について説明する。例えば図３に示すような、光の波長と画素の感度との関係は、例えば実験またはシミュレーションによって予め決定可能である。図３に示すように、受光面に照射された光に対する撮像素子１３の画素の感度は、画素Ｒ、画素Ｇ、および画素Ｂそれぞれで異なる。
　例えば、可視光帯域Ａ内の任意の波長の光に対する画素の感度は、画素Ｒ、画素Ｇ、および画素Ｂそれぞれで異なる。本実施形態に係るフィルタ１８は、可視光帯域Ａの光を透過する。
　可視光帯域Ａよりも波長が長い第１赤外帯域Ｂ内の任意の波長の光に対する画素の感度は、画素Ｒ、画素Ｇ、および画素Ｂそれぞれで異なる。例えば、図３に示すように、第１赤外帯域Ｂ内の任意の波長の光に対する画素Ｒの感度は、画素Ｇおよび画素Ｂの感度よりも高い。したがって、例えば第１赤外帯域Ｂ内の波長の光が撮像素子１３の受光面に照射された場合、画素Ｇおよび画素Ｂよりも画素Ｒの信号強度が大きくなる。このため、例えば撮像画像が赤みを帯びるなど、ホワイトバランスに悪影響を与え得る。本実施形態に係るフィルタ１８は、第１赤外帯域Ｂの光を減衰または遮蔽する。
　一方、第１赤外帯域よりもさらに波長が長い第２赤外帯域Ｃ内の任意の波長に対する画素の感度は、画素Ｒ、画素Ｇ、および画素Ｂそれぞれで厳密には必ずしも一致しないものの、可視光帯域Ａおよび第１赤外帯域Ｂと比較してＲＧＢ間の感度の差が小さい。このため、第２赤外帯域Ｃ内の任意の波長に対する画素Ｒ、画素Ｇ、および画素Ｂの感度は、略同一とみなすことができる。したがって、撮像素子１３の受光面に照射された第２赤外帯域Ｃ内の波長の光の強度が大きい場合には、ＲＧＢ信号強度が略均等に大きくなる。本実施形態に係るフィルタ１８は、第２赤外帯域Ｃの光を透過する。以下、第２赤外帯域Ｃの光を、赤外光ともいう。
　本実施形態に係るフィルタ１８は、上述のように、可視光帯域Ａと、第２赤外帯域Ｃと、の２つの波長帯域の光を透過し、他の波長帯域の光を減衰または遮蔽する。他の波長帯域は、例えば第１赤外帯域Ｂを含む。フィルタ１８によって可視光帯域Ａの光が透過される。このため、撮像装置１０はカラー画像を生成可能である。フィルタ１８によって第２赤外帯域Ｃの光が透過される。このため、例えば夜間など、第２赤外帯域Ｃの光の強度に対して可視光帯域Ａの光の強度が小さい場合であっても、ＲＧＢ信号強度が略均等に大きくなる。したがって、ホワイトバランスに対する悪影響が抑制されつつ、比較的明るいカラー画像が生成可能である。一方、フィルタ１８によって第１赤外帯域Ｂの光が抑制または遮蔽される。このため、第１赤外帯域Ｂの光の強度が比較的大きい場合に、例えば画素Ｒの信号強度のみが大きくなるなど、ホワイトバランスに対する悪影響が抑制される。
　例えば可視光帯域Ａの光と比較して、第２赤外帯域Ｃの光の強度が一定程度以上大きい場合には、第２赤外帯域Ｃの光の影響によって撮像画像の彩度が低下し得る。このため、例えば撮像画像全体が白味を帯び、または撮像画像全体の色味が淡くなるなど、適切なホワイトバランスにならない可能性がある。これに対して、本実施形態に係る撮像装置１０は、後述するように第２赤外帯域Ｃの光の強度と、他の波長帯域の光の強度と、の比較に基づいて、ホワイトバランスの処理を実行する。他の波長帯域の光は、例えば赤色光、緑色光、および青色光を含んでもよい。かかる構成によって、例えば可視光帯域Ａの光と比較して第２赤外帯域Ｃの光の強度が一定程度以上大きい撮像条件における、ホワイトバランスに対する悪影響が抑制される。
　図２に示すマスク１９は、レンズ１４－１７を通過した光の一部を遮蔽する。本実施形態において、マスク１９は、１つの第１開口部２１と、１つ以上の第２開口部２２と、を有する。マスク１９は、レンズ１４－１７を通過した光のうち、第１開口部２１および第２開口部２２に入射する光のみをマスク１９よりも像側へ通過させ、他の光を遮蔽する。以下、第１開口部２１を通過した光が照射される撮像素子１３の受光面上の領域を第１領域２３という。第１開口部２１を通過した光を、第１光ともいう。第２開口部２２を通過した光が照射される撮像素子１３の受光面上の領域を第２領域２４という。第２開口部２２を通過した光を、第２光ともいう。
　第１開口部２１は、例えば図４に示すように略円形の孔である。第１開口部２１は、撮像光学系１２を通過する光のイメージサークルを規定する。本実施形態において、例えば図５に示すように、イメージサークル２５の直径が撮像素子１３の受光面の長手方向の長さと略一致し、且つ、イメージサークル２５の中心が撮像素子１３の受光面の中心に位置するように、第１開口部２１が設けられる。したがって、受光面の四隅が、イメージサークル２５の外側に存在する。イメージサークル２５の大きさおよび受光面に対する相対位置は、上述の構成に限られず、受光面の少なくとも一部がイメージサークル２５の外側に存在すればよい。
　第２開口部２２は、例えば図４に示すように第１開口部２１の開口面積よりも小さい孔である。第２開口部２２は、例えばピンホールであってもよい。第２開口部２２は、第１開口部２１の中心からみて第１開口部２１の放射方向外側に設けられる。例えば図５に示すように、第１開口部２１を通過した第１光が照射される第１領域２３と、第２開口部２２を通過した第２光が照射される第２領域２４と、が離れる。具体的には、第２領域２４が、受光面上におけるイメージサークル２５の外側に位置する。第２領域２４が、例えば受光面の四隅のうち何れか１つに位置してもよい。
　第２開口部２２を通過する第２光について、詳細に説明する。図２に示すように、例えばレンズ１４の物体側のレンズ面上の外周部に入射する光の一部が、マスク１９の第２開口部２２を通過する。レンズ１４は、上述したように光軸から径方向外側に向かって色収差が大きくなる。このため、レンズ１４の物体側のレンズ面上の外周部に入射した光の一部は、レンズ１４の色収差によって分散され、第２開口部２２を通過し、撮像素子１３の受光面上の第２領域２４に照射される。
　このように、レンズ１４の色収差によって分散された光が、第２開口部２２を介して第２光として第２領域２４に照射される。したがって、第２光は、波長帯域毎に、受光面上の異なる位置に照射される。より具体的には、第２光は、波長帯域毎に、受光面上の第２領域２４内の異なる位置に照射される。例えば図６に示す第２領域２４内において、青色の波長帯域の光の照射領域２６と、緑色の波長帯域の光の照射領域２７と、赤色の波長帯域の光の照射領域２８と、第２赤外帯域Ｃの光の照射領域２９とが、イメージサークル２５の中心（または、撮像素子１３の受光面の中心）から放射方向外側に向かって並んでいる。
　照射領域２６－２９のそれぞれは、領域の中心位置が他の領域内に含まれないように、各領域の少なくとも一部が互いに重なって並んでもよく、あるいは各領域が互いに離れて並んでもよい。撮像素子１３の受光面における、第２光の波長帯域毎の照射位置は、実験またはシミュレーションによって予め決定可能である。したがって、照射領域２６－２９それぞれの中心位置近傍に存在する画素を予め決定可能である。
　撮像装置１０は、第２開口部２２を通過した第２光の強度に基づいて、撮像光学系１２を通過した光のうち、各波長帯域の光の強度を検出する。具体的には、撮像装置１０は、青色光の強度、緑色光の強度、赤色光の強度、および赤外光の強度をそれぞれ検出する。各波長帯域の光の強度を検出する処理の詳細については後述する。以下、光の強度の検出を、光の強度の算出ともいう。
　図７を参照して、撮像装置１０の各構成要素について説明する。撮像装置１０は、撮像光学系１２と、撮像素子１３と、通信インターフェース３０と、メモリ３１と、プロセッサ３２と、を備える。
　撮像光学系１２は、上述したように複数の光学部材を含む。本実施形態では、撮像光学系１２は、４つのレンズ１４－１７、フィルタ１８、マスク１９、およびカバーガラス２０を含む。撮像光学系１２を通過した光は、撮像素子１３に照射される。具体的には、マスク１９の第１開口部２１を通過した第１光および第２開口部２２を通過した第２光が、撮像素子１３に照射される。
　撮像素子１３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１３には、上述したように受光面上に複数の画素が配列されている。撮像素子１３は、受光面上に照射される第１光および第２光を光電変換する。撮像素子１３は、第１光によって結像された被写体像を撮像してカラーの撮像画像を生成する。
　通信インターフェース３０は、ネットワークを介して外部装置と通信可能なインターフェースである。ネットワークは、例えば有線、無線、または車両１１に搭載されたＣＡＮ（Controller Area Network）などを含んでもよい。
　メモリ３１は、例えば第１記憶装置および第２記憶装置などを含む。メモリ３１は、撮像装置１０の動作に必要な種々の情報およびプログラムを記憶する。例えば、メモリ３１は、図３に示すように、上述した光の波長と画素の感度との関係を示す情報を記憶する。例えば、メモリ３１は、撮像素子１３の受光面における第２光の波長帯域毎の照射位置に関する情報を記憶する。具体的には、メモリ３１は、図６に示す照射領域２６－２９それぞれの中心位置近傍に存在する画素を示す情報を記憶する。
　プロセッサ３２は、例えばＤＳＰ（Digital Signal Processor）などの専用プロセッサおよびＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ３２は、撮像装置１０全体の動作を制御する。
　例えば、プロセッサ３２は、撮像素子１３の動作を制御して、受光面に照射される第１光および第２光を光電変換した電荷を読み出し、および、第１光に基づく撮像画像を生成させる。プロセッサ３２は、周期的に、例えば３０ｆｐｓ（Frames Per Second）で、電荷の読み出しおよび撮像画像の生成を撮像素子１３に実行させてもよい。
　プロセッサ３２は、撮像素子１３によって生成された撮像画像に対して、所定の画像処理を施す。所定の画像処理は、例えばホワイトバランス調整処理、露出調整処理、ガンマ補正処理、トリミング処理、被写体認識処理、および視点変換処理などを含んでもよい。
　所定の画像処理は、現在のフレームの撮像画像に対して行われてもよく、次回以降のフレームの撮像画像に対して行われてもよい。例えば、ホワイトバランス調整処理において、プロセッサ３２は、後述するように現在のフレームで算出したホワイトバランスの調整パラメータを用いて、現在のフレームの撮像画像のホワイトバランスを調整してもよい。また、プロセッサ３２は、次回以降のフレームの撮像画像を生成させる際のホワイトバランス設定を調整してもよい。ホワイトバランス調整処理を実行する際の撮像装置１０の動作の詳細については後述する。
　プロセッサ３２は、所定の画像処理が施された撮像画像を、外部装置へ出力してもよい。外部装置は、例えば車両１１に備えられたディスプレイまたはＥＣＵ（Electronic Control Unit）などを含んでもよい。
　図８を参照して、ホワイトバランス調整処理を実行する撮像装置１０の動作の詳細について説明する。本動作は、例えば各フレームで実行される。
　ステップＳ１００：プロセッサ３２は、１以上の第２領域２４において、各波長帯域の光の強度、本実施形態では青色光の強度、緑色光の強度、赤色光の強度、および赤外光の強度をそれぞれ検出する。
　具体的には、プロセッサ３２は、例えば図６に示す第２領域２４において、撮像光学系１２を通過した光のうち、青色光の強度を検出する。この青色光の強度の検出は、青色の波長帯域の光の照射領域２６の中心位置の近傍に存在する画素からのＲＧＢ信号強度と、メモリ３１に記憶された光の波長と画素の感度との関係を示す情報と、に基づいて行われる。プロセッサ３２は、撮像光学系１２を通過した光のうち、緑色光の強度、赤色光の強度、および赤外光の強度をそれぞれ検出する。この各光の強度の検出は、照射領域２７、２８、および２９の中心位置の近傍に存在する画素からのＲＧＢ信号強度それぞれと、上述した光の波長と画素の感度との関係を示す情報と、に基づいて行われる。
　複数の第２領域２４が存在する場合、プロセッサ３２は、波長帯域毎に、複数の第２領域２４それぞれにおいて算出した光の強度の平均値を、当該波長帯域の光の強度として検出してもよい。
　複数の第２領域２４のうち少なくとも１つにおいて算出した光の強度が異常値であると判定された場合、プロセッサ３２は、異常値と判定された光の強度を除いて、波長帯域毎に、複数の第２領域２４それぞれにおいて算出した光の強度の平均値を、当該波長帯域の光の強度として検出してもよい。プロセッサ３２は、例えばｎ個（２≦ｎ）の第２領域２４において算出したｎ個の青色光の強度のうち、所定個数の強度が略同一であって、残りの強度が略同一でない場合、当該残りの強度を異常値として判定してもよい。所定個数は、例えば、０．５ｎ個以上であってもよい。異常値の判定には、上述のアルゴリズムに限られず、任意のアルゴリズムが採用可能である。
　ステップＳ１０１：プロセッサ３２は、ステップＳ１００で検出した各波長帯域の光の強度に基づいて、ホワイトバランス調整処理のための調整パラメータを算出する。具体的には、プロセッサ３２は、例えば赤外光の強度が、青色光、緑色光、および赤色光の少なくとも１つの強度のｍ倍（１＜ｍ）以上である場合に、撮像画像のホワイトバランスに対する赤外光からの影響を低減するように、ホワイトバランスの調整パラメータを算出する。撮像画像のホワイトバランスに対する赤外光からの影響を低減することは、例えば、赤外光によるＲＧＢ信号成分を減少させることを含んでもよい。調整パラメータの算出には、上述のアルゴリズムに限られず、任意のアルゴリズムが採用可能である。
　ステップＳ１０２：プロセッサ３２は、ステップＳ１０１で算出した調整パラメータを用いて、ホワイトバランスを調整する。具体的には、プロセッサ３２は、現在のフレームの撮像画像に対してホワイトバランス調整処理を施してもよい。プロセッサ３２は、次回以降のフレームの撮像画像を生成させる際のホワイトバランス設定を調整してもよい。
　従来技術では、フォトダイオードおよび色透過フィルタを設ける必要ある。撮像装置の構成要素の追加は、コストの増大および実装面積の増大を招く可能性がある。
　これに対して、本開示の一実施形態に係る撮像装置１０は、第１開口部２１および第２開口部２２を有するマスク１９と、受光面上にそれぞれ照射される第１開口部２１を通過した第１光および第２開口部２２を通過した第２光を光電変換する撮像素子１３と、を備える。かかる構成によって、撮像素子１３の受光面上に、第１光と第２光とが同時に照射可能となる。上述したように、第１光と同時に照射される第２光は、撮像条件の変化による影響を低減してホワイトバランスの調整を行うために有用である。したがって、撮像装置１０によれば、例えばフォトダイオードなどの構成要素を追加することなく、撮像条件の変化による影響を低減してホワイトバランスを調整可能である。
　撮像装置１０において、例えばレンズ１４の色収差によって分散された光が第２開口部２２へ入射され、第２光は波長帯域毎に受光面上の異なる位置に照射される。かかる構成によって、例えば第２光が照射される受光面上の第２領域２４において、第２光に含まれる第２赤外帯域Ｃの光（赤外光）を他の波長帯域の光と分離して検出可能である。分離された赤外光の検出は、上述したように、赤外光によるホワイトバランスに対する悪影響の低減に有用である。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
　例えば、撮像装置１０のプロセッサ３２の機能の一部または全部を、撮像装置１０と通信可能な他の装置に具備させてもよい。
　上述の実施形態において、撮像素子１３がＲＧＢの画素を有する構成について説明したが、撮像素子１３が有する画素の構成はこれに限られない。例えば、撮像素子１３が有する画素は、補色系の構成であってもよい。
　上述の実施形態において、撮像装置１０のプロセッサ３２が、１以上の第２領域２４において、青色光の強度、緑色光の強度、赤色光の強度、および赤外光の強度をそれぞれ検出する構成について説明したが、各波長帯域の光の強度の検出方法はこれに限られない。例えば、撮像装置１０のプロセッサ３２が、第２領域２４において、少なくとも赤外光の強度を検出可能な構成であればよい。
　具体的には、マスク１９の第２開口部２２に、第２赤外帯域Ｃの光のみを通過させるバンドパスフィルタを設ける構成が考えられる。かかる構成では、第２領域２４に第２赤外帯域Ｃの光のみが照射される。このため、例えば撮像光学系１２の色収差が比較的小さいために第２領域２４において各波長帯域の光が十分に分離できない場合などに用いてもよい。図９を参照して、かかる構成においてホワイトバランス調整処理を実行する撮像装置１０の動作の詳細について説明する。本動作は、例えば各フレームで実行される。
　ステップＳ２００：プロセッサ３２は、１以上の第２領域２４において、赤外光の強度を検出する。
　ステップＳ２０１：プロセッサ３２は、第１領域２３において、各波長帯域の光の強度を検出する。各波長帯域の光の強度は、例えば青色光の強度、緑色光の強度、および赤色光の強度を含んでもよい。具体的には、プロセッサ３２は、例えば第１領域２３に照射された第１光に基づいて生成された撮像画像のＲＧＢのヒストグラムを算出する。プロセッサ３２は、算出されたＲＧＢのヒストグラムに基づいて、青色光の強度、緑色光の強度、および赤色光の強度をそれぞれ検出する。プロセッサ３２が実行するアルゴリズムとして、上述したアルゴリズムに限られず、第１領域２３において各波長帯域の光の強度を検出する任意のアルゴリズムが採用可能である。
　ステップＳ２０２：プロセッサ３２は、ステップＳ２００で検出した赤外光の強度と、ステップＳ２０１で検出した各波長帯域の光の強度と、に基づいて、ホワイトバランス調整処理のための調整パラメータを算出する。
　ステップＳ２０３：プロセッサ３２は、ステップＳ２０２で算出した調整パラメータを用いて、ホワイトバランスを調整する。具体的には、プロセッサ３２は、現在のフレームの撮像画像に対してホワイトバランス調整処理を施してもよい。プロセッサ３２は、次回以降のフレーム（例えば、次のフレーム）の撮像画像を生成させる際のホワイトバランス設定を調整してもよい。
　かかる構成の撮像装置１０によっても、上述した実施形態に類似して、例えばフォトダイオードなどの構成要素を追加することなく、撮像条件の変化による影響を低減してホワイトバランスを調整可能である。
　上述の実施形態に係る撮像装置１０は、例えば携帯電話またはスマートフォンなどのカメラ機能を有する通信機器として実現され、車両１１と有線または無線によって接続されてもよい。
１０　　撮像装置
１１　　車両
１２　　撮像光学系
１３　　撮像素子
１４、１５、１６、１７　　レンズ
１８　　フィルタ
１９　　マスク
２０　　カバーガラス
２１　　第１開口部
２２　　第２開口部
２３　　第１領域
２４　　第２領域
２５　　イメージサークル
２６、２７、２８、２９　　照射領域
３０　　通信インターフェース
３１　　メモリ
３２　　プロセッサ

Claims (8)

  1. 　レンズと、
    　前記レンズを通過した光がそれぞれ入射される第１開口部および第２開口部を有するマスクと、
    　受光面上にそれぞれ照射される前記第１開口部を通過した第１光および前記第２開口部を通過した第２光を光電変換する撮像素子と、
    を備える、撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記レンズの色収差によって分散された光が前記第２開口部へ入射され、
    　前記第２光は、波長帯域毎に前記受光面上の異なる位置に照射される、撮像装置。
  3. 　請求項１または２に記載の撮像装置であって、
    　前記第１光が照射される前記受光面上の第１領域と、前記第２光が照射される前記受光面上の第２領域と、が離れている、撮像装置。
  4. 　請求項１乃至３の何れか一項に記載の撮像装置であって、
    　前記第２開口部を通過した前記第２光の強度に基づいてホワイトバランスを調整するプロセッサをさらに備える、撮像装置。
  5. 　請求項４に記載の撮像装置であって、
    　前記マスクは、１以上の前記第２開口部を有し、
    　１以上の前記第２光のそれぞれは、前記受光面の四隅のうち何れか１つに照射され、
    　前記プロセッサは、前記１以上の第２開口部をそれぞれ通過した１以上の前記第２光の強度に基づいてホワイトバランスを調整する、撮像装置。
  6. 　請求項４または５に記載の撮像装置であって、
    　前記プロセッサは、前記第２光のうち、赤外帯域の光の強度と、赤外帯域以外の波長帯域の光の強度と、の比較に基づいて、ホワイトバランスを調整する、撮像装置。
  7. 　レンズと、
    　前記レンズを通過した光がそれぞれ入射される第１開口部および第２開口部を有するマスクと、
    　受光面上にそれぞれ照射される前記第１開口部を通過した第１光および前記第２開口部を通過した第２光を光電変換する撮像素子と、
    を備える、車載カメラ。
  8. 　レンズと、前記レンズを通過した光がそれぞれ入射される第１開口部および第２開口部を有するマスクと、受光面上にそれぞれ照射される前記第１開口部を通過した第１光および前記第２開口部を通過した第２光を光電変換する撮像素子と、プロセッサと、を備える撮像装置を用いて、
    　前記プロセッサが、
    　前記第２光の強度を算出し、
    　算出された前記強度に基づいてホワイトバランスを調整する、画像処理方法。
PCT/JP2017/010505 2016-03-29 2017-03-15 撮像装置、車載カメラ、および画像処理方法 WO2017169805A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17774349.9A EP3439300B1 (en) 2016-03-29 2017-03-15 Image pickup device, vehicle-mounted camera, and image processing method
US16/084,324 US10582102B2 (en) 2016-03-29 2017-03-15 Imaging apparatus, on-vehicle camera, and image processing method
JP2018508998A JP6633738B2 (ja) 2016-03-29 2017-03-15 撮像装置、車載カメラ、および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016065945 2016-03-29
JP2016-065945 2016-03-29

Publications (1)

Publication Number Publication Date
WO2017169805A1 true WO2017169805A1 (ja) 2017-10-05

Family

ID=59965419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010505 WO2017169805A1 (ja) 2016-03-29 2017-03-15 撮像装置、車載カメラ、および画像処理方法

Country Status (4)

Country Link
US (1) US10582102B2 (ja)
EP (1) EP3439300B1 (ja)
JP (1) JP6633738B2 (ja)
WO (1) WO2017169805A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107249109B (zh) * 2017-05-03 2021-02-05 Oppo广东移动通信有限公司 影像传感器、相机模组和电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160973A (ja) * 1999-12-02 2001-06-12 Nikon Corp 固体撮像素子及び電子カメラ
JP2006173314A (ja) * 2004-12-15 2006-06-29 Matsushita Electric Ind Co Ltd 固体撮像装置およびマスク描画方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5986787U (ja) 1982-11-30 1984-06-12 日本電気ホームエレクトロニクス株式会社 固体撮像装置
US6518640B2 (en) 1999-12-02 2003-02-11 Nikon Corporation Solid-state image sensor, production method of the same, and digital camera
US6665131B2 (en) * 2000-08-30 2003-12-16 Nikon Corporation Imaging optical system
CN100533199C (zh) * 2006-05-02 2009-08-26 佳能株式会社 焦点检测装置、光学设备和摄像系统
JP2009033410A (ja) * 2007-07-26 2009-02-12 Fujifilm Corp 撮像装置
EP2471258B1 (en) 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
US20170140221A1 (en) * 2015-11-13 2017-05-18 Intel Corporation Dual function camera for infrared and visible light with electrically-controlled filters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160973A (ja) * 1999-12-02 2001-06-12 Nikon Corp 固体撮像素子及び電子カメラ
JP2006173314A (ja) * 2004-12-15 2006-06-29 Matsushita Electric Ind Co Ltd 固体撮像装置およびマスク描画方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3439300A4 *

Also Published As

Publication number Publication date
EP3439300A4 (en) 2019-09-18
US20190075226A1 (en) 2019-03-07
EP3439300A1 (en) 2019-02-06
JPWO2017169805A1 (ja) 2019-01-10
JP6633738B2 (ja) 2020-01-22
US10582102B2 (en) 2020-03-03
EP3439300B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP4603011B2 (ja) イメージ撮像装置及びその動作方法
US10419685B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
EP2471258B1 (en) Reducing noise in a color image
WO2015199163A1 (ja) 撮像センサおよび撮像装置
US10630920B2 (en) Image processing apparatus
JP6734647B2 (ja) 撮像装置
US10416026B2 (en) Image processing apparatus for correcting pixel value based on difference between spectral sensitivity characteristic of pixel of interest and reference spectral sensitivity, image processing method, and computer-readable recording medium
CN111263057B (zh) 摄像设备、摄像设备的控制方法、计算方法和存储介质
JP5475393B2 (ja) 撮像システムおよび補正方法
US10630924B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP6633738B2 (ja) 撮像装置、車載カメラ、および画像処理方法
US11159754B2 (en) Imaging device and signal processing device
JP6645394B2 (ja) 画像センサ
JP2017118283A (ja) カメラシステム
JP4993275B2 (ja) 画像処理装置
JP2008153848A (ja) 画像処理装置
US20240040266A1 (en) Rgbir color filter image processing with lens shading correction
JP2017220811A (ja) 撮像装置およびカメラシステム
JP6904560B2 (ja) 信号処理装置
JP2019194034A (ja) 車載カメラ装置
JP2022114260A (ja) 画像形成装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508998

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017774349

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017774349

Country of ref document: EP

Effective date: 20181029

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774349

Country of ref document: EP

Kind code of ref document: A1