WO2021090727A1 - 撮像装置及び電子機器 - Google Patents

撮像装置及び電子機器 Download PDF

Info

Publication number
WO2021090727A1
WO2021090727A1 PCT/JP2020/040148 JP2020040148W WO2021090727A1 WO 2021090727 A1 WO2021090727 A1 WO 2021090727A1 JP 2020040148 W JP2020040148 W JP 2020040148W WO 2021090727 A1 WO2021090727 A1 WO 2021090727A1
Authority
WO
WIPO (PCT)
Prior art keywords
special
filter
pixel
color filter
unit
Prior art date
Application number
PCT/JP2020/040148
Other languages
English (en)
French (fr)
Inventor
有志 井芹
穂高 吉良
大輔 萩原
吉田　一樹
翔 安永
孝兒 山領
剛大 小野
佐藤　公彦
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202080066134.7A priority Critical patent/CN114556906A/zh
Priority to US17/773,172 priority patent/US20240155261A1/en
Priority to JP2021554900A priority patent/JPWO2021090727A1/ja
Publication of WO2021090727A1 publication Critical patent/WO2021090727A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring

Definitions

  • This disclosure relates to an imaging device and an electronic device.
  • CMOS Complementary Metal Oxide Semiconductor
  • special pixels such as pixels for receiving infrared light and pixels for detecting image plane phase difference may be replaced with normal pixels and arranged. ..
  • CMOS Complementary Metal Oxide Semiconductor
  • the special pixel is not, for example, a color filter, but a filter according to the function of the special pixel (for example, a pixel for receiving infrared light). Infrared light filter) is formed.
  • a filter according to the function of the special pixel for example, a pixel for receiving infrared light. Infrared light filter
  • the color filter cannot be formed in a desired shape due to the influence of such a region. If the color filter cannot be formed into a desired shape, the light receiving sensitivity of the normal pixel may fluctuate and the accuracy of the image pickup apparatus may decrease.
  • an imaging device and an electronic device capable of suppressing a decrease in accuracy are provided.
  • an imaging device includes a plurality of normal pixels arranged in a matrix, special pixels arranged by replacing a part of the normal pixels, and a color filter corresponding to the normal pixels and arranged according to a predetermined rule.
  • a special filter arranged corresponding to the special pixel and a special pixel color filter arranged so as to surround at least a part of the periphery of the special filter are provided.
  • FIG. 1 It is a schematic diagram which shows the cross section of the color filter layer in BB'of FIG. It is a figure which shows the structural example of the color filter layer which concerns on modification 1 of embodiment. It is a figure which shows the structural example of the color filter layer which concerns on modification 2 of embodiment. It is a figure which shows the structural example of the color filter layer which concerns on modification 3 of embodiment. It is a figure which shows the other structural example of the color filter layer which concerns on modification 3 of embodiment. It is a figure which shows the structural example of the color filter layer which concerns on modification 4 of embodiment. It is a figure which shows the other structural example of the color filter layer which concerns on modification 4 of embodiment. It is a figure which shows the structural example of the color filter layer which concerns on modification 4 of embodiment. It is a figure which shows the structural example of the color filter layer which concerns on modification 4 of embodiment.
  • FIG. 1 is a block diagram showing a configuration of an example of an electronic device that can be applied to an embodiment.
  • the electronic device 1D includes an optical system 2D, a control unit 3D, an image pickup device 1, an image processing unit 5D, a memory 6D, a storage unit 7D, a display unit 8D, and an interface (I / F).
  • a unit 9D and an input device 10D are provided.
  • the electronic device 1D a digital still camera, a digital video camera, a mobile phone with an imaging function, a smartphone, or the like can be applied. Further, as the electronic device 1D, it is also possible to apply a surveillance camera, an in-vehicle camera, a medical camera, or the like.
  • the imaging device 1 includes, for example, a plurality of photoelectric conversion elements arranged in a matrix-like arrangement.
  • the photoelectric conversion element converts the received light into electric charges by photoelectric conversion.
  • the image pickup apparatus 1 includes a drive circuit for driving the plurality of photoelectric conversion elements, and a signal processing circuit for reading charges from each of the plurality of photoelectric conversion elements and generating image data based on the read charges.
  • the optical system 2D includes a main lens formed by combining one or a plurality of lenses and a mechanism for driving the main lens, and image light (incident light) from a subject is captured by the image pickup device 1 via the main lens. An image is formed on the light receiving surface of the lens. Further, the optical system 2D includes an autofocus mechanism that adjusts the focus according to a control signal and a zoom mechanism that changes the zoom ratio according to the control signal. Further, the electronic device 1D may have the optical system 2D detachable so that it can be replaced with another optical system 2D.
  • the image processing unit 5D executes predetermined image processing on the image data output from the image pickup device 1.
  • the image processing unit 5D is connected to a memory 6D such as a frame memory, and writes the image data output from the image pickup apparatus 1 to the memory 6D.
  • the image processing unit 5D executes a predetermined image processing on the image data written in the memory 6D, and writes the image processed image data in the memory 6D again.
  • the storage unit 7D is a non-volatile memory such as a flash memory or a hard disk drive, and stores the image data output from the image processing unit 5D in a non-volatile manner.
  • the display unit 8D includes, for example, a display device such as an LCD (Liquid Crystal Display) and a drive circuit for driving the display device, and the image processing unit 5D can display an image based on the output image data.
  • the I / F unit 9D is an interface for transmitting the image data output from the image processing unit 5D to the outside. As the I / F unit 9D, for example, USB (Universal Serial Bus) can be applied. Not limited to this, the I / F unit 9D may be an interface that can be connected to the network by wired communication or wireless communication.
  • the input device 10D includes an operator for accepting user input and the like. If the electronic device 1D is, for example, a digital still camera, a digital video camera, a mobile phone or a smartphone with an imaging function, the input device 10D has a shutter button for instructing imaging by the imaging device 1 or a function of the shutter button. It can include controls to achieve it.
  • the control unit 3D includes a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and uses the RAM as a work memory according to a program stored in the ROM in advance. It controls the overall operation of this electronic device 1D. For example, the control unit 3D can control the operation of the electronic device 1D according to the user input received by the input device 10D. Further, the control unit 3D can control the autofocus mechanism in the optical system 2D based on the image processing result of the image processing unit 5D.
  • a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory)
  • the control unit 3D can control the operation of the electronic device 1D according to the user input received by the input device 10D.
  • the control unit 3D can control the autofocus mechanism in the optical system 2D based on the image processing result of the image processing unit 5D.
  • FIG. 2 is a block diagram showing a schematic configuration example of an imaging device that can be applied to the embodiment of the present disclosure.
  • the image pickup apparatus 1 includes a pixel array unit 11, a vertical scanning unit 12, an A / D conversion unit 13, a reference signal generation unit 14, a horizontal scanning unit 15, a pixel signal line 16, and a vertical signal.
  • a wire 17, an output unit 18, and a control unit 19 are included.
  • the pixel array unit 11 has a plurality of pixels arranged in a two-dimensional matrix in the horizontal direction (row direction) and the vertical direction (column direction). Each pixel has a photoelectric conversion unit that performs photoelectric conversion on the received light.
  • the photoelectric conversion unit is configured by using a photodiode or the like.
  • a pixel signal line 16 is connected to the pixel array unit 11 for each row, and a vertical signal line 17 is connected for each column.
  • the end of the pixel signal line 16 that is not connected to the pixel array unit 11 is connected to the vertical scanning unit 12.
  • the pixel signal line 16 transmits a control signal such as a drive pulse when reading a pixel signal from a pixel from the vertical scanning unit 12 to the pixel array unit 11.
  • the end of the vertical signal line 17 that is not connected to the pixel array unit 11 is connected to the A / D (Analog to Digital) conversion unit 13.
  • the vertical signal line 17 transmits the pixel signal read from the pixel to the A / D conversion unit 13.
  • the vertical scanning unit 12 supplies various signals including drive pulses to the pixel signal line 16 corresponding to the selected pixel row of the pixel array unit 11 to vertically transmit the pixel signals and the like. It is output to the signal line 17.
  • the vertical scanning unit 12 is configured by using, for example, a shift register, an address decoder, or the like.
  • the A / D conversion unit 13 includes a column A / D conversion unit 131 provided for each vertical signal line 17, and a signal processing unit 132.
  • the column A / D converter 131 executes a count process for correlated double sampling (CDS: Correlated Double Sampling) processing that reduces noise in the pixel signal output from the pixel via the vertical signal line 17. To do.
  • the column A / D conversion unit 131 includes a comparator 131a and a counter unit 131b.
  • the comparator 131a compares the pixel signal input from the pixel via the vertical signal line 17 with the lamp signal RAMP supplied from the reference signal generation unit 14 in the P phase (Preset Phase) period, and compares the comparison result with the lamp signal RAMP. Output to the counter unit 131b.
  • the P-phase period is a period for detecting the reset level of the pixel signal in the CDS processing.
  • the ramp signal RAMP is, for example, a signal whose level (voltage value) decreases with a constant slope, or a sawtooth signal whose level decreases stepwise. When the level of the lamp signal RAMP is higher than the level of the pixel signal, the comparator 131a outputs a High difference signal to the counter unit 131b.
  • the comparator 131a inverts the output and outputs the Low difference signal to the counter unit 131b.
  • the level of the lamp signal RAMP is reset to a predetermined value after the output of the comparator 131a is inverted.
  • the counter unit 131b downcounts the time from the start of the voltage drop of the lamp signal RAMP to the level equal to or lower than the pixel signal according to the difference signal input from the comparator 131a. Then, the count result is output to the signal processing unit 132. Further, in the D phase (Data Phase) period, the counter unit 131b becomes at the same level as or lower than the pixel signal after the lamp signal RAMP starts the voltage drop according to the difference signal input from the comparator 131a. The time until is up-counted, and the count result is output to the signal processing unit 132.
  • the D-phase period is a detection period for detecting the signal level of the pixel signal in the CDS processing.
  • the signal processing unit 132 performs CDS processing and A / D conversion processing based on the count result of the P phase period input from the counter unit 131b and the count result of the D phase period to generate digital image data. Output to the output unit 18.
  • the reference signal generation unit 14 generates a lamp signal RAMP based on the control signal input from the control unit 19, and outputs the generated lamp signal RAMP to the comparator 131a of the A / D conversion unit 13.
  • the reference signal generation unit 14 is configured by using, for example, a D / A conversion circuit or the like.
  • the horizontal scanning unit 15 temporarily holds each column A / D conversion unit 131 by performing selective scanning for selecting each column A / D conversion unit 131 in a predetermined order.
  • the counting results are sequentially output to the signal processing unit 132.
  • the horizontal scanning unit 15 is configured by using, for example, a shift register, an address decoder, or the like.
  • the output unit 18 performs predetermined signal processing on the image data input from the signal processing unit 132 and outputs the image data to the outside of the image pickup apparatus 1.
  • the control unit 19 performs drive control of the vertical scanning unit 12, the A / D conversion unit 13, the reference signal generation unit 14, the horizontal scanning unit 15, and the like.
  • the control unit 19 is configured by using, for example, a timing generator or the like.
  • the control unit 19 generates various drive signals that serve as a reference for the operation of the vertical scanning unit 12, the A / D conversion unit 13, the reference signal generation unit 14, and the horizontal scanning unit 15.
  • the image pickup apparatus 1 configured in this way is a column AD type CMOS (Complementary Metal Oxide Semiconductor) image sensor in which a column A / D conversion unit 131 is arranged for each column.
  • CMOS Complementary Metal Oxide Semiconductor
  • FIG. 2 there is one A / D conversion unit 13, but for example, two A / D conversion units 13 are provided in the vertical direction of the pixel array unit 11, and odd and even rows of the pixel array unit 11 are provided. And may be divided in the vertical direction to output a pixel signal.
  • FIG. 3 is a diagram showing a part of the circuit configuration of the pixel array unit 11 that can be applied to the embodiment.
  • the pixel array unit 11 has a constant current source 2, a pixel 3 (hereinafter, referred to as “normal pixel 3”), and a pixel 4 (hereinafter, referred to as “special pixel 4”).
  • a plurality of normal pixels 3 and a plurality of special pixels 4 are arranged in a two-dimensional matrix in a predetermined arrangement pattern, and the special pixels 4 are arranged in a predetermined pixel row at predetermined intervals.
  • a first transfer signal line 161, a reset signal line 162, and a line selection signal line 163 are connected to each normal pixel 3 as pixel signal lines 16.
  • a reset signal line 162, a line selection signal line 163, and a second transfer signal line 164 are connected to each special pixel 4 as pixel signal lines 16.
  • the constant current source 2 is provided on each vertical signal line 17. Further, the constant current source 2 is configured by using an N-channel type MOS (metal-oxide-semiconductor field-effect) transistor (hereinafter, abbreviated as “IMS”) or the like. One end of the constant current source 2 is grounded and the other end is connected to the vertical signal line 17.
  • MOS metal-oxide-semiconductor field-effect transistor
  • the normal pixels 3 are arranged in a two-dimensional matrix on the pixel array unit 11.
  • the normal pixel 3 includes a photoelectric conversion unit 31, a transfer switch 32, a floating diffusion 33 (hereinafter, abbreviated as “FD33”), a reset switch 34, an amplification transistor 35, and a row selection switch 36.
  • the photoelectric conversion unit 31 performs photoelectric conversion on the received light to generate a signal charge for an image.
  • the photoelectric conversion unit 31 is configured by using, for example, a PN junction photodiode.
  • the anode terminal is grounded and the cathode terminal is connected to the FD 33 via the transfer switch 32.
  • the photoelectric conversion unit 31 functions as the first photoelectric conversion unit.
  • One end of the transfer switch 32 is connected to the photoelectric conversion unit 31, and the other end is connected to the FD 33. Further, the transfer switch 32 is connected to the first transfer signal line 161. When the transfer pulse TR is supplied via the first transfer signal line 161, the transfer switch 32 is turned on (closed state) and transfers the signal charge photoelectrically converted by the photoelectric conversion unit 31 to the FD 33.
  • the FD 33 temporarily holds the signal charge transferred from the photoelectric conversion unit 31 and converts it into a voltage corresponding to the amount of the charge.
  • One end of the reset switch 34 is connected to the FD 33, and the other end is connected to the power supply voltage. Further, the reset switch 34 is connected to the reset signal line 162. When the reset pulse RST is supplied via the reset signal line 162, the reset switch 34 is turned on and discharges the electric charge of the FD 33 to the power supply voltage to reset the potential of the FD 33 to a predetermined potential.
  • One end of the amplification transistor 35 is connected to the power supply voltage, and the other end is connected to the row selection switch 36. Further, an FD 33 is connected to the gate end of the amplification transistor 35.
  • the amplification transistor 35 functions as a source follower together with the constant current source 2 connected via the vertical signal line 17.
  • the amplification transistor 35 outputs a reset signal (reset level) indicating a level corresponding to the potential of the FD 33 after being reset by the reset switch 34 to the vertical signal line 17. Further, the amplification transistor 35 transmits a pixel signal for an image indicating a level corresponding to the amount of charge of the signal charge held in the FD 33 after the signal charge is transferred from the photoelectric conversion unit 31 by the transfer switch 32 to the vertical signal line 17. Output to.
  • One end of the row selection switch 36 is connected to the amplification transistor 35, and the other end is connected to the vertical signal line 17. Further, the row selection switch 36 is connected to the row selection signal line 163. The row selection switch 36 is turned on when the row selection signal SEL is supplied from the row selection signal line 163, and the reset signal or pixel signal (first signal) output from the amplification transistor 35 is sent to the vertical signal line 17. Output.
  • One end of the vertical signal line 17 is connected to the comparator 131a or 131a_S of the A / D conversion unit 13.
  • the comparator 131a connected to the vertical signal line 17 to which the special pixel 4 is connected is shown as the comparator 131a_S.
  • the transfer switch 32, the reset switch 34, the amplification transistor 35, and the row selection switch 36 of the normal pixel 3 configured in this way are configured by using, for example, an NMOS or P-channel type MOS transistor (abbreviated as NMOS).
  • the normal pixel 3 includes any one of an R (red) filter, a G (green) filter, and a B (blue) filter laminated on the light receiving surface of the photoelectric conversion unit 31.
  • the normal pixels 3 form, for example, a Bayer array on the pixel array unit 11.
  • the normal pixels 3 are not limited to the Bayer arrangement, and may be arranged according to a predetermined rule.
  • It is possible to base various color filter arrays such as a 4 ⁇ 4 pixel white RGB type color filter array including a color filter having various light transmission characteristics (hereinafter, also referred to as clear or white).
  • the photoelectric conversion unit 31 in which the G (green) filter is laminated on the light receiving surface is a pixel G
  • the photoelectric conversion unit 31 in which the R (red) filter is laminated on the light receiving surface is a pixel R
  • B blue
  • the photoelectric conversion unit 31 in which the filter is laminated on the light receiving surface will be described as pixel B.
  • FIG. 4 is a diagram for explaining an example of pixel arrangement.
  • the normal pixel 3 in the unit pixel of 2 ⁇ 2 pixels, two pixels at diagonal positions are pixel G, and the remaining pixels are pixel R and pixel B.
  • the special pixels 4 pixels S. More specifically, among the normal pixels 3, the horizontal line in which the pixels B and G are lined up is replaced with the special pixel 4.
  • the special pixel 4 has the same configuration as the normal pixel 3, and includes a photoelectric conversion unit 41, a transfer switch 42, a floating diffusion 43 (hereinafter, simply referred to as “FD43”), a reset switch 44, and an amplification transistor 45. , And a row selection switch 46.
  • the special pixel 4 includes a special filter laminated on the light receiving surface of the photoelectric conversion unit 41. Further, in the special pixel 4, the transfer switch 42 is connected to the second transfer signal line 164, and the transfer pulse TR_S is supplied from the second transfer signal line 164.
  • the configuration of the special pixel 4 other than these is the same as that of the normal pixel 3.
  • the special pixel 4 is a pixel other than the pixel (normal pixel, for example, pixel R, pixel G, pixel B) for acquiring color information and brightness information in the visible light region in order to form a full-color image.
  • Examples of the special pixel 4 include an infrared light pixel, a white pixel, a monochrome pixel, a black pixel, a polarized pixel, and an image plane phase difference pixel.
  • an infrared filter capable of receiving infrared light is laminated on the light receiving surface of the photoelectric conversion unit 41.
  • the white pixel has a white filter capable of receiving all visible light of red, green, and blue laminated on the light receiving surface of the photoelectric conversion unit 41.
  • a polarized pixel is a pixel that uses a polarizing element for receiving polarized light.
  • the image plane phase difference pixel is laminated with an aperture filter in which only a predetermined region is opened on the light receiving surface of the photoelectric conversion unit 41.
  • the image plane retardation pixel is a pixel in which an aperture filter having an opening of, for example, the left half of the light receiving surface of the photoelectric conversion unit 41 is laminated, and a light receiving surface of another photoelectric conversion unit 41.
  • a set of two pixels, one with a pixel in which an aperture filter with an aperture filter opened in the right half region is laminated, is used, and distance measurement is performed based on the phase difference of the light received by the two pixels.
  • the pixel signal obtained by photoelectrically converting the light received by the special pixel 4 can realize a function different from the pixel signal obtained by photoelectrically converting the light received by the normal pixel 3.
  • the special pixel 4 or the photoelectric conversion unit 41 of the special pixel 4 is represented as “S”.
  • FIG. 5 is a timing chart schematically showing the reading of the pixel signal by the image pickup apparatus 1.
  • the horizontal axis represents time.
  • the output timing of the vertical synchronization pulse is shown in the upper row, and the output timing of the horizontal synchronization pulse in the vertical scanning unit 12 is shown in the middle row.
  • FIG. 5 shows a case where the image pickup apparatus 1 reads out a pixel signal of one frame.
  • the control unit 19 sequentially reads pixel signals from the special pixels 4 of the pixel array unit 11 according to, for example, a vertical synchronization pulse and a horizontal synchronization pulse input from the outside of the image pickup apparatus 1. After reading the pixel signals from the special pixels 4 of all the special pixel rows, the control unit 19 sequentially reads the pixel signals from each normal pixel 3 for each row of the pixel array unit 11.
  • the image pickup apparatus 1 first reads the pixel signals from all the special pixels 4, and then sequentially reads the pixel signals from each normal pixel 3 for each row of the pixel array unit 11.
  • FIG. 6 is a diagram showing a configuration example of the color filter layer.
  • 7 and 8 are diagrams for explaining an example of a method for forming a color filter.
  • the green color filter formed corresponding to the pixel G is referred to as a green filter GF.
  • the red color filter formed corresponding to the pixel R is referred to as a red filter RF.
  • the blue color filter formed corresponding to the pixel B is referred to as a blue filter BF.
  • the green filter GF, the red filter RF, and the blue filter BF are not distinguished, they are also simply described as the color filter CF.
  • a special filter formed corresponding to the pixel S (special pixel 4) is referred to as a special filter SF.
  • a color filter CF and a special filter SF are provided for each of the normal pixel 3 and the special pixel 4, respectively. That is, one color filter CF or a special filter SF is provided for each pixel, but even if adjacent filters of the same type are integrally formed, for example, two or more adjacent special filter SFs are integrally formed. Good.
  • the color filter CF formed in the color filter layer CL0 is also arranged according to the Bayer arrangement like the normal pixels 3.
  • the special filter SF is arranged by replacing a part of the color filter CF (for example, a pixel row) arranged according to the Bayer arrangement.
  • the special filter SF is a filter formed according to the function of the special pixel 4, and examples thereof include the white filter described above, a transparent filter, and an aperture filter in which only a predetermined area is opened.
  • the color filter layer in which the color filter CF and the special filter SF are arranged is formed in the order of, for example, the green filter GF, the red filter RF, and the blue filter BF.
  • the green filter GF is first formed on the pixel array unit 11.
  • the color filter CF has a problem that it is difficult to form a corner portion that is not in contact with another color filter CF at a right angle. Therefore, as shown in FIG. 7, since the corner portion of the green filter GF adjacent to the region where the special filter SF is formed is an end portion that is not in contact with another green filter GF, the corner portion does not become a right angle. The corners are rounded. Note that FIG. 7 is an enlarged view of a part of the color filter layer CL0 shown in FIG. 6, and the boundary line of the pixel is shown by a dotted line.
  • FIG. 8 is an enlarged view of a part of the color filter layer CL0 shown in FIG. 6, and the boundary line of the pixel is shown by a dotted line.
  • the light receiving sensitivity of the pixel G fluctuates, and the imaging accuracy of the imaging device 1 may decrease.
  • the red filter RF is formed in the region surrounded by the green filter GF on all sides.
  • the red filter RF is formed in the region surrounded by the green filter GF on three sides. Therefore, as shown in FIG. 8, the red filter RF is formed so as to protrude to the formation region of the special filter SF, and the sensitivity of the pixel R may fluctuate. As the red filter RF protrudes to the formation region of the special filter SF in this way, the film thickness of the red filter RF may become non-uniform.
  • the non-uniform film thickness of the red filter RF may cause variations in the light receiving sensitivity of the pixel R, resulting in a decrease in the imaging accuracy of the imaging device 1.
  • the imaging accuracy of the image pickup apparatus 1 is lowered by forming the color filter CF so as to surround at least a part of the periphery of the special filter SF in the region where the special filter SF is formed. Suppress. This point will be described below.
  • Embodiment> 9 and 10 are diagrams for explaining the color filter layer of the image pickup apparatus 1 according to the embodiment.
  • the color filter layer CL1 shown in FIG. 9 has a configuration of the color filter layer CL0 shown in FIG. 6 except that a part of the special filter SF is surrounded by a color filter (hereinafter, also referred to as a special pixel color filter SCF). Is the same as.
  • FIG. 9 shows a case where the special filter SF is arranged in one pixel row because a part of the color filter layer CL1 is shown.
  • the special filter SF has a plurality of pixels at predetermined intervals. It may be placed in a row.
  • the color filter layer CL1 has a special pixel color filter SGF that surrounds the special filter SF in a plan view.
  • FIG. 9 shows a case where the special pixel color filter SCF is a green filter that transmits green (hereinafter referred to as a special pixel green filter SGF), but the special pixel color filter SCF may be a red filter. It may be a blue filter.
  • a special filter surrounded by the special pixel green filter SGF (hereinafter, also referred to as the first special filter SF1) and a special filter not surrounded by the special pixel green filter SGF (hereinafter, the second special filter).
  • Filters (also referred to as SF2) are alternately arranged for each pixel to form one pixel row.
  • FIG. 10 is a diagram showing a green filter GF and a special pixel green filter SGF among the filters formed on the color filter layer CL1 shown in FIG.
  • the special pixel green filter SGF is arranged so as to surround the special filter SF adjacent to the color filter CF (red filter RF in FIG. 9) other than the green filter GF.
  • FIGS. 9 and 10 an example in which the special pixel 4 and the special filter SF are arranged in a predetermined pixel row is shown, but the present invention is not limited to this.
  • the special pixel 4 and the special filter SF may be arranged in a predetermined pixel sequence.
  • 11 and 12 are diagrams for explaining another configuration example of the color filter layer of the image pickup apparatus 1 according to the embodiment.
  • the special filter SF of the color filter layer CL2 is arranged in one pixel row. Further, the first special filter SF1 adjacent to the red filter RF is surrounded by a special pixel green filter SGF. On the other hand, the second special filter SF2 adjacent to the green filter GF is not surrounded by the special pixel green filter SGF. Note that FIG. 11 shows a case where the special filter SF is arranged in one pixel row because a part of the color filter layer CL1 is shown. However, the special filter SF has a plurality of pixels at predetermined intervals. It may be placed in a row.
  • FIG. 12 is a diagram showing a green filter GF and a special pixel green filter SGF among the filters formed on the color filter layer CL2 shown in FIG. As shown in FIG. 12, the special pixel green filter SGF is arranged so as to surround the special filter SF adjacent to the color filter CF (red filter RF in FIG. 11) other than the green filter GF.
  • FIG. 13 is a diagram for explaining another configuration example of the color filter layer of the image pickup apparatus 1 according to the embodiment.
  • FIG. 13 shows a green filter GF and a special pixel green filter SGF among the filters formed on the color filter layer CL2. Note that FIG. 13 shows a case where the special filter SFs are arranged in one pixel row and one pixel column because a part of the color filter layer is shown, but the special filter SFs are arranged at predetermined intervals. It may be arranged in a plurality of pixel rows or a plurality of pixel columns.
  • the special pixel green filter SGF is arranged in the area where the pixel G is arranged in the Bayer array before replacing the special pixel 4.
  • the first special filter SF1 is formed inside leaving the periphery of the green filter GF. Therefore, the corner portion of the green filter GF is arranged in contact with the corner portion of another green filter GF (including the special pixel green filter SGF).
  • the green filter GF will be in contact with the corners of the other green filter even in the region where the special filter SF is formed, and the end portion not in contact with the other green filter will not be formed. Therefore, the corner portion of the green filter GF adjacent to the region where the special filter SF is formed can be formed in a desired shape, and the adjacent red filter RF can be formed without protruding into the formation region of the green filter GF. Will be able to. Therefore, the color filter CF can be formed in a desired shape, the decrease and variation in the light receiving sensitivity of each pixel can be suppressed, and the decrease in the imaging accuracy of the image pickup apparatus 1 can be suppressed.
  • the four sides of the red filter RF adjacent to the formation region of the special filter SF are also surrounded by the green filter GF including the special pixel green filter SGF like the other red filter RF. Can be done. As a result, it is possible to prevent the red filter RF adjacent to the formation region of the special filter SF from being formed with a non-uniform film thickness, as with other red filter RFs. Such a point will be described with reference to FIGS. 14 to 17.
  • FIG. 14 is a diagram showing a configuration example of a color filter layer according to an existing technique.
  • FIG. 15 is a schematic view showing a cross section of the color filter layer in AA'of FIG.
  • FIG. 16 is a diagram showing a configuration example of the color filter layer according to the embodiment.
  • FIG. 17 is a schematic view showing a cross section of the color filter layer in BB'of FIG.
  • the color filter layer CL0 shown in FIGS. 14 and 16 does not include the special pixel color filter SGF, and the red filter RF and the blue filter BF are arranged in contact with the special filter SF.
  • special filter SFs may be arranged in both pixel rows and pixel columns at predetermined intervals. 14 and 16 are diagrams showing a part of the color filter layer CL0.
  • the red filter RF and the blue filter BF adjacent to the special filter SF are surrounded on three sides by the green filter GF, and the remaining one is open without being surrounded by the green filter GF.
  • the color filter CF is formed in the order of green, red, and blue.
  • the green filter GF and the special pixel green filter SGF are first formed, and then the red filter RF and the blue filter BF are formed.
  • the green filter GF when forming a blue filter BF, serves as a wall on three sides surrounded by the green filter GF, but the blue filter BF opens on one side because there is no green filter GF that serves as a wall. It becomes easier to flow to one side.
  • the film thickness on the special filter SF side becomes thinner than the film thickness on the green filter GF side, and the film thickness becomes non-uniform.
  • the red filter RF and the blue filter BF adjacent to the special filter SF are surrounded on three sides by the green filter GF, and the remaining one is not surrounded by the green filter GF. It is open.
  • the color filter CF is formed in the order of green, red, and blue.
  • the green filter GF and the special pixel green filter SGF are first formed, and then the red filter RF and the blue filter BF are formed.
  • the green filter GF serves as a wall on three sides surrounded by the green filter GF, but the red filter RF opens on one side because there is no green filter GF that serves as a wall. It becomes easier to flow to one side.
  • the film thickness on the special filter SF side becomes thinner than the film thickness on the green filter GF side, and the film thickness becomes non-uniform.
  • the special pixel green filter SGF is formed so as to surround the special pixel region. Therefore, the red filter RF and the blue filter BF are formed in the region surrounded on all sides by the green filter GF including the special pixel green filter SGF.
  • the green filter GF on all sides serves as a wall to form a blue filter BF. Therefore, in the blue filter BF, the difference between the film thickness on the special filter SF side and the film thickness on the green filter GF side becomes small, and the film thickness can be uniformly formed as compared with FIG.
  • the point that the non-uniformity of the film thickness can be suppressed is explained by taking the blue filter BF as an example, but the same effect can be obtained with the red filter RF. Further, the non-uniformity of the film thickness can be improved also for the special filter SF.
  • the special filter SF is arranged corresponding to a pixel row (also referred to as a special pixel row) and a pixel row (also referred to as a special pixel row).
  • a pixel row also referred to as a special pixel row
  • a pixel row also referred to as a special pixel row
  • the film thickness of the special filter SF at the center of the special pixel row becomes thinner than the film thickness on both ends. This is because the special filter SF flows to both ends of the special pixel row (or special pixel column) due to the centrifugal force of the coater that forms the special filter SF.
  • the film thickness of the special filter SF becomes non-uniform, so that the sensitivity of the special pixel 4 fluctuates, and the function corresponding to the special pixel 4 deteriorates.
  • the special pixel 4 is an image plane phase difference pixel, and the image pickup apparatus 1 realizes the autofocus function by using the special pixel 4. In this case, if the sensitivity of the special pixel 4 fluctuates, the image pickup apparatus 1 may not be able to adjust the focus appropriately, and the autofocus function may be deteriorated.
  • the special filter SF is separated by a special pixel color filter SGF for each pixel. Therefore, the special pixel color filter SGF acts as a wall, making it difficult for the special filter SF to flow to both ends of the special pixel row (or special pixel column), and improving the non-uniformity of the film thickness of the special filter SF. it can. Thereby, the functional deterioration of the image pickup apparatus 1 can be suppressed.
  • FIG. 18 is a diagram showing a configuration example of the color filter layer according to the first modification of the embodiment. Note that FIG. 18 shows a part of the color filter layer of the image pickup apparatus 1.
  • a special pixel green filter SGF is formed on at least a part of the special filter SF (the side in contact with the color filter CF).
  • the corners of the green filter GF come into contact with another green filter GF or the special pixel green filter SGF, and the color filter CF can be formed in a desired shape.
  • the non-uniformity of the film thickness of the color filter CF can be improved.
  • the special filter SF is not separated by the special pixel green filter SGF. Therefore, for example, when the uniformity of the film thickness of the special filter SF is required, the special pixel green filter SGF is formed so as to surround the special filter SF as shown in the color filter layers CL1 to CL3 shown in the embodiment. Is desirable. Thereby, the special filter SF can be separated by the special pixel green filter SGF, and the non-uniformity of the film thickness of the special filter SF can be improved.
  • FIG. 19 is a diagram showing a configuration example of the color filter layer CL5 according to the second modification of the embodiment. Note that FIG. 19 shows a part of the color filter layer CL5 of the image pickup apparatus 1.
  • the special filter SF corresponding to the special pixel 4 is an aperture filter in which only a predetermined area is opened, but all the special filter SFs are aperture filters. It doesn't have to be.
  • a part of the special filter SF may be an aperture filter, and another special filter SF may be a color filter that transmits a predetermined color.
  • the color filter formed at the opening of the aperture filter may be a color filter that transmits the same color as other special filter SF (hereinafter, also referred to as special color filter SCF).
  • the aperture filter OF and the special color filter SCF are arranged alternately.
  • the special color filter SCF is, for example, a color filter that transmits cyan (hereinafter, also referred to as a cyan filter). Since cyan has a higher sensitivity in the photoelectric conversion unit 41 than RGB, the sensitivity of the special pixel 4 can be improved by using the special filter SF as a cyan filter.
  • the special color filter SCF may be replaced with a cyan filter as a white filter that transmits white. Since the white filter has a higher sensitivity in the photoelectric conversion unit 41 than the cyan filter, the sensitivity of the special pixel 4 can be further improved.
  • the special pixel green filter SGF is arranged so as to surround the special color filter SCF. Thereby, the same effect as that of the embodiment can be obtained. Further, in the special pixel region where the special pixel green filter SGF is formed, the formation region of the special filter SF becomes small. Therefore, if the aperture filter OF is formed in the special pixel region where the special pixel green filter SGF is formed, the sensitivity of the image plane retardation pixel may decrease. Therefore, by forming the aperture filter OF in the special pixel region where the special pixel green filter SGF is not formed, it is possible to suppress a decrease in the sensitivity of the image plane phase difference pixel.
  • the pixel signal obtained by photoelectrically converting the light received by the special pixel 4 corresponding to the special color filter SCF may be used, for example, for correction of an captured image or the like. If a part of the normal pixel 3 is replaced with the special pixel 4, the number of pixels of the normal pixel 3 is reduced, and the image quality of the captured image is deteriorated. By correcting the captured image using the special pixel 4 corresponding to the special color filter SCF, it is possible to suppress deterioration of the image quality of the captured image while realizing functions such as autofocus.
  • FIG. 19 shows an aperture filter OF that blocks the left side of the special pixel 4, but an aperture filter OF that blocks the right side is also formed in the color filter layer CL5, although not shown.
  • the arrangement of the aperture filter OF shown in FIG. 19 is an example, and the arrangement is not limited to this.
  • the aperture filter OF that blocks the left side of the special pixel 4 and the aperture filter OF that blocks the right side of the special pixel 4 may be formed in the same pixel row.
  • FIG. 20 is a diagram showing a configuration example of the color filter layer CL6 according to the third modification of the embodiment. Note that FIG. 20 shows a part of the color filter layer CL6 of the image pickup apparatus 1.
  • FIG. 20 shows an example in which the special filter SF is arranged in the pixel row of the color filter layer CL6, as shown in FIG. 21, the special filter is also applied to the pixel row in addition to the pixel row of the color filter layer CL6.
  • SF may be arranged.
  • the special filter SF may be arranged in the pixel sequence of the color filter layer CL6.
  • FIG. 21 is a diagram showing another configuration example of the color filter layer CL6 according to the third modification of the embodiment, and shows a part of the color filter layer CL6 of the image pickup apparatus 1.
  • the special pixel green filter SGF is arranged so as to surround the special filter SF corresponding to one special pixel 4, but the present invention is not limited to this.
  • the special pixel green filter SGF may be arranged so as to surround the special filter SF corresponding to two or more special pixels 4.
  • the special filter region including two or more special filter SFs in a plan view may be surrounded by the special pixel green filter SGF.
  • FIG. 22 is a diagram showing a configuration example of the color filter layer CL7 according to the modified example 4 of the embodiment.
  • FIG. 22 shows a part of the color filter layer CL7 of the image pickup apparatus 1.
  • a special pixel green filter SGF surrounds a special filter area including two special filter SFs in a plan view among the special pixel rows.
  • FIG. 22 shows an example in which the special filter SF is arranged in the pixel row of the color filter layer CL7, as shown in FIG. 23, the special filter is also applied to the pixel row in addition to the pixel row of the color filter layer CL7.
  • SF may be arranged.
  • the special filter SF may be arranged in the pixel sequence of the color filter layer CL7.
  • FIG. 23 is a diagram showing another configuration example of the color filter layer CL7 according to the modified example 4 of the embodiment, and shows a part of the color filter layer CL7 of the image pickup apparatus 1.
  • FIG. 24 is a diagram showing a configuration example of the color filter layer CL8 according to the modified example 4 of the embodiment.
  • FIG. 24 shows a part of the color filter layer CL8 of the image pickup apparatus 1.
  • the green filter GF is replaced with the special filter SF at predetermined intervals, and the special pixel green filter SGF is arranged so as to surround the special filter SF.
  • the normal pixels 3 may be replaced with the special pixels 4 at predetermined intervals.
  • FIG. 25 is a diagram showing a usage example using the image pickup apparatus 1 according to the above-described embodiment and modification.
  • Each of the above-mentioned imaging devices 1 can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray, as described below.
  • -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
  • in-vehicle sensors that photograph the front, rear, surroundings, inside of the vehicle, etc., surveillance cameras that monitor traveling vehicles and roads, inter-vehicle distance, etc.
  • a device used for traffic such as a distance measuring sensor that measures the distance.
  • -A device used for home appliances such as TVs, refrigerators, and air conditioners in order to take a picture of a user's gesture and operate the device according to the gesture.
  • -Devices used for medical treatment and healthcare such as endoscopes and devices that perform angiography by receiving infrared light.
  • -Devices used for security such as surveillance cameras for crime prevention and cameras for personal authentication.
  • -Devices used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
  • -Devices used for sports such as action cameras and wearable cameras for sports applications.
  • -Agricultural equipment such as cameras for monitoring the condition of fields and crops.
  • the technology according to the present disclosure can be applied to various products.
  • the techniques according to the present disclosure may be applied to endoscopic surgery systems.
  • FIG. 26 is a block diagram showing an example of a schematic configuration of a patient's internal information acquisition system using a capsule endoscope to which the technique according to the present disclosure (the present technique) can be applied.
  • the internal information acquisition system 10001 is composed of a capsule endoscope 10100 and an external control device 10200.
  • the capsule endoscope 10100 is swallowed by the patient at the time of examination.
  • the capsule endoscope 10100 has an imaging function and a wireless communication function, and moves inside an organ such as the stomach or intestine by peristaltic movement or the like until it is naturally excreted from the patient, and inside the organ.
  • Images (hereinafter, also referred to as internal organ images) are sequentially imaged at predetermined intervals, and information about the internal organ images is sequentially wirelessly transmitted to an external control device 10200 outside the body.
  • the external control device 10200 comprehensively controls the operation of the internal information acquisition system 10001. Further, the external control device 10200 receives information about the internal image transmitted from the capsule endoscope 10100, and based on the information about the received internal image, displays the internal image on a display device (not shown). Generate image data for display.
  • the internal information acquisition system 10001 can obtain an internal image of the inside of the patient at any time from the time when the capsule endoscope 10100 is swallowed until it is discharged.
  • the capsule endoscope 10100 has a capsule-shaped housing 10101, and the light source unit 10111, the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, the power feeding unit 10115, and the power supply unit are contained in the housing 10101.
  • the 10116 and the control unit 10117 are housed.
  • the light source unit 10111 is composed of, for example, a light source such as an LED (Light Emitting Diode), and irradiates the imaging field of view of the imaging unit 10112 with light.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the imaging unit 10112 is composed of an imaging device and an optical system composed of a plurality of lenses provided in front of the imaging device.
  • the reflected light (hereinafter referred to as observation light) of the light applied to the body tissue to be observed is collected by the optical system and incident on the imaging device.
  • the image pickup unit 10112 in the image pickup apparatus, the observation light incident on the image pickup device is photoelectrically converted, and an image signal corresponding to the observation light is generated.
  • the image signal generated by the image capturing unit 10112 is provided to the image processing unit 10113.
  • the image processing unit 10113 is composed of a processor such as a CPU or GPU (Graphics Processing Unit), and performs various signal processing on the image signal generated by the imaging unit 10112.
  • the image processing unit 10113 provides the signal-processed image signal to the wireless communication unit 10114 as RAW data.
  • the wireless communication unit 10114 performs predetermined processing such as modulation processing on the image signal that has been signal-processed by the image processing unit 10113, and transmits the image signal to the external control device 10200 via the antenna 10114A. Further, the wireless communication unit 10114 receives a control signal related to drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A. The wireless communication unit 10114 provides the control unit 10117 with a control signal received from the external control device 10200.
  • the power feeding unit 10115 is composed of an antenna coil for receiving power, a power regeneration circuit that regenerates power from the current generated in the antenna coil, a booster circuit, and the like. In the power feeding unit 10115, electric power is generated using the principle of so-called non-contact charging.
  • the power supply unit 10116 is composed of a secondary battery and stores the electric power generated by the power supply unit 10115.
  • FIG. 26 in order to avoid complication of the drawing, the illustration of the arrow or the like indicating the power supply destination from the power supply unit 10116 is omitted, but the power stored in the power supply unit 10116 is the light source unit 10111. , Image processing unit 10112, image processing unit 10113, wireless communication unit 10114, and control unit 10117, and can be used to drive these.
  • the control unit 10117 is composed of a processor such as a CPU, and is a control signal transmitted from the external control device 10200 to drive the light source unit 10111, the image pickup unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the power supply unit 10115. Control as appropriate according to.
  • the external control device 10200 is composed of a processor such as a CPU and a GPU, or a microcomputer or a control board on which a processor and a storage element such as a memory are mixedly mounted.
  • the external control device 10200 controls the operation of the capsule endoscope 10100 by transmitting a control signal to the control unit 10117 of the capsule endoscope 10100 via the antenna 10200A.
  • the light irradiation conditions for the observation target in the light source unit 10111 can be changed by the control signal from the external control device 10200.
  • the imaging conditions for example, the frame rate in the imaging unit 10112, the exposure value, etc.
  • the content of processing in the image processing unit 10113 and the conditions for the wireless communication unit 10114 to transmit the image signal may be changed by the control signal from the external control device 10200. ..
  • the external control device 10200 performs various image processing on the image signal transmitted from the capsule endoscope 10100, and generates image data for displaying the captured internal image on the display device.
  • the image processing includes, for example, development processing (demosaic processing), high image quality processing (band enhancement processing, super-resolution processing, noise reduction processing, camera shake correction processing, etc.), enlargement processing (electronic zoom processing, etc.), etc. , Or in combination, various signal processing can be performed.
  • the external control device 10200 controls the drive of the display device to display the captured internal image based on the generated image data.
  • the external control device 10200 may have the generated image data recorded in a recording device (not shown) or printed out in a printing device (not shown).
  • the above is an example of an in-vivo information acquisition system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 10112 among the configurations described above.
  • the imaging device 1 according to the present disclosure By applying the imaging device 1 according to the present disclosure to the imaging unit 10112, it is possible to perform good autofocus even when zooming or the like, and it is possible to acquire a higher quality internal image or the like. ..
  • FIG. 27 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 27 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image pickup device are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image pickup device by the optical system.
  • the observation light is photoelectrically converted by the imaging device, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU, a GPU, and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light for photographing an operating part or the like to the endoscope 11100.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • Recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image pickup device of the camera head 11102 in synchronization with the timing of changing the light intensity to acquire an image in a time-division manner and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the surface layer of the mucous membrane. So-called narrow band imaging, in which a predetermined tissue such as a blood vessel is photographed with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating with excitation light.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 28 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG. 27.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging unit 11402 is composed of an imaging device.
  • the image pickup apparatus constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup device may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the imaging unit 11402 may be configured to have a pair of imaging devices for acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each imaging device.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image, and the like. Contains information about the condition.
  • the above-mentioned imaging conditions such as frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of CCU11201 based on the acquired image signal. Good.
  • the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the surgical support information and presenting it to the surgeon 11131, it is possible to reduce the burden on the surgeon 11131 and to allow the surgeon 11131 to proceed with the surgery reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electric signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the endoscope 11100 and the imaging unit 11402 of the camera head 11102 among the configurations described above.
  • the imaging device 1 according to the present disclosure By applying the imaging device 1 according to the present disclosure to the imaging unit 11402, good autofocus can be performed even when zooming or the like is performed, and a higher quality captured image can be acquired.
  • the burden on the surgeon 11131 can be reduced, and the surgeon 11131 can surely proceed with the operation.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the technology according to the present disclosure may be further applied to devices mounted on various moving objects such as m-vehicles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. Good.
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the vehicle exterior information detection unit 12030 performs image processing on the received image, for example, and performs object detection processing and distance detection processing based on the result of the image processing.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 30 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104 and 12105 as imaging units 12031.
  • the imaging units 12101, 12102, 12103, 12104 and 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting the preceding vehicle, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 30 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging devices, or an imaging device having pixels for detecting a phase difference.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured images of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in captured images of imaging units 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the imaging device 1 according to the present disclosure By applying the imaging device 1 according to the present disclosure to the imaging unit 12031, good autofocus can be performed even when zooming or the like is performed, and a higher quality captured image can be acquired.
  • the image pickup apparatus 1 includes a plurality of normal pixels 3 arranged in a matrix, special pixels 4 arranged in place of a part of the normal pixels 3, and normal pixels.
  • a color filter CF corresponding to 3 and arranged according to a predetermined rule, a special filter SF arranged corresponding to the special pixel 4, and a special pixel arranged so as to surround at least a part around the special filter SF. It is provided with a color filter (corresponding to a special pixel green filter SGF).
  • the color filter CF can be arranged so that the end portion of the color filter CF is in contact with the special pixel color filter, and the color filter CF can be formed into a desired shape. Therefore, it is possible to suppress fluctuations in the sensitivity of the normal pixel 4, and it is possible to suppress a decrease in the imaging accuracy of the imaging device.
  • the following configurations also belong to the technical scope of the present disclosure.
  • a special pixel that is placed in place of a part of the normal pixel, A color filter corresponding to the normal pixel and arranged according to a predetermined rule, A special filter arranged corresponding to the special pixel and A special pixel color filter arranged so as to surround at least a part of the special filter,
  • An imaging device comprising.
  • the color filter includes a plurality of filters that transmit different colors.
  • the imaging device according to (1), wherein the special pixel color filter is a color filter that transmits the same color as any one of the plurality of filters.
  • the special pixel color filter is The imaging device according to any one of (1) to (3), which is arranged so as to surround one of the special filters.
  • the imaging apparatus according to any one of (1) to (6), wherein the special filter is any one of an infrared light filter, an image plane retardation filter, a white filter, a monochrome filter, and a black filter.
  • Imaging device and An optical system that forms an image of incident light on the light receiving surface of the imaging device, The processor that controls the image pickup device and With The image pickup device With multiple normal pixels arranged in a matrix, A special pixel that is placed in place of a part of the normal pixel, A color filter corresponding to the normal pixel and arranged according to a predetermined rule, A special filter arranged corresponding to the special pixel and A special pixel color filter arranged so as to surround at least a part of the special filter, Electronic equipment equipped with.
  • Image pickup device 3 Normal pixel 4 Special pixel 31, 41 Photoelectric conversion unit 32, 42 Transfer switch 33, 43 Floating diffusion 35, 45 Amplification transistor 36, 46 line selection switch CF color filter SF Special filter SGF Special pixel Green filter RF Red filter GF green filter BF blue filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本開示に係る撮像装置（１）は、マトリクス状に配置された複数の通常画素（３）と、通常画素（３）の一部と置き換えて配置される特殊画素（４）と、通常画素（３）に対応し、所定の規則で配置されるカラーフィルタ（ＣＦ）と、特殊画素（４）に対応して配置される特殊フィルタ（ＳＦ）と、特殊フィルタ（ＳＦ）の周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタ（ＳＧＦ）と、を備える。

Description

撮像装置及び電子機器
　本開示は、撮像装置及び電子機器に関する。
　ＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)などを用いた撮像装置において、赤外光を受光するための画素や像面位相差を検出するための画素等の特殊画素を通常画素に置き換えて配置することがある。例えば、アレイ上に配置された通常画素の水平ライン上に所定の間隔で像面位相差を検出するための画素を配置した撮像装置が知られている（例えば、特許文献１参照）。
特開２００８－３１２０７３号公報
　上記技術のように、特殊画素を通常画素に置き換えると、特殊画素には、例えば、カラーフィルタではなく、特殊画素の機能に応じたフィルタ（例えば、赤外光を受光するための画素であれば赤外光フィルタ）が形成される。このように、画素アレイ部にカラーフィルタが形成されない領域があると、かかる領域の影響で、カラーフィルタを所望の形状に形成できない可能性がある。カラーフィルタを所望の形状に形成できないと、通常画素の受光感度が変動し、撮像装置の精度が低下する恐れがある。
　そこで、本開示では、精度低下を抑制可能な撮像装置及び電子機器を提供する。
　本開示によれば、撮像装置が提供される。撮像装置は、マトリクス状に配置された複数の通常画素と、前記通常画素の一部と置き換えて配置される特殊画素と、前記通常画素に対応し、所定の規則で配置されるカラーフィルタと、前記特殊画素に対応して配置される特殊フィルタと、前記特殊フィルタの周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタと、を備える。
実施形態に適用されうる電子機器の一例の構成を示すブロック図である。 本開示の実施形態に適用されうる撮像装置の概略的な構成例を示すブロック図である。 実施形態に適用されうる画素アレイ部の回路構成の一部を示す図である。 画素の配置例を説明するための図である。 撮像装置による画素信号の読み出しを模式的に示すタイミングチャートである。 カラーフィルタの構成例を示す図である。 カラーフィルタの形成方法の一例を説明するための図である。 カラーフィルタの形成方法の一例を説明するための図である。 実施形態に係る撮像装置のカラーフィルタ層を説明するための図である。 実施形態に係る撮像装置のカラーフィルタ層を説明するための図である。 実施形態に係る撮像装置のカラーフィルタ層の他の構成例を説明するための図である。 実施形態に係る撮像装置のカラーフィルタ層の他の構成例を説明するための図である。 実施形態に係る撮像装置のカラーフィルタ層の他の構成例を説明するための図である。 既存技術に係るカラーフィルタ層の構成例を示す図である。 図１４のＡ－Ａ‘におけるカラーフィルタ層の断面を示す模式図である。 実施形態に係るカラーフィルタ層の構成例を示す図である。 図１６のＢ－Ｂ‘におけるカラーフィルタ層の断面を示す模式図である。 実施形態の変形例１に係るカラーフィルタ層の構成例を示す図である。 実施形態の変形例２に係るカラーフィルタ層の構成例を示す図である。 実施形態の変形例３に係るカラーフィルタ層の構成例を示す図である。 実施形態の変形例３に係るカラーフィルタ層の他の構成例を示す図である。 実施形態の変形例４に係るカラーフィルタ層の構成例を示す図である。 実施形態の変形例４に係るカラーフィルタ層の他の構成例を示す図である。 実施形態の変形例４に係るカラーフィルタ層の構成例を示す図である。 実施形態及びその変形例に係る撮像装置を使用する使用例を示す図である。 本開示に係る技術が適用されうる、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。 本開示に係る技術が適用されうる内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示に係る技術が適用されうる移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、図中の各部材の大きさは、説明を容易とするため適宜強調されており、実際の寸法、部材間の比率を示すものではない。
　なお、説明は以下の順序で行うものとする。
　　１．はじめに
　　　１．１．実施形態に適用されうる構成例
　　　１．２．既存技術における精度低下について
　　２．実施形態
　　　２．１．カラーフィルタ層の構成例
　　　２．２．実施形態の効果
　　３．変形例
　　　３．１．変形例１
　　　３．２．変形例２
　　　３．３．変形例３
　　　３．４．変形例４
　　　３．５．変形例５
　　４．適応例
＜１．はじめに＞
＜１．１．実施形態に適用されうる構成例＞
　（電子機器）
　図１は、実施形態に適用されうる電子機器の一例の構成を示すブロック図である。図１において、電子機器１Ｄは、光学系２Ｄと、制御部３Ｄと、撮像装置１と、画像処理部５Ｄと、メモリ６Ｄと、記憶部７Ｄと、表示部８Ｄと、インタフェース（Ｉ／Ｆ）部９Ｄと、入力デバイス１０Ｄと、を備える。
　ここで、電子機器１Ｄとしては、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォンなどを適用することができる。また、電子機器１Ｄとして、監視カメラや車載用カメラ、医療用のカメラなどを適用することも可能である。
　撮像装置１は、例えばマトリクス状の配列で配置される複数の光電変換素子を含む。光電変換素子は、受光した光を光電変換にて電荷に変換する。撮像装置１は、この複数の光電変換素子を駆動する駆動回路と、複数の光電変換素子それぞれから電荷を読み出し、読み出した電荷に基づき画像データを生成する信号処理回路と、を含む。
　光学系２Ｄは、１又は複数枚のレンズの組み合わせによる主レンズと、主レンズを駆動するための機構と、を含み、被写体からの像光（入射光）を、主レンズを介して撮像装置１の受光面上に結像させる。また、光学系２Ｄは、制御信号に従いフォーカスを調整するオートフォーカス機構や、制御信号に従いズーム率を変更するズーム機構を備える。また、電子機器１Ｄは、光学系２Ｄを着脱可能とし、他の光学系２Ｄと交換できるようにしてもよい。
　画像処理部５Ｄは、撮像装置１から出力された画像データに対して所定の画像処理を実行する。例えば、画像処理部５Ｄは、フレームメモリなどによるメモリ６Ｄが接続され、撮像装置１から出力された画像データをメモリ６Ｄに書き込む。画像処理部５Ｄは、メモリ６Ｄに書き込まれた画像データに対して所定の画像処理を実行し、画像処理された画像データを再びメモリ６Ｄに書き込む。
　記憶部７Ｄは、例えばフラッシュメモリやハードディスクドライブなどの不揮発性のメモリであって、画像処理部５Ｄから出力された画像データを不揮発に記憶する。表示部８Ｄは、例えばＬＣＤ(Liquid　Crystal　Display)といった表示デバイスと、当該表示デバイスを駆動する駆動回路と、を含み、画像処理部５Ｄが出力された画像データに基づく画像を表示することができる。Ｉ／Ｆ部９Ｄは、画像処理部５Ｄから出力された画像データを外部に送信するためのインタフェースである。Ｉ／Ｆ部９Ｄとしては、例えばＵＳＢ(Universal　Serial　Bus)を適用することができる。これに限らず、Ｉ／Ｆ部９Ｄは、有線通信又は無線通信によりネットワークに接続可能なインタフェースであってもよい。
　入力デバイス１０Ｄは、ユーザ入力を受け付けるための操作子などを含む。電子機器１Ｄが例えばデジタルスチルカメラ、デジタルビデオカメラ、撮像機能付きの携帯電話やスマートフォンであれば、入力デバイス１０Ｄは、撮像装置１による撮像を指示するためのシャッタボタン、あるいは、シャッタボタンの機能を実現するための操作子を含むことができる。
　制御部３Ｄは、例えばＣＰＵ(Central　Processing　Unit)などのプロセッサと、ＲＯＭ(Read　Only　Memory)及びＲＡＭ(Random　Access　Memory)を含み、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて、この電子機器１Ｄの全体の動作を制御する。例えば、制御部３Ｄは、入力デバイス１０Ｄに受け付けられたユーザ入力に応じて、電子機器１Ｄの動作を制御することができる。また、制御部３Ｄは、画像処理部５Ｄの画像処理結果に基づき、光学系２Ｄにおけるオートフォーカス機構を制御することができる。
　（撮像装置）
　図２は、本開示の実施形態に適用されうる撮像装置の概略的な構成例を示すブロック図である。図２において、撮像装置１は、画素アレイ部１１と、垂直走査部１２と、Ａ／Ｄ変換部１３と、参照信号生成部１４と、水平走査部１５と、画素信号線１６と、垂直信号線１７と、出力部１８と、制御部１９と、を含む。
　画素アレイ部１１は、水平方向（行方向）及び垂直方向（列方向）に２次元マトリクス状に配置された複数の画素を有する。各画素は、受光した光に対して光電変換を行う光電変換部を有する。光電変換部は、フォトダイオードなどを用いて構成される。
　また、画素アレイ部１１には、行毎に画素信号線１６が接続され、列毎に垂直信号線１７が接続される。画素信号線１６の画素アレイ部１１と接続されない端部は、垂直走査部１２に接続される。画素信号線１６は、画素から画素信号を読み出す際の駆動パルスなどの制御信号を垂直走査部１２から画素アレイ部１１へ伝送する。垂直信号線１７の画素アレイ部１１と接続されない端部は、Ａ／Ｄ(Analog　to　Digital)変換部１３に接続される。垂直信号線１７は、画素から読み出された画素信号をＡ／Ｄ変換部１３へ伝送する。
　垂直走査部１２は、制御部１９の制御のもと、画素アレイ部１１の選択された画素行に対応する画素信号線１６に駆動パルスを含む各種信号を供給することによって、画素信号等を垂直信号線１７へ出力させる。垂直走査部１２は、例えばシフトレジスタやアドレスデコーダ等を用いて構成される。
　Ａ／Ｄ変換部１３は、垂直信号線１７毎に設けられたカラムＡ／Ｄ変換部１３１と、信号処理部１３２と、を有する。
　カラムＡ／Ｄ変換部１３１は、垂直信号線１７を介して画素から出力された画素信号に対して、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）処理のためのカウント処理を実行する。カラムＡ／Ｄ変換部１３１は、コンパレータ１３１ａと、カウンタ部１３１ｂと、を有する。
　コンパレータ１３１ａは、Ｐ相(Preset　Phase)期間において、垂直信号線１７を介して画素から入力された画素信号と、参照信号生成部１４から供給されたランプ信号ＲＡＭＰとを比較し、この比較結果をカウンタ部１３１ｂへ出力する。ここで、Ｐ相期間とは、ＣＤＳ処理において画素信号のリセットレベルを検出する期間である。また、ランプ信号ＲＡＭＰとは、例えば、レベル（電圧値）が一定の傾きで低下する信号、又は、レベルが階段状に低下する鋸波状の信号である。コンパレータ１３１ａは、ランプ信号ＲＡＭＰのレベルが画素信号のレベルより大である場合、Ｈｉｇｈ（ハイ）の差信号をカウンタ部１３１ｂへ出力する。また、コンパレータ１３１ａは、ランプ信号ＲＡＭＰのレベルが画素信号のレベルと同一又はそれ以下となった場合、出力を反転させ、Ｌｏｗ（ロー）の差信号をカウンタ部１３１ｂへ出力する。なお、ランプ信号ＲＡＭＰのレベルは、コンパレータ１３１ａの出力が反転した後、所定値にリセットされる。
　カウンタ部１３１ｂは、Ｐ相期間において、コンパレータ１３１ａから入力された差信号に応じて、ランプ信号ＲＡＭＰが電圧降下を開始してから画素信号と同一又はそれ以下のレベルとなるまでの時間をダウンカウントし、このカウント結果を信号処理部１３２へ出力する。また、カウンタ部１３１ｂは、Ｄ相(Data　Phase)期間において、コンパレータ１３１ａから入力された差信号に応じて、ランプ信号ＲＡＭＰが電圧降下を開始してから画素信号と同一又はそれ以下のレベルとなるまでの時間をアップカウントし、このカウント結果を信号処理部１３２へ出力する。ここで、Ｄ相期間とは、ＣＤＳ処理において画素信号の信号レベルを検出する検出期間である。
　信号処理部１３２は、カウンタ部１３１ｂから入力されるＰ相期間のカウント結果と、Ｄ相期間のカウント結果とに基づいてＣＤＳ処理及びＡ／Ｄ変換処理を行ってデジタルの画像データを生成し、出力部１８へ出力する。
　参照信号生成部１４は、制御部１９から入力される制御信号に基づいて、ランプ信号ＲＡＭＰを生成し、この生成したランプ信号ＲＡＭＰをＡ／Ｄ変換部１３のコンパレータ１３１ａへ出力する。参照信号生成部１４は、例えばＤ／Ａ変換回路等を用いて構成される。
　水平走査部１５は、制御部１９の制御のもと、各カラムＡ／Ｄ変換部１３１を所定の順番で選択する選択走査を行うことによって、各カラムＡ／Ｄ変換部１３１が一時的に保持しているカウント結果を信号処理部１３２へ順次出力させる。水平走査部１５は、例えばシフトレジスタやアドレスデコーダ等を用いて構成される。
　出力部１８は、信号処理部１３２から入力された画像データに対して所定の信号処理を行って撮像装置１の外部へ出力する。
　制御部１９は、垂直走査部１２、Ａ／Ｄ変換部１３、参照信号生成部１４及び水平走査部１５などの駆動制御を行う。制御部１９は、例えばタイミングジェネレータ等を用いて構成される。制御部１９は、垂直走査部１２、Ａ／Ｄ変換部１３、参照信号生成部１４及び水平走査部１５の動作の基準となる各種の駆動信号を生成する。
　このように構成された撮像装置１は、カラムＡ／Ｄ変換部１３１が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサである。なお、図２においては、Ａ／Ｄ変換部１３が１つであるが、例えば画素アレイ部１１の上下方向に２つのＡ／Ｄ変換部１３を設け、画素アレイ部１１の奇数列と偶数列とを上下方向に分割して画素信号を出力させてもよい。
　（画素アレイ部）
　図３は、実施形態に適用されうる画素アレイ部１１の回路構成の一部を示す図である。
　図３に示すように、画素アレイ部１１は、定電流源２と、画素３（以下、「通常画素３」という）と、画素４（以下、「特殊画素４」という）と、を有する。画素アレイ部１１は、複数の通常画素３及び複数の特殊画素４が所定の配置パターンをなして２次元マトリクス状に並んでおり、特殊画素４が所定の画素行に所定の間隔で配置されている。各通常画素３には、画素信号線１６として、第１の転送信号線１６１、リセット信号線１６２及び行選択信号線１６３が接続される。また、各特殊画素４には、画素信号線１６として、リセット信号線１６２、行選択信号線１６３及び第２の転送信号線１６４が接続される。
　定電流源２は、各垂直信号線１７に設けられる。また、定電流源２は、Ｎチャンネル型のＭＯＳ(metal-oxide-semiconductor　field-effect)トランジスタ（以下、「ＮＭＯＳ」と略称する）などを用いて構成される。定電流源２は、一端側が接地され、他端側が垂直信号線１７に接続される。
　通常画素３は、画素アレイ部１１上において２次元マトリクス状に配置される。通常画素３は、光電変換部３１と、転送スイッチ３２と、フローティングディフュージョン３３（以下、「ＦＤ３３」と略称する）と、リセットスイッチ３４と、増幅トランジスタ３５と、行選択スイッチ３６と、を有する。
　光電変換部３１は、受光した光に対して光電変換を行って画像用の信号電荷を生成する。光電変換部３１は、例えばＰＮ接合のフォトダイオードを用いて構成される。光電変換部３１は、アノード端子が接地されると共に、カソード端子が転送スイッチ３２を介してＦＤ３３と接続される。なお、実施形態では、光電変換部３１が第１の光電変換部として機能する。
　転送スイッチ３２は、一端が光電変換部３１に接続され、他端がＦＤ３３に接続される。さらに、転送スイッチ３２は、第１の転送信号線１６１が接続される。転送スイッチ３２は、第１の転送信号線１６１を介して転送パルスＴＲが供給された場合、オン状態（閉状態）となり、光電変換部３１で光電変換された信号電荷をＦＤ３３へ転送する。
　ＦＤ３３は、光電変換部３１から転送された信号電荷を一時的に保持すると共に、その電荷量に応じた電圧に変換する。
　リセットスイッチ３４は、一端がＦＤ３３に接続され、他端が電源電圧に接続される。さらに、リセットスイッチ３４は、リセット信号線１６２に接続される。リセットスイッチ３４は、リセット信号線１６２を介してリセットパルスＲＳＴが供給された場合、オン状態となり、ＦＤ３３の電荷を電源電圧へ排出することによって、ＦＤ３３の電位を所定電位にリセットする。
　増幅トランジスタ３５は、一端が電源電圧に接続され、他端が行選択スイッチ３６に接続される。さらに、増幅トランジスタ３５のゲート端には、ＦＤ３３が接続される。増幅トランジスタ３５は、垂直信号線１７を介して接続されている定電流源２とともにソースフォロアとして機能する。増幅トランジスタ３５は、リセットスイッチ３４によってリセットされた後のＦＤ３３の電位に応じたレベルを示すリセット信号（リセットレベル）を垂直信号線１７へ出力する。また、増幅トランジスタ３５は、転送スイッチ３２によって光電変換部３１から信号電荷が転送された後のＦＤ３３に保持された信号電荷の電荷量に応じたレベルを示す画像用の画素信号を垂直信号線１７へ出力する。
　行選択スイッチ３６は、一端が増幅トランジスタ３５に接続され、他端が垂直信号線１７に接続される。さらに、行選択スイッチ３６は、行選択信号線１６３に接続される。行選択スイッチ３６は、行選択信号線１６３から行選択信号ＳＥＬが供給された場合、オン状態となり、増幅トランジスタ３５から出力されるリセット信号又は画素信号（第１の信号）を垂直信号線１７へ出力する。
　垂直信号線１７の一端は、Ａ／Ｄ変換部１３のコンパレータ１３１ａ又は１３１ａ＿Ｓに接続される。図３の例では、特殊画素４が接続される垂直信号線１７に接続されるコンパレータ１３１ａを、コンパレータ１３１ａ＿Ｓとして示している。
　このように構成された通常画素３の転送スイッチ３２、リセットスイッチ３４、増幅トランジスタ３５及び行選択スイッチ３６は、例えばＮＭＯＳ又はＰチャンネル型のＭＯＳトランジスタ（ＰＭＯＳと略称する）を用いて構成される。また、通常画素３は、光電変換部３１の受光面に積層されるＲ（赤色）フィルタ、Ｇ（緑色）フィルタ及びＢ（青色）フィルタの何れか１つのカラーフィルタを備える。通常画素３は、画素アレイ部１１上において、例えばベイヤ配列を構成する。
　なお、通常画素３はベイヤ配列に限らず、所定の規則で配置されていればよい。例えば、単位パターンが３×３画素のＸ－Ｔｒａｎｓ（登録商標）型のカラーフィルタ配列や、４×４画素のクワッドベイヤー配列や、ＲＧＢ三原色それぞれのカラーフィルタに加えて可視光領域に対してブロードな光透過特性を持つカラーフィルタ（以下、クリア又はホワイトともいう）を含む４×４画素のホワイトＲＧＢ型のカラーフィルタ配列など、種々のカラーフィルタ配列をベースとすることが可能である。
　以下においては、Ｇ（グリーン）フィルタが受光面に積層された光電変換部３１を画素Ｇとし、Ｒ（レッド）フィルタが受光面に積層された光電変換部３１を画素Ｒとし、Ｂ（ブルー）フィルタが受光面に積層された光電変換部３１を画素Ｂとして説明する。
　（画素の配置例）
　図４は、画素の配置例を説明するための図である。図４に示すように、通常画素３は、２×２画素の単位画素において対角位置の２つの画素が画素Ｇで、残りの画素が画素Ｒと画素Ｂとなっている。図４では、さらに、ベイヤ配列に従って配置された通常画素３の一部を特殊画素４（画素Ｓ）で置き換えている。より具体的には、通常画素３のうち、画素Ｂ及び画素Ｇが並ぶ水平ラインを特殊画素４で置き換えている。
　特殊画素４は、通常画素３と同様の構成を有し、光電変換部４１と、転送スイッチ４２と、フローティングディフュージョン４３（以下、単に「ＦＤ４３」という）と、リセットスイッチ４４と、増幅トランジスタ４５と、行選択スイッチ４６と、を有する。特殊画素４は、光電変換部４１の受光面に積層される特殊フィルタを備える。また、特殊画素４は、転送スイッチ４２が第２の転送信号線１６４に接続され、第２の転送信号線１６４から転送パルスＴＲ_Ｓが供給される。これら以外の特殊画素４の構成は、通常画素３と同様である。
　特殊画素４は、フルカラー画像を形成するために可視光領域において色情報と輝度情報とを取得するための画素（通常画素、例えば画素Ｒ、画素Ｇ、画素Ｂ）以外の画素である。特殊画素４の例としては、赤外光画素、白画素、モノクロ画素、黒画素、偏光画素及び像面位相差画素が挙げられる。赤外光画素は、光電変換部４１の受光面に赤外光を受光可能な赤外フィルタが積層されている。白画素は、光電変換部４１の受光面に赤色、緑色及び青色の全ての可視光を受光可能なホワイトフィルタが積層されている。モノクロ画素は、光電変換部４１の受光面に透明なフィルタが積層されている。黒画素は、光電変換部４１の受光面に遮光フィルタが積層されている。偏光画素は、偏光光を受光するための偏光素子を用いた画素である。
　像面位相差画素は、光電変換部４１の受光面に所定の領域のみ開口された開口フィルタが積層されている。より具体的には、像面位相差画素は、光電変換部４１の受光面の例えば左側１／２の領域を開口した開口フィルタが積層された画素と、他の光電変換部４１の受光面の右側１／２の領域を開口した開口フィルタが積層された画素と、の２画素を１組とし、この２画素に受光された光の位相差に基づき測距を行うようにしたものである。
　このように、特殊画素４が受光した光を光電変換した画素信号は、通常画素３が受光した光を光電変換した画素信号とは異なる機能を実現できる。なお、図面においては、特殊画素４又は特殊画素４の光電変換部４１を「Ｓ」として表現する。
　（読み出し方法）
　次に、上述した撮像装置１における画素信号の読み出し方法について説明する。図５は、撮像装置１による画素信号の読み出しを模式的に示すタイミングチャートである。図５において、横軸が時間を示す。また、図５において、上段に垂直同期パルスの出力タイミングを示し、中段に垂直走査部１２における水平同期パルスの出力タイミングを示す。図５においては、撮像装置１が１フレームの画素信号を読み出す場合を示している。
　図５に示すように、制御部１９は、まず、例えば撮像装置１の外部から入力される垂直同期パルス及び水平同期パルスに従って、画素アレイ部１１の特殊画素４から画素信号を順次読み出す。全ての特殊画素行の特殊画素４から画素信号を読み出した後、制御部１９は、画素アレイ部１１の行毎に各通常画素３から画素信号を順次読み出す。
　このように、撮像装置１は、例えば、先ず、全ての特殊画素４から画素信号を読み出した後に、画素アレイ部１１の行毎に各通常画素３から画素信号を順次読み出す読み出し方法を行う。
＜１．２．既存技術における精度低下について＞
　次に、図６～図８を用いて既存技術による撮像装置の撮像精度低下について説明する。図６は、カラーフィルタ層の構成例を示す図である。図７及び図８は、カラーフィルタの形成方法の一例を説明するための図である。
　なお、画素Ｇに対応して形成される緑色のカラーフィルタをグリーンフィルタＧＦと称する。画素Ｒに対応して形成される赤色のカラーフィルタをレッドフィルタＲＦと称する。画素Ｂに対応して形成される青色のカラーフィルタをブルーフィルタＢＦと称する。なお、グリーンフィルタＧＦ、レッドフィルタＲＦ、ブルーフィルタＢＦを区別しない場合は、単にカラーフィルタＣＦとも記載する。また、画素Ｓ（特殊画素４）に対応して形成される特殊フィルタを特殊フィルタＳＦと称する。
　なお、以下では、通常画素３および特殊画素４ごとにそれぞれカラーフィルタＣＦおよび特殊フィルタＳＦを設ける。すなわち、各画素に１つのカラーフィルタＣＦまたは特殊フィルタＳＦを設けるが、例えば隣接する２以上の特殊フィルタＳＦが一体形成されるなど、隣接する同種のフィルタが、一体形成されたフィルタであってもよい。
　上述したように、通常画素３は、ベイヤ配列に従って配置されるため、図６に示すように、カラーフィルタ層ＣＬ０に形成されるカラーフィルタＣＦも通常画素３と同様にベイヤ配列に従って配置される。また、特殊フィルタＳＦは、ベイヤ配列に従って配置されたカラーフィルタＣＦの一部（例えば、画素行）と置き換えて配置される。
　なお、特殊フィルタＳＦは、特殊画素４の機能に応じて形成されるフィルタであり、上述したホワイトフィルタや、透明なフィルタ、所定の領域のみ開口された開口フィルタ等があげられる。
　このように、カラーフィルタＣＦ及び特殊フィルタＳＦが配置されるカラーフィルタ層が、例えば、グリーンフィルタＧＦ、レッドフィルタＲＦ、ブルーフィルタＢＦの順に形成されるものとする。この場合、図７に示すように、まず画素アレイ部１１の上にグリーンフィルタＧＦが形成される。
　ここで、カラーフィルタＣＦは、他のカラーフィルタＣＦが接していない角部を直角に形成することが難しいという問題がある。そのため、図７に示すように、特殊フィルタＳＦが形成される領域に隣接するグリーンフィルタＧＦの角部は、他のグリーンフィルタＧＦと接していない端部であるため、角部が直角にならず角が丸まってしまう。なお、図７は、図６に示すカラーフィルタ層ＣＬ０の一部の拡大図であり、画素の境界線を点線で示している。
　次に、グリーンフィルタＧＦを形成した後にレッドフィルタＲＦを形成すると、図８に示すように、特殊フィルタＳＦが形成される領域に隣接するレッドフィルタＲＦの一部が、本来はグリーンフィルタＧＦを形成したい領域にはみ出して形成されてしまう。なお、図８は、図６に示すカラーフィルタ層ＣＬ０の一部の拡大図であり、画素の境界線を点線で示している。
　このように、グリーンフィルタＧＦを形成したい領域にレッドフィルタＲＦの一部が形成されることで、画素Ｇの受光感度が変動し、撮像装置１の撮像精度が低下してしまう恐れがある。
　また、特殊フィルタＳＦが形成されないレッドフィルタ形成領域では、四方がグリーンフィルタＧＦで囲まれた領域内にレッドフィルタＲＦが形成される。一方、特殊フィルタＳＦに隣接するレッドフィルタ形成領域では、三方がグリーンフィルタＧＦで囲まれた領域にレッドフィルタＲＦが形成される。そのため、図８に示すように、レッドフィルタＲＦが特殊フィルタＳＦの形成領域まではみ出して形成され、画素Ｒの感度が変動してしまう恐れがある。このようにレッドフィルタＲＦが特殊フィルタＳＦの形成領域まではみ出ることで、レッドフィルタＲＦの膜厚が不均一になってしまう可能性がある。
　このように、レッドフィルタＲＦの膜厚が不均一になることで、画素Ｒの受光感度にばらつきが生じ、撮像装置１の撮像精度が低下してしまう恐れがある。
　そこで、実施形態に係る撮像装置１では、特殊フィルタＳＦを形成する領域に、特殊フィルタＳＦの周囲の少なくとも一部を囲うようにカラーフィルタＣＦを形成することで、撮像装置１の撮像精度の低下を抑制する。以下、かかる点について説明する。
＜２．実施形態＞
＜２．１．カラーフィルタ層の構成例＞
　図９及び図１０は、実施形態に係る撮像装置１のカラーフィルタ層を説明するための図である。図９に示すカラーフィルタ層ＣＬ１は、一部の特殊フィルタＳＦの周囲をカラーフィルタ（以下、特殊画素カラーフィルタＳＣＦともいう）で囲っている点を除き、図６に示すカラーフィルタ層ＣＬ０の構成と同じである。なお、図９では、カラーフィルタ層ＣＬ１の一部を示しているため、特殊フィルタＳＦが１つの画素行に配置されている場合を示しているが、特殊フィルタＳＦが所定の間隔で複数の画素行に配置されていてもよい。
　カラーフィルタ層ＣＬ１は、平面視して特殊フィルタＳＦの周囲を囲む特殊画素カラーフィルタＳＧＦを有する。図９では、特殊画素カラーフィルタＳＣＦが、緑色を透過するグリーンフィルタ（以下、特殊画素グリーンフィルタＳＧＦという）である場合を示しているが、特殊画素カラーフィルタＳＣＦはレッドフィルタであってもよく、ブルーフィルタであってもよい。
　図９に示すように、特殊画素グリーンフィルタＳＧＦに囲まれた特殊フィルタ（以下、第１特殊フィルタＳＦ１ともいう）、及び、特殊画素グリーンフィルタＳＧＦに囲まれていない特殊フィルタ（以下、第２特殊フィルタＳＦ２ともいう）が一画素ごとに交互に配置されて１つの画素行を構成する。
　図１０は、図９に示すカラーフィルタ層ＣＬ１に形成されるフィルタのうち、グリーンフィルタＧＦ及び特殊画素グリーンフィルタＳＧＦを示した図である。図１０に示すように、特殊画素グリーンフィルタＳＧＦは、グリーンフィルタＧＦ以外のカラーフィルタＣＦ（図９ではレッドフィルタＲＦ）と隣接する特殊フィルタＳＦの周囲を囲うように配置される。
　ここで、図９及び図１０では、特殊画素４及び特殊フィルタＳＦを所定の画素行に配置する例を示したが、これに限定されない。例えば図１１及び図１２に示すように、特殊画素４及び特殊フィルタＳＦを所定の画素列に配置するようにしてもよい。図１１及び図１２は、実施形態に係る撮像装置１のカラーフィルタ層の他の構成例を説明するための図である。
　図１１に示すように、カラーフィルタ層ＣＬ２の特殊フィルタＳＦは、１つの画素行に配置される。また、レッドフィルタＲＦと隣接する第１特殊フィルタＳＦ１は、周囲が特殊画素グリーンフィルタＳＧＦで囲まれている。一方、グリーンフィルタＧＦと隣接する第２特殊フィルタＳＦ２は、特殊画素グリーンフィルタＳＧＦでは囲まれていない。なお、図１１では、カラーフィルタ層ＣＬ１の一部を示しているため、特殊フィルタＳＦが１つの画素行に配置されている場合を示しているが、特殊フィルタＳＦが所定の間隔で複数の画素行に配置されていてもよい。
　図１２は、図１１に示すカラーフィルタ層ＣＬ２に形成されるフィルタのうち、グリーンフィルタＧＦ及び特殊画素グリーンフィルタＳＧＦを示した図である。図１２に示すように、特殊画素グリーンフィルタＳＧＦは、グリーンフィルタＧＦ以外のカラーフィルタＣＦ（図１１ではレッドフィルタＲＦ）と隣接する特殊フィルタＳＦの周囲を囲うように配置される。
　あるいは、図１３に示すように、特殊画素４及び特殊フィルタＳＦを画素行及び画素列の両方に配置するようにしてもよい。図１３は、実施形態に係る撮像装置１のカラーフィルタ層の他の構成例を説明するための図である。図１３では、カラーフィルタ層ＣＬ２に形成されるフィルタのうち、グリーンフィルタＧＦ及び特殊画素グリーンフィルタＳＧＦを示している。なお、図１３では、カラーフィルタ層の一部を示しているため、特殊フィルタＳＦが１つの画素行及び１つの画素列に配置されている場合を示しているが、特殊フィルタＳＦが所定の間隔で複数の画素行又は複数の画素列に配置されていてもよい。
＜２．２．実施形態の効果＞
　図９～図１３に示したように、特殊画素４と置き換える前のベイヤ配列において画素Ｇが配置される領域に特殊画素グリーンフィルタＳＧＦが配置される。換言すると、第１特殊フィルタＳＦ１は、グリーンフィルタＧＦの周囲を残した内部に形成される。そのため、グリーンフィルタＧＦの角部が他のグリーンフィルタＧＦ（特殊画素グリーンフィルタＳＧＦを含む）の角部と接して配置される。
　これにより、グリーンフィルタＧＦは、特殊フィルタＳＦが形成される領域においても他のグリーンフィルタと角部が接することとなり、他のグリーンフィルタと接しない端部が形成されなくなる。そのため、特殊フィルタＳＦが形成される領域に隣接するグリーンフィルタＧＦの角部を所望の形に形成することができ、隣接するレッドフィルタＲＦを、グリーンフィルタＧＦの形成領域にはみ出ることなく形成することができるようになる。従って、カラーフィルタＣＦを所望の形に形成できるようになり、各画素の受光感度の低下とばらつきを抑制し、撮像装置１の撮像精度の低下を抑制することができる。
　また、特殊画素グリーンフィルタＳＧＦを形成することで、特殊フィルタＳＦの形成領域と隣接するレッドフィルタＲＦの四方も、他のレッドフィルタＲＦと同様に特殊画素グリーンフィルタＳＧＦを含むグリーンフィルタＧＦで囲むことができる。これにより、特殊フィルタＳＦの形成領域と隣接するレッドフィルタＲＦも、他のレッドフィルタＲＦと同様に、膜厚が不均一に形成されにくくすることができる。かかる点について図１４～図１７を用いて説明する。
　図１４は、既存技術に係るカラーフィルタ層の構成例を示す図である。図１５は、図１４のＡ－Ａ‘におけるカラーフィルタ層の断面を示す模式図である。図１６は、実施形態に係るカラーフィルタ層の構成例を示す図である。図１７は、図１６のＢ－Ｂ‘におけるカラーフィルタ層の断面を示す模式図である。
　図１４、図１６に示すカラーフィルタ層ＣＬ０は、特殊画素カラーフィルタＳＧＦを備えておらず、レッドフィルタＲＦ及びブルーフィルタＢＦが特殊フィルタＳＦと接して配置される。図１４、図１６に示すように、特殊フィルタＳＦを所定の間隔で画素行及び画素列の両方に配置してもよい。図１４、図１６は、カラーフィルタ層ＣＬ０の一部を示す図である。
　図１４に示すように、特殊フィルタＳＦに隣接するレッドフィルタＲＦ及びブルーフィルタＢＦは、グリーンフィルタＧＦに三方を囲まれ、残る一方はグリーンフィルタＧＦに囲まれず開口している。
　上述したように、例えば、カラーフィルタＣＦがグリーン、レッド、ブルーの順に形成されるものとする。この場合、例えば、図１０や図１２に示すように、まずグリーンフィルタＧＦ及び特殊画素グリーンフィルタＳＧＦが形成されてからレッドフィルタＲＦ及びブルーフィルタＢＦが形成される。
　例えばブルーフィルタＢＦを形成する場合、グリーンフィルタＧＦに囲まれた三方は、かかるグリーンフィルタＧＦが壁となるが、開口した一方は、壁となるグリーンフィルタＧＦがないため、ブルーフィルタＢＦが開口した一方に流れやすくなる。
　そのため、図１５に示すように、ブルーフィルタＢＦは、特殊フィルタＳＦ側の膜厚が、グリーンフィルタＧＦ側の膜厚より薄くなってしまい、膜厚が不均一となってしまう。
　同様に、図１６に示す実施形態に係るカラーフィルタ層ＣＬ０は、特殊フィルタＳＦに隣接するレッドフィルタＲＦ及びブルーフィルタＢＦは、グリーンフィルタＧＦに三方を囲まれ、残る一方はグリーンフィルタＧＦに囲まれず開口している。
　上述したように、例えば、カラーフィルタＣＦがグリーン、レッド、ブルーの順に形成されるものとする。この場合、例えば、図１０や図１２に示すように、まずグリーンフィルタＧＦ及び特殊画素グリーンフィルタＳＧＦが形成されてからレッドフィルタＲＦ及びブルーフィルタＢＦが形成される。
　例えばレッドフィルタＲＦを形成する場合、グリーンフィルタＧＦに囲まれた三方は、かかるグリーンフィルタＧＦが壁となるが、開口した一方は、壁となるグリーンフィルタＧＦがないため、レッドフィルタＲＦが開口した一方に流れやすくなる。
　そのため、図１７に示すように、レッドフィルタＲＦは、特殊フィルタＳＦ側の膜厚が、グリーンフィルタＧＦ側の膜厚より薄くなってしまい、膜厚が不均一となってしまう。
　一方、本実施形態に係るカラーフィルタ層では、特殊画素領域の周囲を囲うように特殊画素グリーンフィルタＳＧＦを形成する。そのため、レッドフィルタＲＦ及びブルーフィルタＢＦは、特殊画素グリーンフィルタＳＧＦを含むグリーンフィルタＧＦに四方を囲まれた領域内に形成される。
　例えばブルーフィルタＢＦを形成する場合、四方のグリーンフィルタＧＦが壁となって、ブルーフィルタＢＦが成膜される。そのため、ブルーフィルタＢＦは、特殊フィルタＳＦ側の膜厚とグリーンフィルタＧＦ側の膜厚との差が小さくなり、図１５と比較して、膜厚を均一に成膜することができる。
　なお、ここでは、ブルーフィルタＢＦを例に、膜厚の不均一性を抑制することができる点について説明したが、レッドフィルタＲＦについても同様の効果が得られる。また、特殊フィルタＳＦについても、膜厚の不均一性を改善することができる。
　例えば、図１４、図１６の例では、特殊フィルタＳＦは、画素行（特殊画素行ともいう）及び画素列（特殊画素列ともいう）に対応して配置される。ここで、特殊画素カラーフィルタＳＧＦが形成されないと、特殊画素行の中央部の特殊フィルタＳＦの膜厚は、両端側の膜厚より薄くなってしまう。これは、特殊フィルタＳＦを成膜するコーターの遠心力により、特殊フィルタＳＦが特殊画素行（又は特殊画素列）の両端側に流れるためである。
　このように、特殊フィルタＳＦの膜厚が不均一になることで、特殊画素４の感度が変動してしまい、特殊画素４に応じた機能が低下してしまう。例えば、特殊画素４が像面位相差画素であり、撮像装置１が特殊画素４を用いてオートフォーカス機能を実現するものとする。この場合に、特殊画素４の感度が変動すると、撮像装置１が適切に焦点を調整することができなくなってしまい、オートフォーカスの機能が低下してしまう恐れがある。
　一方、図９～図１３に示すように、特殊画素行（又は特殊画素列）に特殊画素カラーフィルタＳＧＦを形成すると、例えば特殊フィルタＳＦが１画素ごとに特殊画素カラーフィルタＳＧＦで区切られる。そのため、かかる特殊画素カラーフィルタＳＧＦが壁となって、特殊フィルタＳＦが特殊画素行（又は特殊画素列）の両端側へ流れにくくなり、特殊フィルタＳＦの膜厚の不均一性を改善することができる。これにより、撮像装置１の機能低下を抑制することができる。
＜３．変形例＞
＜３．１．変形例１＞
　上述した実施形態では、特殊画素グリーンフィルタＳＧＦが特殊フィルタＳＦの周囲を囲うように形成される場合について説明したが、これに限定されない。特殊画素グリーンフィルタＳＧＦが、特殊画素４の少なくとも１つを含む特殊画素領域ＳＲの少なくとも一部を囲うように形成されてもよい。かかる点について図１８を用いて説明する。
　図１８は、実施形態の変形例１に係るカラーフィルタ層の構成例を示す図である。なお、図１８では、撮像装置１のカラーフィルタ層の一部を示している。
　図１８に示すカラーフィルタ層ＣＬ４では、特殊フィルタＳＦの少なくとも一部（カラーフィルタＣＦと接する辺）に特殊画素グリーンフィルタＳＧＦを形成する。
　これにより、グリーンフィルタＧＦの角部が他のグリーンフィルタＧＦ又は特殊画素グリーンフィルタＳＧＦと接することになり、カラーフィルタＣＦを所望の形に形成できるようになる。また、カラーフィルタＣＦの膜厚の不均一性を改善することができる。
　なお、図１８に示す例では、特殊フィルタＳＦは、特殊画素グリーンフィルタＳＧＦによって区切られていない。そのため、例えば特殊フィルタＳＦの膜厚の均一性が求められる場合は、実施形態に示すカラーフィルタ層ＣＬ１～ＣＬ３に示すように特殊フィルタＳＦの周囲を囲うように特殊画素グリーンフィルタＳＧＦを形成することが望ましい。これにより、特殊フィルタＳＦを、特殊画素グリーンフィルタＳＧＦによって区切ることができ、特殊フィルタＳＦの膜厚の不均一性を改善することができる。
＜３．２．変形例２＞
　続いて、図１９を用いて、実施形態の変形例２について説明する。図１９は、実施形態の変形例２に係るカラーフィルタ層ＣＬ５の構成例を示す図である。なお、図１９では、撮像装置１のカラーフィルタ層ＣＬ５の一部を示している。
　上述したように、特殊画素４が像面位相差画素の場合、特殊画素４に対応する特殊フィルタＳＦは、所定の領域のみ開口された開口フィルタであるが、全ての特殊フィルタＳＦが開口フィルタである必要はない。例えば、図１９に示すように、特殊フィルタＳＦの一部が開口フィルタであり、他の特殊フィルタＳＦが所定の色を透過させるカラーフィルタであってもよい。この場合、開口フィルタの開口部に形成されるカラーフィルタは、他の特殊フィルタＳＦ（以下、特殊カラーフィルタＳＣＦともいう）と同じ色を透過させるカラーフィルタであってもよい。
　図１９の例では、開口フィルタＯＦ及び特殊カラーフィルタＳＣＦが交互に配置される。特殊カラーフィルタＳＣＦは、例えばシアンを透過させるカラーフィルタ（以下、シアンフィルタともいう）である。シアンは、ＲＧＢより光電変換部４１での感度が高いため、特殊フィルタＳＦをシアンフィルタとすることで、特殊画素４の感度を向上させることができる。なお、特殊カラーフィルタＳＣＦを、シアンフィルタにかえて、白色を透過させるホワイトフィルタとしてもよい。ホワイトフィルタは、シアンフィルタより光電変換部４１での感度が高いため、特殊画素４の感度をより向上させることができる。
　特殊画素グリーンフィルタＳＧＦは、特殊カラーフィルタＳＣＦの周囲を囲うように配置される。これにより、実施形態と同様の効果をうることができる。また、特殊画素グリーンフィルタＳＧＦが形成された特殊画素領域は、特殊フィルタＳＦの形成領域が小さくなってしまう。そのため、特殊画素グリーンフィルタＳＧＦが形成された特殊画素領域に開口フィルタＯＦを形成すると、像面位相差画素の感度が低下する恐れがある。そこで、特殊画素グリーンフィルタＳＧＦが形成されない特殊画素領域に開口フィルタＯＦを形成することで、像面位相差画素の感度低下を抑制することができる。
　なお、特殊カラーフィルタＳＣＦに対応する特殊画素４が受光した光を光電変換した画素信号は、例えば、撮像画像の補正等に利用するようにしてもよい。通常画素３の一部を特殊画素４に置き換えると、通常画素３の画素数が低下してしまい、撮像画像の画質が劣化してしまう。特殊カラーフィルタＳＣＦに対応する特殊画素４を用いて撮像画像の補正を行うことで、オートフォーカス等の機能を実現しつつ撮像画像の画質の劣化を抑制することができる。
　なお、図１９では、特殊画素４の左側を遮光する開口フィルタＯＦを示しているが、右側を遮光する開口フィルタＯＦも、図示は省略しているがカラーフィルタ層ＣＬ５に形成される。また、図１９に示す開口フィルタＯＦの配置は一例であり、これに限定されない。例えば、特殊画素４の左側を遮光する開口フィルタＯＦ及び右側を遮光する開口フィルタＯＦを同一の画素行に形成するようにしてもよい。
＜３．３．変形例３＞
　上述した実施形態では、特殊画素グリーンフィルタＳＧＦで囲まれた第１特殊フィルタＳＦ１と、特殊画素グリーンフィルタＳＧＦで囲まれていない第２特殊フィルタＳＦ２とを交互に配置するとしたが、これに限定されない。例えば、図２０に示すように、特殊フィルタＳＦ全てを特殊画素グリーンフィルタＳＧＦで囲うようにしてもよい。なお、図２０は、実施形態の変形例３に係るカラーフィルタ層ＣＬ６の構成例を示す図である。なお、図２０では、撮像装置１のカラーフィルタ層ＣＬ６の一部を示している。
　図２０に示すように、全ての特殊フィルタＳＦを特殊画素グリーンフィルタＳＧＦで囲うようにしても、実施形態と同様の効果が得られる。なお、特殊フィルタＳＦの面積は小さくなるが、全ての特殊フィルタＳＦがほぼ同じ面積になるため、全ての特殊フィルタＳＦを特殊画素グリーンフィルタＳＧＦで囲うことで、特殊画素４の感度を揃えることができる。
　なお、図２０では、カラーフィルタ層ＣＬ６の画素行に特殊フィルタＳＦを配置する例について示しているが、図２１に示すように、カラーフィルタ層ＣＬ６の画素行に加え、画素列にも特殊フィルタＳＦを配置するようにしてもよい。あるいは、カラーフィルタ層ＣＬ６の画素列に特殊フィルタＳＦを配置するようにしてもよい。なお、図２１は、実施形態の変形例３に係るカラーフィルタ層ＣＬ６の他の構成例を示す図であり、撮像装置１のカラーフィルタ層ＣＬ６の一部を示している。
＜３．４．変形例４＞
　上述した実施形態では、特殊画素グリーンフィルタＳＧＦを、１つの特殊画素４に対応する特殊フィルタＳＦの周囲を囲うように配置するとしたが、これに限定されない。例えば、特殊画素グリーンフィルタＳＧＦを、２つ以上の特殊画素４に対応する特殊フィルタＳＦの周囲を囲うように配置してもよい。換言すると、変形例３に係るカラーフィルタ層ＣＬ７では、平面視して２以上の特殊フィルタＳＦを含む特殊フィルタ領域の周囲を、特殊画素グリーンフィルタＳＧＦで囲うようにしてもよい。
　図２２は、実施形態の変形例４に係るカラーフィルタ層ＣＬ７の構成例を示す図である。図２２では、撮像装置１のカラーフィルタ層ＣＬ７の一部を示している。
　図２２に示すように、カラーフィルタ層ＣＬ７では、特殊画素行のうち、平面視して２つの特殊フィルタＳＦを含む特殊フィルタ領域の周囲を特殊画素グリーンフィルタＳＧＦで囲っている。
　なお、図２２では、カラーフィルタ層ＣＬ７の画素行に特殊フィルタＳＦを配置する例について示しているが、図２３に示すように、カラーフィルタ層ＣＬ７の画素行に加え、画素列にも特殊フィルタＳＦを配置するようにしてもよい。あるいは、カラーフィルタ層ＣＬ７の画素列に特殊フィルタＳＦを配置するようにしてもよい。なお、図２３は、実施形態の変形例４に係るカラーフィルタ層ＣＬ７の他の構成例を示す図であり、撮像装置１のカラーフィルタ層ＣＬ７の一部を示している。
＜３．５．変形例５＞
　上述した実施形態では、カラーフィルタ層の画素行又は画素列に特殊フィルタＳＦを配置する場合について説明したが、これに限定されない。例えば、図２４に示すように、カラーフィルタＣＦの一部を特殊フィルタＳＦに置き換えてもよい。図２４は、実施形態の変形例４に係るカラーフィルタ層ＣＬ８の構成例を示す図である。図２４では、撮像装置１のカラーフィルタ層ＣＬ８の一部を示している。
　図２４に示すカラーフィルタ層ＣＬ８では、所定の間隔でグリーンフィルタＧＦを特殊フィルタＳＦに置き換え、特殊画素グリーンフィルタＳＧＦを、特殊フィルタＳＦの周囲を囲うように配置している。このように、所定の間隔で通常画素３を特殊画素４に置き換えるようにしてもよい。
＜４．適応例＞
　次に、本開示に実施形態及び変形例に係る撮像装置１の適用例について説明する。図２５は、上述の実施形態及び変形例に係る撮像装置１を使用する使用例を示す図である。
　上述した各撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
［本開示に係る技術のさらなる適用例］
　本開示に係る技術（本技術）は、様々な製品へ適用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
（体内情報取得システムへの適用例）
　図２６は、本開示に係る技術（本技術）が適用されうる、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
　体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。
　カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。
　外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示しない）に当該体内画像を表示するための画像データを生成する。
　体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時うることができる。
　カプセル型内視鏡１０１００と外部制御装置１０２００の構成及び機能についてより詳細に説明する。
　カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、及び制御部１０１１７が収納されている。
　光源部１０１１１は、例えばＬＥＤ(Light　Emitting　Diode)等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。
　撮像部１０１１２は、撮像装置、及び当該撮像装置の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像装置に入射する。撮像部１０１１２では、撮像装置において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。
　画像処理部１０１１３は、ＣＰＵやＧＰＵ(Graphics　Processing　Unit)等のプロセッサによって構成され、撮像部１０１１２によって生成された画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。
　無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。
　給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。
　電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図２６では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び制御部１０１１７に供給され、これらの駆動に用いられうる。
　制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。
　外部制御装置１０２００は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更されうる。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更されうる。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
　また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ノイズリダクション処理、手ブレ補正処理等）、拡大処理（電子ズーム処理）等、それぞれ単独で、あるいは、組み合わせて、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示しない）に記録させたり、印刷装置（図示しない）に印刷出力させたりしてもよい。
　以上、本開示に係る技術が適用されうる体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１０１１２に適用されうる。本開示に係る撮像装置１を撮像部１０１１２に適用することで、ズームなどを行った場合でも良好なオートフォーカスを行うことが可能となり、より高品質な体内画像などを取得することが可能となる。
（内視鏡手術システムへの適用例）
　本開示に係る技術は、さらに、内視鏡手術システムに適用されてもよい。図２７は、本開示に係る技術（本技術）が適用されうる内視鏡手術システムの概略的な構成の一例を示す図である。
　図２７では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像装置に集光される。当該撮像装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵやＧＰＵ等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ(Light　Emitting　Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像装置の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow　Band　Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像をうる蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像をうること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成されうる。
　図２８は、図２７に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像装置で構成される。撮像部１１４０２を構成する撮像装置は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像装置によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像装置を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像装置に対応して、レンズユニット１１４０１も複数系統設けられうる。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整されうる。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ(Auto　Exposure)機能、ＡＦ(Auto　Focus)機能及びＡＷＢ(Auto　White　Balance)機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図２８の例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用されうる内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００や、カメラヘッド１１１０２の撮像部１１４０２に適用されうる。本開示に係る撮像装置１を撮像部１１４０２に適用することで、ズームなどを行った場合でも良好なオートフォーカスを行うことが可能となり、より高品質な撮像画像を取得することができる。これにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
（移動体への適用例）
　本開示に係る技術は、さらにｍ自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
　図２９は、本開示に係る技術が適用されうる移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力されうる。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced　Driver　Assistance　System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３０は、撮像部１２０３１の設置位置の例を示す図である。図３０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３０には、撮像部１２１０１～１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２及び１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２及び１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１～１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１～１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１～１２１０４の少なくとも１つは、複数の撮像装置からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像装置であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を基に、撮像範囲１２１１１～１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１～１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１～１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用されうる車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用されうる。本開示に係る撮像装置１を撮像部１２０３１に適用することで、ズームなどを行った場合でも良好なオートフォーカスを行うことが可能となり、より高品質な撮像画像を取得する。
＜５．まとめ＞
　以上、図１～図３０を参照しながら、本開示の実施形態及び変形例について詳細に説明した。以上説明したように、実施形態及び変形例に係る撮像装置１は、マトリクス状に配置された複数の通常画素３と、通常画素３の一部と置き換えて配置される特殊画素４と、通常画素３に対応し、所定の規則で配置されるカラーフィルタＣＦと、特殊画素４に対応して配置される特殊フィルタＳＦと、特殊フィルタＳＦの周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタ（特殊画素グリーンフィルタＳＧＦに相当）と、を備える。
　これにより、カラーフィルタＣＦを、当該カラーフィルタＣＦの端部が特殊画素カラーフィルタと接するように配置することができるようになり、カラーフィルタＣＦを所望の形状に形成することができるようになる。そのため、通常画素４の感度変動を抑制することができ、撮像装置の撮像精度の低下を抑制することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　マトリクス状に配置された複数の通常画素と、
　前記通常画素の一部と置き換えて配置される特殊画素と、
　前記通常画素に対応し、所定の規則で配置されるカラーフィルタと、
　前記特殊画素に対応して配置される特殊フィルタと、
　前記特殊フィルタの周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタと、
　を備える撮像装置。
（２）
　前記カラーフィルタは、それぞれ異なる色を透過する複数のフィルタを含み、
　前記特殊画素カラーフィルタは、複数の前記フィルタのいずれか１つと同じ色を透過するカラーフィルタである
　（１）に記載の撮像装置。
（３）
　前記特殊画素カラーフィルタは、同じ色を透過する前記カラーフィルタの角部と接するように配置される（１）又は（２）に記載の撮像装置。
（４）
　前記特殊画素カラーフィルタは、
　１つの前記特殊フィルタの周囲を囲うように配置される
　（１）～（３）のいずれか１つに記載の撮像装置。
（５）
　前記特殊画素カラーフィルタは、前記特殊画素カラーフィルタが透過する色とは異なる色を透過する前記カラーフィルタと隣接する前記特殊フィルタを囲うように配置される
　（４）に記載の撮像装置。
（６）
　前記特殊画素カラーフィルタは、隣接する２以上の前記特殊フィルタの周囲を囲うように配置される
　（１）～（３）のいずれか１つに記載の撮像装置。
（７）
　前記特殊フィルタは、赤外光フィルタ、像面位相差フィルタ、白フィルタ、モノクロフィルタ及び黒フィルタのいずれかである
　（１）～（６）のいずれか１つに記載の撮像装置。
（８）
　撮像装置と、
　入射光を前記撮像装置の受光面に結像する光学系と、
　前記撮像装置を制御するプロセッサと、
　を備え、
　前記撮像装置は、
　マトリクス状に配置された複数の通常画素と、
　前記通常画素の一部と置き換えて配置される特殊画素と、
　前記通常画素に対応し、所定の規則で配置されるカラーフィルタと、
　前記特殊画素に対応して配置される特殊フィルタと、
　前記特殊フィルタの周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタと、
　を備える電子機器。
１　撮像装置
３　通常画素
４　特殊画素
３１，４１　光電変換部
３２，４２　転送スイッチ
３３，４３　フローティングディフュージョン
３５，４５　増幅トランジスタ
３６，４６　行選択スイッチ
ＣＦ　カラーフィルタ
ＳＦ　特殊フィルタ
ＳＧＦ　特殊画素グリーンフィルタ
ＲＦ　レッドフィルタ
ＧＦ　グリーンフィルタ
ＢＦ　ブルーフィルタ

Claims (8)

  1. 　マトリクス状に配置された複数の通常画素と、
    　前記通常画素の一部と置き換えて配置される特殊画素と、
    　前記通常画素に対応し、所定の規則で配置されるカラーフィルタと、
    　前記特殊画素に対応して配置される特殊フィルタと、
    　前記特殊フィルタの周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタと、
    　を備える撮像装置。
  2. 　前記カラーフィルタは、それぞれ異なる色を透過する複数のフィルタを含み、
    　前記特殊画素カラーフィルタは、複数の前記フィルタのいずれか１つと同じ色を透過するカラーフィルタである
    　請求項１に記載の撮像装置。
  3. 　前記特殊画素カラーフィルタは、同じ色を透過する前記カラーフィルタの角部と接するように配置される請求項２に記載の撮像装置。
  4. 　前記特殊画素カラーフィルタは、
    　１つの前記特殊フィルタの周囲を囲うように配置される
    　請求項３に記載の撮像装置。
  5. 　前記特殊画素カラーフィルタは、前記特殊画素カラーフィルタが透過する色とは異なる色を透過する前記カラーフィルタと隣接する前記特殊フィルタを囲うように配置される
    　請求項４に記載の撮像装置。
  6. 　前記特殊画素カラーフィルタは、隣接する２以上の前記特殊フィルタの周囲を囲うように配置される
    　請求項３に記載の撮像装置。
  7. 　前記特殊フィルタは、赤外光フィルタ、像面位相差フィルタ、白フィルタ、モノクロフィルタ及び黒フィルタのいずれかである
    　請求項３に記載の撮像装置。
  8. 　撮像装置と、
    　入射光を前記撮像装置の受光面に結像する光学系と、
    　前記撮像装置を制御するプロセッサと、
    　を備え、
    　前記撮像装置は、
    　マトリクス状に配置された複数の通常画素と、
    　前記通常画素の一部と置き換えて配置される特殊画素と、
    　前記通常画素に対応し、所定の規則で配置されるカラーフィルタと、
    　前記特殊画素に対応して配置される特殊フィルタと、
    　前記特殊フィルタの周囲の少なくとも一部を囲うように配置される特殊画素カラーフィルタと、
    　を備える電子機器。
PCT/JP2020/040148 2019-11-07 2020-10-26 撮像装置及び電子機器 WO2021090727A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080066134.7A CN114556906A (zh) 2019-11-07 2020-10-26 摄像装置和电子设备
US17/773,172 US20240155261A1 (en) 2019-11-07 2020-10-26 Imaging device and electronic apparatus
JP2021554900A JPWO2021090727A1 (ja) 2019-11-07 2020-10-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-202415 2019-11-07
JP2019202415 2019-11-07

Publications (1)

Publication Number Publication Date
WO2021090727A1 true WO2021090727A1 (ja) 2021-05-14

Family

ID=75848370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040148 WO2021090727A1 (ja) 2019-11-07 2020-10-26 撮像装置及び電子機器

Country Status (5)

Country Link
US (1) US20240155261A1 (ja)
JP (1) JPWO2021090727A1 (ja)
CN (1) CN114556906A (ja)
TW (1) TW202138848A (ja)
WO (1) WO2021090727A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010233857A (ja) * 2009-03-31 2010-10-21 Rohm Co Ltd 内視鏡
JP2016009813A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
JP2016201524A (ja) * 2015-04-10 2016-12-01 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ イメージセンサ

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005340299A (ja) * 2004-05-24 2005-12-08 Matsushita Electric Ind Co Ltd 固体撮像装置およびその製造方法並びにカメラ
JP2013165216A (ja) * 2012-02-13 2013-08-22 Fujifilm Corp 撮像素子
US10872919B2 (en) * 2016-01-29 2020-12-22 Sony Corporation Solid-state imaging device and electronic apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010233857A (ja) * 2009-03-31 2010-10-21 Rohm Co Ltd 内視鏡
JP2016009813A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
JP2016201524A (ja) * 2015-04-10 2016-12-01 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ イメージセンサ

Also Published As

Publication number Publication date
CN114556906A (zh) 2022-05-27
US20240155261A1 (en) 2024-05-09
TW202138848A (zh) 2021-10-16
JPWO2021090727A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
US10841520B2 (en) Solid-state imaging device and electronic device
WO2020230675A1 (ja) 撮像素子および電子機器
WO2018139278A1 (ja) 撮像素子、製造方法、および電子機器
US11936979B2 (en) Imaging device
US11457169B2 (en) Solid-state imaging element and electronic equipment
US20240064438A1 (en) Imaging device
JP6869717B2 (ja) 撮像装置および撮像装置の製造方法、並びに、電子機器
US11218658B2 (en) Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image
WO2021090727A1 (ja) 撮像装置及び電子機器
WO2017169822A1 (ja) 固体撮像素子、撮像装置、内視鏡装置、および電子機器
WO2021002213A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US10893224B2 (en) Imaging element and electronic device
WO2018051819A1 (ja) 撮像素子および駆動方法、並びに電子機器
WO2024062813A1 (ja) 撮像装置および電子機器
WO2021090663A1 (ja) 撮像デバイス及び撮像デバイスにおける画素信号の補正処理方法
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20885527

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021554900

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 17773172

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20885527

Country of ref document: EP

Kind code of ref document: A1