WO2019155944A1 - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

画像処理装置、画像処理方法、および撮像装置 Download PDF

Info

Publication number
WO2019155944A1
WO2019155944A1 PCT/JP2019/002984 JP2019002984W WO2019155944A1 WO 2019155944 A1 WO2019155944 A1 WO 2019155944A1 JP 2019002984 W JP2019002984 W JP 2019002984W WO 2019155944 A1 WO2019155944 A1 WO 2019155944A1
Authority
WO
WIPO (PCT)
Prior art keywords
map data
image
processing unit
interpolation
pixel values
Prior art date
Application number
PCT/JP2019/002984
Other languages
English (en)
French (fr)
Inventor
史彦 古閑
山口　哲司
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202210966357.XA priority Critical patent/CN115460384A/zh
Priority to CN202210968588.4A priority patent/CN115460387B/zh
Priority to CN202210968148.9A priority patent/CN115460385A/zh
Priority to DE112019000735.1T priority patent/DE112019000735T5/de
Priority to CN201980007286.7A priority patent/CN111543053B/zh
Priority to KR1020207019007A priority patent/KR102666651B1/ko
Priority to US16/966,138 priority patent/US11665440B2/en
Priority to JP2019570697A priority patent/JP7225131B2/ja
Publication of WO2019155944A1 publication Critical patent/WO2019155944A1/ja
Priority to JP2023014212A priority patent/JP2023061999A/ja
Priority to US18/135,301 priority patent/US20230254596A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present disclosure relates to an image processing apparatus that performs image processing, an image processing method, and an imaging apparatus including such an image processing apparatus.
  • Patent Document 1 discloses a structure in which red, green, and blue photoelectric conversion elements are stacked in one pixel region.
  • the image quality of the captured image is high, and further improvement in image quality is expected.
  • the image processing apparatus includes an image division processing unit, an interpolation processing unit, and a synthesis processing unit.
  • the image division processing unit generates a plurality of first map data having different pixel value arrangement patterns and pixel values arranged at different positions based on the first image map data including a plurality of pixel values. It is possible.
  • the interpolation processing unit obtains a pixel value at a position where the pixel value is missing by using interpolation processing in each of the plurality of first map data, and thereby a plurality of second map data corresponding to the plurality of first map data.
  • the map data can be generated.
  • the composition processing unit can generate the third map data by generating the pixel value at the position based on the pixel value at the position corresponding to each other in the plurality of second map data.
  • An image processing method has a plurality of pixel value arrangement patterns different from each other based on first image map data including a plurality of pixel values, and pixel values arranged at different positions.
  • the interpolation processing is used to obtain the pixel values at the positions where the pixel values are missing.
  • the imaging device includes an imaging unit, an image division processing unit, an interpolation processing unit, and a synthesis processing unit.
  • the imaging unit generates first image map data including a plurality of pixel values.
  • the image division processing unit can generate a plurality of first map data having different pixel value arrangement patterns and pixel values arranged at different positions based on the first image map data. It is.
  • the interpolation processing unit obtains a pixel value at a position where the pixel value is missing by using interpolation processing in each of the plurality of first map data, and thereby a plurality of second map data corresponding to the plurality of first map data.
  • Map data can be generated.
  • the composition processing unit can generate the third map data by generating the pixel value at the position based on the pixel value at the position corresponding to each other in the plurality of second map data. .
  • the “imaging device” is not limited to a so-called image sensor alone, but includes an electronic device having an imaging function such as a digital camera or a smartphone. *
  • a plurality of first map data is generated based on the first image map data by image division processing.
  • the plurality of first map data has different pixel value arrangement patterns and pixel values are arranged at different positions.
  • a plurality of second map data is generated based on each of the plurality of first map data by the interpolation process.
  • the plurality of second map data is generated by obtaining pixel values at positions where pixel values are missing in the plurality of first map data using interpolation processing.
  • third map data is generated based on the plurality of second map data.
  • the third map data is generated by generating a pixel value at that position based on pixel values at positions corresponding to each other in the plurality of second map data.
  • the pixel value arrangement patterns are different from each other based on the first image map data, and the pixel values are arranged at different positions.
  • the plurality of first map data is generated, and in each of the plurality of first map data, interpolation processing is used to obtain a pixel value at a position where the pixel value is missing. Since the third map data is generated by generating the data and generating the pixel value at the position based on the pixel value at the position corresponding to each other in the plurality of second map data, the captured image Can improve the image quality.
  • the effect described here is not necessarily limited, and there may be any effect described in the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of an imaging unit illustrated in FIG. 1.
  • FIG. 3 is an explanatory diagram illustrating a configuration example of an imaging pixel illustrated in FIG. 2.
  • FIG. 3 is a schematic diagram illustrating a configuration example of an imaging pixel illustrated in FIG. 2.
  • 3 is a flowchart illustrating an operation example of the image processing unit illustrated in FIG. 1.
  • FIG. 7 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 1. It is explanatory drawing showing an example of the image map data shown in FIG. It is explanatory drawing showing an example of the map data shown in FIG.
  • FIG. 22 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 21.
  • FIG. 22 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 21.
  • FIG. 22 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 21.
  • FIG. 22 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 21.
  • FIG. 22 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 21.
  • FIG. 26 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 25. It is a block diagram showing the example of 1 structure of the imaging device which concerns on 2nd Embodiment. It is explanatory drawing showing the example of 1 structure of the imaging pixel in the imaging part shown in FIG.
  • FIG. 28 is a schematic diagram illustrating a configuration example of an imaging pixel in the imaging unit illustrated in FIG. 27.
  • FIG. 28 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 27.
  • FIG. 32 is an explanatory diagram illustrating a configuration example of an imaging pixel in the imaging unit illustrated in FIG. 31.
  • FIG. 32 is a schematic diagram illustrating a configuration example of an imaging pixel in the imaging unit illustrated in FIG. 31.
  • FIG. 32 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 31.
  • FIG. 36 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 35. It is a block diagram showing the example of 1 structure of the imaging device which concerns on 4th Embodiment.
  • FIG. 38 is an explanatory diagram illustrating a configuration example of an imaging pixel in the imaging unit illustrated in FIG. 37.
  • FIG. 38 is a schematic diagram illustrating a configuration example of an imaging pixel in the imaging unit illustrated in FIG. 37.
  • FIG. 38 is an explanatory diagram illustrating an operation example of the image processing unit illustrated in FIG. 37. It is explanatory drawing showing the usage example of an imaging device.
  • It is a block diagram which shows an example of a schematic structure of an in-vivo information acquisition system.
  • It shows an example of a schematic structure of an endoscopic surgery system.
  • It is a block diagram which shows an example of a function structure of a camera head and CCU.
  • It is a block diagram which shows the schematic structural example of a vehicle control system.
  • It is explanatory drawing which shows an example of the installation position of an imaging part.
  • FIG. 1 illustrates a configuration example of an imaging apparatus 1 including the image processing apparatus according to the first embodiment. Note that the image processing method according to the embodiment of the present disclosure is embodied by the present embodiment, and will be described together.
  • the imaging device 1 includes an optical system 9, an imaging unit 10, and an image processing unit 20.
  • the optical system 9 includes, for example, a lens that forms an image on the imaging surface S of the imaging unit 10.
  • the imaging unit 10 generates an image signal DT and a gain signal SGAIN by imaging a subject.
  • the imaging unit 10 is configured using, for example, a CMOS (complementary metal oxide semiconductor) image sensor.
  • FIG. 2 shows a configuration example of the imaging unit 10.
  • the imaging unit 10 includes a pixel array 11, a scanning unit 12, a reading unit 13, and an imaging control unit 14.
  • the pixel array 11 has a plurality of imaging pixels P arranged in a matrix.
  • the imaging pixel P includes a photoelectric conversion element that can receive red (R) light, a photoelectric conversion element that can receive green (G) light, and a photoelectric conversion element that can receive blue (B) light. It is composed.
  • FIG. 3 schematically shows a cross-sectional structure of the imaging pixel P.
  • FIG. 3 schematically shows a cross-sectional structure of two imaging pixels P among the four imaging pixels P arranged in the region X shown in FIG.
  • the photodiode PDR is a photoelectric conversion element that can receive red (R) light
  • the photodiode PDB is a photoelectric conversion element that can receive blue (B) light.
  • the photodiode PDR and the photodiode PDB are formed by being stacked on the semiconductor substrate 100 so that the photodiode PDB is on the imaging surface S side.
  • the photodiode PDR and the photodiode PDB perform photoelectric conversion based on red light and blue light, respectively, using the fact that the light absorption coefficient in the semiconductor substrate 100 varies depending on the wavelength of light.
  • An insulating film 101 is formed on the surface of the semiconductor substrate 100 on the imaging surface S side.
  • the insulating film 101 is configured using, for example, silicon dioxide (SiO 2 ).
  • the transparent electrode 102, the photoelectric conversion film 103G, and the transparent electrode 104 are formed in this order.
  • the transparent electrodes 102 and 104 are electrodes that can transmit red light, green light, and blue light.
  • the photoelectric conversion film 103G is a photoelectric conversion film that can receive green (G) light, and is configured to transmit red light and blue light.
  • the photoelectric conversion film 103G and the transparent electrodes 102 and 104 constitute a photoelectric conversion element that can receive green (G) light.
  • On-chip lens 105 is formed on transparent electrode 104.
  • FIG. 4 schematically shows the arrangement of the photoelectric conversion elements in the four imaging pixels P arranged in the region X shown in FIG.
  • the photoelectric conversion element related to green (G), the photoelectric conversion element related to blue (B), and the photoelectric conversion element related to red (R). are stacked. Accordingly, in the imaging unit 10, each of the imaging pixels P can generate a pixel signal relating to red, a pixel signal relating to green, and a pixel signal relating to blue.
  • the scanning unit 12 sequentially drives a plurality of imaging pixels P in the pixel array 11 based on an instruction from the imaging control unit 14, for example, in units of pixel lines, and includes an address decoder, for example. is there.
  • the reading unit 13 generates an image signal DT by performing AD conversion based on a pixel signal supplied from each imaging pixel P based on an instruction from the imaging control unit 14.
  • the image signal DT includes three image map data MPG, MPB, and MPR.
  • the image map data MPG includes pixel values for one frame image related to green (G)
  • the image map data MPB includes pixel values for one frame image related to blue (B)
  • the image map data MPR includes: It includes pixel values for one frame image related to red (R).
  • Each pixel value is represented by a multi-bit digital code.
  • the imaging control unit 14 controls the operation of the imaging unit 10 by supplying control signals to the scanning unit 12 and the reading unit 13 and controlling the operation of these circuits.
  • the imaging control unit 14 also has a function of setting a conversion gain GC when the reading unit 13 performs AD conversion. Specifically, when the imaging unit 10 captures a dark subject, the imaging control unit 14 increases the conversion gain GC when performing AD conversion, and when the imaging unit 10 captures a bright subject, The conversion gain GC when performing AD conversion is lowered. Thereby, the imaging device 1 can image subjects with various brightnesses.
  • the imaging control unit 14 also has a function of outputting information about the conversion gain GC as a gain signal SGAIN.
  • the image processing unit 20 (FIG. 1) performs image processing based on the image signal DT and the gain signal SGAIN.
  • the image processing unit 20 includes a switching unit 21, an image division processing unit 22, an interpolation processing unit 23, a synthesis processing unit 24, and a signal processing unit 25.
  • the switching unit 21 selectively supplies the image signal DT to the image division processing unit 22 or the signal processing unit 25 based on the conversion gain GC indicated by the gain signal SGAIN. Specifically, for example, when the conversion gain GC is higher than a predetermined threshold Gth, the switching unit 21 supplies the image signal DT to the image division processing unit 22, and the conversion gain GC is set to a predetermined threshold. When the value is lower than the value Gth, the image signal DT is supplied to the signal processing unit 25.
  • the image processing unit 20 when the conversion gain GC is higher than the predetermined threshold Gth, the image division processing unit 22, the interpolation processing unit 23, and the synthesis processing unit 24 perform processing, and the conversion gain GC Is lower than the predetermined threshold Gth, the image division processing unit 22, the interpolation processing unit 23, and the synthesis processing unit 24 can be prevented from performing processing.
  • the image division processing unit 22 performs the image division processing A1 based on the three image map data MPG, MPB, and MPR included in the image signal DT supplied from the imaging unit 10 via the switching unit 21, thereby obtaining 6
  • One map data MG11, MG12, MB11, MB12, MR11, MR12 is generated.
  • the image division processing unit 22 has different pixel value arrangement patterns PAT based on the image map data MPG related to green (G) included in the image signal DT, and is different from each other. Two map data MG11 and MG12 having pixel values arranged at the positions are generated.
  • the image division processing unit 22 generates two map data MB11 and MB12 based on the image map data MPB related to blue (B) included in the image signal DT, and the red color included in the image signal DT.
  • Two map data MR11 and MR12 are generated based on the image map data MPR according to (R). In this way, the image division processing unit 22 generates six map data MG11, MG12, MB11, MB12, MR11, and MR12 based on the image signal DT.
  • the interpolation processing unit 23 performs the interpolation processing A2 on each of the six map data MG11, MG12, MB11, MB12, MR11, and MR12 supplied from the image division processing unit 22, and thereby the six map data MG21 and MG22. , MB21, MB22, MR21, MR22. Specifically, as will be described later, the interpolation processing unit 23 uses the interpolation processing A2 in the map data MG11 related to green (G) to obtain the pixel value at the position where the pixel value is missing, thereby obtaining the map data.
  • G green
  • map data MG22 is generated by obtaining a pixel value at a position where the pixel value is missing in the map data MG12 related to green (G) by using the interpolation process A2.
  • the interpolation processing unit 23 generates the map data MB21 by performing the interpolation process A2 in the map data MB11 related to blue (B), and performs the interpolation process A2 in the map data MB12 related to blue (B).
  • map data MB22 To generate map data MB22.
  • the interpolation processing unit 23 generates the map data MR21 by performing the interpolation process A2 in the map data MR11 related to red (R), and performs the interpolation process A2 in the map data MR12 related to red (R).
  • Map data MR22 is generated.
  • the composition processing unit 24 performs the composition processing A3 based on the six map data MG21, MG22, MB21, MB22, MR21, MR22 supplied from the interpolation processing unit 23, thereby obtaining the three map data MG3, MB3, MR3. Is to be generated. Specifically, as described later, the composition processing unit 24 generates map data MG3 based on two map data MG21 and MG22 related to green (G). Similarly, the composition processing unit 24 generates map data MB3 based on the two map data MB21 and MB22 related to blue (B), and positions corresponding to each other in the two map data MR21 and MR22 related to red (R). Based on this pixel value, the map data MR3 is generated by generating a pixel value at that position. Then, the composition processing unit 24 supplies the three map data MG3, MB3, and MR3 to the signal processing unit 25 as the image signal DT2.
  • the signal processing unit 25 performs predetermined signal processing based on the image signal DT2 supplied from the synthesis processing unit 24 or the image signal DT supplied from the imaging unit 10 via the switching unit 21.
  • the predetermined signal processing includes, for example, white balance adjustment, nonlinear conversion, contour enhancement processing, image size conversion, and the like. Then, the signal processing unit 25 outputs the processing result of these predetermined signal processes as an image signal DT3.
  • the imaging apparatus 1 when imaging a dark subject, the imaging apparatus 1 performs the image division process A1, the interpolation process A2, and the synthesis process A3 because the conversion gain GC increases. Thereby, in the imaging device 1, the signal noise ratio (S / N ratio) in the captured image can be increased. Also, in the imaging apparatus 1, when the imaging apparatus 1 captures a bright subject, the conversion gain GC is low, so that the image division process A1, the interpolation process A2, and the synthesis process A3 are not performed. Thereby, in the imaging device 1, the resolution in the captured image can be increased.
  • the image processing unit 20 corresponds to a specific example of “image processing apparatus” in the present disclosure.
  • the image division processing unit 22 corresponds to a specific example of “image division processing unit” in the present disclosure.
  • the interpolation processing unit 23 corresponds to a specific example of “interpolation processing unit” in the present disclosure.
  • the composition processing unit 24 corresponds to a specific example of “composition processing unit” in the present disclosure.
  • the signal processing unit 25 corresponds to a specific example of “processing unit” in the present disclosure.
  • the switching unit 21 corresponds to a specific example of “processing control unit” in the present disclosure.
  • the imaging unit 10 generates an image signal DT and a gain signal SGAIN by imaging a subject.
  • the switching unit 21 of the image processing unit 20 selectively supplies the image signal DT to the image division processing unit 22 or the signal processing unit 25 based on the conversion gain GC indicated by the gain signal SGAIN.
  • the image division processing unit 22 performs image division processing A1 based on the three image map data MPG, MPB, and MPR included in the image signal DT supplied from the imaging unit 10 via the switching unit 21, thereby obtaining 6 Two map data MG11, MG12, MB11, MB12, MR11, MR12 are generated.
  • the interpolation processing unit 23 performs the interpolation processing A2 on each of the six map data MG11, MG12, MB11, MB12, MR11, and MR12 supplied from the image division processing unit 22, and thereby the six map data MG21 and MG22. , MB21, MB22, MR21, MR22 are generated.
  • the composition processing unit 24 performs the composition processing A3 based on the six map data MG21, MG22, MB21, MB22, MR21, MR22 supplied from the interpolation processing unit 23, thereby obtaining the three map data MG3, MB3, MR3. Generate.
  • the synthesis processing unit 24 supplies the three map data MG3, MB3, and MR3 to the signal processing unit 25 as the image signal DT2.
  • the signal processing unit 25 performs predetermined signal processing based on the image signal DT2 supplied from the synthesis processing unit 24 or the image signal DT supplied from the imaging unit 10 via the switching unit 21, thereby performing the image signal DT3. Is generated.
  • FIG. 5 illustrates an operation example of the image processing unit 20.
  • the image processing unit 20 determines whether to perform the image division process A1, the interpolation process A2, and the synthesis process A3 based on the conversion gain GC indicated by the gain signal SGAIN. This operation will be described in detail below.
  • the switching unit 21 compares the conversion gain GC indicated by the gain signal SGAIN with a predetermined threshold value Gth (step S101). If conversion gain GC is lower than predetermined threshold value Gth (“N” in step S101), the process proceeds to step S105.
  • step S101 When the conversion gain GC is equal to or greater than the predetermined threshold Gth (G ⁇ Gth) (“Y” in step S101), the image division processing unit 22 performs the image division processing A1 (step S102), and the interpolation processing unit 23 performs interpolation processing A2 (step S103), and the composition processing unit 24 performs composition processing A3 (step S104).
  • G ⁇ Gth the predetermined threshold
  • the signal processing unit 25 performs predetermined signal processing (step S105). That is, when the conversion gain GC is equal to or greater than the predetermined threshold Gth (“Y” in step S101), the signal processing unit 25 performs predetermined signal processing based on the image signal DT2 generated by the synthesis processing A3. When the conversion gain GC is lower than the predetermined threshold Gth (“N” in step S101), predetermined signal processing is performed based on the image signal DT generated by the imaging unit 10.
  • the image processing unit 20 performs the image division process A1, the interpolation process A2, and the synthesis process A3.
  • the image division process A1, the interpolation process A2, and the synthesis process A3 are not performed. Thereby, in the imaging device 1, the image quality of a captured image can be improved as described below.
  • FIG. 6 schematically illustrates an example of the image division process A1, the interpolation process A2, and the synthesis process A3 in the image processing unit 20.
  • the image division processing unit 22 performs the image division processing A1 based on the three image map data MPG, MPB, and MPR included in the image signal DT supplied from the imaging unit 10 to thereby obtain six map data MG11, MG12, MB11, MB12, MR11, MR12 are generated.
  • the image division processing A1 for the image map data MPG related to green (G) will be described in detail as an example.
  • FIG. 7 schematically shows the image map data MPG related to green (G).
  • 8A and 8B schematically represent map data MG11 and MG12 related to green (G), respectively.
  • the shaded portion indicates a position where the pixel value exists, and the non-shaded portion indicates a position where the pixel value does not exist (missed).
  • the image map data MPG (FIG. 7) included in the image signal DT includes pixel values for one frame image related to green (G).
  • the example of the image map data MPG shown in FIG. 6 schematically shows four pixel values arranged in 2 rows and 2 columns in the region X shown in FIG.
  • the image division processing unit 22 uses two map data MG11 and MG12 (FIGS. 8A and 8B) in which pixel value arrangement patterns PAT are different from each other and pixel values are arranged at different positions. ) Is generated.
  • the pixel value arrangement pattern PAT in the map data MG11 and MG12 is a checkered pattern (Checkered Pattern) that is shifted by one pixel in the horizontal direction (lateral direction) and the vertical direction (vertical direction).
  • Checkered Pattern Checkered Pattern
  • map data MG11 in the map data MG11, as shown in FIG. 8A, in the region X, pixel values exist in the upper left and lower right, and pixel values are missing in the lower left and upper right.
  • map data MG12 in the map data MG12, as shown in FIG. 8B, in the region X, pixel values exist in the lower left and upper right, and pixel values are missing in the upper left and lower right.
  • An example of the map data MG11 and MG12 shown in FIG. 6 schematically shows four pixel values in the region X.
  • the pixel value at each position in the map data MG11 is the same as the pixel value at the corresponding position in the image map data MPG.
  • the pixel value at each position in the map data MG12 is the same as the pixel value at the corresponding position in the image map data MPG.
  • the image division processing unit 22 generates such map data MG11 and MG12 by performing the image division processing A1 based on the image map data MPG. Similarly, the image division processing unit 22 generates map data MB11 and MB12 by performing image division processing A1 based on the image map data MPB, and performs map division by performing image division processing A1 based on the image map data MPR. Data MR11 and MR12 are generated. As shown in FIG. 6, the map data MG11, MB11, and MR11 have the same arrangement pattern PAT, and the map data MG12, MB12, and MR12 have the same arrangement pattern PAT.
  • the interpolation processing unit 23 performs the interpolation process A2 on each of the six map data MG11, MR12, MB11, MB12, MR11, and MR12 generated by the image division process A1, thereby obtaining six map data MG21. , MG22, MB21, MB22, MR21, MR22 are generated.
  • the interpolation processing A2 for the map data MG11 and MG12 (FIGS. 8A and 8B) relating to green (G) will be described in detail as an example.
  • 9A and 9B schematically show map data MG21 and MG22 related to green (G), respectively.
  • the shaded portions indicate positions where pixel values exist in the map data MG11 and MG12 before the interpolation processing A2, and the unshaded portions are those before the interpolation processing A2. This is a position where no pixel value exists in the map data MG11, MG12, and indicates a position where the pixel value is generated by this interpolation processing A2.
  • the interpolation processing unit 23 uses the interpolation process A2 in the map data MG11 shown in FIG. 8A to obtain the pixel value at the position where the pixel value is missing, thereby generating the map data MG21 shown in FIG. 9A.
  • the map data MG12 shown in FIG. 8B the map data MG22 shown in FIG. 9B is generated by obtaining the pixel value at the position where the pixel value is missing using the interpolation process A2.
  • the interpolation processing unit 23 includes a pixel value arranged one above the position where the pixel value is missing, a pixel value arranged one left, a pixel value arranged one down, and 1
  • the pixel value at the position where the pixel value is missing is obtained by performing the interpolation process A2 based on the pixel value arranged to the right. That is, in this example, the interpolation method of the interpolation process A2 uses pixel values at the top, bottom, left, and right of the position where the pixel value is missing.
  • the interpolation processing unit 23 can perform the interpolation processing A2 by performing bilinear interpolation, for example, using these four pixel values.
  • the present invention is not limited to this, and various known interpolation methods such as bicubic interpolation and spline interpolation can be used.
  • the interpolation processing unit 23 in the map data MG21, as shown in FIG. 9A, the interpolation processing unit 23 generates a pixel value by the interpolation processing A2 at the lower left position in the region X, and performs the interpolation processing at the upper right position in the region X. A pixel value is generated by A2.
  • the interpolation processing unit 23 generates a pixel value by the interpolation processing A2 at the upper left position in the region X, and at the lower right position in the region X.
  • Pixel values are generated by the interpolation process A2.
  • “G ′” indicates that the pixel value is generated by the interpolation process A2.
  • An example of the map data MG21 and MG22 shown in FIG. 6 schematically shows four pixel values in the region X.
  • the interpolation processing unit 23 generates such map data MG21 by performing the interpolation process A2 on the map data MG11, and performs the interpolation process A2 on the map data MG12 to generate such map data MG22. Generate. Similarly, the interpolation processing unit 23 generates the map data MB21 by performing the interpolation process A2 on the map data MB11, and generates the map data MB22 by performing the interpolation process A2 on the map data MB12. Further, the interpolation processing unit 23 generates the map data MR21 by performing the interpolation process A2 on the map data MR11, and generates the map data MR22 by performing the interpolation process A2 on the map data MR12. The interpolation methods for generating the six map data MG21, MG22, MB21, MB22, MR21, and MR22 are the same.
  • the synthesizing processing unit 24 performs the synthesizing process A3 based on the six map data MG21, MG22, MB21, MB22, MR21, and MR22 generated by the interpolation process A2, thereby generating three map data MG3, MB3, MR3 is generated.
  • the synthesis process A3 for the map data MG21 and MG22 (FIGS. 9A and 9B) relating to green (G) will be described in detail.
  • FIG. 10 schematically shows map data MG3 related to green (G).
  • the composition processing unit 24 generates the map data MG3 by generating the pixel value at the position based on the pixel value at the position corresponding to each other in the two map data MG21 and MG22. Specifically, the composition processing unit 24 can generate a pixel value at that position in the map data MG3 by adding the pixel values at corresponding positions in the two map data MG21 and MG22. For example, the composition processing unit 24 adds the upper left pixel value in the area X of the map data MG21 shown in FIG. 9A and the upper left pixel value in the area X of the map data MG22 shown in FIG.
  • An upper right pixel value in the region X of the map data MG3 is generated by adding up the upper right pixel value in X, and a lower right pixel value in the region X of the map data MG21 and MG22 is added up to generate the map data MG3.
  • the lower right pixel value in the region X is generated.
  • “2G” indicates that the pixel value has become approximately twice the pixel value in the image map data MPG by the synthesis process A3.
  • An example of the map data MG3 illustrated in FIG. 6 schematically illustrates pixel values in the region X.
  • the composition processing unit 24 generates such map data MG3 by performing the composition processing A3 based on the map data MG21 and MG22. Similarly, the composition processing unit 24 generates the map data MB3 by performing the composition processing A3 based on the map data MB21, MB22, and the map data MR3 by performing the composition processing A3 based on the map data MR21, MR22. Generate.
  • the pixel value in the map data MB3 is about twice the pixel value in the image map data MPB, and the pixel value in the map data MR3 is about twice the pixel value in the image map data MPR.
  • composition processing unit 24 generates three map data MG3, MB3, and MR3. Then, the synthesis processing unit 24 supplies the three map data MG3, MB3, and MR3 to the signal processing unit 25 as the image signal DT2.
  • the image map data MPG, MPB, and MPR respectively correspond to specific examples of “first image map data”, “second image map data”, and “third image map data” in the present disclosure.
  • the map data MG11 and MG12 correspond to a specific example of “a plurality of first map data” in the present disclosure.
  • the map data MG21 and MG22 correspond to a specific example of “plurality of second map data” in the present disclosure.
  • the map data MG3 corresponds to a specific example of “third map data” in the present disclosure.
  • the map data MB11 and MB12 correspond to a specific example of “a plurality of fourth map data” in the present disclosure.
  • the map data MB21 and MB22 correspond to a specific example of “a plurality of fifth map data” in the present disclosure.
  • the map data MB3 corresponds to a specific example of “sixth map data” in the present disclosure.
  • the map data MR11 and MR12 correspond to a specific example of “a plurality of seventh map data” in the present disclosure.
  • the map data MR21 and MR22 correspond to a specific example of “a plurality of eighth map data” in the present disclosure.
  • the map data MR3 corresponds to a specific example of “ninth map data” in the present disclosure.
  • the map data MG11 and MG12 are generated by performing the image division process A1 based on the image map data MPG, and the map data MG11 and MG12 are respectively interpolated.
  • the map data MG21 and MG22 are generated by performing A2, and the map data MG3 is generated by performing the synthesis process A3 based on these map data MG21 and MG22.
  • the signal noise ratio (S / N ratio) in the map data MG3, MB3, MR3 can be increased.
  • the composition processing unit 24 adds, for example, the upper left pixel value in the region X of the map data MG21 and the upper left pixel value in the region X of the map data MG22, thereby obtaining the upper left pixel in the region X of the map data MG3.
  • Each pixel value has a signal component and a noise component that is random noise. Therefore, when the synthesis processing unit 24 adds the upper left pixel value in the region X of the map data MG21 and the upper left pixel value in the region X of the map data MG22, the signal component is approximately doubled, and the noise component Becomes about 1.4 times.
  • the noise component is random noise as described above, and the noise component included in the upper left pixel value in the region X of the map data MG21 and the noise component included in the upper left pixel value in the region X of the map data MG22 are noise components that are independent of each other, and therefore, are not approximately doubled, but are approximately 1.4 times (square root of 2).
  • the signal noise ratio (S / N ratio) in the map data MG3 can be increased.
  • the image pickup apparatus 1 can improve the image quality of the picked-up image.
  • the pixel value arrangement pattern PAT is changed to a checkered pattern in the image division processing A1.
  • FIGS. 8A and 8B there are pixel values at the top, bottom, left and right of the position where the pixel value is missing, so by performing the interpolation process A2, based on these four pixel values, The pixel value at the position where the pixel value is missing can be obtained.
  • the imaging apparatus 1 can perform the interpolation process A2 based on the upper, lower, left, and right pixel values, the reduction in the resolution in the horizontal direction and the reduction in the resolution in the vertical direction can be made equal to each other. , The decrease in resolution can be suppressed. As a result, the image pickup apparatus 1 can improve the image quality of the picked-up image.
  • the image division processing unit 22 can perform the image division processing A1 by the same method based on the three image map data MPG, MPB, and MPR. Therefore, based on the three image map data MPG, MPB, and MPR. Therefore, the circuit configuration of the image division processing unit 22 can be simplified as compared with the case where the image division processing A1 is performed by different methods.
  • the interpolation method used when generating the map data MG21, MG22, MB21, MB22, MR21, MR22 in the interpolation process A2 is the same.
  • the interpolation processing unit 23 can generate six map data MG21, MG22, MB21, MB22, MR21, MR22 using the same interpolation method, so that the six map data using different interpolation methods.
  • the circuit configuration of the interpolation processing unit 23 can be simplified.
  • the pixel value arrangement patterns PAT in the map data MG11, MB11, and MR11 are made the same, and the pixel value arrangement patterns PAT in the map data MG12, MB12, and MR12 are mutually made. Made the same.
  • the interpolation process A2 the interpolation methods used when generating the six map data MG21, MG22, MB21, MB22, MR21, and MR22 are the same. Thereby, in the imaging device 1, the false color in a captured image can be suppressed.
  • interpolation is performed based on the pixel values arranged one above and one below the position where the pixel value is missing.
  • the processing A2 is performed to generate the map data MB21 and MB22 related to blue (B)
  • the interpolation processing A2 is performed based on the pixel values arranged one left and one right of the position where the pixel value is missing.
  • the interpolation method differs depending on the color, there is a possibility that a false color is locally generated.
  • the imaging apparatus 1 in the image division processing A1, the pixel value arrangement patterns PAT in the map data MG11, MB11, MR11 are made the same, and the pixel values in the map data MG12, MB12, MR12 are the same.
  • the arrangement pattern PAT was made the same.
  • the interpolation process A2 the interpolation methods used when generating the six map data MG21, MG22, MB21, MB22, MR21, and MR22 are the same. Thereby, in the imaging device 1, a possibility that such a false color may arise can be reduced. As a result, the image pickup apparatus 1 can improve the image quality of the picked-up image.
  • the imaging apparatus 1 can control whether to perform image division processing, interpolation processing, and composition processing, the image quality of the captured image can be improved.
  • the imaging apparatus 1 controls whether to perform image division processing, interpolation processing, and synthesis processing based on the conversion gain GC in the imaging unit 10. Specifically, when the conversion gain GC indicated by the gain signal SGAIN is higher than a predetermined threshold value Gth, image division processing, interpolation processing, and composition processing are performed, and the conversion gain GC is set to the predetermined threshold value Gth. If it is lower than that, image division processing, interpolation processing, and synthesis processing are not performed.
  • the conversion gain GC increases, and therefore, the image division process A1, the interpolation process A2, and the synthesis process A3 are performed.
  • the signal noise ratio (S / N ratio) in the captured image can be increased. That is, when a dark subject is imaged, there is a risk of increasing noise. Therefore, by performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3, a signal noise ratio (S / N ratio) in the captured image. Can be increased.
  • the conversion gain GC is low, so that the image division process A1, the interpolation process A2, and the synthesis process A3 are not performed.
  • the resolution in the captured image can be increased. That is, when a bright subject is imaged, there is little noise, so the resolution can be increased by not performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3. As a result, the image pickup apparatus 1 can improve the image quality of the picked-up image.
  • the pixel value arrangement pattern is a checkerboard pattern in the image division processing
  • the reduction in the resolution in the horizontal direction and the reduction in the resolution in the vertical direction can be made equal to each other. Since the decrease can be suppressed, the image quality of the captured image can be improved.
  • the pixel value arrangement patterns in the map data MG11, MB11, and MR11 are made the same in the image division process, and the pixel value arrangement patterns in the map data MG12, MB12, and MR12 are made the same.
  • the circuit configuration of the image division processing unit can be simplified.
  • the interpolation method for generating the six map data is the same in the interpolation process, so that the circuit configuration of the interpolation processing unit can be simplified.
  • the pixel value arrangement patterns in the map data MG11, MB11, and MR11 are made the same in the image division process, and the pixel value arrangement patterns in the map data MG12, MB12, and MR12 are made the same.
  • the interpolation methods for generating the six map data are the same. Thereby, since a possibility that a false color may arise can be reduced, the image quality of a captured image can be improved.
  • the composition processing unit 24 generates the pixel value at the position in the map data MG3 by adding the pixel values at the positions corresponding to each other in the two map data MG21 and MG22. It is not limited to this. Instead of this, for example, as in the imaging apparatus 1A shown in FIG. 11, the map data is obtained by adding the pixel values at the positions corresponding to each other in the two map data MG21 and MG22 and halving the added pixel value. A pixel value at that position in MG3 may be generated. As a result, the pixel value in the map data MG3 can be made comparable to the pixel value in the image map data MPG. The same applies to the map data MB3 and MR3. Thereby, the bit number of the digital code which shows the pixel value in map data MG3, MB3, MR3 can be suppressed, maintaining a signal noise ratio. As a result, the design of the dynamic range in the signal processing unit 25 can be facilitated.
  • the pixel value arrangement pattern PAT in the image division processing A1 is a checkered pattern with one pixel value as a unit.
  • the present invention is not limited to this.
  • map data related to green (G) will be described as an example, but the same applies to map data related to blue (B) and map data related to red (R).
  • (Other checkered patterns) 12A and 12B show an example of map data MG11 and MG12 when the pixel value arrangement pattern PAT is a checkerboard pattern having four pixel values arranged in two rows and two columns as a unit. .
  • the pitch in the horizontal direction (lateral direction) in the arrangement pattern PAT shown in FIGS. 12A and 12B is twice the pitch in the vertical direction in the arrangement pattern PAT shown in FIGS. 8A and 8B.
  • the pitch in the vertical direction (vertical direction) in the arrangement pattern PAT shown in FIGS. 12A and 12B is twice the pitch in the vertical direction in the arrangement pattern PAT shown in FIGS. 8A and 8B.
  • the pixel value arrangement pattern PAT in the map data MG11 and MG12 is shifted by two pixels in the horizontal direction (lateral direction) and the vertical direction (vertical direction).
  • FIGS. 12A and 12B show examples of map data MG21 and MG22 generated by performing the interpolation process A2 based on the map data MG11 and MG12 shown in FIGS. 12A and 12B.
  • the interpolation processing unit 23 for example, the pixel value arranged two positions above the position where the pixel value is missing, the pixel value arranged two positions to the left, the pixel value arranged two positions below, and two positions to the right
  • the pixel value at the position where the pixel value is missing can be obtained.
  • (Striped pattern) 14A and 14B show map data MG11, when the pixel value arrangement pattern PAT is a striped pattern in which positions where pixel values exist and positions where pixel values are missing are alternately arranged in the horizontal direction (lateral direction).
  • An example of MG12 is shown.
  • the pixel value arrangement pattern PAT in the map data MG11 and MG12 is shifted by one pixel in the horizontal direction.
  • 15A and 15B show examples of map data MG21 and MG22 generated by performing the interpolation process A2 based on the map data MG11 and MG12 shown in FIGS. 14A and 14B.
  • the interpolation processing unit 23 performs the interpolation process A2 based on the pixel value arranged to the left of the position where the pixel value is missing and the pixel value arranged to the right of the pixel value, thereby missing the pixel value.
  • the pixel value at the position can be determined.
  • 16A and 16B show map data MG11, when the pixel value arrangement pattern PAT is a striped pattern in which positions where pixel values exist and positions where pixel values are missing are alternately arranged in the vertical direction (vertical direction).
  • An example of MG12 is shown.
  • the pixel value arrangement pattern PAT in the map data MG11 and MG12 is shifted by one pixel in the vertical direction.
  • FIGS. 17A and 17B show examples of map data MG21 and MG22 generated by performing the interpolation process A2 based on the map data MG11 and MG12 shown in FIGS. 16A and 16B.
  • the interpolation processing unit 23 performs the interpolation process A2 based on the pixel value arranged one position above the position where the pixel value is missing and the pixel value arranged one position below, thereby missing the pixel value.
  • the pixel value at the position can be determined.
  • the image division processing unit 22 generates, for example, two map data MG11 and MG12 by performing the image division processing A1 based on one image map data MPG.
  • Two map data MG21 and MG22 are generated by performing interpolation processing A2 on the two map data MG11 and MG12, and the composition processing unit 24 performs composition processing A3 based on the two map data MG21 and MG22.
  • the map data MG3 is generated by the above, but the present invention is not limited to this.
  • the image division processing unit 22 generates three map data MG11, MG12, and MG13 by performing the image division processing A1 based on, for example, one image map data MPG, and the interpolation processing unit 23
  • the map data MG11, MG12, and MG13 are subjected to interpolation processing A2 to generate three map data MG21, MG22, and MG23.
  • the map data MG3 may be generated by performing the synthesis process A3 based on the above.
  • 18A, 18B, and 18C show examples of map data MG11, MG12, and MG13 when the pixel value arrangement pattern PAT is formed into a pattern like a so-called Bayer array.
  • map data MG11 in the region X, pixel values exist in the upper left, and pixel values are missing in the lower left, upper right, and lower right.
  • map data MG12 in the region X, pixel values exist in the lower left and upper right, and pixel values are missing in the upper left and lower right.
  • map data MG13 as shown in FIG.
  • pixel values exist in the lower right, and pixel values are missing in the upper left, lower left, and upper right.
  • the pixel value at each position in the map data MG11 is the same as the pixel value at the corresponding position in the image map data MPG
  • the pixel value at each position in the map data MG12 is the corresponding position in the image map data MPG.
  • the pixel value at each position in the map data MG13 is the same as the pixel value at the corresponding position in the image map data MPG.
  • 19A, 19B, and 19C represent examples of map data MG21, MG22, and MG23 generated by performing the interpolation process A2 based on the map data MG11, MG12, and MG13 shown in FIGS. 18A, 18B, and 18C. is there.
  • the interpolation processing unit 23 is based on these two pixel values.
  • the interpolation processing A2 When the interpolation processing A2 is performed and pixel values are arranged on the left and right of the position where the pixel value is missing, the interpolation processing A2 is performed based on these two pixel values, and the upper left of the position where the pixel value is missing, When pixel values are arranged at the lower left, upper right, and lower right, the map data MG21 and MG23 are generated by performing the interpolation process A2 based on these four pixel values. Further, the interpolation processing unit 23 performs the interpolation process A2 on the map data MG12 (FIG. 18B) based on the four pixel values arranged on the top, bottom, left, and right of the position where the pixel value is missing, thereby generating the map data MG22. Is generated.
  • FIG. 20 shows an example of map data MG3 generated by performing the synthesis process A3 based on the map data MG21, MG22, and MG23 shown in FIGS. 19A, 19B, and 19C.
  • the composition processing unit 24 adds the pixel values at corresponding positions in the three map data MG21, MG22, and MG23 to generate a pixel value at that position in the map data MG3.
  • “3G” indicates that the pixel value has become approximately three times the pixel value in the image map data MPG by the synthesis process A3.
  • the interpolation processing unit 23 performs the interpolation process A2.
  • the interpolation method in the interpolation process A2 may be changeable. Below, this modification is demonstrated in detail.
  • FIG. 21 illustrates a configuration example of the imaging device 2 according to this modification.
  • the imaging device 2 includes an image processing unit 30.
  • the image processing unit 30 includes an interpolation control unit 36 and an interpolation processing unit 33.
  • the interpolation control unit 36 determines the interpolation method of the interpolation processing A2 in the interpolation processing unit 33 by performing the interpolation control processing B1 based on the image map data MPG, MPB, MPR included in the image signal DT. .
  • the interpolation control unit 36 corresponds to a specific example of “interpolation control unit” in the present disclosure.
  • the interpolation processing unit 33 interpolates each of the six map data MG11, MG12, MB11, MB12, MR11, MR12 supplied from the image division processing unit 22 using the interpolation method instructed by the interpolation control unit 36. By performing the processing A2, six map data MG21, MG22, MB21, MB22, MR21, MR22 are generated.
  • FIG. 22 schematically illustrates an example of the image division process A1, the interpolation control process B1, the interpolation process A2, and the synthesis process A3 in the image processing unit 30.
  • the interpolation control unit 36 first generates the map data MW by performing the synthesis process B2 based on the image map data MPG, MPB, MPR included in the image signal DT. In the synthesis process B2, the interpolation control unit 36 generates a pixel value at that position in the map data MW by adding together the pixel values at corresponding positions in the three image map data MPR, MPB, and MPR. Can do.
  • the interpolation control unit 36 detects the spatial frequency by performing the spatial frequency detection process B3 based on the map data MW.
  • the interpolation control unit 36 divides one frame image into a plurality of image areas, and obtains a spatial frequency in each image area based on the map data MW.
  • the interpolation control unit 36 determines the interpolation method of the interpolation process A2 by performing the interpolation method determination process B4 based on the spatial frequency obtained by the spatial frequency detection process B3.
  • map data MG21 generated by performing the interpolation process A2 is shown.
  • the pixel value at the position where the pixel value is missing is calculated based on the pixel value arranged one position above the position where the pixel value is missing and the pixel value arranged one position below.
  • the direction (interpolation direction) for performing the interpolation processing is the vertical direction (vertical direction).
  • the pixel value at the position where the pixel value is missing is calculated.
  • the direction (interpolation direction) in which the interpolation process is performed is the horizontal direction (lateral direction).
  • the pixel value arranged one above the position where the pixel value is missing, the pixel value arranged one left, the pixel value arranged one down, and 1 Based on the pixel value arranged to the right, the pixel value at the position where the pixel value is missing is obtained.
  • the directions (interpolation directions) for performing the interpolation processing are the vertical direction and the horizontal direction. In FIGS. 23A to 23C, three examples have been described, but the present invention is not limited to this.
  • the interpolation control unit 36 determines the interpolation method of the interpolation process A2 based on the spatial frequency for each image area in the interpolation method determination process B4. Specifically, when the interpolation control unit 36 determines that the image in the image region is a vertical stripe pattern based on the spatial frequency in the image region, the interpolation method in which the interpolation direction is the vertical direction (FIG. 23A). ) Is selected. Further, for example, when the interpolation control unit 36 determines that the image in the image area is a horizontal stripe pattern based on the spatial frequency in the image area, the interpolation method in which the interpolation direction is the horizontal direction (FIG. 23B). Select. Then, the interpolation control unit 36 instructs the interpolation processing unit 33 for an interpolation method for each image region.
  • the interpolation processing unit 33 interpolates each of the six map data MG11, MG12, MB11, MB12, MR11, MR12 supplied from the image division processing unit 22 for each image area.
  • the interpolation process A2 uses the method to generate six map data MG21, MG22, MB21, MB22, MR21, MR22 are generated.
  • the interpolation methods for generating the six map data MG21, MG22, MB21, MB22, MR21, and MR22 are the same.
  • the imaging apparatus 2 is configured so that the interpolation method in the interpolation process A2 can be changed, an optimal interpolation method can be used according to the imaging pixel, so that the image quality of the captured image can be improved.
  • the imaging device 2 generates the map data MW by performing the synthesis process B2 based on the image map data MPG, MPB, and MPR, and detects the spatial frequency based on the map data MW.
  • the spatial frequency can be detected with high accuracy, and the interpolation processing A2 is performed based on the spatial frequency thus obtained, so that the accuracy of the interpolation processing A2 can be improved.
  • the imaging device 2 can obtain a higher restoration effect, so that the image quality of the captured image can be improved.
  • the map data MW is generated by performing the synthesis process B2 based on the image map data MPG, MPB, and MPR, and the spatial frequency is detected based on the map data MW.
  • the present invention is not limited to this. It is not something. Instead, a spatial frequency detection process B3 is performed based on the image map data MPG related to green (G) as in the image processing unit 30A shown in FIG. 24, for example, and an image obtained by this spatial frequency detection process B3 Based on the spatial frequency for each region, the interpolation method in the interpolation process A2 for generating the green (G) map data MG21 and MG22 may be determined for each image region. The same applies to the image map data MPB and MPR.
  • the spatial frequency detection process B3 is performed based on the image map data MPG related to green (G), and the spatial frequency detection is performed based on the image map data MPB related to blue (B).
  • Process B3 is performed, spatial frequency detection process B3 is performed based on the image map data MPR relating to red (R), and each image area is determined based on the spatial frequency of each image area obtained by these spatial frequency detection processes B3.
  • the interpolation method in the interpolation process A2 for generating the six map data MG21, MG22, MB21, MB22, MR21, MR22 may be determined collectively. In this case, the interpolation methods for generating the six map data MG21, MG22, MB21, MB22, MR21, and MR22 can be made the same.
  • the image processing unit 20 generates an image based on the image map data MPR related to red (R), the image map data MPG related to green (G), and the image map data MPB related to blue (B).
  • the division processing A1, the interpolation processing A2, and the synthesis processing A3 are performed.
  • the present invention is not limited to this. Instead, for example, based on the luminance signal, the image division processing A1, the interpolation processing A2, Alternatively, the synthesis process A3 may be performed. Below, this modification is demonstrated in detail.
  • FIG. 25 illustrates a configuration example of the imaging device 1D according to the present modification.
  • the imaging device 1D includes an image processing unit 20D.
  • the image processing unit 20D includes a Y / C separation unit 29D, an image division processing unit 22D, an interpolation processing unit 23D, a synthesis processing unit 24D, and a signal processing unit 25D.
  • the Y / C separation unit 29D performs Y / C separation processing C1, thereby separating the RGB signal included in the image signal DT into a luminance (Y) signal and a color (C) signal, and the luminance signal and color
  • the signal is output as an image signal DT11.
  • the image signal DT11 includes map data MY, MCr, MCb.
  • Map data MY includes pixel values for one frame image related to luminance (Y)
  • map data MCr includes pixel values for one frame image related to RY color difference (Cr)
  • map data MCb includes It includes pixel values for one frame image related to the BY color difference (Cb).
  • Each pixel value is represented by a multi-bit digital code.
  • the Y / C separation unit 29D corresponds to a specific example of a “generation unit” in the present disclosure.
  • the image division processing unit 22D performs the image division processing A1 based on the map data MY included in the image signal DT11 supplied from the Y / C separation unit 29D via the switching unit 21, thereby obtaining two pieces of map data MY11. , MY12.
  • the image division processing unit 22D outputs the map data MCr and MCb included in the image signal DT11 as they are.
  • the interpolation processing unit 23D generates two map data MY21 and MY22 by performing an interpolation process A2 on each of the two map data MY11 and MY12 supplied from the image division processing unit 22D.
  • the interpolation processing unit 23D outputs the map data MCr and MCb supplied from the image division processing unit 22D as they are.
  • the composition processing unit 24D generates one map data MY3 by performing the composition processing A3 based on the two map data MY21 and MY22 supplied from the interpolation processing unit 23D. Then, the synthesis processing unit 24D supplies the map data MY3 generated by the synthesis processing A3 and the map data MCr, MCb supplied from the interpolation processing unit 23D to the signal processing unit 25D as the image signal DT12. .
  • the signal processing unit 25D performs predetermined signal processing based on the image signal DT12 supplied from the synthesis processing unit 24D or the image signal DT11 supplied from the Y / C separation unit 29D via the switching unit 21. is there.
  • the signal processing unit 25D outputs the processing results of these predetermined signal processes as an image signal DT13.
  • FIG. 26 schematically illustrates an example of the image division process A1, the interpolation process A2, and the synthesis process A3 in the image processing unit 20D.
  • the Y / C separation unit 29D performs Y / C separation processing C1 to separate the RGB signal included in the image signal DT into a luminance (Y) signal and a color (C) signal. Specifically, the Y / C separation unit 29D generates map data MY, MCb, MCr based on the image map data MPG, MPB, MPR. The Y / C separation unit 29D generates a pixel value related to the luminance (Y) using, for example, the following equation based on pixel values at positions corresponding to each other in the three image map data MPG, MPB, and MPR.
  • VY VG ⁇ 0.59 + VB ⁇ 0.11 + VR ⁇ 0.3
  • VY is a pixel value related to luminance (Y)
  • VG is a pixel value related to green (G)
  • VB is a pixel value related to blue (B)
  • VR ′′ is a pixel value related to red (R).
  • the image division processing unit 22D generates the two map data MY11 and MY12 by performing the image division processing A1 based on the map data MY generated in this way.
  • the interpolation processing unit 23D generates the two map data MY21 and MY22 by performing the interpolation process A2 on each of the two map data MY11 and MY12.
  • the composition processing unit 24D generates one map data MY3 by performing a composition processing A3 based on the two map data MY21 and MY22. Specifically, the composition processing unit 24D adds the pixel values at the positions corresponding to each other in the two map data MY21 and MY22, and halves the added pixel value to obtain the position in the map data MY3. The pixel value at is generated.
  • the map data MY corresponds to a specific example of “first image map data” in the present disclosure.
  • the map data MY11 and MY12 correspond to a specific example of “a plurality of first map data” in the present disclosure.
  • the map data MY21 and MY22 correspond to a specific example of “plurality of second map data” in the present disclosure.
  • the map data MY3 corresponds to a specific example of “third map data” in the present disclosure.
  • the imaging apparatus 1D since the signal-to-noise ratio (S / N ratio) for the luminance signal can be increased, the image quality of the captured image can be increased.
  • the image division processing A1, the interpolation processing A2, and the synthesis processing A3 are performed only on the map data MY related to the luminance (Y), the processing amount can be suppressed. As a result, in the imaging device 1D, for example, power consumption can be reduced.
  • FIG. 27 illustrates a configuration example of the imaging device 3 according to the present embodiment.
  • the imaging device 3 includes an imaging unit 40 and an image processing unit 50.
  • FIG. 28 schematically illustrates a cross-sectional structure of the imaging pixel P according to the imaging unit 40.
  • one photodiode PD is formed in a pixel region corresponding to one imaging pixel P.
  • the photodiode PD can receive light having various wavelengths corresponding to visible light.
  • An insulating film 101 is formed on the surface on the imaging surface S side of the semiconductor substrate 100, and a color filter 111 is formed on the insulating film 101.
  • the color filter 111B or the color filter 111R is selectively formed on the insulating film 101.
  • the color filter 111B transmits blue (B) light and blocks red (R) and green (G) light.
  • the color filter 111R transmits red (R) light and blocks blue (B) and green (G) light.
  • the color filter 111B and the photodiode PD constitute a photoelectric conversion element capable of receiving blue (B) light
  • the color filter 111R and the photodiode PD constitute a photoelectric conversion element capable of receiving red (R) light.
  • An insulating film 112 is formed on the color filter 111.
  • the insulating film 112 is configured using, for example, silicon dioxide (SiO 2 ).
  • the transparent electrode 102, the photoelectric conversion film 103G, the transparent electrode 104, and the on-chip lens 105 are formed in this order.
  • FIG. 29 schematically shows the arrangement of the photoelectric conversion elements in the region X in which the four imaging pixels P are arranged.
  • the photoelectric conversion element related to green (G) is arranged in the upper layer, and the photoelectric conversion element related to blue (B) or red (R) in the lower layer.
  • a conversion element is arranged.
  • the photoelectric conversion elements according to blue (B) and red (R) are arranged in a checkered pattern. That is, in the imaging unit 40, the color filter 111B and the color filter 111R are arranged in a checkered pattern. Accordingly, in the imaging unit 40, each of the imaging pixels P can generate a pixel signal related to green and a pixel signal related to blue or red.
  • the imaging unit 40 generates the image signal DT21 and the gain signal SGAIN.
  • the image signal DT21 includes two image map data MPG and MPBR.
  • the image map data MPG includes pixel values for one frame image related to green (G)
  • the image map data MPBR includes pixel values for one frame image related to blue (B) and red (R).
  • the pixel values for blue (B) and the pixel values for red (R) are arranged in a checkered pattern corresponding to the arrangement of the color filters 111B and 111R.
  • the image processing unit 50 (FIG. 27) includes an image division processing unit 52, an interpolation control unit 56, an interpolation processing unit 53, a synthesis processing unit 54, and a signal processing unit 55.
  • the image division processing unit 52 performs the image division processing A1 based on the image map data MPG and MPBR included in the image signal DT21 supplied from the imaging unit 40 via the switching unit 21, thereby four map data MG11, MG12, MR11, and MB12 are generated.
  • the interpolation control unit 56 determines an interpolation method of the interpolation processing A2 in the interpolation processing unit 53 by performing the interpolation control processing B1 based on the image map data MPG included in the image signal DT21.
  • the interpolation processing unit 53 performs an interpolation process A2 on each of the four map data MG11, MG12, MR11, and MB12 supplied from the image division processing unit 52 using the interpolation method instructed by the interpolation control unit 56.
  • four map data MG21, MG22, MR21, and MB22 are generated.
  • the composition processing unit 54 generates one map data MG3 by performing the composition processing A3 based on the two map data MG21 and MG22 supplied from the interpolation processing unit 53. Then, the composition processing unit 54 supplies the map data MG3 generated by the composition processing A3 and the map data MR21 and MB22 supplied from the interpolation processing unit 53 to the signal processing unit 55 as the image signal DT22. .
  • the signal processing unit 55 performs predetermined signal processing based on the image signal DT22 supplied from the synthesis processing unit 54 or the image signal DT21 supplied from the imaging unit 40 via the switching unit 21. Then, the signal processing unit 55 outputs the processing results of these predetermined signal processes as the image signal DT23.
  • FIG. 30 schematically illustrates an example of the image division process A1, the interpolation control process B1, the interpolation process A2, and the synthesis process A3 in the image processing unit 50.
  • the image division processing unit 52 generates two map data MG11 and MG12 by performing the image division processing A1 based on the image map data MPG.
  • the image division processing unit 52 generates two map data MR11 and MB12 by performing the image division processing A1 based on the image map data MPBR.
  • pixel values relating to red (R) exist in the upper left and lower right, and pixel values are missing in the lower left and upper right.
  • pixel values relating to blue (B) exist in the lower left and upper right, and pixel values are missing in the upper left and lower right.
  • the pixel value arrangement pattern PAT in the image division processing A1 is a checkered pattern so as to correspond to the checkered arrangement of the color filters 111B and 111R in the imaging unit 40.
  • the red (R) pixel value included in the image map data MPBR is included only in the map data MR11
  • the blue (B) pixel value included in the image map data MPBR is included in the map data MB12. Will only be included.
  • the map data MG11 and MR11 have the same arrangement pattern PAT
  • the map data MG12 and MB12 have the same arrangement pattern PAT.
  • the interpolation control unit 56 detects a spatial frequency by performing a spatial frequency detection process B3 based on the image map data MPG related to green (G). And the interpolation control part 56 determines the interpolation method of the interpolation process A2 for every image area based on the spatial frequency calculated
  • the interpolation processing unit 53 uses the interpolation method instructed by the interpolation control unit 56 for each of the four map data MG11, MG12, MR11, and MB12 supplied from the image division processing unit 52 for each image region. By performing the interpolation process A2, four map data MG21, MG22, MR21, and MB22 are generated.
  • the interpolation methods for generating the four map data MG21, MG22, MR21, and MB22 are the same as each other.
  • the composition processing unit 54 generates one map data MG3 by performing the composition processing A3 based on the two map data MG21 and MG22. Specifically, the composition processing unit 54 adds the pixel values at the positions corresponding to each other in the two map data MG21 and MG22, and halves the added pixel value to obtain the position in the map data MG3. The pixel value at is generated.
  • Image map data MPG and MPBR respectively correspond to specific examples of “first image map data” and “second image map data” in the present disclosure.
  • the map data MR11 and MB12 correspond to a specific example of “a plurality of fourth map data” in the present disclosure.
  • the map data MR21 and MB22 correspond to a specific example of “a plurality of fifth map data” in the present disclosure.
  • the map data MG11 and MG12 are generated by performing the image division process A1 based on the image map data MPG, and the map data MG11 and MG12 are respectively interpolated.
  • the map data MG21 and MG22 are generated by performing A2, and the map data MG3 is generated by performing the synthesis process A3 based on these map data MG21 and MG22.
  • the signal noise ratio (S / N ratio) in the map data MG3 can be increased, and the image quality of the captured image can be improved.
  • the pixel value arrangement pattern PAT in the image division processing A1 is made a checkered pattern so as to correspond to the checkered pattern arrangement of the color filters 111B and 111R in the imaging unit 40.
  • the pixel value arrangement patterns PAT in the map data MG11 and MR11 are made the same, and the pixel value arrangement patterns PAT in the map data MG12 and MB12 are made the same.
  • the image division processing unit 52 can perform the image division processing A1 by the same method based on the two image map data MPG and MPBR, so that the circuit configuration of the image division processing unit 52 can be simplified. it can. Further, similarly to the case of the imaging apparatus 1, the possibility of generating false colors can be reduced, and the image quality of the captured image can be improved.
  • the interpolation methods used when generating the map data MG21, MG22, MR21, and MB22 in the interpolation process A2 are the same.
  • the interpolation processing unit 53 can generate four map data MG21, MG22, MR21, and MB22 using the same interpolation method, so that the circuit configuration of the interpolation processing unit 53 can be simplified.
  • the possibility of generating false colors can be reduced, and the image quality of the captured image can be improved.
  • a spatial frequency is detected based on the image map data MPG in which pixel values relating to green (G) are arranged on the entire surface, and an interpolation method in the interpolation process A2 is performed based on the detected spatial frequency. I decided to decide.
  • the imaging device 3 since the spatial frequency can be detected with high accuracy, the accuracy of the interpolation processing A2 can be increased. As a result, the imaging device 3 can obtain a higher restoration effect, so that the image quality of the captured image can be improved.
  • the imaging device 3 as in the imaging device 1 according to the first embodiment, it is possible to control whether to perform image division processing, interpolation processing, and synthesis processing.
  • the imaging device 3 for example, when imaging a dark subject, the signal noise ratio (S / N ratio) in the captured image is obtained by performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3.
  • the resolution in the captured image can be increased by not performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3.
  • the imaging device 3 can improve the image quality of the captured image.
  • the signal-to-noise ratio in the captured image can be increased, so that the image quality of the captured image can be increased.
  • the pixel value arrangement pattern in the image division processing is made to be a checkered pattern so as to correspond to the checkered arrangement of the color filters in the imaging unit, so the circuit configuration of the image division processing unit is simplified. In addition, it is possible to reduce the possibility of false colors and improve the image quality of the captured image.
  • the interpolation method used to generate the four map data is the same in the interpolation process, so that the circuit configuration of the interpolation processing unit can be simplified and the possibility of generating false colors is reduced.
  • the image quality of the captured image can be improved.
  • a spatial frequency is detected based on image map data MPG in which pixel values relating to green (G) are arranged on the entire surface, and an interpolation method in interpolation processing is determined based on the detected spatial frequency.
  • the spatial frequency can be detected with high accuracy, and the image quality of the captured image can be improved.
  • the imaging device 4 according to the third embodiment will be described.
  • the arrangement density of photoelectric conversion elements capable of receiving blue (B) and red (R) light in the imaging unit is different from that in the first embodiment.
  • components that are substantially the same as those of the imaging device 1 according to the first embodiment are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • FIG. 31 illustrates a configuration example of the imaging device 4 according to the present embodiment.
  • the imaging device 4 includes an imaging unit 60 and an image processing unit 70.
  • FIG. 32 schematically illustrates a cross-sectional structure of the imaging pixel P related to the imaging unit 60.
  • FIG. 33 schematically shows the arrangement of the photoelectric conversion elements in the region X in which the four imaging pixels P are arranged.
  • photodiodes PDR2 and PDB2 are formed in the region X corresponding to the four imaging pixels P.
  • the photodiode PDR2 is a photoelectric conversion element that can receive red (R) light as in the photodiode PDR, and the photodiode PDB2 can receive blue (B) light as in the photodiode PDB. It is a photoelectric conversion element.
  • the photodiode PDR2 and the photodiode PDB2 are formed so that the photodiode PDB2 is stacked on the imaging surface S side in the region X corresponding to the four imaging pixels P in the semiconductor substrate 100. That is, in the imaging unit 10 according to the first embodiment, the photodiodes PDB and PDR are stacked in the pixel region corresponding to one imaging pixel P. However, in the imaging unit 60 according to the present embodiment, In the region X corresponding to the four imaging pixels P, the photodiodes PDB2 and PDR2 are stacked.
  • the imaging unit 60 in the region X corresponding to the four imaging pixels P, four photoelectric conversion elements related to green (G), one photoelectric conversion element related to blue (B), and red (R) One photoelectric conversion element is stacked and formed.
  • the arrangement density of the photoelectric conversion elements according to blue (B) is 1/4 of the arrangement density of the photoelectric conversion elements according to green (G), and the photoelectric conversion element according to red (R).
  • the arrangement density of is 1/4 of the arrangement density of the photoelectric conversion elements according to green (G).
  • An insulating film 112 is formed on the color filter 111.
  • the insulating film 112 is configured using, for example, silicon dioxide (SiO 2 ).
  • An insulating film 101 is formed on the semiconductor substrate 100, and a transparent electrode 102, a photoelectric conversion film 103G, a transparent electrode 104, and an on-chip lens 105 are formed on the insulating film 101 in this order.
  • the imaging unit 60 generates the image signal DT31 and the gain signal SGAIN.
  • the image signal DT31 includes three image map data MPG, MPB, and MPR.
  • the image map data MPG includes pixel values for one frame image related to green (G)
  • the image map data MPB includes pixel values for one frame image related to blue (B)
  • the image map data MPR includes: It includes pixel values for one frame image related to red (R).
  • the number of pixel values in the image map data MPB is 1/4 of the number of pixel values in the image map data MPG
  • the number of pixel values in the image map data MPR is 1 / number of the number of pixel values in the image map data MPG. 4.
  • the four pixel values in the image map data MPG are associated with one pixel value in the image map data MPB, and are associated with one pixel value in the image map data MPR.
  • the image processing unit 70 (FIG. 31) includes an image division processing unit 72, an interpolation processing unit 73, a synthesis processing unit 74, and a signal processing unit 75.
  • the image division processing unit 72 performs the image division processing A1 on the basis of the image map data MPG, MPB, MPR included in the image signal DT31 supplied from the imaging unit 60 via the switching unit 21, thereby providing six maps. Data MG11, MG12, MB11, MB12, MR11, and MB12 are generated.
  • the interpolation processing unit 73 performs the interpolation processing A2 on each of the six map data MG11, MG12, MB11, MB12, MR11, and MR12 supplied from the image division processing unit 72, whereby the six map data MG21 and MG22. , MB21, MB22, MR21, and MB22.
  • the composition processing unit 74 performs the composition processing A3 based on the six map data MG21, MG22, MB21, MB22, MR21, MR22 supplied from the interpolation processing unit 73, thereby obtaining the three map data MG3, MB3, MR3. Is to be generated. Then, the composition processing unit 74 supplies the map data MG3, MB3, MR3 generated by the composition processing A3 to the signal processing unit 75 as the image signal DT32.
  • the signal processing unit 75 performs predetermined signal processing based on the image signal DT32 supplied from the synthesis processing unit 74 or the image signal DT31 supplied from the imaging unit 60 via the switching unit 21. Then, the signal processing unit 75 outputs the processing results of these predetermined signal processes as an image signal DT33.
  • FIG. 34 schematically illustrates an example of the image division process A1, the interpolation process A2, and the synthesis process A3 in the image processing unit 70.
  • the image division processing unit 72 generates six map data MG11, MG12, MB11, MB12, MR11, and MR12 by performing the image division processing A1 based on the image map data MPG, MPB, and MPR.
  • the pixel value arrangement pattern PAT in the map data MG11 and MG12 is a checkered pattern (FIGS. 12A and 12B) having four pixel values as a unit.
  • the pixel value arrangement pattern PAT in the map data MB11, MB12, MR11, and MR12 is a checkered pattern (FIGS. 8A and 8B) with one pixel value as a unit.
  • the units in the checkerboard pattern in the map data MG11 and MG12 are mapped according to the arrangement density of the photoelectric conversion elements related to green (G), blue (B), and red (R) in the imaging unit 60.
  • the data MB11, MB12, MR11, and MR12 are set to four times the unit in the checkered pattern.
  • the interpolation processing unit 73 performs the interpolation processing A2 on each of the six map data MG11, MG12, MB11, MB12, MR11, and MR12 supplied from the image division processing unit 22, and thereby the six map data MG21 and MG22. , MB21, MB22, MR21, MR22 are generated.
  • the interpolation processing unit 73 can use the interpolation method shown in FIGS. 13A and 13B.
  • the interpolation methods for generating the map data MB21, MB22, MR21, MR22 are the same as each other.
  • the interpolation method for generating the map data MG21 and MG22 can be the same as the interpolation method for generating the map data MB21, MB22, MR21 and MR22, respectively.
  • the interpolation directions in these two interpolation methods can be made the same.
  • the synthesizing processing unit 74 generates three map data MG3, MB3, and MR3 by performing the synthesizing process A3 based on the six map data MG21, MG22, MB21, MB22, MR21, and MR22.
  • the map data MG11 and MG12 are generated by performing the image division processing A1 based on the image map data MPG, and the map data MG11 and MG12 are respectively interpolated.
  • the map data MG21 and MG22 are generated by performing A2, and the map data MG3 is generated by performing the synthesis process A3 based on these map data MG21 and MG22.
  • the signal-to-noise ratio (S / N ratio) in the map data MG3, MB3, MR3 can be increased, and the image quality of the captured image is increased. be able to.
  • a checkerboard pattern in the map data MG11 and MG12 so as to correspond to the arrangement density of photoelectric conversion elements relating to green (G), blue (B), and red (R) in the imaging unit 60. Is 4 times the unit in the checkerboard pattern in the map data MB11, MB12, MR11, MR12.
  • the image division processing unit 72 can perform the image division processing A1 by the same method based on the three image map data MPG, MPB, and MPR, so that the circuit configuration of the image division processing unit 72 is simplified. can do.
  • the possibility of generating false colors can be reduced, and the image quality of the captured image can be improved.
  • the interpolation method used when generating the map data MB21, MB22, MR21, MR22 in the interpolation process A2 is the same.
  • the interpolation processing unit 73 can generate the four map data MB21, MB22, MR21, and MR22 using the same interpolation method, so that the circuit configuration of the interpolation processing unit 73 can be simplified.
  • the interpolation method for generating the map data MG21, MG22 is the same as the interpolation method for generating the map data MB21, MB22, MR21, MR22, respectively.
  • the possibility of false colors can be reduced, and the image quality of the captured image can be improved.
  • the imaging device 4 as with the imaging device 1 according to the first embodiment, it is possible to control whether to perform image division processing, interpolation processing, and synthesis processing.
  • the imaging device 4 for example, when imaging a dark subject, the signal noise ratio (S / N ratio) in the captured image is obtained by performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3.
  • the resolution in the captured image can be increased by not performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3.
  • the imaging device 4 can improve the image quality of the captured image.
  • the signal-to-noise ratio in the captured image can be increased, so that the image quality of the captured image can be increased.
  • the units in the checkerboard pattern in the map data MG11, MG12 are set as the map data MB11, MB12, MR11 so as to correspond to the arrangement density of the photoelectric conversion elements related to green, blue, and red in the imaging unit. Since the unit of the checkerboard pattern in MR12 is four times the unit, the circuit configuration of the image division processing unit can be simplified, the possibility of false colors being reduced, and the image quality of the captured image can be improved. Can do.
  • the interpolation method used when generating the map data MB21, MB22, MR21, MR22 in the interpolation process is the same, so that the circuit configuration of the interpolation processing unit can be simplified and the false color The risk of occurrence can be reduced.
  • the interpolation method used when generating map data MG21 and MG22 in the interpolation process is the same as the interpolation method used when generating map data MB21, MB22, MR21 and MR22, respectively.
  • the possibility that a false color is generated can be reduced, and the image quality of the captured image can be improved.
  • the image processing unit 70 generates an image based on the image map data MPR related to red (R), the image map data MPG related to green (G), and the image map data MPB related to blue (B).
  • the division processing A1, the interpolation processing A2, and the synthesis processing A3 are performed, the present invention is not limited to this. Instead, for example, as in the case of the imaging device 1D according to the modification of the first embodiment (FIG. 25), based on the luminance signal, the image division processing A1, the interpolation processing A2, and the synthesis processing A3. May be performed. Below, this modification is demonstrated in detail.
  • FIG. 35 illustrates a configuration example of the imaging device 4A according to the present modification.
  • the imaging device 4A includes an image processing unit 70A.
  • the image processing unit 70A includes a Y / C separation unit 79A, an image division processing unit 72A, an interpolation processing unit 73A, a synthesis processing unit 74A, and a signal processing unit 75A.
  • the Y / C separation unit 79A performs the Y / C separation process C1, thereby separating the RGB signal included in the image signal DT31 into a luminance (Y) signal and a color (C) signal, and these luminance signal and color
  • the signal is output as an image signal DT41.
  • the image signal DT41 includes map data MY, MCr, MCb.
  • Map data MY includes pixel values for one frame image related to luminance (Y)
  • map data MCr includes pixel values for one frame image related to RY color difference (Cr)
  • map data MCb includes It includes pixel values for one frame image related to the BY color difference (Cb).
  • the number of pixel values in the map data MCr is 1/4 of the number of pixel values in the map data MY.
  • the number of pixel values in the map data MCb is 1/4 of the number of pixel values in the map data MY.
  • the image division processing unit 72A performs the image division processing A1 based on the map data MY included in the image signal DT41 supplied from the Y / C separation unit 79A via the switching unit 21, thereby obtaining two pieces of map data MY11. , MY12.
  • the image division processing unit 72A outputs map data MCr, MCb included in the image signal DT41 as it is.
  • the interpolation processing unit 73A generates two map data MY21 and MY22 by performing interpolation processing A2 on each of the two map data MY11 and MY12 supplied from the image division processing unit 72A.
  • the interpolation processing unit 73A outputs the map data MCr and MCb supplied from the image division processing unit 72A as they are.
  • the composition processing unit 74A generates one map data MY3 by performing the composition processing A3 based on the two map data MY21 and MY22 supplied from the interpolation processing unit 73A. Then, the composition processing unit 74A supplies the map data MY3 generated by the composition processing A3 and the map data MCr, MCb supplied from the interpolation processing unit 73A to the signal processing unit 75A as the image signal DT42. .
  • the signal processing unit 75A performs predetermined signal processing based on the image signal DT42 supplied from the synthesis processing unit 74A or the image signal DT41 supplied from the Y / C separation unit 79A via the switching unit 21. is there. Then, the signal processing unit 75A outputs the processing results of these predetermined signal processes as an image signal DT43.
  • FIG. 36 schematically illustrates an example of the image division processing A1, the interpolation processing A2, and the synthesis processing A3 in the image processing unit 70A.
  • the Y / C separation unit 79A performs Y / C separation processing C1, thereby separating the RGB signal included in the image signal DT31 into a luminance (Y) signal and a color (C) signal. Specifically, the Y / C separation unit 79A generates map data MY, MCb, MCr based on the image map data MPG, MPB, MPR. The Y / C separation unit 79A generates a pixel value related to luminance (Y) using, for example, the following expression based on pixel values at corresponding positions in the three image map data MPG, MPB, and MPR.
  • VY1 VG1 ⁇ 0.59 + VB / 4 ⁇ 0.11 + VR / 4 ⁇ 0.3
  • VY2 VG2 ⁇ 0.59 + VB / 4 ⁇ 0.11 + VR / 4 ⁇ 0.3
  • VY3 VG3 ⁇ 0.59 + VB / 4 ⁇ 0.11 + VR / 4 ⁇ 0.3
  • VY4 VG4 ⁇ 0.59 + VB / 4 ⁇ 0.11 + VR / 4 ⁇ 0.3
  • “VY1” to “VY4” are pixel values related to luminance (Y)
  • VG1” to “VG4” are pixel values related to green (G)
  • B blue
  • VR is a pixel value related to red (R).
  • VG1 and “VG1” indicate upper left pixel values in the region X
  • VY2 and “VG2” indicate upper right pixel values in the region X
  • VY3 and “VG3” indicate in the region X
  • the lower left pixel value indicates the pixel value
  • VY4 and “VG4” indicate the lower right pixel value in the region X.
  • the image division processing unit 72A generates two map data MY11 and MY12 by performing the image division processing A1 based on the map data MY generated in this way.
  • the interpolation processing unit 73A generates two map data MY21 and MY22 by performing an interpolation process A2 on each of these two map data MY11 and MY12.
  • the composition processing unit 74A performs one composition data A3 based on the two map data MY21 and MY22, thereby generating one map data MY3.
  • the imaging device 4A the signal-noise ratio (S / N ratio) for the luminance signal can be increased, so that the image quality of the captured image can be improved.
  • the image division processing A1, the interpolation processing A2, and the synthesis processing A3 are performed only on the map data MY related to the luminance (Y), the processing amount can be suppressed.
  • power consumption can be reduced.
  • [Modification 3-2] You may apply each modification of the said 1st Embodiment to the imaging device 4 which concerns on the said embodiment. Specifically, for example, the interpolation control process based on the image map data MPG, MPB, and MPR included in the image signal DT31, as in the imaging device 2 (FIG. 21) according to the modification of the first embodiment.
  • the interpolation method of the interpolation process A2 in the interpolation processing unit 73 may be controlled by performing B1.
  • an imaging device 5 in addition to a photoelectric conversion element that can receive green (G), blue (B), and red (R) light in an imaging unit, photoelectric conversion that can receive infrared (IR) light An element is provided. Note that components that are substantially the same as those of the imaging device 1 according to the first embodiment are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • FIG. 37 illustrates a configuration example of the imaging device 5 according to the present embodiment.
  • the imaging device 5 includes an imaging unit 80 and an image processing unit 90.
  • FIG. 38 schematically shows a cross-sectional structure of the imaging pixel P related to the imaging unit 80.
  • FIG. 39 schematically shows the arrangement of the photoelectric conversion elements in the region X in which the four imaging pixels P are arranged.
  • a photodiode PD is formed in a pixel region corresponding to one imaging pixel P.
  • the photodiode PD can receive light of various wavelengths corresponding to visible light.
  • An insulating film 101 is formed on the surface on the imaging surface S side of the semiconductor substrate 100, and a color filter 111 is formed on the insulating film 101.
  • the red (R) color filter 111R is formed on the upper left and the green (G on the lower left and upper right on the insulating film 101.
  • Color filter 111G is formed, and a blue (B) color filter 111B is formed in the lower right.
  • the color filter 111R transmits red (R) light and blocks blue (B) and green (G) light.
  • the color filter 111G transmits green (G) light and blocks red (R) and blue (B) light.
  • the color filter 111B transmits blue (B) light and blocks red (R) and green (G) light.
  • the color filter 111R and the photodiode PD constitute a photoelectric conversion element capable of receiving red (R) light
  • the color filter 111G and the photodiode PD constitute a photoelectric conversion element capable of receiving green (G) light
  • the color filter 111B and the photodiode PD constitute a photoelectric conversion element that can receive blue (B) light.
  • the arrangement of the color filters 111R, 111G, and 111B is a so-called Bayer arrangement.
  • An insulating film 112 is formed on the color filter 111.
  • the transparent electrode 102, the photoelectric conversion film 103IR, and the transparent electrode 104 are formed in this order.
  • the transparent electrodes 102 and 104 are electrodes that can transmit red light, green light, blue light, and infrared light.
  • the photoelectric conversion film 103IR is a photoelectric conversion film that can receive green (G) light, and is configured to transmit red light, green light, and blue light.
  • the photoelectric conversion film 103IR and the transparent electrodes 102 and 104 constitute a photoelectric conversion element that can receive infrared (IR) light.
  • On-chip lens 105 is formed on transparent electrode 104.
  • the infrared (IR) photoelectric conversion element is arranged in the upper layer, and the red ( A photoelectric conversion element according to R), green (G), or blue (B) is disposed.
  • the photoelectric conversion elements according to red (R), green (G), and blue (B) are arranged in a Bayer array. Accordingly, in the imaging unit 80, each of the imaging pixels P can generate a pixel signal related to infrared and a pixel signal related to red, green, or blue.
  • the imaging unit 80 generates the image signal DT51 and the gain signal SGAIN.
  • the image signal DT51 includes two image map data MPIR and MPRGB.
  • the image map data MPIR includes pixel values for one frame image related to infrared (IR), and the image map data MPRGB corresponds to one frame image related to red (R), green (G), and blue (B). Of pixel values.
  • the image processing unit 90 (FIG. 37) includes an image division processing unit 92, an interpolation processing unit 93, a synthesis processing unit 94, and a signal processing unit 95.
  • the image division processing unit 92 performs the image division processing A1 based on the image map data MPIR included in the image signal DT51 supplied from the imaging unit 80 via the switching unit 21, thereby three map data MIR12 and MIR11. , MIR13, and image division processing A1 based on the image map data MPRGB included in the image signal DT51, thereby generating three map data MG12, MR11, and MB13.
  • the interpolation processing unit 93 performs the interpolation processing A2 on each of the six map data MIR12, MIR11, MIR13, MG12, MR11, and MB13 supplied from the image division processing unit 92, so that the six map data MIR22, MIR21. , MIR23, MG22, MR21, and MB23.
  • the synthesis processing unit 94 generates the map data MIR3 by performing the synthesis process A3 based on the three map data MIR22, MIR21, and MIR23 supplied from the interpolation processing unit 93. Then, the synthesis processing unit 94 supplies the map data MIR3 generated by the synthesis processing A3 and the map data MG22, MR21, MB23 supplied from the interpolation processing unit 93 to the signal processing unit 95 as the image signal DT52. ing.
  • the signal processing unit 95 performs predetermined signal processing based on the image signal DT52 supplied from the synthesis processing unit 94 or the image signal DT51 supplied from the imaging unit 60 via the switching unit 21. Then, the signal processing unit 95 outputs the processing results of these predetermined signal processes as an image signal DT53.
  • FIG. 40 schematically illustrates an example of the image division process A1, the interpolation process A2, and the synthesis process A3 in the image processing unit 90.
  • the image division processing unit 92 generates the three map data MIR12, MIR11, and MIR13 by performing the image division processing A1 based on the image map data MPIR, and performs the image division processing A1 based on the image map data MPRGB. As a result, three map data MG12, MR11, and MB13 are generated. As shown in FIG. 40, the pixel value arrangement pattern PAT in the map data MIR12, MIR11, and MIR13 is a pattern (FIGS. 18A to 18C) corresponding to the Bayer array. The same applies to the pixel value arrangement pattern PAT in the map data MG12, MR11, and MB13.
  • the pixel value arrangement pattern PAT in the image division processing A1 is a pattern corresponding to the Bayer arrangement indicating the arrangement of the color filters 111R, 111G, and 111B in the imaging unit 80. Accordingly, the red (R) pixel value included in the image map data MPRGB is included only in the map data MR11, and the green (G) pixel value included in the image map data MPRGB is included in the map data MG12. Only the pixel value of blue (B) included in the image map data MPRGB is included only in the map data MB13. As shown in FIG. 40, the map data MIR12 and MG12 have the same arrangement pattern PAT, the map data MIR11 and MR11 have the same arrangement pattern PAT, and the map data MIR13 and MB13 have the same arrangement. It has a pattern PAT.
  • the interpolation processing unit 93 performs the interpolation processing A2 on each of the six map data MIR12, MIR11, MIR13, MG12, MR11, and MB13 supplied from the image division processing unit 92, so that the six map data MIR22, MIR21. , MIR23, MG22, MR21, and MB23 are generated.
  • the interpolation processing unit 93 can use the interpolation method shown in FIGS. 19A to 19C, for example. The same applies to the interpolation processing A2 for the map data MG12, MR11, and MB13.
  • the interpolation methods for generating the map data MIR22 and MG22 are the same, the interpolation methods for generating the map data MIR21 and MR21 are the same, and the interpolation for generating the map data MIR23 and MB23, respectively.
  • the method is the same as each other.
  • the composition processing unit 94 generates map data MIR3 by performing composition processing A3 based on the three map data MIR22, MIR21, and MIR23.
  • the image map data MPIR and MPRGB correspond to specific examples of “first image map data” and “second image map data” in the present disclosure, respectively.
  • the map data MIR12, MIR11, and MIR13 correspond to a specific example of “a plurality of first map data” in the present disclosure.
  • the map data MIR22, MIR21, and MIR23 correspond to a specific example of “plurality of second map data” in the present disclosure.
  • the map data MIR3 corresponds to a specific example of “third map data” in the present disclosure.
  • the map data MG12, MR11, and MB13 correspond to a specific example of “a plurality of fourth map data” in the present disclosure.
  • the map data MG22, MR21, and MB23 correspond to a specific example of “a plurality of fifth map data” in the present disclosure.
  • the imaging device 5 generates the map data MIR12, MIR11, MIR13, for example, by performing the image division processing A1 based on the image map data MPIR, and each of these map data MIR12, MIR11, MIR13
  • the map data MIR22, MIR21, and MIR23 are generated by performing the interpolation process A2
  • the map data MIR3 is generated by performing the synthesis process A3 based on the map data MIR22, MIR21, and MIR23.
  • the pixel value arrangement pattern PAT in the image division processing A1 is made a pattern corresponding to the Bayer arrangement so as to correspond to the arrangement of the color filters 111R, 111G, and 111B in the imaging unit 80. Then, the pixel value arrangement pattern PAT in the map data MIR12, MG12 is made the same, the pixel value arrangement pattern PAT in the map data MIR11, MR11 is made the same, and the pixel value arrangement pattern PAT in the map data MIR13, MB13 is made mutually. Made the same. As a result, since the image division processing unit 92 can perform the image division processing A1 by the same method based on the two image map data MPIR and MPRGB, the circuit configuration of the image division processing unit 92 can be simplified. it can.
  • the interpolation method when generating the map data MIR22 and MG22 is the same, the interpolation method when generating the map data MIR21 and MR21 is the same, and the map data MIR23, Since the interpolation methods used when generating MB23 are the same, the circuit configuration of the interpolation processing unit 93 can be simplified.
  • the imaging device 5 as in the imaging device 1 according to the first embodiment, it is possible to control whether to perform image division processing, interpolation processing, and synthesis processing.
  • the imaging device 3 for example, when imaging a dark subject, the signal noise ratio (S / N ratio) in the captured image is obtained by performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3.
  • the resolution in the captured image can be increased by not performing the image division processing A1, the interpolation processing A2, and the synthesis processing A3.
  • the imaging device 5 can improve the image quality of the captured image.
  • the signal-to-noise ratio in the captured image can be increased, so that the image quality of the captured image can be increased.
  • the pixel value arrangement pattern in the image division processing is made to correspond to the Bayer array so as to correspond to the arrangement of the color filters in the imaging unit, so that the circuit configuration of the image division processing unit is simplified. be able to.
  • the interpolation method when generating the map data MIR22 and MG22 is the same, the interpolation method when generating the map data MIR21 and MR21 is the same, and the map data MIR23 and MB23 are Since the interpolation methods at the time of generation are the same, the circuit configuration of the interpolation processing unit 93 can be simplified.
  • [Modification 4-1] You may apply each modification of the said 1st Embodiment to the imaging device 5 which concerns on the said embodiment. Specifically, for example, the interpolation control process B1 is performed based on the image map data MPRGB included in the image signal DT51, similarly to the imaging device 2 (FIG. 21) according to the modification of the first embodiment. Thus, the interpolation method of the interpolation processing A2 in the interpolation processing unit 93 may be controlled.
  • FIG. 41 illustrates a usage example of the imaging device 1 and the like according to the above embodiment.
  • the imaging device 1 and the like described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Safe driving such as automatic stop, recognition of driver status, etc.
  • Device and user gestures used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles
  • Devices used for home appliances such as televisions, refrigerators, air conditioners, etc.
  • Equipment used for medical and health care, surveillance cameras for crime prevention, cameras used for security such as cameras for personal authentication, skin measuring devices for photographing skin, and scalp
  • Equipment for sports use such as action cameras for sports applications, wearable cameras, etc., equipment for sports use, cameras for monitoring the condition of fields and crops, etc.
  • Equipment for sports use such as action cameras for sports applications, wearable cameras, etc., equipment for sports use, cameras for monitoring the condition of fields and crops, etc.
  • Equipment for sports use such as action
  • FIG. 42 is a block diagram illustrating an example of a schematic configuration of a patient in-vivo information acquisition system using a capsule endoscope to which the technique according to the present disclosure (present technique) can be applied.
  • the in-vivo information acquisition system 10001 includes a capsule endoscope 10100 and an external control device 10200.
  • the capsule endoscope 10100 is swallowed by the patient at the time of examination.
  • the capsule endoscope 10100 has an imaging function and a wireless communication function, and moves inside the organ such as the stomach and the intestine by peristaltic motion or the like until it is spontaneously discharged from the patient.
  • Images (hereinafter also referred to as in-vivo images) are sequentially captured at predetermined intervals, and information about the in-vivo images is sequentially wirelessly transmitted to the external control device 10200 outside the body.
  • the external control device 10200 comprehensively controls the operation of the in-vivo information acquisition system 10001. Further, the external control device 10200 receives information about the in-vivo image transmitted from the capsule endoscope 10100 and, based on the received information about the in-vivo image, displays the in-vivo image on the display device (not shown). The image data for displaying is generated.
  • an in-vivo image obtained by imaging the inside of the patient's body can be obtained at any time in this manner until the capsule endoscope 10100 is swallowed and discharged.
  • the capsule endoscope 10100 includes a capsule-type casing 10101.
  • a light source unit 10111 In the casing 10101, a light source unit 10111, an imaging unit 10112, an image processing unit 10113, a wireless communication unit 10114, a power supply unit 10115, and a power supply unit 10116 and the control unit 10117 are stored.
  • the light source unit 10111 includes a light source such as an LED (light-emitting diode), and irradiates the imaging field of the imaging unit 10112 with light.
  • a light source such as an LED (light-emitting diode)
  • the image capturing unit 10112 includes an image sensor and an optical system including a plurality of lenses provided in front of the image sensor. Reflected light (hereinafter referred to as observation light) of light irradiated on the body tissue to be observed is collected by the optical system and enters the image sensor. In the imaging unit 10112, in the imaging element, the observation light incident thereon is photoelectrically converted, and an image signal corresponding to the observation light is generated. The image signal generated by the imaging unit 10112 is provided to the image processing unit 10113.
  • the image processing unit 10113 is configured by a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), and performs various signal processing on the image signal generated by the imaging unit 10112.
  • the image processing unit 10113 provides the radio communication unit 10114 with the image signal subjected to signal processing as RAW data.
  • the wireless communication unit 10114 performs predetermined processing such as modulation processing on the image signal that has been subjected to signal processing by the image processing unit 10113, and transmits the image signal to the external control apparatus 10200 via the antenna 10114A.
  • the wireless communication unit 10114 receives a control signal related to drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A.
  • the wireless communication unit 10114 provides a control signal received from the external control device 10200 to the control unit 10117.
  • the power feeding unit 10115 includes a power receiving antenna coil, a power regeneration circuit that regenerates power from a current generated in the antenna coil, a booster circuit, and the like. In the power feeding unit 10115, electric power is generated using a so-called non-contact charging principle.
  • the power supply unit 10116 is composed of a secondary battery, and stores the electric power generated by the power supply unit 10115.
  • FIG. 42 in order to avoid the drawing from being complicated, illustration of an arrow or the like indicating a power supply destination from the power supply unit 10116 is omitted, but the power stored in the power supply unit 10116 is stored in the light source unit 10111.
  • the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the control unit 10117 can be used for driving them.
  • the control unit 10117 includes a processor such as a CPU, and a control signal transmitted from the external control device 10200 to drive the light source unit 10111, the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the power feeding unit 10115. Control accordingly.
  • a processor such as a CPU
  • the external control device 10200 is configured by a processor such as a CPU or GPU, or a microcomputer or a control board in which a processor and a storage element such as a memory are mounted.
  • the external control device 10200 controls the operation of the capsule endoscope 10100 by transmitting a control signal to the control unit 10117 of the capsule endoscope 10100 via the antenna 10200A.
  • the capsule endoscope 10100 for example, the light irradiation condition for the observation target in the light source unit 10111 can be changed by a control signal from the external control device 10200.
  • an imaging condition for example, a frame rate or an exposure value in the imaging unit 10112
  • the contents of processing in the image processing unit 10113 and the conditions (for example, the transmission interval, the number of transmission images, etc.) by which the wireless communication unit 10114 transmits image signals may be changed by a control signal from the external control device 10200. .
  • the external control device 10200 performs various image processing on the image signal transmitted from the capsule endoscope 10100, and generates image data for displaying the captured in-vivo image on the display device.
  • image processing for example, development processing (demosaic processing), image quality enhancement processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing ( Various signal processing such as electronic zoom processing can be performed.
  • the external control device 10200 controls driving of the display device to display an in-vivo image captured based on the generated image data.
  • the external control device 10200 may cause the generated image data to be recorded on a recording device (not shown) or may be printed out on a printing device (not shown).
  • the technology according to the present disclosure can be applied to, for example, the imaging unit 10112 and the image processing unit 10113 among the configurations described above. Thereby, since the image quality of a captured image can be improved, the doctor can grasp
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 43 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (present technology) according to the present disclosure can be applied.
  • FIG. 43 shows a state in which an operator (doctor) 11131 is performing surgery on a patient 11132 on a patient bed 11133 using an endoscopic surgery system 11000.
  • an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as an insufflation tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 that supports the endoscope 11100. And a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • an endoscope 11100 configured as a so-called rigid mirror having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible lens barrel. Good.
  • An opening into which the objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. Irradiation is performed toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: “Camera Control Unit”) 11201 as RAW data.
  • the CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various kinds of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example.
  • image processing for example, development processing (demosaic processing
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 includes a light source such as an LED (light emitting diode), and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • a light source such as an LED (light emitting diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • a user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment instrument control device 11205 controls the drive of the energy treatment instrument 11112 for tissue ablation, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 11206 passes gas into the body cavity via the pneumoperitoneum tube 11111.
  • the recorder 11207 is an apparatus capable of recording various types of information related to surgery.
  • the printer 11208 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the light source device 11203 that supplies the irradiation light when the surgical site is imaged to the endoscope 11100 can be configured by, for example, a white light source configured by an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. It can be carried out.
  • laser light from each of the RGB laser light sources is irradiated on the observation target in a time-sharing manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing, thereby corresponding to each RGB. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the drive of the image sensor of the camera head 11102 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure A range image can be generated.
  • the light source device 11203 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • a so-called narrow-band light observation (Narrow Band Imaging) is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 44 is a block diagram illustrating an example of a functional configuration of the camera head 11102 and the CCU 11201 illustrated in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are connected to each other by a transmission cable 11400 so that they can communicate with each other.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101. Observation light taken from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging device constituting the imaging unit 11402 may be one (so-called single plate type) or plural (so-called multi-plate type).
  • image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of lens units 11401 can be provided corresponding to each imaging element.
  • the imaging unit 11402 is not necessarily provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the driving unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Thereby, the magnification and the focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information that specifies the frame rate of the captured image, information that specifies the exposure value at the time of imaging, and / or information that specifies the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
  • a so-called AE (Auto-Exposure) function, AF (Auto-Focus) function, and AWB (Auto-White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls driving of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electrical communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various types of control related to imaging of the surgical site by the endoscope 11100 and display of a captured image obtained by imaging of the surgical site. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a picked-up image showing the surgical part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques.
  • the control unit 11413 detects surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 11112, and the like by detecting the shape and color of the edge of the object included in the captured image. Can be recognized.
  • the control unit 11413 may display various types of surgery support information superimposed on the image of the surgical unit using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 11131, thereby reducing the burden on the operator 11131 and allowing the operator 11131 to proceed with surgery reliably.
  • the transmission cable 11400 for connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 11400.
  • communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 45 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an out-of-vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 120 are provided as a functional configuration of the integrated control unit 12050.
  • a microcomputer 12051 an audio image output unit 12052, and an in-vehicle network I / F (interface) 120 are provided. 53 is shown.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 46 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 46 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the vehicle control system 12000 can grasp the environment outside the vehicle more accurately, for example, and can perform more accurate driving support, for example.
  • the imaging device 1 is configured using the imaging unit 10 and the image processing unit 20, but the present invention is not limited to this.
  • an arithmetic device different from the imaging device 1 may have the function of the image processing unit 20.
  • an image data file including information about the image map data MPR, MPG, MPB and the conversion gain GC is supplied to the arithmetic device.
  • this arithmetic unit can perform image division processing A1, interpolation processing A2, and composition processing A3 based on this image data file.
  • the arithmetic device may be a personal computer that executes an image processing program.
  • the image processing unit 20 controls whether or not to perform the image division processing A1, the interpolation processing A2, and the synthesis processing A3 based on the conversion gain GC indicated by the gain signal SGAIN.
  • the imaging unit 10 may determine whether to perform the image division process A1, the interpolation process A2, and the synthesis process A3, and generate a mode signal indicating the determination result. In this case, the image processing unit 20 can operate according to the mode signal.
  • An image capable of generating a plurality of first map data in which pixel value arrangement patterns are different from each other and pixel values are arranged at different positions based on first image map data including a plurality of pixel values.
  • a division processing unit In each of the plurality of first map data, a plurality of second map data corresponding to the plurality of first map data is obtained by obtaining a pixel value at a position where the pixel value is missing using an interpolation process.
  • An interpolation processing unit capable of generating An image processing apparatus comprising: a synthesis processing unit capable of generating third map data by generating a pixel value at a position based on a pixel value at a position corresponding to each other in the plurality of second map data .
  • the image processing device (2) The image processing device according to (1), wherein the arrangement pattern is a checkered pattern.
  • the image processing apparatus according to (1) or (2), further including an interpolation control unit capable of determining a processing method of the interpolation processing based on the first image map data.
  • the interpolation control unit can determine the processing method by determining an interpolation direction in the interpolation processing based on the first image map data. .
  • the interpolation control unit can determine spatial frequency information based on the first image map data, and determine the processing method based on the spatial frequency information. (3) or (4 ).
  • the interpolation control unit generates composite map data based on the first image map data, the second image map data, and the third image map data, and the interpolation based on the composite map data
  • the image processing apparatus according to any one of (3) to (5), wherein a processing method of processing can be determined.
  • the image division processing unit further includes, based on the second image map data including a plurality of pixel values, a plurality of first values in which pixel value arrangement patterns are different from each other and pixel values are arranged at different positions. 4 map data can be generated,
  • the interpolation processing unit corresponds to the plurality of fourth map data by obtaining a pixel value at a position where the pixel value is missing in each of the plurality of fourth map data using the interpolation processing.
  • a plurality of fifth map data can be generated;
  • the arrangement pattern of pixel values in the plurality of first map data includes a first arrangement pattern and a second arrangement pattern,
  • the image processing device according to any one of (1) to (6), wherein the arrangement pattern of pixel values in the plurality of fourth map data includes the first arrangement pattern and the second arrangement pattern.
  • the image processing apparatus according to (7), wherein an interpolation method of the interpolation processing for the plurality of first map data is the same as the interpolation method of the interpolation processing for the plurality of fourth map data.
  • the plurality of pixel values of the first image map data include a plurality of pixel values of a first color;
  • the image processing device according to (7) or (8), wherein the plurality of pixel values of the second image map data include a plurality of pixel values of a second color and a plurality of pixel values of a third color. .
  • the plurality of pixel values of the first image map data include a plurality of pixel values of a first color;
  • the plurality of pixel values of the second image map data include a plurality of pixel values of a second color, a plurality of pixel values of a third color, and a plurality of pixel values of a fourth color.
  • (8) the plurality of pixel values of a fourth color.
  • the composition processing unit can generate sixth map data by generating a pixel value at a position based on a pixel value at a position corresponding to each other in the plurality of fifth map data.
  • the image division processing unit further includes a plurality of seventh maps in which pixel value arrangement patterns are different from each other and pixel values are arranged at different positions based on third image map data including a plurality of pixel values. Data can be generated,
  • the interpolation processing unit corresponds to the plurality of seventh map data by obtaining a pixel value at a position where the pixel value is missing in each of the plurality of seventh map data using the interpolation processing.
  • a plurality of eighth map data can be generated;
  • the synthesis processing unit can generate ninth map data by generating a pixel value at a position based on a pixel value at a position corresponding to each other in the plurality of eighth map data,
  • the image processing device according to (7), wherein the arrangement pattern of pixel values in the plurality of seventh map data includes the first arrangement pattern and the second arrangement pattern.
  • An interpolation method of the interpolation process for the plurality of first map data includes an interpolation method of the interpolation process for the plurality of fourth map data and the interpolation process for the plurality of seventh map data.
  • the image processing apparatus according to (11), wherein the image processing apparatus is the same as the interpolation method.
  • the plurality of pixel values of the first image map data include a plurality of pixel values of a first color
  • the plurality of pixel values of the second image map data includes a plurality of pixel values of a second color
  • the image processing device according to (11) or (12) wherein the plurality of pixel values of the third image map data include a plurality of pixel values of a third color.
  • the number of the plurality of pixel values in the first image map data is different from the number of the plurality of pixel values in the second image map data. Any one of (11) to (13) Image processing apparatus.
  • the plurality of pixel values of the first image map data include a plurality of green pixel values; The image processing device according to (14), wherein two or more pixel values in the first image map data are associated with one pixel value in the second image map data.
  • a generation unit that generates the first image map data based on an image signal; The image processing device according to any one of (1) to (5), wherein the first image map data is luminance map data.
  • a processing unit capable of performing predetermined signal processing based on the first image map data or the third map data is further provided,
  • the processing control unit causes the processing unit to perform the predetermined signal processing based on the first image map data in the first operation mode, and converts the third map data into the third map data in the second operation mode.
  • the first image map data is supplied from an imaging unit,
  • the parameter is a gain value in the imaging unit
  • the processing control unit controls the image division processing unit, the interpolation processing unit, and the synthesis processing unit to perform processing when the gain value is higher than a predetermined gain value.
  • Image processing apparatus (21) Image division for generating a plurality of first map data having different pixel value arrangement patterns and pixel values arranged at different positions based on the first image map data including a plurality of pixel values. Processing, In each of the plurality of first map data, a plurality of second map data corresponding to the plurality of first map data is obtained by obtaining a pixel value at a position where the pixel value is missing using an interpolation process.
  • Interpolation processing to generate An image processing method including: combining processing for generating third map data by generating a pixel value at a position based on a pixel value at a position corresponding to each other in the plurality of second map data.
  • an imaging unit that generates first image map data including a plurality of pixel values;
  • An image division processing unit capable of generating a plurality of first map data in which pixel value arrangement patterns are different from each other and pixel values are arranged at different positions based on the first image map data;
  • a plurality of second map data corresponding to the plurality of first map data is obtained by obtaining a pixel value at a position where the pixel value is missing using an interpolation process.
  • An interpolation processing unit capable of generating A synthesis processing unit capable of generating third map data by generating pixel values at the positions based on pixel values at positions corresponding to each other in the plurality of second map data.
  • Imaging device. (23)
  • the imaging unit includes a plurality of pixels arranged in a predetermined color arrangement, The imaging device according to (22), wherein the arrangement pattern has a pattern corresponding to the color arrangement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本開示の画像処理装置は、複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成可能な画像分割処理部と、複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第１のマップデータに対応する複数の第２のマップデータを生成可能な補間処理部と、複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成可能な合成処理部とを備える。

Description

画像処理装置、画像処理方法、および撮像装置
　本開示は、画像処理を行う画像処理装置、画像処理方法、およびそのような画像処理装置を備えた撮像装置に関する。
　撮像装置では、赤色、緑色、および青色の光電変換素子により変換された電気信号に基づいて撮像画像が生成される。例えば、特許文献１には、赤色、緑色、および青色の光電変換素子を１つの画素領域に積み重ねたものが開示されている。
特開２０１１－１３８９２７号公報
　ところで、撮像装置では、撮像画像の画質が高いことが望まれており、さらなる画質の向上が期待されている。
　撮像画像の画質を高めることできる画像処理装置、画像処理方法、および撮像装置を提供することが望ましい。
　本開示の一実施の形態における画像処理装置は、画像分割処理部と、補間処理部と、合成処理部とを備える。画像分割処理部は、複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成可能なものである。補間処理部は、複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第１のマップデータに対応する複数の第２のマップデータを生成可能なものである。合成処理部は、複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成可能なものである。
　本開示の一実施の形態における画像処理方法は、複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成する画像分割処理と、記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第１のマップデータに対応する複数の第２のマップデータを生成する補間処理と、複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成する合成処理とを含むものである。
　本開示の一実施の形態における撮像装置は、撮像部と、画像分割処理部と、補間処理部と、合成処理部とを備えている。撮像部は、複数の画素値を含む第１の画像マップデータを生成するものである。画像分割処理部は、第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成することが可能なものである。補間処理部は、複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第１のマップデータに対応する複数の第２のマップデータを生成することが可能なものである。合成処理部は、複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成することが可能なものである。
　ここで、「撮像装置」とは、いわゆるイメージセンサ単体に限定されるものではなく、デジタルカメラやスマートフォンなど、撮像機能を有する電子機器を含むものである。　
　本開示の一実施の形態における画像処理装置、画像処理方法、および撮像装置では、画像分割処理により、第１の画像マップデータに基づいて、複数の第１のマップデータが生成される。この複数の第１のマップデータは、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置されたものである。そして、補間処理により、これらの複数の第１のマップデータのそれぞれに基づいて、複数の第２のマップデータが生成される。これらの複数の第２のマップデータは、複数の第１のマップデータにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより生成される。そして、合成処理により、これらの複数の第２のマップデータに基づいて、第３のマップデータが生成される。この第３のマップデータは、これらの複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより生成される。
　本開示の一実施の形態における画像処理装置、画像処理方法、および撮像装置によれば、第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成し、複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第２のマップデータを生成し、複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成するようにしたので、撮像画像の画質を高めることできる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果があってもよい。
本開示の第１の実施の形態に係る撮像装置の一構成例を表すブロック図である。 図１に示した撮像部の一構成例を表すブロック図である。 図２に示した撮像画素の一構成例を表す説明図である。 図２に示した撮像画素の一構成例を表す模式図である。 図１に示した画像処理部の一動作例を表すフローチャートである。 図１に示した画像処理部の一動作例を表す説明図である。 図６に示した画像マップデータの一例を表す説明図である。 図６に示したマップデータの一例を表す説明図である。 図６に示したマップデータの一例を表す他の説明図である。 図６に示したマップデータの一例を表す他の説明図である。 図６に示したマップデータの一例を表す他の説明図である。 図６に示したマップデータの一例を表す他の説明図である。 変形例に係る画像処理部の一動作例を表す説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係るマップデータの一例を表す他の説明図である。 他の変形例に係る撮像装置の一構成例を表すブロック図である。 図２１に示した画像処理部の一動作例を表す説明図である。 図２１に示した画像処理部の一動作例を表す説明図である。 図２１に示した画像処理部の一動作例を表す説明図である。 図２１に示した画像処理部の一動作例を表す説明図である。 他の変形例に係る画像処理部の一動作例を表す説明図である。 他の変形例に係る撮像装置の一構成例を表すブロック図である。 図２５に示した画像処理部の一動作例を表す説明図である。 第２の実施の形態に係る撮像装置の一構成例を表すブロック図である。 図２７に示した撮像部における撮像画素の一構成例を表す説明図である。 図２７に示した撮像部における撮像画素の一構成例を表す模式図である。 図２７に示した画像処理部の一動作例を表す説明図である。 第３の実施の形態に係る撮像装置の一構成例を表すブロック図である。 図３１に示した撮像部における撮像画素の一構成例を表す説明図である。 図３１に示した撮像部における撮像画素の一構成例を表す模式図である。 図３１に示した画像処理部の一動作例を表す説明図である。 変形例に係る撮像装置の一構成例を表すブロック図である。 図３５に示した画像処理部の一動作例を表す説明図である。 第４の実施の形態に係る撮像装置の一構成例を表すブロック図である。 図３７に示した撮像部における撮像画素の一構成例を表す説明図である。 図３７に示した撮像部における撮像画素の一構成例を表す模式図である。 図３７に示した画像処理部の一動作例を表す説明図である。 撮像装置の使用例を表す説明図である。 体内情報取得システムの概略的な構成の一例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．撮像装置の使用例
６．応用例
＜１．第１の実施の形態＞
［構成例］
　図１は、第１の実施の形態に係る画像処理装置を備えた撮像装置１の一構成例を表すものである。なお、本開示の実施の形態に係る画像処理方法は、本実施の形態により具現化されるので、併せて説明する。撮像装置１は、光学系９と、撮像部１０と、画像処理部２０とを備えている。
　光学系９は、例えば、撮像部１０の撮像面Ｓにおいて像を結像させるレンズを含んで構成されるものである。
　撮像部１０は、被写体を撮像することにより、画像信号ＤＴおよびゲイン信号ＳＧＡＩＮを生成するものである。撮像部１０は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサを用いて構成される。
　図２は、撮像部１０の一構成例を表すものである。撮像部１０は、画素アレイ１１と、走査部１２と、読出部１３と、撮像制御部１４とを有している。
　画素アレイ１１は、複数の撮像画素Ｐがマトリクス状に配置されたものである。撮像画素Ｐは、赤色（Ｒ）の光を受光可能な光電変換素子、緑色（Ｇ）の光を受光可能な光電変換素子、および青色（Ｂ）の光を受光可能な光電変換素子を含んで構成されるものである。
　図３は、撮像画素Ｐの断面構造を模式的に表すものである。この図３は、図２に示した領域Ｘに配置された４つの撮像画素Ｐのうちの２つの撮像画素Ｐの断面構造を模式的に示している。
　半導体基板１００には、１つの撮像画素Ｐに対応する画素領域において、２つのフォトダイオードＰＤＲ，ＰＤＢが形成される。フォトダイオードＰＤＲは、赤色（Ｒ）の光を受光可能な光電変換素子であり、フォトダイオードＰＤＢは、青色（Ｂ）の光を受光可能な光電変換素子である。フォトダイオードＰＤＲおよびフォトダイオードＰＤＢは、半導体基板１００において、フォトダイオードＰＤＢが撮像面Ｓの側になるように積層されて形成される。フォトダイオードＰＤＲおよびフォトダイオードＰＤＢは、半導体基板１００における光の吸収係数が光の波長により異なることを利用して、赤色の光および青色の光に基づいてそれぞれ光電変換を行うようになっている。
　半導体基板１００の撮像面Ｓ側の表面には絶縁膜１０１が形成される。この絶縁膜１０１は、例えば二酸化ケイ素（ＳｉＯ2）を用いて構成される。そして、この絶縁膜１０１の上には、透明電極１０２、光電変換膜１０３Ｇ、および透明電極１０４が、この順に形成される。透明電極１０２，１０４は、赤色の光、緑色の光、および青色の光を透過可能な電極である。光電変換膜１０３Ｇは、緑色（Ｇ）の光を受光可能な光電変換膜であり、赤色の光および青色の光を透過可能に構成されている。この光電変換膜１０３Ｇおよび透明電極１０２，１０４は、緑色（Ｇ）の光を受光可能な光電変換素子を構成する。透明電極１０４の上には、オンチップレンズ１０５が形成される。
　図４は、図２に示した領域Ｘに配置された４つの撮像画素Ｐにおける光電変換素子の配置を模式的に表すものである。このように、撮像部１０では、１つの撮像画素Ｐに対応する画素領域に、緑色（Ｇ）に係る光電変換素子、青色（Ｂ）に係る光電変換素子、赤色（Ｒ）に係る光電変換素子が積層されて形成される。これにより、撮像部１０では、各撮像画素Ｐのそれぞれが、赤色に係る画素信号、緑色に係る画素信号、青色に係る画素信号を生成することができるようになっている。
　走査部１２は、撮像制御部１４からの指示に基づいて、画素アレイ１１における複数の撮像画素Ｐを、例えば画素ライン単位で順次駆動するものであり、例えばアドレスデコーダを含んで構成されるものである。
　読出部１３は、撮像制御部１４からの指示に基づいて、各撮像画素Ｐから供給された画素信号に基づいてＡＤ変換を行うことにより、画像信号ＤＴを生成するものである。画像信号ＤＴは、３つの画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲを含んでいる。画像マップデータＭＰＧは、緑色（Ｇ）に係る１フレーム画像分の画素値を含み、画像マップデータＭＰＢは、青色（Ｂ）に係る１フレーム画像分の画素値を含み、画像マップデータＭＰＲは、赤色（Ｒ）に係る１フレーム画像分の画素値を含む。各画素値は、複数ビットのデジタルコードで表されるものである。
　撮像制御部１４は、走査部１２および読出部１３に制御信号を供給し、これらの回路の動作を制御することにより、撮像部１０の動作を制御するものである。また、撮像制御部１４は、読出部１３がＡＤ変換を行う際の変換ゲインＧＣを設定する機能をも有している。具体的には、撮像制御部１４は、撮像部１０が暗い被写体を撮像する場合には、ＡＤ変換を行う際の変換ゲインＧＣを高くし、撮像部１０が明るい被写体を撮像する場合には、ＡＤ変換を行う際の変換ゲインＧＣを低くする。これにより、撮像装置１は、様々な明るさの被写体を撮像することができる。また、撮像制御部１４は、この変換ゲインＧＣについての情報を、ゲイン信号ＳＧＡＩＮとして出力する機能をも有している。
　画像処理部２０（図１）は、画像信号ＤＴおよびゲイン信号ＳＧＡＩＮに基づいて画像処理を行うものである。画像処理部２０は、切替部２１と、画像分割処理部２２と、補間処理部２３と、合成処理部２４と、信号処理部２５とを有している。
　切替部２１は、ゲイン信号ＳＧＡＩＮが示す変換ゲインＧＣに基づいて、画像信号ＤＴを、画像分割処理部２２または信号処理部２５に選択的に供給するものである。具体的には、切替部２１は、例えば、変換ゲインＧＣが所定のしきい値Ｇｔｈよりも高い場合には、画像信号ＤＴを画像分割処理部２２に供給し、変換ゲインＧＣが所定のしきい値Ｇｔｈよりも低い場合には、画像信号ＤＴを信号処理部２５に供給する。これにより、画像処理部２０では、変換ゲインＧＣが所定のしきい値Ｇｔｈよりも高い場合には、画像分割処理部２２、補間処理部２３、および合成処理部２４が処理を行い、変換ゲインＧＣが所定のしきい値Ｇｔｈよりも低い場合には、画像分割処理部２２、補間処理部２３、および合成処理部２４が処理を行わないようにすることができる。
　画像分割処理部２２は、撮像部１０から切替部２１を介して供給された画像信号ＤＴに含まれる３つの画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、画像分割処理Ａ１を行うことにより、６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２を生成するものである。具体的には、画像分割処理部２２は、後述するように、画像信号ＤＴに含まれる、緑色（Ｇ）に係る画像マップデータＭＰＧに基づいて、画素値の配置パターンＰＡＴが互いに異なり、互いに異なる位置に画素値が配置された２つのマップデータＭＧ１１，ＭＧ１２を生成する。同様に、画像分割処理部２２は、画像信号ＤＴに含まれる、青色（Ｂ）に係る画像マップデータＭＰＢに基づいて、２つのマップデータＭＢ１１，ＭＢ１２を生成し、画像信号ＤＴに含まれる、赤色（Ｒ）に係る画像マップデータＭＰＲに基づいて、２つのマップデータＭＲ１１，ＭＲ１２を生成する。このようにして、画像分割処理部２２は、画像信号ＤＴに基づいて、６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２を生成するようになっている。
　補間処理部２３は、画像分割処理部２２から供給された６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成するものである。具体的には、補間処理部２３は、後述するように、緑色（Ｇ）に係るマップデータＭＧ１１において、補間処理Ａ２を用いて、画素値が欠落した位置における画素値を求めることにより、マップデータＭＧ２１を生成するとともに、緑色（Ｇ）に係るマップデータＭＧ１２において、補間処理Ａ２を用いて、画素値が欠落した位置における画素値を求めることにより、マップデータＭＧ２２を生成する。同様に、補間処理部２３は、青色（Ｂ）に係るマップデータＭＢ１１において補間処理Ａ２を行うことによりマップデータＭＢ２１を生成するとともに、青色（Ｂ）に係るマップデータＭＢ１２において補間処理Ａ２を行うことによりマップデータＭＢ２２を生成する。また、補間処理部２３は、赤色（Ｒ）に係るマップデータＭＲ１１において補間処理Ａ２を行うことによりマップデータＭＲ２１を生成するとともに、赤色（Ｒ）に係るマップデータＭＲ１２において補間処理Ａ２を行うことによりマップデータＭＲ２２を生成するようになっている。
　合成処理部２４は、補間処理部２３から供給された６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２に基づいて合成処理Ａ３を行うことにより、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を生成するものである。具体的には、合成処理部２４は、後述するように、緑色（Ｇ）に係る２つのマップデータＭＧ２１，ＭＧ２２に基づいてマップデータＭＧ３を生成する。同様に、合成処理部２４は、青色（Ｂ）に係る２つのマップデータＭＢ２１，ＭＢ２２に基づいてマップデータＭＢ３を生成し、赤色（Ｒ）に係る２つのマップデータＭＲ２１，ＭＲ２２における互いに対応する位置の画素値に基づいて、その位置での画素値を生成することによりマップデータＭＲ３を生成する。そして、合成処理部２４は、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を、画像信号ＤＴ２として信号処理部２５に供給するようになっている。
　信号処理部２５は、合成処理部２４から供給された画像信号ＤＴ２、または撮像部１０から切替部２１を介して供給された画像信号ＤＴに基づいて、所定の信号処理を行うものである。所定の信号処理は、例えば、ホワイトバランス調整、非線形変換、輪郭強調処理、画像サイズ変換などを含む。そして、信号処理部２５は、これらの所定の信号処理の処理結果を、画像信号ＤＴ３として出力するようになっている。
　この構成により、撮像装置１では、暗い被写体を撮像する場合には、変換ゲインＧＣが高くなるため、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行う。これにより、撮像装置１では、撮像画像における信号雑音比（Ｓ／Ｎ比）を高めることができる。また、撮像装置１では、撮像装置１が明るい被写体を撮像する場合には、変換ゲインＧＣが低くなるため、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにする。これにより、撮像装置１では、撮像画像における解像度を高めることができるようになっている。
　ここで、画像処理部２０は、本開示における「画像処理装置」の一具体例に対応する。画像分割処理部２２は、本開示における「画像分割処理部」の一具体例に対応する。補間処理部２３は、本開示における「補間処理部」の一具体例に対応する。合成処理部２４は、本開示における「合成処理部」の一具体例に対応する。信号処理部２５は、本開示における「処理部」の一具体例に対応する。切替部２１は、本開示における「処理制御部」の一具体例に対応する。
［動作および作用］
　続いて、本実施の形態の撮像装置１の動作および作用について説明する。
（全体動作概要）
　まず、図１を参照して、撮像装置１の全体動作概要を説明する。撮像部１０は、被写体を撮像することにより画像信号ＤＴおよびゲイン信号ＳＧＡＩＮを生成する。画像処理部２０の切替部２１は、ゲイン信号ＳＧＡＩＮが示す変換ゲインＧＣに基づいて、画像信号ＤＴを、画像分割処理部２２または信号処理部２５に選択的に供給する。画像分割処理部２２は、撮像部１０から切替部２１を介して供給された画像信号ＤＴに含まれる３つの画像マップデータＭＰＧ、ＭＰＢ，ＭＰＲに基づいて、画像分割処理Ａ１を行うことにより、６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２を生成する。補間処理部２３は、画像分割処理部２２から供給された６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する。合成処理部２４は、補間処理部２３から供給された６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２に基づいて合成処理Ａ３を行うことにより、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を生成する。そして、合成処理部２４は、これらの３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を、画像信号ＤＴ２として信号処理部２５に供給する。信号処理部２５は、合成処理部２４から供給された画像信号ＤＴ２、または撮像部１０から切替部２１を介して供給された画像信号ＤＴに基づいて、所定の信号処理を行うことにより画像信号ＤＴ３を生成する。
（詳細動作）
　図５は、画像処理部２０の一動作例を表すものである。画像処理部２０は、ゲイン信号ＳＧＡＩＮが示す変換ゲインＧＣに基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うかどうかを決定する。以下に、この動作について詳細に説明する。
　まず、切替部２１は、ゲイン信号ＳＧＡＩＮが示す変換ゲインＧＣと、所定のしきい値Ｇｔｈとを比較する（ステップＳ１０１）。変換ゲインＧＣが所定のしきい値Ｇｔｈより低い場合（ステップＳ１０１において“Ｎ”）には、ステップＳ１０５に進む。
　変換ゲインＧＣが所定のしきい値Ｇｔｈ以上（Ｇ≧Ｇｔｈ）である場合（ステップＳ１０１において“Ｙ”）には、画像分割処理部２２は画像分割処理Ａ１を行い（ステップＳ１０２）、補間処理部２３は補間処理Ａ２を行い（ステップＳ１０３）、合成処理部２４は合成処理Ａ３を行う（ステップＳ１０４）。
　そして、信号処理部２５は、所定の信号処理を行う（ステップＳ１０５）。すなわち、信号処理部２５は、変換ゲインＧＣが所定のしきい値Ｇｔｈ以上である場合（ステップＳ１０１において“Ｙ”）には、合成処理Ａ３により生成された画像信号ＤＴ２に基づいて所定の信号処理を行い、変換ゲインＧＣが所定のしきい値Ｇｔｈより低い場合（ステップＳ１０１において“Ｎ”）には、撮像部１０により生成された画像信号ＤＴに基づいて所定の信号処理を行う。
　以上で、このフローは終了する。
　このように、画像処理部２０では、変換ゲインＧＣが高い場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行う。また、撮像装置１では、変換ゲインＧＣが低い場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにする。これにより、撮像装置１では、以下に説明するように、撮像画像の画質を高めることができる。
　次に、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３について、具体的な動作例を挙げて詳細に説明する。
　図６は、画像処理部２０における、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
（画像分割処理Ａ１）
　画像分割処理部２２は、撮像部１０から供給された画像信号ＤＴに含まれる３つの画像マップデータＭＰＧ、ＭＰＢ，ＭＰＲに基づいて画像分割処理Ａ１を行うことにより、６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２を生成する。以下に、緑色（Ｇ）に係る画像マップデータＭＰＧに対する画像分割処理Ａ１を例に挙げて、詳細に説明する。
　図７は、緑色（Ｇ）に係る画像マップデータＭＰＧを模式的に表すものである。図８Ａ，８Ｂは、緑色（Ｇ）に係るマップデータＭＧ１１，ＭＧ１２をそれぞれ模式的に表すものである。図８Ａ，８Ｂにおいて、網掛けされた部分は、画素値が存在する位置を示し、網掛けされていない部分は、画素値が存在しない（欠落した）位置を示す。
　画像信号ＤＴに含まれる画像マップデータＭＰＧ（図７）は、緑色（Ｇ）に係る１フレーム画像分の画素値を含んでいる。図６に示した画像マップデータＭＰＧの一例は、図７に示した領域Ｘにおける２行２列に配置された４つの画素値を模式的に示している。
　画像分割処理部２２は、このような画像マップデータＭＰＧに基づいて、画素値の配置パターンＰＡＴが互いに異なり、互いに異なる位置に画素値が配置された２つのマップデータＭＧ１１，ＭＧ１２（図８Ａ，８Ｂ）を生成する。マップデータＭＧ１１，ＭＧ１２における画素値の配置パターンＰＡＴは、互いに水平方向（横方向）および垂直方向（縦方向）に１画素分ずれた市松模様パターン（Checkered Pattern）である。言い換えれば、マップデータＭＧ１１，ＭＧ１２における市松模様パターンは、画素値が存在する位置と、画素値が存在しない位置とが、互いに反転したものであり、互いに異なる位置に画素値が配置されている。具体的には、例えば、マップデータＭＧ１１では、図８Ａに示したように、領域Ｘにおいて、左上および右下において画素値が存在するとともに、左下および右上において画素値が欠落している。一方、マップデータＭＧ１２では、図８Ｂに示したように、領域Ｘにおいて、左下および右上において画素値が存在するとともに、左上および右下において画素値が欠落している。図６に示したマップデータＭＧ１１，ＭＧ１２の一例は、この領域Ｘにおける４つの画素値を模式的に示している。マップデータＭＧ１１における、各位置での画素値は、画像マップデータＭＰＧにおける対応する位置での画素値と同じである。同様に、マップデータＭＧ１２における、各位置での画素値は、画像マップデータＭＰＧにおける対応する位置での画素値と同じである。
　画像分割処理部２２は、画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことにより、このようなマップデータＭＧ１１，ＭＧ１２を生成する。同様に、画像分割処理部２２は、画像マップデータＭＰＢに基づいて画像分割処理Ａ１を行うことによりマップデータＭＢ１１，ＭＢ１２を生成し、画像マップデータＭＰＲに基づいて画像分割処理Ａ１を行うことによりマップデータＭＲ１１，ＭＲ１２を生成する。図６に示したように、マップデータＭＧ１１，ＭＢ１１，ＭＲ１１は、互いに同じ配置パターンＰＡＴを有し、マップデータＭＧ１２，ＭＢ１２，ＭＲ１２は、互いに同じ配置パターンＰＡＴを有する。
（補間処理Ａ２）
　次に、補間処理部２３は、画像分割処理Ａ１により生成された６つのマップデータＭＧ１１，ＭＲ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する。以下に、緑色（Ｇ）に係るマップデータＭＧ１１，ＭＧ１２（図８Ａ，８Ｂ）に対する補間処理Ａ２を例に挙げて、詳細に説明する。
　図９Ａ，９Ｂは、緑色（Ｇ）に係るマップデータＭＧ２１，ＭＧ２２をそれぞれ模式的に表すものである。図９Ａ，９Ｂにおいて、網掛けされた部分は、補間処理Ａ２の処理前のマップデータＭＧ１１，ＭＧ１２において画素値が存在する位置を示し、網掛けされていない部分は、補間処理Ａ２の処理前のマップデータＭＧ１１，ＭＧ１２において画素値が存在しない位置であり、この補間処理Ａ２により画素値が生成された位置を示す。
　補間処理部２３は、図８Ａに示したマップデータＭＧ１１において、補間処理Ａ２を用いて、画素値が欠落した位置における画素値を求めることにより、図９Ａに示したマップデータＭＧ２１を生成するとともに、図８Ｂに示したマップデータＭＧ１２において、補間処理Ａ２を用いて、画素値が欠落した位置における画素値を求めることにより、図９Ｂに示したマップデータＭＧ２２を生成する。具体的には、補間処理部２３は、画素値が欠落した位置の１つ上に配置された画素値、１つ左に配置された画素値、１つ下に配置された画素値、および１つ右に配置された画素値に基づいて、補間処理Ａ２を行うことにより、画素値が欠落した位置における画素値を求める。すなわち、補間処理Ａ２の補間方法は、この例では、画素値が欠落した位置の上下左右における画素値を用いるものである。補間処理部２３は、これらの４つの画素値を用いて、例えばバイリニア補間を行うことにより、補間処理Ａ２を行うことができる。なお、これに限定されるものではなく、バイキュービック補間、スプライン補間など、公知の様々な補間方法を用いることができる。例えば、マップデータＭＧ２１では、図９Ａに示したように、補間処理部２３は、領域Ｘにおける左下の位置において、補間処理Ａ２により画素値を生成するとともに、領域Ｘにおける右上の位置において、補間処理Ａ２により画素値を生成する。同様に、マップデータＭＧ２２では、図９Ｂに示したように、補間処理部２３は、領域Ｘにおける左上の位置において、補間処理Ａ２により画素値を生成するとともに、領域Ｘにおける右下の位置において、補間処理Ａ２により画素値を生成する。この図９Ａ，９Ｂにおいて、“Ｇ´”は、補間処理Ａ２により画素値が生成されたことを示す。図６に示したマップデータＭＧ２１，ＭＧ２２の一例は、この領域Ｘにおける４つの画素値を模式的に示している。
　補間処理部２３は、マップデータＭＧ１１に対して補間処理Ａ２を行うことによりこのようなマップデータＭＧ２１を生成するとともに、マップデータＭＧ１２に対して補間処理Ａ２を行うことによりこのようなマップデータＭＧ２２を生成する。同様に、補間処理部２３は、マップデータＭＢ１１に対して補間処理Ａ２を行うことによりマップデータＭＢ２１を生成するとともに、マップデータＭＢ１２に対して補間処理Ａ２を行うことによりマップデータＭＢ２２を生成する。また、補間処理部２３は、マップデータＭＲ１１に対して補間処理Ａ２を行うことによりマップデータＭＲ２１を生成するとともに、マップデータＭＲ１２に対して補間処理Ａ２を行うことによりマップデータＭＲ２２を生成する。６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２をそれぞれ生成する際の補間方法は、互いに同じである。
（合成処理Ａ３）
　次に、合成処理部２４は、補間処理Ａ２により生成された６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２に基づいて合成処理Ａ３を行うことにより、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を生成する。以下に、緑色（Ｇ）に係るマップデータＭＧ２１，ＭＧ２２（図９Ａ，図９Ｂ）に対する合成処理Ａ３を例に挙げて、詳細に説明する。
　図１０は、緑色（Ｇ）に係るマップデータＭＧ３を模式的に表すものである。合成処理部２４は、２つのマップデータＭＧ２１，ＭＧ２２における互いに対応する位置の画素値に基づいて、その位置での画素値を生成することによりマップデータＭＧ３を生成する。具体的には、合成処理部２４は、２つのマップデータＭＧ２１，ＭＧ２２における互いに対応する位置の画素値を足し合わせることにより、マップデータＭＧ３におけるその位置での画素値を生成することができる。例えば、合成処理部２４は、図９Ａに示したマップデータＭＧ２１の領域Ｘにおける左上の画素値と、図９Ｂに示したマップデータＭＧ２２の領域Ｘにおける左上の画素値とを足し合わせることにより、図１０に示したマップデータＭＧ３の領域Ｘにおける左上の画素値を生成する。同様に、合成処理部２４は、マップデータＭＧ２１，ＭＧ２２の領域Ｘにおける左下の画素値を足し合わせることにより、マップデータＭＧ３の領域Ｘにおける左下の画素値を生成し、マップデータＭＧ２１，ＭＧ２２の領域Ｘにおける右上の画素値を足し合わせることにより、マップデータＭＧ３の領域Ｘにおける右上の画素値を生成し、マップデータＭＧ２１，ＭＧ２２の領域Ｘにおける右下の画素値を足し合わせることにより、マップデータＭＧ３の領域Ｘにおける右下の画素値を生成する。この図１０において、“２Ｇ”は、合成処理Ａ３により、画素値が、画像マップデータＭＰＧにおける画素値の約２倍になったことを示す。図６に示したマップデータＭＧ３の一例は、この領域Ｘにおける画素値を模式的に示している。
　合成処理部２４は、マップデータＭＧ２１，ＭＧ２２に基づいて合成処理Ａ３を行うことによりこのようなマップデータＭＧ３を生成する。同様に、合成処理部２４は、マップデータＭＢ２１，ＭＢ２２に基づいて合成処理Ａ３を行うことによりマップデータＭＢ３を生成し、マップデータＭＲ２１，ＭＲ２２に基づいて合成処理Ａ３を行うことによりマップデータＭＲ３を生成する。マップデータＭＢ３における画素値は、画像マップデータＭＰＢにおける画素値の約２倍であり、マップデータＭＲ３における画素値は、画像マップデータＭＰＲにおける画素値の約２倍である。
　このようにして、合成処理部２４は、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を生成する。そして、合成処理部２４は、これらの３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を、画像信号ＤＴ２として信号処理部２５に供給する。
　ここで、画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲは、本開示における「第１の画像マップデータ」、「第２の画像マップデータ」、および「第３の画像マップデータ」の一具体例にそれぞれ対応する。マップデータＭＧ１１，ＭＧ１２は、本開示における「複数の第１のマップデータ」の一具体例に対応する。マップデータＭＧ２１，ＭＧ２２は、本開示における「複数の第２のマップデータ」の一具体例に対応する。マップデータＭＧ３は、本開示における「第３のマップデータ」の一具体例に対応する。マップデータＭＢ１１，ＭＢ１２は、本開示における「複数の第４のマップデータ」の一具体例に対応する。マップデータＭＢ２１，ＭＢ２２は、本開示における「複数の第５のマップデータ」の一具体例に対応する。マップデータＭＢ３は、本開示における「第６のマップデータ」の一具体例に対応する。マップデータＭＲ１１，ＭＲ１２は、本開示における「複数の第７のマップデータ」の一具体例に対応する。マップデータＭＲ２１，ＭＲ２２は、本開示における「複数の第８のマップデータ」の一具体例に対応する。マップデータＭＲ３は、本開示における「第９のマップデータ」の一具体例に対応する。
　以上のように、撮像装置１では、例えば、画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことによりマップデータＭＧ１１，ＭＧ１２を生成し、これらのマップデータＭＧ１１，ＭＧ１２にそれぞれに対して補間処理Ａ２を行うことによりマップデータＭＧ２１，ＭＧ２２を生成し、これらのマップデータＭＧ２１，ＭＧ２２に基づいて合成処理Ａ３を行うことによりマップデータＭＧ３を生成するようにした。画像マップデータＭＰＢ，ＭＰＲについても同様である。これにより、撮像装置１では、マップデータＭＧ３，ＭＢ３，ＭＲ３における信号雑音比（Ｓ／Ｎ比）を高めることができる。
　すなわち、合成処理部２４は、例えば、マップデータＭＧ２１の領域Ｘにおける左上の画素値と、マップデータＭＧ２２の領域Ｘにおける左上の画素値とを足し合わせることにより、マップデータＭＧ３の領域Ｘにおける左上の画素値を求める。各画素値は、信号成分と、ランダムノイズであるノイズ成分とを有している。よって、合成処理部２４が、マップデータＭＧ２１の領域Ｘにおける左上の画素値と、マップデータＭＧ２２の領域Ｘにおける左上の画素値とを足し合わせることにより、信号成分が約２倍になり、ノイズ成分は約１．４倍になる。つまり、ノイズ成分は、上述したようにランダムノイズであり、マップデータＭＧ２１の領域Ｘにおける左上の画素値に含まれるノイズ成分と、マップデータＭＧ２２の領域Ｘにおける左上の画素値に含まれるノイズ成分とは、互いに独立したノイズ成分であるので、約２倍にはならずに、約１．４倍（２の平方根）になる。このように、撮像装置１では、信号成分を約２倍にするとともに、ノイズ成分を約１．４倍にするため、マップデータＭＧ３における信号雑音比（Ｓ／Ｎ比）を高めることができる。マップデータＭＢ３，ＭＲ３についても同様である。その結果、撮像装置１では、撮像画像の画質を高めることができる。
　また、撮像装置１では、画像分割処理Ａ１において、画素値の配置パターンＰＡＴを市松模様パターンにした。これにより、図８Ａ，８Ｂに示したように、画素値が欠落した位置の上下左右には画素値がそれぞれ存在するので、補間処理Ａ２を行うことにより、これらの４つの画素値に基づいて、画素値が欠落した位置における画素値を求めることができる。このように、撮像装置１では、上下左右の画素値に基づいて補間処理Ａ２を行うことができるので、水平方向の解像度の低下と垂直方向の解像度の低下とを互いに同程度にすることができ、解像度の低下を抑えることができる。その結果、撮像装置１では、撮像画像の画質を高めることができる。
　また、撮像装置１では、画像分割処理Ａ１において、マップデータＭＧ１１，ＭＢ１１，ＭＲ１１における画素値の配置パターンＰＡＴを互いに同じにするとともに、マップデータＭＧ１２，ＭＢ１２，ＭＲ１２における画素値の配置パターンＰＡＴを互いに同じにした。これにより、画像分割処理部２２は、３つの画像マップデータＭＰＧ、ＭＰＢ，ＭＰＲに基づいて、同じ方法で画像分割処理Ａ１を行うことができるため、３つの画像マップデータＭＰＧ、ＭＰＢ，ＭＰＲに基づいてそれぞれ異なる方法で画像分割処理Ａ１を行う場合に比べて、画像分割処理部２２の回路構成をシンプルにすることができる。
　また、撮像装置１では、補間処理Ａ２において、マップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する際の補間方法を互いに同じにした。これにより、補間処理部２３は、互いに同じ補間方法を用いて６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成することができるため、互いに異なる補間方法を用いて６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する場合に比べて、補間処理部２３の回路構成をシンプルにすることができる。
　また、撮像装置１では、画像分割処理Ａ１において、マップデータＭＧ１１，ＭＢ１１，ＭＲ１１における画素値の配置パターンＰＡＴを互いに同じにするとともに、マップデータＭＧ１２，ＭＢ１２，ＭＲ１２における画素値の配置パターンＰＡＴを互いに同じにした。そして、補間処理Ａ２において、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する際の補間方法を互いに同じにした。これにより、撮像装置１では、撮像画像における偽色を抑えることができる。すなわち、例えば、補間処理Ａ２において、緑色（Ｇ）に係るマップデータＭＧ２１，ＭＧ２２を生成する際に、画素値が欠落した位置の１つ上および１つ下に配置された画素値に基づいて補間処理Ａ２を行い、青色（Ｂ）に係るマップデータＭＢ２１，ＭＢ２２を生成する際に、画素値が欠落した位置の１つ左および１つ右に配置された画素値に基づいて補間処理Ａ２を行う場合には、色により補間方法が異なるため、局所的に偽色が生じるおそれがある。一方、本実施の形態に係る撮像装置１では、画像分割処理Ａ１において、マップデータＭＧ１１，ＭＢ１１，ＭＲ１１における画素値の配置パターンＰＡＴを互いに同じにするとともに、マップデータＭＧ１２，ＭＢ１２，ＭＲ１２における画素値の配置パターンＰＡＴを互いに同じにした。そして、補間処理Ａ２において、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する際の補間方法を互いに同じにした。これにより、撮像装置１では、このような偽色が生じるおそれを低減することができる。その結果、撮像装置１では、撮像画像の画質を高めることができる。
　また、撮像装置１では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。特に、撮像装置１では、撮像部１０における変換ゲインＧＣに基づいて、画像分割処理、補間処理、および合成処理を行うかどうかを制御するようにした。具体的には、ゲイン信号ＳＧＡＩＮが示す変換ゲインＧＣが所定のしきい値Ｇｔｈよりも高い場合には、画像分割処理、補間処理、および合成処理を行い、変換ゲインＧＣが所定のしきい値Ｇｔｈよりも低い場合には、画像分割処理、補間処理、および合成処理を行わないようにした。これにより、例えば、撮像装置１が暗い被写体を撮像する場合には、変換ゲインＧＣが高くなるため、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行う。これにより、撮像装置１では、撮像画像における信号雑音比（Ｓ／Ｎ比）を高めることができる。すなわち、暗い被写体を撮像する場合には、ノイズが多くなるおそれがあるため、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うことにより、撮像画像における信号雑音比（Ｓ／Ｎ比）を高めることができる。また、撮像装置１が明るい被写体を撮像する場合には、変換ゲインＧＣが低くなるため、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにする。これにより、撮像装置１では、撮像画像における解像度を高めることができる。すなわち、明るい被写体を撮像する場合には、ノイズが少ないため、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにすることにより、解像度を高めることができる。その結果、撮像装置１では、撮像画像の画質を高めることができる。
［効果］
　以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
　本実施の形態では、画像分割処理において、画素値の配置パターンを市松模様パターンにしたので、水平方向の解像度の低下と垂直方向の解像度の低下とを互いに同程度にすることができ、解像度の低下を抑えることができるため、撮像画像の画質を高めることができる。
　本実施の形態では、画像分割処理において、マップデータＭＧ１１，ＭＢ１１，ＭＲ１１における画素値の配置パターンを互いに同じにするとともに、マップデータＭＧ１２，ＭＢ１２，ＭＲ１２における画素値の配置パターンを互いに同じにしたので、画像分割処理部の回路構成をシンプルにすることができる。
　本実施の形態では、補間処理において、６つのマップデータを生成する際の補間方法を互いに同じにしたので、補間処理部の回路構成をシンプルにすることができる。
　本実施の形態では、画像分割処理において、マップデータＭＧ１１，ＭＢ１１，ＭＲ１１における画素値の配置パターンを互いに同じにするとともに、マップデータＭＧ１２，ＭＢ１２，ＭＲ１２における画素値の配置パターンを互いに同じにした。そして、補間処理において、６つのマップデータを生成する際の補間方法を互いに同じにした。これにより、偽色が生じるおそれを低減することができるので、撮像画像の画質を高めることができる。
　本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
［変形例１－１］
　上記実施の形態では、合成処理部２４は、例えば、２つのマップデータＭＧ２１，ＭＧ２２における互いに対応する位置の画素値を足し合わせることにより、マップデータＭＧ３におけるその位置での画素値を生成したが、これに限定されるものではない。これに代えて、例えば図１１に示す撮像装置１Ａのように、２つのマップデータＭＧ２１，ＭＧ２２における互いに対応する位置の画素値を足し合わせ、足し合わされた画素値を半分にすることにより、マップデータＭＧ３におけるその位置での画素値を生成してもよい。これにより、マップデータＭＧ３における画素値を、画像マップデータＭＰＧにおける画素値と同程度にすることができる。マップデータＭＢ３，ＭＲ３についても同様である。これにより、信号雑音比を維持したまま、マップデータＭＧ３，ＭＢ３，ＭＲ３における画素値を示すデジタルコードのビット数を抑えることができる。その結果、信号処理部２５におけるダイナミックレンジの設計を容易にすることができる。
［変形例１－２］
　上記の実施の形態では、画像分割処理Ａ１における画素値の配置パターンＰＡＴを、１つの画素値を単位とした市松模様パターンにしたが、これに限定されるものではない。以下に、本変形例について、いくつか例を挙げて詳細に記載する。なお、以下では、緑色（Ｇ）に係るマップデータを例に説明するが、青色（Ｂ）に係るマップデータ、および赤色（Ｒ）に係るマップデータについても同様である。
（他の市松模様パターン）
　図１２Ａ，１２Ｂは、画素値の配置パターンＰＡＴを、２行２列に配置された４つの画素値を単位とした市松模様パターンにした場合における、マップデータＭＧ１１，ＭＧ１２の一例を表すものである。この図１２Ａ，１２Ｂに示した配置パターンＰＡＴにおける水平方向（横方向）のピッチは、図８Ａ，８Ｂに示した配置パターンＰＡＴにおける垂直方向のピッチの２倍である。同様に、図１２Ａ，１２Ｂに示した配置パターンＰＡＴにおける垂直方向（縦方向）のピッチは、図８Ａ，８Ｂに示した配置パターンＰＡＴにおける垂直方向のピッチの２倍である。マップデータＭＧ１１，ＭＧ１２における画素値の配置パターンＰＡＴは、互いに水平方向（横方向）および垂直方向（縦方向）に２画素分ずれている。
　図１３Ａ，１３Ｂは、図１２Ａ，１２Ｂに示したマップデータＭＧ１１，ＭＧ１２に基づいて補間処理Ａ２を行うことにより生成されたマップデータＭＧ２１，ＭＧ２２の一例を表すものである。補間処理部２３は、例えば、画素値が欠落した位置の２つ上に配置された画素値、２つ左に配置された画素値、２つ下に配置された画素値、および２つ右に配置された画素値に基づいて、補間処理Ａ２を行うことにより、画素値が欠落した位置における画素値を求めることができる。
（縞模様パターン）
　図１４Ａ，１４Ｂは、画素値の配置パターンＰＡＴを、画素値が存在する位置と画素値が欠落した位置が水平方向（横方向）に交互に並ぶ縞模様パターンにした場合における、マップデータＭＧ１１，ＭＧ１２の一例を表すものである。マップデータＭＧ１１，ＭＧ１２における画素値の配置パターンＰＡＴは、互いに水平方向に１画素分ずれている。
　図１５Ａ，１５Ｂは、図１４Ａ，１４Ｂに示したマップデータＭＧ１１，ＭＧ１２に基づいて補間処理Ａ２を行うことにより生成されたマップデータＭＧ２１，ＭＧ２２の一例を表すものである。補間処理部２３は、画素値が欠落した位置の１つ左に配置された画素値、および１つ右に配置された画素値に基づいて、補間処理Ａ２を行うことにより、画素値が欠落した位置における画素値を求めることができる。
　図１６Ａ，１６Ｂは、画素値の配置パターンＰＡＴを、画素値が存在する位置と画素値が欠落した位置が垂直方向（縦方向）に交互に並ぶ縞模様パターンにした場合における、マップデータＭＧ１１，ＭＧ１２の一例を表すものである。マップデータＭＧ１１，ＭＧ１２における画素値の配置パターンＰＡＴは、互いに垂直方向に１画素分ずれている。
　図１７Ａ，１７Ｂは、図１６Ａ，１６Ｂに示したマップデータＭＧ１１，ＭＧ１２に基づいて補間処理Ａ２を行うことにより生成されたマップデータＭＧ２１，ＭＧ２２の一例を表すものである。補間処理部２３は、画素値が欠落した位置の１つ上に配置された画素値、および１つ下に配置された画素値に基づいて、補間処理Ａ２を行うことにより、画素値が欠落した位置における画素値を求めることができる。
（その他のパターン）
　以上の例では、画像分割処理部２２は、例えば、１つの画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことにより２つのマップデータＭＧ１１，ＭＧ１２を生成し、補間処理部２３は、この２つのマップデータＭＧ１１，ＭＧ１２に対して補間処理Ａ２を行うことにより２つのマップデータＭＧ２１，ＭＧ２２を生成し、合成処理部２４は、この２つのマップデータＭＧ２１，ＭＧ２２に基づいて合成処理Ａ３を行うことによりマップデータＭＧ３を生成したが、これに限定されるものではない。これに代えて、例えば、画像分割処理部２２は、例えば１つの画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことにより３つのマップデータＭＧ１１，ＭＧ１２，ＭＧ１３を生成し、補間処理部２３は、この３つのマップデータＭＧ１１，ＭＧ１２，ＭＧ１３に対して補間処理Ａ２を行うことにより３つのマップデータＭＧ２１，ＭＧ２２，ＭＧ２３を生成し、合成処理部２４は、この３つのマップデータＭＧ２１，ＭＧ２２，ＭＧ２３に基づいて合成処理Ａ３を行うことによりマップデータＭＧ３を生成してもよい。
　図１８Ａ，１８Ｂ，１８Ｃは、画素値の配置パターンＰＡＴを、いわゆるベイヤー（Bayer）配列のようなパターンにした場合における、マップデータＭＧ１１，ＭＧ１２，ＭＧ１３の一例を表すものである。具体的には、例えば、マップデータＭＧ１１では、図８Ａに示したように、領域Ｘにおいて、左上において画素値が存在するとともに、左下、右上、および右下において画素値が欠落している。マップデータＭＧ１２では、図８Ｂに示したように、領域Ｘにおいて、左下および右上において画素値が存在するとともに、左上および右下において画素値が欠落している。また、マップデータＭＧ１３では、図８Ｃに示したように、領域Ｘにおいて、右下において画素値が存在するとともに、左上、左下、および右上において画素値が欠落している。マップデータＭＧ１１における各位置での画素値は、画像マップデータＭＰＧにおける対応する位置での画素値と同じであり、マップデータＭＧ１２における各位置での画素値は、画像マップデータＭＰＧにおける対応する位置での画素値と同じであり、マップデータＭＧ１３における各位置での画素値は、画像マップデータＭＰＧにおける対応する位置での画素値と同じである。
　図１９Ａ，１９Ｂ，１９Ｃは、図１８Ａ，１８Ｂ，１８Ｃに示したマップデータＭＧ１１，ＭＧ１２，ＭＧ１３に基づいて補間処理Ａ２を行うことにより生成されたマップデータＭＧ２１，ＭＧ２２，ＭＧ２３の一例を表すものである。補間処理部２３は、マップデータＭＧ１１，ＭＧ１３（図１８Ａ，１８Ｃ）に対して、画素値が欠落した位置の上下に画素値が配置されている場合には、これらの２つの画素値に基づいて補間処理Ａ２を行い、画素値が欠落した位置の左右に画素値が配置されている場合には、これらの２つの画素値に基づいて補間処理Ａ２を行い、画素値が欠落した位置の左上、左下、右上、および右下に画素値が配置されている場合には、これらの４つの画素値に基づいて補間処理Ａ２を行うことにより、マップデータＭＧ２１，ＭＧ２３を生成する。また、補間処理部２３は、マップデータＭＧ１２（図１８Ｂ）に対して、画素値が欠落した位置の上下左右に配置された４つの画素値に基づいて補間処理Ａ２を行うことにより、マップデータＭＧ２２を生成する。
　図２０は、図１９Ａ，１９Ｂ，１９Ｃに示したマップデータＭＧ２１，ＭＧ２２，ＭＧ２３に基づいて合成処理Ａ３を行うことにより生成されたマップデータＭＧ３の一例を表すものである。合成処理部２４は、３つのマップデータＭＧ２１，ＭＧ２２，ＭＧ２３における互いに対応する位置の画素値を足し合わせることにより、マップデータＭＧ３におけるその位置での画素値を生成する。図２０において、“３Ｇ”は、合成処理Ａ３により、画素値が、画像マップデータＭＰＧにおける画素値の約３倍になったことを示す。
［変形例１－３］
　上記の実施の形態では、補間処理部２３が補間処理Ａ２を行うようにしたが、この補間処理Ａ２における補間方法を変更可能にしてもよい。以下に、本変形例について詳細に説明する。
　図２１は、本変形例に係る撮像装置２の一構成例を表すものである。撮像装置２は、画像処理部３０を備えている。画像処理部３０は、補間制御部３６と、補間処理部３３とを有している。
　補間制御部３６は、画像信号ＤＴに含まれる画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、補間制御処理Ｂ１を行うことにより、補間処理部３３における補間処理Ａ２の補間方法を決定するものである。補間制御部３６は、本開示における「補間制御部」の一具体例に対応する。
　補間処理部３３は、画像分割処理部２２から供給された６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して、補間制御部３６から指示された補間方法を用いて補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成するものである。
　図２２は、画像処理部３０における、画像分割処理Ａ１、補間制御処理Ｂ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
　補間制御部３６は、まず、画像信号ＤＴに含まれる画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて合成処理Ｂ２を行うことにより、マップデータＭＷを生成する。この合成処理Ｂ２では、補間制御部３６は、３つの画像マップデータＭＰＲ，ＭＰＢ，ＭＰＲにおける互いに対応する位置の画素値を足し合わせることにより、マップデータＭＷにおけるその位置での画素値を生成することができる。
　次に、補間制御部３６は、このマップデータＭＷに基づいて、空間周波数検出処理Ｂ３を行うことにより、空間周波数を検出する。この空間周波数検出処理Ｂ３では、補間制御部３６は、１フレーム画像を複数の画像領域に区分し、各画像領域において、マップデータＭＷに基づいて空間周波数を求める。
　次に、補間制御部３６は、空間周波数検出処理Ｂ３により求めた空間周波数に基づいて、補間方法決定処理Ｂ４を行うことにより、補間処理Ａ２の補間方法を決定する。
　図２３Ａ，２３Ｂ，２３Ｃは、補間処理Ａ２の補間方法の例を表すものである。これらの図では、補間処理Ａ２を行うことにより生成されたマップデータＭＧ２１を示している。図２３Ａに示した補間方法では、画素値が欠落した位置の１つ上に配置された画素値、および１つ下に配置された画素値に基づいて、画素値が欠落した位置における画素値を求める。すなわち、図２３Ａの例では、補間処理を行う方向（補間方向）は、垂直方向（縦方向）である。図２３Ｂに示した補間方法では、画素値が欠落した位置の１つ左に配置された画素値、および１つ右に配置された画素値に基づいて、画素値が欠落した位置における画素値を求める。すなわち、図２３Ｂの例では、補間処理を行う方向（補間方向）は、水平方向（横方向）である。また、図２３Ｃに示した補間方法では、画素値が欠落した位置の１つ上に配置された画素値、１つ左に配置された画素値、１つ下に配置された画素値、および１つ右に配置された画素値に基づいて、画素値が欠落した位置における画素値を求める。すなわち、図２３Ｃの例では、補間処理を行う方向（補間方向）は、垂直方向および水平方向である。なお、図２３Ａ～２３Ｃでは、３つの例を挙げて説明したが、これに限定されるものではない。
　補間制御部３６は、補間方法決定処理Ｂ４において、画像領域ごとに、空間周波数に基づいて補間処理Ａ２の補間方法を決定する。具体的には、補間制御部３６は、ある画像領域における空間周波数に基づいて、その画像領域における画像が縦縞模様であると判断した場合には、補間方向が垂直方向である補間方法（図２３Ａ）を選択する。また、例えば、補間制御部３６は、ある画像領域における空間周波数に基づいて、その画像領域における画像が横縞模様であると判断した場合には、補間方向が水平方向である補間方法（図２３Ｂ）を選択する。そして、補間制御部３６は、補間処理部３３に対して、画像領域ごとに、補間方法を指示する。
　補間処理部３３は、画像分割処理部２２から供給された６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して、画像領域ごとに、補間制御部３６から指示された補間方法を用いて補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する。６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２をそれぞれ生成する際の補間方法は、互いに同じである。
　以上のように、撮像装置２では、補間処理Ａ２における補間方法を変更可能に構成したので、撮像画素に応じて最適な補間方法を用いることができるので、撮像画像の画質を高めることができる。
　特に、撮像装置２では、画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、合成処理Ｂ２を行うことによりマップデータＭＷを生成し、このマップデータＭＷに基づいて空間周波数を検出するようにした。これにより、撮像装置２では、空間周波数を高い精度で検出することができ、このようにして得られた空間周波数に基づいて補間処理Ａ２を行うので、補間処理Ａ２の精度を高めることができる。その結果、撮像装置２では、より高い復元効果を得ることができるので、撮像画像の画質を高めることができる。
　なお、この例では、画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、合成処理Ｂ２を行うことによりマップデータＭＷを生成し、このマップデータＭＷに基づいて空間周波数を検出したが、これに限定されるものではない。これに代えて、例えば図２４に示す画像処理部３０Ａのように、緑色（Ｇ）に係る画像マップデータＭＰＧに基づいて空間周波数検出処理Ｂ３を行い、この空間周波数検出処理Ｂ３により得られた画像領域ごとの空間周波数に基づいて、画像領域ごとに、緑色（Ｇ）のマップデータＭＧ２１，ＭＧ２２を生成する補間処理Ａ２における補間方法を決定してもよい。画像マップデータＭＰＢ，ＭＰＲについても同様である。また、これに限定されるものではなく、例えば、緑色（Ｇ）に係る画像マップデータＭＰＧに基づいて空間周波数検出処理Ｂ３を行い、青色（Ｂ）に係る画像マップデータＭＰＢに基づいて空間周波数検出処理Ｂ３を行い、赤色（Ｒ）に係る画像マップデータＭＰＲに基づいて空間周波数検出処理Ｂ３を行い、これらの空間周波数検出処理Ｂ３により得られた画像領域ごとの空間周波数に基づいて、画像領域ごとに、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する補間処理Ａ２における補間方法をまとめて決定してもよい。この場合には、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する際の補間方法を互いに同じにすることができる。
［変形例１－４］
　上記実施の形態では、画像処理部２０は、赤色（Ｒ）に係る画像マップデータＭＰＲ、緑色（Ｇ）に係る画像マップデータＭＰＧ、および青色（Ｂ）に係る画像マップデータＭＰＢに基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うようにしたが、これに限定されるものではなく、これに代えて、例えば、輝度信号に基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うようにしてもよい。以下に、本変形例について詳細に説明する。
　図２５は、本変形例に係る撮像装置１Ｄの一構成例を表すものである。この撮像装置１Ｄは、画像処理部２０Ｄを備えている。画像処理部２０Ｄは、Ｙ／Ｃ分離部２９Ｄと、画像分割処理部２２Ｄと、補間処理部２３Ｄと、合成処理部２４Ｄと、信号処理部２５Ｄとを有している。
　Ｙ／Ｃ分離部２９Ｄは、Ｙ／Ｃ分離処理Ｃ１を行うことにより、画像信号ＤＴに含まれるＲＧＢ信号を、輝度（Ｙ）信号および色（Ｃ）信号に分離し、これらの輝度信号および色信号を、画像信号ＤＴ１１として出力するものである。画像信号ＤＴ１１は、マップデータＭＹ，ＭＣｒ，ＭＣｂとを含んでいる。マップデータＭＹは、輝度（Ｙ）に係る１フレーム画像分の画素値を含み、マップデータＭＣｒは、Ｒ－Ｙ色差（Ｃｒ）に係る１フレーム画像分の画素値を含み、マップデータＭＣｂは、Ｂ－Ｙ色差（Ｃｂ）に係る１フレーム画像分の画素値を含む。各画素値は、複数ビットのデジタルコードで表されるものである。Ｙ／Ｃ分離部２９Ｄは、本開示における「生成部」の一具体例にそれぞれ対応する。
　画像分割処理部２２Ｄは、Ｙ／Ｃ分離部２９Ｄから切替部２１を介して供給された画像信号ＤＴ１１に含まれるマップデータＭＹに基づいて、画像分割処理Ａ１を行うことにより、２つのマップデータＭＹ１１，ＭＹ１２を生成するものである。また、画像分割処理部２２Ｄは、画像信号ＤＴ１１に含まれるマップデータＭＣｒ，ＭＣｂを、そのまま出力するようになっている。
　補間処理部２３Ｄは、画像分割処理部２２Ｄから供給された２つのマップデータＭＹ１１，ＭＹ１２のそれぞれに対して補間処理Ａ２を行うことにより、２つのマップデータＭＹ２１，ＭＹ２２を生成するものである。また、補間処理部２３Ｄは、画像分割処理部２２Ｄから供給されたマップデータＭＣｒ，ＭＣｂを、そのまま出力するようになっている。
　合成処理部２４Ｄは、補間処理部２３Ｄから供給された２つのマップデータＭＹ２１，ＭＹ２２に基づいて、合成処理Ａ３を行うことにより、１つのマップデータＭＹ３を生成するものである。そして、合成処理部２４Ｄは、合成処理Ａ３により生成したマップデータＭＹ３、および補間処理部２３Ｄから供給されたマップデータＭＣｒ，ＭＣｂを、画像信号ＤＴ１２として信号処理部２５Ｄに供給するようになっている。
　信号処理部２５Ｄは、合成処理部２４Ｄから供給された画像信号ＤＴ１２、またはＹ／Ｃ分離部２９Ｄから切替部２１を介して供給された画像信号ＤＴ１１に基づいて、所定の信号処理を行うものである。そして、信号処理部２５Ｄは、これらの所定の信号処理の処理結果を、画像信号ＤＴ１３として出力するようになっている。
　図２６は、画像処理部２０Ｄにおける、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
　Ｙ／Ｃ分離部２９Ｄは、Ｙ／Ｃ分離処理Ｃ１を行うことにより、画像信号ＤＴに含まれるＲＧＢ信号を、輝度（Ｙ）信号および色（Ｃ）信号に分離する。具体的には、Ｙ／Ｃ分離部２９Ｄは、画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、マップデータＭＹ，ＭＣｂ，ＭＣｒを生成する。Ｙ／Ｃ分離部２９Ｄは、３つの画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲにおける互いに対応する位置の画素値に基づいて、例えば以下の式を用いて、輝度（Ｙ）に係る画素値を生成する。
ＶＹ　＝　ＶＧ×０．５９　＋　ＶＢ×０．１１　＋　ＶＲ×０．３
この式において、“ＶＹ”は輝度（Ｙ）に係る画素値であり、“ＶＧ”は緑色（Ｇ）に係る画素値であり、“ＶＢ”は青色（Ｂ）に係る画素値であり、“ＶＲ”は赤色（Ｒ）に係る画素値である。
　画像分割処理部２２Ｄは、このようにして生成されたマップデータＭＹに基づいて画像分割処理Ａ１を行うことにより、２つのマップデータＭＹ１１，ＭＹ１２を生成する。補間処理部２３Ｄは、これらの２つのマップデータＭＹ１１，ＭＹ１２のそれぞれに対して補間処理Ａ２を行うことにより、２つのマップデータＭＹ２１，ＭＹ２２を生成する。合成処理部２４Ｄは、２つのマップデータＭＹ２１，ＭＹ２２に基づいて合成処理Ａ３を行うことにより、１つのマップデータＭＹ３を生成する。具体的には、合成処理部２４Ｄは、２つのマップデータＭＹ２１，ＭＹ２２における互いに対応する位置の画素値を足し合わせ、その足し合わせされた画素値を半分にすることにより、マップデータＭＹ３におけるその位置での画素値を生成する。マップデータＭＹは、本開示における「第１の画像マップデータ」の一具体例に対応する。マップデータＭＹ１１，ＭＹ１２は、本開示における「複数の第１のマップデータ」の一具体例に対応する。マップデータＭＹ２１，ＭＹ２２は、本開示における「複数の第２のマップデータ」の一具体例に対応する。マップデータＭＹ３は、本開示における「第３のマップデータ」の一具体例に対応する。
　これにより、撮像装置１Ｄでは、輝度信号についての信号雑音比（Ｓ／Ｎ比）を高めることができるので、撮像画像の画質を高めることができる。また、この例では、輝度（Ｙ）に関するマップデータＭＹに対してのみ、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うようにしたので、処理量を抑えることができる。その結果、撮像装置１Ｄでは、例えば消費電力を低減することができる。
［その他の変形例］
　また、これらの変形例のうちの２以上を組み合わせてもよい。
＜２．第２の実施の形態＞
　次に、第２の実施の形態に係る撮像装置３について説明する。本実施の形態は、撮像部における青色および赤色の光電変換素子の構成が、上記第１の実施の形態の場合と異なるものである。なお、上記第１の実施の形態に係る撮像装置１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
　図２７は、本実施の形態に係る撮像装置３の一構成例を表すものである。撮像装置３は、撮像部４０と、画像処理部５０とを備えている。
　図２８は、撮像部４０に係る撮像画素Ｐの断面構造を模式的に表すものである。半導体基板１００には、１つの撮像画素Ｐに対応する画素領域において、１つのフォトダイオードＰＤが形成される。このフォトダイオードＰＤは、上記第１の実施の形態に係るフォトダイオードＰＤＢ，ＰＤＲとは異なり、可視光に対応する様々な波長の光を受光可能なものである。半導体基板１００の撮像面Ｓ側の表面には絶縁膜１０１が形成され、この絶縁膜１０１の上には、カラーフィルタ１１１が形成される。具体的には、絶縁膜１０１の上には、カラーフィルタ１１１Ｂまたはカラーフィルタ１１１Ｒが選択的に形成される。カラーフィルタ１１１Ｂは、青色（Ｂ）の光を透過するとともに赤色（Ｒ）および緑色（Ｇ）の光を遮断するものである。カラーフィルタ１１１Ｒは、赤色（Ｒ）の光を透過するとともに青色（Ｂ）および緑色（Ｇ）の光を遮断するものである。カラーフィルタ１１１ＢおよびフォトダイオードＰＤは、青色（Ｂ）の光を受光可能な光電変換素子を構成し、カラーフィルタ１１１ＲおよびフォトダイオードＰＤは、赤色（Ｒ）の光を受光可能な光電変換素子を構成する。カラーフィルタ１１１の上には、絶縁膜１１２が形成される。この絶縁膜１１２は、例えば二酸化ケイ素（ＳｉＯ2）を用いて構成される。そして、この絶縁膜１１２の上には、透明電極１０２、光電変換膜１０３Ｇ、透明電極１０４、およびオンチップレンズ１０５が、この順に形成される。
　図２９は、４つの撮像画素Ｐが配置された領域Ｘにおける光電変換素子の配置を模式的に表すものである。このように、撮像部４０では、１つの撮像画素Ｐに対応する画素領域において、上層に緑色（Ｇ）に係る光電変換素子が配置され、下層に青色（Ｂ）または赤色（Ｒ）に係る光電変換素子が配置される。青色（Ｂ）および赤色（Ｒ）に係る光電変換素子は、市松模様状に配置されている。すなわち、撮像部４０では、カラーフィルタ１１１Ｂおよびカラーフィルタ１１１Ｒは、市松模様状に配置されている。これにより、撮像部４０では、各撮像画素Ｐのそれぞれが、緑色に係る画素信号と、青色または赤色に係る画素信号とを生成することができるようになっている。
　このような構成により、撮像部４０は、画像信号ＤＴ２１およびゲイン信号ＳＧＡＩＮを生成する。画像信号ＤＴ２１は、２つの画像マップデータＭＰＧ，ＭＰＢＲを含んでいる。画像マップデータＭＰＧは、緑色（Ｇ）に係る１フレーム画像分の画素値を含み、画像マップデータＭＰＢＲは、青色（Ｂ）および赤色（Ｒ）に係る１フレーム画像分の画素値を含む。画像マップデータＭＰＢＲにおいて、青色（Ｂ）に係る画素値および赤色（Ｒ）に係る画素値は、カラーフィルタ１１１Ｂ，１１１Ｒの配置に対応して、市松模様状に配置される。
　画像処理部５０（図２７）は、画像分割処理部５２と、補間制御部５６と、補間処理部５３と、合成処理部５４と、信号処理部５５とを有している。
　画像分割処理部５２は、撮像部４０から切替部２１を介して供給された画像信号ＤＴ２１に含まれる画像マップデータＭＰＧ，ＭＰＢＲに基づいて画像分割処理Ａ１を行うことにより、４つのマップデータＭＧ１１，ＭＧ１２，ＭＲ１１，ＭＢ１２を生成するものである。
　補間制御部５６は、画像信号ＤＴ２１に含まれる画像マップデータＭＰＧに基づいて補間制御処理Ｂ１を行うことにより、補間処理部５３における補間処理Ａ２の補間方法を決定するものである。
　補間処理部５３は、画像分割処理部５２から供給された４つのマップデータＭＧ１１，ＭＧ１２，ＭＲ１１，ＭＢ１２のそれぞれに対して、補間制御部５６から指示された補間方法を用いて補間処理Ａ２を行うことにより、４つのマップデータＭＧ２１，ＭＧ２２，ＭＲ２１，ＭＢ２２を生成するものである。
　合成処理部５４は、補間処理部５３から供給された２つのマップデータＭＧ２１，ＭＧ２２に基づいて合成処理Ａ３を行うことにより、１つのマップデータＭＧ３を生成するものである。そして、合成処理部５４は、合成処理Ａ３により生成したマップデータＭＧ３、および補間処理部５３から供給されたマップデータＭＲ２１，ＭＢ２２を、画像信号ＤＴ２２として信号処理部５５に供給するようになっている。
　信号処理部５５は、合成処理部５４から供給された画像信号ＤＴ２２、または撮像部４０から切替部２１を介して供給された画像信号ＤＴ２１に基づいて、所定の信号処理を行うものである。そして、信号処理部５５は、これらの所定の信号処理の処理結果を、画像信号ＤＴ２３として出力するようになっている。
　図３０は、画像処理部５０における、画像分割処理Ａ１、補間制御処理Ｂ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
　画像分割処理部５２は、画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことにより、２つのマップデータＭＧ１１，ＭＧ１２を生成する。また、画像分割処理部５２は、画像マップデータＭＰＢＲに基づいて画像分割処理Ａ１を行うことにより、２つのマップデータＭＲ１１，ＭＢ１２を生成する。図３０に示したように、マップデータＭＲ１１では、領域Ｘにおいて、左上および右下において赤色（Ｒ）に係る画素値が存在するとともに、左下および右上において画素値が欠落している。また、マップデータＭＢ１２では、領域Ｘにおいて、左下および右上において青色（Ｂ）に係る画素値が存在するとともに、左上および右下において画素値が欠落している。すなわち、この例では、画像分割処理Ａ１における画素値の配置パターンＰＡＴを、撮像部４０におけるカラーフィルタ１１１Ｂ，１１１Ｒの市松模様状の配置に対応するように、市松模様パターンにした。これにより、画像マップデータＭＰＢＲに含まれる赤色（Ｒ）の画素値は、マップデータＭＲ１１にのみ含まれるようになり、画像マップデータＭＰＢＲに含まれる青色（Ｂ）の画素値は、マップデータＭＢ１２にのみ含まれるようになる。図３０に示したように、マップデータＭＧ１１，ＭＲ１１は、互いに同じ配置パターンＰＡＴを有し、マップデータＭＧ１２，ＭＢ１２は、互いに同じ配置パターンＰＡＴを有する。
　補間制御部５６は、緑色（Ｇ）に係る画像マップデータＭＰＧに基づいて、空間周波数検出処理Ｂ３を行うことにより、空間周波数を検出する。そして、補間制御部５６は、補間方法決定処理Ｂ４を行うことにより、空間周波数検出処理Ｂ３により求めた空間周波数に基づいて、画像領域ごとに、補間処理Ａ２の補間方法を決定する。そして、補間制御部５６は、補間処理部５３に対して、画像領域ごとに、補間方法を指示する。
　補間処理部５３は、画像分割処理部５２から供給された４つのマップデータＭＧ１１，ＭＧ１２，ＭＲ１１，ＭＢ１２のそれぞれに対して、画像領域ごとに、補間制御部５６から指示された補間方法を用いて補間処理Ａ２を行うことにより、４つのマップデータＭＧ２１，ＭＧ２２，ＭＲ２１，ＭＢ２２を生成する。４つのマップデータＭＧ２１，ＭＧ２２，ＭＲ２１，ＭＢ２２をそれぞれ生成する際の補間方法は、互いに同じである。
　合成処理部５４は、２つのマップデータＭＧ２１，ＭＧ２２に基づいて、合成処理Ａ３を行うことにより、１つのマップデータＭＧ３を生成する。具体的には、合成処理部５４は、２つのマップデータＭＧ２１，ＭＧ２２における互いに対応する位置の画素値を足し合わせ、その足し合わせされた画素値を半分にすることにより、マップデータＭＧ３におけるその位置での画素値を生成する。
　画像マップデータＭＰＧ，ＭＰＢＲは、本開示における「第１の画像マップデータ」および「第２の画像マップデータ」の一具体例にそれぞれ対応する。マップデータＭＲ１１，ＭＢ１２は、本開示における「複数の第４のマップデータ」の一具体例に対応する。マップデータＭＲ２１，ＭＢ２２は、本開示における「複数の第５のマップデータ」の一具体例に対応する。
　以上のように、撮像装置３では、例えば、画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことによりマップデータＭＧ１１，ＭＧ１２を生成し、これらのマップデータＭＧ１１，ＭＧ１２にそれぞれに対して補間処理Ａ２を行うことによりマップデータＭＧ２１，ＭＧ２２を生成し、これらのマップデータＭＧ２１，ＭＧ２２に基づいて合成処理Ａ３を行うことによりマップデータＭＧ３を生成するようにした。これにより、撮像装置３では、上記第１の実施の形態の場合と同様に、マップデータＭＧ３における信号雑音比（Ｓ／Ｎ比）を高めることができ、撮像画像の画質を高めることができる。
　また、撮像装置３では、撮像部４０におけるカラーフィルタ１１１Ｂ，１１１Ｒの市松模様状の配置に対応するように、画像分割処理Ａ１における画素値の配置パターンＰＡＴを市松模様パターンにした。そして、マップデータＭＧ１１，ＭＲ１１における画素値の配置パターンＰＡＴを互いに同じにするとともに、マップデータＭＧ１２，ＭＢ１２における画素値の配置パターンＰＡＴを互いに同じにした。これにより、画像分割処理部５２は、２つの画像マップデータＭＰＧ、ＭＰＢＲに基づいて、同じ方法で画像分割処理Ａ１を行うことができるため、画像分割処理部５２の回路構成をシンプルにすることができる。また、撮像装置１の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　また、撮像装置３では、補間処理Ａ２において、マップデータＭＧ２１，ＭＧ２２，ＭＲ２１，ＭＢ２２を生成する際の補間方法を互いに同じにした。これにより、補間処理部５３は、互いに同じ補間方法を用いて４つのマップデータＭＧ２１，ＭＧ２２，ＭＲ２１，ＭＢ２２を生成することができるため、補間処理部５３の回路構成をシンプルにすることができる。また、撮像装置１の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　また、撮像装置３では、緑色（Ｇ）に係る画素値が全面に配置された画像マップデータＭＰＧに基づいて空間周波数を検出し、この検出された空間周波数に基づいて、補間処理Ａ２における補間方法を決定するようにした。これにより、撮像装置３では、空間周波数を高い精度で検出することができるので、補間処理Ａ２の精度を高めることができる。その結果、撮像装置３では、より高い復元効果を得ることができるので、撮像画像の画質を高めることができる。
　また、撮像装置３では、上記第１の実施の形態に係る撮像装置１と同様に、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにした。これにより、撮像装置３では、例えば、暗い被写体を撮像する場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うことにより、撮像画像における信号雑音比（Ｓ／Ｎ比）を高めることができ、例えば、明るい被写体を撮像する場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにすることにより、撮像画像における解像度を高めることができる。その結果、撮像装置３では、撮像画像の画質を高めることができる。
　以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
　本実施の形態では、撮像部におけるカラーフィルタの市松模様状の配置に対応するように、画像分割処理における画素値の配置パターンを市松模様パターンにしたので、画像分割処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　本実施の形態では、補間処理において、４つのマップデータを生成する際の補間方法を互いに同じにしたので、補間処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　本実施の形態では、緑色（Ｇ）に係る画素値が全面に配置された画像マップデータＭＰＧに基づいて空間周波数を検出し、この検出された空間周波数に基づいて、補間処理における補間方法を決定するようにしたので、空間周波数を高い精度で検出することができ、撮像画像の画質を高めることができる。
　本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
＜３．第３の実施の形態＞
　次に、第３の実施の形態に係る撮像装置４について説明する。本実施の形態は、撮像部における、青色（Ｂ）および赤色（Ｒ）の光を受光可能な光電変換素子の配置密度が、上記第１の実施の形態の場合と異なるものである。なお、上記第１の実施の形態に係る撮像装置１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
　図３１は、本実施の形態に係る撮像装置４の一構成例を表すものである。撮像装置４は、撮像部６０と、画像処理部７０とを備えている。
　図３２は、撮像部６０に係る撮像画素Ｐの断面構造を模式的に表すものである。図３３は、４つの撮像画素Ｐが配置された領域Ｘにおける光電変換素子の配置を模式的に表すものである。半導体基板１００には、４つの撮像画素Ｐに対応する領域Ｘにおいて、フォトダイオードＰＤＲ２，ＰＤＢ２が形成される。フォトダイオードＰＤＲ２は、フォトダイオードＰＤＲと同様に、赤色（Ｒ）の光を受光可能な光電変換素子であり、フォトダイオードＰＤＢ２は、フォトダイオードＰＤＢと同様に、青色（Ｂ）の光を受光可能な光電変換素子である。フォトダイオードＰＤＲ２およびフォトダイオードＰＤＢ２は、半導体基板１００において、４つの撮像画素Ｐに対応する領域Ｘにおいて、フォトダイオードＰＤＢ２が撮像面Ｓの側になるように積層されて形成される。すなわち、第１の実施の形態に係る撮像部１０では、１つの撮像画素Ｐに対応する画素領域において、フォトダイオードＰＤＢ，ＰＤＲを積層して形成したが、本実施の形態に係る撮像部６０では、４つの撮像画素Ｐに対応する領域Ｘにおいて、フォトダイオードＰＤＢ２，ＰＤＲ２を積層して形成している。これにより、撮像部６０では、４つの撮像画素Ｐに対応する領域Ｘにおいて、緑色（Ｇ）に係る４つの光電変換素子、青色（Ｂ）に係る１つの光電変換素子、赤色（Ｒ）に係る１つの光電変換素子が積層されて形成される。言い換えれば、撮像部６０では、青色（Ｂ）に係る光電変換素子の配置密度は、緑色（Ｇ）に係る光電変換素子の配置密度の１／４であり、赤色（Ｒ）に係る光電変換素子の配置密度は、緑色（Ｇ）に係る光電変換素子の配置密度の１／４である。カラーフィルタ１１１の上には、絶縁膜１１２が形成される。この絶縁膜１１２は、例えば二酸化ケイ素（ＳｉＯ2）を用いて構成される。半導体基板１００の上には絶縁膜１０１が形成され、この絶縁膜１０１の上には、透明電極１０２、光電変換膜１０３Ｇ、透明電極１０４、およびオンチップレンズ１０５が、この順に形成される。
　このような構成により、撮像部６０は、画像信号ＤＴ３１およびゲイン信号ＳＧＡＩＮを生成する。画像信号ＤＴ３１は、３つの画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲを含んでいる。画像マップデータＭＰＧは、緑色（Ｇ）に係る１フレーム画像分の画素値を含み、画像マップデータＭＰＢは、青色（Ｂ）に係る１フレーム画像分の画素値を含み、画像マップデータＭＰＲは、赤色（Ｒ）に係る１フレーム画像分の画素値を含む。画像マップデータＭＰＢにおける画素値の数は、画像マップデータＭＰＧにおける画素値の数の１／４であり、画像マップデータＭＰＲにおける画素値の数は、画像マップデータＭＰＧにおける画素値の数の１／４である。画像マップデータＭＰＧにおける４つの画素値は、画像マップデータＭＰＢにおける１つの画素値に対応づけられているとともに、画像マップデータＭＰＲにおける１つの画素値に対応づけられている。
　画像処理部７０（図３１）は、画像分割処理部７２と、補間処理部７３と、合成処理部７４と、信号処理部７５とを有している。
　画像分割処理部７２は、撮像部６０から切替部２１を介して供給された画像信号ＤＴ３１に含まれる画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、画像分割処理Ａ１を行うことにより、６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＢ１２を生成するものである。
　補間処理部７３は、画像分割処理部７２から供給された６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＢ２２を生成するものである。
　合成処理部７４は、補間処理部７３から供給された６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２に基づいて合成処理Ａ３を行うことにより、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を生成するものである。そして、合成処理部７４は、合成処理Ａ３により生成したマップデータＭＧ３，ＭＢ３，ＭＲ３を、画像信号ＤＴ３２として信号処理部７５に供給するようになっている。
　信号処理部７５は、合成処理部７４から供給された画像信号ＤＴ３２、または撮像部６０から切替部２１を介して供給された画像信号ＤＴ３１に基づいて、所定の信号処理を行うものである。そして、信号処理部７５は、これらの所定の信号処理の処理結果を、画像信号ＤＴ３３として出力するようになっている。
　図３４は、画像処理部７０における、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
　画像分割処理部７２は、画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて画像分割処理Ａ１を行うことにより、６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２を生成する。図３４に示したように、マップデータＭＧ１１，ＭＧ１２における画素値の配置パターンＰＡＴは、４つの画素値を単位とした市松模様パターン（図１２Ａ，１２Ｂ）である。一方、マップデータＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２における画素値の配置パターンＰＡＴは、１つの画素値を単位とした市松模様パターン（図８Ａ，８Ｂ）である。すなわち、撮像部６０における、緑色（Ｇ）、青色（Ｂ）、および赤色（Ｒ）に係る光電変換素子の配置密度に対応して、マップデータＭＧ１１，ＭＧ１２での市松模様パターンにおける単位を、マップデータＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２での市松模様パターンにおける単位の４倍にしている。
　補間処理部７３は、画像分割処理部２２から供給された６つのマップデータＭＧ１１，ＭＧ１２，ＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する。マップデータＭＧ１１，ＭＧ１２に対して補間処理Ａ２を行う場合には、補間処理部７３は、図１３Ａ，１３Ｂに示した補間方法を用いることができる。マップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２をそれぞれ生成する際の補間方法は、互いに同じである。また、マップデータＭＧ２１，ＭＧ２２をそれぞれ生成する際の補間方法を、マップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２をそれぞれ生成する際の補間方法と同様の方法にすることができる。具体的には、例えば、これらの２つの補間方法における補間方向を同じにすることができる。
　合成処理部７４は、６つのマップデータＭＧ２１，ＭＧ２２，ＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２に基づいて、合成処理Ａ３を行うことにより、３つのマップデータＭＧ３，ＭＢ３，ＭＲ３を生成する。
　以上のように、撮像装置４では、例えば、画像マップデータＭＰＧに基づいて画像分割処理Ａ１を行うことによりマップデータＭＧ１１，ＭＧ１２を生成し、これらのマップデータＭＧ１１，ＭＧ１２にそれぞれに対して補間処理Ａ２を行うことによりマップデータＭＧ２１，ＭＧ２２を生成し、これらのマップデータＭＧ２１，ＭＧ２２に基づいて合成処理Ａ３を行うことによりマップデータＭＧ３を生成するようにした。画像マップデータＭＰＢ，ＭＰＲについても同様である。これにより、撮像装置４では、上記第１の実施の形態の場合と同様に、マップデータＭＧ３，ＭＢ３，ＭＲ３における信号雑音比（Ｓ／Ｎ比）を高めることができ、撮像画像の画質を高めることができる。
　また、撮像装置４では、撮像部６０における、緑色（Ｇ）、青色（Ｂ）、および赤色（Ｒ）に係る光電変換素子の配置密度に対応するように、マップデータＭＧ１１，ＭＧ１２における市松模様パターンにおける単位を、マップデータＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２における市松模様パターンにおける単位の４倍にした。これにより、画像分割処理部７２は、３つの画像マップデータＭＰＧ、ＭＰＢ，ＭＰＲに基づいて、同様の方法で画像分割処理Ａ１を行うことができるため、画像分割処理部７２の回路構成をシンプルにすることができる。また、撮像装置１の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　また、撮像装置４では、補間処理Ａ２において、マップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する際の補間方法を互いに同じにした。これにより、補間処理部７３は、互いに同じ補間方法を用いて４つのマップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成することができるため、補間処理部７３の回路構成をシンプルにすることができる。また、補間処理Ａ２において、マップデータＭＧ２１，ＭＧ２２をそれぞれ生成する際の補間方法を、マップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２をそれぞれ生成する際の補間方法と同様の方法にしたので、撮像装置１の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　また、撮像装置４では、上記第１の実施の形態に係る撮像装置１と同様に、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにした。これにより、撮像装置４では、例えば、暗い被写体を撮像する場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うことにより、撮像画像における信号雑音比（Ｓ／Ｎ比）を高めることができ、例えば、明るい被写体を撮像する場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにすることにより、撮像画像における解像度を高めることができる。その結果、撮像装置４では、撮像画像の画質を高めることができる。
　以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
　本実施の形態では、撮像部における、緑色、青色、および赤色に係る光電変換素子の配置密度に対応するように、マップデータＭＧ１１，ＭＧ１２における市松模様パターンにおける単位を、マップデータＭＢ１１，ＭＢ１２，ＭＲ１１，ＭＲ１２における市松模様パターンにおける単位の４倍にしたので、画像分割処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　本実施の形態では、補間処理において、マップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２を生成する際の補間方法を互いに同じにしたので、補間処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができる。
　本実施の形態では、補間処理において、マップデータＭＧ２１，ＭＧ２２をそれぞれ生成する際の補間方法を、マップデータＭＢ２１，ＭＢ２２，ＭＲ２１，ＭＲ２２をそれぞれ生成する際の補間方法と同様の方法にしたので、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
　本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
［変形例３－１］
　上記実施の形態では、画像処理部７０は、赤色（Ｒ）に係る画像マップデータＭＰＲ、緑色（Ｇ）に係る画像マップデータＭＰＧ、および青色（Ｂ）に係る画像マップデータＭＰＢに基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うようにしたが、これに限定されるものではない。これに代えて、例えば、第１の実施の形態の変形例に係る撮像装置１Ｄの場合（図２５）と同様に、輝度信号に基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うようにしてもよい。以下に、本変形例について詳細に説明する。
　図３５は、本変形例に係る撮像装置４Ａの一構成例を表すものである。この撮像装置４Ａは、画像処理部７０Ａを備えている。画像処理部７０Ａは、Ｙ／Ｃ分離部７９Ａと、画像分割処理部７２Ａと、補間処理部７３Ａと、合成処理部７４Ａと、信号処理部７５Ａとを有している。
　Ｙ／Ｃ分離部７９Ａは、Ｙ／Ｃ分離処理Ｃ１を行うことにより、画像信号ＤＴ３１に含まれるＲＧＢ信号を、輝度（Ｙ）信号および色（Ｃ）信号に分離し、これらの輝度信号および色信号を、画像信号ＤＴ４１として出力するものである。画像信号ＤＴ４１は、マップデータＭＹ，ＭＣｒ，ＭＣｂとを含んでいる。マップデータＭＹは、輝度（Ｙ）に係る１フレーム画像分の画素値を含み、マップデータＭＣｒは、Ｒ－Ｙ色差（Ｃｒ）に係る１フレーム画像分の画素値を含み、マップデータＭＣｂは、Ｂ－Ｙ色差（Ｃｂ）に係る１フレーム画像分の画素値を含む。マップデータＭＣｒにおける画素値の数は、マップデータＭＹにおける画素値の数の１／４である。同様に、マップデータＭＣｂにおける画素値の数は、マップデータＭＹにおける画素値の数の１／４である。
　画像分割処理部７２Ａは、Ｙ／Ｃ分離部７９Ａから切替部２１を介して供給された画像信号ＤＴ４１に含まれるマップデータＭＹに基づいて、画像分割処理Ａ１を行うことにより、２つのマップデータＭＹ１１，ＭＹ１２を生成するものである。また、画像分割処理部７２Ａは、画像信号ＤＴ４１に含まれるマップデータＭＣｒ，ＭＣｂを、そのまま出力するようになっている。
　補間処理部７３Ａは、画像分割処理部７２Ａから供給された２つのマップデータＭＹ１１，ＭＹ１２のそれぞれに対して補間処理Ａ２を行うことにより、２つのマップデータＭＹ２１，ＭＹ２２を生成するものである。また、補間処理部７３Ａは、画像分割処理部７２Ａから供給されたマップデータＭＣｒ，ＭＣｂを、そのまま出力するようになっている。
　合成処理部７４Ａは、補間処理部７３Ａから供給された２つのマップデータＭＹ２１，ＭＹ２２に基づいて合成処理Ａ３を行うことにより、１つのマップデータＭＹ３を生成するものである。そして、合成処理部７４Ａは、合成処理Ａ３により生成したマップデータＭＹ３、および補間処理部７３Ａから供給されたマップデータＭＣｒ，ＭＣｂを、画像信号ＤＴ４２として信号処理部７５Ａに供給するようになっている。
　信号処理部７５Ａは、合成処理部７４Ａから供給された画像信号ＤＴ４２、またはＹ／Ｃ分離部７９Ａから切替部２１を介して供給された画像信号ＤＴ４１に基づいて、所定の信号処理を行うものである。そして、信号処理部７５Ａは、これらの所定の信号処理の処理結果を、画像信号ＤＴ４３として出力するようになっている。
　図３６は、画像処理部７０Ａにおける、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
　Ｙ／Ｃ分離部７９Ａは、Ｙ／Ｃ分離処理Ｃ１を行うことにより、画像信号ＤＴ３１に含まれるＲＧＢ信号を、輝度（Ｙ）信号および色（Ｃ）信号に分離する。具体的には、Ｙ／Ｃ分離部７９Ａは、画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて、マップデータＭＹ，ＭＣｂ，ＭＣｒを生成する。Ｙ／Ｃ分離部７９Ａは、３つの画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲにおける互いに対応する位置の画素値に基づいて、例えば以下の式を用いて、輝度（Ｙ）に係る画素値を生成する。
ＶＹ１　＝　ＶＧ１×０．５９　＋　ＶＢ／４×０．１１　＋　ＶＲ／４×０．３
ＶＹ２　＝　ＶＧ２×０．５９　＋　ＶＢ／４×０．１１　＋　ＶＲ／４×０．３
ＶＹ３　＝　ＶＧ３×０．５９　＋　ＶＢ／４×０．１１　＋　ＶＲ／４×０．３
ＶＹ４　＝　ＶＧ４×０．５９　＋　ＶＢ／４×０．１１　＋　ＶＲ／４×０．３
この式において、“ＶＹ１”～“ＶＹ４”は輝度（Ｙ）に係る画素値であり、“ＶＧ１”～“ＶＧ４”は緑色（Ｇ）に係る画素値であり、“ＶＢ”は青色（Ｂ）に係る画素値であり、“ＶＲ”は赤色（Ｒ）に係る画素値である。“ＶＹ１”，“ＶＧ１”は、領域Ｘにおける左上の画素値を示し、“ＶＹ２”，“ＶＧ２”は、領域Ｘにおける右上の画素値を示し、“ＶＹ３”，“ＶＧ３”は、領域Ｘにおける左下の画素値を示し、“ＶＹ４”，“ＶＧ４”は、領域Ｘにおける右下の画素値を示す。
　画像分割処理部７２Ａは、このようにして生成されたマップデータＭＹに基づいて画像分割処理Ａ１を行うことにより、２つのマップデータＭＹ１１，ＭＹ１２を生成する。補間処理部７３Ａは、これらの２つのマップデータＭＹ１１，ＭＹ１２のそれぞれに対して補間処理Ａ２を行うことにより、２つのマップデータＭＹ２１，ＭＹ２２を生成する。合成処理部７４Ａは、２つのマップデータＭＹ２１，ＭＹ２２に基づいて合成処理Ａ３を行うことにより、１つのマップデータＭＹ３を生成する。
　これにより、撮像装置４Ａでは、輝度信号についての信号雑音比（Ｓ／Ｎ比）を高めることができるので、撮像画像の画質を高めることができる。また、この例では、輝度（Ｙ）に関するマップデータＭＹに対してのみ、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うようにしたので、処理量を抑えることができる。その結果、撮像装置４Ａでは、例えば消費電力を低減することができる。
［変形例３－２］
　上記実施の形態に係る撮像装置４に、上記第１の実施の形態の各変形例を適用してもよい。具体的には、例えば、上記第１の実施の形態の変形例に係る撮像装置２（図２１）と同様に、画像信号ＤＴ３１に含まれる画像マップデータＭＰＧ，ＭＰＢ，ＭＰＲに基づいて補間制御処理Ｂ１を行うことにより、補間処理部７３における補間処理Ａ２の補間方法を制御してもよい。
＜４．第４の実施の形態＞
　次に、第４の実施の形態に係る撮像装置５について説明する。本実施の形態は、撮像部に、緑色（Ｇ）、青色（Ｂ）、および赤色（Ｒ）の光を受光可能な光電変換素子に加え、赤外（ＩＲ）の光を受光可能の光電変換素子を設けたものである。なお、上記第１の実施の形態に係る撮像装置１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
　図３７は、本実施の形態に係る撮像装置５の一構成例を表すものである。撮像装置５は、撮像部８０と、画像処理部９０とを備えている。
　図３８は、撮像部８０に係る撮像画素Ｐの断面構造を模式的に表すものである。図３９は、４つの撮像画素Ｐが配置された領域Ｘにおける光電変換素子の配置を模式的に表すものである。半導体基板１００には、１つの撮像画素Ｐに対応する画素領域において、フォトダイオードＰＤが形成される。このフォトダイオードＰＤは、可視光に対応する様々な波長の光を受光可能なものである。半導体基板１００の撮像面Ｓ側の表面には絶縁膜１０１が形成され、この絶縁膜１０１の上には、カラーフィルタ１１１が形成される。具体的には、絶縁膜１０１の上には、４つの撮像画素Ｐに対応する領域Ｘにおいて、この例では、左上に赤色（Ｒ）のカラーフィルタ１１１Ｒが形成され、左下および右上に緑色（Ｇ）のカラーフィルタ１１１Ｇが形成され、右下に青色（Ｂ）のカラーフィルタ１１１Ｂが形成される。カラーフィルタ１１１Ｒは、赤色（Ｒ）の光を透過するとともに青色（Ｂ）および緑色（Ｇ）の光を遮断するものである。カラーフィルタ１１１Ｇは、緑色（Ｇ）の光を透過するとともに赤色（Ｒ）および青色（Ｂ）の光を遮断するものである。カラーフィルタ１１１Ｂは、青色（Ｂ）の光を透過するとともに赤色（Ｒ）および緑色（Ｇ）の光を遮断するものである。カラーフィルタ１１１ＲおよびフォトダイオードＰＤは、赤色（Ｒ）の光を受光可能な光電変換素子を構成し、カラーフィルタ１１１ＧおよびフォトダイオードＰＤは、緑色（Ｇ）の光を受光可能な光電変換素子を構成し、カラーフィルタ１１１ＢおよびフォトダイオードＰＤは、青色（Ｂ）の光を受光可能な光電変換素子を構成する。カラーフィルタ１１１Ｒ，１１１Ｇ，１１１Ｂの配列は、いわゆるベイヤー配列である。
　カラーフィルタ１１１の上には、絶縁膜１１２が形成される。そして、この絶縁膜１１２の上には、透明電極１０２、光電変換膜１０３ＩＲ、および透明電極１０４が、この順に形成される。透明電極１０２，１０４は、赤色の光、緑色の光、青色の光、および赤外光を透過可能な電極である。光電変換膜１０３ＩＲは、緑色（Ｇ）の光を受光可能な光電変換膜であり、赤色の光、緑色の光、および青色の光を透過可能に構成されている。この光電変換膜１０３ＩＲおよび透明電極１０２，１０４は、赤外（ＩＲ）の光を受光可能な光電変換素子を構成する。透明電極１０４の上には、オンチップレンズ１０５が形成される。
　このように、撮像部８０では、図３９に示したように、１つの撮像画素Ｐに対応する画素領域において、上層に赤外（ＩＲ）に係る光電変換素子が配置され、下層に、赤色（Ｒ）、緑色（Ｇ）、または青色（Ｂ）に係る光電変換素子が配置される。赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）に係る光電変換素子は、ベイヤー配列で配置されている。これにより、撮像部８０では、各撮像画素Ｐのそれぞれが、赤外に係る画素信号と、赤色、緑色、または青色に係る画素信号とを生成することができるようになっている。
　このような構成により、撮像部８０は、画像信号ＤＴ５１およびゲイン信号ＳＧＡＩＮを生成する。画像信号ＤＴ５１は、２つの画像マップデータＭＰＩＲ，ＭＰＲＧＢを含んでいる。画像マップデータＭＰＩＲは、赤外（ＩＲ）に係る１フレーム画像分の画素値を含み、画像マップデータＭＰＲＧＢは、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）に係る１フレーム画像分の画素値を含む。
　画像処理部９０（図３７）は、画像分割処理部９２と、補間処理部９３と、合成処理部９４と、信号処理部９５とを有している。
　画像分割処理部９２は、撮像部８０から切替部２１を介して供給された画像信号ＤＴ５１に含まれる画像マップデータＭＰＩＲに基づいて、画像分割処理Ａ１を行うことにより、３つのマップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３を生成するとともに、画像信号ＤＴ５１に含まれる画像マップデータＭＰＲＧＢに基づいて、画像分割処理Ａ１を行うことにより、３つのマップデータＭＧ１２，ＭＲ１１，ＭＢ１３を生成するものである。
　補間処理部９３は、画像分割処理部９２から供給された６つのマップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３，ＭＧ１２，ＭＲ１１，ＭＢ１３のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３，ＭＧ２２，ＭＲ２１，ＭＢ２３を生成するものである。
　合成処理部９４は、補間処理部９３から供給された３つのマップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３に基づいて合成処理Ａ３を行うことにより、マップデータＭＩＲ３を生成するものである。そして、合成処理部９４は、合成処理Ａ３により生成したマップデータＭＩＲ３、および補間処理部９３から供給されたマップデータＭＧ２２，ＭＲ２１，ＭＢ２３を、画像信号ＤＴ５２として信号処理部９５に供給するようになっている。
　信号処理部９５は、合成処理部９４から供給された画像信号ＤＴ５２、または撮像部６０から切替部２１を介して供給された画像信号ＤＴ５１に基づいて、所定の信号処理を行うものである。そして、信号処理部９５は、これらの所定の信号処理の処理結果を、画像信号ＤＴ５３として出力するようになっている。
　図４０は、画像処理部９０における、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３の一例を模式的に表すものである。
　画像分割処理部９２は、画像マップデータＭＰＩＲに基づいて画像分割処理Ａ１を行うことにより、３つのマップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３を生成するとともに、画像マップデータＭＰＲＧＢに基づいて画像分割処理Ａ１を行うことにより、３つのマップデータＭＧ１２，ＭＲ１１，ＭＢ１３を生成する。図４０に示したように、マップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３における画素値の配置パターンＰＡＴは、ベイヤー配列に対応したパターン（図１８Ａ～１８Ｃ）である。マップデータＭＧ１２，ＭＲ１１，ＭＢ１３における画素値の配置パターンＰＡＴについても同様である。すなわち、この例では、画像分割処理Ａ１における画素値の配置パターンＰＡＴを、撮像部８０におけるカラーフィルタ１１１Ｒ，１１１Ｇ，１１１Ｂの配置を示すベイヤー配列に対応するパターンにした。これにより、画像マップデータＭＰＲＧＢに含まれる赤色（Ｒ）の画素値は、マップデータＭＲ１１にのみ含まれるようになり、画像マップデータＭＰＲＧＢに含まれる緑色（Ｇ）の画素値は、マップデータＭＧ１２にのみ含まれるようになり、画像マップデータＭＰＲＧＢに含まれる青色（Ｂ）の画素値は、マップデータＭＢ１３にのみ含まれるようになる。図４０に示したように、マップデータＭＩＲ１２，ＭＧ１２は、互いに同じ配置パターンＰＡＴを有し、マップデータＭＩＲ１１，ＭＲ１１は、互いに同じ配置パターンＰＡＴを有し、マップデータＭＩＲ１３，ＭＢ１３は、互いに同じ配置パターンＰＡＴを有する。
　補間処理部９３は、画像分割処理部９２から供給された６つのマップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３，ＭＧ１２，ＭＲ１１，ＭＢ１３のそれぞれに対して補間処理Ａ２を行うことにより、６つのマップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３，ＭＧ２２，ＭＲ２１，ＭＢ２３を生成する。マップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３に対して補間処理Ａ２を行う場合には、補間処理部９３は、例えば図１９Ａ～１９Ｃに示した補間方法を用いることができる。マップデータＭＧ１２，ＭＲ１１，ＭＢ１３に対する補間処理Ａ２についても同様である。マップデータＭＩＲ２２，ＭＧ２２をそれぞれ生成する際の補間方法は互いに同じであり、マップデータＭＩＲ２１，ＭＲ２１をそれぞれ生成する際の補間方法は互いに同じであり、マップデータＭＩＲ２３，ＭＢ２３をそれぞれ生成する際の補間方法は互いに同じである。
　合成処理部９４は、３つのマップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３に基づいて合成処理Ａ３を行うことにより、マップデータＭＩＲ３を生成する。
　画像マップデータＭＰＩＲ，ＭＰＲＧＢは、本開示における「第１の画像マップデータ」および「第２の画像マップデータ」の一具体例にそれぞれ対応する。マップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３は、本開示における「複数の第１のマップデータ」の一具体例に対応する。マップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３は、本開示における「複数の第２のマップデータ」の一具体例に対応する。マップデータＭＩＲ３は、本開示における「第３のマップデータ」の一具体例に対応する。マップデータＭＧ１２，ＭＲ１１，ＭＢ１３は、本開示における「複数の第４のマップデータ」の一具体例に対応する。マップデータＭＧ２２，ＭＲ２１，ＭＢ２３は、本開示における「複数の第５のマップデータ」の一具体例に対応する。
　以上のように、撮像装置５では、例えば、画像マップデータＭＰＩＲに基づいて画像分割処理Ａ１を行うことによりマップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３を生成し、これらのマップデータＭＩＲ１２，ＭＩＲ１１，ＭＩＲ１３にそれぞれに対して補間処理Ａ２を行うことによりマップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３を生成し、これらのマップデータＭＩＲ２２，ＭＩＲ２１，ＭＩＲ２３に基づいて合成処理Ａ３を行うことによりマップデータＭＩＲ３を生成するようにした。これにより、撮像装置５では、上記第１の実施の形態の場合と同様に、マップデータＭＩＲ３における信号雑音比（Ｓ／Ｎ比）を高めることができ、撮像画像の画質を高めることができる。
　また、撮像装置５では、撮像部８０におけるカラーフィルタ１１１Ｒ，１１１Ｇ，１１１Ｂの配置に対応するように、画像分割処理Ａ１における画素値の配置パターンＰＡＴをベイヤー配列に対応するパターンにした。そして、マップデータＭＩＲ１２，ＭＧ１２における画素値の配置パターンＰＡＴを互いに同じにし、マップデータＭＩＲ１１，ＭＲ１１における画素値の配置パターンＰＡＴを互いに同じにし、マップデータＭＩＲ１３，ＭＢ１３における画素値の配置パターンＰＡＴを互いに同じにした。その結果、画像分割処理部９２は、２つの画像マップデータＭＰＩＲ、ＭＰＲＧＢに基づいて、同じ方法で画像分割処理Ａ１を行うことができるため、画像分割処理部９２の回路構成をシンプルにすることができる。
　また、撮像装置５では、補間処理Ａ２において、マップデータＭＩＲ２２，ＭＧ２２を生成する際の補間方法を互いに同じにし、マップデータＭＩＲ２１，ＭＲ２１を生成する際の補間方法を互いに同じにし、マップデータＭＩＲ２３，ＭＢ２３を生成する際の補間方法を互いに同じにしたので、補間処理部９３の回路構成をシンプルにすることができる。
　また、撮像装置５では、上記第１の実施の形態に係る撮像装置１と同様に、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにした。これにより、撮像装置３では、例えば、暗い被写体を撮像する場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うことにより、撮像画像における信号雑音比（Ｓ／Ｎ比）を高めることができ、例えば、明るい被写体を撮像する場合には、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行わないようにすることにより、撮像画像における解像度を高めることができる。その結果、撮像装置５では、撮像画像の画質を高めることができる。
　以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
　本実施の形態では、撮像部におけるカラーフィルタの配置に対応するように、画像分割処理における画素値の配置パターンをベイヤー配列に対応するパターンにしたので、画像分割処理部の回路構成をシンプルにすることができる。
　本実施の形態では、補間処理において、マップデータＭＩＲ２２，ＭＧ２２を生成する際の補間方法を互いに同じにし、マップデータＭＩＲ２１，ＭＲ２１を生成する際の補間方法を互いに同じにし、マップデータＭＩＲ２３，ＭＢ２３を生成する際の補間方法を互いに同じにしたので、補間処理部９３の回路構成をシンプルにすることができる。
　本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
［変形例４－１］
　上記実施の形態に係る撮像装置５に、上記第１の実施の形態の各変形例を適用してもよい。具体的には、例えば、上記第１の実施の形態の変形例に係る撮像装置２（図２１）と同様に、画像信号ＤＴ５１に含まれる画像マップデータＭＰＲＧＢに基づいて補間制御処理Ｂ１を行うことにより、補間処理部９３における補間処理Ａ２の補間方法を制御してもよい。
＜５．撮像装置の使用例＞
　図４１は、上記実施の形態に係る撮像装置１等の使用例を表すものである。上述した撮像装置１等は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜６．応用例＞
＜体内情報取得システムへの応用例＞
　更に、本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図４２は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
　体内情報取得システム１０００１は、カプセル型内視鏡１０１００と、外部制御装置１０２００とから構成される。
　カプセル型内視鏡１０１００は、検査時に、患者によって飲み込まれる。カプセル型内視鏡１０１００は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置１０２００に順次無線送信する。
　外部制御装置１０２００は、体内情報取得システム１０００１の動作を統括的に制御する。また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。
　体内情報取得システム１０００１では、このようにして、カプセル型内視鏡１０１００が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
　カプセル型内視鏡１０１００と外部制御装置１０２００の構成及び機能についてより詳細に説明する。
　カプセル型内視鏡１０１００は、カプセル型の筐体１０１０１を有し、その筐体１０１０１内には、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、給電部１０１１５、電源部１０１１６、及び制御部１０１１７が収納されている。
　光源部１０１１１は、例えばＬＥＤ（light emitting diode）等の光源から構成され、撮像部１０１１２の撮像視野に対して光を照射する。
　撮像部１０１１２は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部１０１１２では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部１０１１２によって生成された画像信号は、画像処理部１０１１３に提供される。
　画像処理部１０１１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、撮像部１０１１２によって生成され
た画像信号に対して各種の信号処理を行う。画像処理部１０１１３は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部１０１１４に提供する。
　無線通信部１０１１４は、画像処理部１０１１３によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ１０１１４Ａを介して外部制御装置１０２００に送信する。また、無線通信部１０１１４は、外部制御装置１０２００から、カプセル型内視鏡１０１００の駆動制御に関する制御信号を、アンテナ１０１１４Ａを介して受信する。無線通信部１０１１４は、外部制御装置１０２００から受信した制御信号を制御部１０１１７に提供する。
　給電部１０１１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部１０１１５では、いわゆる非接触充電の原理を用いて電力が生成される。
　電源部１０１１６は、二次電池によって構成され、給電部１０１１５によって生成された電力を蓄電する。図４２では、図面が煩雑になることを避けるために、電源部１０１１６からの電力の供給先を示す矢印等の図示を省略しているが、電源部１０１１６に蓄電された電力は、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び制御部１０１１７に供給され、これらの駆動に用いられ得る。
　制御部１０１１７は、ＣＰＵ等のプロセッサによって構成され、光源部１０１１１、撮像部１０１１２、画像処理部１０１１３、無線通信部１０１１４、及び、給電部１０１１５の駆動を、外部制御装置１０２００から送信される制御信号に従って適宜制御する。
　外部制御装置１０２００は、ＣＰＵ，ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置１０２００は、カプセル型内視鏡１０１００の制御部１０１１７に対して制御信号を、アンテナ１０２００Ａを介して送信することにより、カプセル型内視鏡１０１００の動作を制御する。カプセル型内視鏡１０１００では、例えば、外部制御装置１０２００からの制御信号により、光源部１０１１１における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１０２００からの制御信号により、撮像条件（例えば、撮像部１０１１２におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１０２００からの制御信号により、画像処理部１０１１３における処理の内容や、無線通信部１０１１４が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
　また、外部制御装置１０２００は、カプセル型内視鏡１０１００から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、ならびに／又は拡大処理（電子ズーム処理）等、各種の信号処理を行うことができる。外部制御装置１０２００は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置１０２００は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
　以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１０１１２および画像処理部１０１１３に適用され得る。これにより、撮像画像の画質を高めることができるので、医師は、患者の体内の様子をより正確に把握することができる。
＜４．内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図４３は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図４３では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図４４は、図４３に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、ならびに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１１４０２および画像処理部１１４１２に適用され得る。これにより、撮像画像の画質を高めることができるので、医師は、患者の体内の様子をより正確に把握することができる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
＜移動体への応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（interface）１２０
５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４６は、撮像部１２０３１の設置位置の例を示す図である。
　図４６では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。これにより、撮像画像の画質を高めることができるので、車両制御システム１２０００は、例えば、車外環境をより正確に把握することができるので、例えば、より正確な運転支援などを行うことができる。
　以上、いくつかの実施の形態および変形例、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
　例えば、上記の各実施の形態では、撮像部１０および画像処理部２０を用いて撮像装置１を構成したが、これに限定されるものではない。これに代えて、例えば、撮像装置１とは別の演算装置が、画像処理部２０の機能を有していてもよい。この場合、演算装置には、例えば、画像マップデータＭＰＲ，ＭＰＧ，ＭＰＢおよび変換ゲインＧＣについての情報を含む画像データファイルが供給される。そして、この演算装置は、この画像データファイルに基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うことができる。この演算装置は、画像処理プログラムを実行するパーソナルコンピュータであってもよい。
　また、上記の各実施の形態では、例えば、画像処理部２０は、ゲイン信号ＳＧＡＩＮが示す変換ゲインＧＣに基づいて、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うかどうかを制御したが、これに限定されるものではない。これに代えて、例えば、撮像部１０が、画像分割処理Ａ１、補間処理Ａ２、および合成処理Ａ３を行うかどうかを決定し、この決定結果を示すモード信号を生成してもよい。この場合には、画像処理部２０は、このモード信号に応じて動作を行うことができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成とすることができる。
（１）複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成可能な画像分割処理部と、
　前記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第１のマップデータに対応する複数の第２のマップデータを生成可能な補間処理部と、
　前記複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成可能な合成処理部と
　を備えた画像処理装置。
（２）前記配置パターンは、市松模様パターンである
　前記（１）に記載の画像処理装置。
（３）前記第１の画像マップデータに基づいて前記補間処理の処理方法を決定可能である補間制御部をさらに備えた
　前記（１）または（２）に記載の画像処理装置。
（４）前記補間制御部は、前記第１の画像マップデータに基づいて、前記補間処理における補間方向を決定することにより、前記処理方法を決定可能である
　前記（３）に記載の画像処理装置。
（５）前記補間制御部は、前記第１の画像マップデータに基づいて空間周波数情報を求め、この空間周波数情報に基づいて前記処理方法を決定することが可能である
　前記（３）または（４）に記載の画像処理装置。
（６）前記補間制御部は、前記第１の画像マップデータ、第２の画像マップデータ、および第３の画像マップデータに基づいて合成マップデータを生成し、前記合成マップデータに基づいて前記補間処理の処理方法を決定可能することが可能である
　前記（３）から（５）のいずれかに記載の画像処理装置。
（７）前記画像分割処理部は、さらに、複数の画素値を含む第２の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第４のマップデータを生成可能であり、
　前記補間処理部は、前記複数の第４のマップデータのそれぞれにおいて、前記補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第４のマップデータに対応する複数の第５のマップデータを生成可能であり、
　前記複数の第１のマップデータにおける画素値の前記配置パターンは、第１の配置パターンおよび第２の配置パターンを含み、
　前記複数の第４のマップデータにおける画素値の前記配置パターンは、前記第１の配置パターンおよび前記第２の配置パターンを含む
　前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記複数の第１のマップデータに対する前記補間処理の補間方法は、前記複数の第４のマップデータに対する前記補間処理の補間方法と同じである
　前記（７）に記載の画像処理装置。
（９）前記第１の画像マップデータの前記複数の画素値は、第１の色の複数の画素値を含み、
　前記第２の画像マップデータの前記複数の画素値は、第２の色の複数の画素値および第３の色の複数の画素値を含む
　前記（７）または（８）に記載の画像処理装置。
（１０）前記第１の画像マップデータの前記複数の画素値は、第１の色の複数の画素値を含み、
　前記第２の画像マップデータの前記複数の画素値は、第２の色の複数の画素値、第３の色の複数の画素値、および第４の色の複数の画素値を含む
　前記（７）または（８）に記載の画像処理装置。
（１１）前記合成処理部は、前記複数の第５のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第６のマップデータを生成可能であり、
　前記画像分割処理部は、さらに、複数の画素値を含む第３の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第７のマップデータを生成可能であり、
　前記補間処理部は、前記複数の第７のマップデータのそれぞれにおいて、前記補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第７のマップデータに対応する複数の第８のマップデータを生成可能であり、
　前記合成処理部は、前記複数の第８のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第９のマップデータを生成可能であり、
　前記複数の第７のマップデータにおける画素値の前記配置パターンは、前記第１の配置パターンおよび前記第２の配置パターンを含む
　前記（７）に記載の画像処理装置。
（１２）前記複数の第１のマップデータに対する前記補間処理の補間方法は、前記複数の第４のマップデータに対する前記補間処理の補間方法、および前記複数の第７のマップデータに対する前記補間処理の補間方法と同じである
　前記（１１）に記載の画像処理装置。
（１３）前記第１の画像マップデータの前記複数の画素値は、第１の色の複数の画素値を含み、
　前記第２の画像マップデータの前記複数の画素値は、第２の色の複数の画素値を含み、
　前記第３の画像マップデータの前記複数の画素値は、第３の色の複数の画素値を含む
　前記（１１）または（１２）に記載の画像処理装置。
（１４）前記第１の画像マップデータにおける前記複数の画素値の数は、前記第２の画像マップデータにおける前記複数の画素値の数と異なる
　前記（１１）から（１３）のいずれかに記載の画像処理装置。
（１５）前記第１の画像マップデータの前記複数の画素値は、緑色の複数の画素値を含み、
　前記第１の画像マップデータにおける２以上の画素値は、前記第２の画像マップデータにおける１つの画素値と対応づけられている
　前記（１４）に記載の画像処理装置。
（１６）画像信号に基づいて前記第１の画像マップデータを生成する生成部をさらに備え、
　前記第１の画像マップデータは、輝度マップデータである
　前記（１）から（５）に記載の画像処理装置。
（１７）前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うかどうかを制御可能な処理制御部をさらに備えた
　前記（１）から（１６）に記載の画像処理装置。
（１８）前記第１の画像マップデータまたは前記第３のマップデータに基づいて所定の信号処理を行うことが可能な処理部をさらに備え、
　前記処理制御部は、第１の動作モードにおいて、前記第１の画像マップデータに基づいて前記処理部に前記所定の信号処理を行わせ、第２の動作モードにおいて、前記第３のマップデータに基づいて前記処理部に前記所定の信号処理を行わせることが可能である
　前記（１７）に記載の画像処理装置。
（１９）前記処理制御部は、パラメータに基づいて、前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うかどうかを制御可能である
　前記（１８）に記載の画像処理装置。
（２０）前記第１の画像マップデータは、撮像部から供給され、
　前記パラメータは、前記撮像部におけるゲイン値であり、
　前記処理制御部は、前記ゲイン値が所定のゲイン値よりも高い場合に、前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うように制御する
　前記（１９）に記載の画像処理装置。
（２１）複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成する画像分割処理と、
　前記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第１のマップデータに対応する複数の第２のマップデータを生成する補間処理と、
　前記複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成する合成処理と
　を含む画像処理方法。
（２２）複数の画素値を含む第１の画像マップデータを生成する撮像部と、
　前記第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成することが可能な画像分割処理部と、
　前記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第１のマップデータに対応する複数の第２のマップデータを生成することが可能な補間処理部と、
　前記複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成することが可能な合成処理部と
　を備えた撮像装置。
（２３）前記撮像部は、所定の色配列で配列された複数の画素を有し、
　前記配置パターンは、前記色配列に対応するパターンを有する
　前記（２２）に記載の撮像装置。
　本出願は、日本国特許庁において２０１８年２月９日に出願された日本特許出願番号２０１８－０２２１４３号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

  1. 　複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成可能な画像分割処理部と、
    　前記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第１のマップデータに対応する複数の第２のマップデータを生成可能な補間処理部と、
    　前記複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成可能な合成処理部と
    　を備えた画像処理装置。
  2. 　前記配置パターンは、市松模様パターンである
    　請求項１に記載の画像処理装置。
  3. 　前記第１の画像マップデータに基づいて前記補間処理の処理方法を決定可能である補間制御部をさらに備えた
    　請求項１に記載の画像処理装置。
  4. 　前記補間制御部は、前記第１の画像マップデータに基づいて、前記補間処理における補間方向を決定することにより、前記処理方法を決定可能である
    　請求項３に記載の画像処理装置。
  5. 　前記補間制御部は、前記第１の画像マップデータに基づいて空間周波数情報を求め、この空間周波数情報に基づいて前記処理方法を決定することが可能である
    　請求項３に記載の画像処理装置。
  6. 　前記補間制御部は、前記第１の画像マップデータ、第２の画像マップデータ、および第３の画像マップデータに基づいて合成マップデータを生成し、前記合成マップデータに基づいて前記補間処理の処理方法を決定可能することが可能である
    　請求項３に記載の画像処理装置。
  7. 　前記画像分割処理部は、さらに、複数の画素値を含む第２の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第４のマップデータを生成可能であり、
    　前記補間処理部は、前記複数の第４のマップデータのそれぞれにおいて、前記補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第４のマップデータに対応する複数の第５のマップデータを生成可能であり、
    　前記複数の第１のマップデータにおける画素値の前記配置パターンは、第１の配置パターンおよび第２の配置パターンを含み、
    　前記複数の第４のマップデータにおける画素値の前記配置パターンは、前記第１の配置パターンおよび前記第２の配置パターンを含む
    　請求項１に記載の画像処理装置。
  8. 　前記第１の画像マップデータの前記複数の画素値は、第１の色の複数の画素値を含み、
    　前記第２の画像マップデータの前記複数の画素値は、第２の色の複数の画素値および第３の色の複数の画素値を含む
    　請求項７に記載の画像処理装置。
  9. 　前記第１の画像マップデータの前記複数の画素値は、第１の色の複数の画素値を含み、
    　前記第２の画像マップデータの前記複数の画素値は、第２の色の複数の画素値、第３の色の複数の画素値、および第４の色の複数の画素値を含む
    　請求項７に記載の画像処理装置。
  10. 　前記合成処理部は、前記複数の第５のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第６のマップデータを生成可能であり、
    　前記画像分割処理部は、さらに、複数の画素値を含む第３の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第７のマップデータを生成可能であり、
    　前記補間処理部は、前記複数の第７のマップデータのそれぞれにおいて、前記補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第７のマップデータに対応する複数の第８のマップデータを生成可能であり、
    　前記合成処理部は、前記複数の第８のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第９のマップデータを生成可能であり、
    　前記複数の第７のマップデータにおける画素値の前記配置パターンは、前記第１の配置パターンおよび前記第２の配置パターンを含む
    　請求項７に記載の画像処理装置。
  11. 　前記第１の画像マップデータの前記複数の画素値は、第１の色の複数の画素値を含み、
    　前記第２の画像マップデータの前記複数の画素値は、第２の色の複数の画素値を含み、
    　前記第３の画像マップデータの前記複数の画素値は、第３の色の複数の画素値を含む
    　請求項１０に記載の画像処理装置。
  12. 　前記第１の画像マップデータにおける前記複数の画素値の数は、前記第２の画像マップデータにおける前記複数の画素値の数と異なる
    　請求項１０に記載の画像処理装置。
  13. 　前記第１の画像マップデータの前記複数の画素値は、緑色の複数の画素値を含み、
    　前記第１の画像マップデータにおける２以上の画素値は、前記第２の画像マップデータにおける１つの画素値と対応づけられている
    　請求項１２に記載の画像処理装置。
  14. 　画像信号に基づいて前記第１の画像マップデータを生成する生成部をさらに備え、
    　前記第１の画像マップデータは、輝度マップデータである
    　請求項１に記載の画像処理装置。
  15. 　前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うかどうかを制御可能な処理制御部をさらに備えた
    　請求項１に記載の画像処理装置。
  16. 　前記第１の画像マップデータまたは前記第３のマップデータに基づいて所定の信号処理を行うことが可能な処理部をさらに備え、
    　前記処理制御部は、第１の動作モードにおいて、前記第１の画像マップデータに基づいて前記処理部に前記所定の信号処理を行わせ、第２の動作モードにおいて、前記第３のマップデータに基づいて前記処理部に前記所定の信号処理を行わせることが可能である
    　請求項１５に記載の画像処理装置。
  17. 　前記処理制御部は、パラメータに基づいて、前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うかどうかを制御可能である
    　請求項１６に記載の画像処理装置。
  18. 　前記第１の画像マップデータは、撮像部から供給され、
    　前記パラメータは、前記撮像部におけるゲイン値であり、
    　前記処理制御部は、前記ゲイン値が所定のゲイン値よりも高い場合に、前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うように制御する
    　請求項１７に記載の画像処理装置。
  19. 　複数の画素値を含む第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成する画像分割処理と、
    　前記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第１のマップデータに対応する複数の第２のマップデータを生成する補間処理と、
    　前記複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成する合成処理と
    　を含む画像処理方法。
  20. 　複数の画素値を含む第１の画像マップデータを生成する撮像部と、
    　前記第１の画像マップデータに基づいて、画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第１のマップデータを生成することが可能な画像分割処理部と、
    　前記複数の第１のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第１のマップデータに対応する複数の第２のマップデータを生成することが可能な補間処理部と、
    　前記複数の第２のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第３のマップデータを生成することが可能な合成処理部と
    　を備えた撮像装置。
PCT/JP2019/002984 2018-02-09 2019-01-29 画像処理装置、画像処理方法、および撮像装置 WO2019155944A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN202210966357.XA CN115460384A (zh) 2018-02-09 2019-01-29 图像处理器、图像处理方法和摄像设备
CN202210968588.4A CN115460387B (zh) 2018-02-09 2019-01-29 图像处理器、图像处理方法和摄像设备
CN202210968148.9A CN115460385A (zh) 2018-02-09 2019-01-29 图像处理器、图像处理方法和摄像设备
DE112019000735.1T DE112019000735T5 (de) 2018-02-09 2019-01-29 Bildprozessor, bildverarbeitungsverfahren und bildgebungsvorrichtung
CN201980007286.7A CN111543053B (zh) 2018-02-09 2019-01-29 图像处理器、图像处理方法和摄像设备
KR1020207019007A KR102666651B1 (ko) 2018-02-09 2019-01-29 화상 처리 장치, 화상 처리 방법, 및 촬상 장치
US16/966,138 US11665440B2 (en) 2018-02-09 2019-01-29 Image processor, image processing method, and imaging device
JP2019570697A JP7225131B2 (ja) 2018-02-09 2019-01-29 画像処理装置、画像処理方法、および撮像装置
JP2023014212A JP2023061999A (ja) 2018-02-09 2023-02-01 画像処理装置、画像処理方法、および撮像装置
US18/135,301 US20230254596A1 (en) 2018-02-09 2023-04-17 Image processor, image processing method, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-022143 2018-02-09
JP2018022143 2018-02-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/966,138 A-371-Of-International US11665440B2 (en) 2018-02-09 2019-01-29 Image processor, image processing method, and imaging device
US18/135,301 Continuation US20230254596A1 (en) 2018-02-09 2023-04-17 Image processor, image processing method, and imaging device

Publications (1)

Publication Number Publication Date
WO2019155944A1 true WO2019155944A1 (ja) 2019-08-15

Family

ID=67549406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002984 WO2019155944A1 (ja) 2018-02-09 2019-01-29 画像処理装置、画像処理方法、および撮像装置

Country Status (6)

Country Link
US (2) US11665440B2 (ja)
JP (2) JP7225131B2 (ja)
CN (4) CN115460387B (ja)
DE (1) DE112019000735T5 (ja)
TW (2) TW202310606A (ja)
WO (1) WO2019155944A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7437957B2 (ja) 2020-02-06 2024-02-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221423A (ja) * 2006-02-16 2007-08-30 Matsushita Electric Ind Co Ltd 撮像装置
WO2011067850A1 (ja) * 2009-12-04 2011-06-09 キヤノン株式会社 画像処理装置
WO2014020970A1 (ja) * 2012-07-31 2014-02-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
JP2017200157A (ja) * 2016-05-01 2017-11-02 株式会社コンフォートビジョン研究所 高解像度立体撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111586A (ja) * 1993-10-08 1995-04-25 Fuji Xerox Co Ltd 画像処理装置
JP2009182733A (ja) * 2008-01-30 2009-08-13 Kyocera Corp 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置
CN101369308B (zh) * 2008-10-09 2011-06-22 上海交通大学 基于视觉选择注意和像素依赖的无监督变化检测方法
JP5509846B2 (ja) 2009-12-28 2014-06-04 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
CN102663719B (zh) * 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
JP5937690B2 (ja) * 2012-09-19 2016-06-22 富士フイルム株式会社 撮像装置及びその制御方法
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
CN103793904B (zh) * 2012-10-29 2016-12-21 深圳先进技术研究院 图像配准装置及其图像配准的方法
CN105744256B (zh) * 2016-03-31 2017-12-05 天津大学 基于图谱视觉显著的立体图像质量客观评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221423A (ja) * 2006-02-16 2007-08-30 Matsushita Electric Ind Co Ltd 撮像装置
WO2011067850A1 (ja) * 2009-12-04 2011-06-09 キヤノン株式会社 画像処理装置
WO2014020970A1 (ja) * 2012-07-31 2014-02-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
JP2017200157A (ja) * 2016-05-01 2017-11-02 株式会社コンフォートビジョン研究所 高解像度立体撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7437957B2 (ja) 2020-02-06 2024-02-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器

Also Published As

Publication number Publication date
JPWO2019155944A1 (ja) 2021-01-28
TW202310606A (zh) 2023-03-01
US20210029331A1 (en) 2021-01-28
CN111543053B (zh) 2022-09-16
JP7225131B2 (ja) 2023-02-20
JP2023061999A (ja) 2023-05-02
KR20200120608A (ko) 2020-10-21
CN115460387B (zh) 2024-04-19
CN115460384A (zh) 2022-12-09
US20230254596A1 (en) 2023-08-10
CN111543053A (zh) 2020-08-14
CN115460387A (zh) 2022-12-09
TWI785193B (zh) 2022-12-01
DE112019000735T5 (de) 2020-10-22
TW201937916A (zh) 2019-09-16
CN115460385A (zh) 2022-12-09
US11665440B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
WO2020050289A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2020230675A1 (ja) 撮像素子および電子機器
WO2018180569A1 (ja) 固体撮像装置、および電子機器
US11936979B2 (en) Imaging device
US20230254596A1 (en) Image processor, image processing method, and imaging device
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
JP2018186398A (ja) 固体撮像装置、および電子機器
WO2018131509A1 (ja) 撮像素子、製造方法、および電子機器
JP2018113637A (ja) 固体撮像素子および電子機器
JP7034925B2 (ja) 固体撮像装置および撮像方法
WO2019017217A1 (ja) 固体撮像素子およびその制御方法、並びに電子機器
WO2017150168A1 (ja) 撮像素子及び電子機器
KR102666651B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 장치
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
CN114556906A (zh) 摄像装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19750389

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019570697

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19750389

Country of ref document: EP

Kind code of ref document: A1