WO2014091706A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2014091706A1
WO2014091706A1 PCT/JP2013/007030 JP2013007030W WO2014091706A1 WO 2014091706 A1 WO2014091706 A1 WO 2014091706A1 JP 2013007030 W JP2013007030 W JP 2013007030W WO 2014091706 A1 WO2014091706 A1 WO 2014091706A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
image sensor
image data
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/007030
Other languages
English (en)
French (fr)
Inventor
高山　淳
基広 浅野
賢治 金野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to US14/651,363 priority Critical patent/US20150332433A1/en
Priority to JP2014551871A priority patent/JPWO2014091706A1/ja
Publication of WO2014091706A1 publication Critical patent/WO2014091706A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to an imaging device including an imaging element array in which a plurality of imaging elements are arranged.
  • a mobile device such as a mobile phone or a smartphone is equipped with a camera module as a standard.
  • a camera module as a standard.
  • thinning portable devices there is a strong demand for thinning portable devices, and accordingly, thinning of camera modules is also required.
  • Patent Document 1 discloses an imaging device that includes a camera array in which a plurality of imaging elements are arranged and a plurality of lens elements corresponding to the imaging elements, and each imaging element is configured by a monochromatic filter. Yes.
  • this imaging apparatus small image data is acquired from each imaging element, and the plurality of image data are combined to generate a single piece of high-definition image data.
  • Patent Document 2 discloses an image input device in which a single color filter is arranged in each unit composed of a plurality of light receiving cells. Similarly to Patent Document 1, in Patent Document 2, since a single color filter is arranged in each unit, the lens is reduced in size.
  • Patent Documents 1 and 2 since only one color signal can be obtained from each image sensor, when a color image is to be obtained, an image captured by an image sensor in which at least three different color filters are arranged. It is necessary to synthesize data. When combining a plurality of pieces of image data obtained from the image sensor into a single piece of image data, it is necessary to use a combining process such as aligning and adding the plurality of pieces of image data, or a super-resolution process.
  • JP 2011-523538 A Japanese Patent No. 3705766
  • An object of the present invention is to provide an imaging apparatus capable of generating a color image at high speed in an imaging apparatus including an imaging element array in which a plurality of imaging elements are arranged.
  • An imaging apparatus includes a plurality of optical systems arranged in a matrix and an imaging element array including imaging elements corresponding to the optical systems, and the imaging element array has at least different spectral characteristics. It includes a first image sensor on which two types of color filters are arranged, and a second image sensor on which one type of color filter is arranged.
  • a color moving image can be generated at high speed in an imaging apparatus including an imaging element array in which a plurality of imaging elements are arranged.
  • FIG. 1 shows the outline
  • FIG. 1 It is the figure which showed the 6th example of the arrangement pattern of the color filter of the imaging device by embodiment of this invention. It is a block diagram of an imaging device at the time of adopting the arrangement pattern of FIG. It is a block diagram of an imaging device at the time of adopting the arrangement pattern of FIG.
  • FIG. 1 is a diagram showing an outline of an imaging apparatus according to an embodiment of the present invention.
  • the imaging device includes an imaging element array 11 for imaging a subject and an array lens 12 provided on the light receiving surface side of the imaging element array 11.
  • the array lens 12 includes a plurality of lenses 20 (an example of an optical system) arranged in a matrix.
  • the image sensor array 11 includes a plurality of image sensors 30 corresponding to the respective lenses 20.
  • a plurality of image sensors 30 are arranged in a matrix with, for example, M (M is an integer of 2 or more) rows ⁇ N (N is an integer of 2 or more) columns.
  • lenses 20 are provided corresponding to the respective imaging elements 30.
  • the lens 20 a single lens may be employed, or a lens group in which a plurality of lenses are combined may be employed.
  • the imaging element 30 includes, for example, a plurality of pixels arranged in m (an integer of 2 or more) rows ⁇ n (an integer of 2 or more) columns.
  • a CMOS image sensor or a CCD image sensor is employed as the image sensor 30.
  • the image sensor 30 may be configured by dividing one image sensor formed on the same substrate into a plurality of light receiving regions, or by forming a plurality of image sensors on the same substrate. Alternatively, it may be configured by arranging image pickup devices on different substrates on the same plane. Further, the angle of view of the array lens 12 is adjusted so that substantially the same subject can be imaged. Therefore, the image data captured by each image sensor 30 is image data in which substantially the same subject is reflected.
  • FIG. 2 is a diagram showing a first example of the arrangement pattern of the color filters of the imaging apparatus according to the embodiment of the present invention.
  • an RGB mosaic filter is arranged on the image sensor 30 in the first row and the first column, and R (red), G (green), or B ( A single color filter (blue) is placed.
  • the image sensor 30 on which the RGB mosaic filter is arranged is described as an image sensor 301
  • the image sensor 30 on which the monochromatic filter is arranged is described as an image sensor 302.
  • the R, G, B monochromatic filters arranged in the image sensor 302 are arranged in a Bayer array.
  • the RGB mosaic filters arranged in the image sensor 301 are arranged in a Bayer array with R, G, and B color filters.
  • a Bayer arrangement a mode is adopted in which G color filters are arranged in a checkered pattern, and R and B color filters are arranged in a one-to-one ratio in the remaining region, but this is only an example. Absent.
  • the color filters arranged in a checkered pattern may adopt a B or R Bayer arrangement.
  • RGB mosaic filters, B, G, and B single color filters are arranged in order from the first column in the first row, and R, G in order from the first column in the second row.
  • R, and G single color filters are arranged, and in the third row, G, B, G, and B single color filters are arranged in order from the first column, and the fourth row is the first column. In this order, R, G, R, and G single color filters are arranged.
  • the image pickup element 301 is divided into, for example, 4 rows ⁇ 6 columns of photoelectric conversion regions (pixels) 303, and R, G, or B monochromatic filters are arranged in the respective photoelectric conversion regions 303.
  • the imaging element 301 has a plurality of pixels arranged in a matrix of predetermined rows m ⁇ predetermined columns n.
  • One pixel is arranged in the photoelectric conversion region 303.
  • the image sensor 301 has a plurality of pixels arranged in 4 rows ⁇ 6 columns, but this is only an example.
  • a plurality of pixels may be arranged so that the number of pixels of the image sensor 301 is about 1 Mbyte.
  • the RGB mosaic filter is arranged in one image sensor 301 in the image sensor array 11 shown in FIG. 2, for example, when capturing a moving image, only image data captured by the image sensor 301 is used. By doing so, a color image can be obtained without performing a process of combining a plurality of image data. On the other hand, when a still image is captured, a high-definition color image can be obtained by combining a plurality of image data captured by all the image sensors 30.
  • the image sensor 301 corresponds to an example of a first image sensor in which at least two types of color filters having different spectral characteristics are arranged.
  • the image sensor 302 corresponds to an example of a second image sensor on which a single color filter is arranged.
  • the RGB mosaic filter is disposed only on one image sensor 30, but this is only an example, and may be disposed on two or more image sensors 30, for example, two or three. .
  • the RGB mosaic filter is arranged in the image sensor 30 in the first row and the first column, but this is an example, and the RGB mosaic filter may be arranged at other positions such as near the center.
  • FIG. 3 is a diagram showing a second example of the color filter arrangement pattern of the imaging apparatus according to the embodiment of the present invention.
  • RGB mosaic filters are arranged in the two image sensors 301 in the second row and third column and the third row and second column, and any of R, G, or B is arranged in the remaining image sensor 302. These single color filters are arranged.
  • the other points are the same as the arrangement pattern shown in FIG.
  • the RGB mosaic filter is provided at the center of the image sensor array 11. Therefore, when a moving image is picked up, a color image can be obtained by combining image data picked up by the two image pickup elements 301, and a color image with a high S / N ratio can be obtained even in a dark scene. Therefore, the arrangement pattern of FIG. 3 is effective in a dark scene.
  • FIG. 4 is a diagram showing a third example of the arrangement pattern of the color filters of the imaging apparatus according to the embodiment of the present invention.
  • an RG mosaic filter is arranged in the image sensor 301 in the second row and third column
  • a BG mosaic filter is arranged in the image sensor 301 in the third row and second column.
  • the other points are the same as the arrangement pattern shown in FIG.
  • the R color filter and the G color filter are arranged in a checkered pattern.
  • R and G color filters are alternately arranged in order from the first column in the first row, and G and R in the second row in order from the first column.
  • R and G color filters are arranged such that the color filters are arranged alternately.
  • the B color filter and the G color filter are arranged in a checkered pattern. Specifically, in the image sensor 301 in the third row and the second column, B and G color filters are alternately arranged in order from the first column in the first row, and G and B in the second row in order from the first column. B and G color filters are arranged such that the color filters are arranged alternately.
  • the lens 20 can be downsized. Further, when the thickness of the lens 20 is the same as that when the three-color mosaic filter is employed, the performance of the lens 20 can be improved.
  • the B information is not obtained from the image sensor 301 in the second row and the third column
  • the R information is not obtained from the image sensor 301 in the third row and the second column.
  • information about R, G, and B is obtained, so that an RGB color image is obtained. Therefore, in the arrangement pattern of FIG. 4, when capturing a moving image, the image data obtained by the image sensor 301 in the second row and the third column is synthesized with the image data obtained by the image sensor 301 in the third row and the second column. Thus, a color image can be obtained.
  • FIG. 5 is a block diagram of the imaging apparatus when the arrangement pattern of FIG. 2 is adopted.
  • the imaging apparatus includes a lens 20, an imaging element RGB, imaging elements G1 to Gk (k is an integer of 2 or more), imaging elements B1 to Bk, imaging elements R1 to Rk, a color separation unit 501, a switch 502, an image processing unit 503, A display 504, a compression unit 505, a recording medium 506, a communication unit 507, memories G10, B10, R10, super-resolution processing units G30, B30, R30, and memories G20, B20, R20 are included.
  • the lens 20 is provided corresponding to each of the imaging elements RGB, the imaging elements G1 to Gk, the imaging elements B1 to Bk, and the imaging elements R1 to Rk.
  • the image sensor RGB corresponds to the image sensor 301 in FIG.
  • the image sensors G1 to Gk correspond to the image sensor 302 on which the G color filter of FIG. 2 is arranged.
  • the image sensors B1 to Bk correspond to the image sensor 302 in which the color filter B in FIG. 2 is arranged.
  • the image sensors R1 to Rk correspond to the image sensor 302 in which the R color filter of FIG. 2 is arranged.
  • the color separation unit 501 separates image data captured by the image sensor RGB into three color components R, G, and B.
  • the switch 502 connects the color separation unit 501 to the image processing unit 503 when a moving image is captured. As a result, the R, G, and B color components separated by the color separation unit 501 are output to the image processing unit 503.
  • the switch 502 connects the color separation unit 501 to the memories G10, B10, and R10 when a still image is captured. As a result, the R, G, and B color components separated by the color separation unit 501 are written in the memories G10, B10, and R10, respectively.
  • the image processing unit 503 When a moving image is captured, the image processing unit 503 performs predetermined image processing on the image data of the R, G, and B color components separated by the color separation unit 501 to generate a color image, and displays the display 504. Output to. In addition, when a still image is captured, the image processing unit 503 reads the image data subjected to the super-resolution processing from each of the memories G20, B20, and R20, performs gamma correction, generates a color image, and displays it on the display 504. Output.
  • examples of the predetermined image processing include color interpolation processing and gamma correction.
  • the color interpolation process for example, a process of interpolating missing pixels in image data of R, G, and B color components that have been color-separated is employed.
  • the gamma correction for example, a process of correcting the image characteristic of the image data obtained by the image sensor 30 to a characteristic suitable for the output characteristic of the display 504 is employed.
  • the image processing unit 503 also outputs the image data after the image processing to the compression unit 505 as necessary.
  • the memory G10 is an image memory that individually holds the image data of the G color component of the image data obtained by the image sensor RGB and the k pieces of image data obtained by the image sensors G1 to Gk.
  • the memory B10 is an image memory that individually holds the image data of the B color component of the image data obtained by the image sensor RGB and the k pieces of image data obtained by the image sensors B1 to Bk.
  • the memory R10 is an image memory that individually holds R color component image data of image data obtained by the image sensor RGB and k pieces of image data obtained by the image sensors R1 to Rk.
  • the super-resolution processing unit G30 performs super-resolution processing on the image data held in the memory G10, generates a single G-component super-resolution processing image, and writes it to the memory G20.
  • the super-resolution processing units B30 and R30 also generate one B-component and R-component super-resolution processing image from the image data held in the memories B10 and R10, respectively. Write to B20, R20.
  • the super-resolution processing units G30, B30, and R30 depend on the lens performance with respect to the resolution of the image sensor 30, for example, an image having a resolution of a sub-pixel level about 5 times the resolution of the image sensor 30. Generate data.
  • the super-resolution processing units G30, B30, and R30 to generate image data at the sub-pixel level, it is preferable that the shift between the image data captured by the adjacent image sensors 30 is at the sub-pixel level.
  • super-resolution processing units G30, B30, and R30 are provided, but instead, a G addition unit that combines the image data held in the memories G10, B10, and R10 into one piece of image data, B An addition unit and an R addition unit may be provided.
  • the G addition unit, the B addition unit, and the R addition unit each store a deviation amount of each image sensor 30 when a certain image sensor 30 is used as a reference. Then, the G addition unit, the B addition unit, and the R addition unit each align the image data captured by each imaging element 30 using this shift amount, and then add them to one image data. What is necessary is just to synthesize.
  • the memory G20 stores G image data that has undergone super-resolution processing. Similarly to the memory G20, the memories B20 and R20 also store B and R image data subjected to super-resolution processing, respectively.
  • the compression unit 505 compresses the image data output from the image processing unit 503.
  • the compression method of the compression unit 505 various methods can be employed.
  • the compression unit 505 in the case of a moving image, the compression unit 505 is an The image data may be compressed by a method such as H.264 or motion JPEG.
  • the compression unit 505 may compress image data using a method such as JPEG.
  • the display 504 employs various display devices such as a liquid crystal panel and an organic EL panel, for example, and displays the image data output from the image processing unit 503.
  • the recording medium 506 is configured by, for example, a stationary rewritable storage device such as a hard disk or a portable rewritable storage device such as a memory card, and stores the image data compressed by the compression unit 505.
  • the communication unit 507 includes, for example, a wireless LAN or wired LAN communication module or a mobile phone communication module, and transmits the image data compressed by the compression unit 505 to the outside and receives the image data from the outside.
  • a subject is imaged by the image sensor RGB, and image data is imaged.
  • the captured image data is separated into R, G, and B color component image data by the color separation unit 501 and input to the image processing unit 503 via the switch 502.
  • the image data input to the image processing unit 503 is subjected to gamma correction and color interpolation processing, converted into image data composed of three color components R, G, and B, and displayed on the display 504.
  • the image data is compressed by the compression unit 505 and then stored in the recording medium 506.
  • the image data is transmitted to the outside by the communication unit 507 when a transmission instruction is input by the user, for example.
  • the subject is imaged by all the imaging elements 30, and image data is acquired.
  • the G image data picked up by the image pickup devices RGB and the G image data picked up by the image pickup devices G1 to Gk are temporarily stored in the memory G10.
  • the B image data captured by the image sensor RGB and the B image data captured by the image sensors B1 to Bk are also temporarily stored in the memory B10, and the R image data captured by the image sensor RGB.
  • the R image data picked up by the image pickup devices R1 to Rk is also temporarily stored in the memory R10.
  • the super-resolution processing unit G30 combines the G image data stored in the memory G10 into one G image data by super-resolution processing, and writes it into the memory G20.
  • the super-resolution processing units B30 and R30 also combine the B and R image data stored in the memories B10 and R10 into a single piece of B and R image data, and write them into the memories B20 and R20.
  • the G, B, and R image data after super-resolution processing stored in the memories G20, B20, and R20 are subjected to image processing such as gamma correction and color interpolation processing by the image processing unit 503, and the display 504 is processed. Is displayed. Further, the R, G, B image data after the super-resolution processing is stored in the recording medium 506 as needed after image processing in the image processing unit, or is transmitted to the outside by the communication unit 507.
  • the present invention when still images are captured, the image data captured by all the image sensors 30 are combined.
  • the present invention is not limited to this, and the image data captured by the image sensors RGB is still captured. May be adopted.
  • high-quality image data is not required, so there is no problem even if image data captured by the image sensor RGB is employed as a still image.
  • an imaging unit may be provided with an operation unit, and a user may operate the operation unit to select a moving image mode or a still image mode.
  • FIG. 9 is a block diagram of the imaging apparatus when the arrangement pattern of FIG. 3 is adopted.
  • two image sensors RGB1 and RGB2 are provided, two color separation units 501 and 508 are provided corresponding to the image sensors RGB1 and RGB2, respectively.
  • a combining unit 509 is provided for combining image data picked up by the image pickup devices RGB1 and RGB2.
  • the image sensor RGB1 corresponds to, for example, the image sensor 301 in the second row and the third column in FIG. 3
  • the image sensor RGB2 corresponds to, for example, the image sensor 301 in the third row and the second column in FIG.
  • the description of the same configuration as in FIG. 5 is omitted.
  • the switch 502 connects the color separation unit 501 and the color separation unit 508 to the synthesis unit 509 when a moving image is captured.
  • the switch 502 connects the color separation unit 501 and the color separation unit 508 to the memories G10, B10, and R10 when a still image is captured.
  • the color separation unit 501 separates image data captured by the image sensor RGB1 into three color components R, G, and B. Similar to the color separation unit 501, the color separation unit 508 also separates the image data captured by the image sensor RGB2 into R, G, and B color components.
  • the memory G10 includes two G color component image data color-separated by the color separation unit 501 and the color separation unit 508, and k G color component image data imaged by the imaging elements G1 to Gk. Hold.
  • the memories B10 and R10 also hold image data of B and R color components, respectively.
  • the composition unit 509 When a moving image is captured, the composition unit 509 performs image data of R, G, and B color components that are color-separated by the color separation unit 501 and R, G, and B colors that are color-separated by the color separation unit 508.
  • the component image data is combined with one piece of image data.
  • the synthesizing unit 509 stores in advance the amount of deviation between the image sensor RGB1 and the image sensor RGB2. Then, the color separation unit 508 aligns the image data color-separated by the color separation unit 501 and the image data color-separated by the color separation unit 508 using this shift amount, and adds each color component, One image data composed of R, G, and B color components is generated.
  • the composition unit 509 since the composition unit 509 only needs to perform alignment and addition processing, the image data can be synthesized with a low load.
  • the combining unit 509 may combine the image data captured by the image sensor RGB1 and the image data captured by the image sensor RGB2 using super-resolution processing. Note that when super-resolution processing is adopted, the processing load becomes larger than when alignment and addition processing is performed. However, if the number of images of the image pickup devices RGB1 and RGB2 is small, the load is low, so there is a certain limitation. Under the above conditions (for example, when the frame rate is small), there is no problem even if the synthesizing unit 509 adopts super-resolution processing.
  • FIG. 10 is a block diagram of the imaging apparatus when the arrangement pattern of FIG. 4 is adopted.
  • two image sensors RG and BG are provided, two color separation units 501 and 508 are provided corresponding to the image sensors RG and BG, respectively.
  • a synthesizing unit 509 for synthesizing image data captured by the image sensors RG and BG is provided. 10, the description of the same configuration as in FIG. 9 is omitted.
  • the synthesis unit 509 when capturing a moving image, the synthesis unit 509 generates G color component image data from two image data captured by the two imaging elements 30 of the imaging element RG and the imaging element BG.
  • the B color component image data is generated from the image data captured by the image sensor BG
  • the R color component image data is generated from the image data captured by the image sensor RG.
  • the synthesizing unit 509 may add only the image data of the G color component.
  • the combining unit 509 may combine the image data of the two G color components using super-resolution processing.
  • FIG. 6 is a diagram showing a fourth example of the color filter arrangement pattern of the imaging apparatus according to the embodiment of the present invention.
  • the YMGC mosaic filter is arranged in the image sensor 301 in the first row and the first column, and any one of R, G, or B single color filter is arranged in the remaining image sensor 302. Is arranged.
  • the other points are the same as the arrangement pattern shown in FIG.
  • YMCG mosaic filter color filters having spectral characteristics of Y (yellow), M (magenta), C (cyan), and G (green) are arranged.
  • the Y, M, C, and G color filters are arranged in 4 rows ⁇ 6 columns, but this is merely an example, and other patterns and the number of pixels may be arranged.
  • the block diagram of the imaging apparatus may be the one shown in FIG. Specifically, in FIG. 5, the image sensor RGB is replaced with the image sensor 301 in which the YMCG mosaic filter shown in FIG. 6 is arranged.
  • the image sensor 301 on which the YMCG mosaic filter is arranged is described as an image sensor YMCG.
  • the color separation unit 501 separates the image data captured by the image sensor YMCG into four color components Y, M, C, and G.
  • the image processing unit 503 converts the four color components Y, M, C, and G separated by the color separation unit 501 into three color components R, G, and B through arithmetic processing. Further, image processing such as gradation conversion is performed and displayed on the display 504.
  • the process of converting the four color components Y, M, C, and G into the three color components R, G, and B may be performed by the color separation unit 501.
  • the color separation unit 501 separates image data captured by the image sensor YMCG into four color components Y, M, C, and G, and then performs R, G, Converted into B color components and written in the memories G10, B10, and R10, respectively.
  • FIG. 7 is a diagram showing a fifth example of the arrangement pattern of the color filters of the imaging apparatus according to the embodiment of the present invention.
  • a WRGB mosaic filter is arranged in the image sensor 301 in the first row and the first column, and any one of R, G, or B monochrome filters is arranged in the remaining image sensor 302. Is arranged.
  • the other points are the same as the arrangement pattern shown in FIG.
  • the WRGB mosaic filter is a filter in which a W (white) region where no color filter is arranged and a color filter having spectral characteristics of B (blue), R (red), and G (green) are arranged in a mosaic pattern. It is.
  • a W color filter is arranged in the W region, but in reality, no W color filter is arranged in the W region.
  • the W, R, G, and B color filters are arranged in 4 rows ⁇ 6 columns, but this is only an example, and other arrangement patterns may be arranged.
  • the block diagram of the imaging apparatus may be the one shown in FIG. Specifically, in FIG. 5, the image sensor RGB is replaced with an image sensor 301 in which the WRGB mosaic filter shown in FIG. 7 is arranged.
  • the image sensor 301 in which the WRGB mosaic filter is arranged is described as an image sensor WRGB.
  • the color separation unit 501 separates image data captured by the image sensor WRGB into four color components W, R, G, and B.
  • the image processing unit 503 calculates the three color components R, G, and B by performing arithmetic processing on the four color components W, R, G, and B color-separated by the color separation unit 501.
  • image processing such as gradation conversion may be performed and displayed on the display 504.
  • the color separation unit 501 may perform the process of converting the four color components W, R, G, and B into the three color components R, G, and B.
  • the color separation unit 501 separates image data captured by the image sensor WRGB into four color components W, R, G, and B, and then colors G, B, and R What is necessary is just to convert into a component and to write in memory G10, B10, and R10, respectively.
  • FIG. 8 is a diagram showing a sixth example of the arrangement pattern of the color filters of the imaging apparatus according to the embodiment of the present invention.
  • the WYR mosaic filter is arranged in the image sensor 301 in the first row and the first column, and any one of R, G, or B monochrome filters is arranged in the remaining image sensor 302. Is arranged.
  • the other points are the same as the arrangement pattern shown in FIG.
  • the WYR mosaic filter In the WYR mosaic filter, a W (white) region in which no color filter is arranged and a region in which color filters having spectral characteristics of Y (yellow) and R (red) are arranged in a mosaic pattern. .
  • the W color filters are arranged in a checkered pattern, and the R color filters and the Y color filters are arranged in a one-to-one ratio in the remaining region, but this is only an example.
  • the color filter arranged in a checkered pattern may be an R or Y color filter.
  • the W, Y, and R color filters are arranged in 4 rows ⁇ 6 columns, but this is only an example and may be arranged in other patterns.
  • the block diagram of the imaging apparatus may be the one shown in FIG. Specifically, in FIG. 5, the image sensor RGB is replaced with the image sensor 301 in which the WYR mosaic filter shown in FIG. 8 is arranged.
  • the image sensor 301 on which the WYR mosaic filter is arranged is described as an image sensor WYR.
  • the color separation unit 501 separates image data picked up by the image pickup element WYR into three color components W, Y, and R.
  • the image processing unit 503 converts the W, Y, and R color components color-separated by the color separation unit 501 into R, G, and B color components by an arithmetic process.
  • Image processing such as tone conversion may be performed and displayed on the display 504.
  • the process of converting the W, Y, and R color components into the R, G, and B color components may be performed by the color separation unit 501.
  • the color separation unit 501 separates the image data captured by the image sensor WYR into three color components W, Y, and R, and then performs G, B, and R by arithmetic processing. What is necessary is just to convert into a color component and to write in memory G10, B10, and R10, respectively.
  • the image sensor 301 is arranged in the first row and the first column. However, this is only an example, and it may be arranged in another position. A plurality of image sensors 301 may be arranged. When a plurality of image sensors 301 are arranged, the block diagram of the image sensor shown in FIG. 9 may be employed.
  • the imaging apparatus of the present embodiment when capturing a moving image, the image data captured by the imaging element 301 in which at least two colors of mosaic filters are arranged is employed.
  • the load can be suppressed and the power consumption can be suppressed.
  • the number of the image pickup elements 301 is one or two. However, the number is not limited to this and may be three or more.
  • the imaging device includes a plurality of optical systems arranged in a matrix and an imaging element array including imaging elements corresponding to each optical system, and the imaging element array has spectral characteristics. It includes a first image sensor on which at least two different color filters are arranged, and a second image sensor on which one kind of color filter is arranged.
  • an image sensor array is configured by arranging a plurality of image sensors in a matrix.
  • the imaging element array includes a first imaging element in which two types of color filters are arranged and a second imaging element in which one type of color filter is arranged. Therefore, when capturing a moving image that requires high-speed processing, it is possible to generate a color image by combining image data captured by the first image sensor.
  • the processing load is reduced as compared with a case where a color image is synthesized from image data captured by all the image sensors. It can be obtained at high speed. In addition, power saving is achieved by reducing the processing load.
  • a color image can be generated at a higher speed.
  • the image data captured by the first image sensor and the second image sensor are combined to have three color components. Color image data can also be generated at high speed.
  • high-definition color images can be obtained by combining image data captured by all image sensors using super-resolution processing or the like. it can.
  • a mosaic filter of at least two colors is arranged in the first image sensor, and a monochromatic filter is arranged in the second image sensor.
  • a color image having at least two color components can be obtained in real time.
  • a monochromatic filter is disposed in the second image sensor, a high-definition color image can be obtained by combining image data obtained by the first image sensor and the second image sensor.
  • the single color filter arranged in at least one of the second imaging elements has the same color as any one color constituting the mosaic filter.
  • the single color filter arranged in the second image sensor is the same color as any one of the mosaic filters arranged in the first image sensor, it is obtained by the first image sensor and the second image sensor. By synthesizing the obtained image data, higher-definition image data can be obtained for the color.
  • the first image sensor is used for obtaining moving image data.
  • the first image sensor is used when obtaining moving image data. Therefore, it is possible to obtain a moving color image at a higher speed than in the case where moving image data is generated by combining image data captured by all the imaging elements.
  • an RGB mosaic filter is disposed in the first image sensor.
  • the RGB mosaic filter is arranged in the first image sensor, a color moving image having RGB color components can be generated in real time.
  • first imaging elements There are a plurality of the first imaging elements, and at least one of the first imaging elements is provided with a GR mosaic filter, and the remaining first imaging elements are provided with a GB mosaic filter. preferable.
  • the wavelength band transmitted through the optical system is narrower than that in the case where the three color filters are arranged, and the first imaging element.
  • the optical system disposed in the element can be reduced in size.
  • the GR mosaic filter is disposed in at least one first image sensor and the GB mosaic filter is disposed in the remaining first image sensor, image data captured by both the first image sensors is stored. By synthesizing, a color moving image having RGB color components can be generated in real time.
  • a YMCG mosaic filter is disposed in the first image sensor.
  • the YMCG mosaic filter which is generally more sensitive than the RGB mosaic filter, is arranged in the first image sensor, it becomes more sensitive and obtains image data with good S / N in real time. be able to.
  • a WRGB mosaic filter is disposed in the first image sensor.
  • image data of W (white) color components in addition to RGB can be obtained.
  • the W color component has spectral sensitivity in the entire band. Therefore, by generating image data of RGB color components using image data of W color components, it is possible to obtain image data with higher sensitivity and good S / N.
  • a WYR mosaic filter is disposed in the first image sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

　撮像素子アレイ（１１）を構成する１つの撮像素子（３０１）にＲＧＢモザイクフィルタを配置する。残りの撮像素子（３０２）には、Ｒ、Ｇ、又はＢの単色フィルタを配置する。動画を撮像する際は、撮像素子（３０１）により撮像された画像データをディスプレイに表示し、静止画を撮像する際は、全ての撮像素子（３０）により撮像された画像データを超解像処理で合成してディスプレイに表示する。

Description

撮像装置
　本発明は、複数の撮像素子が配列された撮像素子アレイを備える撮像装置に関するものである。
　携帯電話やスマートフォンといった携帯機器には、カメラモジュールが標準で搭載されているのが一般的である。近年、携帯機器に対する薄型化の要求が強く、それに伴い、カメラモジュールに対しても薄型化が要求されている。
　例えば、特許文献１には、複数の撮像素子が配列されたカメラアレイと、各撮像素子に対応する複数のレンズ素子とを含み、各撮像素子が単色フィルタで構成された撮像装置が開示されている。この撮像装置では、各撮像素子から小さな画像データが取得され、これら複数の画像データが合成されて一枚の高精細な画像データが生成される。
　特許文献１の撮像装置では、各撮像素子に単色のフィルタが配置されているため、レンズ素子は１の分光感度に対応すれば済み、レンズ素子の小型化が図られている。
　また、特許文献２には、複数の受光セルからなる各ユニットに単色のフィルタが配置された画像入力装置が開示されている。特許文献２も特許文献１と同様、各ユニットに単色のフィルタが配置されているため、レンズの小型化が図られている。
　しかしながら、特許文献１、２では、各撮像素子から１色の信号しか得られないため、カラー画像を得ようとした場合、最低でも３つの異なる色フィルタが配置された撮像素子により撮像された画像データを合成する必要がある。撮像素子から得られた複数の画像データを１枚の画像データに合成する場合、複数の画像データを位置合わせして加算するといった合成処理や、超解像処理を利用する必要がある。
　例えば、超解像処理では、各画像データの画素数にもよるが、１枚の画像データを合成するのに数分以上かかることもある。このような処理は静止画であれば大きな問題とならないが、リアルタイム性が求められる動画では大きな問題となる。
特開２０１１－５２３５３８号公報 特許第３７０５７６６号公報
　本発明の目的は、複数の撮像素子が配列された撮像素子アレイを備える撮像装置において、カラー画像を高速に生成することができる撮像装置を提供することである。
　本発明の一態様による撮像装置は、マトリックス状に配置された複数の光学系と、各光学系に対応した撮像素子を備える撮像素子アレイとを含み、前記撮像素子アレイは、分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子と、１種類の色フィルタが配置された第２撮像素子とを含む。
　本態様によれば、複数の撮像素子が配列された撮像素子アレイを備える撮像装置において、カラー動画像を高速に生成することができる。
本発明の実施の形態による撮像装置の概要を示す図である。 本発明の実施の形態による撮像装置の色フィルタの配置パターンの第１例を示した図である。 本発明の実施の形態による撮像装置の色フィルタの配置パターンの第２例を示した図である。 本発明の実施の形態による撮像装置の色フィルタの配置パターンの第３例を示した図である。 図２の配置パターンを採用した場合の撮像装置のブロック図である。 本発明の実施の形態による撮像装置の色フィルタの配置パターンの第４例を示した図である。 本発明の実施の形態による撮像装置の色フィルタの配置パターンの第５例を示した図である。 本発明の実施の形態による撮像装置の色フィルタの配置パターンの第６例を示した図である。 図３の配置パターンを採用した場合の撮像装置のブロック図である。 図４の配置パターンを採用した場合の撮像装置のブロック図である。
　図１は、本発明の実施の形態による撮像装置の概要を示す図である。撮像装置は、被写体を撮像するための撮像素子アレイ１１及び撮像素子アレイ１１の受光面側に設けられたアレイレンズ１２を含む。アレイレンズ１２は、マトリックス状に配置された複数のレンズ２０（光学系の一例）を含む。撮像素子アレイ１１は、各レンズ２０に対応した複数の撮像素子３０を含む。
　ここで、撮像素子アレイ１１は、複数の撮像素子３０が、例えば、Ｍ（Ｍは２以上の整数）行×Ｎ（Ｎは２以上の整数）列でマトリックス状に配置されている。また、各撮像素子３０のそれぞれに対応してレンズ２０が設けられている。ここで、レンズ２０としては、単レンズを採用してもよいし、複数のレンズを組み合わせたレンズ群を採用してもよい。
　撮像素子３０は、例えば、ｍ（２以上の整数）行×ｎ（２以上の整数）列で配列された複数の画素を備えている。撮像素子３０としては、例えば、ＣＭＯＳ方式の撮像素子やＣＣＤ方式の撮像素子が採用される。なお、撮像素子３０は、同一基板上に形成された１つの撮像素子を複数の受光領域に分けることで構成されてもよいし、同一基板上に複数の撮像素子を形成することで構成してもよいし、別基板の撮像素子を同一平面上に配置することで構成されてもよい。また、アレイレンズ１２は、ほぼ同じ被写体が撮像できるように画角が調整されている。そのため、各撮像素子３０が撮像する画像データはほぼ同じ被写体が映った画像データとなる。
　図２は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第１例を示した図である。第１例の配置パターンでは、１行１列目の撮像素子３０には、ＲＧＢモザイクフィルタが配置され、残りの撮像素子３０には、それぞれ、Ｒ（レッド）、Ｇ（グリーン）、又はＢ（ブルー）のいずれかの単色フィルタが配置されている。以下、ＲＧＢモザイクフィルタが配置された撮像素子３０を撮像素子３０１と記述し、単色フィルタが配置された撮像素子３０を撮像素子３０２と記述する。
　ここで、撮像素子３０２に配置されたＲ、Ｇ、Ｂの単色フィルタはベイヤー配列で配置されている。また、撮像素子３０１に配置されたＲＧＢモザイクフィルタも、Ｒ、Ｇ、Ｂの色フィルタがベイヤー配列で配置されている。ベイヤー配列としては、Ｇの色フィルタが市松模様状に配置され、残りの領域にＲ、Ｂの色フィルタが１対１の比で配置される態様が採用されるが、これは、一例にすぎない。例えば、市松模様状に配置される色フィルタがＢ又はＲのベイヤー配列を採用してもよい。
　具体的には、１行目には、１列目から順に、ＲＧＢモザイクフィルタ、Ｂ、Ｇ、Ｂの単色の色フィルタが配置され、２行目には、１列目から順に、Ｒ、Ｇ、Ｒ、Ｇの単色の色フィルタが配置され、３行目には、１列目から順に、Ｇ、Ｂ、Ｇ、Ｂの単色の色フィルタが
配置され、４行目には、１列目から順に、Ｒ、Ｇ、Ｒ、Ｇの単色の色フィルタが配置されている。
　撮像素子３０１は、例えば４行×６列の光電変換領域（画素）３０３に区分され、それぞれの光電変換領域３０３にはＲ、Ｇ、又はＢの単色フィルタが配置されている。ここで、撮像素子３０１には、所定行ｍ×所定列ｎでマトリックス状に複数の画素が配置されている。光電変換領域３０３には１つの画素が配置されている。なお、図２の例では、撮像素子３０１には４行×６列で複数の画素が配列されているが、これは一例にすぎない。例えば、撮像素子３０１の画素数が１Ｍバイト程度となるように複数の画素を配列してもよい。
　このように、図２に示す撮像素子アレイ１１では、１つの撮像素子３０１にＲＧＢモザイクフィルタが配置されているため、例えば、動画を撮像する場合、撮像素子３０１により撮像された画像データのみを採用することで、複数の画像データを合成する処理を行うことなく、カラー画像を得ることができる。一方、静止画を撮像する場合、全ての撮像素子３０で撮像された複数の画像データを合成することで高精細なカラー画像を得ることができる。
　なお、撮像素子３０１は、分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子の一例に該当する。また、撮像素子３０２は、単色フィルタが配置された第２撮像素子の一例に該当する。
　図２では、ＲＧＢモザイクフィルタは１つの撮像素子３０にのみ配置されているが、これは一例にすぎず、例えば２つ、３つというように２つ以上の撮像素子３０に配置されてもよい。また、図２では、１行１列目の撮像素子３０にＲＧＢモザイクフィルタが配置されているが、これは一例であり、中央近傍など他の位置にＲＧＢモザイクフィルタが配置されてもよい。
　図３は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第２例を示した図である。第２例の配置パターンでは、２行３列目及び３行２列目の２つの撮像素子３０１に、ＲＧＢモザイクフィルタが配置され、残りの撮像素子３０２には、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。図３の配置パターンでは、ＲＧＢモザイクフィルタが撮像素子アレイ１１の中央部に設けられている。そのため、動画を撮像する場合、２つの撮像素子３０１で撮像された画像データを合成することでカラー画像が得られ、暗いシーンであってもＳ／Ｎ比の高いカラー画像を得ることができる。よって、図３の配置パターンは暗いシーンにおいて有効である。
　図４は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第３例を示した図である。第３例の配置パターンでは、２行３列目の撮像素子３０１にＲＧモザイクフィルタが配置され、３行２列目の撮像素子３０１にＢＧモザイクフィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
　ここで、２行３列目の撮像素子３０１は、Ｒの色フィルタとＧの色フィルタとが市松模様状に配置されている。具体的には、２行３列目の撮像素子３０１は、１行目において１列目から順にＲ、Ｇの色フィルタが交互に配置され、２行目において１列目から順にＧ、Ｒの色フィルタが交互に配置されるというように、Ｒ、Ｇの色フィルタが配置されている。
　また、３行２列目の撮像素子３０１は、Ｂの色フィルタとＧの色フィルタとが市松模様状に配置されている。具体的には、３行２列目の撮像素子３０１は、１行目において１列目から順にＢ、Ｇの色フィルタが交互に配置され、２行目において１列目から順にＧ、Ｂの色フィルタが交互に配置されるというように、Ｂ、Ｇの色フィルタが配置されている。
　図４の配置パターンにおいては、２色のモザイクフィルタが配置された撮像素子３０１が２つ存在している。２色のモザイクフィルタを採用した場合、透過する光の波長帯域が３色のモザイクフィルタを採用した場合に較べて狭くなる。そのため、レンズ２０の小型化を図ることができる。また、レンズ２０の厚みを３色のモザイクフィルタを採用した場合と同じ厚みにすると、レンズ２０の性能を向上させることができる。
　なお、図４の配置パターンでは、２行３列目の撮像素子３０１からはＢの情報が得られず、３行２列目の撮像素子３０１からはＲの情報が得られない。しかしながら、両方の撮像素子３０１を合成した場合、Ｒ、Ｇ、Ｂについての情報が得られるため、ＲＧＢのカラー画像が得られる。そのため、図４の配置パターンでは、動画を撮像する場合、２行３列目の撮像素子３０１で得られた画像データと３行２列目の撮像素子３０１で得られた画像データとを合成することでカラー画像を得ることができる。
　図５は、図２の配置パターンを採用した場合の撮像装置のブロック図である。撮像装置は、レンズ２０、撮像素子ＲＧＢ、撮像素子Ｇ１～Ｇｋ（ｋは２以上の整数）、撮像素子Ｂ１～Ｂｋ、撮像素子Ｒ１～Ｒｋ、色分離部５０１、スイッチ５０２、画像処理部５０３、ディスプレイ５０４、圧縮部５０５、記録メディア５０６、通信部５０７、メモリＧ１０、Ｂ１０、Ｒ１０、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０、及びメモリＧ２０、Ｂ２０、Ｒ２０を含む。
　レンズ２０は、撮像素子ＲＧＢ、撮像素子Ｇ１～Ｇｋ、撮像素子Ｂ１～Ｂｋ、及び撮像素子Ｒ１～Ｒｋのそれぞれに対応して設けられている。撮像素子ＲＧＢは、図２の撮像素子３０１に対応する。撮像素子Ｇ１～Ｇｋは図２のＧの色フィルタが配置された撮像素子３０２に対応する。撮像素子Ｂ１～Ｂｋは図２のＢの色フィルタが配置された撮像素子３０２に対応する。撮像素子Ｒ１～Ｒｋは図２のＲの色フィルタが配置された撮像素子３０２に対応する。
　色分離部５０１は、撮像素子ＲＧＢにより撮像された画像データをＲ、Ｇ、Ｂの３つの色成分に分離する。スイッチ５０２は、動画が撮像される場合、色分離部５０１を画像処理部５０３に接続させる。これにより、色分離部５０１により分離されたＲ、Ｇ、Ｂの色成分は画像処理部５０３に出力される。
　また、スイッチ５０２は、静止画が撮像される場合、色分離部５０１をメモリＧ１０、Ｂ１０、Ｒ１０に接続させる。これにより、色分離部５０１により分離されたＲ、Ｇ、Ｂの色成分がそれぞれメモリＧ１０、Ｂ１０、Ｒ１０に書き込まれる。
　画像処理部５０３は、動画が撮像される場合、色分離部５０１により分離されたＲ、Ｇ、Ｂの色成分の画像データに対して所定の画像処理を行ってカラー画像を生成し、ディスプレイ５０４に出力する。また、画像処理部５０３は、静止画が撮像される場合、メモリＧ２０、Ｂ２０、Ｒ２０のそれぞれから超解像処理された画像データを読み出し、ガンマ補正を行ってカラー画像を生成し、ディスプレイ５０４に出力する。
　ここで、所定の画像処理としては、例えば、色補間処理やガンマ補正等が挙げられる。色補間処理としては、例えば、色分離されたＲ、Ｇ、Ｂの色成分の画像データの欠落画素を補間する処理が採用される。ガンマ補正としては、例えば、撮像素子３０により得られた画像データの画像特性をディスプレイ５０４の出力特性に適した特性に補正する処理が採用される。また、画像処理部５０３は、画像処理後の画像データを必要に応じて圧縮部５０５にも出力する。
　メモリＧ１０は、撮像素子ＲＧＢにより得られた画像データのＧの色成分の画像データと、撮像素子Ｇ１～Ｇｋにより得られたｋ枚の画像データとをそれぞれ個別に保持する画像メモリである。メモリＢ１０は、撮像素子ＲＧＢにより得られた画像データのＢの色成分の画像データと、撮像素子Ｂ１～Ｂｋにより得られたｋ枚の画像データとをそれぞれ個別に保持する画像メモリである。メモリＲ１０は、撮像素子ＲＧＢにより得られた画像データのＲの色成分の画像データと、撮像素子Ｒ１～Ｒｋにより得られたｋ枚の画像データとをそれぞれ個別に保持する画像メモリである。
　超解像処理部Ｇ３０は、メモリＧ１０が保持する画像データに対して超解像処理を実行し、１枚のＧ成分の超解像処理画像を生成し、メモリＧ２０に書き込む。超解像処理部Ｂ３０、Ｒ３０も、それぞれ、超解像処理部Ｇ３０と同様、メモリＢ１０、Ｒ１０が保持する画像データから１枚のＢ成分、Ｒ成分の超解像処理画像を生成し、メモリＢ２０、Ｒ２０に書き込む。ここで、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０は、撮像素子３０の解像度に対するレンズ性能にも依存するが、例えば撮像素子３０の解像度に対して５倍程度のサブピクセルレベルの解像度を持つ画像データを生成する。なお、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０がサブピクセルレベルの画像データを生成するためには、隣接する撮像素子３０で撮像される画像データ同士のずれはサブピクセルレベルであることが好ましい。
　図５の例では、超解像処理部Ｇ３０、Ｂ３０、Ｒ３０を設けたがこれに代えて、メモリＧ１０、Ｂ１０、Ｒ１０が保持する画像データを１枚の画像データに合成するＧ加算部、Ｂ加算部、Ｒ加算部を設けてもよい。この場合、Ｇ加算部、Ｂ加算部、及びＲ加算部に、それぞれ、ある撮像素子３０を基準としたときの各撮像素子３０のずれ量を予め記憶させておく。そして、Ｇ加算部、Ｂ加算部、及びＲ加算部は、それぞれ、このずれ量を用いて各撮像素子３０により撮像された画像データを位置合わせした後、加算することで１枚の画像データに合成すればよい。
　メモリＧ２０は、超解像処理されたＧの画像データを記憶する。メモリＢ２０、Ｒ２０も、メモリＧ２０と同様、それぞれ、超解像処理されたＢ、Ｒの画像データを記憶する。
　圧縮部５０５は、画像処理部５０３から出力された画像データを圧縮する。ここで、圧縮部５０５の圧縮方式としては種々の方式を採用することができる。例えば、動画であれば、圧縮部５０５は、Ｈ．２６４やモーションＪＰＥＧ等の方式で画像データを圧縮すればよい。また、静止画であれば、圧縮部５０５は、ＪＰＥＧ等の方式で画像データを圧縮すればよい。
　ディスプレイ５０４は、例えば、液晶パネルや有機ＥＬパネル等の種々の表示装置が採用され、画像処理部５０３から出力された画像データを表示する。記録メディア５０６は、例えば、ハードディスク等の据え置き型の書き換え可能な記憶装置や、メモリカード等の携帯式の書き換え可能な記憶装置により構成され、圧縮部５０５により圧縮された画像データを記憶する。
　通信部５０７は、例えば、無線ＬＡＮ、有線ＬＡＮの通信モジュールや、携帯電話の通信モジュールにより構成され、圧縮部５０５により圧縮された画像データを外部に送信すると共に、外部から画像データを受信する。
　次に、動画が撮像される際の撮像装置の動作について説明する。まず、撮像素子ＲＧＢにより被写体が撮像され、画像データが撮像される。撮像された画像データは、色分離部５０１により、Ｒ、Ｇ、Ｂの色成分の画像データに分離され、スイッチ５０２を介して画像処理部５０３に入力される。そして、画像処理部５０３に入力された画像データはガンマ補正や色補間処理が行われ、Ｒ、Ｇ、Ｂの３つの色成分からなる画像データにされ、ディスプレイ５０４に表示される。また、この画像データは、例えばユーザから記憶指示が入力された場合、圧縮部５０５により圧縮された後、記録メディア５０６に記憶される。また、この画像データは、例えばユーザにより送信指示が入力された場合、通信部５０７により外部に送信される。
　次に、静止画が撮像される場合の撮像装置の動作について説明する。まず、全ての撮像素子３０により被写体が撮像され、画像データが取得される。撮像素子ＲＧＢで撮像されたＧの画像データ及び撮像素子Ｇ１～Ｇｋで撮像されたＧの画像データは、一旦、メモリＧ１０に記憶される。同様にして、撮像素子ＲＧＢで撮像されたＢの画像データ及び撮像素子Ｂ１～Ｂｋで撮像されたＢの画像データも、一旦、メモリＢ１０に記憶され、撮像素子ＲＧＢで撮像されたＲの画像データ及び撮像素子Ｒ１～Ｒｋで撮像されたＲの画像データも、一旦、メモリＲ１０に記憶される。
　次に、超解像処理部Ｇ３０は、メモリＧ１０に記憶されたＧの画像データを超解像処理により１枚のＧの画像データに合成し、メモリＧ２０に書き込む。同様に、超解像処理部Ｂ３０、Ｒ３０も、それぞれ、メモリＢ１０、Ｒ１０に記憶されたＢ、Ｒの画像データを１枚のＢ、Ｒの画像データに合成し、メモリＢ２０、Ｒ２０に書き込む。
　次に、メモリＧ２０、Ｂ２０、Ｒ２０に記憶された超解像処理後のＧ、Ｂ、Ｒの画像データは、画像処理部５０３によりガンマ補正、色補間処理、等の画像処理が行われディスプレイ５０４に表示される。また、超解像処理後のＲ、Ｇ、Ｂの画像データは画像処理部での画像処理後、必要に応じて記録メディア５０６に記憶される、或いは、通信部５０７により外部に送信される。
　なお、上記の撮像装置では静止画を撮像する場合、全ての撮像素子３０により撮像された画像データを合成させていたが、これに限定されず、撮像素子ＲＧＢにより撮像された画像データを静止画として採用してもよい。撮像した画像データを例えばソーシャルネットワークの運営サイトにアップロードするような場合、高画質の画像データは要求されないため、撮像素子ＲＧＢで撮像された画像データを静止画として採用しても問題ない。
　また、動画及び静止画の撮像の切り替えは、例えば、撮像装置に操作部を設け、ユーザに操作部を操作させて動画モード又は静止画モードを選択させるようにすればよい。
　図９は、図３の配置パターンを採用した場合の撮像装置のブロック図である。図９では、２つの撮像素子ＲＧＢ１、ＲＧＢ２が設けられているため、撮像素子ＲＧＢ１、ＲＧＢ２のそれぞれに対応して２つの色分離部５０１、５０８が設けられている。また、図９では、撮像素子ＲＧＢ１、ＲＧＢ２で撮像された画像データを合成するための合成部５０９が設けられている。撮像素子ＲＧＢ１は、例えば図３において２行３列目の撮像素子３０１に対応し、撮像素子ＲＧＢ２は、例えば図３において３行２列目の撮像素子３０１に対応している。なお、図９において、図５と同じ構成のものは説明を省略する。
　スイッチ５０２は、動画が撮像される場合、色分離部５０１及び色分離部５０８を合成部５０９に接続させる。また、スイッチ５０２は、静止画が撮像される場合、色分離部５０１及び色分離部５０８をメモリＧ１０、Ｂ１０、Ｒ１０に接続させる。
　色分離部５０１は、撮像素子ＲＧＢ１により撮像された画像データをＲ、Ｇ、Ｂの３つの色成分に分離する。色分離部５０８も、色分離部５０１と同様、撮像素子ＲＧＢ２により撮像された画像データをＲ、Ｇ、Ｂの色成分に分離する。
　メモリＧ１０は、色分離部５０１及び色分離部５０８により色分離された２枚のＧの色成分の画像データと、撮像素子Ｇ１～Ｇｋにより撮像されたｋ枚のＧの色成分の画像データとを保持する。
　メモリＢ１０、Ｒ１０も、それぞれ、メモリＧ１０と同様、Ｂ、Ｒの色成分の画像データを保持する。
　合成部５０９は、動画が撮像される場合、色分離部５０１により色分離されたＲ、Ｇ、Ｂの色成分の画像データと、色分離部５０８により色分離されたＲ、Ｇ、Ｂの色成分の画像データとを１枚の画像データに合成する。ここで、合成部５０９は撮像素子ＲＧＢ１と撮像素子ＲＧＢ２とのずれ量を予め記憶しておく。そして、色分離部５０８は、このずれ量を用いて色分離部５０１により色分離された画像データと色分離部５０８により色分離された画像データとを位置合わせして色成分毎に加算し、Ｒ、Ｇ、Ｂの色成分からなる１枚の画像データを生成する。この場合、合成部５０９は位置合わせと加算処理とを行えば済むため、低負荷で画像データを合成することができる。但し、これは一例であり、合成部５０９は超解像処理を用いて、撮像素子ＲＧＢ１により撮像された画像データと撮像素子ＲＧＢ２により撮像された画像データとを合成してもよい。なお、超解像処理を採用した場合、位置合わせ及び加算処理を行う場合に比べて処理負荷が大きくなるが、撮像素子ＲＧＢ１、ＲＧＢ２の画像数が少なければ、負荷は低くなるため、ある限定された条件下（例えばフレームレートが小さい場合）には、合成部５０９は超解像処理を採用しても問題ない。
　図１０は、図４の配置パターンを採用した場合の撮像装置のブロック図である。図１０では、２つの撮像素子ＲＧ、ＢＧが設けられているため、撮像素子ＲＧ、ＢＧのそれぞれに対応して２つの色分離部５０１、５０８が設けられている。また、図１０では、撮像素子ＲＧ、ＢＧで撮像された画像データを合成するための合成部５０９が設けられている。なお、図１０において、図９と同じ構成のものは説明を省略する。
　図１０の撮像装置では、動画を撮像する場合、合成部５０９は、撮像素子ＲＧと撮像素子ＢＧとの２つの撮像素子３０により撮像された２つの画像データからＧの色成分の画像データを生成し、撮像素子ＢＧにより撮像された画像データからＢの色成分の画像データを生成し、撮像素子ＲＧにより撮像された画像データからＲの色成分の画像データを生成する。この場合、合成部５０９はＧの色成分の画像データのみを加算すればよい。なお、合成部５０９は、超解像処理を用いて、２つのＧの色成分の画像データを合成してもよい。
　図６は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第４例を示した図である。第４例の配置パターンでは、１行１列目の撮像素子３０１には、ＹＭＧＣモザイクフィルタが配置され、残りの撮像素子３０２には、それぞれ、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
　ＹＭＣＧモザイクフィルタは、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｇ（グリーン）の分光特性を持つ色フィルタが配列されている。図６の例では、Ｙ、Ｍ、Ｃ、Ｇの色フィルタは４行×６列で配列されているが、これは一例にすぎず、他のパターン、画素数で配列されてもよい。
　図６の配置パターンを採用した場合、撮像装置のブロック図は図５で示すものを採用すればよい。具体的には、図５において、撮像素子ＲＧＢを図６に示すＹＭＣＧモザイクフィルタが配置された撮像素子３０１に置き換える。以下、ＹＭＣＧモザイクフィルタが配置された撮像素子３０１を撮像素子ＹＭＣＧと記述する。色分離部５０１は、撮像素子ＹＭＣＧで撮像された画像データをＹ、Ｍ、Ｃ、Ｇの４つの色成分に分離する。画像処理部５０３は、動画が撮像される場合、色分離部５０１により色分離されたＹ、Ｍ、Ｃ、Ｇの４つの色成分を演算処理によりＲ，Ｇ，Ｂの３つの色成分に変換し、さらに階調変換などの画像処理をしてディスプレイ５０４に表示する。ここで、Ｙ、Ｍ、Ｃ、Ｇの４つの色成分をＲ、Ｇ、Ｂの３つの色成分に変換する処理は、色分離部５０１が行ってもよい。
　また、色分離部５０１は、静止画が撮像される場合、撮像素子ＹＭＣＧで撮像された画像データをＹ、Ｍ、Ｃ、Ｇの４つの色成分に分離した後、演算処理によりＲ、Ｇ、Ｂの色成分に変換し、それぞれ、メモリＧ１０、Ｂ１０、Ｒ１０に書き込む。
　図７は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第５例を示した図である。第５例の配置パターンでは、１行１列目の撮像素子３０１には、ＷＲＧＢモザイクフィルタが配置され、残りの撮像素子３０２には、それぞれ、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
　ＷＲＧＢモザイクフィルタは、色フィルタが配置されていないＷ（ホワイト）の領域と、Ｂ（ブルー）、Ｒ（レッド）、Ｇ（グリーン）の分光特性を持つ色フィルタとがモザイク状に配置されたフィルタである。以下、説明の便宜上、Ｗの領域にはＷの色フィルタが配置されているとして説明するが、実際にはＷの領域にはＷの色フィルタは配置されていない。
　図７の例では、Ｗ、Ｒ、Ｇ、Ｂの色フィルタは４行×６列で配列されているが、これは一例にすぎず、他の配列パターンで配列されてもよい。
　図７の配置パターンを採用した場合、撮像装置のブロック図は図５で示すものを採用すればよい。具体的には、図５において、撮像素子ＲＧＢを図７に示すＷＲＧＢモザイクフィルタが配置された撮像素子３０１に置き換える。以下、ＷＲＧＢモザイクフィルタが配置された撮像素子３０１を撮像素子ＷＲＧＢと記述する。色分離部５０１は、撮像素子ＷＲＧＢで撮像された画像データをＷ、Ｒ、Ｇ、Ｂの４つの色成分に分離する。そして、画像処理部５０３は、動画が撮像される場合、色分離部５０１により色分離されたＷ、Ｒ、Ｇ、Ｂの４つの色成分を演算処理によりＲ，Ｇ，Ｂの３つの色成分に変換し、さらに階調変換などの画像処理をしてディスプレイ５０４に表示すればよい。ここで、Ｗ、Ｒ、Ｇ、Ｂの４つの色成分をＲ、Ｇ、Ｂの３つの色成分に変換する処理は、色分離部５０１が行ってもよい。
　また、色分離部５０１は、静止画が撮像される場合、撮像素子ＷＲＧＢで撮像された画像データをＷ、Ｒ、Ｇ、Ｂの４つの色成分に分離した後、Ｇ、Ｂ、Ｒの色成分に変換し、それぞれ、メモリＧ１０、Ｂ１０、Ｒ１０に書き込めばよい。
　図８は、本発明の実施の形態による撮像装置の色フィルタの配置パターンの第６例を示した図である。第６例の配置パターンでは、１行１列目の撮像素子３０１には、ＷＹＲモザイクフィルタが配置され、残りの撮像素子３０２には、それぞれ、Ｒ、Ｇ、又はＢのいずれかの単色フィルタが配置されている。それ以外の点は、図２に示す配置パターンと同じである。
　ＷＹＲモザイクフィルタは、色フィルタが配置されていないＷ（ホワイト）の領域と、Ｙ（イエロー）、Ｒ（レッド）の分光特性を持つ色フィルタが配置された領域とがモザイク状に配列されている。図８の例では、Ｗの色フィルタが市松模様状に配列され、残りの領域にＲの色フィルタとＹの色フィルタとが１対１の比で配列されているが、これは一例にすぎず、市松模様状に配列される色フィルタをＲ又はＹの色フィルタとしてもよい。また、図８の例では、Ｗ、Ｙ、Ｒの色フィルタは４行×６列で配列されているが、これは一例にすぎず、他のパターンで配列されてもよい。
　図８の配置パターンを採用した場合、撮像装置のブロック図は図５で示すものを採用すればよい。具体的には、図５において、撮像素子ＲＧＢを図８に示すＷＹＲモザイクフィルタが配置された撮像素子３０１に置き換える。以下、ＷＹＲモザイクフィルタが配置された撮像素子３０１を撮像素子ＷＹＲと記述する。色分離部５０１は、撮像素子ＷＹＲで撮像された画像データをＷ、Ｙ、Ｒの３つの色成分に分離する。そして、画像処理部５０３は、動画が撮像される場合、色分離部５０１により色分離されたＷ、Ｙ、Ｒの色成分を演算処理によりＲ，Ｇ，Ｂの色成分に変換し、さらに階調変換などの画像処理をしてディスプレイ５０４に表示すればよい。ここで、Ｗ、Ｙ、Ｒの色成分をＲ、Ｇ、Ｂの色成分に変換する処理は、色分離部５０１が行ってもよい。
　また、色分離部５０１は、静止画が撮像される場合、撮像素子ＷＹＲで撮像された画像データをＷ、Ｙ、Ｒの３つの色成分に分離した後、演算処理によりＧ、Ｂ、Ｒの色成分に変換し、それぞれ、メモリＧ１０、Ｂ１０、Ｒ１０に書き込めばよい。
　なお、図６～図８の配置パターンでは、撮像素子３０１を１行１列目に配置したが、これは一例にすぎず、他の位置に配置してもよい。また、撮像素子３０１を複数配置してもよい。撮像素子３０１を複数配置した場合は、図９に示す撮像素子のブロック図を採用すればよい。
　このように、本実施の形態の撮像装置によれば、動画を撮像する場合、少なくとも２色のモザイクフィルタが配置された撮像素子３０１により撮像された画像データを採用することで、動画撮像時の負荷を抑制し、消費電力を抑制することができる。なお、上記実施の形態では、撮像素子３０１の個数を１又は２つとしたがこれに限定されず、３つ以上にしてもよい。
　（実施の形態の纏め）
　（１）本実施の形態による撮像装置は、マトリックス状に配置された複数の光学系と、各光学系に対応した撮像素子を備える撮像素子アレイとを含み、前記撮像素子アレイは、分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子と、１種類の色フィルタが配置された第２撮像素子とを含む。
　この構成によれば、複数の撮像素子がマトリックス状に配列されて撮像素子アレイが構成されている。そして、撮像素子アレイは、２種類の色フィルタが配置された第１撮像素子と、１種類の色フィルタが配置された第２撮像素子とを含む。そのため、高速処理が要求される動画を撮像する場合、第１撮像素子により撮像された画像データを合成してカラー画像を生成することができる。
　すなわち、第１撮像素子により撮像された画像データからカラー画像を合成する場合、全ての撮像素子により撮像された画像データからカラー画像を合成する場合に比べて処理負担が減少するため、カラー画像を高速に得ることができる。また、処理負担の減少により、省電力化が図られる。
　なお、第１撮像素子が１つであれば、複数の画像データを合成する必要がなく、より高速にカラー画像を生成することができる。また、第２撮像素子に第１撮像素子とは異なる分光特性の色フィルタを配置することで、第１撮像素子及び第２撮像素子により撮像された画像データを合成し、３つの色成分を持つカラー画像データを高速に生成することもできる。
　更に、動画に比べて高速処理が要求されない静止画を撮像する場合、全ての撮像素子により撮像された画像データを超解像処理等を用いて合成することで高精細なカラー画像を得ることができる。
　（２）前記第１撮像素子は、少なくとも２色のモザイクフィルタが配置され、前記第２撮像素子は、単色フィルタが配置されていることが好ましい。
　この構成によれば、第１撮像素子には少なくとも２色のモザイクフィルタが配置されているため、少なくとも２色の色成分を持つカラー画像をリアルタイムで得ることができる。また、第２撮像素子には、単色フィルタが配置されているため、第１撮像素子及び第２撮像素子により得られた画像データを合成することで高精細なカラー画像が得られる。
　（３）少なくとも１つの前記第２撮像素子に配置された単色フィルタは、前記モザイクフィルタを構成するいずれか１つの色と同色であることが好ましい。
　この構成によれば、第２撮像素子に配置された単色フィルタは第１撮像素子に配置されたモザイクフィルタのいずれか１つの色と同色であるため、第１撮像素子及び第２撮像素子により得られた画像データを合成することで、当該色についてはより高精細な画像データを得ることができる。
　（４）前記第１撮像素子は、動画の画像データを得るために使用されることが好ましい。
　この構成によれば、第１撮像素子は動画の画像データを得る際に使用される。そのため、全ての撮像素子により撮像された画像データを合成して動画の画像データを生成する場合に比べて、より高速に動画のカラー画像を得ることができる。
　（５）前記第１撮像素子は、ＲＧＢモザイクフィルタが配置されていることが好ましい。
　この構成によれば、第１撮像素子には、ＲＧＢモザイクフィルタが配置されているため、ＲＧＢの色成分を持つカラーの動画像をリアルタイムに生成することができる。
　（６）前記第１撮像素子は、複数存在し、少なくとも１つの前記第１撮像素子は、ＧＲモザイクフィルタが配置され、残りの前記第１撮像素子は、ＧＢモザイクフィルタが配置されていることが好ましい。
　この構成によれば、第１撮像素子には２色の色フィルタが配置されているため、３色の色フィルタを配置した場合に比べ、光学系を透過する波長帯域が狭くなり、第１撮像素子に配置する光学系を小型化することができる。また、少なくとも１つの第１撮像素子には、ＧＲモザイクフィルタが配置され、残りの第１撮像素子には、ＧＢモザイクフィルタが配置されているため、両第１撮像素子で撮像された画像データを合成することで、ＲＧＢの色成分を持つカラーの動画像をリアルタイムに生成することができる。
　（７）前記第１撮像素子は、ＹＭＣＧモザイクフィルタが配置されていることが好ましい。
　この構成によれば、ＲＧＢモザイクフィルタに較べて一般的に高感度であるＹＭＣＧモザイクフィルタが第１撮像素子に配置されているため、より高感度となり、Ｓ／Ｎの良い画像データをリアルタイムに得ることができる。
　（８）前記第１撮像素子は、ＷＲＧＢモザイクフィルタが配置されていることが好ましい。
　この構成によれば、ＲＧＢに加えてＷ（ホワイト）の色成分の画像データが得られる。ここで、Ｗの色成分は、全帯域に分光感度を持っている。そのため、Ｗの色成分の画像データを用いて、ＲＧＢの色成分の画像データを生成することで、より高感度となり、Ｓ／Ｎの良い画像データを得ることができる。
　（９）前記第１撮像素子は、ＷＹＲモザイクフィルタが配置されていることが好ましい。
　この構成によれば、Ｗの色成分の画像データが得られるため、より高感度となり、Ｓ／Ｎの良いカラー画像をリアルタイムに得ることができる。
　（１０）前記第２撮像素子は、Ｒ、Ｇ、又はＢの単色フィルタが配置されていることが好ましい。
　この構成によれば、第２撮像素子には、Ｒ、Ｇ、又はＢの単色フィルタが配置されているため、第２撮像装置により得られた画像データを合成することで、高精細なカラー画像が得られる。

Claims (10)

  1. 　マトリックス状に配置された複数の光学系と、
    　各光学系に対応した撮像素子を備える撮像素子アレイとを含み、
    　前記撮像素子アレイは、
    　分光特性の異なる少なくとも２種類の色フィルタが配置された第１撮像素子と、
    　１種類の色フィルタが配置された第２撮像素子とを含む撮像装置。
  2. 　前記第１撮像素子は、少なくとも２色のモザイクフィルタが配置され、
    　前記第２撮像素子は、単色フィルタが配置されている請求項１記載の撮像装置。
  3. 　少なくとも１つの前記第２撮像素子に配置された単色フィルタは、前記モザイクフィルタを構成するいずれか１つの色と同色である請求項２記載の撮像装置。
  4. 　前記第１撮像素子は、動画の画像データを得るために使用される請求項１～３のいずれかに記載の撮像装置。
  5. 　前記第１撮像素子は、ＲＧＢモザイクフィルタが配置されている請求項１～４のいずれかに記載の撮像装置。
  6. 　前記第１撮像素子は、複数存在し、
    　少なくとも１つの前記第１撮像素子は、ＧＲモザイクフィルタが配置され、
    　残りの前記第１撮像素子は、ＧＢモザイクフィルタが配置されている請求項１～４のいずれかに記載の撮像装置。
  7. 　前記第１撮像素子は、ＹＭＣＧモザイクフィルタが配置されている請求項１～４のいずれかに記載の撮像装置。
  8. 　前記第１撮像素子は、ＷＲＧＢモザイクフィルタが配置されている請求項１～４のいずれかに記載の撮像装置。
  9. 　前記第１撮像素子は、ＷＹＲモザイクフィルタが配置されている請求項１～４のいずれかに記載の撮像装置。
  10. 　前記第２撮像素子は、Ｒ、Ｇ、又はＢの単色フィルタが配置されている請求項１～９のいずれかに記載の撮像装置。
PCT/JP2013/007030 2012-12-14 2013-11-29 撮像装置 Ceased WO2014091706A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/651,363 US20150332433A1 (en) 2012-12-14 2013-11-29 Imaging device
JP2014551871A JPWO2014091706A1 (ja) 2012-12-14 2013-11-29 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012273378 2012-12-14
JP2012-273378 2012-12-14

Publications (1)

Publication Number Publication Date
WO2014091706A1 true WO2014091706A1 (ja) 2014-06-19

Family

ID=50934014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007030 Ceased WO2014091706A1 (ja) 2012-12-14 2013-11-29 撮像装置

Country Status (3)

Country Link
US (1) US20150332433A1 (ja)
JP (1) JPWO2014091706A1 (ja)
WO (1) WO2014091706A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026600A1 (ja) * 2017-07-31 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 カメラモジュールおよび撮像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
CN108377325A (zh) * 2018-05-21 2018-08-07 Oppo广东移动通信有限公司 拍摄装置、电子设备及图像获取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001523929A (ja) * 1997-11-14 2001-11-27 タンゲン、レイダル、イー． 光電子カメラおよびそれで画像をフォーマッティングする方法
JP2005176117A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
JP2007520166A (ja) * 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション サブピクセル解像度を有する薄型カメラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
US7746396B2 (en) * 2003-12-17 2010-06-29 Nokia Corporation Imaging device and method of creating image file
DE102005013044B4 (de) * 2005-03-18 2007-08-09 Siemens Ag Fluoreszenz-Scanner
WO2007086155A1 (ja) * 2006-01-24 2007-08-02 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、信号処理方法及びカメラ
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
JP2010252277A (ja) * 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
CN103081457B (zh) * 2010-08-24 2016-04-13 富士胶片株式会社 固态成像装置
JP5649990B2 (ja) * 2010-12-09 2015-01-07 シャープ株式会社 カラーフィルタ、固体撮像素子、液晶表示装置および電子情報機器
KR101262507B1 (ko) * 2011-04-11 2013-05-08 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 픽셀 어레이의 제조방법 및 픽셀 어레이를 포함하는 이미지센서
JP5864990B2 (ja) * 2011-10-03 2016-02-17 キヤノン株式会社 固体撮像装置およびカメラ
TW201523117A (zh) * 2013-12-09 2015-06-16 Himax Tech Ltd 相機陣列系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001523929A (ja) * 1997-11-14 2001-11-27 タンゲン、レイダル、イー． 光電子カメラおよびそれで画像をフォーマッティングする方法
JP2005176117A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
JP2007520166A (ja) * 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション サブピクセル解像度を有する薄型カメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026600A1 (ja) * 2017-07-31 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 カメラモジュールおよび撮像装置

Also Published As

Publication number Publication date
US20150332433A1 (en) 2015-11-19
JPWO2014091706A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
TWI386049B (zh) A solid-state imaging device, and a device using the solid-state imaging device
US20130153748A1 (en) Solid-state image sensor and electronic apparatus
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
US9210387B2 (en) Color imaging element and imaging device
US20120044394A1 (en) Digital camera
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
US8111298B2 (en) Imaging circuit and image pickup device
JP2013026672A (ja) 固体撮像装置及びカメラモジュール
CN104412581B (zh) 彩色摄像元件及摄像装置
US9219894B2 (en) Color imaging element and imaging device
JP4253634B2 (ja) デジタルカメラ
US9185375B2 (en) Color imaging element and imaging device
US9143747B2 (en) Color imaging element and imaging device
US7663679B2 (en) Imaging apparatus using interpolation and color signal(s) to synthesize luminance
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US20150109493A1 (en) Color imaging element and imaging device
CN103416067A (zh) 摄像装置及摄像程序
WO2014091706A1 (ja) 撮像装置
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2020059050A1 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
JP2010268354A (ja) イメージセンサ及びそのイメージセンサを備える撮像装置
JP2015088810A (ja) 色差信号を利用した画像処理方法
JPH02214286A (ja) カラー固体撮像素子及びカラー撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13863574

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014551871

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14651363

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13863574

Country of ref document: EP

Kind code of ref document: A1