WO2020045443A1 - 画像生成装置及び画像生成方法 - Google Patents

画像生成装置及び画像生成方法 Download PDF

Info

Publication number
WO2020045443A1
WO2020045443A1 PCT/JP2019/033538 JP2019033538W WO2020045443A1 WO 2020045443 A1 WO2020045443 A1 WO 2020045443A1 JP 2019033538 W JP2019033538 W JP 2019033538W WO 2020045443 A1 WO2020045443 A1 WO 2020045443A1
Authority
WO
WIPO (PCT)
Prior art keywords
organic thin
thin film
imaging
image generation
luminance data
Prior art date
Application number
PCT/JP2019/033538
Other languages
English (en)
French (fr)
Inventor
登　一生
佐藤　智
吾妻　健夫
信彦 若井
原田　充
町田　真一
眞澄 井土
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020539507A priority Critical patent/JP7336748B2/ja
Priority to CN201980042319.1A priority patent/CN112369015B/zh
Priority to EP19854631.9A priority patent/EP3846463A4/en
Publication of WO2020045443A1 publication Critical patent/WO2020045443A1/ja
Priority to US17/136,722 priority patent/US11277571B2/en
Priority to JP2023111487A priority patent/JP7474953B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/749—Circuitry for compensating brightness variation in the scene by influencing the pick-up tube voltages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/549—Organic PV cells

Definitions

  • the present disclosure relates to an image generation device including an image sensor having an organic thin film (OPF: Organic @ Photoconductive Film) and an image generation method.
  • OPF Organic @ Photoconductive Film
  • Non-Patent Document 1 describes an image generation device including a color filter and an image sensor.
  • one pixel of the image sensor is composed of four sub-pixels.
  • the incident light is decomposed into R (red), G (green), B (blue), and IR (infrared) components by a color filter, and the light of each decomposed component is applied to each sub-pixel. After the photoelectric conversion, a color image is generated by image processing.
  • Non-Patent Document 1 since a color filter is used, one pixel needs to be composed of four sub-pixels including R, G, B, and IR. Therefore, there is a problem that the area of one pixel increases and the resolution of a color image decreases.
  • One non-limiting exemplary embodiment of the present disclosure is an image generation device capable of improving the resolution of a color image.
  • One non-limiting exemplary embodiment of the present disclosure is an image generation method capable of improving the resolution of a color image. Additional benefits and advantages of one aspect of the disclosure will be apparent from the description and drawings. This benefit and / or advantage can be provided individually by the various aspects and features disclosed herein and in the drawings, and not all are required to achieve one or more of the above.
  • An image generation device includes a voltage generation unit that generates a plurality of voltages having different voltage values, and an organic thin film to which the plurality of voltages are applied, and to each of the application of the plurality of voltages.
  • An imaging unit that performs imaging in a corresponding manner; a luminance data obtaining unit that obtains a plurality of luminance data corresponding to the application of the plurality of voltages, the luminance data being obtained by imaging by the imaging unit;
  • a color image generation unit that generates a color image based on the data.
  • the image generation method includes: performing imaging by applying a plurality of voltages having different voltage values to an organic thin film; and generating brightness data obtained by the imaging.
  • the method includes acquiring a plurality of pieces of luminance data corresponding to the application, and generating a color image based on the plurality of pieces of luminance data.
  • the above-described generic or specific aspects may be implemented using a system, a method, a computer program, and a computer-readable recording medium, or an apparatus, a system, a method, a computer program, and a computer-readable recording medium. May be implemented using a combination of
  • the computer-readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Only Memory).
  • FIG. 1 is a schematic diagram illustrating an imaging unit and a voltage generation unit of the image generation device.
  • FIG. 2 is a schematic diagram illustrating an example of a wavelength-sensitivity characteristic of an imaging device having an organic thin film.
  • FIG. 3 is a schematic diagram illustrating the image generation device according to the first embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of the image generation device according to the first embodiment.
  • FIG. 5 is a schematic diagram illustrating an imaging unit and a voltage generation unit of the image generation device according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of data obtained by the image generation device according to the first embodiment.
  • FIG. 7 is a flowchart illustrating the image generation method according to the first embodiment.
  • FIG. 1 is a schematic diagram illustrating an imaging unit and a voltage generation unit of the image generation device.
  • FIG. 2 is a schematic diagram illustrating an example of a wavelength-sensitivity characteristic of an imaging device having an organic thin film.
  • FIG. 3 is a schematic diagram
  • FIG. 8 is a diagram illustrating an example of a method of obtaining a coefficient used in the image generation method according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of an image generated by the image generation device according to the first embodiment.
  • FIG. 10 is a schematic diagram illustrating the wavelength-sensitivity characteristics of the image sensor in the image generation device according to the first modification of the first embodiment.
  • FIG. 11 is a diagram illustrating a voltage applied to the organic thin film during exposure of the imaging unit in the image generation device according to the second modification of the first embodiment.
  • FIG. 12 is a schematic diagram illustrating an imaging unit and a voltage generation unit of the image generation device according to the second embodiment.
  • FIG. 13 is a schematic diagram illustrating an imaging unit and a voltage generation unit of the image generation device according to the third embodiment.
  • FIG. 1 is a schematic diagram showing the imaging unit 10 and the voltage generation unit 40 of the image generation device.
  • the imaging unit 10 includes the imaging element 30 having a plurality of pixels.
  • the imaging element 30 includes an FD (floating diffusion) 38 provided on a silicon substrate 39, a metal wiring and a pixel electrode electrically connected to the FD 38, an organic thin film OPF provided on the pixel electrode, and an organic thin film And a transparent electrode 31 provided on the OPF.
  • FD floating diffusion
  • the organic thin film OPF is a light guide film for photoelectrically converting light incident through the transparent electrode 31.
  • the organic thin film OPF has a laminated structure of a layer that detects visible light and a layer that detects near-infrared light.
  • the charge photoelectrically converted by the organic thin film OPF is stored in the FD 38.
  • a voltage generation unit 40 for applying a voltage to the organic thin film OPF via the transparent electrode 31 is connected to the imaging unit 10.
  • FIG. 2 is a schematic diagram showing an example of the wavelength-sensitivity characteristics of the imaging device 30 having the organic thin film OPF.
  • the image sensor 30 has a different tendency between the sensitivity characteristic when the voltage H is applied to the organic thin film OPF and the sensitivity characteristic when the voltage L (L ⁇ H) is applied. Specifically, when the applied voltage is switched to H or L, the difference in sensitivity at the wavelengths of blue, green, and red appears not as the same magnification but as different magnifications.
  • the image sensor 30 having the organic thin film OPF exhibits different sensitivity characteristics by changing the voltage applied to the organic thin film OPF. Therefore, the present disclosure proposes an apparatus that creates a plurality of different sensitivity characteristics (filter characteristics) by changing a voltage applied to an organic thin film, and generates a color image based on data obtained by the plurality of sensitivity characteristics. .
  • an image generation device and the like according to the present disclosure will be described.
  • An image generation device includes a voltage generation unit that generates a plurality of voltages having different voltage values, and an organic thin film to which the plurality of voltages are applied, and to each of the application of the plurality of voltages.
  • An imaging unit that performs imaging in a corresponding manner; a luminance data obtaining unit that obtains a plurality of luminance data corresponding to the application of the plurality of voltages, the luminance data being obtained by imaging by the imaging unit;
  • a color image generation unit that generates a color image based on the data.
  • a plurality of sensitivity characteristics can be created by applying a plurality of voltages to the organic thin film. Therefore, a color image can be generated based on a plurality of luminance data obtained by the plurality of sensitivity characteristics. This makes it possible to generate a color image by reducing the area of one pixel without using a color filter, thereby improving the resolution of the color image.
  • the color image generation unit may generate the color image by multiplying the plurality of pieces of luminance data by a predetermined coefficient.
  • a color image can be easily generated based on a plurality of pieces of luminance data. According to the image generation device of the present disclosure, it is possible to improve the resolution of a color image easily generated as described above.
  • the coefficient is obtained by imaging a color chart having a plurality of colors using the imaging unit, thereby obtaining color data corresponding to the plurality of colors, the coefficient, and a determinant including the plurality of luminance data. It may be derived by obtaining and solving the determinant using a pseudo-inverse matrix.
  • a color image with high reproducibility can be generated based on a plurality of pieces of luminance data. According to the image generation device of the present disclosure, it is possible to improve the resolution of a color image with high reproducibility generated as described above.
  • the coefficient is obtained by taking an image of a color chart having a plurality of colors by using the imaging section, inputting the plurality of luminance data obtained by the imaging, and converting color data corresponding to the plurality of colors into correct data. It may be derived by learning as.
  • a color image with high reproducibility can be generated based on a plurality of pieces of luminance data. According to the image generation device of the present disclosure, it is possible to improve the resolution of a color image with high reproducibility generated as described above.
  • the voltage generator may change the voltage according to a scene at the time of imaging using the imaging unit.
  • the image generation device of the present disclosure it is possible to improve the resolution of a generated color image that has been captured for various purposes.
  • the voltage generator may modulate the voltage during the exposure of the imaging unit.
  • a sensitivity characteristic according to the purpose can be created, and a color image can be generated using the characteristic.
  • the image generation device of the present disclosure it is possible to improve the resolution of a generated color image that has been captured for various purposes.
  • the imaging unit may include a plurality of the stacked organic thin films, and the number of the plurality of voltages applied to the plurality of the organic thin films may be equal to or greater than the number of the plurality of the organic thin films.
  • the imaging unit includes, as the plurality of organic thin films, a first organic thin film that detects visible light, and a second organic thin film that detects near-infrared light, and the first organic thin film is The second organic thin film may be provided closer to the subject than the second organic thin film.
  • the near-infrared light can be detected by the first organic thin film. Detection performance can be improved.
  • the imaging unit includes, as the plurality of organic thin films, a first organic thin film that detects visible light, and a second organic thin film that detects near-infrared light, and the second organic thin film is
  • the first organic thin film may be provided closer to the subject than the first organic thin film.
  • the image generation method is configured to perform imaging by applying a plurality of voltages having different voltage values to an organic thin film, and to obtain luminance data obtained by the imaging, and to apply the plurality of voltages. Acquiring a plurality of corresponding luminance data; and generating a color image based on the plurality of luminance data.
  • a plurality of sensitivity characteristics can be created by applying a plurality of voltages to the organic thin film. Therefore, a color image can be generated based on a plurality of luminance data obtained by the plurality of sensitivity characteristics. This makes it possible to generate a color image by reducing the area of one pixel without using a color filter, thereby improving the resolution of the color image.
  • each figure is a schematic diagram, and is not necessarily strictly illustrated.
  • substantially the same components are denoted by the same reference numerals, and redundant description may be omitted or simplified in some cases.
  • FIG. 3 is a schematic diagram showing the image generation device 1 according to the first embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of the image generation device 1.
  • the image generation device 1 includes an imaging unit 10 that captures an image of the subject Ob1, a voltage generation unit 40 that generates a voltage applied to the imaging unit 10, and an imaging unit that is obtained by the imaging unit 10.
  • the data processing unit 50 includes a luminance data obtaining unit 51 that obtains luminance data from an imaging result obtained by the imaging unit 10, and a color image generating unit 52 that generates a color image based on the luminance data.
  • the voltage generation unit 40 is separate from the data processing unit 50 and the imaging unit 10, but the voltage generation unit 40 is provided inside the housing in which the data processing unit 50 is housed or It may be provided in a housing in which the imaging unit 10 is housed.
  • the present embodiment may be an image generation system including a signal generation device including the imaging unit 10 and the voltage generation unit 40, and a data processing device corresponding to the data processing unit 50.
  • each of the signal generation device and the data processing device has a communication unit, and the signal generation device transmits a digital signal described later to the data processing device by wire or wireless communication.
  • FIG. 5 is a schematic diagram illustrating the imaging unit 10 and the voltage generation unit 40 of the image generation device 1.
  • the imaging unit 10 includes a plurality of microlenses 20 and an imaging element 30 having a plurality of pixels arranged in a matrix. In the present embodiment, no color filter is provided between the microlens 20 and the image sensor 30.
  • Each of the plurality of micro lenses 20 is arranged in a matrix corresponding to each of the plurality of pixels.
  • Each microlens 20 condenses the incident light toward each pixel of the image sensor 30.
  • the image sensor 30 is a device that receives light condensed by the microlens 20 and outputs an electric signal.
  • the imaging element 30 includes a silicon substrate 39, an FD 38 provided on the silicon substrate 39, a metal wiring 37 and a pixel electrode 36 electrically connected to the FD 38, and an organic thin film 32 provided on the pixel electrode 36. And a transparent electrode 31 provided on the organic thin film 32.
  • the transparent electrode 31 is an electrode that transmits light, and is formed of a transparent material such as ITO (Indium Tin Oxide) or ZnO.
  • the transparent electrode 31 is disposed between the microlens 20 and the organic thin film 32, and is connected to the voltage generator 40 via a wiring or the like.
  • the organic thin film 32 is a light guide film that photoelectrically converts light incident through the microlens 20 and the transparent electrode 31. As described above, the image sensor 30 having the organic thin film 32 has a characteristic that the light sensitivity changes depending on the value of the voltage applied to the organic thin film 32.
  • the number of layers of the organic thin film 32 shown in FIG. 5 is one, but is not limited thereto.
  • the organic thin film 32 includes a layer for detecting an R component, a layer for detecting a G component, and a B component. It may be formed of a plurality of layers such as a layer for detection.
  • the organic thin film 32 is connected to the FD 38 via the pixel electrode 36 and the metal wiring 37.
  • the FD 38 is a charge storage node that stores the charge photoelectrically converted by the organic thin film 32.
  • the image sensor 30 has a plurality of FDs 38, and each FD 38 is arranged so as to correspond to each pixel on a one-to-one basis.
  • the FD 38 accumulates the electric charge during the imaging by the imaging unit 10, that is, during the exposure.
  • the voltage generation unit 40 is a voltage generation device that generates a plurality of voltages having different voltage values.
  • the voltage generation unit 40 includes, for example, a plurality of transistors, and generates a plurality of voltages by switching on and off of the plurality of transistors.
  • the voltage generator 40 has a positive side connected to the transparent electrode 31 and a negative side grounded.
  • the voltage generator 40 applies a plurality of voltages to the organic thin film 32 via the transparent electrode 31.
  • FIG. 6 is a diagram illustrating an example of data obtained by the image generation device 1.
  • the voltage applied to the organic thin film 32 is changed using the voltage generation unit 40.
  • the image generating apparatus 1 three voltages V1, V2, and V3 are sequentially applied to the organic thin film 32, and three different sensitivity characteristics are created.
  • the imaging unit 10 performs imaging corresponding to each application timing of the three voltages V1 to V3.
  • Each of the charges obtained by the organic thin film 32 having the three characteristics is accumulated in the FD 38 each time.
  • the imaging unit 10 detects a potential generated by the charges accumulated in the FD 38, converts this potential into a digital signal, and outputs the digital signal to the data processing unit 50. Further, the voltage generation unit 40 may transmit information on the applied voltage (the magnitude of the applied voltage and the application timing) to the data processing unit 50.
  • the luminance data acquisition unit 51 acquires luminance data based on a digital signal output from the imaging unit 10. Specifically, as shown in FIG. 6, the luminance data acquisition unit 51 responds to the application of the plurality of voltages V1 to V3 when the imaging unit 10 applies the plurality of voltages V1 to V3 to image the subject Ob1. A plurality of pieces of luminance data D1, D2, and D3 to be obtained.
  • the color image generation unit 52 generates a color image Dc based on the plurality of pieces of luminance data D1 to D3. Specifically, the color image generation unit 52 multiplies the plurality of pieces of luminance data D1 to D3 by a predetermined coefficient A1 (see Equation (2)) and performs data processing to generate the color image Dc. Generate.
  • the color image generation unit 52 may generate the color image Dc using the information on the applied voltage, or generate the color image Dc using the information on the predetermined applied voltage. You may. That is, the color image Dc may be generated using a coefficient corresponding to the voltage value.
  • the color image generation unit 52 outputs the generated color image Dc to a video output terminal (not shown) or the like, and outputs it as a digital signal or an analog signal to the outside of the image generation device 1.
  • FIG. 7 is a flowchart illustrating an image generation method according to the first embodiment.
  • a plurality of voltages V1 to V3 are applied to the organic thin film 32 to image the subject Ob1 (M10). Further, the image generation device 1 acquires a plurality of pieces of brightness data D1 to D3 corresponding to the application of the plurality of voltages V1 to V3, which are brightness data obtained by the imaging of the imaging unit 10 (M20).
  • the details of these contents M10 and M20 are as follows.
  • the imaging unit 10 captures an image of the subject Ob1 with the voltage V1 applied to the organic thin film 32 (M11). Then, the imaging unit 10 converts a potential generated in the FD 38 by imaging into a digital signal and outputs the digital signal.
  • the luminance data acquisition unit 51 acquires the luminance data D1 from the digital signal output from the imaging unit 10 (M21). After the data acquisition, the charges accumulated in the FD 38 are released.
  • the imaging unit 10 images the subject Ob1 in a state where the voltage V2 (for example, V2> V1) is applied to the organic thin film 32 (M12). Then, the imaging unit 10 converts a potential generated in the FD 38 by imaging into a digital signal and outputs the digital signal.
  • the brightness data acquisition unit 51 acquires the brightness data D2 from the digital signal output from the imaging unit 10 (M22). After the data acquisition, the charges accumulated in the FD 38 are released.
  • the imaging unit 10 captures an image of the subject Ob1 with the voltage V3 (for example, V3> V2) applied to the organic thin film 32 (M13). Then, the imaging unit 10 converts a potential generated in the FD 38 by imaging into a digital signal and outputs the digital signal.
  • the luminance data acquisition unit 51 acquires the luminance data D3 from the digital signal output from the imaging unit 10 (M23). After the data acquisition, the charges accumulated in the FD 38 are released.
  • the image generation device 1 obtains three pieces of luminance data D1 to D3 by executing these contents (M10 and M20).
  • the color image generation unit 52 generates a color image based on the three pieces of luminance data D1 to D3 (M30). Specifically, the color image generation unit 52 generates a color image Dc by multiplying three pieces of luminance data D1 to D3 by a predetermined coefficient A1.
  • luminance data D1 to D3 and the color image Dc shown in FIG. 6 indicate data of all the taken pixels, here, for ease of understanding, first, description will be made focusing on one pixel of all the pixels. I do.
  • luminance data i 1 , i 2 , i 3
  • the generated color image r 1 , g 1 , b 1
  • the coefficient A1 is represented by the conversion matrix of (Equation 2).
  • C r1 , C g1 , and C b1 of the coefficient A1 are characteristic values appearing when the voltage V1 is applied to the organic thin film 32
  • C r2 , C g2 , and C b2 are values when the voltage V2 is applied to the organic thin film 32
  • C r3 , C g3 , and C b3 are characteristic values that appear when the voltage V3 is applied to the organic thin film 32.
  • the total number of pixels is p (p is an integer of 2 or more) and the number of different voltages applied to the organic thin film 32 is N (N is an integer of 2 or more)
  • the plurality of pieces of luminance data D1 to DN acquired by imaging are represented by luminance data (i 1,1 to ip , N ).
  • the generated color image (r 1 , g 1 , b 1 to r p , g p , b p ) is composed of R, G, and B components and is represented by the following (Equation 3).
  • the coefficient A is represented by the conversion matrix of (Equation 4).
  • C r1 , C g1 , and C b1 of the coefficient A are characteristic values that appear when the voltage V1 is applied to the organic thin film 32, and C rN , C gN , and C bN represent the Nth voltage VN applied to the organic thin film 32. This is a characteristic value that appears when voltage is applied.
  • a color image Dc is generated by multiplying the luminance data D1 to DN obtained by the imaging by the coefficient A. Can be.
  • FIG. 8 is a diagram illustrating an example of a method of obtaining the coefficient A used in the image generation method.
  • FIG. 8 shows a color chart Ob2 having a plurality of colors and a standard light source.
  • the color chart Ob2 used in the present embodiment is a Macbeth chart and has 24 colors.
  • the color chart Ob2 is not limited to the Macbeth chart, and may be a sample body in which each color data corresponding to each color is known.
  • the color chart Ob2 is imaged using the imaging unit 10. Specifically, different N voltages V1 to VN are applied to the organic thin film 32, and the color chart Ob2 is imaged at each application timing. As a result, as shown in (Equation 5), color data composed of a 3 ⁇ 24 matrix, coefficient A composed of a 3 ⁇ N matrix, and luminance data composed of an N ⁇ 24 matrix are included. Get the determinant. In (Equation 5), a determinant is formed by regarding one color as one pixel.
  • Equation 4 The coefficient A shown in (Equation 4) is derived by solving the determinant of (Equation 5) using a pseudo inverse matrix. In this determinant, since no solution satisfies all equations, a solution that minimizes the square error of all equations is adopted.
  • the coefficient A is not limited to the above, and may be derived by deep learning.
  • the coefficient A is obtained by imaging the color chart Ob2 having a plurality of colors using the imaging unit 10, inputting a plurality of luminance data obtained by the imaging, and learning data corresponding to a plurality of colors as correct data. May be derived.
  • the subject need not be a color chart, and may be a sample body in which each color data corresponding to each color is known.
  • the luminance values of the R, G, and B components of the color camera may be given to the left side of (color 5) using a plurality of images captured by a normal color camera.
  • FIG. 9 is a diagram illustrating an example of an image generated by the image generation device 1.
  • FIG. 9A is a correct image of the subject Ob1
  • FIG. 9B is an image generated by the image generation device 1.
  • FIG. 9B shows an image obtained by applying two voltages having different voltage values to the organic thin film 32 and imaging the subject Ob1 twice.
  • the coefficient A as the transformation matrix was obtained on the assumption that the correct image of the subject Ob1 was a two-color image composed of the (R + G) component and the B component.
  • the organic thin film 32 used had a two-layer structure of a layer for detecting visible light and a layer for detecting near-infrared light.
  • the image generated by the image generating device 1 can reproduce the color of the subject Ob1 without any problem.
  • FIG. 10 is a schematic diagram showing the wavelength-sensitivity characteristics of the image sensor 30 of the image generation device 1.
  • FIG. 10A shows sensitivity characteristics when imaging is performed in a bright environment.
  • voltages V1, V2, and V3 are applied to the organic thin film 32, imaging is performed using a wide wavelength region corresponding to a visible light region. An example is shown.
  • (B) of FIG. 10 shows the sensitivity characteristics when imaging is performed in an environment darker than (a). An example in which imaging is performed is shown.
  • These different voltages V1 to V6 are applied to the organic thin film 32 by the voltage generator 40.
  • Switching between the voltages V1 to V3 and the voltages V4 to V6 may be set in advance in the image generating apparatus 1 so as to be selectively used between bright and dark.
  • the image is captured using the voltages V1 to V3 at first, if the generated color image Dc becomes a dark image, the image may be captured using the voltages V4 to V6. That is, the voltage generation unit 40 has information of a plurality of voltage value sets and switches the voltage value set. Examples of the set of voltage values include a first set of voltage values (V1 to V3) and a second set of voltage values (V4 to V4) used when the brightness of the imaging environment is lower than that of the first set of voltage values. V6).
  • the image generation device 1 may further include a sensor, and the voltage value set may be selected based on information in which the sensor value and the voltage value set are associated with each other and the sensor value acquired by the sensor. Alternatively, a voltage value set may be selected by acquiring a sensor value acquired by a sensor outside the image generation device 1. Further, the voltage value set may be switched according to a user's input to the image generation device 1.
  • imaging by changing the value of the voltage applied to the organic thin film 32 is not limited to only the brightness of the environment.
  • the voltage applied to the organic thin film 32 may be set so that imaging can be performed using a wavelength region close to skin color.
  • the image generation device 1 As in the image generation device 1 according to the first modification, by changing the voltage applied to the organic thin film 32 according to the scene at the time of imaging, it is possible to perform imaging for various purposes.
  • FIG. 11 is a diagram illustrating the voltage applied to the organic thin film 32 during the exposure of the imaging unit 10 of the image generating device 1.
  • FIG. 11 illustrates an example in which the applied voltage is changed while the imaging unit 10 is performing exposure, that is, while the FD 38 is accumulating charge.
  • the voltage V1 is applied to the organic thin film 32, and then the voltage V2 is applied to perform imaging. Then, the voltage V2 is applied to the organic thin film 32 to perform the second imaging, and the voltage V3 is applied to perform the third imaging.
  • a characteristic having, for example, both sensitivity by applying the voltage V1 and sensitivity by applying the voltage V2 can be created.
  • the image generation device 1 of the second modification it is possible to create a sensitivity characteristic according to the purpose, obtain luminance data D1 to D3 using the characteristic, and generate a color image Dc.
  • FIG. 12 is a schematic diagram showing the imaging unit 10A and the voltage generation unit 40 of the image generation device 1 according to the second embodiment.
  • the imaging unit 10A includes a plurality of microlenses 20 and an imaging element 30 having a plurality of pixels arranged in a matrix.
  • the imaging element 30 includes a silicon substrate 39, an FD 38 provided on the silicon substrate 39, a metal wiring 37 and a pixel electrode 36 electrically connected to the FD 38, and an organic thin film 32 provided on the pixel electrode 36. And a transparent electrode 31 provided on the organic thin film 32.
  • the organic thin film 32 of the present embodiment has a laminated structure of a first organic thin film 32a for detecting near-infrared light and a second organic thin film 32b for detecting visible light.
  • the second organic thin film 32b is formed on the first organic thin film 32a. That is, the second organic thin film 32b for detecting visible light (RGB) is provided closer to the subject Ob1 than the first organic thin film 32a for detecting near infrared light (NIR). According to this structure, after the visible light is detected by the second organic thin film 32b and the visible light is removed, the near-infrared light can be detected by the first organic thin film 32a. External light detection performance can be improved.
  • RGB visible light
  • NIR near infrared light
  • the number of the plurality of voltages applied to the plurality of organic thin films 32a and 32b is equal to or larger than the number of the plurality of organic thin films 32a and 32b.
  • the second embodiment since three voltages V1 to V3 are applied to each of the two organic thin films 32a and 32b, more organic thin films 32 are formed than in the case where the organic thin film 32 is formed in one layer. Sensitivity characteristics can be created. As a result, a color image Dc with high reproducibility can be generated using more accurate sensitivity characteristics.
  • FIG. 13 is a schematic diagram illustrating the imaging unit 10B and the voltage generation unit 40 of the image generation device 1 according to the third embodiment.
  • the imaging unit 10B includes a plurality of microlenses 20 and an imaging element 30 having a plurality of pixels arranged in a matrix.
  • the imaging element 30 includes a silicon substrate 39, an FD 38 provided on the silicon substrate 39, a metal wiring 37 and a pixel electrode 36 electrically connected to the FD 38, and an organic thin film 32 provided on the pixel electrode 36. And a transparent electrode 31 provided on the organic thin film 32.
  • the organic thin film 32 of the present embodiment has a laminated structure of a first organic thin film 32a for detecting near-infrared light (NIR) and a second organic thin film 32b for detecting visible light (RGB).
  • the second organic thin film 32b has a three-layer structure, and is stacked on the pixel electrode 36 in the order of the R layer 32b1, the G layer 32b2, and the B layer 32b3.
  • the R layer 32b1 is a layer that detects the R component of light
  • the G layer 32b2 is a layer that detects the G component of light
  • the B layer 32b3 is a layer that detects the B component of light.
  • the first organic thin film 32a is formed on the second organic thin film 32b. That is, the first organic thin film 32a for detecting near-infrared light is provided closer to the subject Ob1 than the second organic thin film 32b for detecting visible light. According to this structure, after detecting near-infrared light in the first organic thin film 32a and removing the near-infrared light, visible light can be detected in the second organic thin film 32b. The color reproducibility of visible light can be improved.
  • each component (especially, each circuit including the data processing unit 50) of the image generation apparatus shown in the above-described embodiment is configured by dedicated hardware or software (software) suitable for each component.
  • Program may be realized by a program execution unit such as a microprocessor reading and executing a program recorded on a storage medium (or recording medium) such as a hard disk or a semiconductor memory.
  • the plurality of circuits included in the image generating apparatus may constitute one circuit as a whole, or may be separate circuits. Each of these circuits may be a general-purpose circuit or a dedicated circuit. Further, for example, another component may execute the process executed by the specific component in the above embodiment instead of the specific component. Further, the execution order of various processes in the above embodiment may be changed, or a plurality of processes may be executed in parallel.
  • the image generation device is applicable as a device that generates a color image using an imaging device that does not include a color filter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Light Receiving Elements (AREA)

Abstract

画像生成装置（１）は、電圧値の異なる複数の電圧を生成する電圧生成部（４０）と、複数の電圧が印加される有機薄膜（３２）を有し、複数の電圧の印加のそれぞれに対応して撮像を行う撮像部（１０）と、撮像部（１０）の撮像によって得られる輝度データであって、複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部（５１）と、複数の輝度データに基づいてカラー画像を生成するカラー画像生成部（５２）とを備える。

Description

画像生成装置及び画像生成方法
　本開示は、有機薄膜（ＯＰＦ：Ｏｒｇｎｉｃ　Ｐｈｏｔｏｃｏｎｄｕｃｔｉｖｅ　Ｆｉｌｍ）を有する撮像素子を備える画像生成装置、及び、画像生成方法に関する。
　従来、複数の画素を有する撮像素子を備える画像生成装置が知られている。この種の画像生成装置の一例として、非特許文献１には、カラーフィルタと撮像素子とを備える画像生成装置が記載されている。この画像装置では、撮像素子の１画素が４つの副画素によって構成されている。そしてこの画像装置では、入射した光をカラーフィルタでＲ（赤）、Ｇ（緑）、Ｂ（青）、及びＩＲ（赤外線）の成分に分解し、分解した各成分の光を各副画素にて光電変換した後、画像処理することでカラー画像を生成している。
Ｓｈｉｎｉｃｈｉ　Ｍａｃｈｉｄａ,　Ｓａｎｓｈｉｒｏ　Ｓｈｉｓｈｉｄｏ,　Ｔａｋｅｙｏｓｈｉ　Ｔｏｋｕｈａｒａ，　Ｍａｓａａｋｉ　Ｙａｎａｇｉｄａ,　Ｔａｋａｙｏｓｈｉ　Ｙａｍａｄａ,　Ｍａｓｕｍｉ　Ｉｚｕｃｈｉ,　Ｙｏｓｈｉａｋｉ　Ｓａｔｏ,　Ｙａｓｕｏ　Ｍｉｙａｋｅ,　Ｍａｎａｂｕ　Ｎａｋａｔａ,　Ｍａｓａｓｈｉ　Ｍｕｒａｋａｍｉ,　Ｍｉｔｓｕｒｕ　Ｈａｒａｄａ,　ａｎｄ　Ｙａｓｕｎｏｒｉ　Ｉｎｏｕｅ，　"Ａ　２．１－Ｍｐｉｘｅｌ　Ｏｒｇａｎｉｃ　Ｆｉｌｍ－Ｓｔａｃｋｅｄ　ＲＧＢ－ＩＲ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ　Ｗｉｔｈ　Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｃｏｎｔｒｏｌｌａｂｌｅ　ＩＲ　Ｓｅｎｓｉｔｉｖｉｔｙ"，　ＩＥＥＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＳＯＬＩＤ－ＳＴＡＴＥ　ＣＩＲＣＵＩＴ，　ｖｏｌ．５３，　ＮＯ．１，　ｐｐ．２２９－２３５，　ＪＡＮＵＡＲＹ　２０１８．
　しかしながら、非特許文献１の画像生成装置では、カラーフィルタが用いられているため、１画素をＲ、Ｇ、Ｂ及びＩＲからなる４つの副画素によって構成する必要がある。そのため、１画素の面積が大きくなり、カラー画像の解像度が低下するという問題がある。
　本開示の非限定的ではない例示的な一態様は、カラー画像の解像度を向上することができる画像生成装置である。また、本開示の非限定的ではない例示的な一態様は、カラー画像の解像度を向上することができる画像生成方法である。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
　本開示の一態様に係る画像生成装置は、電圧値の異なる複数の電圧を生成する電圧生成部と、前記複数の電圧が印加される有機薄膜を有し、前記複数の電圧の印加のそれぞれに対応して撮像を行う撮像部と、前記撮像部の撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部と、前記複数の輝度データに基づいてカラー画像を生成するカラー画像生成部とを備える。
　また、本開示の一態様に係る画像生成方法は、有機薄膜に電圧値の異なる複数の電圧を印加して撮像を行うことと、前記撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得することと、前記複数の輝度データに基づいてカラー画像を生成することとを含む。
　上述の包括的又は具体的な態様は、システム、方法及びコンピュータプログラム、コンピュータ読み取り可能な記録媒体を用いて実装されてもよいし、装置、システム、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体の組み合わせを用いて実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
　本開示によれば、カラー画像の解像度を向上することができる。
図１は、画像生成装置の撮像部及び電圧生成部を示す模式図である。 図２は、有機薄膜を有する撮像素子の波長－感度特性の一例を示す模式図である。 図３は、実施の形態１における画像生成装置を示す概略図である。 図４は、実施の形態１における画像生成装置の構成を示すブロック図である。 図５は、実施の形態１における画像生成装置の撮像部及び電圧生成部を示す模式図である。 図６は、実施の形態１における画像生成装置にて得られるデータの一例を示す図である。 図７は、実施の形態１の画像生成方法を示すフローチャートである。 図８は、実施の形態１の画像生成方法にて使用される係数の求め方の一例を示す図である。 図９は、実施の形態１の画像生成装置にて生成した画像の一例を示す図である。 図１０は、実施の形態１の変形例１の画像生成装置における撮像素子の波長－感度特性を示す模式図である。 図１１は、実施の形態１の変形例２の画像生成装置における撮像部の露光中に、有機薄膜に印加されている電圧を示す図である。 図１２は、実施の形態２における画像生成装置の撮像部及び電圧生成部を示す模式図である。 図１３は、実施の形態３における画像生成装置の撮像部及び電圧生成部を示す模式図である。
　（本開示の基礎となる知見）
　従来の画像生成装置では、カラーフィルタが用いられているため、１画素をＲ、Ｇ、Ｂ及びＩＲからなる４つの副画素によって構成する必要がある。そのため、１画素の面積が大きくなり、カラー画像の解像度が低下するという問題がある。この問題を解決するため、被写体を撮像する際にカラーフィルタを用いずにカラー画像を生成する装置について提案する。カラーフィルタを用いずに撮像することができれば、従来技術で示した副画素の面積を１画素の面積として扱い、１画素の面積を小さくすることができるので、カラー画像の解像度を向上させることが可能となる。
　図１は、画像生成装置の撮像部１０及び電圧生成部４０を示す模式図である。
　撮像部１０は、複数の画素を有する撮像素子３０を備えている。撮像素子３０は、シリコン基板３９上に設けられたＦＤ（フローティングディフュージョン）３８と、ＦＤ３８に電気的に接続された金属配線及び画素電極と、画素電極上に設けられた有機薄膜ＯＰＦと、有機薄膜ＯＰＦ上に設けられた透明電極３１とを有している。
　有機薄膜ＯＰＦは、透明電極３１を介して入射した光を光電変換する導光膜である。有機薄膜ＯＰＦは、可視光を検出する層と近赤外光を検出する層との積層構造によって構成されている。有機薄膜ＯＰＦによって光電変換された電荷は、ＦＤ３８に蓄積される。
　撮像部１０には、透明電極３１を介して有機薄膜ＯＰＦに電圧を印加するための電圧生成部４０が接続されている。
　図２は、有機薄膜ＯＰＦを有する撮像素子３０の波長－感度特性の一例を示す模式図である。
　同図に示すように撮像素子３０は、有機薄膜ＯＰＦに電圧Ｈを印加したときの感度特性と、電圧Ｌ（Ｌ＜Ｈ）を印加したときの感度特性とで異なる傾向を示す。具体的には、印加電圧をＨ又はＬに切り替えた場合の青色、緑色、赤色の波長における感度の違いが、同じ倍率となって表れるのでなく異なる倍率となって表れる。
　このように有機薄膜ＯＰＦを有する撮像素子３０は、有機薄膜ＯＰＦに印加する電圧を変えることで異なる感度特性を示す。そこで本開示では、有機薄膜に印加する電圧を変えることで複数の異なる感度特性（フィルタ特性）を作り出し、この複数の感度特性によって得られたデータに基づいて、カラー画像を生成する装置を提案する。以下、本開示における画像生成装置等について説明する。
　本開示の一態様に係る画像生成装置は、電圧値の異なる複数の電圧を生成する電圧生成部と、前記複数の電圧が印加される有機薄膜を有し、前記複数の電圧の印加のそれぞれに対応して撮像を行う撮像部と、前記撮像部の撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部と、前記複数の輝度データに基づいてカラー画像を生成するカラー画像生成部とを備える。
　このように、有機薄膜に複数の電圧を印加することで複数の感度特性を作ることができる。そのため、この複数の感度特性によって得られた複数の輝度データに基づいて、カラー画像を生成することができる。これにより、カラーフィルタを用いることなく、１画素の面積を小さくしてカラー画像を生成できるので、カラー画像の解像度を向上することができる。
　また、前記カラー画像生成部は、前記複数の輝度データに、予め決められた係数を掛けあわせることで前記カラー画像を生成してもよい。
　これによれば、複数の輝度データに基づいて、簡易にカラー画像を生成することができる。本開示の画像生成装置によれば、上記により簡易に生成されたカラー画像の解像度を向上することができる。
　また、前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像することで、前記複数の色に対応する色データ、前記係数、及び、前記複数の輝度データを含む行列式を取得し、前記行列式を疑似逆行列を使って解くことで導出されてもよい。
　これによれば、複数の輝度データに基づいて、再現性の高いカラー画像を生成することができる。本開示の画像生成装置によれば、上記により生成された再現性の高いカラー画像の解像度を向上することができる。
　また、前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像し、当該撮像によって得られた前記複数の輝度データを入力とし、前記複数の色に対応する色データを正解データとして学習することで導出されてもよい。
　これによれば、複数の輝度データに基づいて、再現性の高いカラー画像を生成することができる。本開示の画像生成装置によれば、上記により生成された再現性の高いカラー画像の解像度を向上することができる。
　また、前記電圧生成部は、前記撮像部を用いて撮像する際のシーンに応じて前記電圧を変えてもよい。
　このように、撮像する際のシーンに応じて電圧を変えることで、多様な目的の撮像を行うことができる。本開示の画像生成装置によれば、多様な目的に応じて撮像され、生成されたカラー画像の解像度を向上することができる。
　また、前記電圧生成部は、前記撮像部の露光中に前記電圧を変調してもよい。
　このように、露光中に電圧を変調することで、目的に応じた感度特性を作りだし、その特性を使ってカラー画像を生成することができる。本開示の画像生成装置によれば、多様な目的に応じて撮像され、生成されたカラー画像の解像度を向上することができる。
　また、前記撮像部は、積層された複数の前記有機薄膜を有し、複数の前記有機薄膜に印加される前記複数の電圧の数は、複数の前記有機薄膜の数以上であってもよい。
　これによれば、より多くの感度特性を作り出すことができる。これにより、より正確な感度特性を使って再現性の高いカラー画像を生成することができる。
　また、前記撮像部は、複数の前記有機薄膜として、可視光を検出する第１の有機薄膜と、近赤外光を検出する第２の有機薄膜とを有し、前記第１の有機薄膜は、前記第２の有機薄膜よりも被写体側に設けられていてもよい。
　これによれば、第２の有機薄膜にて可視光を検出してその可視光を取り除いた後に、第１の有機薄膜にて近赤外光を検出することができるので、近赤外光の検出性能を向上することができる。
　また、前記撮像部は、複数の前記有機薄膜として、可視光を検出する第１の有機薄膜と、近赤外光を検出する第２の有機薄膜とを有し、前記第２の有機薄膜は、前記第１の有機薄膜よりも被写体側に設けられていてもよい。
　これによれば、第１の有機薄膜にて近赤外光を検出してその近赤外光を取り除いた後に、第２の有機薄膜にて可視光を検出することができるので、可視光の色再現性を向上することができる。
　本開示の一態様に係る画像生成方法は、有機薄膜に電圧値の異なる複数の電圧を印加して撮像を行うことと、前記撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得することと、前記複数の輝度データに基づいてカラー画像を生成することとを含む。
　このように、有機薄膜に複数の電圧を印加することで複数の感度特性を作ることができる。そのため、この複数の感度特性によって得られた複数の輝度データに基づいて、カラー画像を生成することができる。これにより、カラーフィルタを用いることなく、１画素の面積を小さくしてカラー画像を生成できるので、カラー画像の解像度を向上することができる。
　なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本発明の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
　（実施の形態１）
　［１－１．画像生成装置の構成及び動作］
　実施の形態１の画像生成装置の構成について、図３～図６を参照しながら説明する。
　図３は、実施の形態１における画像生成装置１を示す概略図である。図４は、画像生成装置１の構成を示すブロック図である。
　図３及び図４に示すように、画像生成装置１は、被写体Ｏｂ１を撮像する撮像部１０と、撮像部１０に印加する電圧を生成する電圧生成部４０と、撮像部１０によって得られた撮像結果を処理するデータ処理部５０とを備える。
　データ処理部５０は、撮像部１０によって得られた撮像結果から輝度データを取得する輝度データ取得部５１と、この輝度データに基づいてカラー画像を生成するカラー画像生成部５２とを備える。
　なお、図３及び図４では、電圧生成部４０が、データ処理部５０及び撮像部１０と別体となっているが、電圧生成部４０は、データ処理部５０が収容されている筐体内又は撮像部１０が収容されている筐体内に設けられていてもよい。
　また、本実施の形態は、撮像部１０及び電圧生成部４０を含む信号生成装置と、データ処理部５０に相当するデータ処理装置とを備える画像生成システムであってもよい。この場合、信号生成装置及びデータ処理装置のそれぞれは、通信部を有し、信号生成装置は、有線又は無線通信により、後述するデジタル信号をデータ処理装置に送信する。
　図５は、画像生成装置１の撮像部１０及び電圧生成部４０を示す模式図である。
　撮像部１０は、複数のマイクロレンズ２０と、行列状に配置された複数の画素を有する撮像素子３０とを備えている。本実施の形態では、マイクロレンズ２０と撮像素子３０との間に、カラーフィルタが設けられていない。
　複数のマイクロレンズ２０のそれぞれは、複数の画素のそれぞれに対応して行列状に配置されている。各マイクロレンズ２０は、入射した光を撮像素子３０の各画素に向けて集光する。
　撮像素子３０はマイクロレンズ２０で集光された光を受光して、電気信号を出力する素子である。撮像素子３０は、シリコン基板３９と、シリコン基板３９上に設けられたＦＤ３８と、ＦＤ３８に電気的に接続された金属配線３７及び画素電極３６と、画素電極３６上に設けられた有機薄膜３２と、有機薄膜３２上に設けられた透明電極３１とを有している。
　透明電極３１は、光を透過する電極であり、ＩＴＯ（Ｉｎｄｉｕｍ　Ｔｉｎ　Ｏｘｉｄｅ）又はＺｎＯなどの透明材料によって形成されている。透明電極３１は、マイクロレンズ２０と有機薄膜３２との間に配置され、配線等を介して電圧生成部４０に接続されている。
　有機薄膜３２は、マイクロレンズ２０及び透明電極３１を介して入射した光を光電変換する導光膜である。前述したように有機薄膜３２を有する撮像素子３０は、有機薄膜３２に印加された電圧の値によって光の感度が変化する特性を有している。図５に示されている有機薄膜３２の層数は１層であるが、それに限られず、有機薄膜３２は、Ｒ成分を検出するための層、Ｇ成分を検出するための層及びＢ成分を検出するための層などの複数層で形成されていてもよい。有機薄膜３２は、画素電極３６及び金属配線３７を介してＦＤ３８に接続されている。
　ＦＤ３８は、有機薄膜３２にて光電変換された電荷を蓄積する電荷蓄積ノードである。撮像素子３０は、複数のＦＤ３８を有しており、各ＦＤ３８は、各画素に１対１で対応するように配置されている。ＦＤ３８は、撮像部１０の撮像中すなわち露光中に上記電荷を蓄積する。
　電圧生成部４０は、電圧値の異なる複数の電圧を生成する電圧生成装置である。電圧生成部４０は、例えば、複数のトランジスタを有し、複数のトランジスタのオンオフを切り替えることで複数の電圧を生成する。電圧生成部４０は、プラス側が透明電極３１に接続され、マイナス側が接地されている。電圧生成部４０は、透明電極３１を介して有機薄膜３２に複数の電圧を印加する。
　図６は、画像生成装置１にて得られるデータの一例を示す図である。
　本実施の形態では、同じ被写体Ｏｂ１を撮像する際に、電圧生成部４０を用いて有機薄膜３２に印加する電圧を変化させる。例えば、画像生成装置１では、有機薄膜３２に対して３つの電圧Ｖ１、Ｖ２、Ｖ３が順に印加され、３つの異なる感度特性が作り出される。撮像部１０は、３つの電圧Ｖ１～Ｖ３のそれぞれの印加タイミングに対応して撮像を行う。
　３つの特性を有する有機薄膜３２によって得られた電荷のそれぞれは、その都度、ＦＤ３８に蓄積される。撮像部１０は、ＦＤ３８に蓄積された電荷によって発生する電位を検出し、この電位をデジタル信号に変換してデータ処理部５０に出力する。また、電圧生成部４０は、データ処理部５０に、印可された電圧の情報（印可電圧の大きさ、印可タイミング）を送信してもよい。
　輝度データ取得部５１は、撮像部１０から出力されたデジタル信号によって輝度データを取得する。具体的には図６に示すように、輝度データ取得部５１は、撮像部１０が複数の電圧Ｖ１～Ｖ３を印加して被写体Ｏｂ１を撮像した際の、複数の電圧Ｖ１～Ｖ３の印加に対応する複数の輝度データＤ１、Ｄ２、Ｄ３を取得する。
　カラー画像生成部５２は、複数の輝度データＤ１～Ｄ３に基づいてカラー画像Ｄｃを生成する。具体的には、カラー画像生成部５２は、複数の輝度データＤ１～Ｄ３に対して、予め決められた係数Ａ１（式（２）参照）を掛けあわせ、データ処理を行うことでカラー画像Ｄｃを生成する。なお、カラー画像生成部５２は、印可された電圧の情報を用いて、カラー画像Ｄｃを生成してもよいし、予め決められた印可される電圧の情報を用いて、カラー画像Ｄｃを生成してもよい。つまり、電圧値に応じた係数を用いて、カラー画像Ｄｃが生成されてもよい。カラー画像生成部５２は、生成したカラー画像Ｄｃを、映像出力端子（図示省略）等に出力し、デジタル信号として又はアナログ信号として画像生成装置１の外部に出力する。
　［１－２．画像生成方法］
　次に、実施の形態の画像生成方法について、図７を参照しながら説明する。ここでは、有機薄膜３２に３つの電圧Ｖ１～Ｖ３を印加する例を中心に説明する。
　図７は、実施の形態１における画像生成方法を示すフローチャートである。
　まず、有機薄膜３２に複数の電圧Ｖ１～Ｖ３を印加して被写体Ｏｂ１を撮像する（Ｍ１０）。また、画像生成装置１は、撮像部１０の撮像によって得られる輝度データであって、複数の電圧Ｖ１～Ｖ３の印加に対応する複数の輝度データＤ１～Ｄ３を取得する（Ｍ２０）。これらの内容Ｍ１０及びＭ２０を具体的に示すと以下のようになる。
　まず、撮像部１０は、有機薄膜３２に電圧Ｖ１が印加された状態で、被写体Ｏｂ１を撮像する（Ｍ１１）。そして撮像部１０は、撮像によってＦＤ３８に発生した電位をデジタル信号に変換して出力する。輝度データ取得部５１は、撮像部１０から出力されたデジタル信号によって輝度データＤ１を取得する（Ｍ２１）。データ取得後、ＦＤ３８に蓄積された電荷は放出される。
　次に、撮像部１０は、有機薄膜３２に電圧Ｖ２（例えばＶ２＞Ｖ１）が印加された状態で、被写体Ｏｂ１を撮像する（Ｍ１２）。そして撮像部１０は、撮像によってＦＤ３８に発生した電位をデジタル信号に変換して出力する。輝度データ取得部５１は、撮像部１０から出力されたデジタル信号によって輝度データＤ２を取得する（Ｍ２２）。データ取得後、ＦＤ３８に蓄積された電荷は放出される。
　次に、撮像部１０は、有機薄膜３２に電圧Ｖ３（例えばＶ３＞Ｖ２）が印加された状態で、被写体Ｏｂ１を撮像する（Ｍ１３）。そして撮像部１０は、撮像によってＦＤ３８に発生した電位をデジタル信号に変換して出力する。輝度データ取得部５１は、撮像部１０から出力されたデジタル信号によって輝度データＤ３を取得する（Ｍ２３）。データ取得後、ＦＤ３８に蓄積された電荷は放出される。
　画像生成装置１は、これらの内容（Ｍ１０及びＭ２０）を実行することで、３つの輝度データＤ１～Ｄ３を取得する。
　次に、カラー画像生成部５２は、３つの輝度データＤ１～Ｄ３に基づいて、カラー画像を生成する（Ｍ３０）。具体的には、カラー画像生成部５２は、３つの輝度データＤ１～Ｄ３に予め決められた係数Ａ１を掛けあわせることでカラー画像Ｄｃ生成する。
　ここで、輝度データＤ１～Ｄ３からカラー画像Ｄｃを生成する方法について、詳しく説明する。図６に示す輝度データＤ１～Ｄ３及びカラー画像Ｄｃは、撮像した全画素のデータを示しているが、ここでは理解を容易にするため、まず、全画素のうちの１画素に着目して説明する。
　１画素に着目した場合、例えば、撮像によって取得した３つの輝度データは、輝度データ（ｉ１、ｉ２、ｉ３）で表される。生成されるカラー画像（ｒ１、ｇ１、ｂ１）は、Ｒ、Ｇ、Ｂの各成分からなり、以下の（式１）で表される。係数Ａ１は、（式２）の変換行列で表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　係数Ａ１のＣｒ１、Ｃｇ１、Ｃｂ１は、有機薄膜３２に電圧Ｖ１を印加したときに表れる特性値であり、Ｃｒ２、Ｃｇ２、Ｃｂ２は、有機薄膜３２に電圧Ｖ２を印加したときに表れる特性値であり、Ｃｒ３、Ｃｇ３、Ｃｂ３は、有機薄膜３２に電圧Ｖ３を印加したときに表れる特性値である。
　上記をもとにして、全画素数がｐ（ｐは２以上の整数）であり、有機薄膜３２に印加される異なる電圧の数がＮ（Ｎは２以上の整数）である場合について説明する。この場合、撮像によって取得した複数の輝度データＤ１～ＤＮは、輝度データ（ｉ１，１～ｉｐ，Ｎ）で表される。生成されるカラー画像（ｒ１、ｇ１、ｂ１～ｒｐ、ｇｐ、ｂｐ）は、Ｒ、Ｇ、Ｂの各成分からなり、以下の（式３）で表される。係数Ａは、（式４）の変換行列で表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　係数ＡのＣｒ１、Ｃｇ１、Ｃｂ１は、有機薄膜３２に電圧Ｖ１を印加したときに表れる特性値であり、ＣｒＮ、ＣｇＮ、ＣｂＮは、有機薄膜３２にＮ回目の電圧ＶＮを印加したときに表れる特性値である。
　このように、有機薄膜３２に複数Ｎの電圧Ｖ１～ＶＮを印加して撮像した場合には、撮像によって取得した輝度データＤ１～ＤＮに、上記係数Ａを掛けあわせることでカラー画像Ｄｃ生成することができる。
　［１－３．画像生成方法にて使用される係数の導出方法］
　ここで、上記の画像生成方法にて使用される係数Ａの導出方法について説明する。
　図８は、画像生成方法にて使用される係数Ａの求め方の一例を示す図である。図８には、複数の色を有するカラーチャートＯｂ２と標準光源とが示されている。本実施の形態で用いられるカラーチャートＯｂ２は、マクベスチャートであり、２４の色を有している。なお、カラーチャートＯｂ２は、マクベスチャートに限られず、各色に対応する各色データが既知となっているサンプル体であってもよい。
　まず、撮像部１０を用いてカラーチャートＯｂ２を撮像する。具体的には、異なるＮの電圧Ｖ１～ＶＮを有機薄膜３２に印加し、それぞれの印加タイミングでカラーチャートＯｂ２を撮像する。これによって（式５）に示すような、３×２４の行列で構成される色データ、３×Ｎの行列で構成される係数Ａ、及び、Ｎ×２４の行列で構成される輝度データを含む行列式を取得する。なお（式５）では、１色を１画素とみなして行列式を形成している。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　（式４）に示す係数Ａは、（式５）の行列式を、疑似逆行列を使って解くことで導出される。なお、この行列式では、全方程式を満足する解がないため、全方程式の二乗誤差を最小とする解が採用される。
　なお、係数Ａは、上記に限られず、ディープラーニングによって導出されてもよい。例えば、係数Ａは、撮像部１０を用いて複数の色を有するカラーチャートＯｂ２を撮像し、当該撮像によって得られた複数の輝度データを入力とし、複数の色に対応するデータを正解データとして学習することで導出されてもよい。この場合、被写体はカラーチャートである必要はなく、各色に対応する各色データが既知となっているサンプル体であってもよい。これは、例えば、通常のカラーカメラで撮影した複数の画像を利用し、カラーカメラのＲ、Ｇ、Ｂの各成分の輝度値を（色５）の左辺に与えればよい。このような被写体を利用することで、実際の撮像シーンに近いデータを学習することができるため、より色再現性の高いカラー画像を生成することができる。
　［１－４．画像の生成結果等］
　次に、画像生成装置１による画像の生成結果について説明する。
　図９は、画像生成装置１にて生成した画像の一例を示す図である。図９の（ａ）は、被写体Ｏｂ１の正解画像であり、（ｂ）は、画像生成装置１にて生成した画像である。
　図９の（ｂ）には、有機薄膜３２に電圧値が異なる２つの電圧を印加し、被写体Ｏｂ１を２回撮像して得られた画像が示されている。なお、変換行列である係数Ａは、被写体Ｏｂ１の正解画像が（Ｒ＋Ｇ）成分及びＢ成分で構成される２色画像であると仮定して求めた。また、有機薄膜３２は、可視光を検出する層と近赤外光を検出する層との２層構造で形成されているものを用いた。
　同図に示されるように、画像生成装置１にて生成した画像は、被写体Ｏｂ１の色を問題なく再現できている。
　［１－５．実施の形態１の変形例１］
　次に、実施の形態１の変形例１における画像生成装置１について説明する。変形例１では、撮像する際のシーンに応じて有機薄膜３２に印加する電圧の値を変える例について説明する。
　図１０は、画像生成装置１の撮像素子３０の波長－感度特性を示す模式図である。
　図１０の（ａ）は、明るい環境にて撮像する場合の感度特性であり、有機薄膜３２に電圧Ｖ１、Ｖ２、Ｖ３が印加され、可視光領域に相当する広い波長領域を使って撮像が行われる例が示されている。図１０の（ｂ）は、（ａ）よりも暗い環境にて撮像する場合の感度特性であり、有機薄膜３２に電圧Ｖ４、Ｖ５、Ｖ６が印加され、近赤外線の領域に近い波長領域を使って撮像が行われる例が示されている。これらの異なる電圧Ｖ１～Ｖ６は、電圧生成装置４０によって有機薄膜３２に印加される。
　電圧Ｖ１～Ｖ３及び電圧Ｖ４～Ｖ６の切り替えは、明るいときと暗いときとで使い分けるように画像生成装置１にて予め設定されていてもよい。また、はじめに電圧Ｖ１～Ｖ３を使って撮像したが、生成されたカラー画像Ｄｃが暗い画像となってしまった場合に、電圧Ｖ４～Ｖ６を使って撮像するようにしてもよい。つまり、電圧生成部４０は、複数の電圧値セットの情報を有し、電圧値のセットを切り替える。電圧値のセットの例は、第１の電圧値セット（Ｖ１～Ｖ３）と、第１の電圧値セットよりも撮像環境の明るさが暗いときに利用される第２の電圧値セット（Ｖ４～Ｖ６）である。
　画像生成装置１がセンサをさらに備え、センサ値および電圧値セットが対応付けられた情報と、センサで取得されるセンサ値とに基づいて、電圧値セットが選択されてもよい。又は、画像生成装置１の外部にセンサで取得されたセンサ値を取得して、電圧値セットが選択されてもよい。また、画像生成装置１へのユーザの入力に応じて、電圧値セットが切り替えられてもよい。
　また、有機薄膜３２に印加する電圧の値を変えて撮像するのは、環境の明暗だけに限られない。例えば、人間の肌を撮像する場合は、肌色に近い波長領域を使って撮像を行えるように有機薄膜３２に印加する電圧を設定してもよい。
　変形例１の画像生成装置１のように、撮像する際のシーンに応じて有機薄膜３２に印加する電圧を変えることで、多様な目的の撮像を行うことができる。
　［１－６．実施の形態１の変形例２］
　次に、実施の形態１の変形例２における画像生成装置１について説明する。変形例２では、撮像部１０の露光中（露光時間内）に有機薄膜３２に印加される電圧を変調する例について説明する。
　図１１は、画像生成装置１の撮像部１０の露光中に、有機薄膜３２に印加されている電圧を示す図である。図１１には、撮像部１０が露光中に、すなわちＦＤ３８が電荷を蓄積している途中に、印加する電圧を変化させる例が示されている。
　同図には、３回露光して撮像する際の１回目の撮像中に、まず、有機薄膜３２に電圧Ｖ１を印加し、次に電圧Ｖ２を印加して撮像している。その後、有機薄膜３２に電圧Ｖ２を印加して２回目の撮像を行い、電圧Ｖ３を印加して３回目の撮像を行っている。
　このように、１回の露光中に電圧を変調することで、例えば、電圧Ｖ１の印加による感度と電圧Ｖ２の印加による感度の両方の感度を有する特性を作り出すことができる。変形例２の画像生成装置１によれば、目的に応じた感度特性を作りだし、その特性を使って輝度データＤ１～Ｄ３を取得し、カラー画像Ｄｃを生成することができる。
　（実施の形態２）
　実施の形態２の画像生成装置１の構成について説明する。
　図１２は、実施の形態２における画像生成装置１の撮像部１０Ａ及び電圧生成部４０を示す模式図である。
　撮像部１０Ａは、複数のマイクロレンズ２０と、行列状に配置された複数の画素を有する撮像素子３０とを備えている。
　撮像素子３０は、シリコン基板３９と、シリコン基板３９上に設けられたＦＤ３８と、ＦＤ３８に電気的に接続された金属配線３７及び画素電極３６と、画素電極３６上に設けられた有機薄膜３２と、有機薄膜３２上に設けられた透明電極３１とを有している。
　本実施の形態の有機薄膜３２は、近赤外光を検出する第１の有機薄膜３２ａと、可視光を検出する第２の有機薄膜３２ｂとの積層構造によって構成されている。
　また本実施の形態では、第２の有機薄膜３２ｂが、第１の有機薄膜３２ａ上に形成されている。すなわち、可視光（ＲＧＢ）を検出する第２の有機薄膜３２ｂが、近赤外光（ＮＩＲ）を検出する第１の有機薄膜３２ａよりも被写体Ｏｂ１側に設けられている。この構造によれば、第２の有機薄膜３２ｂにて可視光を検出してその可視光を取り除いた後に、第１の有機薄膜３２ａにて近赤外光を検出することができるので、近赤外光の検出性能を向上することができる。
　また、実施の形態２では、複数の有機薄膜３２ａ、３２ｂに印加される複数の電圧の数は、複数の有機薄膜３２ａ、３２ｂの数以上となっている。例えば、実施の形態２では、２つの有機薄膜３２ａ及び３２ｂのそれぞれに、３つの電圧Ｖ１～Ｖ３が印加されるため、有機薄膜３２が１層で形成されている場合に比べて、より多くの感度特性を作り出すことができる。これにより、より正確な感度特性を使って再現性の高いカラー画像Ｄｃを生成することができる。
　（実施の形態３）
　実施の形態３の画像生成装置１の構成について説明する。
　図１３は、実施の形態３における画像生成装置１の撮像部１０Ｂ及び電圧生成部４０を示す模式図である。
　撮像部１０Ｂは、複数のマイクロレンズ２０と、行列状に配置された複数の画素を有する撮像素子３０とを備えている。
　撮像素子３０は、シリコン基板３９と、シリコン基板３９上に設けられたＦＤ３８と、ＦＤ３８に電気的に接続された金属配線３７及び画素電極３６と、画素電極３６上に設けられた有機薄膜３２と、有機薄膜３２上に設けられた透明電極３１とを有している。
　本実施の形態の有機薄膜３２は、近赤外光（ＮＩＲ）を検出する第１の有機薄膜３２ａと、可視光（ＲＧＢ）を検出する第２の有機薄膜３２ｂとの積層構造によって構成されている。また、第２の有機薄膜３２ｂは、３層構造であり、画素電極３６上にＲ層３２ｂ１、Ｇ層３２ｂ２、Ｂ層３２ｂ３の順で積層されている。例えば、Ｒ層３２ｂ１は、光のＲ成分を検出する層であり、Ｇ層３２ｂ２は、光のＧ成分を検出する層であり、Ｂ層３２ｂ３は、光のＢ成分を検出する層である。
　また本実施の形態では、第１の有機薄膜３２ａが、第２の有機薄膜３２ｂ上に形成されている。すなわち、近赤外光を検出する第１の有機薄膜３２ａが、可視光を検出する第２の有機薄膜３２ｂよりも被写体Ｏｂ１側に設けられている。この構造によれば、第１の有機薄膜３２ａにて近赤外光を検出してその近赤外光を取り除いた後に、第２の有機薄膜３２ｂにて可視光を検出することができるので、可視光の色再現性を向上することができる。
　（他の実施の形態）
　以上のように、本開示に係る技術の例示として実施の形態を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。
　また、上記の実施の形態で示した画像生成装置の各構成要素（特に、データ処理部５０を含む各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体（或いは記録媒体）に記録されたプログラムを読み出して実行することによって、実現されてもよい。
　また、画像生成装置に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　本開示に係る画像生成装置は、カラーフィルタを備えていない撮像装置を用いてカラー画像を生成する装置として適用可能である。
　１　　　画像生成装置
　１０、１０Ａ、１０Ｂ　撮像部
　２０　　マイクロレンズ
　３０　　撮像素子
　３１　　透明電極
　３２、ＯＰＦ　有機薄膜
　３２ａ　第１の有機薄膜
　３２ｂ　第２の有機薄膜
　３２ｂ１　Ｒ層
　３２ｂ２　Ｇ層
　３２ｂ３　Ｂ層
　３６　　画素電極
　３７　　金属配線
　３８　　ＦＤ（フローティングディフュージョン）
　３９　　シリコン基板
　４０　　電圧生成部
　５０　　データ処理部
　５１　　輝度データ取得部
　５２　　カラー画像生成部
　Ａ、Ａ１　係数（変換行列）
　Ｄ１、Ｄ２、Ｄ３　輝度データ
　Ｄｃ　　カラー画像
　Ｏｂ１　被写体
　Ｏｂ２　カラーチャート

Claims (10)

  1. 　電圧値の異なる複数の電圧を生成する電圧生成部と、
    　前記複数の電圧が印加される有機薄膜を有し、前記複数の電圧の印加のそれぞれに対応して撮像を行う撮像部と、
    　前記撮像部の撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得する輝度データ取得部と、
    　前記複数の輝度データに基づいてカラー画像を生成するカラー画像生成部と
    　を備える画像生成装置。
  2. 　前記カラー画像生成部は、前記複数の輝度データに、予め決められた係数を掛けあわせることで前記カラー画像を生成する
    　請求項１に記載の画像生成装置。
  3. 　前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像することで、前記複数の色に対応する色データ、前記係数、及び、前記複数の輝度データを含む行列式を取得し、前記行列式を疑似逆行列を使って解くことで導出される
    　請求項２に記載の画像生成装置。
  4. 　前記係数は、前記撮像部を用いて複数の色を有するカラーチャートを撮像し、当該撮像によって得られた前記複数の輝度データを入力とし、前記複数の色に対応する色データを正解データとして学習することで導出される
    　請求項２に記載の画像生成装置
  5. 　前記電圧生成部は、前記撮像部を用いて撮像する際のシーンに応じて前記電圧を変える
    　請求項１～４のいずれか１項に記載の画像生成装置。
  6. 　前記電圧生成部は、前記撮像部の露光中に前記電圧を変調する
    　請求項５に記載の画像生成装置。
  7. 　前記撮像部は、積層された複数の前記有機薄膜を有し、
    　複数の前記有機薄膜に印加される前記複数の電圧の数は、複数の前記有機薄膜の数以上である
    　請求項１～６のいずれか１項に記載の画像生成装置。
  8. 　前記撮像部は、複数の前記有機薄膜として、可視光を検出する第１の有機薄膜と、近赤外光を検出する第２の有機薄膜とを有し、
    　前記第１の有機薄膜は、前記第２の有機薄膜よりも被写体側に設けられている
    　請求項７に記載の画像生成装置。
  9. 　前記撮像部は、複数の前記有機薄膜として、可視光を検出する第１の有機薄膜と、近赤外光を検出する第２の有機薄膜とを有し、
    　前記第２の有機薄膜は、前記第１の有機薄膜よりも被写体側に設けられている
    　請求項７に記載の画像生成装置。
  10. 　有機薄膜に電圧値の異なる複数の電圧を印加して撮像を行うことと、
    　前記撮像によって得られる輝度データであって、前記複数の電圧の印加に対応する複数の輝度データを取得することと、
    　前記複数の輝度データに基づいてカラー画像を生成することと
    　を含む画像生成方法。
PCT/JP2019/033538 2018-08-30 2019-08-27 画像生成装置及び画像生成方法 WO2020045443A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020539507A JP7336748B2 (ja) 2018-08-30 2019-08-27 画像生成装置及び画像生成方法
CN201980042319.1A CN112369015B (zh) 2018-08-30 2019-08-27 图像生成装置以及图像生成方法
EP19854631.9A EP3846463A4 (en) 2018-08-30 2019-08-27 IMAGE GENERATION DEVICE AND IMAGE GENERATION METHOD
US17/136,722 US11277571B2 (en) 2018-08-30 2020-12-29 Image generation device and image generation method
JP2023111487A JP7474953B2 (ja) 2018-08-30 2023-07-06 画像生成装置及び画像生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862724796P 2018-08-30 2018-08-30
US62/724,796 2018-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/136,722 Continuation US11277571B2 (en) 2018-08-30 2020-12-29 Image generation device and image generation method

Publications (1)

Publication Number Publication Date
WO2020045443A1 true WO2020045443A1 (ja) 2020-03-05

Family

ID=69644335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033538 WO2020045443A1 (ja) 2018-08-30 2019-08-27 画像生成装置及び画像生成方法

Country Status (5)

Country Link
US (1) US11277571B2 (ja)
EP (1) EP3846463A4 (ja)
JP (2) JP7336748B2 (ja)
CN (1) CN112369015B (ja)
WO (1) WO2020045443A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227092A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp 光電変換素子、撮像素子、撮像装置
JP2009005061A (ja) * 2007-06-21 2009-01-08 Konica Minolta Holdings Inc 固体撮像素子およびそれを用いる撮像装置
JP2018125495A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 光電変換素子および撮像装置
JP2018125839A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置の制御方法及び撮像装置
JP2019140677A (ja) * 2018-02-06 2019-08-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 有機イメージセンサー及びカラーフィルターがない有機−無機積層イメージセンサー

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058274A (ja) * 2010-09-03 2012-03-22 Hitachi Displays Ltd 表示装置
US10141354B2 (en) * 2014-10-23 2018-11-27 Panasonic Intellectual Property Management Co., Ltd. Imaging device and image acquisition device
JP6975897B2 (ja) * 2016-12-27 2021-12-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
US11107860B2 (en) 2018-02-06 2021-08-31 Samsung Electronics Co., Ltd. Organic image sensors without color filters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227092A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp 光電変換素子、撮像素子、撮像装置
JP2009005061A (ja) * 2007-06-21 2009-01-08 Konica Minolta Holdings Inc 固体撮像素子およびそれを用いる撮像装置
JP2018125495A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 光電変換素子および撮像装置
JP2018125839A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置の制御方法及び撮像装置
JP2019140677A (ja) * 2018-02-06 2019-08-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 有機イメージセンサー及びカラーフィルターがない有機−無機積層イメージセンサー

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3846463A4
SHINICHI MACHIDASANSHIRO SHISHIDOTAKEYOSHI TOKUHARAMASAAKI YANAGIDATAKAYOSHI YAMADAMASUMI IZUCHIYOSHIAKI SATOYASUO MIYAKEMANABU NA: "A 2.1-Mpixel Organic Film-Stacked RGB-IR Image Sensor With Electrically Controllable IR Sensitivity", IEEE JOURNAL OF SOLID-STATE CIRCUIT, vol. 53, no. 1, January 2018 (2018-01-01), pages 229 - 235, XP011674932, DOI: 10.1109/JSSC.2017.2769341

Also Published As

Publication number Publication date
US20210120165A1 (en) 2021-04-22
JP7474953B2 (ja) 2024-04-26
EP3846463A1 (en) 2021-07-07
JP7336748B2 (ja) 2023-09-01
CN112369015B (zh) 2023-03-24
CN112369015A (zh) 2021-02-12
JP2023118931A (ja) 2023-08-25
EP3846463A4 (en) 2021-09-22
US11277571B2 (en) 2022-03-15
JPWO2020045443A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
KR102356706B1 (ko) 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
CN108401090B (zh) 摄像装置及照相机系统
US9888198B2 (en) Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
JP5675215B2 (ja) デジタルカメラ
WO2021212763A1 (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2021196553A1 (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
CN103458162B (zh) 用于分区图像传感器的透镜阵列
US8305459B2 (en) Image processing apparatus and camera module
KR20120106921A (ko) 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 컴퓨터 프로그램
WO2021223364A1 (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114650377A (zh) 摄像模组、摄像模组的控制方法以及电子设备
Machida et al. A 2.1-Mpixel organic film-stacked RGB-IR image sensor with electrically controllable IR sensitivity
JP2006303995A (ja) 固体撮像素子及び撮像装置
WO2020045443A1 (ja) 画像生成装置及び画像生成方法
JP2018078350A (ja) Ａｄ変換器、イメージセンサ、および撮像装置
US11956416B2 (en) Image sensing device and method of operating the same
US8964071B2 (en) Solid-state imaging device, camera module, and imaging method having first and second green pixel cells
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020539507

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019854631

Country of ref document: EP

Effective date: 20210330