WO2017126242A1 - 撮像装置、及び、画像データ生成方法 - Google Patents

撮像装置、及び、画像データ生成方法 Download PDF

Info

Publication number
WO2017126242A1
WO2017126242A1 PCT/JP2016/086289 JP2016086289W WO2017126242A1 WO 2017126242 A1 WO2017126242 A1 WO 2017126242A1 JP 2016086289 W JP2016086289 W JP 2016086289W WO 2017126242 A1 WO2017126242 A1 WO 2017126242A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
light receiving
pixel
primary
optical system
Prior art date
Application number
PCT/JP2016/086289
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP16886481.7A priority Critical patent/EP3407592B1/en
Priority to CN201680076743.4A priority patent/CN108432233B/zh
Priority to JP2017562464A priority patent/JP6545829B2/ja
Publication of WO2017126242A1 publication Critical patent/WO2017126242A1/ja
Priority to US16/013,942 priority patent/US10691002B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • the present invention relates to an imaging apparatus and an image data generation method, and in particular, by using an imaging lens having a plurality of optical systems and an image sensor in which each light receiving sensor has directivity with respect to an incident angle of light.
  • the present invention relates to an imaging device capable of capturing a plurality of images at once and an image data generation method.
  • Patent Document 1 An imaging device having a plurality of optical systems and an imaging device capable of capturing a plurality of images at a time by using an image sensor in which each light receiving sensor has directivity with respect to an incident angle of light is known (for example, Patent Document 1).
  • this image pickup apparatus light passing through each optical system of the photographing lens is selectively received by each light receiving sensor of the image sensor, thereby picking up an image corresponding to each optical system.
  • crosstalk occurs.
  • Interference is a phenomenon in which light from other optical systems is mixed and received. When interference occurs, an image in which images of other optical systems are superimposed is captured (see FIGS. 13 and 14).
  • Patent Documents 2 and 3 propose a method of mutually using the images of the respective optical systems obtained by photographing and removing the influence of interference from each image by signal processing.
  • Noise is generated in an image obtained by photographing due to various factors.
  • Noise is a fine fluctuation component generated randomly, and appears as roughness in the image.
  • Patent Documents 2 and 3 there is a problem that if the image to be processed contains noise, the influence of the noise also appears in the processing result.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus and an image data generation method capable of reducing noise appearing in an image after interference removal.
  • the means for solving the problem are as follows.
  • n is an integer satisfying n> 1
  • a photographing lens having n optical systems having different imaging characteristics and m having different interference ratios when m is an integer satisfying m> n An image sensor having each light receiving sensor in each pixel, a primary image data generating unit that obtains an image signal from each light receiving sensor in each pixel of the image sensor, and generates m primary image data; and m primary images
  • An imaging apparatus comprising: a secondary image data generation unit that performs interference removal processing on image data in units of pixels and generates n secondary image data corresponding to each optical system.
  • the number (n) of optical systems provided in the photographing lens is 2
  • the number (m) of light receiving sensors provided in each pixel of the image sensor is also 2.
  • the inventor of the present application has found that the noise of the image obtained after the interference removal process can be reduced by increasing the number (m) of light receiving sensors provided in each pixel to the number (n) of the optical system. Therefore, in this aspect, the number (m) of light receiving sensors provided in each pixel of the image sensor is made larger than the number (n) of optical systems. Thereby, the noise which appears in the image after interference removal can be reduced.
  • interference ratio means the ratio of light received from each optical system.
  • the photographing lens is provided with three optical systems.
  • the three optical systems are a first optical system, a second optical system, and a third optical system.
  • the light receiving sensor receives light at a ratio of 0.8 from the first optical system, 0.1 from the second optical system, and 0.1 from the third optical system, assuming that the total amount of received light is 1. . That is, 80% of the light received by the light receiving sensor is light from the first optical system, 10% is light from the second optical system, and 10% is light from the third optical system.
  • the crosstalk ratio is different means that the ratio of light received from each optical system is different. Accordingly, the light receiving sensors having different interference ratios are light receiving sensors having different ratios of light received from the respective optical systems.
  • interference removal processing is processing for removing the influence of interference from an image.
  • interference occurs, an image in which images of other optical systems are superimposed is captured. The image of the other optical system is separated and removed by the interference removal process.
  • imaging characteristics refers to properties related to imaging
  • optical systems having different imaging characteristics refer to optical systems having different properties related to imaging. For example, there are optical systems with different focal lengths, optical systems with different focal lengths, and optical systems with different transmission wavelength characteristics.
  • the pixel values of the primary image data are A1, A2,..., Am
  • the pixel values of the secondary image data are B1, B2,..., Bn
  • C2 C21 : C22: ...: C2n
  • Cm Cm1: Cm2: ...: Cmn
  • A2 C21 * B1 + C22 * B2 + ... + C2n * Bn
  • Am Cm1 * B1 + Cm2 * B2 + ... + Cmn * Bn to generate secondary image data, (1 ) Imaging device.
  • the general inverse matrix can be calculated by a known method such as the Moore-Penrose inverse matrix.
  • An inverse matrix information storage unit that stores information of the inverse matrix C ⁇ 1 is further provided, and the secondary image data generation unit uses the information of the inverse matrix C ⁇ 1 stored in the inverse matrix information storage unit.
  • the imaging apparatus according to (3) which solves a matrix equation.
  • the inverse matrix C ⁇ 1 necessary for the calculation is calculated in advance. Therefore, the processing speed of interference removal can be improved.
  • the inverse matrix C ⁇ 1 is calculated for each pixel. Therefore, interference can be removed with high accuracy.
  • a shooting scene information acquisition unit that acquires shooting scene information is further provided, and the secondary image data generation unit changes the number of primary image data used to generate secondary image data according to the shooting scene. , (1) to (5).
  • the number of primary image data used for generating secondary image data is changed according to the shooting scene. For example, in a shooting scene where noise is a concern, the number of primary image data used to generate secondary image data is increased. On the other hand, in a shooting scene where noise is not a concern, the number of primary image data used for generating secondary image data is reduced. Thereby, the image data can be appropriately processed according to the shooting scene. In shooting scenes where noise is a concern, noise can be further suppressed by increasing the number of primary image data used to generate secondary image data. On the other hand, in a shooting scene where noise is not a concern, the processing speed can be improved by reducing the number of primary image data used for generating secondary image data.
  • the shooting scene is specified by analyzing the primary image data.
  • a photographing scene can be automatically specified.
  • the light receiving sensor includes a photoelectric conversion element, a microlens that forms an image of an exit pupil of the photographing lens on the photoelectric conversion element, and a light shielding mask disposed between the microlens and the light receiving sensor.
  • the imaging device according to any one of (1) to (7), wherein the crosstalk ratio varies depending on the shape of the light shielding mask and / or the imaging characteristics of the microlens.
  • the light receiving sensor provided in each pixel includes a photoelectric conversion element, a microlens, and a light shielding mask.
  • Each light receiving sensor can change the interference ratio by changing the shape of the light shielding mask and / or the imaging characteristics of the microlens.
  • imaging characteristics refer to properties related to imaging
  • different imaging characteristics of microlenses mean that properties related to imaging of microlenses are different from each other. For example, it means that the lens power, magnification, imaging position, etc. of the microlens are different.
  • the light receiving sensor includes a photoelectric conversion element and a microlens that forms an image of an exit pupil of the photographing lens on the photoelectric conversion element, and the crosstalk ratio varies depending on the imaging characteristics of the microlens.
  • the imaging apparatus according to any one of (1) to (7).
  • the light receiving sensor provided in each pixel includes a photoelectric conversion element and a microlens.
  • Each light receiving sensor can change the interference ratio by changing the imaging characteristics of the microlens.
  • each optical system provided in the photographing lens is composed of optical systems having different focal lengths.
  • images having different focal lengths can be captured, such as a telephoto image and a wide-angle image.
  • each optical system provided in the photographic lens is composed of optical systems having different in-focus distances.
  • images with different in-focus distances can be captured, such as an image focused on a short-distance subject and an image focused on a long-distance subject.
  • each optical system provided in the photographing lens is composed of optical systems having different transmission wavelength characteristics.
  • “Transmission wavelength characteristics” refers to the property of transmitting light in a specific wavelength range
  • “Optical systems having different transmission wavelength characteristics” are optical systems having different properties of transmitting light of a specific wavelength range. I mean.
  • one optical system is configured by an optical system that transmits light in the infrared light region, and the other optical system transmits light in the visible light region. This is a case where the system is configured.
  • n is an integer satisfying n> 1
  • a photographing lens having n optical systems having different imaging characteristics and m having different interference ratios when m is an integer satisfying m> n An image data generation method using an imaging device including an image sensor including a single light receiving sensor in each pixel, the step of exposing the image sensor, and an image signal from each light receiving sensor of each pixel of the image sensor Acquiring and generating m primary image data; and performing interference removal processing on the m primary image data in units of pixels to generate n secondary image data corresponding to each optical system;
  • An image data generation method for an imaging apparatus comprising:
  • the number (m) of light receiving sensors provided in each pixel of the image sensor is set to be larger than the number (n) of optical systems provided in the photographing lens.
  • the pixel values of the primary image data are A1, A2,... Am
  • the pixel values of the secondary image data are B1, B2,..., Bn
  • C2 C21 : C22: ...: C2n
  • A2 C21 * B1 + C22 * B2 + ... + C2n * Bn
  • ... Am Cm1 * B1 + Cm2 * B2 + ... + Cmn * Bn is generated to generate secondary image data.
  • the photographing lens is configured by concentrically arranging a plurality of optical systems.
  • FIG. 1st optical system Sectional drawing which shows schematic structure of 2nd optical system Front view of the light receiving surface of the image sensor Front view in which one pixel of the image sensor is enlarged
  • Sectional drawing which shows schematic structure of a light receiving sensor Diagram showing an example of a light receiving sensor Diagram showing an example of a light receiving sensor Conceptual diagram for generating nine primary image data from the output of the image sensor Conceptual diagram for generating individual primary image data from the output of the image sensor
  • the figure which shows an example of the image which 1st primary image data FI1 represents
  • the figure which shows an example of the image which 2nd primary image data FI2 represents
  • the figure which shows the image which 1st secondary image data SI1 represents
  • the figure which shows the image which 2nd secondary image data SI2 represents Conceptual diagram of the configuration of the first primary image data
  • Conceptual diagram of configuration of second primary image data Conceptual diagram representing the relationship between primary image data and secondary image data as a matrix Matr
  • FIG. 1 is a block diagram illustrating a system configuration of the imaging apparatus.
  • the imaging apparatus 1 mainly includes a photographic lens 10, an image sensor 100, a lens drive control unit 210, an image sensor drive control unit 212, an analog signal processing unit 214, a digital signal processing unit 216, and a display unit 218.
  • FIG. 2 is a front view showing a schematic configuration of the photographing lens.
  • 3 is a cross-sectional view taken along the line 3-3 in FIG.
  • the photographic lens 10 includes two optical systems 20 and 30.
  • the two optical systems 20 and 30 are arranged concentrically. Therefore, each optical system 20 and 30 has the same optical axis L.
  • the central optical system 20 is referred to as a first optical system
  • the outer optical system 30 is referred to as a second optical system, and the optical systems are distinguished as necessary.
  • the first optical system 20 and the second optical system 30 are composed of optical systems having different focal lengths.
  • the first optical system 20 is composed of a wide-angle optical system
  • the second optical system 30 is composed of a telephoto optical system.
  • the wide-angle optical system refers to an optical system having a shorter focal length than a standard optical system (an optical system having an angle of view of about 50 °).
  • the telephoto optical system refers to an optical system having a longer focal length than a standard optical system.
  • FIG. 4 is a cross-sectional view showing a schematic configuration of the first optical system.
  • the broken line indicates the ray trajectory of the light passing through the first optical system 20.
  • the first optical system 20 is composed of eight lenses in three groups.
  • the first optical system 20 has a diaphragm 22 between the second lens group and the third lens group.
  • the diaphragm 22 has an annular light shielding portion. The diaphragm 22 adjusts the amount of light passing through the first optical system 20 by expanding and contracting the inner diameter of the annular light shielding portion.
  • FIG. 5 is a cross-sectional view showing a schematic configuration of the second optical system.
  • the broken line indicates the ray trajectory of the light passing through the second optical system 30.
  • the second optical system 30 is a so-called reflection optical system.
  • the second optical system 30 includes a first lens 30a, a second lens 30b, a third lens 30c, a primary mirror 30d, and a secondary mirror 30e. Since the second optical system 30 is disposed on the outer periphery of the first optical system 20, each component is formed in an annular shape.
  • the first lens 30a, the second lens 30b, and the third lens 30c are disposed along the optical axis L in the order of the first lens 30a, the second lens 30b, and the third lens 30c from the object side.
  • the primary mirror 30d is provided on the image side surface of the third lens 30c.
  • the primary mirror 30d is provided integrally with the third lens 30c by forming a reflective film on the image side surface of the third lens 30c.
  • the primary mirror 30d is provided on the entire surface of the third lens 30c on the image plane side.
  • the secondary mirror 30e is provided on the image side surface of the second lens 30b.
  • the sub mirror 30e is provided integrally with the second lens 30b by forming a reflective film on the image side surface of the second lens 30b.
  • the secondary mirror 30e is provided in the inner peripheral portion of the image side surface of the second lens 30b.
  • the light incident on the second optical system 30 passes through the first lens 30a, the second lens 30b, and the third lens 30c and enters the main mirror 30d.
  • the light incident on the primary mirror 30d is reflected by the primary mirror 30d, and again enters the secondary mirror 30e through the third lens 30c.
  • the light incident on the secondary mirror 30e is reflected by the secondary mirror 30e and emitted.
  • the second optical system 30 has a stop 32 at the rear stage of the secondary mirror 30e.
  • the diaphragm 32 has an annular light shielding part. The diaphragm 32 adjusts the amount of light passing through the second optical system 30 by expanding or reducing the outer diameter of the annular light shielding portion.
  • the taking lens 10 has a common lens 40 shared by the first optical system 20 and the second optical system 30.
  • the light that has passed through the first optical system 20 and the second optical system 30 enters the image sensor 100 via the common lens 40.
  • the common lens 40 has an effect of adjusting the incident angle of light incident on the image sensor 100 via the first optical system 20 and the second optical system 30.
  • the first optical system 20 and the second optical system 30 are independently focused.
  • the first optical system 20 is focused by moving the entire optical system back and forth along the optical axis L.
  • the focus of the second optical system 30 is adjusted by moving the entire optical system back and forth along the optical axis L.
  • the photographing lens 10 has a mechanism (focus adjustment mechanism) for moving the first optical system 20 back and forth along the optical axis L and a second optical system 30 back and forth along the optical axis L. And a mechanism for moving (focus adjustment mechanism).
  • FIG. 6 is a front view of the light receiving surface of the image sensor.
  • the image sensor 100 includes a plurality of pixels 110 on the light receiving surface.
  • the plurality of pixels 110 are arranged in a two-dimensional matrix on the light receiving surface.
  • FIG. 7 is an enlarged front view of one pixel of the image sensor.
  • the hatched lines indicate the mask area by the light shielding mask. The light shielding mask will be described later.
  • the image sensor 100 includes a plurality of light receiving sensors in one pixel 110.
  • the plurality of light receiving sensors are arranged in a two-dimensional matrix.
  • the image sensor 100 according to the present embodiment includes nine light receiving sensors 120a to 120i in one pixel 110.
  • the nine light receiving sensors 120a to 120i are arranged in a two-dimensional matrix with an array of 3 rows and 3 columns (3 ⁇ 3).
  • the light receiving sensor 120a is the first light receiving sensor
  • the light receiving sensor 120b is the second light receiving sensor
  • the light receiving sensor 120c is the third light receiving sensor
  • the light receiving sensor 120d is the fourth light receiving sensor
  • the light receiving sensor 120e is received.
  • the sensor is the fifth light receiving sensor, the light receiving sensor 120f is the sixth light receiving sensor, the light receiving sensor 120g is the seventh light receiving sensor, the light receiving sensor 120h is the eighth light receiving sensor, and the light receiving sensor 120i is the ninth light receiving sensor. And each light receiving sensor is distinguished as necessary.
  • the nine light receiving sensors 120a to 120i have different interference ratios. “Having different interference ratios” means receiving light at different ratios from each optical system. That is, each of the light receiving sensors 120a to 120i receives light from the first optical system 20 and the second optical system 30 at different ratios.
  • FIG. 8 is a cross-sectional view showing a schematic configuration of the light receiving sensor.
  • a region L1 indicated by a wavy line conceptually indicates light incident from the first optical system 20
  • a region L2 indicated by an oblique lattice conceptually indicates light incident from the second optical system 30. It shows.
  • each of the light receiving sensors 120a to 120i includes a photoelectric conversion element 130, a microlens 132, and a light shielding mask 134.
  • the photoelectric conversion element 130 receives light and accumulates charges proportional to the intensity of the received light.
  • the photoelectric conversion element 130 is composed of a photodiode, for example.
  • the micro lens 132 forms an image of the exit pupil of the first optical system 20 and the second optical system 30 on the photoelectric conversion element 130.
  • the light shielding mask 134 is disposed between the microlens 132 and the photoelectric conversion element 130.
  • the light shielding mask 134 shields part of the light that has passed through the microlens 132.
  • the interference ratio is adjusted by adjusting the shape of the light shielding mask 134.
  • FIG. 9 is a diagram illustrating an example of a light receiving sensor.
  • FIG. 4A is a cross-sectional view of the light receiving sensor (cross-sectional view taken along line AA in FIG. 2B), and
  • FIG. 4B is a front view of the light receiving sensor.
  • the shaded area indicates the light shielding area of the light shielding mask 134.
  • FIG. 9 shows an example where light from the first optical system 20 is mainly received.
  • the light shielding mask 134 has a shape having a circular opening 134A at the center.
  • the light from the second optical system 30 is shielded by the light shielding mask 134, so that the light from the first optical system 20 is mainly photoelectrically.
  • Light is received by the conversion element 130.
  • FIG. 10 is a diagram illustrating an example of a light receiving sensor.
  • FIG. 4A is a cross-sectional view of the light receiving sensor (cross-sectional view taken along line AA in FIG. 2B), and
  • FIG. 4B is a front view of the light receiving sensor.
  • the shaded area indicates the light shielding area of the light shielding mask 134.
  • FIG. 10 shows an example in which light from the second optical system 30 is mainly received.
  • the light shielding mask 134 has a shape including an annular opening 134A as shown in FIG.
  • the light receiving sensors 120a to 120i of this example as shown in FIG. 10A, the light from the first optical system 20 is shielded by the light shielding mask 134, so that the light from the second optical system 30 is mainly photoelectrically.
  • Light is received by the conversion element 130.
  • the light receiving sensors 120a to 120i can adjust the interference ratio by adjusting the shape of the light shielding mask 134.
  • the image sensor 100 reads the charge amount accumulated in the photoelectric conversion elements 130 of the light receiving sensors 120a to 120i of each pixel 110, and outputs a signal corresponding to the charge amount as an image signal. By processing this image signal, image data corresponding to each optical system can be acquired. This process will be described in detail later.
  • the lens drive control unit 210 controls driving of the photographing lens 10 based on a command from the system control unit 226. That is, in order to adjust the focus of the first optical system 20, the drive of the focus adjustment mechanism of the first optical system 20 is controlled, and the second optical system 30 is adjusted to adjust the focus of the second optical system 30. Controls the driving of the focus adjustment mechanism. Further, in order to adjust the light amount of the first optical system 20, the driving of the diaphragm 22 of the first optical system 20 is controlled, and in order to adjust the light amount of the second optical system 30, The drive of the diaphragm 32 is controlled.
  • the image sensor drive control unit 212 controls the drive of the image sensor 100 based on a command from the system control unit 226. That is, it controls reading of an image signal from the image sensor 100.
  • the analog signal processing unit 214 takes in an analog image signal output from the image sensor 100 and performs predetermined analog signal processing.
  • the analog signal processing unit 214 converts an image signal subjected to predetermined analog signal processing into a digital signal and outputs the digital signal.
  • the digital signal processing unit 216 takes in an image signal converted into a digital signal, performs predetermined signal processing, and generates image data corresponding to each optical system. This process will be described in detail later.
  • the display unit 218 is composed of, for example, a liquid crystal monitor, and displays a captured image or a captured image (a so-called live view image). Further, the display unit 218 functions as a GUI (GUI: Graphical User Interface) as necessary.
  • GUI Graphical User Interface
  • the work memory 220 is constituted by a RAM (Random Access Memory), for example, and functions as a work memory.
  • the storage unit 222 is configured by a nonvolatile memory such as an EEPROM (EEPROM: Electrically Erasable Programmable Read-Only Memory).
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • the storage unit 222 stores data necessary for control, data necessary for signal processing, and the like.
  • the media interface 224 reads / writes data from / to the external memory 230 such as a memory card based on a command from the system control unit 226.
  • the system control unit 226 performs overall control of the operation of the entire imaging apparatus.
  • the system control unit 226 is constituted by, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM, and executes a predetermined control program to control the entire imaging apparatus 1. Programs and various data necessary for control are stored in the ROM.
  • the operation unit 228 includes various operation buttons such as a power button and a shutter button, and a drive circuit thereof. Operation information of the operation unit 228 is input to the system control unit 226. The system control unit 226 controls each unit based on operation information from the operation unit 228.
  • the imaging device 1 is configured as described above.
  • the image sensor 100 includes the nine light receiving sensors 120a to 120i in each pixel 110. Therefore, by acquiring the image signal of the light receiving sensor corresponding to each pixel, nine pieces of image data can be generated by one shooting. However, interference occurs in these nine image data. Therefore, in the imaging apparatus 1 according to the present embodiment, the interference removal process is performed on the nine pieces of image data obtained by photographing to generate image data corresponding to each optical system.
  • each process will be described.
  • nine image data generated by acquiring the image signal of the corresponding light receiving sensor from each pixel of the image sensor 100 is subjected to interference removal processing on the primary image data and the nine primary image data.
  • the image data generated in this way is called secondary image data, and the two are distinguished as necessary.
  • FIG. 11 is a conceptual diagram for generating nine primary image data from the output of the image sensor.
  • the primary image data is generated by acquiring the image signals of the corresponding light receiving sensors 120a to 120i from each pixel 110 of the image sensor 100.
  • the primary image data generated by the image signal acquired from the first light receiving sensor 120a of each pixel 110 is generated by the first primary image data FI1 and the image signal acquired from the second light receiving sensor 120b of each pixel 110.
  • Primary image data is second primary image data FI2
  • primary image data generated from an image signal acquired from the third light receiving sensor 120c of each pixel 110 is third primary image data FI3, and fourth light reception of each pixel 110 is received.
  • the primary image data generated from the image signal acquired from the sensor 120d is the fourth primary image data FI4
  • the primary image data generated from the image signal acquired from the fifth light receiving sensor 120e of each pixel 110 is the fifth primary image.
  • the primary image data generated by the image signal acquired from the data FI5 and the sixth light receiving sensor 120f of each pixel 110 is the sixth primary image.
  • the primary image data generated from the data FI6 and the image signal acquired from the seventh light receiving sensor 120g of each pixel 110 is generated from the seventh primary image data FI7 and the image signal acquired from the eighth light receiving sensor 120h of each pixel 110.
  • the primary image data is the eighth primary image data FI8, and the primary image data generated by the image signal acquired from the ninth light receiving sensor 120i of each pixel 110 is the ninth primary image data FI9.
  • FIG. 12 is a conceptual diagram for generating individual primary image data from the output of the image sensor.
  • this figure shows a case where the first primary image data FI1 is generated from the output of the image sensor.
  • the first primary image data FI1 is generated by acquiring the image signal of the first light receiving sensor 120a from each pixel 110 of the image sensor 100.
  • the value (pixel value) at the pixel position (0, 0) of the first primary image data FI1 is obtained by acquiring an image signal from the first light receiving sensor 120a at the pixel position (0, 0) of the image sensor 100.
  • the value (pixel value) at the pixel position (0, 1) of the first primary image data FI1 obtains an image signal from the first light receiving sensor 120a at the pixel position (0, 1) of the image sensor 100.
  • the value (pixel value) of each pixel of the first primary image data FI1 is generated by acquiring the image signal from the first light receiving sensor 120a in the corresponding pixel 110 of the image sensor 100.
  • the pixel position (x, y) represents the pixel position in xy coordinates.
  • the xy coordinates are set as follows. That is, in the image sensor 100, as shown in FIG. 6, the upper left corner of the screen is the coordinate origin, the horizontal direction is the x coordinate, and the vertical direction is the y coordinate. In this case, the position of the specific pixel is expressed as (x, y). The same applies to image data, where the upper left corner of the screen is the coordinate origin, the horizontal direction is the x coordinate, and the vertical direction is the y coordinate.
  • other primary image data is generated by acquiring the image signal of the corresponding light receiving sensor from each pixel 110 of the image sensor 100.
  • the secondary image data is generated by performing interference removal processing on the primary image data in units of pixels.
  • the interference removal process will be described.
  • one optical system is a first optical system and the other optical system is a telephoto second optical system.
  • the first optical system is composed of a wide-angle optical system
  • the second optical system is composed of a telephoto optical system.
  • one light receiving sensor is a first light receiving sensor and the other light receiving sensor is a second light receiving sensor. It is assumed that the first light receiving sensors provided in each pixel have the same interference ratio. Similarly, it is assumed that the second light receiving sensors provided in each pixel have the same interference ratio.
  • the crosstalk ratio C1 is C11: C12.
  • the crosstalk ratio C2 is C21: C22.
  • the primary image data based on the first light receiving sensor is referred to as first primary image data FI1
  • the primary image data based on the second light receiving sensor is referred to as second primary image data FI2.
  • FIG. 13 is a diagram illustrating an example of an image represented by the first primary image data FI1.
  • FIG. 14 is a diagram illustrating an example of an image represented by the second primary image data FI2.
  • the interference ratio C1 of the first light receiving sensor is C11> C12
  • the interference ratio C2 of the second light receiving sensor is C21 ⁇ C22. That is, the first light receiving sensor is configured to receive more light from the first optical system, and the second light receiving sensor is configured to receive more light from the second optical system.
  • An example is shown.
  • the image obtained from the first light receiving sensor (the image represented by the first primary image data FI1) is added to the original first optical system image (wide-angle image).
  • the image of the second optical system becomes a slightly superposed image.
  • the image obtained from the second light receiving sensor (the image represented by the second primary image data FI2) is the first image in addition to the original second optical system image (telephoto image).
  • the image of the optical system (wide-angle image) is a slightly superposed image.
  • the secondary image data corresponding to the first optical system is referred to as first secondary image data SI1
  • the secondary image data corresponding to the second optical system is referred to as second secondary image data SI2.
  • FIG. 15 is a view showing an image represented by the first secondary image data SI1
  • FIG. 16 is a view showing an image represented by the second secondary image data SI2.
  • the images represented by the first secondary image data SI1 and the second secondary image data SI2 are images from which the influence of interference has been removed.
  • A1 be the pixel value of the first primary image data FI1 and A2 be the pixel value of the second primary image data FI2 at a specific pixel position (x, y). Further, the pixel value of the first secondary image data SI1 in the corresponding pixel is B1, and the pixel value of the second secondary image data SI2 is B2.
  • FIG. 17 is a conceptual diagram of the configuration of the first primary image data.
  • the first primary image data FI1 includes the component of the first secondary image data SI1 at a ratio of C11, and the component of the second secondary image data SI2 at a ratio of C12. Including.
  • FIG. 18 is a conceptual diagram of the configuration of the second primary image data.
  • the second primary image data FI2 includes the component of the first secondary image data SI1 at a ratio of C21, and the component of the second secondary image data SI2 at a ratio of C22. Including.
  • A2 C21 * B1 + C22 * B2 holds for a specific pixel position (x, y).
  • the pixel values B1 and B2 of the first secondary image data SI1 and the second secondary image data SI2 can be calculated, and the first secondary image data SI1 and Second secondary image data SI2 can be generated. Then, by solving this simultaneous equation, it is possible to generate image data (first secondary image data SI1 and second secondary image data SI2) from which the influence of interference has been removed.
  • FIG. 19 is a conceptual diagram expressing the relationship between primary image data and secondary image data as a matrix.
  • FIG. 20 is a matrix equation showing the relationship between primary image data and secondary image data.
  • a matrix of 2 rows and 1 column having pixel values A1 and A2 of the first primary image data FI1 and the second primary image data FI2 as elements, and the first secondary image A matrix of 2 rows and 1 column having the pixel values B1 and B2 of the data SI1 and the second secondary image data SI2 as elements, and the interference ratio C1 C11: C12 of the first light receiving sensor and the interference ratio of the second light receiving sensor.
  • FIG. 21 is a conceptual diagram expressing the relationship between primary image data and secondary image data using an inverse matrix.
  • FIG. 22 is a matrix equation representing the relationship between primary image data and secondary image data using an inverse matrix.
  • the pixel values B1 and B2 of the first secondary image data SI1 and the second secondary image data SI2 are obtained by multiplying the matrix A by the inverse matrix C ⁇ 1 of the matrix C. It can be calculated.
  • the inverse matrix C ⁇ 1 can be acquired in advance. Therefore, if the pixel values A1 and A2 of each primary image data can be acquired, the pixel values B1 and B2 of each secondary image data can be calculated using the inverse matrix C- 1 .
  • FIG. 23 is a conceptual diagram showing the relationship between primary image data and secondary image data.
  • the first primary image data FI1 includes a component of the first secondary image data SI1 (synonymous with the component of the first optical system 20) and a component of the second secondary image data SI2 (second optical system 30).
  • the second primary image data FI2 is data including the component of the first secondary image data SI1 and the component of the second secondary image data SI2 in a ratio of C21: C22.
  • pixel values at specific pixel positions (x, y) of each primary image data are A1, A2,..., A9
  • pixel values at specific pixel positions (x, y) of each secondary image data are B1
  • B2 the following relationship is established between each primary image data and secondary image data.
  • FIG. 24 is a conceptual diagram expressing the relationship between primary image data and secondary image data as a matrix.
  • FIG. 25 is a matrix equation showing the relationship between primary image data and secondary image data.
  • a matrix of 9 rows and 1 column having elements of pixel values A1 to A9 at specific pixel positions (x, y) of the primary image data FI1 to FI9 is A, and each secondary image.
  • FIG. 26 is a conceptual diagram expressing the relationship between primary image data and secondary image data using an inverse matrix.
  • FIG. 27 is a matrix equation representing the relationship between primary image data and secondary image data using an inverse matrix.
  • the pixel values B1 and B2 of the first secondary image data SI1 and the second secondary image data SI2 are obtained by multiplying the matrix A by the inverse matrix C ⁇ 1 of the matrix C. It can be calculated.
  • the inverse matrix C ⁇ 1 can be acquired in advance.
  • a general inverse matrix of the matrix C is calculated to obtain the inverse matrix C ⁇ 1 .
  • the general inverse matrix can be calculated by a known method such as the Moore-Penrose inverse matrix.
  • each pixel of the image sensor may be provided with the same number of light receiving sensors as the number of optical systems provided in the photographing lens.
  • the inventor of the present application increases m> n, that is, the number of light receiving sensors provided in each pixel of the image sensor (m) is larger than the number of optical systems provided in the photographing lens (n). It was found that noise appearing in an image can be reduced. This point will be considered below.
  • FIG. 28 is a graph showing the relationship between primary image data and secondary image data when there is no interference.
  • the vertical axis represents the pixel value B1 of the first secondary image data
  • the horizontal axis represents the pixel value B2 of the second secondary image data.
  • the primary image data and the secondary image data correspond one-to-one. In this case, noise that appears in the primary image data appears only in the corresponding secondary image data.
  • the range where the straight lines of each equation can be swung is the range of possible errors. If the positions of the straight lines ⁇ 1a, ⁇ 1b and ⁇ 2a, ⁇ 2b shown by the broken lines are the maximum positions of the possible shakes, the region S ⁇ shown by the oblique lines is a range of possible errors.
  • FIG. 29 is a graph showing the relationship between primary image data and secondary image data when there is interference.
  • the vertical axis represents the pixel value of the first secondary image data
  • the horizontal axis represents the pixel value of the second secondary image data.
  • each straight line is inclined. This inclination increases as the interference component increases. As the inclination increases, the angle formed by the two straight lines increases.
  • the range where the straight lines of each equation can be swung is the range of possible errors. If the positions of the straight lines ⁇ 1a, ⁇ 1b, and ⁇ 2a, ⁇ 2b indicated by the broken lines are the maximum positions of the possible shakes, the region S ⁇ indicated by the diagonal lines is a range of possible errors. As shown in FIG. 29, this range becomes larger as the angle formed by the two straight lines becomes wider. As described above, the angle formed by the two straight lines increases as the interference component of each light receiving sensor increases. Therefore, it can be said that the influence of noise increases as the interference component increases. That is, noise is easily amplified.
  • the number (n) of optical systems provided in the photographing lens is two, and the number (m) of light receiving sensors provided in each pixel of the image sensor is three.
  • One optical system is a first optical system
  • the other optical system is a second optical system
  • the three light receiving sensors are a first light receiving sensor, a second light receiving sensor, and a third light receiving sensor, respectively.
  • FIG. 30 is a graph showing the relationship between primary image data and secondary image data when m> n.
  • the vertical axis represents the pixel value of the first secondary image data
  • the horizontal axis represents the pixel value of the second secondary image data.
  • the number of equations for calculating the secondary image data it is possible to reduce the influence of noise appearing in the secondary image data. Since the convergence of the solution can be further increased by increasing the number of equations for calculating the secondary image data, it is preferable that the number of light receiving sensors provided per pixel is large.
  • the interference ratio of each light receiving sensor has a variation.
  • the series of signal processing described above is performed by the digital signal processing unit 216.
  • the digital signal processing unit 216 obtains an image signal from each light receiving sensor of each pixel of the image sensor 100 to generate primary image data, and subjects the primary image data to a crosstalk removal process in units of pixels. Secondary image data corresponding to the system is generated.
  • FIG. 31 is a block diagram of functions provided in the digital signal processing unit.
  • a primary image data generation unit 216A that generates primary image data and a secondary image data generation unit 216B that generates secondary image data are provided.
  • Information of the inverse matrix C ⁇ 1 used for the calculation is stored in the storage unit 222.
  • the storage unit 222 includes an inverse matrix information storage unit 222A that stores information of the inverse matrix C ⁇ 1 in a part of the storage area. Note that the information of the inverse matrix C ⁇ 1 is stored in units of pixels.
  • the secondary image data generation unit 216B reads the information of the inverse matrix C ⁇ 1 for each pixel to be processed, and performs interference removal processing.
  • Imaging apparatus (1) exposure based on an imaging instruction (exposure process), (2) generation of primary image data based on exposure (primary image data generation process), and (3) two based on primary image data.
  • Image data for recording is generated in the order of generation of secondary image data (secondary image data generation step).
  • the recording (exposure) for recording is performed based on an instruction from the operation unit 228.
  • shooting for recording is instructed by fully pressing the shutter button.
  • the photographer adjusts the focus of each optical system, and then presses the shutter button fully to instruct recording for recording.
  • an EV value (EV: Exposure value) is calculated to determine the exposure.
  • the image sensor 100 When the exposure is determined, the image sensor 100 is exposed with the determined exposure (exposure process). Charges are accumulated in the photoelectric conversion elements 130 of the light receiving sensors 120a to 120i by exposure. The image sensor 100 reads the charge amount accumulated in the photoelectric conversion elements 130 of the light receiving sensors 120a to 120i and outputs an image signal corresponding to the charge amount.
  • the image signal output from the image sensor 100 is taken into the work memory 220 via the analog signal processing unit 214.
  • the digital signal processing unit 216 performs predetermined signal processing on the image signal captured in the work memory 220, so that image data corresponding to each optical system (first secondary image data and second Secondary image data) is generated. That is, the image signal of each light receiving sensor is acquired for each pixel, nine primary image data are generated (primary image data generation step), and each of the nine primary image data is subjected to interference removal processing, Image data (first secondary image data and second secondary image data) corresponding to the optical system is generated (secondary image data generation step).
  • the generated image data (first secondary image data and second secondary image data) is converted into a data format of a predetermined format as necessary and recorded in the external memory 230.
  • images corresponding to the respective optical systems can be simultaneously captured by a single operation.
  • noise is generated by generating based on nine primary image data. Can be reduced.
  • FIG. 32 is a block diagram illustrating a system configuration of the second embodiment of the imaging apparatus.
  • the imaging apparatus 1 of the present embodiment is different from the imaging apparatus of the first embodiment described above in that it further includes a shooting scene information acquisition unit 232.
  • the shooting scene information acquisition unit 232 acquires shooting scene information.
  • the shooting scene information is information about what kind of scene is to be shot. For example, information such as portraits, group photos, landscapes, night views, sports, macros, and the like.
  • the imaging apparatus 1 switches the processing content in the digital signal processing unit 216 based on the shooting scene information acquired by the shooting scene information acquisition unit 232. Specifically, the number of primary image data used for generating secondary image data is switched.
  • noise generated in the secondary image data can be reduced by increasing the number of primary image data.
  • the allowable noise level differs for each shooting scene. For example, the portrait is required to have a high level and low noise as compared to a landscape.
  • the number of primary image data used for generating secondary image data is switched according to the shooting scene. For example, in a shooting scene where noise is a concern, the number of primary image data used to generate secondary image data is increased. Thereby, generation
  • information on the shooting scene is input by the user via the operation unit 228.
  • the shooting scene information acquisition unit 232 acquires information input via the operation unit 228 to acquire shooting scene information.
  • the input is performed by the user selecting a shooting scene prepared in advance. For example, scenes such as portraits, group photos, landscapes, night views, sports, and macros are prepared as shooting scenes.
  • the system control unit 226 switches the number of primary image data used for generating the secondary image data based on the shooting scene information acquired by the shooting scene information acquisition unit 232.
  • the relationship between the shooting scene and the number of primary image data used for generating secondary image data is determined in advance and managed in a table.
  • Information on primary image data to be used is also recorded in the table. That is, information on which position of the primary image data based on the light receiving sensor is used is also recorded.
  • This table is stored in the storage unit 222.
  • the system control unit 226 refers to the table stored in the storage unit 222 to determine primary image data used for generating secondary image data.
  • the digital signal processing unit 216 generates secondary image data in response to an instruction from the system control unit 226. That is, the primary image data instructed by the system control unit 226 is used to perform interference removal processing to generate secondary image data.
  • the number of primary image data used for generating secondary image data is changed according to the shooting scene. Thereby, secondary image data can be appropriately generated.
  • the shooting scene information acquisition unit functions as an image analysis unit, analyzes at least one primary image data, and specifies a shooting scene.
  • the number (m) of light receiving sensors provided in each pixel of the image sensor may be larger than the number (n) of optical systems provided in the photographing lens. That is, m> n may be satisfied.
  • the light reception sensor provided in each pixel has an interference ratio dispersed. That is, it is preferable to provide a plurality of light receiving sensors with different interference ratios rather than a plurality of light receiving sensors with close interference ratios.
  • one pixel of the image sensor is constituted by nine light receiving sensors arranged in three rows and three columns (3 ⁇ 3).
  • the arrangement of the light receiving sensors constituting one pixel is as follows. It is not limited to this.
  • one pixel of the image sensor can be composed of three light receiving sensors arranged in one row and three columns (1 ⁇ 3).
  • the light receiving sensor which comprises 1 pixel may be discretely arrange
  • a color image is not mentioned, but when a color image is generated, a color filter is arranged in each pixel with a predetermined filter arrangement.
  • the interference ratio of each light receiving sensor is adjusted according to the shape of the light shielding mask, but the method of adjusting the interference ratio of the light receiving sensor is not limited to this.
  • the interference ratio can be adjusted by changing the imaging characteristics of the microlens.
  • the interference ratio can be changed by changing the lens power, magnification, imaging position, etc. of the microlens. In this case, a light shielding mask is not necessary.
  • the interference ratio can be adjusted by using a light shielding mask and a microlens together. That is, the crosstalk ratio can be adjusted by changing both the shape of the light shielding mask and the imaging characteristics of the microlens.
  • the photographing lens is provided with two optical systems, but the number (n) of optical systems provided in the photographing lens is not limited to this.
  • the photographing lens only needs to be provided with two or more optical systems having different imaging characteristics.
  • the photographing lens is provided with optical systems having different focal lengths, but the type of the optical system provided in the photographing lens is not limited to this.
  • optical systems having different in-focus distances may be provided.
  • optical systems having different transmission wavelength characteristics may be provided.
  • an infrared light image and a visible light image can be captured simultaneously by providing an optical system that transmits light in the infrared light region and an optical system that transmits light in the visible light region.
  • a plurality of optical systems are concentrically arranged.
  • the arrangement of the plurality of optical systems is not limited to this.
  • the interference removal process is performed for each pixel.
  • the information on the inverse matrix C ⁇ 1 is read for each pixel and the interference removal process is performed. Therefore, the information of the inverse matrix C ⁇ 1 is stored in the inverse matrix information storage unit 222A for each pixel.
  • a representative inverse matrix may be determined and the interference removal processing may be performed. That is, the interference removal process may be performed using an inverse matrix common to each pixel. Thereby, calculation load can be reduced.
  • the screen may be divided into a plurality of areas, and a common inverse matrix may be defined for each area.
  • the pixel values of the primary image data are A1, A2,..., Am
  • the pixel values of the secondary image data are B1, B2,..., Bn
  • A2 C21 * B1 + C22 * B2 + ... + C2n * Bn
  • Am Cm1 * B1 + Cm2 * B2 + ... + Cmn * Bn are solved to generate secondary image data.
  • the primary image data was generated in a pseudo manner by combining the two image data W and T.
  • the mixing ratio at the time of combining corresponds to the interference ratio of each light receiving sensor.
  • the interference ratio of the generated primary image data is 0.8: 0.2.
  • T 0.7: 0.3
  • FIG. 35 is an image represented by the first secondary image data generated when m> n.
  • FIG. 36 shows an image represented by the second secondary image data generated when m> n.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

混信除去後の画像に現れるノイズを低減できる撮像装置、及び、画像データ生成方法を提供する。撮像特性の異なる複数の光学系を備えた撮影レンズ（１０）と、混信比率の異なる複数の受光センサを各画素に備えたイメージセンサ（１００）とを使用して、各光学系に対応した画像を一度に撮像する撮像装置（１）において、撮影レンズ（１０）に備える光学系の数（ｎ）よりもイメージセンサ（１００）の各画素に備える受光センサの数（ｍ）を多くする（ｍ＞ｎ）。これにより、混信除去後の画像に現れるノイズを低減できる。

Description

撮像装置、及び、画像データ生成方法
　本発明は、撮像装置、及び、画像データ生成方法に係り、特に、複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置、及び、画像データ生成方法に関する。
　複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置が知られている（たとえば、特許文献１）。この撮像装置では、撮影レンズの各光学系を通過する光をイメージセンサの各受光センサで選択的に受光することにより、各光学系に対応した画像を撮像する。しかし、各光学系からの光を各受光センサで完全に分離して受光することは難しい。この結果、混信（クロストーク）が生じる。混信とは、他の光学系からの光が混入して受光される現象である。混信が生じると、他の光学系の画像が重畳した画像が撮像される（図１３及び図１４参照）。特許文献２及び３には、撮影により得られた各光学系の画像を相互に利用し、信号処理によって各画像から混信の影響を除去する方法が提案されている。
国際公開第２０１３／０１８４７１号 国際公開第２０１３／１４６５０６号 特開２０１４－１７８１９０号公報
　ところで、撮影により得られる画像には、種々の要因でノイズが発生する。ノイズは、ランダムに発生する細かな変動成分であり、画像にザラツキとなって現れる。特許文献２及び３のように、信号処理によって混信の影響を除去する場合において、処理対象の画像にノイズが含まれていると、処理結果にもノイズの影響が現れるという問題がある。
　本発明は、このような事情に鑑みてなされたもので、混信除去後の画像に現れるノイズを低減できる撮像装置、及び、画像データ生成方法を提供することを目的とする。
　課題を解決するための手段は、次のとおりである。
　（１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、イメージセンサの各画素の各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。
　従来、この種の撮像装置では、撮影レンズに備えられる光学系の数（ｎ）と同じ数の受光センサが、イメージセンサの各画素に備えられていた（ｎ＝ｍ）。たとえば、撮影レンズに備えられる光学系の数（ｎ）が２の場合、イメージセンサの各画素に備えられる受光センサの数（ｍ）も２であった。本出願の発明者は、各画素に備える受光センサの数（ｍ）を光学系の数（ｎ）よりも多くすることにより、混信除去処理後に得られる画像のノイズを低減できることを見出した。そこで、本態様では、イメージセンサの各画素に備える受光センサの数（ｍ）を光学系の数（ｎ）よりも多くしている。これにより、混信除去後の画像に現れるノイズを低減できる。
　なお、「混信比率」とは、各光学系から受光する光の割合のことをいう。たとえば、撮影レンズに３つの光学系が備えられているとする。３つの光学系を第１光学系、第２光学系、第３光学系とする。受光センサにおける混信比率が、第１光学系：第２光学系：第３光学系＝０．８：０．１：０．１であるとする。この場合、受光センサには、全受光量を１とすると、第１光学系から０．８、第２光学系から０．１、第３光学系から０．１の割合で光が受光される。すなわち、受光センサで受光される光のうち８割が第１光学系からの光、１割が第２光学系からの光、１割が第３光学系からの光となる。
　「混信比率が異なる」とは、各光学系から受光する光の割合が異なる、ということである。したがって、混信比率が異なる受光センサとは、各光学系から受光される光の割合が異なる受光センサのことである。
　また、「混信除去処理」とは、画像から混信の影響を除去する処理のことである。混信が生じると、他の光学系の画像が重畳した画像が撮像される。混信除去処理により、他の光学系の画像を分離し、除去する。
　さらに、「撮像特性」とは、撮像に関わる性質のことをいい、「撮像特性の異なる光学系」とは、撮像に関わる性質が互いに異なる光学系のこという。たとえば、焦点距離の異なる光学系、合焦距離の異なる光学系、透過波長特性の異なる光学系などである。
　（２）一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する、（１）の撮像装置。
　本態様によれば、二次画像データ生成部は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する。これにより、混信除去後の画像に現れるノイズを低減できる。
　（３）一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する、（１）に記載の撮像装置。
　　本態様によれば、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する。これにより、混信除去後の画像に現れるノイズを低減できる。なお、行列Ｃが正則ではない場合、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出できる。
　（４）逆行列Ｃ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｃ-1の情報を利用して、行列方程式を解く、（３）の撮像装置。
　本態様によれば、演算に必要な逆行列Ｃ-1があらかじめ算出されている。これにより、混信除去の処理速度を向上できる。
　（５）逆行列情報記憶部は、画素ごとの逆行列Ｃ-1の情報を記憶する、（４）の撮像装置。
　本態様によれば、画素ごとに逆行列Ｃ-1が算出される。これにより、高精度に混信を除去できる。
　（６）撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、二次画像データ生成部は、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数を変更する、（１）から（５）のいずれかの撮像装置。
　本態様によれば、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数が変更される。たとえば、ノイズが気になる撮影シーンでは、二次画像データの生成に使用する一次画像データの数が増やされる。一方、ノイズが気にならない撮影シーンでは、二次画像データの生成に使用する一次画像データの数を減らされる。これにより、撮影シーンに応じて適切に画像データを処理できる。ノイズが気になる撮影シーンにおいて、二次画像データの生成に使用する一次画像データの数を増やすことにより、よりノイズを抑制できる。一方、ノイズが気にならない撮影シーンにおいて、二次画像データの生成に使用する一次画像データの数を減らすことにより、処理速度を向上できる。
　（７）撮影シーン情報取得部は、一次画像データを解析して、撮影シーンを特定する、（６）の撮像装置。
　本態様によれば、撮影シーンは、一次画像データを解析して特定される。これにより、自動で撮影シーンを特定できる。
　（８）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、マイクロレンズと受光センサとの間に配置される遮光マスクと、を備え、遮光マスクの形状、及び／又は、マイクロレンズの結像特性が異なることにより、混信比率が異なる、（１）から（７）のいずれかの撮像装置。
　本態様によれば、各画素に備えられる受光センサは、光電変換素子と、マイクロレンズと、遮光マスクと、を備えて構成される。そして、各受光センサは、それぞれ遮光マスクの形状、及び／又は、マイクロレンズの結像特性を変えることにより、混信比率が変えられる。ここで、「結像特性」とは、結像に関わる性質のことをいい、「マイクロレンズの結像特性が異なる」とは、マイクロレンズの結像に関わる性質が互いに異なることをいう。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などが異なることをいう。
　（９）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、を備え、マイクロレンズの結像特性が異なることにより、混信比率が異なる、（１）から（７）のいずれかの撮像装置。
　本態様によれば、各画素に備えられる受光センサは、光電変換素子と、マイクロレンズと、を備えて構成される。そして、各受光センサは、それぞれマイクロレンズの結像特性を変えることにより、混信比率が変えられる。
　（１０）撮影レンズに備えられるｎ個の光学系は、焦点距離が異なる、（１）から（９）のいずれかの撮像装置。
　本態様によれば、撮影レンズに備えられる各光学系が、互いに焦点距離の異なる光学系で構成される。これにより、たとえば、望遠画像と広角画像のように、互いに焦点距離の異なる画像を撮像できる。
　（１１）撮影レンズに備えられるｎ個の光学系は、合焦距離が異なる、（１）から（９）のいずれかの撮像装置。
　本態様によれば、撮影レンズに備えられる各光学系が、互いに合焦距離の異なる光学系で構成される。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を撮像できる。
　（１２）撮影レンズに備えられるｎ個の光学系は、透過波長特性の異なる、（１）から（９）のいずれかの撮像装置。
　本態様によれば、撮影レンズに備えられる各光学系が、互いに透過波長特性の異なる光学系で構成される。「透過波長特性」とは、特定の波長域の光を透過させる性質のことをいい、「透過波長特性の異なる光学系」とは、特定の波長域の光を透過させる性質が互いに異なる光学系のことをいう。たとえば、撮影レンズが２つの光学系で構成される場合において、一方の光学系が赤外光領域の光を透過させる光学系で構成され、他方の光学系が可視光領域の光を透過させる光学系で構成される場合である。
　（１３）撮影レンズに備えられるｎ個の光学系は、同心状に配置される、（１０）から（１２）のいずれかの撮像装置。
　（１４）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、イメージセンサを露光する工程と、イメージセンサの各画素の各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。
　本態様では、イメージセンサの各画素に備える受光センサの数（ｍ）を、撮影レンズに備えられる光学系の数（ｎ）よりも多くする。これにより、混信除去後の画像に現れるノイズを低減できる。
　（１５）一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する、（１４）の撮像装置の画像データ生成方法。
　本態様では、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解く処理を行って、二次画像データが生成される。これにより、混信除去後の画像に現れるノイズを低減できる。
　（１６）一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する、（１４）の撮像装置の画像データ生成方法。
　本態様では、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解く処理を行って、二次画像データが生成される。これにより、混信除去後の画像に現れるノイズを低減できる。なお、行列Ｃが正則ではない場合、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。
　本態様によれば、撮影レンズは、複数の光学系を同心状に配置して構成される。
　本発明によれば、混信除去後の画像に現れるノイズを低減できる。
撮像装置のシステム構成を示すブロック図 撮影レンズの概略構成を示す正面図 図２の３－３断面図 第１光学系の概略構成を示す断面図 第２光学系の概略構成を示す断面図 イメージセンサの受光面の正面図 イメージセンサの１つの画素を拡大した正面図 受光センサの概略構成を示す断面図 受光センサの一例を示す図 受光センサの一例を示す図 イメージセンサの出力から９個の一次画像データを生成する概念図 イメージセンサの出力から個々の一次画像データを生成する概念図 第１の一次画像データＦＩ１が表わす画像の一例を示す図 第２の一次画像データＦＩ２が表わす画像の一例を示す図 第１の二次画像データＳＩ１が表わす画像を示す図 第２の二次画像データＳＩ２が表わす画像を示す図 第１の一次画像データの構成の概念図 第２の一次画像データの構成の概念図 一次画像データと二次画像データとの関係を行列で表現した概念図 一次画像データと二次画像データとの関係を示す行列方程式 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 一次画像データと二次画像データとの関係を示す概念図 一次画像データと二次画像データとの関係を行列で表現した概念図 一次画像データと二次画像データとの関係を示す行列方程式 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 混信がないとした場合における一次画像データと二次画像データとの関係を示すグラフ 混信がある場合における一次画像データと二次画像データとの関係を示すグラフ ｍ＞ｎの場合における一次画像データと二次画像データとの関係を示すグラフ デジタル信号処理部が備える機能のブロック図 撮像装置の第２の実施の形態のシステム構成を示すブロック図 ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像 ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像 ｍ＞ｎの場合に生成された第１の二次画像データが表わす画像 ｍ＞ｎの場合に生成された第２の二次画像データが表わす画像
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［第１の実施の形態］
　《撮像装置の装置構成》
　図１は、撮像装置のシステム構成を示すブロック図である。
　撮像装置１は、主として、撮影レンズ１０と、イメージセンサ１００と、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６と、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６と、操作部２２８と、を備えて構成される。
　〈撮影レンズ〉
　図２は、撮影レンズの概略構成を示す正面図である。図３は、図２の３－３断面図である。
　撮影レンズ１０は、２つの光学系２０及び３０を備える。２つの光学系２０及び３０は、同心状に配置される。したがって、各光学系２０及び３０は、同じ光軸Ｌを有する。以下、中央の光学系２０を第１光学系、外周の光学系３０を第２光学系と称して、各光学系を必要に応じて区別する。
　第１光学系２０及び第２光学系３０は、互いに焦点距離の異なる光学系で構成される。第１光学系２０は、広角の光学系で構成され、第２光学系３０は、望遠の光学系で構成される。ここで、広角の光学系とは、標準の光学系（画角が５０°前後の光学系）よりも焦点距離の短い光学系をいう。また、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系をいう。
　〔第１光学系〕
　図４は、第１光学系の概略構成を示す断面図である。なお、同図において、破線は、第１光学系２０を通る光の光線軌跡を示している。
　図４に示すように、第１光学系２０は、３群８枚のレンズで構成される。第１光学系２０は、第２レンズ群と第３レンズ群との間に絞り２２を有する。絞り２２は、環状の遮光部を有する。絞り２２は、環状の遮光部の内径を拡縮させて、第１光学系２０を通る光の光量を調節する。
　〔第２光学系〕
　図５は、第２光学系の概略構成を示す断面図である。なお、同図において、破線は、第２光学系３０を通る光の光線軌跡を示している。
　図５に示すように、第２光学系３０は、いわゆる反射光学系で構成される。第２光学系３０は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃ、主鏡３０ｄ、及び、副鏡３０ｅを備える。第２光学系３０は、第１光学系２０の外周に配置されるため、各構成要素は環状に形成される。
　第１レンズ３０ａ、第２レンズ３０ｂ及び第３レンズ３０ｃは、物体側から第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃの順で光軸Ｌに沿って配置される。
　主鏡３０ｄは、第３レンズ３０ｃの像面側の面に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面に反射膜を形成することにより、第３レンズ３０ｃに一体的に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面の全面に備えられる。
　副鏡３０ｅは、第２レンズ３０ｂの像面側の面に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面に反射膜を形成することにより、第２レンズ３０ｂに一体的に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面の内周部分に備えられる。
　第２光学系３０に入射した光は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃを通過して、主鏡３０ｄに入射する。主鏡３０ｄに入射した光は、主鏡３０ｄで反射し、再び第３レンズ３０ｃを通って副鏡３０ｅに入射する。副鏡３０ｅに入射した光は、副鏡３０ｅで反射して出射する。
　第２光学系３０は、副鏡３０ｅの後段に絞り３２を有する。絞り３２は、環状の遮光部を有する。絞り３２は、環状の遮光部の外径を拡縮させて、第２光学系３０を通る光の光量を調整する。
　〔共通レンズ〕
　撮影レンズ１０は、第１光学系２０及び第２光学系３０で共用される共通レンズ４０を有する。第１光学系２０及び第２光学系３０を通過した光は、それぞれ共通レンズ４０を介してイメージセンサ１００に入射する。共通レンズ４０は、第１光学系２０及び第２光学系３０を介してイメージセンサ１００に入射する光の入射角度を調整する作用を有する。
　〔焦点調節機構〕
　第１光学系２０及び第２光学系３０は、各々独立して焦点調節される。第１光学系２０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。同様に、第２光学系３０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。図示されていないが、撮影レンズ１０には、第１光学系２０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、第２光学系３０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、が備えられる。
　〈イメージセンサ〉
　図６は、イメージセンサの受光面の正面図である。
　イメージセンサ１００は、受光面に複数の画素１１０を備える。複数の画素１１０は、受光面に二次元マトリクス状に配列される。
　図７は、イメージセンサの１つの画素を拡大した正面図である。なお、同図において、斜線は遮光マスクによるマスク領域を示している。遮光マスクについては後述する。
　イメージセンサ１００は、１つの画素１１０に複数個の受光センサを備える。複数個の受光センサは、二次元マトリクス状に配列される。本実施の形態のイメージセンサ１００は、図７に示すように、１つの画素１１０に９個の受光センサ１２０ａ～１２０ｉを備える。９個の受光センサ１２０ａ～１２０ｉは、３行３列（３×３）の配列で二次元マトリクス状に配置される。以下、符号１２０ａの受光センサを第１受光センサ、符号１２０ｂの受光センサを第２受光センサ、符号１２０ｃの受光センサを第３受光センサ、符号１２０ｄの受光センサを第４受光センサ、符号１２０ｅの受光センサを第５受光センサ、符号１２０ｆの受光センサを第６受光センサ、符号１２０ｇの受光センサを第７受光センサ、符号１２０ｈの受光センサを第８受光センサ、符号１２０ｉの受光センサを第９受光センサと称して、各受光センサを必要に応じて区別する。
　９個の受光センサ１２０ａ～１２０ｉは、互いに異なる混信比率を有する。「異なる混信比率を有する」とは、各光学系から異なる割合で光を受光する、ということである。すなわち、各受光センサ１２０ａ～１２０ｉは、第１光学系２０及び第２光学系３０から異なる割合で光を受光する。
　図８は、受光センサの概略構成を示す断面図である。なお、同図において、波線で示す領域Ｌ１は、第１光学系２０から入射する光を概念的に示しており、斜格子で示す領域Ｌ２は、第２光学系３０から入射する光を概念的に示している。
　各受光センサ１２０ａ～１２０ｉの基本構成は同じである。各受光センサ１２０ａ～１２０ｉは、光電変換素子１３０と、マイクロレンズ１３２と、遮光マスク１３４と、を備えて構成される。
　光電変換素子１３０は、光を受け、受けた光の強さに比例した電荷を蓄積する。光電変換素子１３０は、たとえば、フォトダイオードで構成される。
　マイクロレンズ１３２は、第１光学系２０及び第２光学系３０の射出瞳の像を光電変換素子１３０に結像させる。
　遮光マスク１３４は、マイクロレンズ１３２と光電変換素子１３０との間に配置される。遮光マスク１３４は、マイクロレンズ１３２を通過した光の一部を遮光する。
　受光センサ１２０ａ～１２０ｉは、遮光マスク１３４の形状を調整することにより、混信比率が調整される。
　図９は、受光センサの一例を示す図である。同図（Ａ）は、受光センサの断面図（同図（Ｂ）のＡ－Ａ断面図）、同図（Ｂ）は、受光センサの正面図である。なお、同図（Ｂ）において、斜線で示す領域は、遮光マスク１３４の遮光領域を示している。
　図９は、主に第１光学系２０からの光を受光する場合の一例を示している。この場合、遮光マスク１３４は、図９（Ｂ）に示すように、中央に円形の開口部１３４Ａを備えた形状とされる。本例の受光センサ１２０ａ～１２０ｉでは、図９（Ａ）に示すように、第２光学系３０からの光が遮光マスク１３４で遮光されるので、主に第１光学系２０からの光が光電変換素子１３０で受光される。
　図１０は、受光センサの一例を示す図である。同図（Ａ）は、受光センサの断面図（同図（Ｂ）のＡ－Ａ断面図）、同図（Ｂ）は、受光センサの正面図である。なお、同図（Ｂ）において、斜線で示す領域は、遮光マスク１３４の遮光領域を示している。
　図１０は、主に第２光学系３０からの光を受光する場合の一例を示している。この場合、遮光マスク１３４は、図１０（Ｂ）に示すように、環状の開口部１３４Ａを備えた形状とされる。本例の受光センサ１２０ａ～１２０ｉでは、図１０（Ａ）に示すように、第１光学系２０からの光が遮光マスク１３４で遮光されるので、主に第２光学系３０からの光が光電変換素子１３０で受光される。
　このように、受光センサ１２０ａ～１２０ｉは、遮光マスク１３４の形状を調整することにより、混信比率を調整できる。
　イメージセンサ１００は、各画素１１０の各受光センサ１２０ａ～１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出し、電荷量に応じた信号を画像信号として出力する。この画像信号を処理することにより、各光学系に対応した画像データを取得できる。この処理については、後に詳述する。
　〈レンズ駆動制御部〉
　レンズ駆動制御部２１０は、システム制御部２２６からの指令に基づき、撮影レンズ１０の駆動を制御する。すなわち、第１光学系２０の焦点を調節するために、第１光学系２０の焦点調節機構の駆動を制御し、かつ、第２光学系３０の焦点を調節するために、第２光学系３０の焦点調節機構の駆動を制御する。また、第１光学系２０の光量を調節するために、第１光学系２０の絞り２２の駆動を制御し、かつ、第２光学系３０の光量を調節するために、第２光学系３０の絞り３２の駆動を制御する。
　〈イメージセンサ駆動制御部〉
　イメージセンサ駆動制御部２１２は、システム制御部２２６からの指令に基づき、イメージセンサ１００の駆動を制御する。すなわち、イメージセンサ１００からの画像信号の読み出しを制御する。
　〈アナログ信号処理部〉
　アナログ信号処理部２１４は、イメージセンサ１００から出力されるアナログの画像信号を取り込み、所定のアナログの信号処理を施す。また、アナログ信号処理部２１４は、所定のアナログの信号処理を施した画像信号をデジタル信号に変換して出力する。
　〈デジタル信号処理部〉
　デジタル信号処理部２１６は、デジタル信号に変換された画像信号を取り込み、所定の信号処理を施して、各光学系に対応した画像データを生成する。この処理については、後に詳述する。
　〈表示部〉
　表示部２１８は、たとえば、液晶モニタで構成され、撮像済みの画像や撮像中の画像（いわゆるライブビュー画像）を表示する。また、表示部２１８は、必要に応じてＧＵＩ（GUI: Graphical User Interface）として機能する。
　〈ワークメモリ〉
　ワークメモリ２２０は、たとえば、ＲＡＭ（RAM：Random Access Memory）で構成され、ワークメモリとして機能する。
　〈記憶部〉
　記憶部２２２は、たとえば、ＥＥＰＲＯＭ（EEPROM：Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリで構成される。記憶部２２２には、制御に必要なデータ、信号処理に必要なデータ等が格納される。
　〈メディアインターフェース〉
　メディアインターフェース２２４は、システム制御部２２６から指令に基づいて、メモリーカード等の外部メモリ２３０に対して、データの読み書きを行う。
　〈システム制御部〉
　システム制御部２２６は、撮像装置全体の動作を統括制御する。システム制御部２２６は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭを備えたマイクロコンピュータで構成され、所定の制御プログラムを実行して、撮像装置１の全体を制御する。制御に必要なプログラム及び各種データはＲＯＭに格納される。
　〈操作部〉
　操作部２２８は、電源ボタンやシャッターボタン等の各種操作ボタン、及び、その駆動回路を備えて構成される。操作部２２８の操作情報は、システム制御部２２６に入力される。システム制御部２２６は、操作部２２８からの操作情報に基づいて、各部を制御する。
　撮像装置１は、以上のように構成される。
　《各光学系に対応した画像データの生成処理》
　〈処理の概要〉
　上記のように、イメージセンサ１００には、各画素１１０に９個の受光センサ１２０ａ～１２０ｉが備えられている。したがって、画素ごとに対応する受光センサの画像信号を取得することにより、１回の撮影で９個の画像データを生成できる。しかし、この９個の画像データには、混信が生じている。そこで、本実施の形態の撮像装置１では、撮影により得られた９個の画像データに混信除去処理を施して、各光学系に対応した画像データを生成する。以下、各処理について説明する。
　なお、以下においては、イメージセンサ１００の各画素から対応する受光センサの画像信号を取得して生成される９個の画像データを一次画像データ、その９個の一次画像データに混信除去処理を施して生成される画像データを二次画像データと称して、両者を必要に応じて区別する。
　〈一次画像データの生成〉
　図１１は、イメージセンサの出力から９個の一次画像データを生成する概念図である。
　一次画像データは、イメージセンサ１００の各画素１１０から対応する受光センサ１２０ａ～１２０ｉの画像信号を取得することにより生成される。
　たとえば、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得することにより、第１受光センサ１２０ａに対応した一次画像データが生成される。同様に、イメージセンサ１００の各画素１１０から第２受光センサ１２０ｂの画像信号を取得することにより、第２受光センサ１２０ｂに対応した一次画像データが生成される。
　ここで、各画素１１０の第１受光センサ１２０ａから取得した画像信号で生成される一次画像データを第１の一次画像データＦＩ１、各画素１１０の第２受光センサ１２０ｂから取得した画像信号で生成される一次画像データを第２の一次画像データＦＩ２、各画素１１０の第３受光センサ１２０ｃから取得した画像信号で生成される一次画像データを第３の一次画像データＦＩ３、各画素１１０の第４受光センサ１２０ｄから取得した画像信号で生成される一次画像データを第４の一次画像データＦＩ４、各画素１１０の第５受光センサ１２０ｅから取得した画像信号で生成される一次画像データを第５の一次画像データＦＩ５、各画素１１０の第６受光センサ１２０ｆから取得した画像信号で生成される一次画像データを第６の一次画像データＦＩ６、各画素１１０の第７受光センサ１２０ｇから取得した画像信号で生成される一次画像データを第７の一次画像データＦＩ７、各画素１１０の第８受光センサ１２０ｈから取得した画像信号で生成される一次画像データを第８の一次画像データＦＩ８、各画素１１０の第９受光センサ１２０ｉから取得した画像信号で生成される一次画像データを第９の一次画像データＦＩ９とする。
　図１２は、イメージセンサの出力から個々の一次画像データを生成する概念図である。特に、同図は、イメージセンサの出力から第１の一次画像データＦＩ１を生成する場合を示している。
　図１２に示すように、第１の一次画像データＦＩ１は、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得して生成される。たとえば、第１の一次画像データＦＩ１の画素位置（０，０）における値（画素値）は、イメージセンサ１００の画素位置（０，０）にある第１受光センサ１２０ａから画像信号を取得して生成される。同様に、第１の一次画像データＦＩ１の画素位置（０，１）における値（画素値）は、イメージセンサ１００の画素位置（０，１）にある第１受光センサ１２０ａから画像信号を取得して生成される。このように、第１の一次画像データＦＩ１の各画素の値（画素値）は、イメージセンサ１００の対応する画素１１０にある第１受光センサ１２０ａから画像信号を取得して生成される。
　なお、画素位置（ｘ，ｙ）は、画素の位置をｘｙ座標で表わしたものである。ｘｙ座標は、次のように設定される。すなわち、イメージセンサ１００においては、図６に示すように、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。この場合、特定の画素の位置は（ｘ，ｙ）と表現される。画像データについても同様であり、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。
　他の一次画像データも同様にして、イメージセンサ１００の各画素１１０から対応する受光センサの画像信号を取得して生成される。
　〈二次画像データの生成〉
　二次画像データは、一次画像データに対して画素単位で混信除去処理を行うことにより生成される。以下、混信除去処理について説明する。
　〔混信除去処理の基本概念〕
　まず、混信除去処理の基本概念について説明する。ここでは、発明の理解を容易にするため、撮影レンズに備えられる光学系の数（ｎ）が２個、イメージセンサの各画素に備えられる受光センサの数（ｍ）が２個の場合を例に説明する。
　撮影レンズに備えられる２つの光学系について、一方の光学系を第１光学系、他方の光学系を望遠の第２光学系とする。第１光学系は広角の光学系で構成され、第２光学系は望遠の光学系で構成されるものとする。
　また、各画素に備えられる２つの受光センサについて、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとする。各画素に備えられる第１受光センサは、すべて同じ混信比率であると仮定する。同様に、各画素に備えられる第２受光センサは、すべて同じ混信比率であると仮定する。
　第１受光センサの混信比率をC1＝C11：C12とし、第２受光センサの混信比率をC2＝C21：C22とする。ここで、第１受光センサについて、混信比率C1がC11：C12とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C11：C12、という意味である。すなわち、第１光学系からC11、第２光学系からC12の割合で光を受光する、という意味である。同様に、第２の光学系について、混信比率C2がC21：C22とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C21：C22、という意味である。
　イメージセンサは、１画素に２個の受光センサ（第１受光センサ及び第２受光センサ）を備えているので（ｍ＝２）、１回の撮影で２個の一次画像データが生成される。第１受光センサに基づく一次画像データを第１の一次画像データＦＩ１とし、第２受光センサに基づく一次画像データを第２の一次画像データＦＩ２とする。第１の一次画像データＦＩ１は、混信比率C1＝C11：C12の割合で混信が生じており、第２の一次画像データＦＩ２は、混信比率C2＝C21：C22の割合で混信が生じている。
　図１３は、第１の一次画像データＦＩ１が表わす画像の一例を示す図である。また、図１４は、第２の一次画像データＦＩ２が表わす画像の一例を示す図である。なお、図１３及び図１４に示す例では、第１受光センサの混信比率C1がC11＞C12、第２受光センサの混信比率C2がC21＜C22の場合の例を示している。すなわち、第１受光センサが、第１光学系からの光をより多く受光するように構成され、第２受光センサが、第２光学系からの光をより多く受光するように構成された場合の例を示している。この場合、図１３に示すように、第１受光センサから得られる画像（第１の一次画像データＦＩ１が表わす画像）は、本来の第１光学系の画像（広角の画像）に加えて、第２の光学系の画像（望遠の画像）が、かすかに重畳した画像となる。一方、第２受光センサから得られる画像（第２の一次画像データＦＩ２が表わす画像）は、図１４に示すように、本来の第２光学系の画像（望遠の画像）に加えて、第１の光学系の画像（広角の画像）が、かすかに重畳した画像となる。
　二次画像データについては、撮影レンズに備えられる光学系の数が２であるので（ｍ＝２）、２個の二次画像データが生成される。第１光学系に対応する二次画像データを第１の二次画像データＳＩ１とし、第２光学系に対応する二次画像データを第２の二次画像データＳＩ２とする。
　図１５は、第１の二次画像データＳＩ１が表わす画像を示す図であり、図１６は、第２の二次画像データＳＩ２が表わす画像を示す図である。図１５及び図１６に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２が表わす画像は、混信の影響が除去された画像となる。
　いま、ある特定の画素位置（ｘ，ｙ）における第１の一次画像データＦＩ１の画素値をA1、第２の一次画像データＦＩ２の画素値をA2とする。また、対応する画素における第１の二次画像データＳＩ１の画素値をB1、第２の二次画像データＳＩ２の画素値をB2とする。
　第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2は、次の連立方程式
　　A1 = C11*B1 + C12*B2
　　A2 = C21*B1 + C22*B2
　を解いて算出できる。
　すなわち、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系の成分と同義）とをC11：C12の割合で含むデータである。したがって、この関係を式で表わすと、A1=C11*B1+C12*B2となる。同様に、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分（第１光学系の成分）と第２の二次画像データＳＩ２の成分（第２光学系の成分）をC21：C22の割合で含むデータであるので、この関係を式で表わすと、A2=C21*B1+C22*B2となる。この関係を図で示すと、図１７及び図１８のようになる。
　図１７は、第１の一次画像データの構成の概念図である。
　同図に示すように、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分をC11の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC12の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
　図１８は、第２の一次画像データの構成の概念図である。
　同図に示すように、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分をC21の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC22の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
　よって、画素単位で上記連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
　ここで、連立方程式については、行列を使って解くことができる。
　図１９は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２０は、一次画像データと二次画像データとの関係を示す行列方程式である。
　図１９及び図２０に示すように、第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２の画素値A1及びA2を要素とする２行１列の行列をＡ、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2を要素とする２行１列の行列をＢ、第１受光センサの混信比率C1＝C11：C12及び第２受光センサの混信比率C2＝C21：C22を要素とする２行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
　そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
　図２１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
　図２１及び図２２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
　各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。したがって、各一次画像データの画素値A1及びA2を取得できれば、逆行列Ｃ-1を用いて、各二次画像データの画素値B1及びB2を算出できる。
　以上のように、一次画像データに対して所定の演算処理（混信除去処理）を施すことにより、混信の影響を除去した二次画像データを生成できる。
　〔ｍ＞ｎとなる場合の混信除去処理〕
　ｍ＞ｎとなる場合とは、撮影レンズに備えられる光学系の数（ｎ：ｎはｎ＞１を満たす整数）よりもイメージセンサの各画素に備えられる受光センサの数（ｍ：ｍは整数）の方が多い場合のことである。本実施の形態の撮像装置１は、撮影レンズ１０に備えられる光学系の数（ｎ）が２、イメージセンサ１００の各画素１１０に備えられる受光センサの数（ｍ）が９であるので、ｍ＞ｎの場合に該当する。この場合も混信除去処理の基本的な考え方は同じである。
　図２３は、一次画像データと二次画像データとの関係を示す概念図である。
　イメージセンサ１００の特定の画素位置（ｘ，ｙ）に備えられる第１受光センサ１２０ａの混信比率C1がC1=C11:C12、第２受光センサ１２０ｂの混信比率C2がC2=C21:C22、第３受光センサ１２０ｃの混信比率C3がC3=C31:C32、第４受光センサ１２０ｄの混信比率C4がC4=C41:C42、第５受光センサ１２０ｅの混信比率C5がC5=C51:C52、第６受光センサ１２０ｆの混信比率C6がC6=C61:C62、第７受光センサ１２０ｇの混信比率C7がC7=C71:C72、第８受光センサ１２０ｈの混信比率C8がC8=C81:C82、第９受光センサ１２０ｉの混信比率C9がC9=C91:C92、であるとする。
　この場合、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系２０の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系３０の成分と同義）とをC11:C12の割合で含むデータとなる。この関係を式で表わすと、第１の一次画像データＦＩ１は、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
　第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をC21:C22の割合で含むデータとなる。この関係を式で表わすと、第２の一次画像データＦＩ２は、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
　すなわち、各一次画像データの特定の画素位置（ｘ，ｙ）における画素値をA1、A2、…、A9とし、各二次画像データの特定の画素位置（ｘ，ｙ）の画素値をB1、B2とした場合、各一次画像データと二次画像データとの間には、次の関係が成り立つ。
　　A1 = C11*B1 + C12*B2
　　A2 = C21*B1 + C22*B2
　　A3 = C31*B1 + C32*B2
　　A4 = C41*B1 + C42*B2
　　A5 = C51*B1 + C52*B2
　　A6 = C61*B1 + C62*B2
　　A7 = C71*B1 + C72*B2
　　A8 = C81*B1 + C82*B2
　　A9 = C91*B1 + C92*B2
　この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
　〔逆行列を用いた解法〕
　上記のように、連立方程式については、行列を用いて解くことができる。
　図２４は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２５は、一次画像データと二次画像データとの関係を示す行列方程式である。
　図２４及び図２５に示すように、各一次画像データＦＩ１～ＦＩ９の特定の画素位置（ｘ，ｙ）の画素値A1～A9を要素とする９行１列の行列をＡ、各二次画像データＳＩ１、ＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ａ～１２０ｉの混信比率C1＝C11：C12、C2＝C21：C22、…、C9＝C91：C92を要素とする９行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
　そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
　図２６は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２７は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
　図２６及び図２７に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
　各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。
　なお、行列Ｃが正則ではない場合、その逆行列Ｃ-1については、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出できる。
　このように、二次画像データについては、行列方程式Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。そして、この行列方程式Ｂ＝Ｃ-1＊Ａを解くことにより、混信の影響を除去した二次画像データを生成できる。
　〈ｍ＞ｎとすることの効果〉
　上記のように、混信の影響を除去するだけであれば、ｍ＝ｎであればよい。すなわち、イメージセンサの各画素には、撮影レンズに備えられる光学系の数と同じ数の受光センサが備えられていればよい。
　しかし、ｍ＝ｎの場合、一次画像データにノイズが含まれていると、そのノイズの影響が二次画像データにも現れてしまうという問題がある。
　本出願の発明者は、ｍ＞ｎ、すなわち、撮影レンズに備える光学系の数（ｎ）よりもイメージセンサの各画素に備える受光センサの数（ｍ）を多くすることにより、混信除去後の画像に現れるノイズを低減できることを見出した。以下、この点について考察する。
　〔ノイズ低減のメカニズム〕
　（１）ｍ＝ｎの場合
　まず、ｍ＝ｎの場合について考える。便宜上、撮影レンズに備えられる光学系の数（ｎ）を２個とする。したがって、イメージセンサの各画素に備えられる受光センサの数（ｍ）も２個である。一方の光学系を第１光学系、他方の光学系を第２光学系とする。また、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとし、第１受光センサの混信比率をC1＝C11:C12、第２受光センサの混信比率をC2＝C21:C22とする。この場合、特定の画素位置（ｘ，ｙ）における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
　（Ａ）混信のない場合
　混信のない場合とは、各受光センサが、対応する光学系からの光のみ受光する場合である。すなわち、第１受光センサは第１光学系からの光のみを受光し、第２受光センサは第２光学系からの光のみを受光する場合である。この場合、第１受光センサの混信比率C1＝C11：C12は、C11＝１、C12＝０となり、第２受光センサの混信比率C2は、C21＝０、C22＝１となる。したがって、一次画像データと二次画像データとの関係は、A1 = C11*B1、A2 = C22*B2となる。
　図２８は、混信がないとした場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値Ｂ１であり、横軸は、第２の二次画像データの画素値Ｂ２である。
　図２８において、実線で示す直線α１は、ノイズがないとした場合における式A1 = C11*B1を示す直線である。また、実線で示す直線α２は、ノイズがないとした場合における式A2 = C22*B2を示す直線である。
　混信のない場合、一次画像データと二次画像データは一対一で対応する。この場合、一次画像データに現れたノイズは、対応する二次画像データにのみ現れる。
　一次画像データに生じたノイズは、２つの式の解の誤差として現れる。図２８において、破線で示す直線α１ａ及び直線α１ｂは、一次画像データにノイズが表れた場合の式A1= C11*B1を示す直線である。また、直線α２ａ及び直線α２ｂは、一次画像データにノイズが表れた場合の式A2 = C22*B2を示す直線である。一次画像データにノイズが現れると、各式の直線は振れる。すなわち、各式の直線は、実線で示す位置から平行移動する。
　各式の直線が振れる範囲が、起こり得る誤差の範囲である。破線で示す直線α１ａ、α１ｂ及びα２ａ、α２ｂの位置が、起こり得る振れの最大の位置とすると、斜線で示す領域Ｓαが、起こり得る誤差の範囲となる。
　混信のない場合、一次画像データに現れたノイズは、対応する二次画像データにのみ現れるので、その影響は限定的となる。
　（Ｂ）混信のある場合
　混信がある場合、特定の画素位置（ｘ，ｙ）における一次画像データと二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
　図２９は、混信がある場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値であり、横軸は、第２の二次画像データの画素値である。
　図２９において、実線で示す直線β１は、ノイズがないとした場合における式A1 = C11*B1 + C12*B2を示す直線である。また、実線で示す直線β２は、ノイズがないとした場合における式A2 = C21*B1 + C22*B2を示す直線である。
　図２９に示すように、混信がある場合、各直線は傾く。この傾きは、混信成分が増えるほど大きくなる。そして、この傾きが大きくなるほど、２つ直線の成す角度が広がる。
　上記のように、一次画像データに生じたノイズは、２つの式の解の誤差として現れる。図２９において、破線で示す直線β１ａ及び直線β１ｂは、一次画像データにノイズが表れた場合の式A1 = C11*B1 + C12*B2を示す直線である。また、直線β２ａ及び直線β２ｂは、一次画像データにノイズが表れた場合の式A2 = C21*B1 + C22*B2を示す直線である。一次画像データにノイズが現れると、各式の直線は振れる。
　各式の直線が振れる範囲が、起こり得る誤差の範囲である。破線で示す直線β１ａ、β１ｂ、及び、β２ａ、β２ｂの位置が、起こり得る振れの最大の位置とすると、斜線で示す領域Ｓβが、起こり得る誤差の範囲となる。図２９に示すように、この範囲は、２つの直線の成す角度が広くなるほど大きくなる。上記のように、２つの直線の成す角度は、各受光センサの混信成分が増えるほど大きくなる。したがって、混信成分が増えるほど、ノイズが及ぼす影響が大きくなるといえる。すなわち、ノイズが増幅されやすくなる。
　（２）ｍ＞ｎの場合
　次に、ｍ＞ｎの場合について考える。便宜上、撮影レンズに備えられる光学系の数（ｎ）を２個とし、イメージセンサの各画素に備えられる受光センサの数（ｍ）を３個とする。一方の光学系を第１光学系、他方の光学系を第２光学系とし、３つの受光センサをそれぞれ第１受光センサ、第２受光センサ、第３受光センサとする。また、第１受光センサの混信比率をC1＝C11:C12、第２受光センサの混信比率をC2＝C21:C22、第３受光センサの混信比率をC3＝C31:C32とする。この場合、特定の画素位置（ｘ，ｙ）における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2、A3 = C31*B1 + C32*B2となる。
　図３０は、ｍ＞ｎの場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値であり、横軸は、第２の二次画像データの画素値である。
　図３０において、実線で示す直線γ１は、ノイズがないとした場合における式A1 = C11*B1 + C12*B2を示す直線である。また、実線で示す直線γ２は、ノイズがないとした場合における式A2 = C21*B1 + C22*B2を示す直線である。また、実線で示す直線γ３は、ノイズがないとした場合における式A3 = C31*B1 + C32*B2を示す直線である。
　また、図３０において、破線で示す直線γ１ａ、γ１ｂは、一次画像データにノイズが現れた場合における式A1 = C11*B1 + C12*B2を示す直線である。また、破線で示す直線γ２ａ、γ２ｂは、一次画像データにノイズが現れた場合における式A2 = C21*B1 + C22*B2を示す直線である。また、破線で示す直線γ３ａ及びγ３ｂは、一次画像データにノイズが現れた場合における式A3 = C31*B1 + C32*B2を示す直線である。
　１画素に備えられる受光センサの数（ｍ）を増やすことにより、二次画像データを算出するための式の数（直線の数（＝ｍ））が増える。そして、この式の数が増えることにより、その解の分布が収束されるようになる。この結果、一次画像データに生じたノイズが、二次画像データに及ぼす影響を低減できる。
　このように、二次画像データを算出するための式の数を増やすことにより、二次画像データに現れるノイズの影響を低減できる。解の収束性は、二次画像データを算出するための式の数を増やすことにより、より高められるので、１画素当たりに備えられる受光センサの数は多い方が好ましい。
　また、より収束性を高めるためには、混信比率の近い受光センサを備えるよりも、さまざまな混信比率を有する受光センサを備えた方が好ましい。すなわち、各受光センサの混信比率は、バラツキを持たせた方が好ましい。
　《デジタル信号処理部の構成》
　上述した一連の信号処理は、デジタル信号処理部２１６で行われる。デジタル信号処理部２１６は、イメージセンサ１００の各画素の各受光センサから画像信号を取得して一次画像データを生成し、かつ、その一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。
　図３１は、デジタル信号処理部が備える機能のブロック図である。
　一次画像データを生成する一次画像データ生成部２１６Ａと、二次画像データを生成する二次画像データ生成部２１６Ｂと、を備える。
　一次画像データ生成部２１６Ａは、イメージセンサの各画素から対応する受光センサの画像信号を取得して、ｍ個の一次画像データを生成する。本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に９個（ｍ＝９）の受光センサ１２０ａ～１２０ｉを備えているので、９個の一次画像データを生成する。
　二次画像データ生成部２１６Ｂは、一次画像データ生成部２１６Ａで生成された９個の一次画像データに対して、画素ごとに混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。本実施の形態の撮像装置１は、撮影レンズ１０に２つ（ｎ＝２）の光学系を備えているので、２つの二次画像データを生成する。具体的には、第１光学系２０に対応した第１の二次画像データと、第２光学系３０に対応した第２の二次画像データとを生成する。
　混信除去処理は、連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解く処理を行う。本実施の形態の撮像装置１は、ｍ＝９、ｎ＝２なので、連立方程式A1=C11*B1+C12*B2、A2=C21*B1+C22*B2、A3=C31*B1+C32*B2を解いて、各光学系に対応した二次画像データを生成する。
　二次画像データ生成部２１６Ｂは、行列を利用して、連立方程式を解く処理を実施する。すなわち、行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する。演算に使用する逆行列Ｃ-1の情報は、記憶部２２２に記憶される。記憶部２２２は、その記憶領域の一部に逆行列Ｃ-1の情報を記憶する逆行列情報記憶部２２２Ａを備える。なお、逆行列Ｃ-1の情報は、画素単位で記憶される。
　二次画像データ生成部２１６Ｂは、処理する画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。
　《撮像装置における処理の流れ（画像データ生成方法）》
　本実施の形態の撮像装置では、（１）撮影指示に基づく露光（露光工程）、（２）露光に基づく一次画像データの生成（一次画像データ生成工程）、（３）一次画像データに基づく二次画像データの生成（二次画像データ生成工程）の順で記録用の画像データが生成される。
　記録用の撮影（露光）は、操作部２２８からの指示に基づいて実施される。ここでは、シャッターボタンの全押しで記録用の撮影が指示されるものとする。撮影者は、各光学系の焦点調節を行った後、シャッターボタンを全押しして、記録用の撮影を指示する。
　シャッターボタンが全押しされると、まず、測光処理が実施される。システム制御部２２６、イメージセンサ１００から得られる画像信号に基づいて、ＥＶ値（EV：Exposure Value）を算出し、露出を決定する。
　露出が決定すると、決定した露出でイメージセンサ１００が露光される（露光工程）。露光により各受光センサ１２０ａ～１２０ｉの光電変換素子１３０に電荷が蓄積される。イメージセンサ１００は、各受光センサ１２０ａ～１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出して、電荷量に応じた画像信号を出力する。
　イメージセンサ１００から出力された画像信号は、アナログ信号処理部２１４を経てワークメモリ２２０に取り込まれる。このワークメモリ２２０に取り込まれた画像信号に対して、デジタル信号処理部２１６が所定の信号処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される。すなわち、画素ごとに各受光センサの画像信号を取得して、９個の一次画像データを生成し（一次画像データ生成工程）、その９個の一次画像データに混信除去処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される（二次画像データ生成工程）。生成された画像データ（第１の二次画像データ、及び、第２の二次画像データ）は、必要に応じて所定フォーマットのデータ形式に変換されて、外部メモリ２３０に記録される。
　このように、本実施の形態の撮像装置１によれば、１回の操作で各光学系に対応した画像を同時に撮像できる。
　また、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）を生成する際、９個の一次画像データに基づいて生成することにより、ノイズを低減できる。
　［第２の実施の形態］
　図３２は、撮像装置の第２の実施の形態のシステム構成を示すブロック図である。
　本実施の形態の撮像装置１は、撮影シーン情報取得部２３２を更に備えている点で上述した第１の実施の形態の撮像装置と相違する。
　撮影シーン情報取得部２３２は、撮影シーンの情報を取得する。撮影シーンの情報とは、どのようなシーンを撮影するかの情報である。たとえば、ポートレート、集合写真、風景、夜景、スポーツ、マクロなどの情報が、これに当たる。
　本実施の形態の撮像装置１は、撮影シーン情報取得部２３２で取得した撮影シーンの情報に基づいて、デジタル信号処理部２１６での処理内容を切り替える。具体的には、二次画像データの生成に使用する一次画像データの数を切り替える。
　上記のように、二次画像データに生じるノイズは、一次画像データの数を増やすことにより低減できる。一方、許容されるノイズのレベルは、撮影シーンごとに異なる。たとえば、風景に比してポートレートは、高いレベルで低ノイズであることが要求される。
　そこで、本実施の形態の撮像装置１では、撮影シーンに応じて二次画像データの生成に使用する一次画像データの数を切り替える。たとえば、ノイズが気になる撮影シーンでは、二次画像データの生成に使用する一次画像データの数を増やす。これにより、ノイズの発生を抑制できる。一方、ノイズが気にならない撮影シーンでは、二次画像データの生成に使用する一次画像データの数を減らす。これにより、混信除去処理に伴う演算負荷を低減でき、処理速度を向上できる。
　本実施の形態の撮像装置１において、撮影シーンの情報は、操作部２２８を介してユーザが入力する。撮影シーン情報取得部２３２は、操作部２２８を介して入力された情報を取得して、撮影シーンの情報を取得する。入力は、あらかじめ用意された撮影シーンをユーザが選択することにより行われる。たとえば、撮影シーンとして、ポートレート、集合写真、風景、夜景、スポーツ、マクロなどのシーンを用意しておく。
　システム制御部２２６は、撮影シーン情報取得部２３２で取得された撮影シーンの情報に基づいて、二次画像データの生成に使用する一次画像データの数を切り替える。撮影シーンと、二次画像データの生成に使用する一次画像データの数との関係は、あらかじめ定められ、テーブルで管理される。テーブルには、使用する一次画像データの情報も記録される。すなわち、どの位置の受光センサに基づく一次画像データを使用するかの情報も記録される。このテーブルは、記憶部２２２に記憶される。システム制御部２２６は、記憶部２２２に記憶されたテーブルを参照して、二次画像データの生成に使用する一次画像データを決定する。
　デジタル信号処理部２１６は、システム制御部２２６による指示に応じて、二次画像データの生成を行う。すなわち、システム制御部２２６で指示された一次画像データを使用して、混信除去処理を行い、二次画像データを生成する。
　このように、本実施の形態の撮像装置１では、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数が変更される。これにより、適切に二次画像データを生成できる。
　なお、上記実施の形態では、撮影シーンの情報をユーザが入力する構成としているが、撮影により得られた画像を解析し、自動で撮影シーンを特定する構成とすることもできる。この場合、撮影シーン情報取得部は、画像解析部として機能し、少なくとも１つの一次画像データを解析して、撮影シーンを特定する。
　［その他の実施の形態］
　《イメージセンサの変形例》
　イメージセンサの各画素に備える受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多ければよい。すなわち、ｍ＞ｎを満たせばよい。
　なお、各画素に備えられる受光センサは、混信比率が分散していることが好ましい。すなわち、混信比率の近い受光センサを複数備えるよりも、混信比率がバラバラの受光センサを複数備えることが好ましい。
　なお、上記実施の形態では、３行３列（３×３）で配列された９個の受光センサによってイメージセンサの１画素を構成しているが、１画素を構成する受光センサの配列は、これに限定されるものではない。たとえば、１画素が３個の受光センサで構成される場合、１行３列（１×３）で配列された３個の受光センサでイメージセンサの１画素を構成することができる。また、１画素を構成する受光センサは、受光面上に離散的に配置されていてもよい。
　また、上記実施の形態では、説明の便宜上、カラー画像については言及していないが、カラー画像を生成する場合は、所定のフィルター配列で各画素にカラーフィールターを配置する。
　《混信比率を調整する方法》
　上記実施の形態では、遮光マスクの形状によって各受光センサの混信比率を調整しているが、受光センサの混信比率を調整する方法は、これに限定されるものではない。この他、たとえば、マイクロレンズの結像特性を変えることにより、混信比率を調整することもできる。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などを変えることにより、混信比率を変えることができる。この場合、遮光マスクは不要となる。
　なお、遮光マスクとマイクロレンズを併用して、混信比率を調整することもできる。すなわち、遮光マスクの形状と、マイクロレンズの結像特性の双方を変えることによって、混信比率を調整することもできる。
　《撮影レンズの変形例》
　上記実施の形態では、撮影レンズに２個の光学系を備えているが、撮影レンズに備える光学系の数（ｎ）は、これに限定されるものではない。撮影レンズには、互いに撮像特性の異なる２以上の光学系が備えられていればよい。
　また、上記実施の形態では、焦点距離の異なる光学系が撮影レンズに備えられているが、撮影レンズに備える光学系の種類は、これに限定されるものではない。この他、たとえば、互いに合焦距離の異なる光学系を備えてもよい。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を同時に撮像できる。また、たとえば、互いに透過波長特性の異なる光学系を備えてもよい。これにより、たとえば、赤外光領域の光を透過させる光学系、及び、可視光領域の光を透過させる光学系を備えることにより、赤外光画像と可視光画像とを同時に撮像できる。
　また、上記実施の形態では、複数の光学系が同心状に配置される構成としているが、複数の光学系の配置は、これに限定されるものではない。たとえば、光軸を中心として、周方向に領域を分割し、各領域に光学系を配置する構成とすることもできる。
　《混信除去処理の変形例》
　上記のように、混信除去処理は、画素ごとに行われ、行列を利用する場合は、画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。したがって、逆行列Ｃ-1の情報は、画素ごとに逆行列情報記憶部２２２Ａに記憶される。一方、各画素に備えられる受光センサの混信比率が、画素間で近似している場合は、代表となる逆行列を定めて、混信除去処理を実施してもよい。すなわち、各画素において共通の逆行列を使用して、混信除去処理を実施してもよい。これにより、演算負荷を低減できる。また、画面を複数の領域に分割し、領域ごとに共通の逆行列を定めてもよい。
　《混信除去処理の一般化》
　撮影レンズに備えられる光学系の数をｎとし、イメージセンサの各画素に備えられる受光センサの数をｍ（ｍ＞ｎ）とすると、一次画像データはｍ個生成され、二次画像データはｎ個生成される。この場合、各一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとすると、デジタル信号処理部２１６は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する。
　各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列Ｃが正則ではない場合は、行列Ｃの一般逆行列を算出して、行列方程式を解く。
　本発明の効果を確認するため、次の実験を行った。
　擬似的に一次画像データを生成し、ｍ＝ｎとした場合と、ｍ＞ｎとした場合とで、二次画像データに現れるノイズを比較する実験を行った。
　〈一次画像データの生成〉
　一次画像データは、２つの画像データＷ及びＴを合成して擬似的に生成した。合成する画像の数が、撮影レンズに備えられる光学系の数（ｎ）に相当する。２つの画像データＷ及びＴを合成しているので、ｎ＝２となる。
　また、生成する一次画像データの数が、イメージセンサの各画素に備えられる受光センサの数（ｍ）に相当する。したがって、生成する一次画像データの数を２とすると、ｍ＝ｎとなる。
　また、合成時の混合比率（２つの画像データＷ及びＴを合成する比率）が、各受光センサの混信比率に相当する。たとえば、２つの画像データＷ及びＴをＷ：Ｔ＝０．８：０．２の混合比率で合成すると、生成される一次画像データの混信比率は０．８：０．２となる。
　〈ｍ＝ｎの場合〉
　ｍ＝２として、２つの一次画像データ（第１の一次画像データ及び第２の一次画像データ）を生成し、生成した２つの一次画像データに混信除去処理を施して、２つの二次画像データ（第１の二次画像データ及び第２の二次画像データ）を生成した。
　第１の一次画像データの混信比率は、Ｗ：Ｔ＝０．８：０．２とし、第２の一次画像データの混信比率は、Ｗ：Ｔ＝０．２：０．８とした。
　図３３は、ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像である。また、図３４は、ｍ＝ｎの場合に生成された第２の二次画像データが表わす画像である。
　〈ｍ＞ｎの場合〉
　ｍ＝９として、９つの一次画像データ（第１の一次画像データ、第２の一次画像データ、第３の一次画像データ、第４の一次画像データ、第５の一次画像データ、第６の一次画像データ、第７の一次画像データ、第８の一次画像データ、及び、第９の一次画像データ）を生成し、生成した９つの一次画像データに混信除去処理を施して、２つの二次画像データ（第１の二次画像データ及び第２の二次画像データ）を生成した。
　第１の一次画像データの混信比率はＷ：Ｔ＝０．９：０．１、第２の一次画像データの混信比率はＷ：Ｔ＝０．１：０．９、第３の一次画像データの混信比率はＷ：Ｔ＝０．８：０．２、第４の一次画像データの混信比率はＷ：Ｔ＝０．２：０．８、第５の一次画像データの混信比率はＷ：Ｔ＝０．７：０．３、第６の一次画像データの混信比率はＷ：Ｔ＝０．３：０．７、第７の一次画像データの混信比率はＷ：Ｔ＝０．６：０．４、第８の一次画像データの混信比率はＷ：Ｔ＝０．４：０．６、第９の一次画像データの混信比率はＷ：Ｔ＝０．５：０．５とした。
　図３５は、ｍ＞ｎの場合に生成された第１の二次画像データが表わす画像である。また、図３６は、ｍ＞ｎの場合に生成された第２の二次画像データが表わす画像である。
　〈比較〉
　図３３～図３６に示すように、ｍ＞ｎとすることにより、ノイズを低減できることが確認できた。
１　撮像装置
１０　撮影レンズ
２０　第１光学系
２２　絞り
３０　第２光学系
３０ａ　第１レンズ
３０ｂ　第２レンズ
３０ｃ　第３レンズ
３０ｄ　主鏡
３０ｅ　副鏡
３２　絞り
４０　共通レンズ
１００　イメージセンサ
１１０　画素
１２０ａ　第１受光センサ
１２０ｂ　第２受光センサ
１２０ｃ　第３受光センサ
１２０ｄ　第４受光センサ
１２０ｅ　第５受光センサ
１２０ｆ　第６受光センサ
１２０ｇ　第７受光センサ
１２０ｈ　第８受光センサ
１２０ｉ　第９受光センサ
１３０　光電変換素子
１３２　マイクロレンズ
１３４　遮光マスク
１３４Ａ　開口部
２１０　レンズ駆動制御部
２１２　イメージセンサ駆動制御部
２１４　アナログ信号処理部
２１６　デジタル信号処理部
２１６Ａ　一次画像データ生成部
２１６Ｂ　二次画像データ生成部
２１８　表示部
２２０　ワークメモリ
２２２　記憶部
２２２Ａ　逆行列情報記憶部
２２４　メディアインターフェース
２２６　システム制御部
２２８　操作部
２３０　外部メモリ
２３２　撮影シーン情報取得部
ＦＩ１　第１の一次画像データ
ＦＩ２　第２の一次画像データ
ＦＩ３　第３の一次画像データ
ＦＩ４　第４の一次画像データ
ＦＩ５　第５の一次画像データ
ＦＩ６　第６の一次画像データ
ＦＩ７　第７の一次画像データ
ＦＩ８　第８の一次画像データ
ＦＩ９　第９の一次画像データ
ＳＩ１　第１の二次画像データ
ＳＩ２　第２の二次画像データ
Ｌ　光軸
Ｌ１　領域
Ｌ２　領域
ＳΒ　領域
Ｓα　領域

Claims (16)

  1. 　ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
    　ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、
    　前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、
    　ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部と、
    　を備えた撮像装置。
  2. 　前記一次画像データの画素値をA1、A2、…、Aｍ、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、前記二次画像データを生成する、
    　請求項１に記載の撮像装置。
  3. 　前記一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、前記二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、前記二次画像データを生成する、
    　請求項１に記載の撮像装置。
  4. 　前記逆行列Ｃ-1の情報を記憶した逆行列情報記憶部を更に備え、
    　前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｃ-1の情報を利用して、前記行列方程式を解く、
    　請求項３に記載の撮像装置。
  5. 　前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｃ-1の情報を記憶する、
    　請求項４に記載の撮像装置。
  6. 　撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、
    　前記二次画像データ生成部は、前記撮影シーンに応じて、前記二次画像データの生成に使用する前記一次画像データの数を変更する、
    　請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記撮影シーン情報取得部は、前記一次画像データを解析して、前記撮影シーンを特定する、
    　請求項６に記載の撮像装置。
  8. 　前記受光センサは、
    　光電変換素子と、
    　前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
    　前記マイクロレンズと前記受光センサとの間に配置される遮光マスクと、
    　を備え、前記遮光マスクの形状、及び／又は、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
    　請求項１から７のいずれか１項に記載の撮像装置。
  9. 　前記受光センサは、
    　光電変換素子と、
    　前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
    　を備え、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
    　請求項１から７のいずれか１項に記載の撮像装置。
  10. 　前記撮影レンズに備えられるｎ個の前記光学系は、焦点距離が異なる、
    　請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記撮影レンズに備えられるｎ個の前記光学系は、合焦距離が異なる、
    　請求項１から９のいずれか１項に記載の撮像装置。
  12. 　前記撮影レンズに備えられるｎ個の前記光学系は、透過波長特性の異なる、
    　請求項１から９のいずれか１項に記載の撮像装置。
  13. 　前記撮影レンズに備えられるｎ個の前記光学系は、同心状に配置される、
    　請求項１０から１２のいずれか１項に記載の撮像装置。
  14. 　ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
    　前記イメージセンサを露光する工程と、
    　前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する工程と、
    　ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程と、
    　を備えた画像データ生成方法。
  15. 　前記一次画像データの画素値をA1、A2、…、Aｍ、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、前記二次画像データを生成する、
    　請求項１４に記載の画像データ生成方法。
  16. 　前記一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、前記二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、前記混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、前記二次画像データを生成する、
    　請求項１４に記載の画像データ生成方法。
     
PCT/JP2016/086289 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法 WO2017126242A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16886481.7A EP3407592B1 (en) 2016-01-18 2016-12-07 Image capture device and image data generation method
CN201680076743.4A CN108432233B (zh) 2016-01-18 2016-12-07 摄像装置及图像数据生成方法
JP2017562464A JP6545829B2 (ja) 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法
US16/013,942 US10691002B2 (en) 2016-01-18 2018-06-21 Imaging device and image data generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-007049 2016-01-18
JP2016007049 2016-01-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/013,942 Continuation US10691002B2 (en) 2016-01-18 2018-06-21 Imaging device and image data generation method

Publications (1)

Publication Number Publication Date
WO2017126242A1 true WO2017126242A1 (ja) 2017-07-27

Family

ID=59362631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086289 WO2017126242A1 (ja) 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法

Country Status (5)

Country Link
US (1) US10691002B2 (ja)
EP (1) EP3407592B1 (ja)
JP (1) JP6545829B2 (ja)
CN (1) CN108432233B (ja)
WO (1) WO2017126242A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805992B (zh) * 2018-10-03 2024-04-23 富士胶片株式会社 摄像装置
CN113038043B (zh) * 2021-03-25 2021-12-03 无锡物联网创新中心有限公司 一种传感器阵列电串扰消除方法
CN114650373A (zh) * 2022-03-21 2022-06-21 维沃移动通信有限公司 成像方法及装置、图像传感器、成像设备和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018471A1 (ja) 2011-07-29 2013-02-07 富士フイルム株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
WO2013146506A1 (ja) 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
JP2014178190A (ja) 2013-03-14 2014-09-25 Ricoh Co Ltd ステレオカメラ
JP2015046691A (ja) * 2013-08-27 2015-03-12 富士フイルム株式会社 撮像装置
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4688766B2 (ja) * 2006-09-21 2011-05-25 パナソニック株式会社 固体撮像装置、その駆動方法およびカメラ
JP5269425B2 (ja) * 2008-01-29 2013-08-21 株式会社東芝 固体撮像素子および固体撮像装置
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
EP2624540B1 (en) * 2010-10-01 2016-11-09 FUJIFILM Corporation Imaging device
JP5525107B2 (ja) * 2011-08-16 2014-06-18 富士フイルム株式会社 撮像装置
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
US20150130986A1 (en) * 2012-04-25 2015-05-14 Nikon Corporation Focus detection device, focus adjustment device and camera
CN102636473A (zh) * 2012-04-27 2012-08-15 四川大学 激发光偏离共线型光学系统检测装置及其检测方法
WO2014024745A1 (ja) * 2012-08-06 2014-02-13 富士フイルム株式会社 撮像装置
JP5886793B2 (ja) * 2013-06-11 2016-03-16 浜松ホトニクス株式会社 固体撮像装置
JP6286678B2 (ja) * 2013-07-12 2018-03-07 パナソニックＩｐマネジメント株式会社 撮像装置
WO2015182488A1 (ja) * 2014-05-26 2015-12-03 コニカミノルタ株式会社 複眼撮像光学系及び複眼撮像装置
US9438778B2 (en) * 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
KR102219784B1 (ko) * 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
TWI552603B (zh) * 2015-05-19 2016-10-01 晶相光電股份有限公司 影像校正系統以及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018471A1 (ja) 2011-07-29 2013-02-07 富士フイルム株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
WO2013146506A1 (ja) 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
JP2014178190A (ja) 2013-03-14 2014-09-25 Ricoh Co Ltd ステレオカメラ
JP2015046691A (ja) * 2013-08-27 2015-03-12 富士フイルム株式会社 撮像装置
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3407592A4

Also Published As

Publication number Publication date
EP3407592A1 (en) 2018-11-28
US20180299754A1 (en) 2018-10-18
JPWO2017126242A1 (ja) 2018-10-25
EP3407592B1 (en) 2020-01-29
CN108432233A (zh) 2018-08-21
CN108432233B (zh) 2020-08-18
US10691002B2 (en) 2020-06-23
EP3407592A4 (en) 2018-12-12
JP6545829B2 (ja) 2019-07-17

Similar Documents

Publication Publication Date Title
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
CN204697179U (zh) 具有像素阵列的图像传感器
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
JP5619294B2 (ja) 撮像装置及び合焦用パラメータ値算出方法
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
US20050275904A1 (en) Image capturing apparatus and program
US10691002B2 (en) Imaging device and image data generation method
CN106412533B (zh) 数字成像装置、数字成像设备和数字成像方法
US10341580B2 (en) Image processing device configured to correct an image so as to decrease output data
US10594964B2 (en) Imaging device and image data generation method
US20090102939A1 (en) Apparatus and method for simultaneously acquiring multiple images with a given camera
JP6929511B2 (ja) 撮像素子、及び、撮像装置
WO2018181612A1 (ja) 電子機器
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
WO2018181615A1 (ja) 電子機器
WO2023050040A1 (zh) 一种摄像头模组及电子设备
WO2018181611A1 (ja) 電子機器
WO2018181614A1 (ja) 電子機器
WO2018181613A1 (ja) 電子機器
WO2018181610A1 (ja) 電子機器
JP2016046773A (ja) 撮像装置
CN117528239A (zh) 摄像模组、对焦方法、装置、电子设备及介质
JP2015128226A (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886481

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017562464

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE