WO2013027488A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013027488A1
WO2013027488A1 PCT/JP2012/066683 JP2012066683W WO2013027488A1 WO 2013027488 A1 WO2013027488 A1 WO 2013027488A1 JP 2012066683 W JP2012066683 W JP 2012066683W WO 2013027488 A1 WO2013027488 A1 WO 2013027488A1
Authority
WO
WIPO (PCT)
Prior art keywords
light receiving
receiving element
element group
image
characteristic
Prior art date
Application number
PCT/JP2012/066683
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17183293.4A priority Critical patent/EP3267677B1/en
Priority to EP12826503.0A priority patent/EP2750374B1/en
Priority to CN201280041140.2A priority patent/CN103782586B/zh
Priority to JP2013529923A priority patent/JP5507764B2/ja
Publication of WO2013027488A1 publication Critical patent/WO2013027488A1/ja
Priority to US14/186,446 priority patent/US8823858B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the present invention relates to an imaging apparatus, and more particularly to an imaging apparatus capable of acquiring images having various characteristics.
  • Patent Document 1 a first lens unit having a predetermined spectral transmission characteristic and a second lens unit having a spectral transmission characteristic substantially different from the predetermined spectral transmission characteristic are arranged concentrically.
  • a photographing lens for a camera in which the focal lengths of the first lens unit and the second lens unit are different. Then, by irradiating the subject with illumination light having a spectral radiation characteristic corresponding to a spectral transmission characteristic of one of the first lens unit and the second lens unit by a light source for illumination, the first lens The subject that has passed through the first lens unit or the second lens unit can be imaged.
  • Patent Document 2 proposes an image pickup element provided with a light detection element used for pupil division type phase difference focus adjustment. Specifically, pixel pairs in which one microlens is arranged for a plurality of pixels are regularly arranged in a region for performing focus detection of the image sensor, and the phase shift of the images of the plurality of pixel pairs The focus shift can be detected.
  • distance information is obtained using a correlation method by separating a focus surface image obtained by capturing distance information of the entire scene with a single-lens camera into two in accordance with the in-focus state.
  • Possible three-dimensional imaging devices have been proposed.
  • Patent Document 1 a light beam that has passed through a first lens unit and a light beam that has passed through a second lens unit are pupil-divided, and a first pixel group and a second pixel group in one image sensor are respectively obtained.
  • a technique for reading the image as separate images from one image sensor.
  • Patent Document 2 can read out separate images from a plurality of pixel pairs, but these images are for detecting a phase shift (focus shift) between the images. Therefore, the pixel pair capable of detecting the phase difference due to the focus shift is arranged only in the area where focusing is performed, and normal pixels are arranged in other areas.
  • Patent Document 3 discloses an image sensor that can respectively acquire images that are pupil-divided in the left-right direction. Each cell of the image sensor is imaged so that a left-right parallax image can be obtained. It is uniformly arranged on the entire surface of the element.
  • An object of the present invention is to provide an imaging apparatus capable of acquiring an image corresponding to each characteristic of a photographing optical system having a plurality of characteristics as an image weighted according to each characteristic.
  • an imaging apparatus includes a first region having a first characteristic and a second region having a second characteristic different from the first characteristic.
  • An imaging optical system an image sensor having a first light receiving element group and a second light receiving element group arranged two-dimensionally, and a first light receiving element group and a second light receiving element group of the image sensor, respectively.
  • the first light receiving element group receives only the light beam that is provided and passes through the first region of the photographing optical system
  • the second light receiving element group receives only the light beam that passes through the second region of the photographing optical system.
  • An image for generating the first image or the second image by acquiring the first imaging signal or the second imaging signal from the optical element and the first light receiving element group or the second light receiving element group of the image pickup element, respectively.
  • a first light receiving element group and a second light receiving element group of the image pickup element Each in response to a first characteristic and a second characteristic of the imaging optical system, and is configured to acquire a different first images weighting and the second image.
  • the light beams that have passed through the first region and the second region having different characteristics of the photographing optical system are respectively transmitted to the first light receiving element group and the second light receiving element group of the imaging element.
  • the first imaging signal and the second imaging signal are acquired from the first light receiving element group and the second light receiving element group, respectively, and a first image and a second image are generated. Therefore, it is possible to acquire the first image and the second image corresponding to the first characteristic and the second characteristic of the photographing optical system, respectively.
  • the first light receiving element group and the second light receiving element group are weighted for information acquisition ability. Thereby, it is possible to acquire the first image and the second image weighted according to the first characteristic and the second characteristic of the photographing optical system.
  • the first region and the second region of the photographing optical system are different in at least one of a focal length, a transmitted wavelength region, and a spatial frequency characteristic.
  • the first light receiving element group and the second light receiving element group of the image pickup element are important among the first characteristic and the second characteristic of the photographing optical system.
  • the number of the light receiving elements corresponding to the characteristics to be assigned is assigned more than the number of the other light receiving elements. Therefore, it is possible to acquire images having different image sizes depending on whether or not the image corresponds to the important characteristic.
  • the imaging optical system has a first characteristic for a general distance and a second characteristic for close-up photography, and the first light receiving element of the imaging element.
  • the number of pixels in the group is preferably larger than the number of pixels in the second light receiving element group.
  • the first light receiving element group and the second light receiving element group of the image pickup element are arranged according to the arrangement density of the first light receiving element group and the The arrangement density of the two light receiving element groups is different. Thereby, an image having a resolution corresponding to the first characteristic and the second characteristic of the photographing optical system can be acquired.
  • the photographing optical system includes a circular first region and an annular second region centered on the optical axis of the photographing optical system.
  • the first area has a first characteristic for a general distance
  • the second area has a second characteristic for close-up photography.
  • the arrangement density of the first light receiving element group of the image pickup element is higher in the arrangement density of the peripheral part than the center part of the image pickup element
  • the arrangement density of the second light receiving element group is higher in the center part than the peripheral part of the image pickup element.
  • the arrangement density is high.
  • the central part of the image sensor photographing screen
  • the resolution of the important part can be increased.
  • the resolution of the image for the general distance can be maintained evenly over the entire image sensor (shooting screen).
  • the imaging optical system has a first characteristic that focuses on a distant view and a second characteristic that focuses on a distant view, and the first light receiving element of the image sensor
  • the group density is preferably higher in the lower region than in the upper region of the image sensor
  • the density of the second light receiving element group is preferably higher in the upper region than in the lower region of the image sensor.
  • the first light receiving element group and the second light receiving element group of the image pickup element are configured to have different shooting sensitivities. Accordingly, it is possible to increase the sensitivity of the light receiving element group corresponding to the characteristic that requires more light, and to set the sensitivity of the light receiving element group corresponding to the characteristic that does not require the light quantity to normal sensitivity.
  • the first light receiving element group and the second light receiving element group of the image pickup element have an aperture size through which light is incident or a micro light that focuses light on each light receiving element. It is comprised so that the size of a lens may differ.
  • the photographing optical system includes a first region having a first characteristic for photographing distance and a second characteristic corresponding to the second characteristic for close-up photography.
  • the imaging sensitivity of the second light receiving element group of the image sensor is preferably higher than the imaging sensitivity of the second light receiving element group.
  • the light beams that have passed through the first region and the second region having different characteristics of the photographing optical system are respectively incident on the first light receiving element group and the second light receiving element group of the imaging element,
  • the first image signal or the second image signal is acquired from the first first light receiving element group and the second light receiving element group, respectively, and the first image or the second image is generated. Therefore, it is possible to acquire the first image and the second image corresponding to the first characteristic and the second characteristic of the photographing optical system, respectively.
  • the first light receiving element group and the second light receiving element group are weighted for information acquisition capability. Therefore, it is possible to acquire the first image and the third image weighted according to the first characteristic and the second characteristic of the photographing optical system.
  • FIG. 1 is a block diagram showing an embodiment of an overall configuration of an imaging apparatus according to the present invention.
  • FIG. 1 is a front view showing the photographing lens shown in FIG. Cross-sectional view of essential parts of an image sensor used to explain an example of an optical element for providing pupil directivity
  • positioned at an image pick-up element differs.
  • positioned at an image pick-up element differs.
  • positioned at an image pick-up element The figure which shows embodiment by which the imaging sensitivity (aperture size) of two types of light receiving cells from which the pupil directivity arrange
  • positioned at an image sensor differs is weighted.
  • FIG. 1 is a block diagram showing an embodiment of the overall configuration of an imaging apparatus according to the present invention.
  • the imaging apparatus 1 records the captured image on the memory card 54, and the operation of the entire apparatus is centrally controlled by a central processing unit (CPU (Central Processing Unit)) 40.
  • CPU Central Processing Unit
  • the imaging apparatus 1 is provided with an operation unit 38 including a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 1 based on the input signal.
  • the CPU 40 performs, for example, lens drive control, aperture drive control, shooting operation control, image processing control, image data recording / reproduction control, display control of a liquid crystal monitor (LCD (Liquid Crystal Display)) 30, and the like.
  • LCD Liquid Crystal Display
  • the shutter button is an operation button for inputting an instruction to start photographing, and includes a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is an operation member for selection operation for selecting one of an auto shooting mode for shooting a still image, a manual shooting mode, a scene position such as a person, a landscape, and a night view, and a moving image mode for shooting a moving image.
  • the playback button is a button for switching to a playback mode in which a captured still image or moving image is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the subject light is imaged on the light receiving surface of a CMOS (Complementary Metal Oxide Semiconductor) type image sensor 16 through the photographing optical system and the optical element 12 for providing pupil directivity.
  • CMOS Complementary Metal Oxide Semiconductor
  • the photographing optical system includes a photographing lens 10, a diaphragm, a filter, and the like.
  • FIG. 1 shows only the taking lens 10 among the components of the taking optical system.
  • the photographing lens 10 of this embodiment includes a region 10a having a focal length for close-up photography (for example, close-up photography within several tens of centimeters) and long-distance photography (for example, 1 m to infinity). And a region 10b having a focal length of up to a general distance).
  • the region 10a is formed in a circular shape centered on the optical axis of the photographing lens 10, and the region 10b is formed in an annular shape. Further, a light shielding band is provided between the region 10a and the region 10b so that crosstalk does not occur between pupil-divided light beams, which will be described later.
  • the imaging element 16 has a number of light receiving cells (light receiving elements) arranged in a two-dimensional array, and a subject image formed on the light receiving surface of each light receiving cell has a signal voltage (or charge) of an amount corresponding to the amount of incident light. Is converted to
  • the optical element 12 for providing pupil directivity is disposed on the front surface of the image sensor 16 as shown in FIG.
  • the optical element 12 includes a condensing and imaging microlens 12a and a light shielding member 12b that regulates the openings of the light receiving cells 16a and 16b.
  • a red (R), green (G), and blue (B) color filter 13 is disposed below each microlens 12a.
  • the light receiving cell 16a is shielded from the periphery of its opening by the light shielding member 12b, while the light receiving cell 16b is shielded from the center of the opening by the light shielding member 12b.
  • the light beam that has passed through the central region 10a of the photographing lens 10 is split into pupils by the microlens 12a and the light shielding member 12b and enters the light receiving cell 16a, while passing through the peripheral region 10b of the photographing lens 10.
  • the incident light beam is pupil-divided by the microlens 12a and the light shielding member 12b and enters the light receiving cell 16b.
  • the light receiving cell 16a and the light receiving cell 16b that respectively receive the light beams passing through the two regions 10a and 10b of the photographing lens 10 are two-dimensionally arranged.
  • the pixel group of the light receiving cell 16a and the pixel group of the light receiving cell 16b Is weighted as will be described later, and an information acquisition capability according to the characteristics of the areas 10a and 10b of the photographing lens 10 can be obtained.
  • incident incident light is converted into charges corresponding to the amount of light, and stored in the light receiving cell itself or an attached capacitor.
  • the charge accumulated in the image sensor 16 is read out as a voltage signal corresponding to the amount of charge in accordance with a drive signal from the sensor control unit 32, and is held together with information related to the pixel position.
  • the voltage signal for each pixel is read out together with selection information of the pixel position to be read out using, for example, a technique of a MOS type image pickup device (so-called CMOS sensor) using an XY address method.
  • CMOS sensor MOS type image pickup device
  • the image pickup signal corresponding to the pixel group of the light receiving cell 16a and the image pickup signal corresponding to the pixel group of the light receiving cell 16b can be read out from the image pickup device 16 separately.
  • the close-up mode is set by an operation on the operation unit 38
  • an imaging signal corresponding to the pixel group of the light receiving cell 16a is read
  • the pixel of the light receiving cell 16b is read.
  • An imaging signal corresponding to the group is read out.
  • the imaging signal (voltage signal) read from the imaging device 16 is subjected to correlated double sampling processing (processing for reducing noise (particularly thermal noise) included in the output signal of the imaging device).
  • processing that obtains accurate pixel data by taking the difference between the feedthrough component level (the signal in the zero level period where the signal level is zero) and the pixel signal component level included in the output signal for each pixel of the image sensor 16.
  • the R, G, and B signals for each pixel are sampled and held, amplified, and then applied to the A / D converter 21.
  • the A / D converter 21 converts sequentially input analog voltage signals (R, G, B signals) into digital R, G, B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs gain control processing including offset processing, white balance correction and sensitivity correction, gamma correction processing, YC processing (R, G) on a digital image signal input via the image input controller 22.
  • B color signals are converted into luminance signals and color difference signals).
  • the image processing unit 25 performs the following processing, but the processing performed by the image processing unit 25 is not essential.
  • the image sensor 16 includes a light receiving cell 16a for close-up photography at a ratio of 1 pixel to 9 pixels (3 ⁇ 3 pixels) (see FIG. 4).
  • the pixel data in which the light receiving cell 16a for close-up exists is missing. Therefore, for the missing pixels due to the presence of the light receiving cells 16a, interpolation processing is performed based on the image data of the surrounding light receiving cells 16b, and processing for filling the missing pixels is performed (self-interpolation processing). Since the interpolation process is known, the description thereof is omitted. It should be noted that the number of columns used for interpolation and the weighting mode can be selected as appropriate.
  • a light beam passing through the region 10a of the photographing lens 10 is incident on the light receiving cell 16a of the image pickup device 16.
  • crossing is performed between the light beams divided by the pupil. Talk may occur and a part of the light beam passing through the region 10b may enter.
  • the light beam passing through the region 10b of the photographing lens 10 is incident on the light receiving cell 16b of the image sensor 16, a part of the light beam passing through the region 10a may be incident.
  • the image processing unit 25 performs image processing for correcting image blur and contrast deterioration due to the occurrence of such crosstalk.
  • the image data processed by the image processing unit 25 is input to a VRAM (Video Random Access Memory) 50.
  • the image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30 provided on the back of the camera. As a result, the subject image is displayed on the display screen of the liquid crystal monitor 30.
  • the CPU 40 starts an automatic focus adjustment (AE) operation, and the image data output from the A / D converter 21 is AE detected. Part 44 is taken in.
  • AE automatic focus adjustment
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness (photographing Ev value) of the subject from the integrated value input from the AE detection unit 44.
  • the CPU 40 determines the aperture value of the aperture and the electronic shutter (shutter speed) of the image sensor 16 based on the imaging Ev value according to a predetermined program diagram.
  • the CPU 40 controls the aperture based on the determined aperture value, and controls the charge accumulation time in the image sensor 16 via the sensor control unit 32 based on the determined shutter speed.
  • the image data output from the A / D converter 21 in response to the press is sent from the image input controller 22 to the memory (SDRAM ( Synchronous (Dynamic) Random (Access Memory)) 48) and temporarily stored.
  • SDRAM Synchronous (Dynamic) Random (Access Memory) 48
  • image data corresponding to the pixel group of the light receiving cell 16a is read, and in a normal shooting mode other than the close-up mode, the light receiving cell 16b.
  • the image data corresponding to the pixel group is read out.
  • the image data corresponding to the pixel group of the light receiving cell 16a and the image data corresponding to the pixel group of the light receiving cell 16b may be read simultaneously.
  • the image data temporarily stored in the memory 48 is appropriately read out by the digital signal processing unit 24 and the image processing unit 25, and here, predetermined processing including generation processing (YC processing) of luminance data and color difference data of the image data is performed. Signal processing is performed.
  • YC processed image data (YC data) is stored in the memory 48 again.
  • the YC data stored in the memory 48 is output to the compression / decompression processing unit 26, and after a predetermined compression process such as JPEG (joint photographic photographic experts group) is executed, the memory card 54 is passed through the media controller 52. To be recorded. Thereby, a close-up image or an image for a general distance can be captured and recorded.
  • a predetermined compression process such as JPEG (joint photographic photographic experts group)
  • FIG. 4 is a diagram showing an embodiment of a weighted arrangement of the light receiving cells 16a and the light receiving cells 16b, and is a diagram schematically showing a part of the light receiving surface of the image sensor 16.
  • the image sensor 16 is configured by repeatedly arranging a 3 ⁇ 3 pixel arrangement pattern in the horizontal direction and the vertical direction, and the light receiving cell 16a is arranged as one pixel at the center of the 3 ⁇ 3 pixels.
  • the light receiving cells 16b are arranged as eight pixels other than the light receiving cells 16a in the 3 ⁇ 3 pixels.
  • the ratio of the number of pixels of the light receiving cell 16a for close-up photography and the light receiving cell 16b for general distance is 1: 8, and they are all arranged in the entire area of the image sensor 16.
  • the first reason why the number of light receiving cells 16b for general distance is more than the number of light receiving cells 16a for close-up photography is that images for general distance are more frequently imaged. This is because there are many cases where the image is more important. Further, in a camera-equipped mobile phone equipped with the image pickup apparatus 1, a barcode (one-dimensional barcode or two-dimensional barcode (QR (Quick Response) code)) is mainly read as a scene for close-up photography. A scene is assumed. From the above, the second reason why the number of the light receiving cells 16b for the general distance is larger than the number of the light receiving cells 16a for the close-up is that the resolution capable of reading the barcode is ensured. This is because the image quality of a general photograph is not required.
  • QR Quality Response
  • the photographing lens 10 of this embodiment is a bifocal lens as shown in FIG. 2, but is not limited to this, and is suitable for, for example, a general photographing distance, a photographing distance of food or a product, and a close-up photographing distance, respectively.
  • a trifocal lens with circular and donut shaped regions with different focal lengths can be applied.
  • the light-receiving surface of each light-receiving cell of the image sensor is shielded by a light-shielding member as shown in FIGS. 5A to 5C, so that the light beam passing through each region of the photographing lens is received.
  • Three different types of light receiving cells can be configured. Further, the ratio of the number of arrangement of the three types of light receiving cells corresponding to the general shooting distance, the shooting distance of food and goods, and the close-up shooting distance can be, for example, 4: 4: 1.
  • FIG. 6 is a diagram schematically showing a part of the light receiving surface of the image sensor 161, and is a diagram showing an embodiment in which the arrangement density of the light receiving cells 161a and 161b is weighted.
  • the light receiving surface of the image sensor 161 is divided into two regions, a central portion and a peripheral portion.
  • the light receiving cells 161a and 161b are arranged such that the density of the light receiving cells 161a for close-up photography is higher than the density of the light receiving cells 161b for general distance (FIG. 6).
  • the light receiving cells 161a and 161b are arranged so that the density of the light receiving cells 161a for close-up photography is lower than the density of the light receiving cells 161b for general distance (see FIG. 6). (C) part).
  • the arrangement density of the light receiving cells 161a and the light receiving cells 161b is different between the central portion (near the optical axis) and the peripheral portion of the image sensor 161.
  • the light receiving cells 161a for close-up photography The density is high, and the light receiving cells 161b for general distance are arranged so as to be high in the peripheral region.
  • the reason why the arrangement density of the light receiving cells 161a for close-up in the central area of the image sensor 161 is increased is that in general close-up shooting, the main subject is located in the center of the shooting screen. This is because it is preferable to increase the image quality (resolution) at the center.
  • the close-up light receiving cells 161a may be assigned with a high density only in the central area of the image sensor 161, and only the general distance light receiving cells 161b may be assigned in the peripheral area.
  • the barcode is displayed in a predetermined size on the liquid crystal monitor so as to prompt barcode shooting at an appropriate shooting distance.
  • the light receiving cell 161a for close-up only needs to be arranged only in the range where the bar code is photographed.
  • FIG. 7 is a diagram schematically showing a part of the light receiving surface of the image sensor 162, and is a diagram showing another embodiment weighted to the arrangement density of the light receiving cells 162a and 162b.
  • the light receiving surface of the image sensor 162 is divided into two regions, an upper part and a lower part.
  • the light receiving cells 162a and 162b are arranged so that the density of the light receiving cells 162a for short distances close to the subject distance is higher than the density of the light receiving cells 162b for long distances close to the subject distance.
  • Part (b) of FIG. 7 the light receiving cells 162a and 162b are arranged such that the density of the light receiving cells 162b for the long distance shadow is higher than the density of the light receiving cells 162a for the short distance.
  • the photographing lens (not shown) is a region in which a region having a focal length for focusing on a short-distance subject and a region having a focal length for focusing on a long-distance subject are divided into upper and lower parts of the photographing lens. Are preferably formed respectively.
  • the short-distance light receiving cell 162a and the long-distance light receiving cell 162b of the image sensor 162 respectively receive the light beam that has passed through the short distance region and the light beam that has passed through the long distance region of the photographing lens.
  • FIG. 8 is a cross-sectional view of main parts of the optical element 121 and the image sensor 163 for providing pupil directivity.
  • the optical element 121 includes a condensing and imaging microlens 121a and a light shielding member 121b that regulates the openings of the light receiving cells 163a and 163b.
  • the light receiving cells 163a and 163b that receive light beams passing through the two regions 10a and 10b of the photographing lens 10 (see FIG. 2) are two-dimensionally arranged.
  • the light receiving cell 163a is shielded from light by the light shielding member 121b.
  • the center of the opening of the light receiving cell 163b is shielded by the light shielding member 121b.
  • the light beam that has passed through the central region 10a of the photographing lens 10 is split into pupils by the microlens 121a and the light shielding member 121b, and enters the light receiving cell 163a.
  • the light beam that has passed through the peripheral region 10b of the photographic lens 10 is split into pupils by the microlens 121a and the light shielding member 121b and enters the light receiving cell 163b.
  • the light receiving cell 163a and the light receiving cell 163b have different positions and areas where light is blocked by the light blocking member 121b.
  • the opening size of the light receiving cell 163a is larger than the opening size of the light receiving cell 163b.
  • the light receiving cell 163a can receive a larger amount of light than the light receiving cell 163b, and the imaging sensitivity is high. Yes.
  • the image that can be acquired from the pixel group of the light receiving cell 163a has high imaging sensitivity, and the image that can be acquired from the pixel group of the light receiving cell 163b can have normal imaging sensitivity.
  • the light beam that has passed through the close-up area 10a of the photographing lens 10 enters the light receiving cell 163a via the optical element 121, and the light beam that has passed through the general distance area 10b passes through the optical element 121. Incident to 163b.
  • the close-up photographed image that can be acquired from the pixel group of the light receiving cell 163a becomes an image with high photographing sensitivity
  • the image for the general distance that can be acquired from the pixel group of the light receiving cell 163b has the normal photographing sensitivity.
  • the light receiving cell 163a having a large aperture size is assigned to a characteristic that requires more light. In this way, by increasing the aperture size of the light receiving cell 163a corresponding to the lens characteristics for close-up photography, for example, even when the subject enters the shadow of the imaging device and becomes dark during close-up photography, a bright image can be obtained.
  • FIG. 9 is a cross-sectional view of main parts of the optical element 122 and the image sensor 164 for providing pupil directivity.
  • the optical element 122 includes condensing and imaging microlenses 122a 1 and 122a 2 and a light shielding member 122b that regulates the openings of the light receiving cells 164a and 164b.
  • the light receiving cells 164a and 164b that receive the light beams passing through the two regions 10a and 10b of the photographing lens 10 (see FIG. 2) are two-dimensionally arranged.
  • the light receiving cell 164a is shielded from light by the light shielding member 121b.
  • the center of the opening of the light receiving cell 164b is shielded by the light shielding member 12b.
  • the light beam which has passed through the region 10a of the central portion of the photographic lens 10 is pupil division by the microlens 122a 1 and the light blocking member 122b is incident on the light receiving cell 164a.
  • the light beam which has passed through the region 10b of the peripheral portion of the photographing lens 10 is pupil division by the microlens 122a 2 and the light blocking member 122b is incident on the light receiving cells 164b.
  • the microlens 122a 1 and the microlens 122a 2 unlike lenses size (lens diameter), the microlenses 122a 1 is made incident on the light receiving cell 164a condenses the amount of light than the microlenses 122a 2 be able to. Thereby, similarly to the embodiment shown in FIG. 8, images having different photographing sensitivities can be acquired.
  • a multifocal lens having different focal length regions is used as the photographing lens, but the photographing lens is not limited to this form.
  • a multi-characteristic lens such as a lens having a plurality of regions having different transmission wavelength ranges or a lens having various regions having different colors can be used.
  • an imaging lens imaging optical system composed of an imaging lens and a filter
  • the image sensor has no light receiving cell having an RGB color filter and no color filter.
  • the light receiving cells are two-dimensionally arranged.
  • the light beam that has passed through the infrared cut region by the optical element for providing pupil directivity is incident on the light receiving cell having the color filter, and the light beam that has passed through the visible cut region is incident on the light receiving cell without the color filter. According to this, a normal color image and an infrared image can be taken.
  • the number of the light receiving cells corresponding to the normal color image is larger than the number of the light receiving cells corresponding to the infrared image. This is because the image quality (resolution) of an infrared image is generally lower than that of a normal color image. Further, the opening size of the light receiving cell corresponding to the infrared image is made larger than the opening size of the light receiving cell corresponding to the color image. This is because infrared images are often used under dark shooting conditions.
  • a photographing lens 105 having different spatial frequency characteristics can be applied in accordance with the regions 105a, 105b, and 105c.
  • the ratio of the number of light receiving cells corresponding to a region with high lens performance (for example, a region with high MTF (Modulation Transfer Function)) is set to be higher than the proportion of the number of light receiving cells corresponding to a region with low lens performance. Higher is preferred.
  • two or more of the number of light receiving cells arranged corresponding to areas having different characteristics of the photographing lens, the arrangement density, and the aperture size (photographing sensitivity) are appropriately combined, and the characteristics are weighted. Also good.
  • the optical element for providing the pupil directivity is not limited to the combination of the microlens and the light shielding member of the present embodiment.
  • a microsplit prism is used (Patent Document 3), pupil division polarization An element using an element (Japanese Patent Laid-Open No. 2009-162847) or the like can be applied.
  • CMOS complementary metal-oxide-semiconductor
  • CCD Charge Coupled Device
  • imaging apparatus 10 ... imaging lens, 12 ... optical element, 12a, 121a, 122a 1, 122a 2 ... microlenses, 12b, 121b, 122b ... light shielding member, 16a, 16b, 161a, 161b , 162a, 162b, 163a 163b, 164a, 164b ... light receiving cells, 24 ... digital signal processing unit, 25 ... image processing unit, 40 ... central processing unit (CPU)

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　本発明の一態様に係る撮像装置（１）は、撮像素子（１６）の第１の受光素子群又は第２の受光素子群からそれぞれ第１の撮像信号又は第２の撮像信号を取得して第１の画像又は第２の画像を生成する画像生成部を備え、撮像素子（１６）の第１の受光素子群と第２の受光素子群とは、それぞれ撮影光学系（１０）の第１の特性及び第２の特性に応じて、重み付けの異なる第１の画像と第２の画像とを取得できるように構成されている。

Description

撮像装置
　本発明は撮像装置に係り、特に多様な特性の画像を取得することができる撮像装置に関する。
　特許文献１には、所定の分光透過特性を有する第１のレンズ部と、当該所定の分光透過特性とは実質的に異なる分光透過特性を有する第２のレンズ部とが同芯状に配置され、かつ第１のレンズ部と第２のレンズ部の焦点距離が異なるカメラの撮影レンズが提案されている。そして、照明用の光源によって前記第１のレンズ部及び第２のレンズ部のいずれか一方の分光透過特性に応じた分光放射特性を有する照明光を被写体に照射することにより、前記第１のレンズ部又は第２のレンズ部を透過した被写体を撮像できるようにしている。
　特許文献２には、瞳分割型位相差焦点調節に使用される光検出素子が設けられた撮像素子が提案されている。具体的には、撮像素子の焦点検出を行うための領域に、複数の画素に対して１つのマイクロレンズを配設した画素対を規則的に配置し、複数の画素対の画像の位相ずれによりピントずれを検出できるようにしている。
　また、特許文献３には、シーン全体の距離情報を一眼のカメラで撮像したピント面の画像を、合焦状態に応じて２つに分離することによって相関法を用いて距離情報を求めることのできる３次元撮像装置が提案されている。
特開２００３－９８４２６号公報 特開２００７－３１７９５１号公報 特開２００２－１９１０６０号公報
　特許文献１には、第１のレンズ部を通過した光束と第２のレンズ部を通過した光束とを瞳分割し、それぞれ１つの撮像素子内の第１の画素群と第２の画素群とに入射させ、１つの撮像素子から別々の画像として読み出す技術は記載されていない。
　一方、特許文献２に記載の発明は、複数の画素対からそれぞれ別々の画像を読み出すことができるが、これらの画像は、画像間の位相ずれ（ピントずれ）を検出するためのものである。したがって、ピントずれによる位相差の検出が可能な画素対は、ピント合わせを行う領域のみに配設されており、他の領域には通常の画素が配置されている。
　また、特許文献３には、左右方向に瞳分割された画像をそれぞれ取得することができる撮像素子が開示されているが、この撮像素子の各セルは、左右の視差画像が得られるように撮像素子全面に一様に配置されている。
　したがって、特許文献１に記載の発明に、特許文献２、３に記載の技術を組み合わせる動機付けはない。
　本発明は、複数の特性を有する撮影光学系の各特性に対応する画像を、各特性に応じて重み付けされた画像として取得することができる撮像装置を提供することを目的とする。
　前記目的を達成するために本発明の一の態様に係る撮像装置は、第１の特性を有する第１の領域と第１の特性とは異なる第２の特性を有する第２の領域とを有する撮影光学系と、２次元配列された第１の受光素子群及び第２の受光素子群を有する撮像素子と、撮像素子の第１の受光素子群及び第２の受光素子群にそれぞれ対応して設けられ、撮影光学系の第１の領域を通過した光束のみを第１の受光素子群に受光させ、撮影光学系の第２の領域を通過した光束のみを第２の受光素子群に受光させる光学要素と、撮像素子の第１の受光素子群又は第２の受光素子群からそれぞれ第１の撮像信号又は第２の撮像信号を取得して第１の画像又は第２の画像を生成する画像生成部とを備え、撮像素子の第１の受光素子群と第２の受光素子群とは、それぞれ撮影光学系の第１の特性及び第２の特性に応じて、重み付けの異なる第１の画像と第２の画像とを取得できるように構成されている。
　本発明の一の態様によれば、撮影光学系の異なる特性を有する第１の領域及び第２の領域を通過した光束をそれぞれ撮像素子の第１の受光素子群及び第２の受光素子群に入射させ、第１の受光素子群及び第２の受光素子群からそれぞれ第１の撮像信号及び第２の撮像信号を取得して第１の画像及び第２の画像を生成する。このため、撮影光学系の第１の特性及び第２の特性に対応する第１の画像及び第２の画像をそれぞれ取得することができる。また、第１の受光素子群と第２の受光素子群とは、情報獲得能力に重み付けがされている。これにより、撮影光学系の第１の特性及び第２の特性に応じて重み付けされた第１の画像及び第２の画像を取得することができる。
　本発明の他の態様に係る撮像装置において、撮影光学系の第１の領域と第２の領域は、焦点距離、透過する波長域、及び空間周波数特性のうちの少なくとも１つが異なっている。
　本発明の更に他の態様に係る撮像装置において、撮像素子の第１の受光素子群と第２の受光素子群とは、撮影光学系の第１の特性及び第２の特性のうちの重要視する特性に対応する受光素子の配置数が、他の受光素子の配置数よりも多く割り当てられている。これにより、重要視する特性に対応する画像か否かに応じて異なる画像サイズの画像を取得することができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系は、撮影距離が一般距離用の第１の特性と接写用の第２の特性とを有し、撮像素子の第１の受光素子群の画素数は、第２の受光素子群の画素数よりも多いことが好ましい。これにより、撮影距離が一般距離用の画像の画像サイズを、接写用の画像の画像サイズよりも大きくすることができる。
　本発明の更に他の態様に係る撮像装置において、撮像素子の第１の受光素子群と第２の受光素子群とは、撮像素子の位置に応じて第１の受光素子群の配置密度と第２の受光素子群の配置密度とが異なるように構成されている。これにより、撮影光学系の第１の特性及び第２の特性に応じた解像度の画像を取得することができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系は、該撮影光学系の光軸を中心とする円形状の第１の領域及び円環形状の第２の領域を有する。第１の領域は、撮影距離が一般距離用の第１の特性を有し、第２の領域は、接写用の第２の特性を有する。撮像素子の第１の受光素子群の配置密度は、撮像素子の中央部よりも周辺部の配置密度が高く、第２の受光素子群の配置密度は、撮像素子の周辺部よりも中心部の配置密度が高くなっている。接写用の画像は、撮像素子（撮影画面）の中央部が重要なため、その重要な部分の解像度を高くすることができる。一方、一般距離用の画像は、撮像素子（撮影画面）全体にわたって、まんべんなく解像度を維持することができる。
　本発明の更に他の態様に係る撮像装置において、撮影光学系は、遠景に焦点が合う第１の特性と近景に焦点が合う第２の特性とを有し、撮像素子の第１の受光素子群の密度は、撮像素子の上部領域よりも下部領域の方が高く、第２の受光素子群の密度は、撮像素子の下部領域よりも上部領域の方が高いことが好ましい。遠景の被写体は撮影画面の上方（撮像素子の下方）に存在することが多く、近景の被写体は撮影画面の下方（撮像素子の上方）に存在することが多い。このため、これらの遠景の被写体が合焦する第１の受光素子群と近景の被写体が合焦する第２の受光素子群の密度を、撮像素子の上下方向に位置に応じて変更するようにしている。
　本発明の更に他の態様に係る撮像装置において、撮像素子の第１の受光素子群と第２の受光素子群とは、撮影感度が異なるように構成されている。これにより、より光量を必要とする特性に対応する受光素子群の感度を上げることができ、光量を必要としない特性に対応する受光素子群の感度を通常の感度にすることができる。
　本発明の更に他の態様に係る撮像装置において、撮像素子の第１の受光素子群と第２の受光素子群とは、光が入射する開口サイズ、又は各受光素子に光を集光させるマイクロレンズのサイズが異なるように構成されている。
　本発明の更に他の態様に係る撮像装置において、撮影光学系は、撮影距離が一般距離用の第１の特性を有する第１の領域と、接写用の第２の特性に対応する第２の領域とを有し、撮像素子の第２の受光素子群の撮影感度は、第２の受光素子群の撮影感度よりも高いことが好ましい。
　本発明によれば、撮影光学系の異なる特性を有する第１の領域及び第２の領域を通過した光束をそれぞれ撮像素子の第１の受光素子群及び第２の受光素子群に入射させ、前記第１の第１の受光素子群及び第２の受光素子群からそれぞれ第１の撮像信号又は第２の撮像信号を取得して第１の画像又は第２の画像を生成するようにした。このため、前記撮影光学系の第１の特性及び第２の特性に対応する第１の画像及び第２の画像をそれぞれ取得することができる。特に第１の受光素子群と第２の受光素子群とは、情報獲得能力に重み付けがされている。このため、前記撮影光学系の第１の特性及び第２の特性に応じて重み付けされた第１の画像及び第３の画像を取得することができる。
本発明に係る撮像装置の全体構成の実施形態を示すブロック図 図１に示した撮影レンズと撮像素子の関係を示す図 図１に示した撮影レンズを示す正面図 瞳指向性をもたせるための光学要素の一例を説明するために用いた撮像素子の要部断面図 撮像素子に配置される瞳指向性の異なる２種類の受光セルの重み付け配置（配置数）の実施形態を示す図 撮像素子に配置される瞳指向性の異なる３種類の受光セルを構成する遮光部材の第１の例を示す図 撮像素子に配置される瞳指向性の異なる３種類の受光セルを構成する遮光部材の第２の例を示す図 撮像素子に配置される瞳指向性の異なる３種類の受光セルを構成する遮光部材の第３の例を示す図 撮像素子に配置される瞳指向性の異なる２種類の受光セルの重み付け配置（配置密度）の実施形態を示す図 撮像素子に配置される瞳指向性の異なる２種類の受光セルの重み付け配置（配置密度）の他の実施形態を示す図 撮像素子に配置される瞳指向性の異なる２種類の受光セルの撮影感度（開口サイズ）が重み付けされている実施形態を示す図 撮像素子に配置される瞳指向性の異なる２種類の受光セルの撮影感度（マイクロレンズのサイズ）が重み付けされている実施形態を示す図 撮影レンズの領域毎に空間周波数特性が異なる撮影レンズの一例を示す図 撮影レンズの領域毎に空間周波数特性が異なる撮影レンズにおいて空間周波数とＭＴＦ特性の関係を示すグラフ
　以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
　＜撮像装置＞
　図１は本発明に係る撮像装置の全体構成の実施形態を示すブロック図である。
　この撮像装置１は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ（Central Processing Unit））４０によって統括制御される。
　撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキーを含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１の各回路を制御する。ＣＰＵ４０は、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（ＬＣＤ（Liquid Crystal Display））３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択操作用の操作部材である。
　再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
　撮影モード時において、被写体光は、撮影光学系、及び瞳指向性をもたせるための光学要素１２を介してＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子１６の受光面に結像される。
　撮影光学系は、撮影レンズ１０、絞り、フィルタ等を含んで構成されている。図１には、撮影光学系の構成要素のうち撮影レンズ１０のみが示されている。
　この実施形態の撮影レンズ１０は、図２Ａおよび図２Ｂに示すように近接撮影（例えば、数１０ｃｍ以内の接写撮影）用の焦点距離を有する領域１０ａと、遠距離撮影用（例えば、１ｍ～無限までの一般距離用）の焦点距離を有する領域１０ｂとを有する２焦点レンズである。領域１０ａは撮影レンズ１０の光軸を中心とする円形状に形成され、領域１０ｂは円環形状に形成されている。また、領域１０ａと領域１０ｂとの間には、後述する瞳分割された光束間でクロストークが生じないように遮光帯が設けられている。
　撮像素子１６は、多数の受光セル（受光素子）が２次元配列されており、各受光セルの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
　撮像素子１６の前面には、図３に示すように瞳指向性をもたせるための光学要素１２が配設されている。この光学要素１２は、集光及び結像用のマイクロレンズ１２ａと、受光セル１６ａ、１６ｂの開口を規制する遮光部材１２ｂとから構成されている。尚、各マイクロレンズ１２ａの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタ１３が配設されている。
　受光セル１６ａは遮光部材１２ｂによりその開口の周辺部が遮光され、一方、受光セル１６ｂは遮光部材１２ｂにその開口の中心部が遮光されている。これにより、撮影レンズ１０の中央部の領域１０ａを通過した光束は、マイクロレンズ１２ａ及び遮光部材１２ｂにより瞳分割されて受光セル１６ａに入射し、一方、撮影レンズ１０の周辺部の領域１０ｂを通過した光束は、マイクロレンズ１２ａ及び遮光部材１２ｂにより瞳分割されて受光セル１６ｂに入射する。
　撮影レンズ１０の２つの領域１０ａ，１０ｂを通過する光束をそれぞれ受光する受光セル１６ａと受光セル１６ｂとは、それぞれ２次元配列されているが、受光セル１６ａの画素群と受光セル１６ｂの画素群とは、後述するように重み付け配置されており、撮影レンズ１０の領域１０ａ，１０ｂの特性に応じた情報獲得能力が得られるようになっている。
　図１に戻って、入射した入射光は、その光量に応じた電荷に変換され、受光セルそのものもしくは付設されたキャパシタに蓄えられる。撮像素子１６に蓄積された電荷は、センサ制御部３２からの駆動信号に従って、電荷量に応じた電圧信号として読み出されて、当該画素位置に関する情報とともに保持される。上記画素ごとの電圧信号は、例えば、Ｘ－Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、読み出し対象の画素位置の選択情報とともに読み出される。
　これにより、図２Ａに示すように撮像素子１６からは、受光セル１６ａの画素群に対応する撮像信号と、受光セル１６ｂの画素群に対応する撮像信号とが別々に読み出すことができる。例えば、操作部３８での操作により接写モードが設定された場合には、受光セル１６ａの画素群に対応する撮像信号が読み出され、接写モード以外の通常の撮影モードでは、受光セル１６ｂの画素群に対応する撮像信号が読み出される。
　撮像素子１６から読み出された撮像信号（電圧信号）には、相関２重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減するための処理。具体的には、撮像素子１６の１画素毎の出力信号に含まれるフィードスルー成分レベル（信号レベルがゼロのゼロレベル期間の信号）と画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力されるアナログの電圧信号（Ｒ、Ｇ、Ｂ信号）をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理（Ｒ，Ｇ，Ｂの色信号を輝度信号および色差信号に変換する処理）等の所定の信号処理を行う。
　また、画像処理部２５は、以下の処理を行うが、画像処理部２５が行う処理は必須ではない。
　後述するように、撮像素子１６には接写用の受光セル１６ａが９画素（３×３画素）に１画素の割合で含まれる（図４参照）ため、通常撮影距離用の受光セル１６ｂから読み出された画像データから生成した画像は、接写用の受光セル１６ａが存在する画素のデータが欠落している。したがって、受光セル１６ａの存在による欠落画素については、周囲の受光セル１６ｂの画像データに基づいて補間処理を行い、欠落画素を埋める処理を行う（自己補間処理）。補間処理については公知であるため、説明を省略する。尚、補間に用いる列数や重みづけの態様は適宜選択可能である。
　また、撮像素子１６の受光セル１６ａには、撮影レンズ１０の領域１０ａを通過する光束が入射するが、瞳指向性をもたせるための光学要素１２の精度誤差により、瞳分割された光束間でクロストークが生じ、領域１０ｂを通過する光束の一部が入射する場合がある。同様に、撮像素子１６の受光セル１６ｂには、撮影レンズ１０の領域１０ｂを通過する光束が入射するが、領域１０ａを通過する光束の一部が入射する場合がある。画像処理部２５は、このようなクロストークの発生による画像のボケやコントラスト劣化を補正する画像処理を行う。
　画像処理部２５で処理され画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力される。これにより、被写体像が液晶モニタ３０の表示画面上に表示される。
　操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、自動焦点調整（ＡＥ）動作を開始させ、Ａ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出する。ＣＰＵ４０は、この撮影Ｅｖ値に基づいて絞りの絞り値及び撮像素子１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定する。そして、ＣＰＵ４０は、その決定した絞り値に基づいて絞りを制御し、決定したシャッタスピードに基づいてセンサ制御部３２を介して撮像素子１６での電荷蓄積時間を制御する。
　ＡＥ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２１から出力される画像データが画像入力コントローラ２２からメモリ(ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）)４８に入力され、一時的に記憶される。この実施形態では、撮影者の指示により接写モードが設定されている場合には、受光セル１６ａの画素群に対応する画像データが読み出され、接写モード以外の通常の撮影モードでは、受光セル１６ｂの画素群に対応する画像データが読み出される。尚、受光セル１６ａの画素群に対応する画像データと、受光セル１６ｂの画素群に対応する画像データとを同時に読み出すようにしてもよい。
　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４及び画像処理部２５により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。
　前記メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、ＪＰＥＧ（joint photographic experts group）などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。これにより、接写画像又は一般距離用の画像を撮影記録することができる。
　次に、前記撮像素子１６における受光セル１６ａと受光セル１６ｂの重み付け配置について説明する。
　［配置数］
　図４は受光セル１６ａと受光セル１６ｂの重み付け配置の実施形態を示す図であり、撮像素子１６の受光面の一部を模式的に示した図である。
　図４に示すように、撮像素子１６は、３×３画素の配置パターンが水平方向及び垂直方向に繰り返し配列されて構成されており、３×３画素の中心の１画素として受光セル１６ａが配置され、３×３画素のうちの受光セル１６ａ以外の８画素として受光セル１６ｂが配置されている。
　したがって、接写用の受光セル１６ａと一般距離用の受光セル１６ｂとは、その画素数の割合が１：８となっており、それぞれまんべんなく撮像素子１６の全領域に配置されている。
　本実施形態では、一般距離用の受光セル１６ｂの配置数を、接写用の受光セル１６ａの配置数よりも多くした第１の理由は、一般距離用の画像の方が撮影の頻度が高く、より重要視する画像である場合が多いからである。また、この撮像装置１が搭載されたカメラ付き携帯電話において、接写撮影を行うシーンとしては、主にバーコード（一次元バーコード、又は二次元バーコード（ＱＲ（Quick Response）コード））を読み取るシーンが想定される。上記のことから、一般距離用の受光セル１６ｂの配置数を、接写用の受光セル１６ａの配置数よりも多くした第２の理由は、バーコードの読み取りが可能な解像度が確保されればよく、一般の写真のような画質が要求されないからである。
　尚、この実施形態の撮影レンズ１０は、図２に示したように２焦点レンズであるが、これに限らず、例えば、一般撮影距離、食べ物や商品の撮影距離、及び接写撮影距離にそれぞれ適した焦点距離を有する円形及びドーナツ状の領域を有する３焦点レンズを適用することができる。この場合、撮像素子の各受光セルの受光面を、図５Ａ～図５Ｃに示すような遮光部材により遮光することにより、上記撮影レンズの各領域を通過する光束をそれぞれ受光する、瞳指向性の異なる３種類の受光セルを構成することがきる。また、一般撮影距離、食べ物や商品の撮影距離、及び接写撮影距離に対応する３種類の受光セルの配置数の割合としては、例えば、４：４：１にすることができる。
　［配置密度］
　図６は撮像素子１６１の受光面の一部を模式的に示した図であり、受光セル１６１ａと受光セル１６１ｂの配置密度に重み付けした実施形態を示す図である。
　図６の（ａ）部に示すように、撮像素子１６１の受光面は中央部と周辺部の２つの領域に区分される。撮像素子１６１の中央部の領域には、接写用の受光セル１６１ａの密度が一般距離用の受光セル１６１ｂの密度よりも高くなるように受光セル１６１ａと受光セル１６１ｂとが配置される（図６の（ｂ）部）。一方、周辺部の領域には、接写用の受光セル１６１ａの密度が一般距離用の受光セル１６１ｂの密度よりも低くなるように受光セル１６１ａと受光セル１６１ｂとが配置されている（図６の（ｃ）部）。
　即ち、重要な領域にその特性に対応する受光セルの配置密度が高くなるように割り当てられている。具体的には、受光セル１６１ａと受光セル１６１ｂとの配置密度は、撮像素子１６１の中央部（光軸近傍）と周辺部とで異なっており、中央部の領域では接写用の受光セル１６１ａの密度が高く、周辺部の領域では一般距離用の受光セル１６１ｂの密度が高くなるように配置されている。
　ここで、撮像素子１６１の中央部の領域における接写用の受光セル１６１ａの配置密度を高くした理由は、一般の接写撮影では、撮影画面の中央部に主要被写体を位置させて撮影を行う場合が多く、この中央部の画質（解像度）を高くすることが好ましいからである。
　また、接写用の受光セル１６１ａは、撮像素子１６１の中央部の領域のみ密度高く割り当て、周辺部の領域では一般距離用の受光セル１６１ｂのみを割り当てるようにしてもよい。例えば、撮像装置１が搭載されたカメラ付き携帯電話において、バーコード読み取りを行う場合、適切な撮影距離でのバーコード撮影を促すように、液晶モニタ上に所定の大きさでバーコードが表示されるようにアシストする表示枠を表示するものがあり、この場合、接写用の受光セル１６１ａは、バーコードを撮影する範囲のみに配置されていればよい。
　図７は撮像素子１６２の受光面の一部を模式的に示した図であり、受光セル１６２ａと受光セル１６２ｂの配置密度に重み付けした他の実施形態を示す図である。
　図７の（ａ）部に示すように、撮像素子１６２の受光面は上部と下部の２つの領域に区分される。上部の領域には、被写体距離の近い近距離用の受光セル１６２ａの密度が、被写体距離の遠い遠距離用の受光セル１６２ｂの密度よりも高くなるように受光セル１６２ａと受光セル１６２ｂとが配置される（図７の（ｂ）部）。一方、下部の領域には、遠距影用の受光セル１６２ｂの密度が、近距離用の受光セル１６２ａの密度よりも高くなるように受光セル１６２ａと受光セル１６２ｂとが配置されている（図７の（ｃ）部）。
　尚、撮影レンズ（図示せず）は、近距離の被写体に合焦する焦点距離を有する領域と遠距離の被写体に合焦する焦点距離を有する領域とが、撮影レンズの上下２分割された領域にそれぞれ形成されているものが好ましい。前記撮像素子１６２の近距離用の受光セル１６２ａと遠距離用の受光セル１６２ｂは、それぞれ前記撮影レンズの近距離用の領域を通過した光束及び遠距離用の領域を通過した光束をそれぞれ受光するものとする。
　図７に示したように撮像素子１６２の上部の領域において近距離用の受光セル１６ａの配置密度を多くし、下部の領域において遠距離用の受光セル１６ｂの配置密度を多くした理由は、近距離の被写体は撮影画面の下方（撮像素子の上部）に存在する場合が多く、一方、遠距離の被写体は撮影画面の上方（撮像素子の下部）に存在する場合が多いからである。
　［開口サイズ］
　図８は瞳指向性をもたせるための光学要素１２１と撮像素子１６３の要部断面図である。
　光学要素１２１は、集光及び結像用のマイクロレンズ１２１ａと、受光セル１６３ａ、１６３ｂの開口を規制する遮光部材１２１ｂとから構成されている。尚、撮影レンズ１０（図２参照）の２つの領域１０ａ，１０ｂを通過する光束をそれぞれ受光する受光セル１６３ａと受光セル１６３ｂとは、それぞれ２次元配列されている。
　受光セル１６３ａは遮光部材１２１ｂによりその開口の周辺部が遮光される。一方、受光セル１６３ｂは遮光部材１２１ｂにその開口の中心部が遮光されている。これにより、撮影レンズ１０の中央部の領域１０ａを通過した光束は、マイクロレンズ１２１ａ及び遮光部材１２１ｂにより瞳分割されて受光セル１６３ａに入射する。一方、撮影レンズ１０の周辺部の領域１０ｂを通過した光束は、マイクロレンズ１２１ａ及び遮光部材１２１ｂにより瞳分割されて受光セル１６３ｂに入射する。
　図８に示すように前記受光セル１６３ａと受光セル１６３ｂとは、それぞれ遮光部材１２１ｂにより遮光される位置及び面積が異なっている。受光セル１６３ａの開口サイズは、受光セル１６３ｂの開口サイズよりも大きくなっている。
　これにより、マイクロレンズ１２１ａを介して同じ光量が受光セル１６３ａ、１６３ｂに入射する場合、受光セル１６３ａは、受光セル１６３ｂよりも多くの光量を受光することができ、撮影感度が高いものとなっている。
　受光セル１６３ａの画素群から取得することができる画像は、撮影感度が高く、受光セル１６３ｂの画素群から取得することができる画像は、通常の撮影感度とすることができる。
　そして、撮影レンズ１０の接写用の領域１０ａを通過した光束は、光学要素１２１を介して受光セル１６３ａに入射し、一般距離用の領域１０ｂを通過した光束は、光学要素１２１を介して受光セル１６３ｂに入射する。これにより、受光セル１６３ａの画素群から取得可能な接写撮影された画像は、撮影感度の高い画像になり、受光セル１６３ｂの画素群から取得可能な一般距離用の画像は、通常の撮影感度の画像になる。
　このように撮影レンズ１０の異なる特性に合わせて、開口サイズの異なる受光セル１６３ａ、受光セル１６３ｂを割り当てることにより、その特性に合った撮影感度の画像を得ることができる。
　この実施の形態では、より光量を必要とする特性に大きな開口サイズの受光セル１６３ａを割り当てるようにしている。このように接写用のレンズ特性に対応する受光セル１６３ａの開口サイズを大きくすることにより、例えば、接写撮影時に被写体が撮像装置の影に入って暗くなる場合でも明るい画像として取得することができる。
　図９は瞳指向性をもたせるための光学要素１２２と撮像素子１６４の要部断面図である。
　光学要素１２２は、集光及び結像用のマイクロレンズ１２２ａ１、１２２ａ２と、受光セル１６４ａ、１６４ｂの開口を規制する遮光部材１２２ｂとから構成されている。尚、撮影レンズ１０（図２参照）の２つの領域１０ａ，１０ｂを通過する光束をそれぞれ受光する受光セル１６４ａと受光セル１６４ｂとは、それぞれ２次元配列されている。
　受光セル１６４ａは遮光部材１２１ｂによりその開口の周辺部が遮光される。一方、受光セル１６４ｂは遮光部材１２ｂにその開口の中心部が遮光される。これにより、撮影レンズ１０の中央部の領域１０ａを通過した光束は、マイクロレンズ１２２ａ１及び遮光部材１２２ｂにより瞳分割されて受光セル１６４ａに入射する。一方、撮影レンズ１０の周辺部の領域１０ｂを通過した光束は、マイクロレンズ１２２ａ２及び遮光部材１２２ｂにより瞳分割されて受光セル１６４ｂに入射する。
　ここで、マイクロレンズ１２２ａ１とマイクロレンズ１２２ａ２とは、レンズサイズ（レンズ径）が異なり、マイクロレンズ１２２ａ１は、マイクロレンズ１２２ａ２よりも多くの光量を集光して受光セル１６４ａに入射させることができる。これにより、図８に示した実施形態と同様に、撮影感度の異なる画像を取得することができる。
　［その他］
　本実施の形態では、撮影レンズとして異なる焦点距離の領域を有する多焦点レンズを使用したが、撮影レンズはこの形態に限られない。例えば、透過波長域が異なる複数の領域を有するレンズや、色の異なる様々な複数の領域を有するレンズ等の多様特性レンズを用いることができる。
　例えば、赤外カット領域と可視光カット領域とを有する撮影レンズ（撮影レンズとフィルタからなる撮影光学系）を使用し、撮像素子には、ＲＧＢのカラーフィルタを有する受光セルと、カラーフィルタのない受光セルとを２次元配列する。瞳指向性をもたせるための光学要素により赤外カット領域を通過した光束を、カラーフィルタを有する受光セルに入射させ、可視カット領域を通過した光束を、カラーフィルタのない受光セルに入射させる。これによれば、通常のカラー画像と赤外線画像とを撮影することができる。
　この場合、通常のカラー画像に対応する受光セルの配置数は、赤外線画像に対応する受光セルの配置数よりも多くする。一般に通常のカラー画像に比べて赤外線画像は画質（解像度）が低いからである。また、赤外線画像に対応する受光セルの開口サイズは、カラー画像に対応する受光セルの開口サイズよりも大きくする。赤外線画像は、暗い撮影条件下で使用されることが多いからである。
　また、撮影レンズの他の例としては、図１０に示すように領域１０５ａ、１０５ｂ、１０５ｃに応じて空間周波数特性の異なる撮影レンズ１０５を適用することができる。この場合、レンズ性能の高い領域（例えば、ＭＴＦ（Modulation Transfer Function）の高い領域）に対応する受光セルの配置数の割合を、レンズ性能の低い領域に対応する受光セルの配置数の割合よりも高くすることが好ましい。
　更に、撮影レンズの特性の異なる領域に対応する各受光セルの配置数、配置密度及び開口サイズ（撮影感度）のうちの２つ以上を適宜組み合わせて、その特性に対して重み付けを行うようにしてもよい。
　更にまた、瞳指向性をもたせるための光学要素は、本実施の形態のマイクロレンズと遮光部材の組み合わせによるものに限らず、例えば、マイクロスプリットプリズムを使用するもの（特許文献３）、瞳分割偏光素子を使用するもの（特開２００９－１６２８４７号公報）等を適用することができる。
　また、本実施の形態では、撮像素子にＣＭＯＳを用いた例で説明したが、ＣＭＯＳに限定されるものではなく、ＣＣＤ（Charge Coupled Device）等他のイメージセンサも適用可能である。
　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１…撮像装置、１０…撮影レンズ、１２…光学要素、１２ａ、１２１ａ、１２２ａ１、１２２ａ２…マイクロレンズ、１２ｂ、１２１ｂ，１２２ｂ…遮光部材、１６ａ、１６ｂ、１６１ａ、１６１ｂ、１６２ａ、１６２ｂ、１６３ａ、１６３ｂ、１６４ａ、１６４ｂ…受光セル、２４…デジタル信号処理部、２５…画像処理部、４０…中央処理装置（ＣＰＵ）

Claims (10)

  1. 　第１の特性を有する第１の領域と前記第１の特性とは異なる第２の特性を有する第２の領域とを有する撮影光学系と、
    　２次元配列された第１の受光素子群及び第２の受光素子群を有する撮像素子と、
    　前記撮像素子の第１の受光素子群及び第２の受光素子群にそれぞれ対応して設けられ、前記撮影光学系の第１の領域を通過した光束のみを前記第１の受光素子群に受光させるとともに、前記撮影光学系の第２の領域を通過した光束のみを前記第２の受光素子群に受光させる光学要素と、
    　前記撮像素子の第１の受光素子群又は第２の受光素子群からそれぞれ第１の撮像信号又は第２の撮像信号を取得して第１の画像又は第２の画像を生成する画像生成部とを備え、
    　前記撮像素子の第１の受光素子群と第２の受光素子群とは、それぞれ前記撮影光学系の第１の特性及び第２の特性に応じて、重み付けの異なる前記第１の画像と第２の画像とを取得できるように構成されている撮像装置。
  2. 　前記撮影光学系の前記第１の領域と第２の領域は、焦点距離、透過する波長域、及び空間周波数特性のうちの少なくとも１つが異なる請求項１に記載の撮像装置。
  3. 　前記撮像素子の第１の受光素子群と第２の受光素子群とは、前記撮影光学系の第１の特性及び第２の特性のうちの重要視する特性に対応する受光素子の配置数が、他の受光素子の配置数よりも多く割り当てられている請求項１又は２に記載の撮像装置。
  4. 　前記撮影光学系は、撮影距離が一般距離用の第１の特性と接写用の第２の特性とを有し、
    　前記撮像素子の第１の受光素子群の画素数は、前記第２の受光素子群の画素数よりも多い請求項３に記載の撮像装置。
  5. 　前記撮像素子の第１の受光素子群と第２の受光素子群とは、前記撮像素子の位置に応じて前記第１の受光素子群の配置密度と第２の受光素子群の配置密度とが異なるように構成されている請求項１又は２に記載の撮像装置。
  6. 　前記撮影光学系は、該撮影光学系の光軸を中心とする円形状の第１の領域及び円環形状の第２の領域であって、撮影距離が一般距離用の第１の特性を有する前記第１の領域と、接写用の第２の特性に対応する前記第２の領域とを有し、
    　前記撮像素子の第１の受光素子群の配置密度は、前記撮像素子の中央部よりも周辺部の配置密度が高く、前記第２の受光素子群の配置密度は、前記撮像素子の周辺部よりも中心部の配置密度が高い請求項５に記載の撮像装置。
  7. 　前記撮影光学系は、遠景に焦点が合う第１の特性と近景に焦点が合う第２の特性とを有し、
    　前記撮像素子の第１の受光素子群の密度は、前記撮像素子の上部領域よりも下部領域の方が高く、前記第２の受光素子群の密度は、前記撮像素子の下部領域よりも上部領域の方が高い請求項５に記載の撮像装置。
  8. 　前記撮像素子の第１の受光素子群と第２の受光素子群とは、撮影感度が異なるように構成されている請求項１又は２に記載の撮像装置。
  9. 　前記撮像素子の第１の受光素子群と第２の受光素子群とは、光が入射する開口サイズ、又は各受光素子に光を集光させるマイクロレンズのサイズが異なるように構成されている請求項８に記載の撮像装置。
  10. 　前記撮影光学系は、撮影距離が一般距離用の第１の特性を有する前記第１の領域と、接写用の第２の特性に対応する前記第２の領域とを有し、
    　前記撮像素子の第２の受光素子群の撮影感度は、前記第２の受光素子群の撮影感度よりも高い請求項８又は９に記載の撮像装置。
PCT/JP2012/066683 2011-08-24 2012-06-29 撮像装置 WO2013027488A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP17183293.4A EP3267677B1 (en) 2011-08-24 2012-06-29 Imaging device
EP12826503.0A EP2750374B1 (en) 2011-08-24 2012-06-29 Imaging device
CN201280041140.2A CN103782586B (zh) 2011-08-24 2012-06-29 成像设备
JP2013529923A JP5507764B2 (ja) 2011-08-24 2012-06-29 撮像装置
US14/186,446 US8823858B2 (en) 2011-08-24 2014-02-21 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011183038 2011-08-24
JP2011-183038 2011-08-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/186,446 Continuation US8823858B2 (en) 2011-08-24 2014-02-21 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2013027488A1 true WO2013027488A1 (ja) 2013-02-28

Family

ID=47746241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066683 WO2013027488A1 (ja) 2011-08-24 2012-06-29 撮像装置

Country Status (5)

Country Link
US (1) US8823858B2 (ja)
EP (2) EP2750374B1 (ja)
JP (1) JP5507764B2 (ja)
CN (1) CN103782586B (ja)
WO (1) WO2013027488A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013219551A (ja) * 2012-04-09 2013-10-24 Nikon Corp 撮像素子および撮像装置
WO2015029688A1 (ja) * 2013-08-27 2015-03-05 富士フイルム株式会社 撮像装置
JP2015119456A (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置
WO2016080154A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
CN105960796A (zh) * 2014-02-18 2016-09-21 富士胶片株式会社 自动跟踪摄像装置
US20170099436A1 (en) * 2014-06-27 2017-04-06 Fujifilm Corporation Imaging device
US20170104929A1 (en) * 2014-06-27 2017-04-13 Fujifilm Corporation Imaging device
WO2017126242A1 (ja) * 2016-01-18 2017-07-27 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
WO2017130581A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
WO2017199557A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US12089474B2 (en) 2020-04-27 2024-09-10 Boe Technology Group Co., Ltd. Texture recognition apparatus and opposite substrate

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104204941B (zh) * 2012-03-21 2016-01-06 富士胶片株式会社 摄像装置
JP6396638B2 (ja) 2013-03-29 2018-09-26 マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6478496B2 (ja) * 2014-07-03 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
WO2016068057A1 (ja) * 2014-10-31 2016-05-06 富士フイルム株式会社 撮像装置及び対象物認識方法
JP6324879B2 (ja) * 2014-11-18 2018-05-16 富士フイルム株式会社 撮像装置及びその制御方法
EP3223509A4 (en) 2014-11-20 2017-10-11 Fujifilm Corporation Imaging device, imaging method, and image processing program
CN107005651B (zh) * 2014-11-20 2020-06-19 富士胶片株式会社 摄像装置、摄像方法及记录介质
EP3223505B1 (en) 2014-11-21 2019-12-04 FUJIFILM Corporation Imaging device, imaging method, and program
CN113363268A (zh) 2014-12-18 2021-09-07 索尼公司 成像器件和移动设备
KR20180033141A (ko) * 2015-08-14 2018-04-02 필립모리스 프로덕츠 에스.에이. 장치 내의 흡연 물품 식별용 소형 시스템을 포함하는 전동식 흡연 장치
EP3461127B1 (en) * 2016-05-17 2024-03-06 FUJIFILM Corporation Stereo camera and stereo camera control method
WO2019073881A1 (ja) * 2017-10-11 2019-04-18 富士フイルム株式会社 撮像装置及び画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324354A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像素子及び撮像装置
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5161051A (en) * 1990-12-13 1992-11-03 Hughes Aircraft Company Simultaneous dual field of view sensor
JP3753201B2 (ja) * 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3554703B2 (ja) * 2000-10-12 2004-08-18 リバーベル株式会社 情報端末装置
JP4472166B2 (ja) 2000-12-22 2010-06-02 オリンパス株式会社 ３次元撮像装量
JP2003098426A (ja) 2001-09-20 2003-04-03 Olympus Optical Co Ltd 撮影レンズ、その撮影レンズを用いたカメラ及びそのカメラにおける絞り
US7453510B2 (en) * 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US7068432B2 (en) * 2004-07-27 2006-06-27 Micron Technology, Inc. Controlling lens shape in a microlens array
JP4952060B2 (ja) 2006-05-26 2012-06-13 株式会社ニコン 撮像装置
TWI495337B (zh) * 2007-08-04 2015-08-01 Omnivision Tech Inc 多區域成像系統
JP5320735B2 (ja) 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
CN101631194A (zh) * 2008-06-18 2010-01-20 株式会社理光 摄像装置
US9258569B2 (en) * 2008-06-26 2016-02-09 Gvbb Holdings S.A.R.L. Moving image processing method, program and apparatus including slice switching
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN102148922B (zh) * 2010-02-08 2013-01-16 联想(北京)有限公司 一种电子设备、图像采集装置及图像采集控制方法
US8817015B2 (en) * 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
EP2602586A4 (en) * 2010-08-06 2016-11-23 Panasonic Ip Man Co Ltd IMAGING DEVICE AND METHOD
WO2012043212A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像デバイス
JP5466766B2 (ja) * 2010-10-01 2014-04-09 富士フイルム株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324354A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像素子及び撮像装置
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2750374A4 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013219551A (ja) * 2012-04-09 2013-10-24 Nikon Corp 撮像素子および撮像装置
WO2015029688A1 (ja) * 2013-08-27 2015-03-05 富士フイルム株式会社 撮像装置
JP2015046691A (ja) * 2013-08-27 2015-03-12 富士フイルム株式会社 撮像装置
CN105474626A (zh) * 2013-08-27 2016-04-06 富士胶片株式会社 摄像装置
EP3041222A4 (en) * 2013-08-27 2016-09-28 Fujifilm Corp IMAGING DEVICE
US10165181B2 (en) 2013-08-27 2018-12-25 Fujifilm Corporation Imaging device
JP2015119456A (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置
EP3086546A4 (en) * 2013-12-20 2016-12-14 Fujifilm Corp IMAGE CAPTURE MODULE AND IMAGE CAPTURE DEVICE
US9924084B2 (en) 2014-02-18 2018-03-20 Fujifilm Corporation Auto-tracking imaging apparatus including wide-angle and telephoto optical systems
CN105960796B (zh) * 2014-02-18 2019-08-16 富士胶片株式会社 自动跟踪摄像装置
CN105960796A (zh) * 2014-02-18 2016-09-21 富士胶片株式会社 自动跟踪摄像装置
EP3110132A4 (en) * 2014-02-18 2017-03-01 Fujifilm Corporation Automatic tracking image-capture apparatus
US10244166B2 (en) * 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
US20170099436A1 (en) * 2014-06-27 2017-04-06 Fujifilm Corporation Imaging device
US20170104929A1 (en) * 2014-06-27 2017-04-13 Fujifilm Corporation Imaging device
US10244165B2 (en) * 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
JPWO2016080154A1 (ja) * 2014-11-20 2017-09-14 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2016080154A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
US10122950B2 (en) 2014-11-20 2018-11-06 Fujifilm Corporation Imaging device, imaging method, and image processing program
US10691002B2 (en) 2016-01-18 2020-06-23 Fujifilm Corporation Imaging device and image data generation method
WO2017126242A1 (ja) * 2016-01-18 2017-07-27 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
JPWO2017130581A1 (ja) * 2016-01-26 2018-10-25 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
WO2017130581A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
US10594964B2 (en) 2016-01-26 2020-03-17 Fujifilm Corporation Imaging device and image data generation method
JPWO2017199557A1 (ja) * 2016-05-17 2019-03-28 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US10638056B2 (en) 2016-05-17 2020-04-28 Fujifilm Corporation Imaging device, imaging method, program, and non-transitory recording medium
WO2017199557A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US12089474B2 (en) 2020-04-27 2024-09-10 Boe Technology Group Co., Ltd. Texture recognition apparatus and opposite substrate
JP7564127B2 (ja) 2020-04-27 2024-10-08 京東方科技集團股▲ふん▼有限公司 テクスチャ認識装置及び対向基板

Also Published As

Publication number Publication date
CN103782586B (zh) 2015-06-17
US8823858B2 (en) 2014-09-02
JP5507764B2 (ja) 2014-05-28
EP3267677B1 (en) 2019-08-28
EP3267677A1 (en) 2018-01-10
US20140168498A1 (en) 2014-06-19
JPWO2013027488A1 (ja) 2015-03-19
EP2750374A4 (en) 2015-07-22
EP2750374A1 (en) 2014-07-02
CN103782586A (zh) 2014-05-07
EP2750374B1 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
JP5507764B2 (ja) 撮像装置
JP5361535B2 (ja) 撮像装置
CN102292974B (zh) 摄像设备
EP2181349B1 (en) Image sensing apparatus
CN102687499B (zh) 摄像设备
JP5421829B2 (ja) 撮像装置
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5525107B2 (ja) 撮像装置
JP2007158692A (ja) 固体撮像素子及びこれを用いた電子カメラ
CN103843318A (zh) 摄像设备及其控制方法
US9071828B2 (en) Imaging apparatus
JP5525109B2 (ja) 撮像装置
US7158183B1 (en) Digital camera
JP2007140176A (ja) 電子カメラ
JP6974599B2 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP2011197278A (ja) 立体撮像装置
JP2015154153A (ja) 撮像装置を備えたカメラ
JP7079161B2 (ja) 撮像装置及びその制御方法
JP2014063190A (ja) 撮像装置
JP2015022116A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12826503

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013529923

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE