WO2021153473A1 - レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム - Google Patents

レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
WO2021153473A1
WO2021153473A1 PCT/JP2021/002356 JP2021002356W WO2021153473A1 WO 2021153473 A1 WO2021153473 A1 WO 2021153473A1 JP 2021002356 W JP2021002356 W JP 2021002356W WO 2021153473 A1 WO2021153473 A1 WO 2021153473A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical
imaging
aperture
filters
filter
Prior art date
Application number
PCT/JP2021/002356
Other languages
English (en)
French (fr)
Inventor
睦 川中子
和佳 岡田
慶延 岸根
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202180011108.9A priority Critical patent/CN115039008A/zh
Priority to JP2021574005A priority patent/JP7373592B2/ja
Publication of WO2021153473A1 publication Critical patent/WO2021153473A1/ja
Priority to US17/862,408 priority patent/US11726389B2/en
Priority to US18/328,757 priority patent/US11960200B2/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/02Diaphragms
    • G03B9/04Single movable plate with two or more apertures of graded size, e.g. sliding plate or pivoting plate
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288Filters employing polarising elements, e.g. Lyot or Solc filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006Filter holders
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • G03B33/04Colour photography, other than mere exposure or projection of a colour film by four or more separation records
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • G03B33/10Simultaneous recording or projection
    • G03B33/16Simultaneous recording or projection using colour-pattern screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics

Definitions

  • the present invention relates to a lens device, an imaging device, an optical member, an imaging method, and an imaging program for capturing a multispectral image.
  • Patent Document 1 describes a polarized color imaging device capable of multispectral imaging by using a polarizing sensor and pupil division.
  • One embodiment according to the technique of the present disclosure provides a lens device, an image pickup device, an optical member, an image pickup method, and an image pickup program capable of easily acquiring a multispectral image of good image quality.
  • the lens device includes an imaging optical system including a lens for forming an optical image of a subject, and a state in which the optical axis coincides with the optical axis of the imaging optical system in the vicinity of the pupil of the imaging optical system.
  • An optical member comprising a plurality of optical filters including two or more optical filters, and a plurality of polarizing filters arranged in at least one of a plurality of aperture regions, the same as a plurality of polarizing filters having different polarization directions. , And the amount of light emitted from the imaging optical system can be changed for a plurality of aperture regions.
  • the lens device further includes an adjusting member that is arranged in at least one opening area and adjusts the opening area of the opening area.
  • the adjusting member is arranged in a plurality of aperture regions in the second aspect.
  • the lens device according to the fourth aspect has a variable opening area in the adjusting member in the second or third aspect.
  • the lens device is arranged in at least one aperture region among the plurality of aperture regions, and dims the light transmitted through at least one aperture region. It is equipped with a dimming filter.
  • the dimming filter is arranged in each of the plurality of aperture regions in the fifth aspect.
  • the lens device according to the seventh aspect has a variable degree of dimming of the dimming filter in the fifth or sixth aspect.
  • the lens device is any one of the fifth to seventh aspects, wherein the optical member is an optical member in which an optical filter and a polarizing filter are fixed in a plurality of aperture regions, and the plurality of apertures. A dimming filter is inserted in at least one aperture region of the region.
  • the lens device is arranged in the vicinity of the pupil of the imaging optical system in a state where the imaging optical system including a lens for forming an optical image of the subject and the optical axis coincide with the optical axis of the imaging optical system.
  • Two optical members a frame having a plurality of aperture regions and a plurality of optical filters arranged in at least one of the plurality of aperture regions, which transmit light having at least a part of wavelength bands different from each other.
  • An optical member including a plurality of optical filters including the above optical filters, a plurality of polarizing filters arranged in at least one of a plurality of aperture regions, and a plurality of polarizing filters having different polarization directions. This is a lens device in which the amount of light emitted from the imaging optical system is adjusted for a plurality of aperture regions.
  • the adjustment is an adjustment that makes the output from the image pickup device constant between the wavelength bands when the lens device is attached to the image pickup device main body having the image pickup element. Is.
  • the lens device according to the eleventh aspect has an aperture area adjusted and / or adjustable for at least one of a plurality of aperture regions in the ninth or tenth aspect.
  • the lens device is any one of the ninth to eleventh aspects, wherein the optical member is an optical member in which an optical filter and a polarizing filter are fixed in a plurality of aperture regions, and the plurality of apertures.
  • a dimming filter that dims the transmitted light is inserted into at least one aperture region of the region.
  • the optical member can be inserted and removed from the imaging optical system.
  • the image pickup device includes a lens device according to any one of the first to thirteenth aspects and a plurality of polarizing elements having polarization directions corresponding to the polarization directions of the plurality of polarizing filters. Based on an image sensor containing a plurality of pixel groups that selectively receive light transmitted through any of a plurality of aperture regions and a plurality of image signals output from the image sensor, each of the wavelength bands of a plurality of optical filters It includes a processor that generates a plurality of corresponding images.
  • the imaging device is the fourteenth aspect, in which the processor calculates the light amount ratio between the wavelength bands based on a plurality of image signals.
  • the image pickup apparatus prompts the user to improve the light intensity ratio when the light intensity ratio is less than the threshold value.
  • the processor adjusts the amount of light emitted from the plurality of aperture regions based on the amount of light ratio.
  • the image pickup apparatus is a plurality of shielding members corresponding to a plurality of opening regions in any one of the fifteenth to seventeenth aspects, and is other than a specific opening region among the plurality of opening regions.
  • the processor includes a plurality of shielding members that shield the aperture region of the lens device, and the processor calculates the light intensity ratio based on a plurality of images acquired while one of the plurality of shielding members is attached to the lens device.
  • the image pickup apparatus is provided with a plurality of color filters having wavelength bands corresponding to the wavelength bands of the plurality of optical filters in the image pickup device, and the processor is provided with the processor.
  • the processor may synthesize all the plurality of images corresponding to the plurality of image signals, or may synthesize some images.
  • the processor may combine a plurality of images to generate a color image.
  • the optical member according to the twentieth aspect of the present invention is an optical member having a plurality of aperture regions, and includes a variable mechanism for changing the area of at least one aperture region among the plurality of aperture regions.
  • the imaging method according to the 21st aspect of the present invention comprises a lens device according to any one of the first to thirteenth aspects and a plurality of polarizing elements having polarization directions corresponding to the polarization directions of a plurality of polarizing filters.
  • a method of imaging an image pickup device including an image pickup device including a plurality of pixel groups that selectively receive light transmitted through any of a plurality of aperture regions, and a plurality of image signals output from the image pickup device. Based on the above, it has an image generation step of generating a plurality of images corresponding to the wavelength bands of the previous number of optical filters.
  • the imaging method according to the 22nd aspect further includes an information calculation step of calculating a light amount ratio between wavelength bands based on a plurality of image signals.
  • the imaging method according to the 23rd aspect further includes an improvement requesting step for urging the user of the imaging device to improve the light intensity ratio when the light intensity ratio is less than the threshold value.
  • the imaging method according to the 24th aspect further includes, in the 22nd aspect, a light amount adjusting step of adjusting the light amount of the light emitted from the plurality of aperture regions based on the light amount ratio.
  • the imaging program according to the 25th aspect of the present invention causes a computer to execute an imaging method according to any one of the 21st to 24th aspects.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus according to a first embodiment.
  • FIG. 2 is a diagram showing a schematic configuration of an image sensor.
  • FIG. 3 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 2) shown in FIG.
  • FIG. 4 is a diagram showing a configuration of an image generation unit.
  • FIG. 5 is an external perspective view of the lens device.
  • FIG. 6 is a cross-sectional view of the lens device in the optical axis direction.
  • FIG. 7 is an external view of the frame body.
  • FIG. 8 is a diagram showing a configuration example of the optical member.
  • FIG. 9 is a diagram showing a configuration example of a filter set.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus according to a first embodiment.
  • FIG. 2 is a diagram showing a schematic configuration of an image sensor.
  • FIG. 3 is a cross-sectional view showing a schematic configuration of
  • FIG. 10 is a diagram showing an example of the polarization direction of the polarizing filter.
  • FIG. 11 is a diagram showing another configuration example of the optical member.
  • FIG. 12 is a diagram showing a configuration example of an optical member in which the degree of dimming of the dimming filter is variable.
  • FIG. 13 is a diagram showing an example of an adjusting member.
  • FIG. 14 is a diagram showing another example of the adjusting member.
  • FIG. 15 is a diagram showing an example of an optical member including a variable mechanism for changing the area of the opening region.
  • FIG. 16 is a diagram showing an arrangement example of an aperture region in the case of three wavelengths.
  • FIG. 17 is a diagram showing a state in which a shielding member is attached to the frame body.
  • FIG. 18 is a flowchart showing a process of adjusting the light intensity ratio and imaging.
  • FIG. 19 is another flowchart showing the processing of light intensity ratio adjustment and imaging.
  • One embodiment of the lens device, the image pickup device, the optical member, the image pickup method, and the program according to the present invention is as follows. In the description, the accompanying drawings will be referred to as necessary.
  • FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus according to a first embodiment.
  • the imaging device 10 (imaging device) according to the first embodiment is an imaging device that captures a multispectral image, and is mainly a lens device 100 (lens device, imaging optical system) and an imaging device main body 200 (imaging device, imaging element). , Processor).
  • the image pickup device main body 200 includes an image pickup element 210 (imaging element) and a signal processing unit 230 (signal processing unit, processor).
  • FIG. 2 is a diagram showing a schematic configuration of the image pickup device 210
  • FIG. 3 is a cross-sectional view showing a schematic configuration of one pixel (broken line portion in FIG. 2) shown in FIG.
  • the image sensor 210 is a CMOS (Complementary Metal-Oxide Semiconductor) type image sensor (image sensor), and is a monochrome image sensor having a pixel array layer 211, a polarizing filter element array layer 213, and a microlens array layer 215. be.
  • CMOS Complementary Metal-Oxide Semiconductor
  • Each layer is arranged in the order of the pixel array layer 211, the polarizing filter element array layer 213 (a plurality of polarizing elements), and the microlens array layer 215 from the image plane side toward the object side.
  • the image sensor 210 is not limited to the CMOS type, and may be an XY address type or a CCD (Charge Coupled Device) type image sensor.
  • the pixel array layer 211 is configured by two-dimensionally arranging a large number of photodiodes 212 (a plurality of pixel groups). One photodiode 212 constitutes one pixel. Each photodiode 212 is regularly arranged along the horizontal direction (x direction) and the vertical direction (y direction).
  • the polarizing filter element array layer 213 is configured by two-dimensionally arranging four types of polarizing filter elements 214A, 214B, 214C, and 214D (a plurality of polarizing elements) having different polarization directions (polarization directions of transmitted light). ..
  • the polarization directions of the polarizing filter elements 214A, 214B, 214C, and 214D can be, for example, 0 °, 45 °, 90 °, and 135 °. Further, these polarization directions can correspond to the polarization directions of the polarization filter in the optical member (see FIG. 10).
  • the image pickup device 210 includes a plurality of image groups that selectively receive any one of the light transmitted through the plurality of aperture regions by the polarizing filter elements 214A to 214D. These polarizing filter elements 214A to 214B are arranged at the same intervals as the photodiode 212, and are provided for each pixel.
  • the microlens array layer 215 includes microlenses 216 arranged in each pixel.
  • FIG. 4 is a diagram showing a configuration of an image generation unit.
  • the signal processing unit 230 includes an analog signal processing unit 232 that performs analog signal processing on the signal output from the image pickup element, an image generation unit 234, and a coefficient storage unit 236.
  • the image generation unit 234 (processor) is a non-temporary recording medium (not shown) such as a ROM (Read Only Memory) that records a computer-readable code of an image pickup program that causes a computer to execute the image pickup method according to the present invention, and an operation.
  • a plurality of images corresponding to the wavelength bands of (see FIG. 8 and the like) are generated.
  • the image generation unit 234 can generate an image (three-band multispectral image) having wavelength bands ⁇ 1, ⁇ 2, and ⁇ 3. Further, the image generation unit 234 calculates and / or adjusts the light amount ratio, outputs a message prompting the adjustment of the light amount ratio, and the like (described later).
  • the above-mentioned function of the image generation unit 234 can be realized by using various processors and recording media.
  • Various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions, and a GPU (Graphics Processing Unit), which is a processor specialized in image processing.
  • a programmable logic device (PLD) which is a processor whose circuit configuration can be changed after manufacturing such as an FPGA (Field Programmable Gate Array), is also included.
  • Each function may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. More specifically, the hardware structure of these various processors is an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • processor or electric circuit executes software (program)
  • program can be read by a computer of the software (for example, various processors and electric circuits constituting the image generator 234, and / or a combination thereof).
  • the code is stored in a non-temporary recording medium such as a ROM, and the computer refers to the software.
  • the image pickup device 10 When the image pickup device 10 receives a shooting instruction input from a shutter release switch or the like (not shown), the image pickup device 10 performs exposure control on the image pickup device 210.
  • the optical image of the subject imaged on the light receiving surface of the image sensor 210 by this exposure control is converted into an electric signal by the image sensor 210.
  • Charges corresponding to the amount of light incident on the photodiode 212 are accumulated in each pixel of the image sensor 210, and an electric signal corresponding to the amount of charge accumulated in each pixel is read out as an image signal from the image sensor 210. Is output.
  • FIG. 5 is an external perspective view of the lens device 100
  • FIG. 6 is a cross-sectional view of the lens device of the lens device 100 in the optical axis L direction.
  • the lens device 100 is a single lens tube 102 composed of a first lens 110 (lens, imaging optical system) and a second lens 120 (lens, imaging optical system).
  • An imaging optical system is arranged, and these lens groups advance and retreat in the direction of the optical axis L by rotating the first lever 104 and the second lever 106, respectively, and the zoom and / or focus is adjusted.
  • the first lens 110 and the second lens 120 may be a lens group composed of a plurality of lenses.
  • a slit 108 is formed at the pupil position (near the pupil) of the lens device 100, an optical member 130 (optical member) is inserted into the slit 108, and the optical axis is the imaging optical system. It is arranged so as to coincide with the optical axis L of.
  • the optical member 130 includes a frame (frame), an optical filter (color filter, a plurality of optical filters), a polarizing filter (a plurality of polarizing filters), and a dimming filter (dimming filter). , Equipped with.
  • the optical member 130 can be inserted and removed from the lens barrel 102, and optical members having different characteristics can be used according to the characteristics of the light source (subject). As a result, the amount of light emitted from the imaging optical system can be adjusted and / or adjusted for each of the plurality of aperture regions.
  • the output (sensitivity) from the image sensor 210 is set to a constant or specified range among a plurality of wavelength bands corresponding to the aperture regions 132A to 132D. This can be called “adjustment”. Further, the spectrum of the subject (light source), the spectral transmittance of the lens (first lens 110, the second lens 120), the transmission wavelength characteristic of the filter (optical filter, polarization filter), and the wavelength band and the image sensor (imaging element). The characteristic determined by the relationship with the output of 210) can be called "sensitivity".
  • the sensitivity of an image sensor alone is determined in the manufacturing process, and the spectrum of the subject also depends on its physical characteristics, so it is difficult to change these at the time of shooting.
  • the pupil of the lens is divided into wavelength bands, and a spectroscopic image (an image corresponding to the wavelength band of the optical filter) is generated based on the polarization information associated with each wavelength band.
  • the light amount ratio between wavelength bands can be changed by adjusting the light amount for each lens pupil (opening region).
  • FIG. 7 is an external view of the frame body 132
  • FIG. 8 is a diagram showing a configuration example of an optical member.
  • the portions (a) to (f) of FIG. 7 are a rear view, a top view, a left side view, a bottom view, a perspective view, and a front view, respectively.
  • the frame 132 includes four opening regions 132A to 132D (plural opening regions).
  • the shapes of the opening regions 132A to 132D are not limited to the fan shape, and may be other shapes such as a circle, a rectangle, and a polygon (the same applies to other modes described later).
  • filter sets 140A to 140D optical filter (color filter), polarizing filter, dimming filter) are provided as shown in the portion (a) of FIG. 7 and FIG. Each is placed.
  • the filter sets 140A to 140D may be fixed with an adhesive.
  • FIG. 9 is a diagram showing a configuration example of the filter set 140.
  • the filter set 140A is composed of an optical filter 142A, a polarizing filter 144A, and a dimming filter 146A.
  • the filter set 140B is configured by superimposing the optical filter 142B, the polarizing filter 144B, and the dimming filter 146B.
  • the filter set 140C is configured by superimposing the optical filter 142C, the polarizing filter 144C, and the dimming filter 146C.
  • the filter set 140D includes an optical filter 142D, a polarizing filter 144D, and a dimming filter 146D.
  • the optical filters 142A to 142D are a plurality of optical filters (bandpass filters) that transmit light having a different wavelength band at least, and the polarizing filters 144A to 144C are a plurality of polarizing filters having different polarization directions, and are dimming filters.
  • 146A to 146D are dimming filters for dimming the light passing through the opening regions 132A to 132D.
  • FIG. 10 is a diagram showing an example of the polarization direction of the polarizing filter, and as illustrated in the portions (a) to (d) of the figure, the polarization directions of the polarizing filters 144A to 144D are up to four directions (opening region).
  • the polarizing filters 144A to 144D may be filters that are polarized by a polarizing film, or may be filters that are polarized by a wire grid or a plurality of slits.
  • the neutral density filters 146A to 146D are filters for dimming the light transmitted through the aperture regions 132A to 132D, and for example, an ND filter (ND: Neutral Density) can be used.
  • ND Neutral Density
  • the degree of dimming of the dimming filters 146A to 146D may be different for some or all filters, and the user can use the dimming filter of the selected dimming degree to obtain the amount of light between the aperture regions 132A and 132D. The ratio can be adjusted.
  • the optical member 130 shown in FIGS. 8 and 9 can adjust the light amount ratio in the manufacturing process, it is effective for acquiring a multispectral image with good image quality.
  • the rigidity of the optical member can be increased.
  • the optical member 130 does not adjust the aperture areas of the aperture regions 132A to 132D, it is possible to secure the brightness of the generated image, and when it is desired to make the depth of field shallow or the image is blurred by a small aperture. It is effective when you want to prevent.
  • FIG. 11 is a diagram showing another configuration example of the optical member.
  • the filter sets 140A to 140D are arranged in the opening regions 132A to 132D, respectively, but in the example shown in FIG. 11, the optical filter and the polarizing filter are arranged in the opening regions 132A to 132D.
  • a dimming filter is separately inserted into the lens barrel 102.
  • the optical filter 142A and the polarizing filter 144A are arranged in the opening region 132A.
  • the optical filter 142B and the polarizing filter 144B are arranged in the aperture region 132B
  • the optical filter 142C and the polarizing filter 144C are arranged in the aperture region 132C
  • the optical filter 142D and the polarizing filter 144D are arranged in the aperture region 132D.
  • the optical member 130A is configured by arranging the dimming filters 146A and 146B (inserted into the slit 108) with the optical filter and the polarizing filter arranged. NS.
  • the dimming filter may be inserted in a part of the four aperture regions 132A to 132D, or may be inserted in all the aperture regions.
  • the dimming filter may be arranged (adhered or the like) on the frame 132 and inserted instead of being directly inserted. Further, the degree of dimming of the dimming filter may be selected according to a desired light amount ratio.
  • the user can adjust the light amount ratio between the aperture regions by inserting a dimming filter for the required aperture region.
  • the light intensity can be adjusted according to the usage environment (subject type, light source characteristics, image usage purpose, etc.) for each user, which is good under a higher number of conditions. It is possible to acquire a multi-spectral image of high image quality.
  • the dimming filter may be arranged on the frame and the frame may be inserted.
  • the dimming filters 146A and 146B are arranged in the opening regions 133A and 133B to form the frame body 133, and the frame body 133 is placed close to the frame body 132 (pupil). It may be placed (in the vicinity). As a result, the optical member 130B is formed.
  • the degree of dimming of the dimming filter may be variable.
  • FIG. 12 is a diagram showing a configuration example of an optical member having a variable dimming degree of the dimming filter.
  • the dimming filter 147A variable dimming
  • the filter set 141A composed of the optical filter is shown.
  • Such a variable dimming filter may be arranged in a part of the aperture region or may be arranged in the entire aperture region.
  • the degree of dimming can be adjusted by superimposing a plurality of dimming filters to form a variable dimming filter and rotating the plurality of dimming filters relative to each other. It is also possible to configure a dimming filter using a liquid crystal display element and adjust the degree of dimming by changing the transmittance of the liquid crystal.
  • the light amount ratio can be actively adjusted, so that the user can use the optimum light amount ratio (condition) according to the situation even in an environment where the spectrum changes between morning and evening and daytime, such as outside light.
  • the number can be easily obtained, whereby a multispectral image having good image quality can be obtained.
  • FIG. 13 is a diagram showing an example of an adjusting member (a pupil dividing frame in which the opening area of each pupil is adjusted), and the opening area is adjusted (the opening area of the frame is narrowed) by using such an adjusting member. May be good.
  • the adjusting member 134 has opening areas 134A to 134D for adjusting the opening area of the opening areas 132A to 132D of the frame body 132.
  • the adjusting member 134 is arranged on the front surface (or the back surface) of the frame body 132, and the optical filters 142A to 142D and the polarizing filters 144A to 144D are arranged on the frame body 132.
  • the optical member 135 is formed.
  • An optical filter and a polarizing filter arranged on the adjusting member 134 may be mounted on the frame 132.
  • the opening area of the opening areas 134A to 134D may be different for each opening.
  • the adjusting member 134 may be a member that adjusts the opening area for one opening region, or may be a member that is arranged in a plurality of opening regions and adjusts the opening area for the plurality of opening regions.
  • the shape of the adjusting member 134 may be another shape such as a rectangle or a polygon instead of a circle.
  • the aperture area can be adjusted (squeezed), which is effective when it is desired to increase the depth of field.
  • FIG. 14 is a diagram showing another example of the adjusting member.
  • FIG. 14 shows an adjusting member 136 (optical member, variable mechanism) provided with opening regions 136A and 136D, and an adjusting member 137 (optical member, variable mechanism) provided with opening regions 137B and 137C.
  • the aperture areas of these aperture regions may be different, and different aperture areas can be set according to a desired light amount ratio.
  • a plurality of adjusting members having different opening areas may be prepared, and the user may select the adjusting member according to the light amount ratio.
  • the adjusting member may be a member that adjusts the opening area for one opening region, or may be a member that is arranged in a plurality of opening regions and adjusts the opening area for the plurality of opening regions. Further, the adjusting member may be divided into a plurality of members as in the example of FIG. 14, or may be configured as one member.
  • the optical filters 142A to 142D and the polarizing filters 144A to 144D are arranged on the frame 132, and the adjusting members 136 and 137 are inserted into the lens barrel 102 to form the aperture areas 136A and 137B. , 137C, 136D correspond to the opening regions 132A to 132D of the frame body 132.
  • FIG. 15 is a diagram showing an example of an optical member including a variable mechanism for changing the area of the opening region.
  • the optical member 138 (variable mechanism, optical member) shown in FIG. 15 has a plurality of opening regions 138A to 138D, and the opening area of these opening regions can be changed.
  • the opening area may be changed electrically by adjusting the area of the light-shielding area of the liquid crystal display element (not shown), or by moving a pinnate member, a plate-shaped member (not shown), or the like. It may be done mechanically.
  • the image generation unit 234 (processor) makes such a change according to the light intensity ratio.
  • an optical filter and a polarizing filter are arranged on the frame 132, and the optical member 138 is arranged therein, and the opening regions 138A to 138D are arranged in the opening regions 132A to 132A to the same as in the example shown in FIG. It can correspond to 132D.
  • the optical filter, the polarizing filter, and the optical member 138 may be arranged on different surfaces (the object side and the image pickup apparatus main body 200 side) of the frame body 132.
  • the optical member 138 shown in FIG. 15 is a member capable of changing the opening area of the opening regions 132A to 132D, but an optical member capable of changing the area of at least one opening region of the opening regions 132A to 132D may also be used. good.
  • the light amount ratio can be actively changed as in the above-mentioned "optical member configuration (No. 3)", and the aperture area as in the “optical member configuration (No. 4)".
  • the depth of field can be increased by changing.
  • an optical filter having the same wavelength band and a polarizing filter having the same polarization direction may be arranged in two of the four aperture regions, or one aperture may be shielded by a shielding member. Further, a frame body having three opening regions may be used.
  • FIG. 16 is a diagram showing an arrangement example of an aperture region in the case of three wavelengths.
  • the portion (a) of FIG. 16 shows the frame 131 in a state where one of the four opening regions 131A to 131D (opening region 131D) is shielded by the shielding member 131E, and the portion (b) in the figure is 3.
  • the frame body 133 forming the two opening regions 133A to 133C is shown.
  • the opening area may differ between the opening regions.
  • the optical filter color filter
  • the polarizing filter the polarizing filter
  • the dimming filter can be arranged in the aperture region as in the above-described embodiment. Regardless of whether the number of aperture regions used is four or three or less, the optical filter may be arranged in at least one of the plurality of aperture regions, and a part of the aperture regions is transparent (optical filter). None) may be used.
  • the wavelength band of the optical filter is 3 types ( ⁇ 1 to ⁇ 3)
  • the polarization direction is also 3 types (for example, 0 °, 45 °, 90 °)
  • the polarization direction of the image sensor 210 is 4 types (0 °). , 45 °, 90 °, 135 °).
  • the frame 131 shielding the opening region 131D shown in the portion (a) of FIG. 16 is used.
  • ⁇ Coefficient group for eliminating interference> In order to obtain an image corresponding to the wavelength band ( ⁇ 1 to ⁇ 3), it is necessary to separate and extract the pixel signal corresponding to each wavelength band from each pixel of the image sensor 210. Crosstalk) is occurring. That is, since light in each wavelength band is incident on each pixel, the generated image is a mixture of images in the wavelength bands ⁇ 1 to ⁇ 3. Therefore, the image generation unit 234 performs interference removal processing to generate image data in each wavelength band ( ⁇ 1 to ⁇ 3).
  • the ratio (interference ratio) of light in each wavelength band ⁇ 1 to ⁇ 3 emitted from the lens device 100 is received by each pixel by setting the wavelength bands ⁇ 1 to ⁇ 3 of the light transmitted by the optical filters 142A to 142C, and the polarizing filters 144A to 144A. It is uniquely determined from the setting of the polarization direction of the light transmitted by the 144C and the polarization direction (four directions) of the light received by each pixel of the image pickup element 210, and can be obtained in advance.
  • the image generation unit 234 attaches one of the plurality of shielding members to the lens device by using a plurality of shielding members that shield the aperture region other than the specific aperture region among the plurality of aperture regions. It can be calculated from a plurality of images acquired in this state.
  • FIG. 17 is a diagram showing a state in which a shielding member is attached to the frame body 132.
  • the shielding member 139 includes a plurality of shielding members that open any one of the opening regions 132A to 132D of the frame body 132 to shield the rest.
  • the shielding members 139A to 139D shield the opening regions other than the opening regions 132A, 132B, 132C, and 132D (specific opening regions), respectively.
  • the portion (b) of FIG. 17 shows the frame 132 in the state where the shielding member 139A is attached.
  • the number of shielding members may be 3 or less.
  • the aperture region and the polarization direction are three types.
  • the image generation unit 234 calculates a coefficient group (each element of the interference removal matrix) for the interference removal process from these images, and the coefficient storage unit 236 stores these coefficient groups. In addition, the image generation unit 234 can calculate the light amount ratio and its optimum value from these images.
  • the image generation unit 234 acquires a coefficient group from the coefficient storage unit 236, calculates a pixel signal corresponding to each wavelength band ⁇ 1 to ⁇ 3 from the pixel signal obtained from each pixel by the above equation 1, and calculates each wavelength band ⁇ 1. Generate image data of ⁇ ⁇ 3.
  • the image data of each wavelength band ⁇ 1 to ⁇ 3 generated by the image generation unit 234 is output to the outside and stored in a storage device (not shown) as needed. In addition, it is displayed on a display (not shown) as needed.
  • FIG. 18 is a flowchart showing the adjustment of the light intensity ratio and the processing of imaging. This flowchart is a process when the user adjusts the light intensity ratio by himself / herself. When imaging (or calculation of the light intensity ratio) is instructed by an operation such as a shutter release (not shown), the process is disclosed. It is assumed that the coefficient group for eliminating interference has been acquired by using the above-mentioned shielding member.
  • the image generation unit 234 calculates the light amount ratio between the wavelength bands from the image data (plurality of image signals) of each wavelength band ⁇ 1 to ⁇ 3 (step S100: information calculation step). ).
  • the ratio of L1, L2, and L3 appearing in the following formulas (1) to (5) is the light intensity ratio.
  • the image generation unit 234 may calculate the condition number (condition number; the following N1 to N3) related to the light amount, instead of directly calculating the light amount ratio.
  • L1 to L3 are the amounts of light in each wavelength band ( ⁇ 1 to ⁇ 3), and ⁇ 1 to ⁇ 3 are the polarization angles (0 °, 45 °, 90 °) assigned to each wavelength. ), N1 to N3 are the conditional numbers given to each wavelength, and S1 to S3 are signals of each wavelength. If L1 >> L2 >> L3, then N1 ⁇ N2 ⁇ N3 (the number of conditions is small when the amount of light is large).
  • the image generation unit 234 determines whether or not the light intensity ratio is equal to or greater than the threshold value. In this case, the determination may be made for one or a plurality of combinations of L1 to L3 described above, or the maximum and minimum of L1 to L3 may be determined.
  • the image generation unit 234 may set the threshold value based on the user's operation, or may set the threshold value without the user's operation. Further, the image generation unit 234 may set the threshold value based on the relationship (ratio, etc.) with the optimum value of the light intensity ratio.
  • the image generation unit 234 When the light amount ratio is equal to or greater than the threshold value (YES in step S110), the image generation unit 234 generates a plurality of images (three-wavelength multispectral images) corresponding to the wavelength bands ( ⁇ 1 to ⁇ 3) of the optical filter. (Step S140: image generation step).
  • the image generation unit 234 when the light amount ratio is less than the threshold value (NO in step S110), the image generation unit 234 outputs a message prompting the user of the image pickup apparatus 10 to improve the light amount ratio (step S120: improvement request step).
  • the image generation unit 234 can output, for example, a message "Please reduce the amount of light in the opening area No. 1" via a monitor (display device) or a speaker (voice output device) (not shown). You may output a specific adjustment method such as "Please lower the aperture area by one step” or "Please raise the dimming degree by one step”. Alternatively, the message "Please increase the amount of light in the aperture area 3" may be output when the aperture is stopped down too much or the light is dimmed too much.
  • the image generation unit 234 may output information indicating a specific light amount or light amount ratio value and / or information indicating a conditional number via a device such as a monitor or a speaker.
  • the user adjusts the light intensity ratio according to the message, so that when the lens device 100 is attached to the image sensor main body 200 having the image sensor 210, the output from the image sensor 210 is constant over the wavelength band ( Alternatively, adjustments can be made to a desired range).
  • the image generation unit 234 again determines whether or not the adjusted light intensity ratio in step S110 is equal to or greater than the threshold value (or from the image sensor 210). Whether the output is constant or in the specified range between wavelength bands) is determined. When the light amount ratio is equal to or higher than the threshold value, imaging (image generation step) is performed in step S140.
  • the image pickup apparatus 10 can easily acquire a multispectral image with good image quality by such processing.
  • FIG. 19 is another flowchart showing the adjustment of the light intensity ratio and the processing of imaging.
  • This flowchart is a process when the image generation unit 234 adjusts the light amount ratio without the user's operation. Therefore, in the image generation unit 234, when the image pickup apparatus 10 includes a dimming filter having a variable dimming degree (see FIG. 12 and the like) and / or an optical member having a variable aperture area (see FIG. 15 and the like). , The process shown in the flowchart of FIG. 19 can be performed.
  • steps S100 and S110 are the same as the flowchart of FIG.
  • the image generation unit 234 changes the dimming degree of the dimming filter and / or the aperture area of the optical member for one or more aperture regions to change the light intensity.
  • the ratio is adjusted (step S112: light intensity adjusting step). Similar to the case of manually adjusting the light intensity ratio, the image generation unit 234 can adjust the output from the image sensor 210 to be constant (or a range according to the user's operation) between the wavelength bands, and also.
  • the image pickup apparatus 10 can easily acquire a multispectral image with good image quality by such processing.
  • the image sensor may be a color image sensor.
  • the color imaging element may include a color filter layer composed of a plurality of color filters (a plurality of color filters) for a plurality of wavelength bands corresponding to the wavelength bands of the color filter on the lens device side.
  • the wavelength band of the color filter of the image sensor can be, for example, four types, and four types of polarizing filters in the polarization direction are arranged so as to correspond to the color filter of one type of wavelength band.
  • the light intensity ratio is adjusted for four wavelengths to achieve a multi with good image quality.
  • a spectral image can be easily obtained.
  • the wavelength band can be, for example, four types of blue, green, red, and near infrared, and the image generation unit 234 can combine four types of images in such a wavelength band into one image. Further, the image generation unit 234 may generate a color image by synthesizing images in the blue, green, and red wavelength bands.
  • Imaging device 100 Lens device 102 Lens barrel 104 1st lever 106 2nd lever 108 Slit 110 1st lens 120 2nd lens 130 Optical member 130A Optical member 130B Optical member 131 Frame 131A Aperture area 131B Aperture area 131C Aperture Area 131D Aperture area 131E Shielding member 132 Frame 132A Aperture area 132B Aperture area 132C Aperture area 132D Aperture area 133 Frame body 133A Aperture area 133B Aperture area 133C Aperture area 134 Adjusting member 134A Aperture area 134B Aperture area 134C Aperture area 134D Aperture area 135 Optical member 136 Adjusting member 136A Aperture area 136D Aperture area 137 Adjusting member 137B Aperture area 137C Aperture area 138 Optical member 138A Aperture area 138B Aperture area 138C Aperture area 138D Aperture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本発明の一つの実施形態は、良好な画質のマルチスペクトル画像を取得するためのレンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラムを提供する。一つの態様において、レンズ装置は、被写体の光学像を結像させるレンズを含む撮像光学系と、光軸が撮像光学系の光軸と一致した状態で撮像光学系の瞳近傍に配置された光学部材であって、複数の開口領域を備える枠体と、複数の開口領域の少なくとも1つに配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域の少なくとも1つに配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、を有する光学部材と、を備え、撮像光学系から出射される光の光量が、複数の開口領域について変更可能である。

Description

レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム
 本発明は、マルチスペクトル画像を撮像するためのレンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラムに関する。
 マルチスペクトル画像を撮像するための技術に関し、例えば特許文献1には、偏光センサと瞳分割を用いることでマルチスペクトル撮像を可能とした偏光カラー撮像装置が記載されている。
国際公開2014/020791号公報
 本開示の技術に係る一つの実施形態は、良好な画質のマルチスペクトル画像を容易に取得できるレンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラムを提供する。
 本発明の第1の態様に係るレンズ装置は、被写体の光学像を結像させるレンズを含む撮像光学系と、光軸が撮像光学系の光軸と一致した状態で撮像光学系の瞳近傍に配置された光学部材であって、複数の開口領域を備える枠体と、複数の開口領域の少なくとも1つに配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域の少なくとも1つに配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、を有する光学部材と、を備え、撮像光学系から出射される光の光量が、複数の開口領域について変更可能である。
 第2の態様に係るレンズ装置は第1の態様において、少なくとも1つの開口領域に配置されて開口領域の開口面積を調整する調整部材をさらに備える。
 第3の態様に係るレンズ装置は第2の態様において、調整部材が複数の開口領域に配置される。
 第4の態様に係るレンズ装置は第2または第3の態様において、調整部材は開口面積が可変である。
 第5の態様に係るレンズ装置は第1から第4の態様のいずれか1つにおいて、複数の開口領域のうち少なくとも1つの開口領域に配置され、少なくとも1つの開口領域を透過する光を減光する減光フィルタを備える。
 第6の態様に係るレンズ装置は第5の態様において、減光フィルタが複数の開口領域にそれぞれ配置される。
 第7の態様に係るレンズ装置は第5または第6の態様において、減光フィルタの減光度合いが可変である。
 第8の態様に係るレンズ装置は第5から第7の態様のいずれか1つにおいて、光学部材は、複数の開口領域に光学フィルタ、及び偏光フィルタが固定された光学部材であり、複数の開口領域のうち少なくとも1つの開口領域に対して減光フィルタが挿入される。
 第9の態様に係るレンズ装置は、被写体の光学像を結像させるレンズを含む撮像光学系と、光軸が撮像光学系の光軸と一致した状態で撮像光学系の瞳近傍に配置された光学部材であって、複数の開口領域を備える枠体と、複数の開口領域の少なくとも1つに配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域の少なくとも1つに配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、を有する光学部材と、を備え、撮像光学系から出射される光の光量が、複数の開口領域について調整されたレンズ装置である。
 第10の態様に係るレンズ装置は第9の態様において、調整は、レンズ装置が撮像素子を有する撮像装置本体に装着された場合に、撮像素子からの出力を波長帯域の間で一定にする調整である。
 第11の態様に係るレンズ装置は第9または第10の態様において、複数の開口領域のうち少なくとも1つについて開口面積が調整された、かつ/または調整可能である。
 第12の態様に係るレンズ装置は第9から第11の態様のいずれか1つにおいて、光学部材は、複数の開口領域に光学フィルタ、及び偏光フィルタが固定された光学部材であり、複数の開口領域のうち少なくとも1つの開口領域に対して、透過する光を減光する減光フィルタが挿入される。
 第13の態様に係るレンズ装置は第1から第12の態様のいずれか1つにおいて、光学部材は撮像光学系に対し挿入及び抜去が可能である。
 本発明の第14の態様に係る撮像装置は、第1から第13のいずれか1つに係るレンズ装置と、複数の偏光フィルタの偏光方向に対応した偏光方向を有する複数の偏光素子を備え、複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、撮像素子から出力される複数の画像信号に基づいて、複数の光学フィルタの波長帯域にそれぞれ対応する複数の画像を生成するプロセッサと、を備える。
 第15の態様に係る撮像装置は第14の態様において、プロセッサは、複数の画像信号に基づいて、波長帯域の間での光量比を算出する。
 第16の態様に係る撮像装置は第15の態様において、プロセッサは、光量比がしきい値未満の場合は、ユーザに光量比の改善を促す。
 第17の態様に係る撮像装置は第15または第16の態様において、プロセッサは、光量比に基づいて、複数の開口領域から出射される光の光量を調整する。
 第18の態様に係る撮像装置は第15から第17の態様のいずれか1つにおいて、複数の開口領域にそれぞれ対応した複数の遮蔽部材であって、複数の開口領域のうち特定の開口領域以外の開口領域を遮蔽する複数の遮蔽部材を備え、プロセッサは、複数の遮蔽部材のうちいずれかがレンズ装置に装着された状態で取得した複数の画像に基づいて、光量比を算出する。
 第19の態様に係る撮像装置は第14から第18の態様のいずれか1つにおいて、複数の光学フィルタの波長帯域に対応する波長帯域を有する複数のカラーフィルタが撮像素子に備えられ、プロセッサは複数の画像を合成する。プロセッサは複数の画像信号に対応する複数の画像を全て合成してもよいし、一部の画像を合成してもよい。また、プロセッサは複数の画像を合成してカラー画像を生成してもよい。
 本発明の第20の態様に係る光学部材は、複数の開口領域を備える光学部材であって、複数の開口領域のうち少なくとも1つの開口領域の面積を変更する可変機構を備える。
 本発明の第21の態様に係る撮像方法は、第1から第13の態様のいずれか1つに係るレンズ装置と、複数の偏光フィルタの偏光方向に対応した偏光方向を有する複数の偏光素子を備え、複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、を備える撮像装置の撮像方法であって、撮像素子から出力される複数の画像信号に基づいて、前数の光学フィルタの波長帯域にそれぞれ対応する複数の画像を生成する画像生成工程を有する。
 第22の態様に係る撮像方法は第21の態様において、複数の画像信号に基づいて波長帯域の間での光量比を算出する情報算出工程をさらに有する。
 第23の態様に係る撮像方法は第22の態様において、光量比がしきい値未満の場合は、撮像装置のユーザに光量比の改善を促す改善要求工程をさらに有する。
 第24の態様に係る撮像方法は第22の態様において、光量比に基づいて、複数の開口領域から出射される光の光量を調整する光量調整工程をさらに有する。
 本発明の第25の態様に係る撮像プログラムは、第21から第24の態様のいずれか1つに係る撮像方法をコンピュータに実行させる。
図1は、第1の実施形態に係る撮像装置の概略構成を示す図である。 図2は、撮像素子の概略構成を示す図である。 図3は、図2に示した1つ画素(図2の破線部)の概略構成を示す断面図である。 図4は、画像生成部の構成を示す図である。 図5は、レンズ装置の外観斜視図である。 図6は、レンズ装置の光軸方向における断面図である。 図7は、枠体の外観図である。 図8は、光学部材の構成例を示す図である。 図9は、フィルタセットの構成例を示す図である。 図10は、偏光フィルタの偏光方向の例を示す図である。 図11は、光学部材の他の構成例を示す図である。 図12は、減光フィルタの減光度合いが可変である光学部材の構成例を示す図である。 図13は、調整部材の例を示す図である。 図14は、調整部材の他の例を示す図である。 図15は、開口領域の面積を変更する可変機構を備える光学部材の例を示す図である。 図16は、3波長の場合の開口領域の配置例を示す図である。 図17は、枠体に遮蔽部材を装着する様子を示す図である。 図18は、光量比調整及び撮像の処理を示すフローチャートである。 図19は、光量比調整及び撮像の処理を示す他のフローチャートである。
 本発明に係るレンズ装置、撮像装置、光学部材、撮像方法、及びプログラムの一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。
  <第1の実施形態>
  <撮像装置の構成>
 図1は、第1の実施形態に係る撮像装置の概略構成を示す図である。第1の実施形態に係る撮像装置10(撮像装置)はマルチスペクトル画像を撮像する撮像装置であり、主としてレンズ装置100(レンズ装置、撮像光学系)と、撮像装置本体200(撮像装置、撮像素子、プロセッサ)と、を備える。撮像装置本体200は、撮像素子210(撮像素子)と、信号処理部230(信号処理部、プロセッサ)と、を備える。
 <撮像素子の構成>
 図2は、撮像素子210の概略構成を示す図であり、図3は、図2に示した1つ画素(図2の破線部)の概略構成を示す断面図である。撮像素子210は、CMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子(イメージセンサ)であり、ピクセルアレイ層211、偏光フィルタ素子アレイ層213、及びマイクロレンズアレイ層215を有するモノクローム型の撮像素子である。各層は、像面側から物体側に向かって、ピクセルアレイ層211、偏光フィルタ素子アレイ層213(複数の偏光素子)、マイクロレンズアレイ層215の順で配置される。なお、撮像素子210は、CMOS型に限らず、XYアドレス型、またはCCD(Charge Coupled Device)型のイメージセンサでもよい。
 ピクセルアレイ層211は、多数のフォトダイオード212(複数の画素群)を二次元的に配列して構成される。1つのフォトダイオード212は、1つの画素を構成する。各フォトダイオード212は、水平方向(x方向)及び垂直方向(y方向)に沿って規則的に配置される。
 偏光フィルタ素子アレイ層213は、偏光方向(透過させる光の偏光方向)が異なる4種類の偏光フィルタ素子214A,214B,214C,214D(複数の偏光素子)を二次元的に配列して構成される。偏光フィルタ素子214A,214B,214C,214Dの偏光方向は、例えば0°,45°,90°,135°とすることができる。また、これらの偏光方向は、光学部材における偏光フィルタの偏光方向(図10参照)に対応させることができる。撮像素子210は、これら偏光フィルタ素子214A~214Dにより、複数の開口領域を透過した光のいずれかを選択的に受光する複数の画像群を含む。これらの偏光フィルタ素子214A~214Bはフォトダイオード212と同じ間隔で配置され、画素ごとに備えられる。
 マイクロレンズアレイ層215は、各画素に配列されたマイクロレンズ216を備える。
 <画像生成部の構成>
 図4は画像生成部の構成を示す図である。信号処理部230は、撮像素子から出力される信号にアナログ信号処理を施すアナログ信号処理部232と、画像生成部234と、係数記憶部236と、を備える。画像生成部234(プロセッサ)は、本発明に係る撮像方法をコンピュータに実行させる撮像プログラムのコンピュータ読み取り可能なコードを記録したROM(Read Only Memory)等の非一時的記録媒体(不図示)及び作業用の一時的記憶領域(不図示)を備え、撮像素子210から出力される複数の画像信号(異なる偏光方向に対応する画像信号)に基づいて、レンズ装置100に配置された複数の光学フィルタ(図8等を参照)の波長帯域にそれぞれ対応する複数の画像を生成する。画像生成部234は、波長帯域λ1,λ2,λ3の画像(3バンドのマルチスペクトル画像)を生成することができる。また、画像生成部234は、光量比の算出及び/または調整、光量比の調整を促すメッセージの出力等を行う(後述)。
 上述した画像生成部234の機能は、各種のプロセッサ(processor)及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。各機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
 上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのコンピュータ(例えば、画像生成部234を構成する各種のプロセッサや電気回路、及び/またはそれらの組み合わせ)で読み取り可能なコードをROM等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。
 撮像装置10は、不図示のシャッタレリーズスイッチ等から撮影指示入力を受け付けると、撮像素子210における露光制御を行う。この露光制御により撮像素子210の受光面に結像された被写体の光学像は、撮像素子210により電気信号に変換される。撮像素子210の各画素には、フォトダイオード212に入射する光の光量に応じた電荷が蓄積され、撮像素子210からは各画素に蓄積された電荷量に応じた電気信号が画像信号として読み出され、出力される。
 <レンズ装置の構成>
 図5はレンズ装置100の外観斜視図であり、図6はレンズ装置100のレンズ装置の光軸L方向における断面図である。これらの図に示すように、レンズ装置100はレンズ鏡筒102に第1のレンズ110(レンズ、撮像光学系)及び第2のレンズ120(レンズ、撮像光学系)とから構成される単一の撮像光学系が配置され、これらレンズ群は、それぞれ第1レバー104,第2レバー106を回動させることにより光軸Lの方向に進退して、ズーム及び/またはフォーカスが調整される。第1のレンズ110及び第2のレンズ120は、複数のレンズから構成されるレンズ群でもよい。また、レンズ鏡筒102には、レンズ装置100の瞳位置(瞳近傍)にスリット108が形成されており、このスリット108に光学部材130(光学部材)が挿入されて、光軸が撮像光学系の光軸Lと一致した状態で配置される。
 <光学部材の構成(その1)>
 後述するように、光学部材130は、枠体(枠体)と、光学フィルタ(カラーフィルタ、複数の光学フィルタ)と、偏光フィルタ(複数の偏光フィルタ)と、減光フィルタ(減光フィルタ)と、を備える。光学部材130はレンズ鏡筒102に挿入及び抜去が可能であり、光源(被写体)の特性に合わせて、特性が異なる光学部材を用いることができる。そして、これにより撮像光学系から出射される光の光量が複数の開口領域のそれぞれについて調整され、かつ/または調整可能となる。なお、レンズ装置100が撮像装置本体200に装着された場合に、開口領域132A~132Dに対応して撮像素子210からの出力(感度)を複数の波長帯域間で一定または指定された範囲にすることを「調整」ということができる。また、被写体(光源)のスペクトル、レンズ(第1のレンズ110、第2のレンズ120)の分光透過率、フィルタ(光学フィルタ、偏光フィルタ)の透過波長特性、及び波長帯域とイメージセンサ(撮像素子210)の出力との関係により定まる特性を「感度」ということができる。
 一般に、イメージセンサ単体での感度は製造過程にて決定され、被写体のスペクトルもその物性に依存するから、これらを撮影時に変更することは困難である。このような観点から、本発明ではレンズの瞳を波長帯域ごとに分割し、各波長帯域に紐付けられた偏光情報を元に分光画像(光学フィルタの波長帯域に対応する画像)を生成しており、レンズ瞳(開口領域)ごとに光量を調整することで波長帯域間の光量比を変えることができる。また、光軸(撮像方向)のズレがない分光画像を同時に取得することができ、上述した特許文献1に記載の技術と異なり複数回の撮影を行う必要がない。このため、良好な画質のマルチスペクトル画像を容易に取得することができる(後述する態様の光学部材の場合も同様である)。
 図7は枠体132の外観図であり、図8は光学部材の構成例を示す図である。具体的には、図7の(a)部分~(f)部分は、それぞれ背面図、上面図、左側面図、底面図、斜視図、正面図である。図7の(e)部分及び(f)部分に示すように、枠体132は4つの開口領域132A~132D(複数の開口領域)を備える。開口領域132A~132Dの形状は扇型に限らず、円形や矩形、多角形等他の形状でもよい(後述する他の態様でも同様である)。これら開口領域(枠体132の裏面側)には、図7の(a)部分及び図8に示すように、フィルタセット140A~140D(光学フィルタ(カラーフィルタ)、偏光フィルタ、減光フィルタ)がそれぞれ配置される。フィルタセット140A~140Dは接着剤で固定してもよい。
 図9はフィルタセット140の構成例を示す図である。具体的には、図9の(a)部分に示すように、フィルタセット140Aは光学フィルタ142Aと、偏光フィルタ144Aと、減光フィルタ146Aと、を重ねて構成される。同様に、図9の(b)部分に示すように、フィルタセット140Bは光学フィルタ142Bと、偏光フィルタ144Bと、減光フィルタ146Bと、を重ねて構成される。同様に、図9の(c)部分に示すように、フィルタセット140Cは光学フィルタ142Cと、偏光フィルタ144Cと、減光フィルタ146Cと、を重ねて構成される。同様に、図9の(d)部分に示すように、フィルタセット140Dは光学フィルタ142Dと、偏光フィルタ144Dと、減光フィルタ146Dと、を備える。
 光学フィルタ142A~142Dは少なくとも一部の波長帯域が異なる光を透過させる複数の光学フィルタ(バンドパスフィルタ)であり、偏光フィルタ144A~144Cは偏光方向が異なる複数の偏光フィルタであり、減光フィルタ146A~146Dは開口領域132A~132Dを通過する光を減光する減光フィルタである。図10は偏光フィルタの偏光方向の例を示す図であり、同図の(a)部分~(d)部分に例示するように、偏光フィルタ144A~144Dの偏光方向は最大で4方向(開口領域の数と同じ;例えば0°,45°,90°,135°)とすることができる。なお、偏光フィルタ144A~144Dは偏光フィルムにより偏光するフィルタでもよいし、ワイヤーグリッドあるいは複数のスリットにより偏光するフィルタでもよい。
 減光フィルタ146A~146Dは開口領域132A~132Dを透過する光を減光するフィルタであり、例えばNDフィルタ(ND:Neutral Density)を用いることができる。減光フィルタ146A~146Dの減光度合いは一部、または全てのフィルタで違っていてもよく、ユーザは選択した減光度の減光フィルタを用いることにより、開口領域132A~132Dの間での光量比を調整することができる。
 図8,9に示す光学部材130は、製造工程において光量比を調整できるので、良好な画質のマルチスペクトル画像を取得するのに有効である。また、光学部材の剛性を高くすることができる。さらに、光学部材130では開口領域132A~132Dの開口面積を調整していないので、生成される画像の明るさを確保することができ、また被写界深度を浅くしたい場合や小絞りによる像ボケを防止したい場合に有効である。
 <光学部材の構成(その2)>
 図11は光学部材の他の構成例を示す図である。図8,9等について上述した例では開口領域132A~132Dにフィルタセット140A~140Dがそれぞれ配置されているが、図11に示す例では、開口領域132A~132Dには光学フィルタ及び偏光フィルタが配置されており、減光フィルタがレンズ鏡筒102に別途挿入される。
 具体的には、図11の(a)部分に示すように、光学フィルタ142A及び偏光フィルタ144Aが開口領域132Aに配置される。同様に、光学フィルタ142B及び偏光フィルタ144Bが開口領域132Bに配置され、光学フィルタ142C及び偏光フィルタ144Cが開口領域132Cに配置され、光学フィルタ142D及び偏光フィルタ144Dが開口領域132Dに配置される。そして、図11の(b)部分に示すように、光学フィルタ及び偏光フィルタが配置された状態で減光フィルタ146A,146Bが配置(スリット108に挿入)されることにより、光学部材130Aが構成される。減光フィルタは4つの開口領域132A~132Dのうち一部の開口領域について挿入してもよいし、全ての開口領域について挿入してもよい。なお、減光フィルタを直接挿入するのではなく枠体132に配置(接着等)して挿入してもよい。また、減光フィルタの減光度合いは所望の光量比に応じて選択してよい。
 このような態様によれば、ユーザは必要な開口領域について減光フィルタを挿入することで開口領域間の光量比を調整することができる。また、ユーザが光量比のフィードバックを行うことができるので、ユーザごとの使用環境(被写体の種類、光源の特性、画像の使用目的等)に合わせた光量調整ができ、より高い条件数で良好な画質のマルチスペクトル画像を取得することができる。
 なお、図11の(a)部分及び(b)部分に示すように減光フィルタ自身を配置するのではなく、減光フィルタを枠体に配置しその枠体を挿入してもよい。例えば、図11の(c)部分に示すように減光フィルタ146A,146Bを開口領域133A,133Bに配置して枠体133を構成し、その枠体133を枠体132に近接して(瞳近傍に)配置してもよい。これにより光学部材130Bが形成される。
 <光学部材の構成(その3)>
 本発明において、減光フィルタの減光度合いは可変でもよい。図12は減光フィルタの減光度合いが可変である光学部材の構成例を示す図であり、光学フィルタ142A及び偏光フィルタ144Aに加えて、減光度合いが可変である減光フィルタ147A(可変減光フィルタ)により構成されるフィルタセット141Aを示している。このような可変減光フィルタは、一部の開口領域に配置してもよいし、全ての開口領域に配置してもよい。なお、複数の減光フィルタを重ねて可変減光フィルタを構成し、それら複数の減光フィルタを相対的に回転させることで減光度合いを調整することができる。また、液晶表示素子を用いて減光フィルタを構成し、液晶の透過率を変更することにより減光度合いを調整することもできる。
 このような態様によれば、光量比をアクティブに調整することができるため、例えば外光のように朝夕と日中でスペクトルが変化する環境でも、ユーザは状況に応じて最適な光量比(条件数)を容易に得ることができ、これにより良好な画質のマルチスペクトル画像を取得することができる。
 <光学部材の構成(その4)>
 上述した態様では開口領域の開口面積は同じであるが、本発明において開口領域間で開口面積が違っていてもよい。図13は調整部材(各瞳の開口面積が調整された瞳分割枠)の例を示す図であり、このような調整部材をもちいて開口面積を調整(枠体の開口領域を絞る)してもよい。図13の(a)部分に示すように、調整部材134は枠体132の開口領域132A~132Dの開口面積を調整する開口領域134A~134Dを有する。同図の(b)部分に示すように、調整部材134は枠体132の前面(背面でもよい)に配置され、枠体132に光学フィルタ142A~142D及び偏光フィルタ144A~144Dが配置されて、光学部材135が形成される。調整部材134に光学フィルタ及び偏光フィルタを配置したものを枠体132に装着してもよい。
 開口領域134A~134Dの開口面積は開口ごとに違っていてもよい。また、調整部材134は1つの開口領域について開口面積を調整する部材でもよいし、複数の開口領域に配置されてそれら複数の開口領域ついて開口面積を調整する部材でもよい。なお、調整部材134の形状は円形でなく矩形や多角形等他の形状でもよい。
 このような態様によれば、開口面積を調整する(絞る)ことができ、被写界深度を深くしたい場合に有効である。
 <光学部材の構成(その5)>
 図14は調整部材の他の例を示す図である。図14では、開口領域136A,136Dが設けられた調整部材136(光学部材、可変機構)と、開口領域137B,137Cが設けられた調整部材137(光学部材、可変機構)とを示している。これら開口領域の開口面積は違っていてもよく、所望の光量比に応じて異なる開口面積を設定することができる。開口面積の異なる調整部材を複数用意しておき、ユーザが光量比に応じて調整部材を選択してもよい。なお、調整部材は1つの開口領域について開口面積を調整する部材でもよいし、複数の開口領域に配置されてそれら複数の開口領域について開口面積を調整する部材でもよい。また、調整部材は図14の例のように複数に分割されていてもよいし、1部材として構成されていてもよい。
 調整部材136,137を用いる場合、枠体132に光学フィルタ142A~142D及び偏光フィルタ144A~144Dを配置しておき、調整部材136,137をレンズ鏡筒102に挿入して、開口領域136A,137B,137C,136Dを枠体132の開口領域132A~132Dに対応させる。
 <光学部材の構成(その6)>
 図15は開口領域の面積を変更する可変機構を備える光学部材の例を示す図である。図15に示す光学部材138(可変機構、光学部材)は複数の開口領域138A~138Dを有し、これら開口領域の開口面積を変更することができる。開口面積の変更は、液晶表示素子(不図示)の遮光領域の面積を調整すること等により電気的に行ってもよいし、羽状部材や板状部材(不図示)等を動かすこと等により機械的に行ってもよい。画像生成部234(プロセッサ)は、光量比に応じてこのような変更を行う。
 光学部材138を用いる場合は、図14に示す例と同様に、枠体132に光学フィルタ及び偏光フィルタを配置し、これに光学部材138を配置して、開口領域138A~138Dを開口領域132A~132Dに対応させることができる。光学フィルタ及び偏光フィルタと光学部材138とは、枠体132の異なる面(物体側と撮像装置本体200側)に配置されていてもよい。
 なお、図15に示す光学部材138は開口領域132A~132Dの開口面積を変更可能な部材であるが、開口領域132A~132Dのうち少なくとも1つの開口領域の面積を変更できる光学部材を用いてもよい。
 このような光学部材138を用いることにより、上述した「光学部材の構成(その3)」のように光量比をアクティブに変更でき、また「光学部材の構成(その4)」のように開口面積の変更により被写界深度を深くすることができる。
 <光学部材の構成(その他)>
 上述した構成の光学部材では、開口領域(波長帯域)及び偏光方向が4種類である場合について説明しているが、開口領域及び偏光方向は3種類以下でもよい。なぜなら、撮像素子210のようにモノクローム型(カラーフィルタなし)で偏光フィルタ素子の偏光方向が4方向の撮像素子を用いた場合、最大でも3つの偏光方向に対応した3つの波長帯域の画像しか分離できないからである。開口領域が3つの場合、4つの開口領域のうち2つに同じ波長帯域の光学フィルタ及び同じ偏光方向の偏光フィルタを配置してもよいし、1つの開口を遮蔽部材で遮蔽してもよい。また、3つの開口領域を備える枠体を用いてもよい。
 図16は3波長の場合の開口領域の配置例を示す図である。図16の(a)部分は4つの開口領域131A~131Dのうち1つ(開口領域131D)を遮蔽部材131Eで遮蔽した状態の枠体131を示しており、同図の(b)部分は3つの開口領域133A~133Cを形成した枠体133を示している。なお、開口領域の間で開口面積が異なっていてもよい。これらの態様においても、上述した態様と同様に、光学フィルタ(カラーフィルタ)、偏光フィルタ、及び減光フィルタを開口領域に配置することができる。なお、使用する開口領域が4つである場合も3つ以下である場合も、光学フィルタは複数の開口領域の少なくとも1つに配置されていればよく、一部の開口領域が素通し(光学フィルタなし)でもよい。
 <画像生成処理>
 次に、上述した構成のレンズ装置100及び撮像装置本体200を用いた画像生成処理(撮像方法)について説明する。なお、ここでは光学部材において光学フィルタの波長帯域が3種類(λ1~λ3)で偏光方向も3種類(例えば0°,45°,90°)、撮像素子210の偏光方向は4種類(0°,45°,90°,135°)であるものとする。この場合、例えば図16の(a)部分に示す枠体131(開口領域131Dを遮蔽)を使用する。
 <混信除去の係数群>
 波長帯域(λ1~λ3)に対応した画像を得るには、撮像素子210の各画素から各波長帯域に対応した画素信号を分離して抽出する必要があるが、これらの画像データには混信(クロストーク)が生じている。すなわち、各画素には各波長帯域の光が入射するため、生成される画像は波長帯域λ1~λ3の画像が混合した画像となる。このため、画像生成部234は、混信除去処理を行って各波長帯域(λ1~λ3)の画像データを生成する。
 レンズ装置100から出射した各波長帯域λ1~λ3の光が各画素で受光される割合(混信比率)は、光学フィルタ142A~142Cが透過させる光の波長帯域λ1~λ3の設定、偏光フィルタ144A~144Cが透過させる光の偏光方向の設定、撮像素子210の各画素が受光する光の偏光方向(4方向)の設定から一意に定まり、事前に求めることができる。画像生成部234は、この混信比率を、複数の開口領域のうち特定の開口領域以外の開口領域を遮蔽する複数の遮蔽部材を用いて、複数の遮蔽部材のうちいずれかがレンズ装置に装着された状態で取得した複数の画像から算出することができる。
 図17は、枠体132に遮蔽部材を装着する様子を示す図である。図17の(a)部分に示すように、遮蔽部材139は、枠体132の開口領域132A~132Dのうちいずれかを開放して残りを遮蔽する複数の遮蔽部材を備える。具体的には、遮蔽部材139A~139Dは、それぞれ開口領域132A,132B,132C,132D(特定の開口領域)以外の開口領域を遮蔽する。図17の(b)部分は、遮蔽部材139Aを装着した状態の枠体132を示す。なお、上述のように開口領域及び偏光方向が3種類以下である場合(例えば、4つの開口のうち1つ以上を遮蔽する場合、あるいは3つ以下の開口領域を有する光学部材を用いる場合)は、遮蔽部材も3種類以下でよい。以下、開口領域及び偏光方向が3種類である場合について説明する。
 この場合、遮蔽部材139A~139Cを1つずつ用いて撮像することにより、3つの波長帯域にそれぞれ対応した3つの画像が得られる。画像生成部234は、これらの画像から混信除去処理のための係数群(混信除去行列の各要素)を算出し、係数記憶部236がこれら係数群を記憶する。また、画像生成部234は、これらの画像から光量比及びその最適値を算出することができる。
 画像生成部234は、係数記憶部236から係数群を取得し、各画素から得られる画素信号から、上述の式1によって各波長帯域λ1~λ3に対応した画素信号を算出し、各波長帯域λ1~λ3の画像データを生成する。画像生成部234で生成された各波長帯域λ1~λ3の画像データは、外部に出力され、必要に応じて記憶装置(不図示)に記憶される。また、必要に応じてディスプレイ(不図示)に表示される。
 <光量比の調整及び撮像(手動調整の場合)>
 次に、光量比を調整してマルチスペクトル画像を生成する処理(撮像方法の各処理)について説明する。図18は光量比の調整及び撮像の処理を示すフローチャートである。このフローチャートは、ユーザが自ら光量比を調整する場合の処理である。不図示のシャッターレリーズ等の操作により撮像(または光量比の算出)が指示されると、処理が開示される。なお、上述した遮蔽部材を使用して混信除去の係数群が取得されているものとする。
 撮像が指示されると、画像生成部234(プロセッサ)は各波長帯域λ1~λ3の画像データ(複数の画像信号)から、波長帯域の間での光量比を算出する(ステップS100:情報算出工程)。以下の式(1)~(5)に現れるL1,L2,L3の比率が光量比である。画像生成部234は、光量比を直接算出するのではなく、光量と関係する条件数(コンディションナンバー;下記N1~N3)を算出してもよい。
 [数1]
 Img0=L1*cos(0-θ1)+L2*cos(0-θ1)+L3*cos(0-θ3) (1)
 [数2]
 Img45=L1*cos(45-θ1)+L2*cos(45-θ1)+L3*cos(45-θ3) (2)
 [数3]
 Img90=L1*cos(90-θ1)+L2*cos(90-θ1)+L3*cos(90-θ3) (3)
 [数4]
 Img135=L1*cos(135-θ1)+L2*cos(135-θ1)+L3*cos(135-θ3) (4)
Figure JPOXMLDOC01-appb-M000001
 なお、式(1)~(5)において、L1~L3は各波長帯域(λ1~λ3)の光量であり、θ1~θ3は各波長に割り当てられた偏光角度(0°,45°,90°)であり、N1~N3は各波長に付与される条件数であり、S1~S3は各波長の信号である。仮にL1≫L2≫L3であるとすると、N1≪N2≪N3(光量が多いと条件数が小さい)となる。
 画像生成部234(プロセッサ)は、光量比がしきい値以上であるか否か判断する。この場合、上述したL1~L3のうち1または複数の組合せについて判断を行ってもよいし、L1~L3のうち最大のものと最小のものとについて判断を行ってもよい。画像生成部234はユーザの操作に基づいてしきい値を設定してもよいし、ユーザの操作によらずに設定してもよい。また、画像生成部234は、光量比の最適値との関係(比率等)に基づいてしきい値を設定してもよい。光量比がしきい値以上である場合(ステップS110でYES)、画像生成部234は光学フィルタの波長帯域(λ1~λ3)にそれぞれ対応する複数の画像(3波長のマルチスペクトル画像)を生成する(ステップS140:画像生成工程)。
 一方、光量比がしきい値未満である場合(ステップS110でNO)、画像生成部234は、撮像装置10のユーザに光量比の改善を促すメッセージを出力する(ステップS120:改善要求工程)。画像生成部234は、図示せぬモニタ(表示装置)やスピーカ(音声出力装置)を介して、例えば「開口領域1番の光量を絞って下さい」というメッセージを出力することができる。「開口面積を1段階下げて下さい」、「減光度を1段階上げて下さい」等、具体的な調整方法を出力してもよい。あるいは、絞りすぎ、減光しすぎの場合等に「開口領域3番の光量を上げて下さい」というメッセージを出力してもよい。画像生成部234は、モニタやスピーカ等の装置を介して、具体的な光量や光量比の値を示す情報、及び/または条件数を示す情報を出力してもよい。
 ユーザは、メッセージに応じて光量比を調整することにより、レンズ装置100が、撮像素子210を有する撮像装置本体200に装着された場合に、撮像素子210からの出力を波長帯域の間で一定(あるいは所望の範囲)にする調整を行うことができる。
 ユーザによって光量比の調整がなされたら(ステップS130でYES)、画像生成部234は、再度、ステップS110で調整後の光量比がしきい値以上であるか否か(あるいは、撮像素子210からの出力が波長帯域間で一定または指定された範囲であるか否か)を判断する。光量比がしきい値以上である場合は、ステップS140で撮像(画像生成工程)を行う。
 撮像装置10では、このような処理により、良好な画質のマルチスペクトル画像を容易に取得することができる。
 <光量比の調整及び撮像(自動調整の場合)>
 図19は光量比の調整及び撮像の処理を示す他のフローチャートである。このフローチャートは、画像生成部234がユーザの操作によらずに光量比を調整する場合の処理である。したがって画像生成部234は、撮像装置10が、減光度が可変の減光フィルタ(図12等を参照)及び/または開口面積が可変の光学部材(図15等を参照)を備えている場合に、図19のフローチャートに示す処理を行うことができる。
 光量比を手動調整する場合と同様に、不図示のシャッターレリーズ等の操作により撮像(または光量比の算出)が指示されると、処理が開示される。また、上述した遮蔽部材を使用して混信除去の係数群が取得されているものとする。
 ステップS100,S110の処理は図18のフローチャートと同様である。光量比がしきい値未満である場合(ステップS110でNO)、画像生成部234は、1または複数の開口領域について減光フィルタの減光度及び/または光学部材の開口面積を変化させて、光量比を調整する(ステップS112:光量調整工程)。光量比を手動調整する場合と同様に、画像生成部234は、撮像素子210からの出力を波長帯域の間で一定(あるいはユーザの操作に応じた範囲)にする調整を行うことができ、また光量比調整の際に光量比や条件数等を示す情報を出力することができる。
 撮像装置10では、このような処理により、良好な画質のマルチスペクトル画像を容易に取得することができる。
 <カラー撮像素子を備える撮像装置の場合>
 本発明において、撮像素子はカラー撮像素子でもよい。カラー撮像素子は、レンズ装置側のカラーフィルタの波長帯域に対応する複数の波長帯域についての、複数カラーフィルタ(複数のカラーフィルタ)から構成されるカラーフィルタ層を備えていてもよい。撮像素子のカラーフィルタの波長帯域は、例えば4種類とすることができ、1種類の波長帯域のカラーフィルタに対して4種類の偏光方向の偏光フィルタを対応させて配置する。このようなカラー撮像素子を、上述のように波長帯域が4種類で偏光方向が4種類の光学部材を有するレンズ装置と組み合わせることにより、4波長について、光量比を調整して良好な画質のマルチスペクトル画像を容易に取得することができる。波長帯域は例えば青色、緑色、赤色、近赤外の4種類とすることができ、画像生成部234は、このような波長帯域の4種類の画像を1つの画像に合成することができる。また、画像生成部234は、青色、緑色、赤色の波長帯域の画像を合成してカラー画像を生成してもよい。なお、画像の生成に際しては、図17について上述したのと同様に、遮蔽部材を用いた撮像によりあらかじめ係数群を取得しておくことが好ましい。
 以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10   撮像装置
100  レンズ装置
102  レンズ鏡筒
104  第1レバー
106  第2レバー
108  スリット
110  第1のレンズ
120  第2のレンズ
130  光学部材
130A 光学部材
130B 光学部材
131  枠体
131A 開口領域
131B 開口領域
131C 開口領域
131D 開口領域
131E 遮蔽部材
132  枠体
132A 開口領域
132B 開口領域
132C 開口領域
132D 開口領域
133  枠体
133A 開口領域
133B 開口領域
133C 開口領域
134  調整部材
134A 開口領域
134B 開口領域
134C 開口領域
134D 開口領域
135  光学部材
136  調整部材
136A 開口領域
136D 開口領域
137  調整部材
137B 開口領域
137C 開口領域
138  光学部材
138A 開口領域
138B 開口領域
138C 開口領域
138D 開口領域
139  遮蔽部材
139A 遮蔽部材
139B 遮蔽部材
139C 遮蔽部材
139D 遮蔽部材
140  フィルタセット
140A フィルタセット
140B フィルタセット
140C フィルタセット
140D フィルタセット
141A フィルタセット
142A 光学フィルタ
142B 光学フィルタ
142C 光学フィルタ
142D 光学フィルタ
144A 偏光フィルタ
144B 偏光フィルタ
144C 偏光フィルタ
144D 偏光フィルタ
146A 減光フィルタ
146B 減光フィルタ
146C 減光フィルタ
146D 減光フィルタ
147A 減光フィルタ
200  撮像装置本体
210  撮像素子
211  ピクセルアレイ層
212  フォトダイオード
213  偏光フィルタ素子アレイ層
214A 偏光フィルタ素子
214B 偏光フィルタ素子
214C 偏光フィルタ素子
214D 偏光フィルタ素子
215  マイクロレンズアレイ層
216  マイクロレンズ
230  信号処理部
232  アナログ信号処理部
234  画像生成部
236  係数記憶部
L    光軸
S100~S140 撮像方法の各ステップ

Claims (26)

  1.  被写体の光学像を結像させるレンズを含む撮像光学系と、
     光軸が前記撮像光学系の光軸と一致した状態で前記撮像光学系の瞳近傍に配置された光学部材であって、
     複数の開口領域を備える枠体と、
     前記複数の開口領域の少なくとも1つに配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、
     前記複数の開口領域の少なくとも1つに配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、
     を有する光学部材と、
     を備え、
     前記撮像光学系から出射される光の光量が、前記複数の開口領域について変更可能であるレンズ装置。
  2.  前記少なくとも1つの開口領域に配置されて前記開口領域の開口面積を調整する調整部材をさらに備える請求項1に記載のレンズ装置。
  3.  前記調整部材が前記複数の開口領域に配置される請求項2に記載のレンズ装置。
  4.  前記調整部材は前記開口面積が可変である請求項2または3に記載のレンズ装置。
  5.  前記複数の開口領域のうち少なくとも1つの開口領域に配置され、前記少なくとも1つの開口領域を透過する光を減光する減光フィルタを備える請求項1から4のいずれか1項に記載のレンズ装置。
  6.  前記減光フィルタが前記複数の開口領域にそれぞれ配置される請求項5に記載のレンズ装置。
  7.  前記減光フィルタの減光度合いが可変である請求項5または6に記載のレンズ装置。
  8.  前記光学部材は、前記複数の開口領域に前記光学フィルタ、及び前記偏光フィルタが固定された光学部材であり、
     前記複数の開口領域のうち少なくとも1つの開口領域に対して前記減光フィルタが挿入される請求項5から7のいずれか1項に記載のレンズ装置。
  9.  被写体の光学像を結像させるレンズを含む撮像光学系と、
     光軸が前記撮像光学系の光軸と一致した状態で前記撮像光学系の瞳近傍に配置された光学部材であって、
     複数の開口領域を備える枠体と、
     前記複数の開口領域の少なくとも1つに配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、
     前記複数の開口領域の少なくとも1つに配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタと、
     を有する光学部材と、
     を備え、
     前記撮像光学系から出射される光の光量が、前記複数の開口領域について調整されたレンズ装置。
  10.  前記調整は、前記レンズ装置が撮像素子を有する撮像装置本体に装着された場合に、前記撮像素子からの出力を前記波長帯域の間で一定にする調整である、請求項9に記載のレンズ装置。
  11.  前記複数の開口領域のうち少なくとも1つについて開口面積が調整された、かつ/または調整可能である請求項9または10に記載のレンズ装置。
  12.  前記光学部材は、前記複数の開口領域に前記光学フィルタ、及び前記偏光フィルタが固定された光学部材であり、
     前記複数の開口領域のうち少なくとも1つの開口領域に対して、透過する光を減光する減光フィルタが挿入される請求項9から11のいずれか1項に記載のレンズ装置。
  13.  前記光学部材は前記撮像光学系に対し挿入及び抜去が可能である請求項1から12のいずれか1項に記載のレンズ装置。
  14.  請求項1から13のいずれか1項に記載のレンズ装置と、
     前記複数の偏光フィルタの偏光方向に対応した偏光方向を有する複数の偏光素子を備え、前記複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、
     前記撮像素子から出力される複数の画像信号に基づいて、前記複数の光学フィルタの前記波長帯域にそれぞれ対応する複数の画像を生成するプロセッサと、
     を備える撮像装置。
  15.  前記プロセッサは、前記複数の画像信号に基づいて、前記波長帯域の間での光量比を算出する請求項14に記載の撮像装置。
  16.  前記プロセッサは、前記光量比がしきい値未満の場合は、ユーザに前記光量比の改善を促す請求項15に記載の撮像装置。
  17.  前記プロセッサは、前記光量比に基づいて、前記複数の開口領域から出射される光の光量を調整する請求項15または16に記載の撮像装置。
  18.  前記複数の開口領域にそれぞれ対応した複数の遮蔽部材であって、前記複数の開口領域のうち特定の開口領域以外の開口領域を遮蔽する複数の遮蔽部材を備え、
     前記プロセッサは、前記複数の遮蔽部材のうちいずれかが前記レンズ装置に装着された状態で取得した前記複数の画像に基づいて、前記光量比を算出する請求項15から17のいずれか1項に記載の撮像装置。
  19.  前記複数の光学フィルタの前記波長帯域に対応する波長帯域を有する複数のカラーフィルタが前記撮像素子に備えられ、
     前記プロセッサは前記複数の画像を合成する請求項14から18のいずれか1項に記載の撮像装置。
  20.  複数の開口領域を備える光学部材であって、
     前記複数の開口領域のうち少なくとも1つの開口領域の面積を変更する可変機構を備える光学部材。
  21.  請求項1から13のいずれか1項に記載のレンズ装置と、前記複数の偏光フィルタの偏光方向に対応した偏光方向を有する複数の偏光素子を備え、前記複数の開口領域のいずれかを透過した光を選択的に受光する複数の画素群を含む撮像素子と、を備える撮像装置の撮像方法であって、
     前記撮像素子から出力される複数の画像信号に基づいて、前記複数の光学フィルタの前記波長帯域にそれぞれ対応する複数の画像を生成する画像生成工程を有する撮像方法。
  22.  前記複数の画像信号に基づいて前記波長帯域の間での光量比を算出する情報算出工程をさらに有する請求項21に記載の撮像方法。
  23.  前記光量比がしきい値未満の場合は、前記撮像装置のユーザに前記光量比の改善を促す改善要求工程をさらに有する請求項22に記載の撮像方法。
  24.  前記光量比に基づいて、前記複数の開口領域から出射される光の光量を調整する光量調整工程をさらに有する請求項22に記載の撮像方法。
  25.  請求項21から24のいずれか1項に記載の撮像方法をコンピュータに実行させる撮像プログラム。
  26.  非一時的かつコンピュータ読取可能な記録媒体であって、請求項25に記載の撮像プログラムが記録された記録媒体。
PCT/JP2021/002356 2020-01-31 2021-01-25 レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム WO2021153473A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180011108.9A CN115039008A (zh) 2020-01-31 2021-01-25 镜头装置、摄像装置、光学部件、摄像方法及摄像程序
JP2021574005A JP7373592B2 (ja) 2020-01-31 2021-01-25 レンズ装置、撮像装置、撮像方法、撮像プログラム、及び記録媒体
US17/862,408 US11726389B2 (en) 2020-01-31 2022-07-12 Lens device, imaging apparatus, optical member, imaging method, and imaging program for acquiring multispectral images
US18/328,757 US11960200B2 (en) 2020-01-31 2023-06-04 Lens device, imaging apparatus, imaging method, and imaging program for acquiring multispectral images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-015551 2020-01-31
JP2020015551 2020-01-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/862,408 Continuation US11726389B2 (en) 2020-01-31 2022-07-12 Lens device, imaging apparatus, optical member, imaging method, and imaging program for acquiring multispectral images

Publications (1)

Publication Number Publication Date
WO2021153473A1 true WO2021153473A1 (ja) 2021-08-05

Family

ID=77079100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002356 WO2021153473A1 (ja) 2020-01-31 2021-01-25 レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム

Country Status (4)

Country Link
US (2) US11726389B2 (ja)
JP (1) JP7373592B2 (ja)
CN (1) CN115039008A (ja)
WO (1) WO2021153473A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135404A (ja) * 2020-02-27 2021-09-13 富士フイルム株式会社 レンズ装置、撮像装置、撮像方法、及び撮像プログラム
WO2023047794A1 (ja) * 2021-09-22 2023-03-30 富士フイルム株式会社 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム
WO2023053766A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 画像データ処理装置及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP2012247645A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
JP2014003461A (ja) * 2012-06-19 2014-01-09 Sony Corp 撮像装置
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
JP2016036024A (ja) * 2014-08-01 2016-03-17 パナソニックIpマネジメント株式会社 撮像装置および分析装置
JP2016082325A (ja) * 2014-10-14 2016-05-16 株式会社ニコン 撮像装置、画像処理装置および画像処理プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD250338S (en) 1976-10-07 1978-11-21 Lapierre Howard N Combined spool and bobbin holder
USD278359S (en) 1982-02-25 1985-04-09 Daiwa Seiko, Inc. Fishing reel spool
USD307153S (en) 1987-04-20 1990-04-10 Rejan, Inc. Viewer for a door
JPH0678938A (ja) 1992-09-03 1994-03-22 Hitachi Metals Ltd 義歯固定用磁性アタッチメント
USD369370S (en) 1995-02-13 1996-04-30 Wray James D Telescope
GB2416218B (en) * 2003-05-29 2007-03-21 Nihon Seimitsu Sokki Co Ltd Diaphragm device
USD527070S1 (en) 2005-06-08 2006-08-22 Svs Engineering Llc Spool for fly fishing reel
JP5381590B2 (ja) 2009-10-05 2014-01-08 リコーイメージング株式会社 差込フィルタホルダ
JP2012003080A (ja) 2010-06-17 2012-01-05 Olympus Corp 撮像装置
USD666228S1 (en) 2011-03-16 2012-08-28 Satisloh North America, Inc. Optic device securing structure
USD666229S1 (en) 2011-03-16 2012-08-28 Satisloh North America, Inc. Optic device securing structure
US9658463B2 (en) 2012-02-03 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging system
USD719598S1 (en) 2013-02-26 2014-12-16 Hon Hai Precision Industry Co., Ltd. Binocular image-taking lens
USD741448S1 (en) 2014-06-13 2015-10-20 Robin Hancock Spool winder
USD836423S1 (en) 2014-11-17 2018-12-25 Mark Kulik Film spool
USD776737S1 (en) 2015-02-10 2017-01-17 Sellmark Corporation Lens cap
US10523850B2 (en) * 2015-12-30 2019-12-31 Sintai Optical (Shenzhen) Co., Ltd. Camera device with adjustable aperture
JP7290742B2 (ja) * 2019-10-30 2023-06-13 富士フイルム株式会社 光学素子、光学装置、及び撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP2012247645A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
JP2014003461A (ja) * 2012-06-19 2014-01-09 Sony Corp 撮像装置
WO2014020791A1 (ja) * 2012-08-02 2014-02-06 パナソニック株式会社 偏光カラー撮像装置
JP2016036024A (ja) * 2014-08-01 2016-03-17 パナソニックIpマネジメント株式会社 撮像装置および分析装置
JP2016082325A (ja) * 2014-10-14 2016-05-16 株式会社ニコン 撮像装置、画像処理装置および画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135404A (ja) * 2020-02-27 2021-09-13 富士フイルム株式会社 レンズ装置、撮像装置、撮像方法、及び撮像プログラム
JP7261192B2 (ja) 2020-02-27 2023-04-19 富士フイルム株式会社 レンズ装置、撮像装置、撮像方法、及び撮像プログラム
WO2023047794A1 (ja) * 2021-09-22 2023-03-30 富士フイルム株式会社 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム
WO2023053766A1 (ja) * 2021-09-29 2023-04-06 富士フイルム株式会社 画像データ処理装置及び方法

Also Published As

Publication number Publication date
US11960200B2 (en) 2024-04-16
US20220350225A1 (en) 2022-11-03
US20240019762A1 (en) 2024-01-18
JP7373592B2 (ja) 2023-11-02
US11726389B2 (en) 2023-08-15
CN115039008A (zh) 2022-09-09
JPWO2021153473A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
WO2021153473A1 (ja) レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム
JP4483951B2 (ja) 撮像装置
JP4908668B2 (ja) 焦点検出装置
KR101276757B1 (ko) 이미지 촬상 장치, 및 그 동작 방법
JP7261192B2 (ja) レンズ装置、撮像装置、撮像方法、及び撮像プログラム
CN107750345A (zh) 多光谱成像仪
CN102668545A (zh) 采用静态图像和预览图像创建高动态范围图像
JPWO2007123064A1 (ja) 複眼方式のカメラモジュール
US10021357B2 (en) Image capturing apparatus and method for generating image data
JP2017118284A (ja) 撮像装置
JP2017059739A (ja) 固体撮像装置および電子機器
US11796722B2 (en) Optical element, optical device, and imaging apparatus for acquiring multispectral images
WO2022004572A1 (ja) レンズ装置、撮像装置、及び撮像方法
JPWO2021153473A5 (ja)
KR101679293B1 (ko) 광 검출 소자 및 촬상 장치
CN113966605A (zh) 摄像装置
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
JP2009021683A (ja) 撮像装置
WO2022024917A1 (ja) 撮像装置、調整方法、及び調整プログラム
US20230106512A1 (en) Lens device and imaging apparatus
JPWO2022024917A5 (ja)
TW202205847A (zh) 攝像元件及電子機器
WO2017126242A1 (ja) 撮像装置、及び、画像データ生成方法
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP7316966B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21748026

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574005

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21748026

Country of ref document: EP

Kind code of ref document: A1