WO2022024917A1 - 撮像装置、調整方法、及び調整プログラム - Google Patents

撮像装置、調整方法、及び調整プログラム Download PDF

Info

Publication number
WO2022024917A1
WO2022024917A1 PCT/JP2021/027296 JP2021027296W WO2022024917A1 WO 2022024917 A1 WO2022024917 A1 WO 2022024917A1 JP 2021027296 W JP2021027296 W JP 2021027296W WO 2022024917 A1 WO2022024917 A1 WO 2022024917A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
adjustment
field lens
multispectral camera
optical system
Prior art date
Application number
PCT/JP2021/027296
Other languages
English (en)
French (fr)
Inventor
和佳 岡田
慶延 岸根
睦 川中子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022540241A priority Critical patent/JPWO2022024917A1/ja
Publication of WO2022024917A1 publication Critical patent/WO2022024917A1/ja
Priority to US18/153,359 priority patent/US20230204950A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/0095Relay lenses or rod lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00Optical objectives with means for varying the magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/005Diaphragms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006Filter holders
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Definitions

  • the present invention relates to an image pickup device for capturing a multispectral image, and an adjustment method and adjustment program for the image pickup device.
  • Patent Document 1 describes an imaging device including a spectroscopic filter array and a field lens.
  • One embodiment according to the technique of the present disclosure provides an image pickup apparatus, an adjustment method, and an adjustment program capable of acquiring a multispectral image of good image quality.
  • the image pickup device is an image pickup device arranged on the image side of another optical system, and is a multi-spectral camera that acquires images for a plurality of wavelength bands, and a multi-spectral camera with another optical system.
  • the multispectral camera is equipped with a field lens that relays to the spectrum camera and an adjustment mechanism that adjusts the conjugate relationship between the exit pupil position of another optical system and the incident pupil position of the multispectral camera.
  • the multispectral camera has a pupil position or a pupil position.
  • a frame that is arranged in the vicinity of and has a plurality of aperture regions, and has a frame having different centers of gravity of the plurality of aperture regions, and a frame that is arranged in the plurality of aperture regions and has at least a part of the wavelength bands transmitting different light.
  • a wavelength polarizing filter unit having a plurality of optical filters including one or more optical filters and a plurality of polarizing filters arranged in a plurality of aperture regions and having different polarization directions, and light transmitted through any of the plurality of aperture regions. It includes an image pickup element including a plurality of pixel groups that receive light, and a processor that generates an image based on a plurality of image signals output from the image pickup element.
  • the adjusting mechanism adjusts the distance between the other optical system and the field lens.
  • the image pickup apparatus is the first aspect, in which the adjustment mechanism adjusts the distance between the field lens and the multispectral camera.
  • the image pickup apparatus is in any one of the first to third aspects, and the adjustment mechanism is the distance between the exit pupil position of another optical system and the field lens, and the field lens and the multispectral camera. Adjust the distance from the entrance pupil position.
  • the image pickup apparatus is one of the first to fourth aspects, and the adjustment mechanism adjusts the image magnification while keeping it constant.
  • the adjusting mechanism changes the position of the wavelength polarizing filter unit and / or the focal length of the field lens to keep the image magnification constant.
  • the image pickup apparatus is any one of the first to sixth aspects, and the adjustment mechanism is the attachment / detachment mechanism of the wavelength polarizing filter unit.
  • the processor outputs image support information necessary for adjustment.
  • the imaging device further includes a display device in the eighth aspect, and the processor outputs image support information based on the light / dark information of at least one spectroscopic image obtained by the multispectral camera.
  • the processor outputs an adjustment procedure as image support information based on the direction of the aperture region and the light / dark information.
  • the image pickup apparatus further includes a display device in any one of the eighth to tenth aspects, and the display device is adjusted as image assist information and image assist information output from the processor. Show at least one of the steps.
  • the adjustment method according to the twelfth aspect of the present invention is a frame body arranged at the pupil position or in the vicinity of the pupil position and having a plurality of opening regions, and a plurality of frames having different centers of gravity of the plurality of opening regions.
  • a plurality of optical filters including two or more optical filters arranged in an aperture region and transmitting light having at least a part of wavelength bands different from each other, and a plurality of polarizing filters arranged in a plurality of aperture regions and having different polarization directions.
  • a multi-spectral camera that acquires images for multiple wavelength bands, a field lens that relays between another optical system and the multi-spectral camera, and the exit pupil position of the other optical system and the incident pupil position of the multi-spectral camera. It is an adjustment method of an image pickup apparatus arranged on the image side of another optical system, comprising an adjustment mechanism for adjusting a conjugate relationship, and has an output step for outputting image support information necessary for adjustment.
  • the adjustment method according to the thirteenth aspect is the twelfth aspect, in which the image support information based on the light / dark information of at least one spectral image obtained by the multispectral camera is displayed on the display device in the output step.
  • the adjustment method according to the fourteenth aspect is the thirteenth aspect, in which in the output step, the adjustment procedure as the image support information is displayed on the display device based on the direction of the opening region and the light / dark information.
  • the adjustment program according to the fifteenth aspect of the present invention causes a computer to execute the adjustment method according to any one of the twelfth to the fourteenth.
  • FIG. 1 is a diagram showing a configuration of an imaging system according to the first embodiment.
  • FIG. 2 is a diagram showing a configuration of an image pickup apparatus.
  • FIG. 3 is a conceptual diagram showing how the conjugate relationship is adjusted by exchanging each element.
  • FIG. 4 is a diagram showing an example of an adjustment mechanism of a field lens.
  • FIG. 5 is a diagram showing another example of the adjustment mechanism of the field lens.
  • FIG. 6 is a perspective view of a multispectral camera.
  • FIG. 7 is a cross-sectional view of a multispectral camera.
  • FIG. 8 is a diagram showing the configuration of the frame body.
  • FIG. 9 is a diagram showing a configuration of a wavelength polarizing filter unit.
  • FIG. 10 is a diagram showing the polarization direction of the polarizing filter.
  • FIG. 9 is a diagram showing a configuration of a wavelength polarizing filter unit.
  • FIG. 10 is a diagram showing the polarization direction of the polarizing filter.
  • FIG. 11 is a diagram showing a configuration of an image pickup device.
  • FIG. 12 is a diagram showing a processor configuration.
  • FIG. 13 is a table showing an example of the relationship between the relative position of the field lens and the elements to be adjusted.
  • FIG. 14 is a diagram showing a state of adjustment in cases 1 to 4.
  • FIG. 15 is another diagram showing the state of adjustment in the case 5.
  • FIG. 16 is a flowchart (1/2) showing a procedure for adjusting the conjugate relationship.
  • FIG. 17 is a flowchart (2/2) showing a procedure for adjusting the conjugate relationship.
  • FIG. 18 is a conceptual diagram showing the relationship between the direction of the aperture region and the light / dark information of the spectroscopic image.
  • FIG. 19 is a table showing the influence of the shape of the opening region on the adjustment of the conjugate relationship.
  • FIG. 20 is a diagram showing a specific example of conjugation relationship adjustment in consideration of the shape of the opening region.
  • FIG. 21 is a diagram showing a state of connection with a microscope.
  • FIG. 22 is a diagram showing a state of connection with the zoom optical system.
  • FIG. 23 is a diagram showing a system configuration when the elements are not connected to each other.
  • FIG. 1 is a diagram showing a configuration of an imaging system 10 (imaging system, imaging device) according to the first embodiment.
  • the image pickup system 10 includes an optical system 20 (another optical system; a lens 22 is included), an image pickup device 100, a display device 300 (display device such as a liquid crystal display), a storage device 310 (photomagnetic recording device, semiconductor memory, etc.), and the like.
  • the image pickup device 100 is arranged on the image side of the optical system 20 and is composed of an operation unit 320 (keyboard, mouse, switch, etc.).
  • a speaker that outputs image support information described later by voice may be provided.
  • An example of the optical system 20 will be described later (see FIGS. 21 and 22).
  • FIG. 2 is a diagram showing a configuration of an image pickup device 100 (imaging device).
  • the image pickup device 100 includes a mount adapter 110 (adjustment mechanism), a field lens unit 120 (field lens), a multispectral camera 130 (multispectral camera), and an image pickup device main body 140 (multispectral camera). It is equipped with a camera).
  • the field lens 122 is a lens that relays the optical system 20 and the multispectral camera 130.
  • the screw mount standards include, for example, C mount and CS mount.
  • the C mount has a diameter of 25.4 mm, a screw pitch of 0.794 mm, and a flange back of 17.526 mm (see FIG. 2).
  • the adjustment of the conjugate relationship means that the exit pupil position of the optical system 20 (another optical system) and the entrance pupil position of the image pickup device 100 (imaging device) are coupled to each other.
  • the conjugate relationship is adjusted by attaching / detaching elements with different sizes and characteristics, moving the lens, etc. (adjustment by the adjustment mechanism). This makes it possible to prevent a decrease in the amount of peripheral light (vignetting) in the spectroscopic image.
  • the conjugation relationship can be adjusted based on the light and dark information of the spectroscopic image. Specifically, as will be described in detail later, the processor 142 calculates the light / dark information (light amount distribution in the image) of at least one spectral image obtained by the multispectral camera 130, and the conjugate relationship is based on this light / dark information. Generates and outputs information (image support information) necessary for adjustment. The user can adjust the conjugation relationship by attaching / detaching / exchanging or moving the components according to the image support information.
  • FIG. 3 is a conceptual diagram showing how the conjugate relationship is adjusted by exchanging each element.
  • the image pickup apparatus 100 includes a mount adapter 110A (adjustment mechanism), a field lens unit 120A including a field lens 122A, and a multispectral camera 130A (the lens and the image pickup apparatus main body are not shown).
  • a mount adapter 110A adjustment mechanism
  • a field lens unit 120A including a field lens 122A
  • a multispectral camera 130A the lens and the image pickup apparatus main body are not shown.
  • the mount adapter 110B adjustment mechanism having a size (length in the optical axis direction) different from that of the mount adapter 110A, the optical system 20 and the image pickup are performed.
  • the conjugation relationship can be adjusted by adjusting the distance to the device 100.
  • a field lens unit 120B having a field lens 122B (adjustment mechanism) having a focal length and / or an image magnification different from that of the field lens 122A (adjustment mechanism). It is also possible to adjust the conjugate relationship by adjusting the distance between the optical system 20 and the field lens. When the adjustment is performed by the field lens unit, the focal length and / or the image magnification may be changed by moving the lens forward and backward while the unit having a specific configuration is attached.
  • the part (d) in FIG. 3 shows the state of adjustment by the multispectral camera, and is coupled by attaching the multispectral camera 130B having a lens having a focal length and / or an image magnification different from that of the multispectral camera 130A. Can be adjusted. Further, when the adjustment is performed by the multispectral camera, the focal length and / or the image magnification may be changed by moving the lens forward and backward while the camera having a specific configuration is attached.
  • Adjustment by the mount adapter, field lens unit, and multi-spectral camera may be performed by only one of them or by combining a plurality of them. For example, by exchanging the mount adapter and the field lens unit, the distance between the exit pupil position of the optical system 20 (another optical system) and the field lens, and the distance between the field lens and the entrance pupil position of the multispectral camera can be adjusted. can do.
  • the field lens unit 120 includes a lens barrel 121 and a field lens 122 (field lens).
  • the field lens 122 moves forward and backward in the direction of the optical axis L by the user operating the adjustment mechanism described later.
  • the field lens 122 may be composed of one lens or a plurality of lenses.
  • FIG. 4 is a diagram showing an example of the adjustment mechanism of the field lens.
  • the part (a) in the figure is a perspective view of the lens barrel 124A, and the lens barrel 124A is formed with three slits 126A in a direction parallel to the optical axis L.
  • Part (b) of the figure is a front view of the lens unit 128, showing a field lens 122 and three arms 127.
  • the portion (c) in the figure shows a state in which the arm 127 is inserted into the slit 126A and the lens unit 128 is attached to the lens barrel 124A.
  • the arm 127 can move in the slit 126A in the direction of the optical axis L, whereby the user can move the field lens 122 forward and backward to adjust the conjugation relationship.
  • the field lens 122 is composed of a plurality of lenses, such an adjustment mechanism may be provided for a part of the plurality of lenses, or an adjustment mechanism may be provided for all of the plurality of lenses. ..
  • FIG. 5 is a diagram showing another example of the adjustment mechanism of the field lens.
  • the part (a) in the figure is a perspective view of the lens barrel 124B, and the lens barrel 124B is formed with a spiral slit 126B centered on the optical axis L.
  • the portion (b) in the figure shows a state in which the lens unit 128 similar to that in FIG. 4 is attached to the lens barrel 124B (a state in which the arm 127 is inserted into the slit 126B). In the state shown in the portion (b) of the figure, the lens unit 128 can move forward and backward while rotating about the optical axis L, whereby the user can move the field lens 122 forward and backward.
  • the distance between the field lens 122 and the optical system 20 (another optical system) and / or the multispectral camera 130 can be changed by an adjustment mechanism as shown in FIGS. 4 and 5. Further, by moving the field lens 122 forward and backward, the focal length may be changed to keep the image magnification constant.
  • ⁇ Adjustment of conjugate relationship with multispectral camera> 6 and 7 are perspective views and cross-sectional views of the multispectral camera 130, respectively.
  • an optical system including a first lens 132 and a second lens 136 is arranged in a lens barrel 131, and these lenses rotate the first lever 104 and the second lever 106, respectively.
  • the first lens 132 and the second lens 136 may be a lens group composed of a plurality of lenses.
  • the same mechanism (lens barrel, arm, slit, etc.) as in the case of the field lens unit can be used for advancing and retreating the first lens 132 and the second lens 136 (see FIGS. 4 and 5). That is, these mechanisms constitute an adjustment mechanism.
  • the lens barrel 131 is formed with a slit 108 (wavelength polarization filter unit attachment / detachment mechanism) at or near the pupil position of the image pickup device 100, and the wavelength polarization filter unit 134 (wavelength polarization) is formed in the slit 108.
  • the filter unit is inserted, and the optical axis is arranged so as to coincide with the optical axis L of the imaging optical system (first lens 132, second lens 136).
  • FIG. 8 is a diagram showing the configuration of the frame body 135, and FIG. 9 is a diagram showing the configuration of the wavelength polarizing filter unit 134.
  • the portions (a) to (f) in FIG. 8 are a rear view, a top view, a left side view, a bottom view, a perspective view, and a front view of the frame body 135 and / or the wavelength polarizing filter unit 134, respectively. Is.
  • the frame body 135 includes four opening regions 135A to 135D (plural opening regions).
  • the centers of gravity of these opening regions 135A to 135D are different from each other, and are also different from the center of gravity 135G as a whole.
  • the shapes of the opening regions 135A to 135D are not limited to the fan shape as shown in FIGS. 8 and 9, and may be other shapes such as a circle, a rectangle, and a polygon. Further, the shape and size may differ between the opening regions.
  • Filter sets 137A to 137D are arranged in these opening regions (the back surface side of the frame body 135), respectively, as shown in the portion (a) of FIG. 8 and FIG. ..
  • the filter sets 137A to 137D may be fixed with an adhesive.
  • the filter set 137A is configured by superimposing an optical filter 138A and a polarizing filter 139A.
  • the filter set 137B is configured by superimposing the optical filter 138B and the polarizing filter 139B.
  • the filter set 137C is configured by superimposing the optical filter 138C and the polarizing filter 139C.
  • the filter set 137D comprises an optical filter 138D and a polarizing filter 139D.
  • the optical filters 138A to 138D are a plurality of optical filters (color filters) including two or more optical filters that transmit light having at least a part of different wavelength bands, and the polarizing filters 139A to 139D are a plurality of polarized light having different polarization directions. It is a filter.
  • FIG. 10 is a diagram showing an example of the polarization direction of the polarizing filter, and as illustrated in the portions (a) to (d) of the figure, the polarizing directions of the polarizing filters 139A to 139D have a maximum of four directions (opening region). Same as the number of; for example, 0 °, 45 °, 90 °, 135 °).
  • the polarizing filters 139A to 139D may be filters that are polarized by a polarizing film, or may be filters that are polarized by a wire grid or a plurality of slits.
  • the wavelength polarizing filter unit 134 having the above-described configuration can be inserted and removed from the slit 108, whereby the attachment / detachment mechanism of the wavelength polarizing filter unit 134 is configured.
  • the user can select and use a wavelength polarizing filter unit having a desired wavelength band and a wavelength polarizing filter unit having a small decrease in peripheral illumination (vignetting).
  • the wavelength polarizing filter unit may be moved back and forth in the direction of the optical axis L by the mechanism (adjustment mechanism) as described above with respect to FIGS. 4 and 5. As a result, the conjugation relationship can be adjusted without changing the image magnification (see case 6 in FIG. 13).
  • the aperture region may be 3 or less, and correspondingly, the optical filter (color filter) and the polarizing filter may be 3 types or less.
  • the opening areas 135A to 135D may be shielded by a shielding member or the like.
  • FIG. 11 is a diagram showing the configuration of the image pickup device 138.
  • the image pickup element 138 is a CMOS (Complementary Metal-Oxide Semiconductor) type image pickup element (image sensor), and is a monochrome type image pickup element having a pixel array layer 211, a polarization filter element array layer 213, and a microlens array layer 215. be.
  • Each layer is arranged in the order of the pixel array layer 211, the polarizing filter element array layer 213 (a plurality of polarizing elements), and the microlens array layer 215 from the image plane side toward the object side.
  • the image sensor 138 is not limited to the CMOS type, but may be an XY address type or a CCD (Charge Coupled Device) type image sensor.
  • CCD Charge Coupled Device
  • the pixel array layer 211 is configured by two-dimensionally arranging a large number of photodiodes 212 (a plurality of pixel groups). One photodiode 212 constitutes one pixel. Each photodiode 212 is regularly arranged along the horizontal direction (x direction) and the vertical direction (y direction).
  • the polarizing filter element array layer 213 is configured by arranging four types of polarizing filter elements 214A, 214B, 214C, 214D (a plurality of polarizing elements) having different polarization directions (polarization directions of transmitted light) in a two-dimensional manner. ..
  • the polarization directions of the polarizing filter elements 214A, 214B, 214C, and 214D can be, for example, 0 °, 45 °, 90 °, and 135 °. Further, these polarization directions can correspond to the polarization directions (see FIG. 10) of the polarization filters 139A to 139D in the wavelength polarization filter unit 134 described above.
  • the image pickup device 138 includes a plurality of image groups that receive any of the light transmitted through the plurality of aperture regions by the polarizing filter elements 214A to 214D. These polarizing filter elements 214A to 214B are arranged at the same intervals as the photodiode 212, and are provided for each pixel.
  • the microlens array layer 215 includes microlenses 216 arranged in each pixel.
  • the image sensor 138 includes an analog amplification unit (not shown), an A / D converter (Analog-to-Digital Converter), and an image sensor drive unit.
  • an analog amplification unit not shown
  • an A / D converter Analog-to-Digital Converter
  • the image pickup apparatus main body 140 includes a processor 142.
  • the processor 142 (processor, computer) has each part (function) of an image acquisition unit 142A, a relative position detection unit 142B, an image support information generation unit 142C, and a display control unit 142D, and has a spectroscopic image. Acquisition (including interference removal), detection of relative position between the field lens and other optical system and / or multispectral camera, generation and output of image support information, etc.
  • the processing of the adjustment method by the processor 142 will be described in detail later.
  • the above-mentioned function of the processor 142 can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above include a GPU (Graphics Processing Unit), which is a processor specialized in image processing.
  • the various processors described above include PLD (Programmable Logic Device), which is a processor whose circuit configuration can be changed after manufacturing such as FPGA (Field Programmable Gate Array).
  • the above-mentioned various processors include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each function of the processor 142 may be realized by one processor or may be realized by a plurality of processors. Further, one processor may support a plurality of functions. Further, each function of the processor 142 may be realized by a circuit, or a part of each function may be realized by a circuit and the rest may be realized by a processor.
  • the above-mentioned processor or electric circuit executes software (program)
  • the code that can be read by the processor (computer) of the software to be executed and the data necessary for executing the software are stored non-temporarily by flash memory 144 (Flash Memory) or the like. It is stored in a target recording medium, and the processor refers to the software or data.
  • the software stored in the non-temporary recording medium includes an adjustment program for executing the adjustment method according to the present embodiment.
  • the code or data may be recorded on a non-temporary recording medium using various optical magnetic recording devices, a semiconductor memory, or the like instead of the flash memory 144.
  • the "semiconductor memory” includes a ROM (Read Only Memory) and an EEPROM (Electronically Erasable and Programmable ROM) in addition to the flash memory.
  • ROM Read Only Memory
  • EEPROM Electrically Erasable and Programmable ROM
  • RAM 146 is used as a temporary storage area.
  • the processor 142 detects the position of the field lens 122 (the position relative to the optical system 20 and the multispectral camera 130), and based on this position. Information necessary for adjusting the conjugate relationship (image support information) may be generated and output.
  • FIG. 13 is a table showing an example of the relationship between the relative position of the field lens and the elements to be adjusted. Further, FIG. 14 is a diagram showing a state of adjustment in cases 1 to 4, and FIG. 15 is a diagram showing a state of adjustment in case 5. As shown in these figures, a plurality of elements may be moved together. In this way, which element should be adjusted depends on the relative position and other conditions.
  • the relative position detection unit 142B (processor 142: see FIG. 12) is a field lens 122 and a multispectral camera 130 by means of a photo interrupter (not shown), an MR sensor (MR: Magneto Resistive Sensor / magnetoresistive sensor), and the like.
  • MR Magneto Resistive Sensor / magnetoresistive sensor
  • the positions of the lens (first lens 132, second lens 136) and the wavelength polarization filter unit 134 can be detected.
  • step S100 The user attaches the field lens unit 120 and the multispectral camera 130 to the image side of the optical system 20 (another optical system) (step S100), and the optical axis of the optical system 20, the field lens unit 120, and the multispectral camera 130. Make adjustments.
  • the image acquisition unit 142A (processor 142) uses the optical filters 138A to 138D (plural) based on the plurality of image signals output from the image sensor 138.
  • a plurality of images (spectral images) corresponding to the wavelength bands of the optical filter) are generated (step S120: imaging step).
  • the three aperture regions 135A to 135C are used by shielding any one of the aperture regions 135A to 135D (for example, the aperture region 135D) (that is, the image for the three wavelength bands ⁇ 1 to ⁇ 3). To obtain).
  • the ratio (interference ratio) at which the light of each wavelength band ⁇ 1 to ⁇ 3 emitted from the image pickup apparatus 100 is received by each pixel is the setting of the wavelength bands ⁇ 1 to ⁇ 3 of the light transmitted by the optical filters 138A to 138C, and the polarizing filter 139A to. It is uniquely determined from the setting of the polarization direction of the light transmitted by the 139C and the polarization direction (four directions) of the light received by each pixel of the image pickup element 138, and can be obtained in advance.
  • the image acquisition unit 142A uses a plurality of shielding members for shielding the interference ratio other than the specific aperture region among the plurality of aperture regions, and one of the plurality of shielding members is attached to the lens device. It can be calculated from a plurality of images acquired in the state of being.
  • the image acquisition unit 142A calculates a coefficient group (each element of the interference elimination matrix) for the interference elimination process from these images, and stores these coefficient groups in the flash memory 144.
  • the image acquisition unit 142A calculates a pixel signal corresponding to the wavelength bands ⁇ 1 to ⁇ 3 from the pixel signals obtained from each pixel, and uses the coefficient group acquired from the flash memory 144 to create an image (interference) in the wavelength bands ⁇ 1 to ⁇ 3. Is removed, and a spectroscopic image) is generated. Images in the wavelength bands ⁇ 1 to ⁇ 3 are output to the outside and stored in a storage device (not shown) as needed. Further, the display control unit 142D (processor) displays the spectroscopic image on the display device 300 (display device) (step S125: imaging step). The display of the spectroscopic image and the adjustment of the conjugate relationship based on the light / dark information of the spectroscopic image may be performed for all wavelength bands or for some wavelength bands.
  • the image support information generation unit 142C (processor) generates information (image support information) necessary for adjusting the conjugate relationship based on the light / dark information (light amount distribution) of at least one spectral image obtained by the multispectral camera 130.
  • Step S130 Generation step.
  • the image support information includes, for example, attachment / detachment or replacement of the mount adapter 110 between the optical system 20 (another optical system) and the multispectral camera 130, replacement of the field lens unit 120 and / or the multispectral camera 130, and field lens 122.
  • At least of the advancing / retreating direction of the first lens 132 and / or the advancing / retreating direction of the second lens 136, the advancing / retreating direction of the wavelength polarizing filter unit 134, and the replacement of the wavelength polarizing filter unit 134 may be replaced.
  • One may be included.
  • the image support information generation unit 142C can generate the above-mentioned image support information based on the direction of the aperture region and the light / dark information of the spectroscopic image. Specifically, as described above with respect to FIG. 8 and the like, the image support information can be generated by utilizing the fact that the center of gravity of the opening regions 135A to 135D is different from the center of gravity 135G as a whole.
  • FIG. 18 is a conceptual diagram showing the relationship between the direction of the aperture region and the light / dark information of the spectroscopic image.
  • an optical filter in this case, in this case
  • Optical filters 138B to 138D arranged in the aperture regions 135B to 135D
  • the first lens 132 is not shown in FIG.
  • the image 133 is an image of the wavelength polarization filter unit 134 formed by the first lens 132 (the entrance pupil of the multispectral camera 130).
  • Part (a) in FIG. 18 is a “diaphragm” (short thick line in the figure; wavelength polarizing filter) for such a specific wavelength band of light rays (upper ray 150, main ray 152, lower ray 154) transmitted through the field lens 122. It indicates a state in which it is not blocked (no vignetting has occurred) by (indicated by 134, which is the reference code of). In this state, no light-dark distribution occurs on the light-receiving surface of the image sensor 138.
  • the main ray 152 and the lower ray 154 are not blocked, but are above.
  • the light beam 150 is blocked by the "aperture", resulting in a brighter upper side and a darker lower side of the figure (limb darkening).
  • the upper ray 150 and the main ray 152 are not blocked, but the lower ray 154. Is blocked by the "aperture", and as a result, the lower side of the figure becomes brighter and the upper side becomes darker (the occurrence of limb darkening).
  • image support information can be generated in consideration of the relationship between the direction of such an opening region and the light / dark information of the spectroscopic image. For example, when the upper side of the spectroscopic image is bright and the lower side is dark, it is considered that the state is as shown in the portion (b) of FIG. By approaching the state shown in (1), the conjugation relationship of the pupil can be adjusted so that the light amount distribution of the spectroscopic image can be uniformly approached.
  • the display control unit 142D causes the display device 300 to display (output) the image support information (in the above example, the moving direction of the field lens 122) generated in this way (step S140: output step).
  • the message "Please lower the field lens backward" (message indicating the moving direction of the field lens 122) can be displayed (output) on the display device 300.
  • the display control unit 142D displays (outputs) a symbol such as an arrow indicating the moving direction (forward or alternate) in place of or in addition to displaying such a message (image support information) in characters. You may. Further, the display control unit 142D may display (output) the adjustment procedure as the image support information.
  • the display device 300 displays at least one of the image support information and the adjustment procedure as the image support information according to the output from the display control unit 142D.
  • the user can lower the field lens 122 backward (retract in the direction of the optical axis L) according to this image support information (step S150), and when adjustment (movement) is made, the image acquisition unit 142A and the display control unit 142D (processor). ) Makes the display device 300 display the image (spectral image) in the state after the movement (step S160: display step).
  • the image support information generation unit 142C determines whether or not the brightness of the image in the moved state is equal to or higher than the threshold value (step S170: brightness determination step, output step), and if the determination is affirmed (step S170: brightness determination step, output step). That is, when the image becomes brighter than the threshold value and vignetting is reduced), the process is terminated.
  • the image support information generation unit 142C for example, "sum of the brightness values of the entire screen when the maximum brightness of the image is standardized to 1" and "the reciprocal of the distance to the position of the center of gravity of the brightness value at the center of the screen". It can be adopted as the definition of "brightness". Even if the image support information generation unit 142C and the display control unit 142D display the image support information indicating that the adjustment of the conjugate relationship is completed on the display device 300 when the determination in step S170 is affirmed and the process is terminated. good.
  • step S170 determines whether or not the image has become brighter due to the movement (step S180: brightness determination step, output step). If this determination is denied, the image support information generation unit 142C and the display control unit 142D generate, as image support information, a message prompting the field lens 122 to reverse the direction of movement and display it on the display device 300 ( Step S190: generation step, output step). In step S195, the image support information generation unit 142C sets the brightness after movement as a new brightness (brightness determination step, generation step, output step), and returns to step S140. In the examples shown in FIGS. 16 and 17, the conjugate relationship can be adjusted in the same manner as in driving the focus lens by the “mountain climbing method” in a general camera system.
  • the conjugate relationship can be adjusted in this way, and a multispectral image with good image quality is obtained. be able to.
  • FIG. 19 is a table showing the influence of the shape of the opening region on the adjustment of the conjugate relationship.
  • the "Parameters related to the movement of the field lens” column summarizes the characteristics related to the movement of the field lens
  • the "Detachability” column summarizes the characteristics related to the attachment / detachment / replacement of the field lens
  • the "Other” column summarizes the characteristics related to the field lens. It summarizes the basic characteristics when using in combination.
  • the influence on the conjugation relationship adjustment differs depending on the shape of the opening region.
  • the centers of gravity of the plurality of aperture regions are different from each other (each aperture region is arranged asymmetrically with respect to the center of gravity of the entire aperture region).
  • the centers of gravity of the plurality of aperture regions are the same (for example, when they are concentric circles)
  • the amount of peripheral light is reduced and the amount of movement of the field lens is large.
  • the center of gravity of the aperture region is different, it is easy to determine the moving direction of the field lens as in the example described later.
  • the attachment / detachment of the field lens and the applicable F number also depend on the shape of the aperture region.
  • the image support information generation unit 142C and the display control unit 142D can generate and display image support information in consideration of such circumstances.
  • FIG. 20 is a diagram showing a specific example (when the field lens 122 is moved) of the conjugate relationship adjustment in consideration of the shape of the aperture region.
  • the opening regions 160A to 160D are fan-shaped, and their centers of gravity are different.
  • the remaining opening regions 160A, 160C, 160D act as a kind of "aperture” or "shielding member" as described above.
  • Each aperture region shall be fitted with an optical filter that differs in at least a portion of the wavelength band).
  • the image support information generation unit 142C and the display control unit 142D urge the user to increase the distance between the field lens 122 and the multispectral camera 130 (the field lens 122 is extended forward) (image support).
  • Information is generated (generation step, output step) and displayed on the display device 300 (output step).
  • the part (b4) in FIG. 20 is an example of a spectroscopic image in a state where the user moves the field lens 122 based on the image assist information, but in this example, a dark region still remains on the right side of the image. Therefore, the image support information generation unit 142C and the display control unit 142D again generate information prompting the user to increase the distance between the field lens 122 and the multispectral camera 130, and display the information on the display device 300.
  • the part (b4) in FIG. 20 is an example of a spectroscopic image in a state where the user moves the field lens again, and the brightness becomes equal to or higher than the threshold value and the distribution of light and darkness is reduced, so that the process is terminated.
  • the portion (c1) in FIG. 20 is a diagram showing an opening region 160D in which the left side is open, and in this case, the right side of the spectroscopic image becomes bright as shown in the portion (c2) in the same figure. Therefore, the image support information generation unit 142C and the display control unit 142D also prompt the user to increase the distance between the field lens 122 and the multispectral camera 130, as in the parts (b2) to (b4) in the figure. Image support information) is generated (generation step, output step) and displayed on the display device 300 (output step). As a result, as shown in the portion (c4) of FIG. 20, when the brightness becomes equal to or more than the threshold value and the distribution of light and dark becomes small, the process ends.
  • the image pickup device imaging device 100, image pickup system 10
  • the adjustment method, and the adjustment program according to the first embodiment it is possible to acquire a multispectral image with good image quality.
  • FIG. 21 is a diagram showing a state of connection with a microscope 30 (an aspect of “another optical system”).
  • the microscope 30 includes an optical system including an objective lens 32, and the user can observe a specimen or the like placed on the stage 34 through the eyepiece 36.
  • the microscope 30 is provided with a camera connection unit 38, and an image pickup device 100 (one aspect of the image pickup device according to the present invention) can be connected to the camera connection unit 38.
  • a part of the luminous flux from the specimen or the like is guided to the image pickup apparatus 100 via the camera connection portion 38, and the conjugate relationship of the pupils is adjusted by the image pickup apparatus 100 in the same manner as described above for the first embodiment. It is possible to acquire a multispectral image of image quality.
  • the processing of the adjustment method is performed by the processor 142 and the computer 330 (processor), and the acquired image can be displayed on the display device 300. The user can perform operations necessary for these processes via the operation unit 320.
  • the above-mentioned image pickup apparatus main body 140 may be connected to the side of the microscope 30, or may be configured integrally with the computer 330 as shown in FIG. 21.
  • FIG. 22 is a diagram showing a state of connection with the zoom optical system. Also in this case, similarly to the first embodiment and the aspect of FIG. 21, the conjugate relationship of the pupils can be adjusted by the image pickup apparatus 100 to obtain a multispectral image with good image quality.
  • the polarizing filters 139A to 139D provided in the wavelength polarizing filter unit 134 and the polarizing filter elements 214A to 214D provided in the image pickup device 138 receive light that has passed through any of the aperture regions.
  • the present invention is not limited to such an embodiment, and if the image pickup device uses a pupil-split type multispectral camera, the conjugate relationship can be adjusted by moving the field lens or the like without using polarized light. This can be done so that a multispectral image with good image quality can be obtained.
  • the “other optical system” and the image pickup device (imaging device 100) according to the present invention are connected via a mount adapter 110 (adjustment mechanism) or the like, and each element is also connected in the image pickup device 100. Although connected, in the present invention these elements do not necessarily have to be mechanically connected.
  • the optical system 20 (another optical system) and the image pickup device 101 (imaging device) can be arranged apart from each other, and the image pickup device 101 also has a field lens unit.
  • the 120 and the multispectral camera 130 can be arranged apart from each other.
  • the optical system 20, the field lens unit 120, and the multispectral camera 130 are each held by a member (not shown) such as a tripod or a guide rail, or placed on an adjustment table.
  • the spacing of each element can be adjusted, the lenses (field lens 122, first lens 132, second lens 136) can be moved forward and backward, and can be attached / detached / replaced in the same manner as in the above-described embodiment.
  • This makes it possible to adjust the conjugation relationship of the pupil and obtain a multispectral image with good image quality.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本発明の一つの実施形態は、良好な画質のマルチスペクトル画像を取得できる撮像装置、調整方法、及び調整プログラムを提供する。本発明の一態様では、撮像装置は、他の光学系の像側に配置される撮像装置であって、複数の波長帯域について画像を取得するマルチスペクトルカメラと、他の光学系とマルチスペクトルカメラとを中継するフィールドレンズと、他の光学系の射出瞳位置とマルチスペクトルカメラの入射瞳位置との共役関係を調整する調整機構と、を備え、マルチスペクトルカメラは、瞳位置または瞳位置の近傍に配置され、重心がそれぞれ異なる複数の開口領域を備える光学部材と、複数の開口領域に配置される複数の光学フィルタと、複数の開口領域に配置される偏光フィルタと、を有する波長偏光フィルタユニットと、撮像素子と、プロセッサと、を備える。

Description

撮像装置、調整方法、及び調整プログラム
 本発明は、マルチスペクトル画像を撮像する撮像装置、並びに撮像装置の調整方法及び調整プログラムに関する。
 マルチスペクトル画像を撮像するための技術に関し、例えば特許文献1には、分光フィルタアレイとフィールドレンズを備える撮像装置が記載されている。
特開2019-082412号公報
 本開示の技術に係る一つの実施形態は、良好な画質のマルチスペクトル画像を取得できる撮像装置、調整方法、及び調整プログラムを提供する。
 本発明の第1の態様に係る撮像装置は、他の光学系の像側に配置される撮像装置であって、複数の波長帯域について画像を取得するマルチスペクトルカメラと、他の光学系とマルチスペクトルカメラとを中継するフィールドレンズと、他の光学系の射出瞳位置とマルチスペクトルカメラの入射瞳位置との共役関係を調整する調整機構と、を備え、マルチスペクトルカメラは、瞳位置または瞳位置の近傍に配置され複数の開口領域を備える枠体であって、複数の開口領域の重心がそれぞれ異なる枠体と、複数の開口領域に配置され少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域に配置され偏光方向が異なる複数の偏光フィルタと、を有する波長偏光フィルタユニットと、複数の開口領域のいずれかを透過した光を受光する複数の画素群を含む撮像素子と、撮像素子から出力される複数の画像信号に基づいて画像を生成するプロセッサと、を備える。
 第2の態様に係る撮像装置は第1の態様において、調整機構は、他の光学系とフィールドレンズとの距離を調整する。
 第3の態様に係る撮像装置は第1の態様において、調整機構は、フィールドレンズとマルチスペクトルカメラとの距離を調整する。
 第4の態様に係る撮像装置は第1から第3の態様のいずれか1つにおいて、調整機構は、他の光学系の射出瞳位置とフィールドレンズとの距離、及びフィールドレンズとマルチスペクトルカメラの入射瞳位置との距離を調整する。
 第5の態様に係る撮像装置は第1から第4の態様のいずれか1つにおいて、調整機構は、像倍率を一定に保って調整を行う。
 第6の態様に係る撮像装置は第5の態様において、調整機構は、波長偏光フィルタユニットの位置及び/またはフィールドレンズの焦点距離を変えて像倍率を一定に保つ。
 第7の態様に係る撮像装置は第1から第6の態様のいずれか1つにおいて、調整機構は波長偏光フィルタユニットの着脱機構である。
 第8の態様に係る撮像装置は第1から第7の態様のいずれか1つにおいて、プロセッサは、調整に必要な画像支援情報を出力する。
 第9の態様に係る撮像装置は第8の態様において、表示装置をさらに有し、プロセッサは、マルチスペクトルカメラで得られる少なくとも1つの分光画像の明暗情報に基づいた画像支援情報を出力する。
 第10の態様に係る撮像装置は第9の態様において、プロセッサは、開口領域の方向と明暗情報とに基づいて、画像支援情報としての調整の手順を出力する。
 第11の態様に係る撮像装置は第8から第10の態様のいずれか1つにおいて、表示装置をさらに有し、表示装置は、プロセッサから出力された画像支援情報及び画像支援情報としての調整の手順の少なくとも一方を表示する。
 本発明の第12の態様に係る調整方法は、瞳位置または前記瞳位置の近傍に配置され複数の開口領域を備える枠体であって、複数の開口領域の重心がそれぞれ異なる枠体と、複数の開口領域に配置され少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域に配置され偏光方向が異なる複数の偏光フィルタと、を備え、複数の波長帯域について画像を取得するマルチスペクトルカメラと、他の光学系とマルチスペクトルカメラとを中継するフィールドレンズと、他の光学系の射出瞳位置とマルチスペクトルカメラの入射瞳位置との共役関係を調整する調整機構と、を備え、他の光学系の像側に配置される撮像装置の調整方法であって、調整に必要な画像支援情報を出力する出力ステップを有する。
 第13の態様に係る調整方法は第12の態様において、出力ステップでは、マルチスペクトルカメラで得られる少なくとも1つの分光画像の明暗情報に基づいた画像支援情報を表示装置に表示する。
 第14の態様に係る調整方法は第13の態様において、出力ステップでは、開口領域の方向と明暗情報とに基づいて、画像支援情報としての調整の手順を表示装置に表示する。
 本発明の第15の態様に係る調整プログラムは、第12から第14のいずれか1つに係る調整方法をコンピュータに実行させる。
図1は、第1の実施形態に係る撮像システムの構成を示す図である。 図2は、撮像装置の構成を示す図である。 図3は、各要素の交換等による共役関係の調整の様子を示す概念図である。 図4は、フィールドレンズの調整機構の例を示す図である。 図5は、フィールドレンズの調整機構の他の例を示す図である。 図6は、マルチスペクトルカメラの斜視図である。 図7は、マルチスペクトルカメラの断面図である。 図8は、枠体の構成を示す図である。 図9は、波長偏光フィルタユニットの構成を示す図である。 図10は、偏光フィルタの偏光方向を示す図である。 図11は、撮像素子の構成を示す図である。 図12は、プロセッサの構成を示す図である。 図13は、フィールドレンズの相対位置等と調整する要素との関係の例を示す表である。 図14は、ケース1~4での調整の様子を示す図である。 図15は、ケース5での調整の様子を示す他の図である。 図16は、共役関係調整の手順を示すフローチャート(1/2)である。 図17は、共役関係調整の手順を示すフローチャート(2/2)である。 図18は、開口領域の方向と分光画像の明暗情報との関係を示す概念図である。 図19は、開口領域の形状による共役関係調整への影響を示す表である。 図20は、開口領域の形状を考慮した共役関係調整の具体例を示す図である。 図21は、顕微鏡との接続の様子を示す図である。 図22は、ズーム光学系との接続の様子を示す図である。 図23は、要素同士を接続しない場合のシステム構成を示す図である。
 <マルチスペクトルカメラの他の光学系への適用>
 複数の波長帯域について画像を撮像できるマルチスペクトルカメラを他の光学系と組み合わせて用いることで、マルチスペクトル撮像機能を持たない光学系でも複数の波長帯域について画像を撮像することが可能となるが、他の光学系にマルチスペクトルカメラをリレーする場合、瞳の共役関係が適切に調整されていないと、撮像画角内の周辺領域等で光量が低下するおそれがある(いわゆる「ケラレ」が発生するおそれがある)。この問題を解決するため、一般的なリレー光学系ではフィールドレンズを挿入して瞳の共役関係を改善する。
 マルチスペクトルカメラには種々の構成が考えられるが、瞳分割型の場合、瞳の共役関係をより厳密に満たす必要がある。また、特定の光学系にリレーするためのフィールドレンズはそれ以外の光学系に使用できない場合がある。しかしながら、従来の技術はこのような問題を考慮したものではなかった。
 このような事情の下、本願発明者らは良好な画質のマルチスペクトル画像を取得できる撮像装置、調整方法、及び調整プログラムの着想を得た。以下、添付図面を参照しつつ、本発明のいくつかの実施形態を説明する。
 <第1の実施形態>
 <撮像システムの構成>
 図1は第1の実施形態に係る撮像システム10(撮像システム、撮像装置)の構成を示す図である。撮像システム10は光学系20(他の光学系;レンズ22を含むものとする)、撮像装置100、表示装置300(液晶ディスプレイ等の表示装置)、記憶装置310(光磁気記録装置、半導体メモリ等)、及び操作部320(キーボード、マウス、スイッチ等)により構成され、撮像装置100が光学系20の像側に配置される。後述する画像支援情報を音声により出力するスピーカーを設けてもよい。なお、光学系20の例については後述する(図21、22を参照)。
 <撮像装置の構成>
 図2は撮像装置100(撮像装置)の構成を示す図である。図1,2に示すように、撮像装置100はマウントアダプタ110(調整機構)と、フィールドレンズユニット120(フィールドレンズ)と、マルチスペクトルカメラ130(マルチスペクトルカメラ)と、撮像装置本体140(マルチスペクトルカメラ)を備える。フィールドレンズ122は、光学系20とマルチスペクトルカメラ130とを中継するレンズである。
 これらの要素はスクリューマウントやバヨネットマウント(これらのマウントは調整機構の一態様である)により互いに着脱することができる。スクリューマウントの規格には例えばCマウントやCSマウントがあり、Cマウントは口径が25.4mm、ネジピッチが0.794mm、フランジバックが17.526mm(図2を参照)である。
 <共役関係の調整の概要>
 第1の実施形態において、共役関係の調整とは、光学系20(他の光学系)の射出瞳位置と撮像装置100(撮像装置)の入射瞳位置とを共役にすることであり、ユーザは大きさや特性の異なる要素の着脱、レンズの移動等(調整機構による調整)により共役関係を調整する。これにより、分光画像における周辺光量の低下(ケラレ)を防止することができる。
 共役関係の調整は、分光画像の明暗情報に基づいて行うことができる。具体的には、詳細を後述するように、プロセッサ142がマルチスペクトルカメラ130で得られる少なくとも1つの分光画像の明暗情報(画像内の光量分布)を算出し、この明暗情報に基づいて共役関係の調整に必要な情報(画像支援情報)を生成及び出力する。ユーザは、この画像支援情報に従って構成要素の着脱交換や移動等を行うことで、共役関係を調整することができる。
 図3は各要素の交換等による共役関係の調整の様子を示す概念図である。図3の(a)部分に示すように、撮像装置100はマウントアダプタ110A(調整機構)、フィールドレンズ122Aを含むフィールドレンズユニット120A、マルチスペクトルカメラ130A(レンズ及び撮像装置本体の図示は省略する)により構成することができる。この場合、同図の(b)部分に示すように、マウントアダプタ110Aとは大きさ(光軸方向の長さ)の異なるマウントアダプタ110B(調整機構)を装着することで、光学系20と撮像装置100との距離を調整して共役関係を調整することができる。
 また、同図の(c)部分に示すように、フィールドレンズ122A(調整機構)とは焦点距離及び/または像倍率が異なるフィールドレンズ122B(調整機構)を有するフィールドレンズユニット120Bを着脱することで、光学系20とフィールドレンズとの距離を調整して共役関係を調整することもできる。フィールドレンズユニットにより調整を行う場合、特定の構成のユニットを装着した状態でレンズを進退させることにより、焦点距離及び/または像倍率を変えてもよい。
 図3の(d)部分はマルチスペクトルカメラによる調整の様子を示しており、マルチスペクトルカメラ130Aとは焦点距離及び/または像倍率が異なるレンズを有するマルチスペクトルカメラ130Bを装着することで、共役関係を調整することができる。また、マルチスペクトルカメラにより調整を行う場合も、特定の構成のカメラを装着した状態でレンズを進退させて焦点距離及び/または像倍率を変えてもよい。
 マウントアダプタ、フィールドレンズユニット、マルチスペクトルカメラによる調整は、いずれか1つのみを行ってもよいし、複数を組み合わせて行ってもよい。例えば、マウントアダプタ及びフィールドレンズユニットを交換することで、光学系20(他の光学系)の射出瞳位置とフィールドレンズとの距離、及びフィールドレンズとマルチスペクトルカメラの入射瞳位置との距離を調整することができる。
 <フィールドレンズユニットでの共役関係の調整>
 図1,2に示すように、フィールドレンズユニット120は鏡筒121と、フィールドレンズ122(フィールドレンズ)と、を有する。フィールドレンズ122は、後述する調整機構をユーザが操作することにより、光軸Lの方向に進退する。なお、フィールドレンズ122は1つのレンズで構成されていてもよいし、複数のレンズで構成されていてもよい。
 図4はフィールドレンズの調整機構の例を示す図である。同図の(a)部分は鏡筒124Aの斜視図であり、鏡筒124Aには、光軸Lと平行な方向に3本のスリット126Aが形成されている。同図の(b)部分はレンズユニット128の正面図であり、フィールドレンズ122と3本のアーム127が示されている。同図の(c)部分は、アーム127がスリット126Aに挿入されてレンズユニット128を鏡筒124Aに装着した状態を示している。同部分に示す状態において、アーム127はスリット126A内を光軸Lの方向に移動することができ、これによりユーザはフィールドレンズ122を進退させて共役関係を調整することができる。なお、フィールドレンズ122が複数のレンズから構成されている場合、当該複数のレンズのうち一部についてこのような調整機構を設けてもよいし、複数のレンズの全てについて調整機構を設けてもよい。
 図5はフィールドレンズの調整機構の他の例を示す図である。同図の(a)部分は鏡筒124Bの斜視図であり、鏡筒124Bには、光軸Lを中心としたらせん状のスリット126Bが形成されている。同図の(b)部分は、図4と同様のレンズユニット128が鏡筒124Bに装着された状態(アーム127がスリット126Bに挿入された状態)を示している。同図の(b)部分に示す状態において、レンズユニット128は光軸Lを中心として回転しながら進退することができ、これによりユーザはフィールドレンズ122を進退させることができる。
 フィールドレンズユニット120では、図4,5に示すような調整機構によりフィールドレンズ122と光学系20(他の光学系)及び/またはマルチスペクトルカメラ130との距離を変化させることができる。また、フィールドレンズ122を進退させることにより、焦点距離を変えて像倍率を一定に保つようにしてもよい。
 <マルチスペクトルカメラでの共役関係の調整>
 図6,7はそれぞれマルチスペクトルカメラ130の斜視図、断面図である。これらの図に示すように、マルチスペクトルカメラ130はレンズ鏡筒131に第1レンズ132及び第2レンズ136を含む光学系が配置され、これらレンズはそれぞれ第1レバー104,第2レバー106を回動させることにより光軸Lの方向に進退して、焦点距離及び/または像倍率が調整される。なお、第1レンズ132及び第2レンズ136は、複数のレンズから構成されるレンズ群でもよい。第1レンズ132、第2レンズ136の進退には、フィールドレンズユニットの場合と同様の機構(鏡筒、アーム、スリット等)を用いることができる(図4,5を参照)。すなわち、これらの機構が調整機構を構成する。
 また、レンズ鏡筒131には、撮像装置100の瞳位置または瞳位置の近傍にスリット108(波長偏光フィルタユニットの着脱機構)が形成されており、このスリット108に波長偏光フィルタユニット134(波長偏光フィルタユニット)が挿入されて、光軸が撮像光学系(第1レンズ132、第2レンズ136)の光軸Lと一致した状態で配置される。
 <波長偏光フィルタユニットの構成>
 図8は枠体135の構成を示す図であり、図9は波長偏光フィルタユニット134の構成を示す図である。具体的には、図8の(a)部分~(f)部分は、それぞれ枠体135及び/または波長偏光フィルタユニット134の背面図、上面図、左側面図、底面図、斜視図、正面図である。同図の(e)部分及び(f)部分に示すように、枠体135は4つの開口領域135A~135D(複数の開口領域)を備える。これら開口領域135A~135Dの重心はそれぞれ異なっており、全体としての重心135Gとも異なっている。開口領域135A~135Dの形状は図8,9に示すような扇型に限らず、円形や矩形、多角形等他の形状でもよい。また、開口領域間で形状や大きさが異なっていてもよい。これら開口領域(枠体135の裏面側)には、図8の(a)部分及び図9に示すように、フィルタセット137A~137D(複数の光学フィルタ、複数の偏光フィルタ)がそれぞれ配置される。フィルタセット137A~137Dは接着剤で固定してもよい。
 図9に示すように、フィルタセット137Aは、光学フィルタ138Aと偏光フィルタ139Aを重ねて構成される。また、フィルタセット137Bは光学フィルタ138Bと偏光フィルタ139Bとを重ねて構成される。また、フィルタセット137Cは光学フィルタ138Cと偏光フィルタ139Cとを重ねて構成される。同様に、フィルタセット137Dは光学フィルタ138Dと偏光フィルタ139Dとを備える。これらフィルタセット137A~137Dは、枠体135に装着される。
 光学フィルタ138A~138Dは少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタ(カラーフィルタ)であり、偏光フィルタ139A~139Dは偏光方向が異なる複数の偏光フィルタである。図10は偏光フィルタの偏光方向の例を示す図であり、同図の(a)部分~(d)部分に例示するように、偏光フィルタ139A~139Dの偏光方向は最大で4方向(開口領域の数と同じ;例えば0°,45°,90°,135°)とすることができる。なお、偏光フィルタ139A~139Dは偏光フィルムにより偏光するフィルタでもよいし、ワイヤーグリッドあるいは複数のスリットにより偏光するフィルタでもよい。
 上述した構成の波長偏光フィルタユニット134はスリット108に対し挿抜することができ、これにより波長偏光フィルタユニット134の着脱機構が構成される。ユーザは、所望の波長帯域を有する波長偏光フィルタユニットや、周辺光量の低下(ケラレ)の少ない波長偏光フィルタユニットを選択して用いることができる。なお、図4,5について上述したような機構(調整機構)により、波長偏光フィルタユニットを光軸Lの方向に進退できるようにしてもよい。これにより、像倍率を変化させずに共役関係を調整することができる(図13のケース6を参照)。
 なお、開口領域は3つ以下でもよく、これに対応して光学フィルタ(カラーフィルタ)及び偏光フィルタを3種類以下としてもよい。この場合、開口領域135A~135Dのうち1つ以上を遮蔽部材等で遮蔽してもよい。
 <撮像素子の構成>
 図11は、撮像素子138の構成を示す図である。撮像素子138は、CMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子(イメージセンサ)であり、ピクセルアレイ層211、偏光フィルタ素子アレイ層213、及びマイクロレンズアレイ層215を有するモノクローム型の撮像素子である。各層は、像面側から物体側に向かって、ピクセルアレイ層211、偏光フィルタ素子アレイ層213(複数の偏光素子)、マイクロレンズアレイ層215の順で配置される。なお、撮像素子138は、CMOS型に限らず、XYアドレス型、またはCCD(Charge Coupled Device)型のイメージセンサでもよい。
 ピクセルアレイ層211は、多数のフォトダイオード212(複数の画素群)を二次元的に配列して構成される。1つのフォトダイオード212は、1つの画素を構成する。各フォトダイオード212は、水平方向(x方向)及び垂直方向(y方向)に沿って規則的に配置される。
 偏光フィルタ素子アレイ層213は、偏光方向(透過させる光の偏光方向)が異なる4種類の偏光フィルタ素子214A,214B,214C,214D(複数の偏光素子)を二次元状に配列して構成される。偏光フィルタ素子214A,214B,214C,214Dの偏光方向は、例えば0°,45°,90°,135°とすることができる。また、これらの偏光方向は、上述した波長偏光フィルタユニット134における偏光フィルタ139A~139Dの偏光方向(図10参照)に対応させることができる。撮像素子138は、これら偏光フィルタ素子214A~214Dにより、複数の開口領域を透過した光のいずれかを受光する複数の画像群を含む。これらの偏光フィルタ素子214A~214Bはフォトダイオード212と同じ間隔で配置され、画素ごとに備えられる。
 マイクロレンズアレイ層215は、各画素に配列されたマイクロレンズ216を備える。
 なお、撮像素子138は図示せぬアナログ増幅部、A/D変換器(Analog-to-Digital Converter)、及び撮像素子駆動部を備える。
 <プロセッサの構成>
 図1に示したように、撮像装置本体140はプロセッサ142を備える。プロセッサ142(プロセッサ、コンピュータ)は、図12に示すように、画像取得部142A、相対位置検知部142B、画像支援情報生成部142C、表示制御部142Dの各部(機能)を有し、分光画像の取得(混信除去を含む)、フィールドレンズと他の光学系及び/またはマルチスペクトルカメラとの相対位置の検知、画像支援情報の生成及び出力等を行う。プロセッサ142による調整方法の処理については、詳細を後述する。
 上述したプロセッサ142の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)が含まれる。また、上述した各種のプロセッサには、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
 なお、プロセッサ142の各機能は1つのプロセッサで実現されていてもよいし、複数のプロセッサで実現されていてもよい。また、1つのプロセッサが複数の機能に対応していてもよい。さらに、プロセッサ142の各機能は回路によって実現されていてもよく、また各機能の一部が回路で実現され、残りがプロセッサによって実現されていてもよい。
 上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードや、ソフトウェアの実行に必要なデータをフラッシュメモリ144(Flash Memory)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアやデータを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本実施形態に係る調整方法を実行するための調整プログラムを含む。フラッシュメモリ144ではなく各種光磁気記録装置、半導体メモリ等を用いた非一時的記録媒体にコードやデータを記録してもよい。ここで、「半導体メモリ」にはフラッシュメモリの他にROM(Read Only Memory)やEEPROM(Electronically Erasable and Programmable ROM)が含まれる。ソフトウェアを用いた処理の際には、例えばRAM146が一時的記憶領域として用いられる。
 <共役関係調整の具体的態様>
 <フィールドレンズの位置に基づく調整>
 第1の実施形態に係る撮像システム10(撮像装置100)において、プロセッサ142は、フィールドレンズ122の位置(光学系20,マルチスペクトルカメラ130との相対位置)等を検知し、この位置に基づいて共役関係の調整に必要な情報(画像支援情報)を生成及び出力してもよい。
 図13は、フィールドレンズの相対位置等と調整する要素との関係の例を示す表である。また、図14はケース1~4での調整の様子を示す図であり、図15はケース5での調整の様子を示す図である。これらの図に示すように、複数の要素を一体として動かしてもよい。このように、相対位置等の状況によっていずれの要素を調整すべきかが異なる。
 なお、相対位置検知部142B(プロセッサ142:図12を参照)は、図示せぬフォトインタラプタ、MRセンサ(MR:Magneto Resistive Sensor/磁気抵抗効果素子)等により、フィールドレンズ122、マルチスペクトルカメラ130のレンズ(第1レンズ132、第2レンズ136)、及び波長偏光フィルタユニット134の位置を検知することができる。
 <共役関係調整の手順>
 図16,17は共役関係調整の手順を示すフローチャートである。これらのフローチャートでは、主としてフィールドレンズ122の移動により共役関係を調整する場合について示している。なお、これらのフローチャートについては、プロセッサによる処理とユーザによる調整の両方を含めて説明する。
 <分光画像の生成>
 ユーザは、光学系20(他の光学系)の像側に、フィールドレンズユニット120及びマルチスペクトルカメラ130を取り付け(ステップS100)、光学系20、フィールドレンズユニット120、及びマルチスペクトルカメラ130の光軸調整を行う。この状態でユーザが操作部320等を介して撮像を指示すると、画像取得部142A(プロセッサ142)は、撮像素子138から出力される複数の画像信号に基づいて、光学フィルタ138A~138D(複数の光学フィルタ)の波長帯域にそれぞれ対応する複数の画像(分光画像)を生成する(ステップS120:撮像ステップ)。
 <分光画像の混信除去>
 光学フィルタ138A~138Dの波長帯域に対応した画像を得るには、撮像素子138の各画素から各波長帯域に対応した画素信号を分離して抽出する必要があるが、これらの画像データには混信(クロストーク)が生じている。すなわち、各画素には各波長帯域の光が入射するため、生成される画像は複数の波長帯域の画像が混合した画像となる。このため、画像取得部142A(プロセッサ)は、混信除去処理を行って各波長帯域の画像データを生成する。なお、ここでは、開口領域135A~135Dのうちいずれか(例えば、開口領域135D)を遮蔽することにより、3つの開口領域135A~135Cを利用する(すなわち、3つの波長帯域λ1~λ3についての画像を取得する)ものとする。
 撮像装置100から出射した各波長帯域λ1~λ3の光が各画素で受光される割合(混信比率)は、光学フィルタ138A~138Cが透過させる光の波長帯域λ1~λ3の設定、偏光フィルタ139A~139Cが透過させる光の偏光方向の設定、撮像素子138の各画素が受光する光の偏光方向(4方向)の設定から一意に定まり、事前に求めることができる。画像取得部142Aは、この混信比率を、複数の開口領域のうち特定の開口領域以外の開口領域を遮蔽する複数の遮蔽部材を用いて、複数の遮蔽部材のうちいずれかがレンズ装置に装着された状態で取得した複数の画像から算出することができる。画像取得部142Aは、これらの画像から混信除去処理のための係数群(混信除去行列の各要素)を算出し、フラッシュメモリ144にこれら係数群を記憶しておく。
 画像取得部142Aは、各画素から得られる画素信号から、波長帯域λ1~λ3に対応した画素信号を算出し、フラッシュメモリ144から取得した係数群を用いて、波長帯域λ1~λ3の画像(混信が除去された画像、分光画像)を生成する。波長帯域λ1~λ3の画像は外部に出力され、必要に応じて記憶装置(不図示)に記憶される。また、表示制御部142D(プロセッサ)は、分光画像を表示装置300(表示装置)に表示する(ステップS125:撮像ステップ)。なお、分光画像の表示、及び分光画像の明暗情報に基づく共役関係の調整は、全ての波長帯域について行ってもよいし、一部の波長帯域について行ってもよい。
 <画像支援情報の生成及び出力>
 画像支援情報生成部142C(プロセッサ)は、マルチスペクトルカメラ130で得られる少なくとも1つの分光画像の明暗情報(光量分布)に基づいて、共役関係の調整に必要な情報(画像支援情報)を生成する(ステップS130:生成ステップ)。画像支援情報は、例えば光学系20(他の光学系)とマルチスペクトルカメラ130との間へのマウントアダプタ110の着脱または交換、フィールドレンズユニット120及び/またはマルチスペクトルカメラ130の交換、フィールドレンズ122の進退方向、第1レンズ132及び/または第2レンズ136の進退方向、波長偏光フィルタユニット134の進退方向、波長偏光フィルタユニット134の交換(光学フィルタ138A~138Dの交換でもよい)、のうち少なくとも1つを含んでいてよい。
 画像支援情報生成部142Cは、開口領域の方向と分光画像の明暗情報とに基づいて、上述した画像支援情報を生成することができる。具体的には、図8等について上述したように、開口領域135A~135Dの重心が全体としての重心135Gと異なることを利用して画像支援情報を生成することができる。
 <開口領域の方向と分光画像の明暗情報との関係>
 図18は、開口領域の方向と分光画像の明暗情報との関係を示す概念図である。同図に示すように、マルチスペクトルカメラ130においては、特定の波長帯域に着目すると、その波長帯域に対応する開口領域(例えば、開口領域135A)以外の開口領域に配置された光学フィルタ(この場合、開口領域135B~135Dに配置された光学フィルタ138B~138D)は、その「特定の波長帯域」以外の波長帯域の光(の少なくとも一部)を遮蔽するので、「特定の波長帯域」の光に対する絞りと同様に作用する。なお、説明の便宜上、図18において第1レンズ132は図示を省略している。像133は、第1レンズ132で形成される波長偏光フィルタユニット134の像(マルチスペクトルカメラ130の入射瞳)である。
 図18の(a)部分は、フィールドレンズ122を透過した光線(上光線150,主光線152,下光線154)そのような特定の波長帯域に対する「絞り」(図中の短い太線;波長偏光フィルタの参照符号である134により示している)によってブロックされていない(ケラレが生じていない)状態を示している。この状態では撮像素子138の受光面において明暗の分布は生じていない。これに対し同図の(b)部分に示す状態(フィールドレンズ122が(a)部分に示す状態よりも被写体側にある状態)では、主光線152及び下光線154はブロックされていないが、上光線150が「絞り」によってブロックされており、その結果、図の上側が明るく下側が暗くなる(周辺減光の発生)。また、同図の(c)部分に示す状態(フィールドレンズ122が(a)部分に示す状態よりも像側にある状態)では、上光線150及び主光線152ブロックされていないが、下光線154が「絞り」によってブロックされており、その結果、図の下側が明るく上側が暗くなる(周辺減光の発生)。
 本発明に係る撮像装置では、このような開口領域の方向と分光画像の明暗情報との関係を考慮して画像支援情報を生成することができる。例えば、分光画像の上側が明るく下側が暗い場合は図18の(b)部分のような状態であると考えられるから、フィールドレンズ122を後ろ(像側)に下げて同図の(a)部分に示す状態に近づけることで、瞳の共役関係を調整して分光画像の光量分布を一様に近づけることができる。
 表示制御部142D(プロセッサ)は、このようにして生成した画像支援情報(上述の例では、フィールドレンズ122の移動方向)を表示装置300に表示(出力)させる(ステップS140:出力ステップ)。例えば、上述の例では「フィールドレンズを後ろに下げて下さい」とのメッセージ(フィールドレンズ122の移動方向を示すメッセージ)を表示装置300に表示(出力)させることができる。表示制御部142Dは、このようなメッセージ(画像支援情報)を文字で表示するのに代えて、またはこれに加えて、移動方向(前進または交代)を示す矢印等の記号を表示(出力)させてもよい。また、表示制御部142Dは、画像支援情報としての調整の手順を表示(出力)させてもよい。表示装置300は、表示制御部142Dからの出力に従って、画像支援情報及び画像支援情報としての調整の手順の少なくとも一方を表示する。ユーザはこの画像支援情報に従ってフィールドレンズ122を後ろに下げる(光軸Lの方向で退ける)ことができ(ステップS150)、調整(移動)がなされたら、画像取得部142A及び表示制御部142D(プロセッサ)は移動後の状態での画像(分光画像)を表示装置300に表示させる(ステップS160:表示ステップ)。
 画像支援情報生成部142C(プロセッサ)は、移動後の状態での画像の明るさがしきい値以上であるか否か判断し(ステップS170:明るさ判断ステップ、出力ステップ)、判断が肯定されたら(すなわち、画像がしきい値以上に明るくなりケラレが少なくなったら)処理を終了する。画像支援情報生成部142Cは、例えば、「画像の最大輝度を1に規格化した際の画面全体の輝度値の総和」や、「画面中心の輝度値の重心位置までの距離の逆数」を、「明るさ」の定義として採用することができる。画像支援情報生成部142C及び表示制御部142Dは、ステップS170の判断が肯定されて処理を終了する場合に、共役関係の調整が終了したことを示す画像支援情報を表示装置300に表示してもよい。
 ステップS170の判断が否定された場合、画像支援情報生成部142Cは、移動により画像が明るくなったか否かを判断する(ステップS180:明るさ判断ステップ、出力ステップ)。この判断が否定された場合、画像支援情報生成部142C及び表示制御部142Dは、画像支援情報として、フィールドレンズ122の移動の向きを反転するよう促すメッセージを生成し、表示装置300に表示する(ステップS190:生成ステップ、出力ステップ)。ステップS195では、画像支援情報生成部142Cは移動後の明るさを新しい明るさとして設定して(明るさ判断ステップ、生成ステップ、出力ステップ)、ステップS140に戻る。図16,17に示す例では、このように、一般的なカメラシステムにおける「山登り方式」によるフォーカスレンズの駆動と同様に、共役関係の調整を行うことができる。
 第1の実施形態に係る撮像システム10(撮像装置100)、調整方法、及び調整プログラムによれば、このようにして共役関係の調整を行うことができ、良好な画質のマルチスペクトル画像を取得することができる。
 なお、図16,17のフローチャートではフィールドレンズ122を移動する場合について説明したが、上述したように、他の手段(アダプタマウントの着脱、マルチスペクトルカメラの着脱や、レンズあるいはフィルタユニットの移動等)による場合でも、同様に共役関係の調整を行うことができる。
 <開口領域の形状による共役関係調整への影響>
 図19は開口領域の形状による共役関係調整への影響を示す表である。同図において、「フィールドレンズの移動に関するパラメータ」の欄ではフィールドレンズの移動に関する特徴をまとめ、「着脱性」の欄ではフィールドレンズの着脱交換に関する特徴をまとめ、「その他」の欄ではフィールドレンズと組み合わせて使う際の根本的な特徴をまとめている。同図に示すように、開口領域の形状によって共役関係調整への影響が異なる。撮像装置100のような本発明に係る撮像装置では、複数の開口領域の重心がそれぞれ異なっており(それぞれの開口領域が、開口領域全体としての重心に対し非対称に配置されており)、この場合、複数の開口領域の重心が一致している場合(例えば、同心円状である場合)と比較して周辺光量の低下やフィールドレンズの移動量は大きくなる。一方、開口領域の重心が異なる場合、後述する例のように、フィールドレンズの移動方向の判別は簡単である。また、フィールドレンズの着脱や適用可能なFナンバーについても開口領域の形状に依存する。
 <光量低下の大小と調整すべき要素との関係>
 上述のように、開口領域の形状は共役関係の調整に影響するが、周辺光量の低下量(ケラレの大小)も共役関係の調整に影響する。具体的には、周辺光量の低下が大きい(ケラレが大きい)場合、共役関係の粗調整(大きく変えること)が必要なので、フィールドレンズ及び/またはマルチスペクトルカメラの着脱(大きさ、焦点距離等の異なるものを装着する)が好ましい。一方、周辺光量の低下が小さい(ケラレが小さい)場合、共役関係の微調整(微小変位の調整)が必要なので、フィールドレンズ及び/またはマルチスペクトルカメラの移動が好ましい。画像支援情報生成部142C及び表示制御部142D(プロセッサ)は、このような事情を考慮して画像支援情報を生成及び表示することができる。
 <開口領域の形状を考慮した共役関係調整の具体例>
 図20は開口領域の形状を考慮した共役関係調整の具体例(フィールドレンズ122を移動する場合)を示す図である。同図の(a)部分に示すように、開口領域160A~160D(複数の開口領域;全体として開口領域160を形成)は扇型であり、それぞれの重心は異なっている。この状況で、図20の(b1)部分に示すように開口領域160Bに着目すると、残りの開口領域160A,160C,160Dは、上述のように一種の「絞り」あるいは「遮蔽部材」として作用する(各開口領域には、波長帯域の少なくとも一部が異なる光学フィルタが装着されているものとする)。
 この場合、開口領域160Bにより生じる分光画像では、図20の(b2)部分のように、開口領域160Bの開口の向き(右側が開口)と逆に左側が明るくなる(図18を参照)。そこでこの場合、画像支援情報生成部142C及び表示制御部142D(プロセッサ)は、フィールドレンズ122とマルチスペクトルカメラ130との距離を広げる(フィールドレンズ122を前方に繰り出す)ようユーザに促す情報(画像支援情報)を生成し(生成ステップ、出力ステップ)、表示装置300に表示する(出力ステップ)。図20の(b3)部分は、ユーザが画像支援情報に基づいてフィールドレンズ122を移動させた状態での分光画像の例であるが、この例ではまだ画像の右側に暗い領域が残っている。そこで画像支援情報生成部142C及び表示制御部142Dは、再度、フィールドレンズ122とマルチスペクトルカメラ130との距離を広げるようユーザに促す情報を生成し、表示装置300に表示する。図20の(b4)部分は、ユーザが再度フィールドレンズを移動させた状態の分光画像の例であり、明るさがしきい値以上となり明暗の分布が少なくなったので、処理を終了する。
 図20の(c1)部分は、左側が開口した開口領域160Dを示す図であり、この場合同図の(c2)部分に示すように分光画像の右側が明るくなる。そこで画像支援情報生成部142C及び表示制御部142Dは、この場合も同図の(b2)~(b4)部分と同様にフィールドレンズ122とマルチスペクトルカメラ130との距離を広げるようユーザに促す情報(画像支援情報)を生成し(生成ステップ、出力ステップ)、表示装置300に表示する(出力ステップ)。その結果、図20の(c4)部分に示すように明るさがしきい値以上となり明暗の分布が少なくなると、処理を終了する。
 以上説明したように、第1の実施形態に係る撮像装置(撮像装置100、撮像システム10)、調整方法、及び調整プログラムによれば、良好な画質のマルチスペクトル画像を取得することができる。
 <他の光学系との接続の例>
 本発明に係る撮像装置は様々な光学系と組み合わせることができ、これにより、単独ではマルチスペクトル撮像ができない光学系でもマルチスペクトル撮像を行うことができる。図21は顕微鏡30(「他の光学系」の一態様)との接続の様子を示す図である。顕微鏡30は対物レンズ32を含む光学系を備え、ユーザは、ステージ34に載せた標本等を、接眼部36を介して観察することができる。顕微鏡30にはカメラ接続部38が設けられており、このカメラ接続部38に撮像装置100(本発明に係る撮像装置の一態様)を接続することができる。標本等からの光束の一部はカメラ接続部38を介して撮像装置100に導かれ、第1の実施形態について上述したのと同様に、撮像装置100により瞳の共役関係を調整して良好な画質のマルチスペクトル画像を取得することができる。調整方法の処理はプロセッサ142及びコンピュータ330(プロセッサ)で行われ、取得した画像は表示装置300に表示することができる。ユーザは、操作部320を介してこれらの処理に必要な操作を行うことができる。なお、上述した撮像装置本体140(プロセッサ142)は顕微鏡30の側に接続されていてもよいし、図21に示すようにコンピュータ330と一体として構成されていてもよい。
 図22はズーム光学系との接続の様子を示す図である。この場合も、第1の実施形態や図21の態様と同様に、撮像装置100により瞳の共役関係を調整して良好な画質のマルチスペクトル画像を取得することができる。
 <波長偏光フィルタユニット及び撮像素子の他の態様>
 第1の実施形態では、波長偏光フィルタユニット134に設けられた偏光フィルタ139A~139D及び撮像素子138に設けられた偏光フィルタ素子214A~214Dにより、いずれかの開口領域を通過した光を受光している。しかしながら本発明はこのような態様に限定されるものではなく、瞳分割型のマルチスペクトルカメラを利用した撮像装置であれば、偏光を利用しなくてもフィールドレンズの移動等による共役関係の調整を行うことができ、これにより良好な画質のマルチスペクトル画像を取得することができる。
 <他の光学系と撮像装置を接続しない態様>
 上述した態様では、「他の光学系」と本発明に係る撮像装置(撮像装置100)とをマウントアダプタ110(調整機構)等を介して接続しており、また撮像装置100においても各要素を接続しているが、本発明においてこれら要素は必ずしも機械的に接続する必要はない。例えば、図23に示す撮像システム11のように、光学系20(他の光学系)と撮像装置101(撮像装置)とを離間して配置することができ、また撮像装置101においてもフィールドレンズユニット120とマルチスペクトルカメラ130とを離間して配置することができる。例えば、光学系20、フィールドレンズユニット120、マルチスペクトルカメラ130をそれぞれ三脚やガイドレール等の部材(不図示)で保持することや、調整台に載置することが考えられる。
 そして、このような態様においても、上述した態様と同様に各要素の間隔の調整やレンズ(フィールドレンズ122,第1レンズ132,第2レンズ136)の進退、着脱交換等を行うことができ、これにより瞳の共役関係を調整して良好な画質のマルチスペクトル画像を取得することができる。なお、図23に示すような態様においても、第1の実施形態について上述したのと同様に、マルチスペクトル画像の撮像を行う前に各要素の光軸を一致させることが好ましい。
 以上で本発明の実施形態及び他の態様について説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10   撮像システム
11   撮像システム
20   光学系
22   レンズ
30   顕微鏡
32   対物レンズ
34   ステージ
36   接眼部
38   カメラ接続部
100  撮像装置
101  撮像装置
104  第1レバー
106  第2レバー
108  スリット
110  マウントアダプタ
110A マウントアダプタ
110B マウントアダプタ
120  フィールドレンズユニット
120A フィールドレンズユニット
120B フィールドレンズユニット
121  鏡筒
122  フィールドレンズ
122A フィールドレンズ
122B フィールドレンズ
124A 鏡筒
124B 鏡筒
126A スリット
126B スリット
127  アーム
128  レンズユニット
130  マルチスペクトルカメラ
130A マルチスペクトルカメラ
130B マルチスペクトルカメラ
131  レンズ鏡筒
132  第1レンズ
133  像
134  波長偏光フィルタユニット
135  枠体
135A 開口領域
135B 開口領域
135C 開口領域
135D 開口領域
135G 重心
136  第2レンズ
137A フィルタセット
137B フィルタセット
137C フィルタセット
137D フィルタセット
138  撮像素子
138A 光学フィルタ
138B 光学フィルタ
138C 光学フィルタ
138D 光学フィルタ
139A 偏光フィルタ
139B 偏光フィルタ
139C 偏光フィルタ
139D 偏光フィルタ
140  撮像装置本体
142  プロセッサ
142A 画像取得部
142B 相対位置検知部
142C 画像支援情報生成部
142D 表示制御部
144  フラッシュメモリ
146  RAM
150  上光線
152  主光線
154  下光線
160  開口領域
160A 開口領域
160B 開口領域
160C 開口領域
160D 開口領域
211  ピクセルアレイ層
212  フォトダイオード
213  偏光フィルタ素子アレイ層
214A 偏光フィルタ素子
214B 偏光フィルタ素子
214C 偏光フィルタ素子
214D 偏光フィルタ素子
215  マイクロレンズアレイ層
216  マイクロレンズ
300  表示装置
310  記憶装置
320  操作部
330  コンピュータ
L    光軸
S100~S195 共役関係調整手順の各ステップ
λ1   波長帯域
λ2   波長帯域
λ3   波長帯域

Claims (16)

  1.  他の光学系の像側に配置される撮像装置であって、
     複数の波長帯域について画像を取得するマルチスペクトルカメラと、
     前記他の光学系と前記マルチスペクトルカメラとを中継するフィールドレンズと、
     前記他の光学系の射出瞳位置と前記マルチスペクトルカメラの入射瞳位置との共役関係を調整する調整機構と、
     を備え、
     前記マルチスペクトルカメラは、
     瞳位置または前記瞳位置の近傍に配置され複数の開口領域を備える枠体であって、前記複数の開口領域の重心がそれぞれ異なる枠体と、
     前記複数の開口領域に配置され少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、
     前記複数の開口領域に配置され偏光方向が異なる複数の偏光フィルタと、
     を有する波長偏光フィルタユニットと、
     前記複数の開口領域のいずれかを透過した光を受光する複数の画素群を含む撮像素子と、
     前記撮像素子から出力される複数の画像信号に基づいて画像を生成するプロセッサと、
     を備える撮像装置。
  2.  前記調整機構は、前記他の光学系と前記フィールドレンズとの距離を調整する請求項1に記載の撮像装置。
  3.  前記調整機構は、前記フィールドレンズと前記マルチスペクトルカメラとの距離を調整する請求項1に記載の撮像装置。
  4.  前記調整機構は、前記他の光学系の射出瞳位置と前記フィールドレンズとの距離、及び前記フィールドレンズと前記マルチスペクトルカメラの入射瞳位置との距離を調整する請求項1から3のいずれか1項に記載の撮像装置。
  5.  前記調整機構は、像倍率を一定に保って前記調整を行う請求項1から4のいずれか1項に記載の撮像装置。
  6.  前記調整機構は、前記波長偏光フィルタユニットの位置及び/または前記フィールドレンズの焦点距離を変えて前記像倍率を一定に保つ請求項5に記載の撮像装置。
  7.  前記調整機構は前記波長偏光フィルタユニットの着脱機構である請求項1から6のいずれか1項に記載の撮像装置。
  8.  前記プロセッサは、前記調整に必要な画像支援情報を出力する請求項1から7のいずれか1項に記載の撮像装置。
  9.  前記プロセッサは、前記マルチスペクトルカメラで得られる少なくとも1つの分光画像の明暗情報に基づいた前記画像支援情報を出力する請求項8に記載の撮像装置。
  10.  前記プロセッサは、前記開口領域の方向と前記明暗情報とに基づいて、前記画像支援情報としての前記調整の手順を出力する請求項9に記載の撮像装置。
  11.  表示装置をさらに有し、
     前記表示装置は、前記プロセッサから出力された前記画像支援情報及び前記画像支援情報としての前記調整の手順の少なくとも一方を表示する請求項8から10のいずれか1項に記載の撮像装置。
  12.  瞳位置または前記瞳位置の近傍に配置され複数の開口領域を備える枠体であって、前記複数の開口領域の重心がそれぞれ異なる枠体と、複数の開口領域に配置され少なくとも一部の波長帯域が異なる光を透過させる2つ以上の光学フィルタを含む複数の光学フィルタと、前記複数の開口領域に配置され偏光方向が異なる複数の偏光フィルタと、を備え、複数の波長帯域について画像を取得するマルチスペクトルカメラと、他の光学系と前記マルチスペクトルカメラとを中継するフィールドレンズと、前記他の光学系の射出瞳位置と前記マルチスペクトルカメラの入射瞳位置との共役関係を調整する調整機構と、を備え、前記他の光学系の像側に配置される撮像装置の調整方法であって、
     前記調整に必要な画像支援情報を出力する出力ステップを有する調整方法。
  13.  前記出力ステップでは、前記マルチスペクトルカメラで得られる少なくとも1つの分光画像の明暗情報に基づいた前記画像支援情報を表示装置に表示する請求項12に記載の調整方法。
  14.  前記出力ステップでは、前記開口領域の方向と前記明暗情報とに基づいて、前記画像支援情報としての前記調整の手順を前記表示装置に表示する請求項13に記載の調整方法。
  15.  請求項12から14のいずれか1項に記載の調整方法をコンピュータに実行させる調整プログラム。
  16.  非一時的かつコンピュータ読取可能な記録媒体であって、請求項15に記載のプログラムが記録された記録媒体。
PCT/JP2021/027296 2020-07-28 2021-07-21 撮像装置、調整方法、及び調整プログラム WO2022024917A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022540241A JPWO2022024917A1 (ja) 2020-07-28 2021-07-21
US18/153,359 US20230204950A1 (en) 2020-07-28 2023-01-12 Imaging device, adjustment method, and adjustment program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-127274 2020-07-28
JP2020127274 2020-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/153,359 Continuation US20230204950A1 (en) 2020-07-28 2023-01-12 Imaging device, adjustment method, and adjustment program

Publications (1)

Publication Number Publication Date
WO2022024917A1 true WO2022024917A1 (ja) 2022-02-03

Family

ID=80036839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027296 WO2022024917A1 (ja) 2020-07-28 2021-07-21 撮像装置、調整方法、及び調整プログラム

Country Status (3)

Country Link
US (1) US20230204950A1 (ja)
JP (1) JPWO2022024917A1 (ja)
WO (1) WO2022024917A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157396A1 (ja) * 2022-02-15 2023-08-24 富士フイルム株式会社 レンズ装置、情報処理装置、プログラム、及び撮像装置の製造方法
WO2024042783A1 (ja) * 2022-08-22 2024-02-29 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219397A (ja) * 2002-11-20 2004-08-05 Nikon Corp 光学系、それを備えた固体撮像素子照明装置及び固体撮像素子の検査方法
JP2008064933A (ja) * 2006-09-06 2008-03-21 Opcell Co Ltd 光学ユニット
JP2019082412A (ja) * 2017-10-31 2019-05-30 株式会社ニコン 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219397A (ja) * 2002-11-20 2004-08-05 Nikon Corp 光学系、それを備えた固体撮像素子照明装置及び固体撮像素子の検査方法
JP2008064933A (ja) * 2006-09-06 2008-03-21 Opcell Co Ltd 光学ユニット
JP2019082412A (ja) * 2017-10-31 2019-05-30 株式会社ニコン 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157396A1 (ja) * 2022-02-15 2023-08-24 富士フイルム株式会社 レンズ装置、情報処理装置、プログラム、及び撮像装置の製造方法
WO2024042783A1 (ja) * 2022-08-22 2024-02-29 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20230204950A1 (en) 2023-06-29
JPWO2022024917A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
JP4483951B2 (ja) 撮像装置
WO2022024917A1 (ja) 撮像装置、調整方法、及び調整プログラム
JP5901246B2 (ja) 撮像装置
JP6584149B2 (ja) 撮像装置
JP4941332B2 (ja) 撮像装置
JP5067154B2 (ja) 撮像装置
US8614765B2 (en) Image capturing apparatus, image capturing device, image capturing method, and program for phase difference detection
JP2010252105A (ja) 撮像装置
WO2021153473A1 (ja) レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム
JP7100735B2 (ja) 撮像素子及び撮像装置
US20220038613A1 (en) Imaging device
JP2001083400A (ja) 撮像光学系
JP2021135404A (ja) レンズ装置、撮像装置、撮像方法、及び撮像プログラム
US20230103720A1 (en) Lens device, imaging apparatus, and imaging method
JP5251323B2 (ja) 撮像装置
JPWO2022024917A5 (ja)
US20230106512A1 (en) Lens device and imaging apparatus
JP6997295B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2004157059A (ja) 撮像装置およびレンズ光学系
JP4545418B2 (ja) 眼底カメラ
JP2010102281A (ja) 可視光・赤外光撮影用レンズアダプタ
WO2017170392A1 (ja) 光学装置
JP6222949B2 (ja) 撮像素子および撮像装置
JPH08110486A (ja) 内視鏡装置
CN107924107B (zh) 摄像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850569

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022540241

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21850569

Country of ref document: EP

Kind code of ref document: A1