WO2020241326A1 - 撮像装置、撮像方法、及びプログラム - Google Patents

撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
WO2020241326A1
WO2020241326A1 PCT/JP2020/019536 JP2020019536W WO2020241326A1 WO 2020241326 A1 WO2020241326 A1 WO 2020241326A1 JP 2020019536 W JP2020019536 W JP 2020019536W WO 2020241326 A1 WO2020241326 A1 WO 2020241326A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
wavelength region
image
optical system
region light
Prior art date
Application number
PCT/JP2020/019536
Other languages
English (en)
French (fr)
Inventor
杉本 雅彦
長 倫生
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2020241326A1 publication Critical patent/WO2020241326A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/22Absorbing filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the technology of the present disclosure relates to an imaging device, an imaging method, and a program.
  • Japanese Unexamined Patent Publication No. 2017-003749 discloses an imaging device including an optical unit for forming an image of a subject.
  • the imaging apparatus described in JP-A-2017-003749 includes focus adjusting means, aperture adjusting means, control means, infrared light imaging means, and visible light imaging means.
  • the focus adjusting means adjusts the focus position of the optical unit.
  • the diaphragm adjusting means adjusts the diaphragm diameter of the optical unit.
  • the control means controls the focus adjusting means and the aperture adjusting means.
  • the infrared light imaging means captures an infrared light component included in a subject image.
  • the visible light imaging means captures a visible light component included in a subject image.
  • the control means controls the focus adjusting means and the aperture adjusting means based on the focus position of one of the infrared light imaging means and the visible light imaging means.
  • Japanese Unexamined Patent Publication No. 2016-207030 was photographed by at least one image pickup apparatus provided with a lens having a characteristic inflection point of the rate of change of the incident angle per image height with respect to the incident angle at a predetermined inflection point incident angle.
  • An image processing apparatus for processing an image is disclosed.
  • the image processing apparatus described in Japanese Patent Application Laid-Open No. 2016-207030 has a resolution of an inflection point corresponding image region corresponding to a predetermined inflection point incident angle, and an inner image region and an outer side of the inflection point corresponding image region.
  • a resolution adjusting unit for adjusting the resolution of at least one of the outer image regions of the image is provided.
  • One embodiment according to the technique of the present disclosure focuses on each of the first wavelength region light and the second wavelength region light only by a focus adjustment mechanism that is also used for both the first wavelength region light and the second wavelength region light.
  • a focus adjustment mechanism that is also used for both the first wavelength region light and the second wavelength region light.
  • an imaging device an imaging method, and a program capable of accurately suppressing blurring of both the first wavelength optical image and the second wavelength optical image as compared with the case of adjusting.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength region included in the imaged subject light.
  • the focusing position of the optical system is determined based on the imaging unit that images each of the light and the second wavelength region light and the first wavelength region optical image obtained by imaging the first wavelength region light by the imaging unit.
  • a resolution correction filter based on the blur characteristics of the second wavelength region light image is used for the adjustment unit to be adjusted and the second wavelength region light image obtained by imaging the second wavelength region light by the imaging unit.
  • the second aspect according to the technique of the present disclosure is the image pickup apparatus according to the first aspect, in which the blur characteristic is defined by the point spread function of the optical system.
  • the third aspect according to the technique of the present disclosure is the image pickup apparatus according to the second aspect, wherein the resolution correction filter is an image processing filter that cancels the point spread indicated by the point spread function.
  • the resolution correction filter is an image processing filter that cancels the point spread indicated by the point spread function.
  • a fourth aspect according to the technique of the present disclosure further includes an optical filter, in which the optical filter is formed in a total transmission portion that transmits both first wavelength region light and second wavelength region light, and around the total transmission portion.
  • the image pickup apparatus according to any one of the first to third aspects, which has a partially transmitting portion that transmits the light in the first wavelength region and blocks the light in the second wavelength region.
  • the imaging unit includes a first imaging unit that images the first wavelength region light and a second imaging unit that captures the second wavelength region light.
  • the optical system has a first optical system, a separation optical system, and a second optical system, and the first optical system has a first aperture, and the incident subject light is separated via the first aperture.
  • the subject light emitted from the first optical system is separated into the first wavelength region light and the second wavelength region light, and the second optical system has a second aperture.
  • a second wavelength region light which is provided between the separation optical system and the second imaging unit and is obtained by separating the subject light by the separation optical system, is incident through the second aperture and is incident.
  • the imaging device according to any one of the first to third aspects, which emits light in the wavelength range.
  • the imaging unit includes a first imaging unit that captures images in the first wavelength region light and a second imaging unit that captures images in the second wavelength region light.
  • the optical system has a first optical system, a separation optical system, and a negative power optical system, and the first optical system has a first diaphragm, and the incident subject light is separated through the first diaphragm.
  • the subject light emitted from the first optical system is separated into the first wavelength region light and the second wavelength region light, and the negative power optical system has a negative power.
  • An image pickup apparatus according to any one of the first to third aspects, which is provided between the separation optical system and the second image pickup unit.
  • a seventh aspect according to the technique of the present disclosure is an image pickup apparatus according to a sixth aspect, wherein the first optical system forms an intermediate image between the first diaphragm and the negative power optical system.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength region included in the imaged subject light.
  • the focusing position of the optical system is determined based on the imaging unit that images each of the light and the second wavelength region light and the first wavelength region optical image obtained by imaging the first wavelength region light by the imaging unit.
  • the adjustment unit for adjusting and the resolution of the second wavelength region light image obtained by imaging the second wavelength region light by the imaging unit are optically adjusted for the depth of view of the second wavelength region light. It is an image pickup apparatus including a correction unit for correcting with.
  • the correction unit has an optical filter, and the optical filter has a total transmission unit that transmits both first wavelength region light and a second wavelength region light, and a total transmission unit.
  • the imaging apparatus according to the eighth aspect which is formed in the vicinity of the above and has a partially transmitting portion that transmits light in the first wavelength region and blocks light in the second wavelength region.
  • the imaging unit includes a first imaging unit that images light in the first wavelength region and a second imaging unit that images light in the second wavelength region.
  • the optical system has a first optical system, a separation optical system, and a second optical system, and the first optical system has a first aperture, and the incident subject light is separated through the first aperture.
  • the subject light emitted from the first optical system is separated into the first wavelength region light and the second wavelength region light, and the second optical system uses a second aperture as a correction unit.
  • the second wavelength region light which is provided between the separation optical system and the second imaging unit and is obtained by separating the subject light by the separation optical system, is incident and incident through the second aperture.
  • the image pickup apparatus according to the eighth aspect, which emits light in the second wavelength region.
  • An eleventh aspect according to the technique of the present disclosure is a fourth or ninth aspect in which the partially transmitted portion is formed of a material that transmits light in the first wavelength region and absorbs light in the second wavelength region. This is an imaging device according to the above.
  • a twelfth aspect according to the technique of the present disclosure is a fourth or ninth aspect in which the partially transmitted portion is formed of a material that transmits light in the first wavelength region and reflects light in the second wavelength region. This is an imaging device according to the above.
  • the imaging unit has a plurality of first light receiving elements that receive light in the first wavelength region and a plurality of second light receiving elements that receive light in the second wavelength region.
  • a first wavelength region light image is generated based on the first wavelength region light received by the plurality of first light receiving elements, and a second wavelength is generated based on the second wavelength region light received by the plurality of second light receiving elements.
  • a fourteenth aspect according to the technique of the present disclosure is an imaging apparatus according to a fifth or tenth aspect, wherein the first optical system forms an intermediate image between the first diaphragm and the second diaphragm. ..
  • a fifteenth aspect according to the technique of the present disclosure is a fifth aspect, a tenth aspect, or a fifth aspect, which is arranged between a separation optical system and a second diaphragm and further includes a negative power optical system having a negative power. It is an image pickup apparatus which concerns on 14th aspects.
  • the sixteenth aspect according to the technique of the present disclosure is the image pickup apparatus according to the fifteenth aspect, further including a mechanism capable of inserting and removing a negative power optical system between the separation optical system and the second diaphragm.
  • a seventeenth aspect according to the technique of the present disclosure is that the first diaphragm is a diaphragm in which the amount of light of the subject light can be changed, from the fifth to seventh aspects, the tenth aspect, and the fourteenth aspect.
  • the image pickup apparatus according to any one of the sixteenth aspects.
  • An eighteenth aspect according to the technique of the present disclosure is the fifth aspect, the tenth aspect, and the fourteenth aspect to the sixteenth aspect in which the second diaphragm is a diaphragm capable of changing the amount of light in the second wavelength region. It is an image pickup apparatus which concerns on any one aspect of.
  • a nineteenth aspect according to the technique of the present disclosure is a fifth aspect, a tenth aspect, and a fourteenth to sixteenth aspect in which each of the first aperture and the second aperture is an independently controllable aperture. It is an image pickup apparatus which concerns on any one aspect.
  • a twentieth aspect according to the technique of the present disclosure is any one of the first to nineteenth aspects, wherein the first wavelength region light is invisible light and the second wavelength region light is visible light. It is an image pickup apparatus which concerns on one aspect.
  • the 21st aspect according to the technique of the present disclosure is the image pickup apparatus according to the 20th aspect, in which the invisible light is near infrared light.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength region included in the imaged subject light.
  • the focusing position of the optical system is adjusted based on the first wavelength region light image obtained by imaging the first wavelength region light by the imaging unit that images each of the light and the second wavelength region light, and the image is taken.
  • Imaging including correcting the resolution of the second wavelength region light image obtained by imaging the second wavelength region light by the unit by optically adjusting the depth of view of the second wavelength region light. The method.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength region included in the imaged subject light.
  • the focusing position of the optical system is adjusted based on the first wavelength region light image obtained by imaging the first wavelength region light by the imaging unit that images each of the light and the second wavelength region light, and the image is taken.
  • the second wavelength region light image obtained by capturing the second wavelength region light by the unit by using a resolution correction filter based on the blur characteristics of the second wavelength region light image. It is an imaging method including correcting the resolution of.
  • a twelfth aspect according to the technique of the present disclosure is a method in which subject light including first wavelength region light and second wavelength region light is imaged by an optical system on a computer and included in the imaged subject light.
  • the focusing position of the optical system is adjusted based on the first wavelength region optical image obtained by imaging the first wavelength region light by the imaging unit that images each of the first wavelength region light and the second wavelength region light.
  • a resolution correction filter based on the blur characteristics of the second wavelength region optical image is used to obtain the second wavelength.
  • a subject light including a first wavelength region light and a second wavelength region light is imaged by an optical system on a computer and included in the imaged subject light.
  • the focusing position of the optical system is adjusted based on the first wavelength region optical image obtained by imaging the first wavelength region light by the imaging unit that images each of the first wavelength region light and the second wavelength region light.
  • a resolution correction filter based on the blur characteristics of the second wavelength region optical image is used to obtain the second wavelength.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength included in the imaged subject light. It is applied to an imaging device including an image sensor that images each of the region light and the second wavelength region light, and an optical component that can optically adjust the depth of view of the second wavelength region light.
  • the focusing position of the optical system is adjusted based on the first wavelength region light image obtained by the image sensor capturing the first wavelength region light, and the image sensor images the second wavelength region light.
  • a program for executing a process including correcting the resolution of the second wavelength region optical image obtained by operating the optical component.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength region included in the imaged subject light.
  • the focusing position of the optical system is determined based on the imaging unit that images each of the light and the second wavelength region light and the first wavelength region optical image obtained by imaging the first wavelength region light by the imaging unit.
  • a resolution correction filter based on the blurring characteristics of the second wavelength region light image for the second wavelength region light image obtained by adjusting and capturing the second wavelength region light by the imaging unit.
  • An imaging device including a processor that corrects the resolution of a second wavelength region optical image.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and the first wavelength region included in the imaged subject light.
  • the focusing position of the optical system is determined based on the imaging unit that images each of the light and the second wavelength region light and the first wavelength region optical image obtained by imaging the first wavelength region light by the imaging unit.
  • An imaging device that includes a processor for correction.
  • FIG. 14A It is a schematic block diagram which shows the 1st modification of the structure of the image pickup apparatus which concerns on 1st Embodiment.
  • FIG. 5 is a schematic configuration diagram showing a fifth modification of the configuration of the image pickup apparatus according to the first embodiment.
  • FIG. 5 is a schematic configuration diagram showing a sixth modification of the configuration of the image pickup apparatus according to the first embodiment.
  • FIG. 5 is a schematic configuration diagram showing a seventh modification of the configuration of the image pickup apparatus according to the first embodiment.
  • CPU refers to the abbreviation of "Central Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • ROM is an abbreviation for "Read Only Memory”.
  • SSD is an abbreviation for “Solid State Drive”.
  • HDD refers to the abbreviation of "Hard Disk Drive”.
  • EEPROM refers to the abbreviation of "Electrically Erasable and Programmable Read Only Memory”.
  • ASIC refers to the abbreviation of "Application Special Integrated Circuit”.
  • PLD refers to the abbreviation of "Programmable Logical Device”.
  • FPGA refers to the abbreviation of "Field-Programmable Gate Array”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconducor".
  • CCD refers to the abbreviation of "Charge Coupled Device”.
  • EL refers to the abbreviation for "Electro-Luminescence”.
  • UI refers to the abbreviation of "User Interface”.
  • a / D refers to the abbreviation of "Analog to Digital”.
  • MTF refers to the abbreviation of "Modulation Transfer Function”.
  • FIR refers to the abbreviation of "Finite Impulse Response”.
  • PET is an abbreviation for "Polyethylene terephthalate”.
  • GPU refers to the abbreviation of "Graphics Processing Unit”.
  • AF refers to the abbreviation for "Auto Focus”.
  • SWIR is an abbreviation for "Short-wavelength infrared”.
  • Consisting of and “consisting of” in the present specification refer to lenses having substantially no refractive power, and lenses such as diaphragms, filters, and cover glasses. It is intended that optical elements other than the above, as well as mechanical parts such as a lens flange, a lens barrel, an image pickup element, and an image stabilization mechanism, and the like may be included.
  • the meaning of “vertical” includes not only the meaning of perfect vertical but also the meaning of substantially vertical including errors allowed in design and manufacturing.
  • the meaning of “identical” includes not only the completely identical meaning but also substantially the same meaning including errors allowed in design and manufacturing.
  • the image pickup apparatus 10 is an apparatus for imaging the subject S.
  • the image pickup device 10 includes an optical separation device 12, a first image pickup element 14, a second image pickup device 16, a position detection device 18, a power application device 20, a UI system device 22, and a control device 24.
  • the first image sensor 14 and the second image sensor 16 are examples of the "imaging unit (image sensor)" according to the technology of the present disclosure, and the first image sensor 14 is the “first image sensor” according to the technology of the present disclosure. It is an example of the “imaging unit (image sensor)”, and the second image sensor 16 is an example of the “second image sensor (image sensor)” according to the technique of the present disclosure.
  • the optical separator 12 is an example of the "optical system” according to the technique of the present disclosure, and is the first optical system 28, the color separation prism 30, the second optical system 32, the third optical system 34, and the fourth optical system 36. It has.
  • the subject light indicating the subject S includes near-infrared light, which is light in the near-infrared wavelength region, and visible light, which is light in the visible wavelength region, as light in different wavelength regions.
  • the first image sensor 14 images the subject light by the light separation device 12, and images the near-infrared light included in the imaged subject light.
  • the second image sensor 16 images the subject light by the light separation device 12, and images the visible light included in the imaged subject light.
  • the optical separator 12 is provided with an optical path for near-infrared light and an optical path for visible light.
  • a first optical system 28, a fourth optical system 36, a color separation prism 30, and a third optical system 34 are arranged in this order from the object side along the optical axis L1.
  • the first image sensor 14 is arranged after the fourth optical system 36.
  • the first image sensor 14 is a CMOS image sensor.
  • the first image sensor 14 has a first light receiving surface 14A.
  • a plurality of photoelectric conversion elements having sensitivity to near-infrared light are arranged on the first light receiving surface 14A, and the first light receiving surface 14A receives near infrared light.
  • the first image sensor 14 captures the subject S with respect to the near-infrared light by photoelectrically converting the near-infrared light received by the first light-receiving surface 14A. That is, the first image sensor 14 is imaged with near-infrared light indicating the subject S, and the first image sensor 14 images the subject S based on the imaged near-infrared light.
  • the plurality of photoelectric conversion elements arranged on the first light receiving surface 14A are an example of the "first light receiving element" according to the technique of the present disclosure.
  • the optical path for visible light has an optical axis L1 and an optical axis L2.
  • the optical axis L2 is an optical axis perpendicular to the optical axis L1.
  • the first optical system 28, the fourth optical system 36, and the color separation prism 30 are arranged in order from the object side along the optical axis L1.
  • the optical axis L1 is branched into the optical axis L2 by the color separation prism 30.
  • the second optical system 32 is arranged along the optical axis L2 on the image side of the color separation prism 30.
  • the second image sensor 16 is arranged after the second optical system 32, that is, on the image side of the second optical system 32. In other words, the second optical system 32 is provided between the color separation prism 30 and the second image sensor 16.
  • the second image sensor 16 is a CMOS image sensor.
  • the second image sensor 16 has a second light receiving surface 16A.
  • a plurality of photoelectric conversion elements having sensitivity to visible light are arranged on the second light receiving surface 16A, and the second light receiving surface 16A receives visible light.
  • the second image sensor 16 captures the subject S with respect to the visible light by photoelectrically converting the visible light received by the second light receiving surface 16A. That is, the second image sensor 16 is imaged with visible light indicating the subject S, and the second image sensor 16 images the subject S based on the imaged visible light.
  • the plurality of photoelectric conversion elements arranged on the second light receiving surface 16A are an example of the "second light receiving element" according to the technique of the present disclosure.
  • an optical system composed of lenses and the like arranged in the optical path for near-infrared light is referred to as an "optical system for near-infrared light", and a lens and the like arranged in the optical path for visible light.
  • An optical system consisting of the above is referred to as an "optical system for visible light”.
  • the first optical system 28 is a variable magnification optical system.
  • the "variable optical system” referred to here is a zoom lens having four groups of positive, negative, positive, and positive refractive powers in order from the object side.
  • the first optical system 28 has a plurality of lens units.
  • the term "plurality of lens units" as used herein refers to the first lens group 28A, the second lens group 28B, the third lens group 28C, and the fourth lens group 28D.
  • the first optical system 28 includes a first lens group 28A, a second lens group 28B, a third lens group 28C, a fourth lens group 28D, and a first aperture 28E.
  • Each of the first lens group 28A, the second lens group 28B, the third lens group 28C, and the fourth lens group 28D is composed of a plurality of lenses.
  • the first lens group 28A, the second lens group 28B, the third lens group 28C, and the fourth lens group 28D are arranged in order from the object side along the optical axis L1.
  • the third lens group 28C has an exit surface 28C1
  • the fourth lens group 28D has an incident surface 28D1 and an exit surface 28D2.
  • the exit surface 28C1 is the surface of the third lens group 28C located on the most image side
  • the incident surface 28D1 is the surface of the fourth lens group 28D located on the most object side
  • the exit surface 28D2 is.
  • the first diaphragm 28E is arranged between the exit surface 28C1 and the exit surface 28D2. In the example shown in FIG.
  • the first diaphragm 28E is located on the object side of the fourth lens group 28D in the direction of the optical axis L1 and adjacent to the fourth lens group 28D (between the exit surface 28C1 and the incident surface D1). ) Is shown, but this is only an example, and the first diaphragm 28E may be arranged in the fourth lens group 28D.
  • Each of the first lens group 28A and the fourth lens group 28D is a fixed lens group.
  • the fixed lens group is a lens group fixed to the image plane at the time of scaling.
  • Each of the second lens group 28B and the third lens group 28C is a moving lens group.
  • the moving lens group is a lens group in which the distance from the adjacent lens group is changed by moving along the optical axis L1 direction at the time of scaling.
  • Each of the first lens group 28A, the third lens group 28C, and the fourth lens group 28D is a lens group having a positive power
  • the second lens group 28B is a lens group having a negative power.
  • the lens groups such as the first lens group 28A, the second lens group 28B, the third lens group 28C, and the fourth lens group 28D are illustrated here, the technique of the present disclosure is not limited to this.
  • at least one of the first lens group 28A, the second lens group 28B, the third lens group 28C, and the fourth lens group 28D may be one lens.
  • the focus position is adjusted by the first optical system 28.
  • the adjustment of the focus position is realized by, for example, the front lens focus method.
  • the front lens focus method the first lens group 28A moves along the optical axis L1 direction, so that infrared light is imaged on the first light receiving surface 14A at the focusing position according to the subject distance.
  • the “focus position” referred to here refers to the position of the first lens group 28A on the optical axis L1 in a state of being in focus.
  • the control for aligning the first lens group 28A with the in-focus position is also referred to as “AF control”.
  • the front focus method is adopted, but the technique of the present disclosure is not limited to this, and the whole group extension method, the inner focus method, or the rear focus method is adopted. May be good.
  • the "focus position" in the case of the all-group extension method, the inner focus method, or the rear focus method is a lens or a lens group that is moved along the optical axis L1 in order to adjust the focus position on the optical axis L1. Refers to the position in the in-focus state.
  • Each of the first lens group 28A, the third lens group 28C, and the fourth lens group 28D is a lens having a positive power
  • the second lens group 28B is a lens having a negative power.
  • Subject light is incident on the first optical system 28 from the first lens group 28A, and the incident subject light is emitted from the first optical system 28 via the first diaphragm 28E.
  • the subject light is light including near-infrared light and visible light.
  • the near-infrared light is an example of the "first wavelength region light” and the “invisible light” according to the technology of the present disclosure
  • the visible light is the "second wavelength region light” according to the technology of the present disclosure. This is an example.
  • the first aperture 28E has an opening 28E1, and the subject light passes through the opening 28E1.
  • the opening 28E1 is arranged at a position where the peripheral light of the subject light passes through the optical axis L1.
  • the first diaphragm 28E is a movable diaphragm whose diameter of the opening 28E1 can be changed. That is, the amount of subject light indicating the subject S can be changed by the first diaphragm 28E.
  • the fourth optical system 36 is an optical system having a positive power.
  • the fourth optical system 36 includes a lens group 36A.
  • the lens group 36A is a lens group having a positive power.
  • the lens group 36A is composed of a plurality of lenses. Although the lens group is adopted as an example of the fourth optical system 36 here, the technique of the present disclosure is not limited to this, and a single lens may be used.
  • the subject light emitted from the first optical system 28 is incident on the fourth optical system 36.
  • the fourth optical system 36 emits the incident subject light to the color separation prism 30.
  • the color separation prism 30 is an example of the "separation optical system" according to the technique of the present disclosure.
  • the color separation prism 30 separates the subject light emitted from the fourth optical system 36 into near-infrared light and visible light by the selective reflection surface 30A.
  • the color separation prism 30 transmits near-infrared light and reflects visible light. That is, the color separation prism 30 guides near-infrared light to the third optical system 34 along the optical axis L1 and guides visible light to the second optical system 32 along the optical axis L2.
  • the invisible light obtained by separating the subject light by the color separation prism 30 is near infrared light.
  • the "near-infrared light” referred to here is light on the longer wavelength side than about 800 nanometers of the subject light, and visible light is light on the short wavelength side of 700 nanometers or less.
  • Near-infrared light of the subject light passes through the color separation prism 30 with a transmittance of about 90% (percentage), and visible light of the subject light has a reflectance of more than about 90% and is a selective reflecting surface. It reflects at 30A.
  • the near-infrared light light having a wavelength longer than about 800 nm is adopted as the near-infrared light, but this is merely an example, and the technique of the present disclosure is not limited to this. That is, since the wavelength range of near-infrared light has various interpretations depending on theories and the like, the wavelength range defined as the wavelength range of near-infrared light may be determined according to the application of the image pickup apparatus 10. .. The same applies to the wavelength range of visible light.
  • the technique of the present disclosure is not limited to this, and the subject light is changed to near infrared light by a dichroic mirror and / or a half mirror instead of the color separation prism 30. It may be separated from visible light. However, when a half mirror is used, it is preferable that the filter removes light in an unnecessary wavelength range from the near-infrared light and visible light obtained by separating the subject light.
  • the second optical system 32 is arranged on the image side of the color separation prism 30 along the optical axis L2 direction, and includes a relay lens 32A and a second diaphragm 32B.
  • the second diaphragm 32B and the relay lens 32A are arranged in order from the object side along the optical axis L2. That is, the second diaphragm 32B is arranged at a position adjacent to the relay lens 32A on the object side of the relay lens 32A in the optical axis L2 direction.
  • the second diaphragm 32B has an opening 32B1 on the optical axis L2.
  • the opening 32B1 has a conjugate positional relationship with the opening 28E1 on the optical axis L1.
  • the second diaphragm 32B is a movable diaphragm whose diameter of the opening 32B1 can be changed. That is, the amount of visible light can be changed by the second diaphragm 32B.
  • Each of the first diaphragm 28E and the second diaphragm 32B is a diaphragm that can be controlled independently.
  • the relay lens 32A is a lens having positive power.
  • the relay lens 32A forms an image of visible light incident on the second light receiving surface 16A via the second diaphragm 32B. In this way, visible light is incident on the second optical system 32 via the second diaphragm 32B, and the second optical system 32 emits the incident visible light to the second light receiving surface 16A.
  • the third optical system 34 is arranged on the image side of the color separation prism 30 along the optical axis L1 direction. In other words, the third optical system 34 is arranged outside the color separation prism 30 on the side where near infrared light is emitted from the color separation prism 30.
  • the third optical system 34 includes a relay lens 34A.
  • the relay lens 34A is a lens having a positive power.
  • the near-infrared light emitted from the color separation prism 30 is incident on the relay lens 34A, and the relay lens 34A forms an image of the incident near-infrared light on the first light receiving surface 14A.
  • the first optical system 28 forms an intermediate image S1 between the first diaphragm 28E and the second diaphragm 32B.
  • the intermediate image S1 is formed between the first diaphragm 28E and the color separation prism 30 by the first optical system 28.
  • the intermediate image S1 is formed by the first optical system 28 on the exit surface 28D2, which is the most image-side surface of the fourth lens group 28D, and the most object-side surface of the lens group 36A. It is formed between the incident surface 36A1 and the incident surface 36A1.
  • the lens group 36A is arranged between the intermediate image S1 and the color separation prism 30 on the optical axis L1.
  • the lens group 36A Since the lens group 36A has a positive power, the luminous flux of the subject light is incident on the color separation prism 30 by giving a converging action to the subject light incident on the lens group 36 as divergent light. That is, the lens group 36A accommodates the peripheral light rays of the incident subject light in the color separation prism 30 by a positive refractive power.
  • the position detection device 18 and the power application device 20 are connected to the optical separation device 12.
  • the position detection device 18 is a device that detects the position of the second lens group 28B, the position of the third lens group 28C, the positions of the relay lenses 32A and 34A, the apertures of the openings 28E1 and 32B1, and the like.
  • the power applying device 20 is a device that applies power to the second lens group 28B, the third lens group 28C, the relay lenses 32A and 34A, the first aperture 28E, and the second aperture 32B.
  • the UI device 22 is a device that receives instructions from the user of the imaging device 10 (hereinafter, simply referred to as "user") and presents various information to the user.
  • the first image sensor 14, the second image sensor 16, the position detection device 18, the power application device 20, and the UI system device 22 are connected to the control device 24.
  • the first image sensor 14, the second image sensor 16, the position detection device 18, the power application device 20, and the UI system device 22 are controlled by the control device 24.
  • the position detection device 18 includes a first position sensor 18A, a second position sensor 18B, a third position sensor 18C, a fourth position sensor 18D, a fifth position sensor 18E, and a sixth position sensor 18F. , And a 7th position sensor 18G.
  • the first position sensor 18A, the second position sensor 18B, the third position sensor 18C, the fourth position sensor 18D, the fifth position sensor 18E, the sixth position sensor 18F, and the seventh position sensor 18G are connected to the control device 24. ing.
  • a potentiometer is adopted as an example of each of the first position sensor 18A, the second position sensor 18B, the third position sensor 18C, the fourth position sensor 18D, the fifth position sensor 18E, and the sixth position sensor 18F. There is.
  • the first position sensor 18A, the second position sensor 18B, the third position sensor 18C, the fourth position sensor 18D, and the fifth position sensor 18E are used in the near-infrared optical system.
  • the first position sensor 18A detects the position of the first lens group 28A on the optical axis L1.
  • the second position sensor 18B detects the position of the second lens group 28B on the optical axis L1.
  • the third position sensor 18C detects the position of the third lens group 28C on the optical axis L1.
  • the fourth position sensor 18D detects the diameter of the opening 28E1.
  • the fifth position sensor 18E detects the position of the relay lens 34A on the optical axis L1.
  • the 6th position sensor 18F and the 7th position sensor 18G are used in the optical system for visible light.
  • the sixth position sensor 18F detects the diameter of the opening 32B1.
  • the seventh position sensor 18G detects the position of the relay lens 32A on the optical axis L2.
  • the power applying device 20 includes a first motor driver 20A1, a second motor driver 20B1, a third motor driver 20C1, a fourth motor driver 20D1, a fifth motor driver 20E1, a sixth motor driver 20F1, and a seventh motor driver 20G1. ing. Further, the power applying device 20 includes a first motor 20A2, a second motor 20B2, a third motor 20C2, a fourth motor 20D2, a fifth motor 20E2, a sixth motor 20F2, and a seventh motor 20G2.
  • the first motor driver 20A1, the second motor driver 20B1, the third motor driver 20C1, the fourth motor driver 20D1, the fifth motor driver 20E1, the sixth motor driver 20F1, and the seventh motor driver 20G1 are connected to the control device 24. ing.
  • the first motor driver 20A1, the second motor driver 20B1, the third motor driver 20C1, the fourth motor driver 20D1, the fifth motor driver 20E1, the sixth motor driver 20F1, and the seventh motor driver 20G1 are controlled by the control device 24. To.
  • the first motor driver 20A1 is connected to the first motor 20A2 and controls the first motor 20A2 according to an instruction from the control device 24.
  • the second motor driver 20B1 is connected to the second motor 20B2 and controls the second motor 20B2 according to an instruction from the control device 24.
  • the third motor driver C1 is connected to the third motor 20C2 and controls the third motor 20C2 according to an instruction from the control device 24.
  • the fourth motor driver 20D1 is connected to the fourth motor 20D2 and controls the fourth motor 20D2 according to an instruction from the control device 24.
  • the fifth motor driver 20E1 is connected to the fifth motor 20E2 and controls the fifth motor 20E2 according to an instruction from the control device 24.
  • the sixth motor driver 20F1 is connected to the sixth motor 20F2 and controls the sixth motor 20F2 according to an instruction from the control device 24.
  • the 7th motor driver 20G1 is connected to the 7th motor 20G2 and controls the 7th motor 20G2 according to an instruction from the control device 24.
  • the fifth motor 20E2 is used in an optical system for near-infrared light.
  • the first motor 20A2 generates power under the control of the first motor driver 20A1 and applies the generated power to the first lens group 28A to move the first lens group 28A in the optical axis L1 direction.
  • the second motor 20B2 generates power under the control of the second motor driver 20B1 and applies the generated power to the second lens group 28B to move the second lens group 28B in the optical axis L1 direction.
  • the third motor 20C2 generates power under the control of the third motor driver 20C1 and applies the generated power to the third lens group 28C to move the third lens group 28C in the optical axis L1 direction.
  • the fourth motor 20D2 generates power under the control of the fourth motor driver 20D1 and applies the generated power to the first throttle 28E to adjust the opening degree 28E1.
  • the fifth motor 20E2 generates power under the control of the fifth motor driver 20E1 and applies the generated power to the relay lens 34A to move the relay lens 34A in the optical axis L1 direction.
  • the 6th motor driver 20F1, the 7th motor driver 20G1, the 6th motor 20F2, and the 7th motor 20G2 are used in the optical system for visible light.
  • the sixth motor 20F2 generates power under the control of the sixth motor driver 20F1 and applies the generated power to the second throttle 32B to adjust the opening degree 32B1.
  • the seventh motor 20G2 generates power under the control of the seventh motor driver 20G1 and applies the generated power to the relay lens 32A to move the relay lens 32A in the optical axis L2 direction.
  • the control device 24 includes a CPU 24A, a ROM 24B, a RAM 24C, and a secondary storage device 24D, and the CPU 24A, the ROM 24B, the RAM 24C, and the secondary storage device 24D are connected to the bus line 44. Has been done.
  • ROM 24B Various programs for the image pickup apparatus 10 are stored in the ROM 24B.
  • EEPROM is adopted as an example of ROM 24B, but the present invention is not limited to this, and a non-volatile memory such as a mask ROM may be used.
  • the CPU 24A reads various programs from the ROM 24B and expands the read various programs into the RAM 24C.
  • the CPU 24A controls the entire image pickup apparatus 10 according to various programs developed in the RAM 24C.
  • various information is readable and writable by the CPU 24A in the secondary storage device 24D.
  • the “various information” referred to here includes the imaging program 24B1 (see FIG. 7) described later.
  • SSD is adopted as an example of the secondary storage device 24D, but the present invention is not limited to this, and any non-volatile storage device such as an HDD may be used.
  • the first position sensor 18A, the second position sensor 18B, the third position sensor 18C, and the fourth position sensor 18D are connected to the bus line 44.
  • the detection result by the first position sensor 18A (hereinafter, referred to as “first detection result”) is output to the CPU 24A by the first position sensor 18A.
  • the detection result by the second position sensor 18B (hereinafter, referred to as “second detection result”) is output to the CPU 24A by the second position sensor 18B.
  • the detection result by the third position sensor 18C (hereinafter, referred to as “third detection result”) is output to the CPU 24A by the third position sensor 18C.
  • the detection result by the fourth position sensor 18D (hereinafter, referred to as “fourth detection result”) is output to the CPU 24A by the fourth position sensor 18D.
  • the first motor driver 20A1, the second motor driver 20B1, the third motor driver 20C1, and the fourth motor driver 20D1 are connected to the bus line 44.
  • the CPU 24A controls the position of the first lens group 28A on the optical axis L1 by controlling the first motor 20A2 via the first motor driver 20A1 based on the first detection result.
  • the CPU 24A controls the position of the second lens group 28B on the optical axis L1 by controlling the second motor 20B2 via the second motor driver 20B1 based on the second detection result.
  • the CPU 24A controls the position of the third lens group 28C on the optical axis L1 by controlling the third motor 20C2 based on the third detection result.
  • the CPU 24A adjusts the opening degree of the opening 28E1 by controlling the fourth motor 20D2 via the fourth motor driver 20D1 based on the fourth detection result and the light receiving amount on the first light receiving surface 14A.
  • the fifth position sensor 18E is connected to the bus line 44.
  • the detection result by the fifth position sensor 18E (hereinafter referred to as "fifth detection result") is output to the CPU 24A by the fifth position sensor 18E.
  • the fifth motor driver 20E1 is connected to the bus line 44.
  • the CPU 24A controls the position of the relay lens 34A on the optical axis L1 by controlling the fifth motor 20E2 via the fifth motor driver 20E1 based on the fifth detection result.
  • the first image sensor 14 is located on the optical axis L1 after the relay lens 34A, that is, on the image side of the relay lens 34A. Then, the first image sensor 14 generates a near-infrared light image 60 by imaging the subject S based on the near-infrared light imaged on the first light receiving surface 14A, and the generated near-infrared light image. 60 is output to the subsequent stage.
  • the near-infrared light image 60 is an image showing the subject S by near-infrared light.
  • the near-infrared optical image 60 is an example of a "first wavelength region optical image" according to the technique of the present disclosure.
  • the first signal processing device 40 and the first image sensor driver 42 are connected to the first image sensor 14.
  • the first signal processing device 40 and the first image sensor driver 42 are connected to the bus line 44.
  • the first image sensor driver 42 outputs the first timing control signal to the first image sensor 14 under the control of the CPU 24A.
  • the first timing control signal is a signal that controls imaging by the first image sensor 14.
  • the frame rate of imaging by the first image sensor 14 is defined by the first timing control signal.
  • the first timing control signal includes a vertical synchronization signal and a horizontal synchronization signal.
  • the vertical synchronization signal is a signal that defines the timing at which transmission of an analog image for one frame is started.
  • the horizontal synchronization signal is a signal that defines the timing at which the output of an analog image for one horizontal line is started.
  • the first image sensor 14 starts outputting the analog near-infrared light image 60 in frame units to the first signal processing device 40 according to the vertical synchronization signal input from the first image sensor driver 42. Further, the first image sensor 14 starts outputting the analog near-infrared light image 60 to the first signal processing device 40 in units of horizontal lines according to the horizontal synchronization signal input from the first image sensor driver 42.
  • the first signal processing device 40 Under the control of the CPU 24A, the first signal processing device 40 performs analog signal processing such as correlated double sampling and gain adjustment on the analog near-infrared light image 60 input from the first image sensor 14. After that, A / D conversion is performed to generate a digital near-infrared light image 60.
  • analog signal processing such as correlated double sampling and gain adjustment on the analog near-infrared light image 60 input from the first image sensor 14. After that, A / D conversion is performed to generate a digital near-infrared light image 60.
  • the first signal processing device 40 Under the control of the CPU 24A, the first signal processing device 40 performs digital signal processing such as demosaic processing, noise removal processing, gradation correction processing, and color correction processing on the digital near-infrared light image 60.
  • the digital near-infrared light image 60 that has undergone digital signal processing is output to the CPU 24A by the first signal processing device 40, and stored in a predetermined storage area (for example, RAM 24C and / or secondary storage device 24D) by the CPU 24A. Will be done.
  • a predetermined storage area for example, RAM 24C and / or secondary storage device 24D
  • the 6th position sensor 18F and the 7th position sensor 18G are connected to the bus line 44.
  • the detection result by the 6th position sensor 18F (hereinafter, referred to as “6th detection result”) is output to the CPU 24A by the 6th position sensor 18F.
  • the detection result of the 7th position sensor 18G (hereinafter referred to as "7th detection result”) is output to the CPU 24A by the 7th position sensor 18G.
  • the 6th motor driver 20F1 and the 7th motor driver 20G1 are connected to the bus line 44.
  • the CPU 24A adjusts the opening degree of the opening 32B1 by controlling the sixth motor 20F2 via the sixth motor driver 20F1 based on the sixth detection result and the light receiving amount on the second light receiving surface 16A.
  • the CPU 24A controls the position of the relay lens 32A on the optical axis L2 by controlling the seventh motor 20G2 via the seventh motor driver 20G1 based on the seventh detection result.
  • the second image sensor 16 is located on the optical axis L2 after the relay lens 32A, that is, on the image side of the relay lens 32A. Then, the second image sensor 16 generates a visible light image 62 by imaging the subject S based on the visible light imaged on the second light receiving surface 16A, and outputs the generated visible light image 62 to the subsequent stage. ..
  • the visible light image 62 is an image showing the subject S by visible light.
  • the visible light image 62 is an example of a “second wavelength region light image” according to the technique of the present disclosure.
  • the second signal processing device 46 and the second image sensor driver 48 are connected to the second image sensor 16.
  • the second signal processing device 46 and the second image sensor driver 48 are connected to the bus line 44.
  • the second image sensor driver 48 outputs the second timing control signal to the second image sensor 16 under the control of the CPU 24A.
  • the second timing control signal is a signal that controls imaging by the second image sensor 16.
  • the frame rate of the image captured by the second image sensor 16 is defined by the second timing control signal.
  • the second timing control signal includes a vertical synchronization signal and a horizontal synchronization signal as well as the first timing control signal.
  • the second image sensor 16 starts outputting the analog visible light image 62 in frame units to the second signal processing device 46 according to the vertical synchronization signal input from the second image sensor driver 48. Further, the second image sensor 16 starts outputting the analog visible light image 62 to the second signal processing device 46 in units of horizontal lines according to the horizontal synchronization signal input from the second image sensor driver 48.
  • the second signal processing device 46 Under the control of the CPU 24A, the second signal processing device 46 performs A / D conversion after performing the above-mentioned analog signal processing on the analog visible light image 62 input from the second image sensor 16. A digital visible light image 62 is generated.
  • the second signal processing device 46 performs the above-mentioned digital signal processing on the digital visible light image 62 under the control of the CPU 24A.
  • the digital visible light image 62 that has undergone digital signal processing is output to the CPU 24A by the second signal processing device 46, and is stored in the above-mentioned predetermined storage area by the CPU 24A.
  • visible light image 62 when it is not necessary to distinguish between the analog visible light image 62 and the digital visible light image 62, it is simply referred to as “visible light image 62”.
  • the UI system device 22 includes a touch panel display 50 and a reception unit 52.
  • the touch panel display 50 includes a display 50A and a touch panel 52A, and the touch panel 52A is superimposed on the display area of the display 50A.
  • An example of the display 50A is a liquid crystal display.
  • the display 50A may be another display such as an organic EL display instead of the liquid crystal display.
  • the display 50A and the touch panel 52A are connected to the bus line 44. Therefore, the CPU 24A displays various information on the display 50A and operates according to various instructions received by the touch panel 52A.
  • the reception unit 52 includes a touch panel 52A and a hard key unit 52B.
  • the hard key unit 52B is a plurality of hard keys, and has a power button, a release button, buttons for various settings, and the like.
  • the hard key unit 52B is connected to the bus line 88, and the CPU 24A operates according to various instructions received by the hard key unit 52B.
  • the image pickup program 24B1 is stored in the ROM 24B.
  • the CPU 24A reads the image pickup program 24B1 from the ROM 24B, and deploys the read image pickup program 24B1 in the RAM 24C.
  • the CPU 24A operates as the adjustment unit 25 and the correction unit 27 according to the image pickup program 24B1 developed in the RAM 24C to execute the image pickup process (see FIG. 13) described later.
  • the CPU 24A is an example of a "processor" according to the technique of the present disclosure.
  • the adjusting unit 25 adjusts the focusing position of the first lens group 28A based on the near-infrared light image 60 obtained by imaging the near-infrared light by the first image sensor 14.
  • the correction unit 27 uses a resolution correction filter 29 (see FIG. 12) based on the blur characteristics of the visible light image 62 with respect to the visible light image 62 obtained by capturing the visible light by the second image sensor 16. This corrects the resolution of the visible light image 62.
  • the adjustment unit 25 includes a near-infrared light image acquisition unit 25A, a contrast value extraction unit 25B, and a lens control unit 25C.
  • the near-infrared light image acquisition unit 25A acquires the near-infrared light image 60 obtained by imaging the subject S by the first image sensor 14 from the first signal processing device 40.
  • the contrast value extraction unit 25B extracts a contrast value indicating the degree of contrast of the near-infrared light image 60 from the near-infrared light image 60 acquired by the near-infrared light image acquisition unit 25A.
  • the lens control unit 25C performs so-called contrast AF. Therefore, first, the lens control unit 25C acquires the first detection result from the first position sensor 18A, and acquires the contrast value from the contrast value extraction unit 25B.
  • the lens control unit 25C moves the first lens group 28A on the optical axis L1 by controlling the first motor 20A2 via the first motor driver 20A1 based on the acquired first detection result and contrast value. That is, the lens control unit 25C refers to the acquired first detection result and the contrast value, and moves the first lens group 28A on the optical axis L1 while the contrast value is equal to or higher than the default value on the optical axis L1 (for example, the maximum). Search for the position that becomes (value). Then, the lens control unit 25C moves the first lens group 28A to a position on the optical axis L1 where the contrast value is equal to or higher than the predetermined value.
  • the technique of the present disclosure is not limited to this, and the phase difference AF or the image plane phase difference AF realized by using the phase difference pixels is performed by the adjusting unit 25. It may be done.
  • the focus position for near-infrared light and the focus position for visible light are different. This is because the wavelength of near-infrared light and the wavelength of visible light are different.
  • a point subject is shown as the subject S
  • the focus position of the near infrared light indicating the point subject is “P1”
  • the focus position of the visible light indicating the point subject is “P2”. Is.
  • the focus position P2 is located closer to the object than the focus position P1.
  • the relationship between the focus position for near-infrared light and the focus position for visible light is expressed by a near-infrared light characteristic graph and a visible light characteristic graph, as shown in FIG. 10 as an example.
  • the horizontal axis represents the focus position and the vertical axis represents the MTF.
  • Both the near-infrared light characteristic graph and the visible light characteristic graph are curve graphs showing an upwardly convex quadratic function.
  • the visible light characteristic graph is a curve graph having a higher MTF peak value and a steep convex shape than the near infrared light characteristic graph.
  • the focus position P2 is located at the peak value of MTF in the near-infrared light characteristic graph
  • the focus position P1 is located at the peak value of MTF in the near-infrared light characteristic graph.
  • the degree of blurring of the subject image indicated by the subject light increases as the distance from the peak value of MTF increases.
  • the MTF at the focus position P1 is smaller than the MTF at the focus position P2. This means that the degree of blurring of the subject image with respect to the visible light at the focus position P1 is higher than the degree of blurring of the subject image with respect to the visible light at the focus position P2. Further, when the MTF of the near-infrared light characteristic graph and the MTF of the visible light characteristic graph are compared at the focus position P1, the MTF of the near-infrared light characteristic graph is higher than the MTF of the visible light characteristic graph. This means that at the focus position P1, the subject image for near-infrared light is clearer than the subject image for visible light.
  • the near-infrared light image 60 is obtained as an image in a focused state, whereas the visible light image. 62 is obtained as an image in a state of being significantly blurred as compared with the near-infrared light image 60.
  • the CPU 24A controls the second diaphragm 32B to reduce the opening degree of the opening 32B1.
  • the peripheral light outside the optical axis L2 is dissipated, so that the peripheral light having a large influence on the blur is reduced, and the amount of blur is suppressed by the amount of the reduced peripheral light.
  • FIG. 11 a visible light characteristic flattening graph can be obtained.
  • the peak value of MTF in the visible light characteristic flattening graph is the same as the peak value of MTF in the visible light characteristic graph, but the visible light characteristic flattening graph has a gentler convex shape than the visible light characteristic graph. Yes, it is a graph with higher flatness than the visible light characteristic graph.
  • the blurring characteristic of the visible light image 62 is defined by the point spread function of the light separation device 12.
  • the point spread function of the optical separator 12 refers to, for example, the point spread function of the optical system for visible light.
  • the point spread function corresponding to the visible light characteristic graph at the focus position P1 (hereinafter referred to as “point spread function corresponding to the visible light characteristic graph”) and the visible light characteristic at the focus position P1.
  • a point spread function corresponding to the flattening graph (hereinafter, referred to as “point spread function corresponding to the visible light characteristic flattening graph”) is shown.
  • the horizontal axis represents the pixel position of the second image sensor 16 on the second light receiving surface 16A
  • the vertical axis represents the intensity, that is, the dependent variable of the point spread function.
  • Both the point spread function corresponding to the visible light characteristic graph and the point spread function corresponding to the visible light characteristic flattening graph have an intensity peak value at the same pixel position, and the pixel position on the second light receiving surface 16A. This is a function in which the intensity gradually increases exponentially from one end to the other end and then decreases exponentially.
  • the visible light characteristic flattening graph is a graph in which the fluctuation difference of MTF is smaller than that of the visible light characteristic graph, and the MTF at the focus position P1 is larger in the visible light characteristic flattening graph than in the visible light characteristic graph.
  • the visible light characteristic flattening graph is a graph that is less affected by imaging conditions (for example, aperture amount, focal length, zoom amount, image height, number of pixels, pixel pitch, etc.) than the visible light characteristic graph.
  • the visible light characteristic graph is a graph that fluctuates under the influence of imaging conditions as compared with the visible light characteristic flattening graph. Therefore, the point spread function corresponding to the visible light characteristic graph also fluctuates depending on the imaging conditions.
  • the point spread function corresponding to the visible light characteristic flattening graph has a smaller degree of fluctuation than the point spread function corresponding to the visible light characteristic graph even if the imaging conditions change. This means that the toughness with respect to the imaging conditions is higher in the point spread function corresponding to the visible light characteristic flattening graph than in the point spread function corresponding to the visible light characteristic graph.
  • a point spread function corresponding to the visible light characteristic graph is adopted as the point spread function 24D1 used for correcting the resolution of the visible light image 62, and as an example, as shown in FIG.
  • the storage device 24D stores the point spread function 24D1.
  • the correction unit 27 includes a point spread function acquisition unit 27A, a calculation unit 27B, and a filtering unit 27C.
  • the subject image obtained by forming the subject light indicating the subject S as the point subject on the second light receiving surface 16A in the state where the focus position P1 is adopted is derived from the characteristics of the visible light optical system. Due to the point spread phenomenon, it appears as a point image in a blurred state compared to the original subject image. The point image is represented by the point spread function 24D1. Therefore, the point spread function acquisition unit 27A acquires the point spread function 24D1 from the secondary storage device 24D.
  • the calculation unit 27B calculates the resolution correction filter 29 based on the point spread function 24D1 acquired by the point spread function acquisition unit 27A.
  • the resolution correction filter 29 is a filter applied to the visible light image 62 in a state of being blurred from the original visible light image 62 due to the point spreading phenomenon. That is, the resolution correction filter 29 is an image processing filter that cancels the point spread indicated by the point spread function 24D1.
  • An FIR filter can be mentioned as an example of the "image processing filter" referred to here.
  • the resolution correction filter 29 is obtained by inverting the point spread function 24D1 with the peak value of the intensity of the point spread function 24D1 as the intercept and the linear function having a slope of "0" as the inversion axis.
  • the resolution correction filter 29 is a filter obtained by adjusting a function obtained by inverting the point spread function 24D1 as an inversion axis by a predetermined arithmetic expression (for example, an arithmetic expression for multiplying a specific coefficient). You may.
  • the filtering unit 27C acquires the visible light image 62 obtained by capturing the subject S by the second image sensor 16 from the second signal processing device 46, and calculates the resolution correction filter 29 calculated by the calculation unit 27B. Obtained from part 27B.
  • the filtering unit 27C filters the visible light image 62 by applying the resolution correction filter 29 acquired from the calculation unit 27B to the visible light image 62 acquired from the second signal processing device 46.
  • the resolution correction filter 29 is an FIR filter in real space defined by taps of N ⁇ M (N and M are integers of 2 or more)
  • a filter coefficient is assigned to each tap.
  • the filter coefficient corresponds to the corresponding pixel group.
  • the corresponding pixel group refers to, for example, a processing target pixel in the visible light image 62 before filtering and a plurality of pixels adjacent to the processing target pixel.
  • the filter coefficient assigned to each tap and the pixel value of the corresponding pixel are weighted averaged.
  • the resolution of the visible light image 62 is corrected by calculating the weighted average of the filter coefficient assigned to each tap and the pixel value of the corresponding pixel for all pixels in this way. ..
  • the resolution correction filter 29 By performing the filtering using the resolution correction filter 29 in this way, for example, as shown in FIG. 12, the point spread appearing in the visible light image 62 is reduced.
  • FIG. 13 shows an example of the flow of the imaging process executed by the CPU 24A according to the imaging program 24B1.
  • step ST100 the adjusting unit 25 determines whether or not an imaging instruction (hereinafter, simply referred to as “imaging instruction”) for starting imaging of the subject S has been received by the receiving unit 52. ..
  • An example of an imaging instruction is "on" of the release button. If the imaging instruction is not received by the receiving unit 52 in step ST100, the determination is denied and the imaging process shifts to step ST108. When the imaging instruction is received by the reception unit 52 in step ST100, the determination is affirmed and the imaging process shifts to step ST102.
  • step ST102 the adjusting unit 25 adjusts the opening degree of the opening 32B1 by controlling the second diaphragm 32B. That is, in step ST102, the opening degree of the opening 32B1 is adjusted so that the visible light characteristic flattening graph shown in FIG. 11 can be obtained as an example, thereby increasing the depth of field of the visible light optical system.
  • the adjusting unit 25 acquires the near-infrared light image 60 obtained by imaging the subject S by the first image sensor 14 from the first signal processing device 40. Then, the adjusting unit 25 performs AF control based on the acquired near-infrared light image 60. That is, the adjusting unit 25 performs contrast AF by moving the first lens group 28A along the optical axis L1 based on the acquired near-infrared light image 60. By executing the process of step ST104, the near-infrared light is imaged on the first light receiving surface 14A in a focused state.
  • the correction unit 27 corrects the resolution of the visible light image 62 by executing the visible light resolution correction process.
  • the correction unit 27 acquires the point spread function 24D1 from the secondary storage device 24D.
  • the correction unit 27 generates the resolution correction filter 29 based on the acquired point spread function 24D1.
  • the correction unit 27 applies the generated resolution correction filter 29 to the visible light image 62 obtained by capturing the subject S by the second image sensor 16. In this way, by applying the resolution correction filter 29 to the visible light image 62, the point spread of the visible light image 62 is reduced. As a result, the resolution of the visible light image 62 is higher than the resolution of the visible light image 62 before the filtering is performed.
  • the correction unit 27 determines whether or not the condition for ending the imaging process (hereinafter, referred to as "imaging process end condition") is satisfied.
  • the condition for ending the imaging process is that the reception unit 52 has received an instruction to end the imaging process. If the condition for ending the imaging process is not satisfied in step ST108, the determination is denied and the imaging process shifts to step ST100. If the condition for ending the imaging process is satisfied in step ST108, the determination is affirmed and the imaging process ends.
  • the first image sensor 14 captures the near-infrared light indicating the subject S
  • the second image sensor 16 captures the visible light indicating the subject S.
  • a near-infrared light image 60 is obtained when the subject S is imaged by the first image sensor 14, and a visible light image 62 is obtained when the subject S is imaged by the second image sensor 16.
  • the adjusting unit 25 adjusts the focusing position of the first lens group 28A based on the near-infrared light image 60.
  • the correction unit 27 corrects the resolution of the visible light image 62 by using the resolution correction filter 29 for the visible light image 62.
  • the focus of each of the near-infrared light and the visible light is adjusted only by the focus adjustment mechanism that is used for both the near-infrared light and the visible light, the distance between the near-infrared light and the visible light is adjusted. Due to the wavelength difference in, the focus position of the near-infrared light optical system and the focus position of the visible light optical system deviate from each other. When the focus position of the near-infrared light optical system and the focus position of the visible light optical system deviate from each other, the sharpness of the near-infrared light image 60 and the sharpness of the visible light image 62 are significantly different from each other.
  • the focus is adjusted by the adjusting unit 25 for near-infrared light, and the resolution of the visible light image 62 is resolved by using the resolution correction filter 29 for the visible light image 62. Is corrected. Therefore, according to the image pickup apparatus 10, the near-infrared light is compared with the case where the focus is adjusted for each of the near-infrared light and the visible light only by the focus adjustment mechanism that is also used for both the near-infrared light and the visible light. Blurring of both the image 60 and the visible light image 62 can be suppressed with high accuracy.
  • the blur characteristic of the visible light image 62 is defined by the point spread function of the visible light optical system (“point spread function 24D1” in the examples shown in FIGS. 11 and 12). Therefore, the resolution correction filter 29 based on the point spread function of the visible light optical system has higher accuracy than the case where the blur characteristic of the visible light image 62 is defined by a function other than the point spread function of the visible light optical system. Obtainable.
  • the resolution correction filter 29 an image processing filter that cancels the point spread indicated by the point spread function 24D1 is adopted. Therefore, the resolution of the visible light image 62 can be corrected without increasing the number of optical components.
  • the second optical system 32 has a second diaphragm 32B, and is provided between the color separation prism 30 and the second image pickup element 16. Then, visible light obtained by separating the subject light by the color separation prism 30 is incident on the second optical system 32 via the second diaphragm 32B, and the incident visible light is incident on the second optical system 32. It emits light. In this way, the visible light is incident on the second optical system 32 via the second diaphragm 32B, so that the focus position can be changed for each different wavelength range in the visible light and the depth of field can be deepened. Therefore, the difference in blurring characteristics between wavelength ranges in visible light can be reduced as compared with the case where no optical element is provided between the color separation prism 30 and the second image pickup element 16.
  • the visible light characteristic graph is flattened and the visible light characteristic flattening graph is obtained (see FIG. 11).
  • the same point spread function shown in FIGS. 11 and 12
  • the point spread function 24D1 can be reused, and it is not necessary to use different point spread functions for each imaging condition.
  • the intermediate image S1 is formed by the first optical system 28.
  • the distance between the objective lens located closest to the object side and the first image sensor 14 is longer than in the imaging performed with the intermediate image S1 formed.
  • the distance between the objective lens located closest to the object and the second image sensor 16 is longer than in the imaging performed with the intermediate image S1 formed. Therefore, the same angle of view (same image height) is taken when the intermediate image is not formed and when the intermediate image S1 is formed between the first aperture 28E and the second aperture 32B.
  • the lens diameter of the objective lens located on the most object side used in the former case is set to the lens on the most object side in the first lens group 28A used in the latter case (hereinafter, "first optical system object”. It is necessary to make it larger than the lens diameter of the "side lens”).
  • the first optical system 28 forms an intermediate image S1 between the first diaphragm 28E and the second diaphragm 32B.
  • the intermediate image S1 is formed between the first diaphragm 28E and the color separation prism 30.
  • the intermediate image S1 is formed between the exit surface 28D2 and the entrance surface 36A1. Therefore, the lens diameter of the first optical system object side lens can be made smaller than the lens diameter of the objective lens located closest to the object side used when the subject S is imaged without forming an intermediate image.
  • the size of the first optical system 28 can be reduced when the subject light is separated into near-infrared light and visible light as compared with the case where the intermediate image S1 is not formed.
  • the intermediate image S1 is formed between the first diaphragm 28E and the second diaphragm 32B, the position where the peripheral light beam intersects each of the optical axis L1 and the optical axis L2, that is, conjugated.
  • Two positions are determined as positions. Therefore, of these two positions, the first diaphragm 28E is arranged at the position on the object side, and the second diaphragm 32B is arranged at the remaining position (position on the image side).
  • the first diaphragm 28E and the second diaphragm 32B can be easily arranged at the conjugate position as compared with the case where no intermediate image is formed.
  • a diaphragm capable of changing the amount of subject light is adopted as the first diaphragm 28E. Therefore, as compared with the case where a diaphragm capable of changing only the amount of near-infrared light and a diaphragm capable of changing only the amount of visible light are provided, the timing of changing the amount of near-infrared light and the timing of changing the amount of visible light Can be combined with a simple configuration. Further, the light amount of the near infrared light can be easily changed as compared with the case where the first diaphragm 28E is a diaphragm in which the light amount of the subject light cannot be changed. Further, the depth of field of the near-infrared optical system can be easily adjusted as compared with the case where the first diaphragm 28E is a diaphragm in which the amount of light of the subject light cannot be changed.
  • a diaphragm capable of changing the amount of visible light is adopted as the second diaphragm 32B. Therefore, the amount of visible light can be easily changed as compared with the case where the second diaphragm 32B is a diaphragm in which the amount of visible light cannot be changed. Further, the depth of field of the visible light optical system can be easily adjusted as compared with the case where the second diaphragm 32B is a diaphragm in which the amount of visible light cannot be changed.
  • an independently controllable diaphragm is adopted as the first diaphragm 28E and the second diaphragm 32B. Therefore, the adjustment of the amount of near-infrared light and the adjustment of the amount of visible light can be performed independently.
  • the first image sensor 14 captures a subject of invisible light (in the first embodiment, "near infrared light” as an example), and the second image sensor 16 captures visible light.
  • an image of invisible light compared to the case where the focus is adjusted for each of the invisible light and the visible light only by the focus adjusting mechanism that is also used for both the invisible light and the visible light.
  • blurring of both the “near-infrared light image 60”) and the visible light image 62 can be accurately suppressed.
  • AF control may be performed on visible light to deepen the depth of field of the near-infrared optical system.
  • the correction unit 27 is made to use the point spread function corresponding to the near-infrared light characteristic flattening graph instead of the point spread function corresponding to the visible light characteristic flattening graph.
  • a near-infrared light characteristic flattening graph is a graph obtained by flattening an infrared light characteristic graph, just as a visible light characteristic flattening graph is a graph obtained by flattening a visible light characteristic graph.
  • the point spread function corresponding to the near-infrared light characteristic flattening graph is stored in the secondary storage device 24D, and the point spread function corresponding to the near-infrared light characteristic flattening graph is secondarily stored by the correction unit 27. Obtained from device 24D.
  • a resolution correction filter based on the point spread function corresponding to the near-infrared light characteristic flattening graph is generated by the correction unit 27, and the generated resolution correction filter is applied to the near-infrared light image 60.
  • AF control is executed for visible light, and is executed by the CPU 24A assuming use in a machine vision system as a form example of deepening the depth of field of the near-infrared optical system.
  • An example of the flow of the imaging process is shown.
  • the term "machine vision system” as used herein refers to, for example, a system having a function of selectively irradiating an inspection object with near-infrared light and visible light to image the inspection object.
  • FIGS. 14A and 14B a process different from the imaging process shown in FIG. 13 will be referred to, and the same process will be given the same step number and the description will be omitted.
  • the imaging process shown in FIGS. 14A and 14B is different from the imaging process shown in FIG. 13 in that it has steps ST200 to ST208.
  • step ST200 did the adjusting unit 25 satisfy the condition for executing AF control for near-infrared light (hereinafter, referred to as “near-infrared light AF control condition”)? Judge whether or not.
  • the near-infrared light AF control condition there is a condition that the ratio of the intensity of the near-infrared light to the intensity of the visible light is larger than the threshold value (for example, 1.5). If the near-infrared light AF control condition is satisfied in step ST200, the determination is affirmed, and the imaging process proceeds to step ST100. If the near-infrared light AF control condition is not satisfied in step ST200, the determination is denied, and the imaging process proceeds to step ST202 shown in FIG. 14B.
  • step ST202 shown in FIG. 14B the adjusting unit 25 determines whether or not the imaging instruction has been received by the receiving unit 52. If the imaging instruction is not received by the receiving unit 52 in step ST202, the determination is denied and the imaging process shifts to step ST108. When the imaging instruction is received by the reception unit 52 in step ST202, the determination is affirmed, and the imaging process shifts to step ST204.
  • step ST204 the adjusting unit 25 adjusts the opening degree of the opening 28E1 by controlling the first diaphragm 28E. That is, in step ST204, the opening degree of the opening 28E1 is adjusted so that the near-infrared light characteristic flattening graph can be obtained, thereby deepening the depth of field of the near-infrared light optical system.
  • the adjusting unit 25 acquires the visible light image 62 obtained by capturing the subject S by the second image sensor 16 from the second signal processing device 46. Then, the adjusting unit 25 performs AF control based on the acquired visible light image 62. That is, the adjusting unit 25 performs contrast AF by moving the first lens group 28A along the optical axis L1 based on the acquired visible light image 62. By executing the process of step ST206, the visible light is imaged on the second light receiving surface 16A in a focused state.
  • the correction unit 27 corrects the resolution of the near-infrared light image 60 by executing the near-infrared light resolution correction process.
  • the correction unit 27 acquires the point spread function corresponding to the near-infrared light characteristic flattening graph from the secondary storage device 24D.
  • the correction unit 27 generates a resolution correction filter based on the acquired point spread function.
  • the correction unit 27 applies the generated resolution correction filter to the near-infrared light image 60 obtained by imaging the subject S by the first image sensor 14. In this way, by applying the resolution correction filter to the near-infrared light image 60, the point spread of the near-infrared light image 60 is reduced.
  • the resolution of the near-infrared light image 60 is higher than the resolution of the near-infrared light image 60 before filtering is performed.
  • the second diaphragm 32B is used to increase the axial chromatic aberration on the visible light side, but the technique of the present disclosure is not limited to this, and other methods are used.
  • the axial chromatic aberration may be further increased with.
  • the image pickup device 300 is used instead of the image pickup device 10.
  • the image pickup device 300 is different from the image pickup device 10 in that it has an optical separation device 312 instead of the light separation device 12.
  • the optical separator 312 is different from the optical separator 12 in that it has a negative power optical system 80 and an insertion / removal mechanism 81.
  • the negative power optical system 80 is an optical system having negative power, and is provided between the color separation prism 30 and the second image sensor 16.
  • the negative power optical system 80 is arranged between the color separation prism 30 and the second diaphragm 32B on the optical axis L2.
  • the negative power optical system 80 is a lens group composed of a plurality of lenses, but the technique of the present disclosure is not limited to this, and one lens having negative power (for example, a concave lens) may be used.
  • the insertion / removal mechanism 81 is a mechanism capable of inserting / removing the negative power optical system 80 between the color separation prism 30 and the second diaphragm 32B on the optical axis L2.
  • the insertion / removal mechanism 81 has a power source such as a motor or a solenoid, and a slide mechanism.
  • a negative power optical system 80 is attached to the slide mechanism, and the slide mechanism inserts and removes the negative power optical system 80 from the optical path for visible light by receiving the power generated by the power source.
  • the image pickup apparatus 300 configured in this way, when the negative power optical system 80 is arranged between the color separation prism 30 and the second aperture 32B on the optical axis L2, as compared with the optical path for near infrared light, The axial chromatic aberration in the optical path for visible light becomes large. As a result, it is possible to obtain a visible light characteristic flattening graph having a higher flatness than the visible light characteristic graph, as in the first embodiment.
  • the insertion / removal mechanism 81 is adopted as a mechanism capable of inserting / removing the negative power optical system 80 between the color separation prism 30 and the second diaphragm 32B on the optical axis L2. Therefore, the flatness of the visible light characteristic flattening graph can be made different depending on whether the negative power optical system 80 is inserted or not inserted between the color separation prism 30 and the second diaphragm 32B on the optical axis L2. ..
  • the technique of the present disclosure is established even if the insertion / removal mechanism 81 is removed from the image pickup apparatus 300 shown in FIG.
  • one point spread function (point spread function 24D1 in the examples shown in FIGS. 11 and 12) has been reused regardless of the focus position.
  • the technique is not limited to this, and a plurality of point spread functions may be used properly.
  • the point spread function table 24D2 is stored in the secondary storage device 24D, and the point spread function acquisition unit 27A1 replaces the point spread function acquisition unit 27A described above. It has been applied.
  • the point spread function table 24D2 the above-mentioned imaging conditions and the point spread function are associated with each other.
  • different point spread functions are defined for each imaging condition.
  • the point spread function table 24D2 is acquired from the secondary storage device 24D by the point spread function acquisition unit 27A1.
  • the point spread function acquisition unit 27A1 acquires the imaging conditions currently adopted, and acquires the point spread function corresponding to the acquired imaging conditions from the point spread function table 24D2.
  • the point spread function acquired by the point spread function acquisition unit 27A1 is used by the calculation unit 27B to calculate the resolution correction filter 29.
  • the technique of the present disclosure is not limited to this, and as shown in FIG. 17 as an example, the image pickup apparatus 300
  • the second diaphragm 32B may be removed from the optical separator 312. In this case as well, axial chromatic aberration can be generated in the visible light path.
  • an intermediate image S1 is formed between the first diaphragm 28E and the negative power optical system 80 by the first optical system 28.
  • the first optical system 28 is compared with the case where the intermediate image is not formed. Can be miniaturized.
  • the resolution of the visible light image 62 is corrected by performing image processing on the visible light image 62, that is, applying the resolution correction filter 29 to the visible light image 62.
  • the technique of the present disclosure is not limited to this.
  • the resolution of the visible light image 62 may not be corrected by image processing.
  • the resolution of the visible light image 62 is corrected by optically adjusting the depth of field of the visible light optical system by the second aperture 32B or the negative power optical system 80. To.
  • the near-infrared light image 60 and the visible light image are compared with the case where the focus is adjusted for each of the near-infrared light and the visible light only by the focus adjustment mechanism that is also used for both the near-infrared light and the visible light. Both blurs of 62 can be suppressed with high accuracy.
  • the second diaphragm 32B and the negative power optical system 80 may be used in combination. As a result, axial chromatic aberration can be increased as compared with the case where only the second diaphragm 32B or the negative power optical system 80 is used.
  • the second diaphragm 32B and / or the negative power optical system 80 is an example of the "correction unit (optical component)" according to the technique of the present disclosure.
  • the optical component is a single optical element (for example, an aperture or an optical filter) capable of optically adjusting the depth of field of visible light and / or a unit (for example, an optical system) composed of a plurality of optical elements. Etc. are collectively referred to.
  • the negative power optical system 80 which is an example of the “optical component” according to the technique of the present disclosure, is not electronically controlled, but is, for example, manually (for example, by manually operating the insertion / removal mechanism 81, or).
  • the second diaphragm 32B which is an example of the "optical component" according to the technique of the present disclosure, may also be adjusted manually, for example, instead of being electronically controlled. In this way, even when the negative power optical system 80 and / or the aperture 32B is manually adjusted, the resolution of the visible light image 62 is corrected in the same manner as in the first embodiment.
  • the third optical system 34 and the fourth optical system 36 have been exemplified, but the technique of the present disclosure is not limited to this, and the third optical system 34 and / or the fourth optical system 36 may be used.
  • the technology of the present disclosure can be established without it.
  • the first image sensor 14 and / or the second image sensor 16 may be a CCD image sensor.
  • Infrared light, especially SWIR, may be imaged with an InGaAs sensor.
  • the subject light is separated into near-infrared light and visible light by the color separation prism 30, but in the second embodiment, the subject light is brought close by another method.
  • a morphological example in which infrared light and visible light are separated will be described.
  • components different from the components described in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • the image pickup apparatus 100 is different from the image pickup apparatus 10 in that it has an optical separator 112 instead of the optical separator 12. Further, as compared with the image pickup device 10, the image pickup device 100 has an image pickup unit 114 instead of the first image pickup element 14 and the second image pickup element 16, a point that has a position detection device 118 instead of the position detection device 18, and a point that the image pickup device 100 has a position detection device 118 instead of the position detection device 18. The difference is that the power applying device 120 is provided instead of the power applying device 20.
  • the optical separator 112 is different from the optical separator 12 in that it does not have the color separation prism 30, the second optical system 32, and the fourth optical system 36. Further, the optical separator 112 is different from the optical separator 12 in that it has an all-wavelength region diaphragm 102 and an optical filter 104.
  • the optical filter 104 has a near-infrared light transmitting portion 104A and a total transmitting portion 104B.
  • the "transmissive portion" can also be rephrased as a "transparent region”.
  • the near-infrared light transmitting portion 104A is an example of a "partially transmitting portion (partially transmitting region)" according to the technique of the present disclosure.
  • the all-wavelength region diaphragm 102 is arranged on the image side of the intermediate image S1.
  • the all-wavelength region diaphragm 102 has an opening 102A, and by adjusting the opening degree of the opening 102A, the amount of subject light from the intermediate image S1 side is adjusted.
  • the imaging unit 114 has a color filter unit 115 and a light receiving unit 116.
  • the light receiving unit 116, the position detecting device 118, and the power applying device 120 are connected to the control device 24.
  • the position detection device 118 is different from the position detection device 18 in that it does not have the sixth position sensor 18F and the seventh position sensor 18G.
  • the power applying device 120 is different from the power applying device 20 in that it does not have the sixth motor driver 20F1, the seventh motor driver 20G1, the sixth motor 20F2, and the seventh motor 20G2.
  • the optical filter 104 is formed in an annular shape when viewed from the object side.
  • the total transmission portion 104B is formed in a circular shape in the central portion when the optical filter 104 is viewed from the object side, and by passing the subject light itself, the near infrared rays included in the subject light are included. It allows both light and visible light to pass through.
  • the near-infrared light transmitting portion 104A is formed around the total transmitting portion 104B. Specifically, the near-infrared light transmitting portion 104A is formed in a shape along the outer circumference of the total transmitting portion 104B, that is, in an annular shape.
  • the near-infrared light transmitting unit 104A transmits near-infrared light and blocks visible light. Examples of the method of blocking visible light include a method of absorbing visible light and a method of reflecting visible light. In the second embodiment, a method of absorbing visible light is adopted, and the near-infrared light transmitting portion 104A is a material that transmits near-infrared light and absorbs visible light (for example, a black PET film or the like). Is formed of.
  • red (R), green (G), and blue (B) are assumed, but the technique of the present disclosure is not limited to this, and the R component is not limited to this.
  • Light in at least one wavelength range of light, B component light, and G component light may be adopted as visible light.
  • the near-infrared light transmitted through the optical filter 104 that is, the near-infrared light transmitted through the near-infrared light transmitting portion 104A and the total transmitting portion 104B is connected to the light receiving portion 116 by the relay lens 34A (see FIG. 18). Be imaged. The focus of the near-infrared light is adjusted to the light receiving portion 116 by moving the first lens group 28A along the optical axis L1 as in the first embodiment.
  • the light receiving unit 116 included in the imaging unit 114 has a plurality of first light receiving elements 117 and a plurality of second light receiving elements 119.
  • a color filter unit 115 is arranged on the plurality of first light receiving elements 117 and the plurality of second light receiving elements 119.
  • the color filter unit 115 includes an Ir filter, an R filter, a G filter, and a B filter.
  • the Ir filter is a filter that transmits near-infrared light.
  • the R filter is a filter that transmits light of the R component.
  • the G filter is a filter that transmits light of the G component.
  • the B filter is a filter that transmits the light of the B component.
  • the second light receiving element 119 is roughly classified into a light receiving element 119R having sensitivity to light of R component, a light receiving element 119G having sensitivity to light of G component, and a light receiving element 119B having sensitivity to light of B component. ..
  • An Ir filter is arranged on the first light receiving element 117.
  • An R filter is arranged on the light receiving element 119R.
  • a G filter is arranged on the light receiving element 119G.
  • a B filter is arranged on the light receiving element 119B.
  • a filter that blocks near-infrared light is further arranged in each of the light receiving elements 119R, 119G, and 119B.
  • a plurality of first light receiving elements 117 receive near infrared light, generate a near infrared light image 60 based on the received near infrared light, and a plurality of first light receiving elements 114. 2
  • the light receiving element 119 receives visible light and generates a visible light image 62 based on the received visible light.
  • the light receiving unit 116 is connected to the signal processing device 140 and the image sensor driver 142, and the signal processing device 140 and the image sensor driver 142 are connected to the control device 24.
  • the image sensor driver 142 is a device having each function of the first image sensor driver 42 and the second image sensor driver 48 described in the first embodiment, and is a first timing control signal under the control of the control device 24.
  • the second timing control signal is selectively output to the light receiving unit 116.
  • the light receiving unit 116 outputs the near-infrared light image 60 to the signal processing device 140 according to the first timing control signal. Further, the light receiving unit 116 outputs the visible light image 62 to the signal processing device 140 according to the second timing control signal.
  • the signal processing device 140 is a device having each function of the first signal processing device 40 and the second signal processing device 46 described in the first embodiment.
  • the signal processing device 140 performs the above-mentioned analog signal processing and digital signal processing on the near-infrared light image 60 and the visible light image 62 output from the light receiving unit 116 under the control of the control device 24.
  • the near-infrared light image 60 and the visible light image 62 which have been subjected to analog signal processing and digital signal processing, respectively, are output to the control device 24 by the control device 24.
  • the imaging process described in the first embodiment is executed based on the near-infrared light image 60 and the visible light image 62 input from the signal processing device 140.
  • the optical filter 104 is adopted in the image pickup apparatus 100.
  • the near-infrared light transmitting portion 104A transmits near-infrared light and blocks visible light
  • the total transmitting portion 104B transmits both near-infrared light and visible light.
  • the focus is adjusted for each of the near-infrared light and the visible light only by the focus adjustment mechanism that is also used for both the near-infrared light and the visible light. Blurring of both the infrared light image 60 and the visible light image 62 can be suppressed with high accuracy.
  • the color separation prism 30 it is not necessary to separate the subject light into near-infrared light and visible light by the color separation prism 30, and it is not necessary to provide an imaging unit for each of the separate optical paths of the near-infrared light and visible light. Therefore, the number of image pickup units installed can be reduced as compared with the case where the subject light is separated into near-infrared light and visible light by the color separation prism 30.
  • the near-infrared light transmitting portion 104A is formed of a material that transmits near-infrared light and absorbs visible light. Therefore, in the portion corresponding to the near-infrared light transmitting portion 104A, the depth of view of visible light is deepened as compared with the case where both near-infrared light and visible light are transmitted, as in the case of the total transmitting portion 104B. be able to.
  • the image pickup unit 114 has a light receiving unit 116, and the light receiving unit 116 includes a plurality of first light receiving elements 117 and a plurality of second light receiving elements 119. Then, in the plurality of first light receiving elements 117, the plurality of first light receiving elements 117 receive near infrared light, and the near infrared light image 60 is generated based on the received near infrared light, and the plurality of first light receiving elements 117 are generated. 2
  • the light receiving element 119 receives visible light and generates a visible light image 62 based on the received visible light.
  • the subject light is separated into near-infrared light and visible light by the color separation prism 30, and the near-infrared light and visible light obtained by the separation are imaged by separate imaging units. It is possible to suppress the increase in size of the image pickup apparatus 100.
  • the near-infrared light transmitting portion 104A has been described with reference to a form example in which the near-infrared light transmitting portion 104A is formed of a material that transmits near-infrared light and absorbs visible light. Is not limited to this.
  • the near-infrared light transmitting portion 104A may be made of a material that transmits near-infrared light and reflects visible light (for example, a visible light reflecting film).
  • the depth of view for visible light is increased as compared with the case where both near-infrared light and visible light are transmitted, as in the case of the total transmitting portion 104B. Can be deepened.
  • the technique of the present disclosure includes this.
  • the resolution of the visible light image 62 may be corrected by optically adjusting the depth of field for the visible light without correcting the resolution of the visible light image 62 by image processing.
  • the focus is adjusted for each of the near-infrared light and the visible light only by the focus adjustment mechanism that is also used for both the near-infrared light and the visible light. Blurring of both the near-infrared light image 60 and the visible light image 62 can be accurately suppressed.
  • the optical filter 104 which is an example of the “correction unit (optical component)” according to the technique of the present disclosure, uses near-infrared light.
  • the transmitting portion 104A transmits near-infrared light and blocks visible light
  • the total transmitting portion 104B transmits both near-infrared light and visible light.
  • the visible light is narrowed down, so that the depth of field for the visible light can be increased as compared with the case where the visible light is not narrowed down. Therefore, the resolution of the visible light image 62 can be increased as compared with the case where the visible light is not focused.
  • the image pickup apparatus 200 is different from the image pickup apparatus 10 in that it has an optical separator 220 instead of the optical separator 12.
  • the optical separator 220 is different from the optical separator 12 in that it does not have the fourth optical system 36 and that it has the first optical system 228 instead of the first optical system 28.
  • the first optical system 228 has a first lens group 228A instead of the first lens group 28A, a second lens group 228B instead of the second lens group 28B, and a second lens group 228B, as compared with the first optical system 28.
  • the difference is that the third lens group 28C is replaced with the third lens 228C and the fourth lens group 28D is replaced with the fourth lens 228D.
  • the first optical system 228 configured in this way is different from the first optical system 28 in that it forms an intermediate image S2 instead of the intermediate image S1.
  • the intermediate image S2 is formed between the color separation prism 30 and the second diaphragm 32B on the optical axis L2 by the first optical system 228.
  • the lens of the first optical system object side lens is larger than the lens diameter of the objective lens located closest to the object side used when the subject S is imaged without forming an intermediate image.
  • the diameter can be reduced.
  • the size of the first optical system 228 can be reduced when the subject light is separated into the near infrared light and the visible light as compared with the case where the intermediate image is not formed.
  • the peripheral light rays are the optical axis L1 and the optical axis as in the above embodiment.
  • Two positions are determined as positions intersecting each of L2, that is, conjugate positions. Therefore, of these two positions, the first diaphragm 28E is arranged at the position on the object side, and the second diaphragm 32B is arranged at the remaining position (position on the image side). As described above, in the image pickup apparatus 200, the first diaphragm 28E and the second diaphragm 32B can be easily arranged at the conjugate position as compared with the case where no intermediate image is formed.
  • the optical system is not arranged between the color separation prism 30 and the intermediate image S2 on the optical axis L2, but the technique of the present disclosure is not limited to this, and is on the optical axis L2.
  • the optical system may be arranged between the color separation prism 30 and the intermediate image S2.
  • the image pickup apparatus 400 is different from the image pickup apparatus 200 in that it has an optical separator device 420 instead of the optical separator device 220.
  • the optical separator 420 is different from the optical separator 220 in that it has an optical system 70.
  • the optical system 70 is an optical system having a positive power, and is arranged between the color separation prism 30 and the intermediate image S2 on the optical axis L2.
  • the optical system 70 is a lens group composed of a plurality of lenses, but the technique of the present disclosure is not limited to this, and a single lens having positive power (for example, a convex lens) may be used.
  • the optical system 70 may be a fixed lens or a moving lens, and may be an optical system in which the position of the intermediate image S2 on the optical axis L2 can be finely adjusted.
  • the subject S is imaged by the second image sensor 16 by forming a visible light image on the second light receiving surface 16A, and a visible light image 62 is generated as an electronic image.
  • the technique of the present disclosure is not limited to this.
  • the visible light image 62 may be generated as an electronic image, and the subject image based on the visible light may be visually recognized by the user as an optical image.
  • the image pickup apparatus 500 is different from the image pickup apparatus 10 in that it has an optical separator 520 instead of the optical separator 12 and has an eyepiece window 524.
  • the optical separator 520 is different from the optical separator 12 in that it has a half prism 522.
  • the relay lens 32A has an exit surface 32A1.
  • the exit surface 32A1 is the surface on the image side of the relay lens 32A.
  • the half prism 522 is arranged between the second light receiving surface 16A and the emitting surface 32A1. Visible light emitted from the exit surface 32A1 is incident on the half prism 522, and the incident visible light is transmitted through the half prism 522 and imaged on the second light receiving surface 16A.
  • the half prism 522 has a selective reflection surface 522A, and a part of visible light is reflected by the selective reflection surface 522A and passes through the eyepiece window 524. As a result, the subject image based on visible light is visually recognized by the user as an optical image through the eyepiece window 524.
  • the half prism 522 is illustrated, but the present invention is not limited to this, and a dichroic mirror, a prism, or a half mirror may be used.
  • the image pickup apparatus 600 is different from the image pickup apparatus 400 in that it has a hybrid finder (registered trademark) 15.
  • the hybrid finder 15 is a finder in which an optical view finder (hereinafter referred to as "OVF") and an electronic view finder (hereinafter referred to as "EVF”) are selectively used.
  • OVF optical view finder
  • EVF electronic view finder
  • the hybrid finder 15 includes a display 86, and the CPU 24A causes the display 86 to display various information.
  • An example of the display 86 is a liquid crystal display.
  • the display 86 may be another display such as an organic EL display instead of the liquid crystal display.
  • the hybrid finder 15 includes OVF90 and EVF92.
  • the OVF 90 is an inverted Galilean viewfinder and has an eyepiece 94, a prism 96, and an objective lens 98.
  • the EVF 92 has a display 86, a prism 96, and an eyepiece lens 94.
  • a liquid crystal shutter 101 is arranged along the optical axis L3 of the objective lens 98 on the object side of the objective lens 98.
  • a selective reflection surface 522A is arranged on the object side of the liquid crystal shutter 101 along the optical axis L3, and visible light reflected by the selective reflection surface 522A is incident on the liquid crystal shutter 101.
  • the liquid crystal shutter 101 shields the objective lens 98 from visible light under the control of the CPU 24A.
  • the prism 96 reflects the electronic image displayed on the display 86 and guides it to the eyepiece 94, and transmits visible light incident from the light separation device 520 through the liquid crystal shutter 101 and the objective lens 98 to transmit the visible light to the eyepiece lens. Lead to 94.
  • Examples of the electronic image displayed on the display 86 include a near-infrared light image 60, a visible light image 62, or a live view image based on the composite image 64.
  • the composite image 64 refers to an image obtained by combining the visible light image 62 and the near infrared light image 60.
  • An example of the composite image 64 is an image obtained by alpha blending the visible light image 62 and the near infrared light image 60.
  • the electronic image displayed on the display 86 is not limited to the live view image, but may be a still image.
  • the CPU 24A controls the liquid crystal shutter 101 so as to be in a non-light-shielding state so that the optical image (subject image based on visible light) can be visually recognized from the eyepiece lens 94 through the eyepiece window 524.
  • the CPU 24A controls the liquid crystal shutter 101 to be in a light-shielding state so that only the electronic image displayed on the display 86 can be visually recognized from the eyepiece lens 94.
  • the first diaphragm 28E will be described with reference to a configuration example in which the first diaphragm 28E is arranged on the object side of the fourth lens group 28D and adjacent to the fourth lens group 28D in the optical axis L1 direction.
  • the technique of the present disclosure is not limited to this.
  • the first diaphragm 28E may be arranged at a position adjacent to the fourth lens group 28D on the image side of the fourth lens group 28D in the optical axis L1 direction.
  • near-infrared light is exemplified as invisible light, but the technique of the present disclosure is not limited to this.
  • the invisible light may be infrared light.
  • the subject light is separated into infrared light and visible light by the color separation prism 30.
  • a plurality of photoelectric conversion elements having sensitivity to infrared light which is light in the infrared wavelength region, are arranged on the first light receiving surface 14A, and the first light receiving surface 14A receives infrared light. Then, the first image sensor 14 generates an infrared light image based on the infrared light received by the first light receiving surface 14A.
  • the "infrared light” referred to here is light on the longer wavelength side than about 700 nm (nanometers) of the subject light, and visible light is light on the short wavelength side of 700 nm or less.
  • the infrared light of the subject light passes through the color separation prism 30 with a transmittance of about 90% (percentage), and the visible light of the subject light has a reflectance of more than about 90% and the selective reflecting surface 30A. Reflects on.
  • the size of the first optical system 28 is reduced as compared with the case where the intermediate image is not formed, as in the above embodiment. be able to.
  • the invisible light is not limited to infrared light or near-infrared light, and may be light on the shorter wavelength side than the wavelength range of visible light.
  • the light receiving may be performed by the image pickup element in which the photosensitive pixel (photoelectric conversion element) having sensitivity to light on the shorter wavelength side than the wavelength range of visible light is arranged on the light receiving surface.
  • a zoom lens composed of a 4-group lens is exemplified as the first optical system 28, but this is merely an example, and the technique of the present disclosure is not limited to this.
  • a zoom lens composed of a negative, positive, and positive three-group lens may be applied in order from the object side, or a four-group zoom in which the refractive power is positive, negative, negative, and positive in order from the object side.
  • the zoom may have five groups of positive, negative, positive, positive, and positive refractive powers in order from the object side, and any zoom type can be used.
  • control device 24 has been described with reference to an example of a form realized by a computer having a CPU 24A, a ROM 24B, and a RAM 24C, but the technique of the present disclosure is not limited thereto.
  • control device 24 may be a device including an ASIC, FPGA, and / or PLD.
  • control device 24 may be realized by a combination of a hardware configuration and a software configuration.
  • the imaging program 24B1 is stored in the ROM 24B, but the technique of the present disclosure is not limited to this, and any portable storage medium (non-temporary storage medium) such as an SSD or a USB memory is used. ) May store the imaging program 24B1.
  • the image pickup program 24B1 stored in the storage medium is installed in the control device 24, and the CPU 24A executes the above-mentioned image pickup process according to the image pickup program 24B1.
  • the image pickup program 24B1 is stored in a storage unit of another computer or server device connected to the control device 24 via a communication network (not shown), and the image pickup program 24B1 is stored in response to a request from the image pickup device 10. It may be downloaded to the control device 24. In this case, the control device 24 executes the imaging process based on the downloaded imaging program 24B1.
  • the CPU 24A has been illustrated, but the technique of the present disclosure is not limited to this, and a plurality of CPUs may be adopted or a GPU may be adopted.
  • the hardware resource for executing the above imaging process the following various processors can be used.
  • the processor include, as described above, software, that is, a CPU, which is a general-purpose processor that functions as a hardware resource for executing an imaging process by executing a program.
  • examples of the processor include a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as FPGA, PLD, or ASIC.
  • the hardware resource that performs the imaging process may consist of one of these various processors, or a combination of two or more processors of the same type or dissimilarity (eg, a combination of multiple FPGAs, or a CPU). And FPGA). Further, the hardware resource for executing the imaging process may be one processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor performs imaging processing.
  • this processor performs imaging processing.
  • SoC there is a form in which a processor that realizes the functions of the entire system including a plurality of hardware resources for executing the imaging process with one IC chip is used.
  • the imaging process is realized by using one or more of the above-mentioned various processors as a hardware resource.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be only A, only B, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.
  • the subject light including the first wavelength region light and the second wavelength region light is imaged by the optical system, and each of the first wavelength region light and the second wavelength region light included in the imaged subject light.
  • Image sensor that captures images
  • a processor that adjusts the focusing position of the optical system based on a first wavelength region optical image obtained by imaging the first wavelength region light by the image sensor.
  • the second wavelength region light image obtained by imaging the second wavelength region light by the image sensor is obtained by optically adjusting the depth of field of the second wavelength region light.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる第1波長域光及び第2波長域光の各々について撮像を行うイメージセンサと、撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整するプロセッサと、イメージセンサにより第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、第2波長域光の被写界深度を光学的に調整することで補正する光学コンポーネントと、を備える。

Description

撮像装置、撮像方法、及びプログラム
 本開示の技術は、撮像装置、撮像方法、及びプログラムに関する。
 特開2017-003749号公報には、被写体像を結像するための光学部を有する撮像装置が開示されている。特開2017-003749号公報に記載の撮像装置は、ピント調整手段、絞り調整手段、制御手段、赤外光撮像手段、及び可視光撮像手段を備えている。
 特開2017-003749号公報に記載の撮像装置において、ピント調整手段は、光学部のピント位置を調整する。絞り調整手段は、光学部の絞り径を調整する。制御手段は、ピント調整手段と絞り調整手段とを制御する。赤外光撮像手段は、被写体像に含まれる赤外光成分を撮像する。可視光撮像手段は、被写体像に含まれる可視光成分を撮像する。制御手段は、赤外光撮像手段及び可視光撮像手段のうち一方のピント位置に基づいて、ピント調整手段及び絞り調整手段を制御する。
 特開2016-207030号公報には、入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも1つの撮像装置によって撮影された画像を処理する画像処理装置が開示されている。特開2016-207030号公報に記載の画像処理装置は、所定の変曲点入射角に対応する変曲点対応画像領域の解像度と、変曲点対応画像領域よりも内側の内側画像領域及び外側の外側画像領域の少なくとも一方の解像度とを調整する解像度調整部を備える。
 本開示の技術に係る一つの実施形態は、第1波長域光及び第2波長域光の双方に対して兼用のピント調整機構のみで第1波長域光及び第2波長域光の各々についてピントを調整する場合に比べ、第1波長光画像及び第2波長光画像の双方のぼけを精度良く抑制することができる撮像装置、撮像方法、及びプログラムを提供する。
 本開示の技術に係る第1の態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部と、撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整する調整部と、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像に対して、第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで第2波長域光画像の解像度を補正する補正部と、を含む撮像装置である。
 本開示の技術に係る第2の態様は、ぼけ特性は、光学系の点拡がり関数によって規定されている、第1の態様に係る撮像装置である。
 本開示の技術に係る第3の態様は、解像度補正フィルタは、点拡がり関数により示される点拡がりを相殺する画像処理フィルタである、第2の態様に係る撮像装置である。
 本開示の技術に係る第4の態様は、光学フィルタを更に含み、光学フィルタは、第1波長域光及び第2波長域光の双方を透過させる全透過部と、全透過部の周辺に形成され、第1波長域光を透過させ、かつ、第2波長域光を遮断する部分透過部とを有する、第1の態様から第3の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第5の態様は、撮像部は、第1波長域光について撮像を行う第1撮像部と、第2波長域光について撮像を行う第2撮像部と、を有し、光学系は、第1光学系、分離光学系、及び第2光学系を有し、第1光学系は、第1絞りを有し、入射された被写体光を、第1絞りを介して分離光学系に出射し、分離光学系は、第1光学系から出射された被写体光を第1波長域光と第2波長域光とに分離し、第2光学系は、第2絞りを有し、分離光学系と第2撮像部との間に設けられ、分離光学系によって被写体光が分離されることで得られた第2波長域光が第2絞りを介して入射され、入射された第2波長域光を出射する、第1の態様から第3の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第6の態様は、撮像部は、第1波長域光について撮像を行う第1撮像部と、第2波長域光について撮像を行う第2撮像部と、を有し、光学系は、第1光学系、分離光学系、及び負パワー光学系を有し、第1光学系は、第1絞りを有し、入射された被写体光を、第1絞りを介して分離光学系に出射し、分離光学系は、第1光学系から出射された被写体光を第1波長域光と第2波長域光とに分離し、負パワー光学系は、負のパワーを有し、分離光学系と第2撮像部との間に設けられた、第1の態様から第3の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第7の態様は、第1光学系は、第1絞りと負パワー光学系との間に中間像を形成する、第6の態様に係る撮像装置である。
 本開示の技術に係る第8の態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部と、撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整する調整部と、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、第2波長域光の被写界深度を光学的に調整することで補正する補正部と、を含む撮像装置である。
 本開示の技術に係る第9の態様は、補正部は、光学フィルタを有し、光学フィルタは、第1波長域光及び第2波長域光の双方を透過させる全透過部と、全透過部の周辺に形成され、第1波長域光を透過させ、かつ、第2波長域光を遮断する部分透過部とを有する、第8の態様に係る撮像装置である。
 本開示の技術に係る第10の態様は、撮像部は、第1波長域光について撮像を行う第1撮像部と、第2波長域光について撮像を行う第2撮像部と、を有し、光学系は、第1光学系、分離光学系、及び第2光学系を有し、第1光学系は、第1絞りを有し、入射された被写体光を、第1絞りを介して分離光学系に出射し、分離光学系は、第1光学系から出射された被写体光を第1波長域光と第2波長域光とに分離し、第2光学系は、補正部として第2絞りを有し、分離光学系と第2撮像部との間に設けられ、分離光学系によって被写体光が分離されることで得られた第2波長域光が第2絞りを介して入射され、入射された第2波長域光を出射する、第8の態様に係る撮像装置である。
 本開示の技術に係る第11の態様は、部分透過部は、第1波長域光を透過させ、第2波長域光を吸収する材料で形成されている、第4の態様又は第9の態様に係る撮像装置である。
 本開示の技術に係る第12の態様は、部分透過部は、第1波長域光を透過させ、第2波長域光を反射する材料で形成されている、第4の態様又は第9の態様に係る撮像装置である。
 本開示の技術に係る第13の態様は、撮像部は、第1波長域光を受光する複数の第1受光素子と、第2波長域光を受光する複数の第2受光素子とを有し、複数の第1受光素子により受光された第1波長域光に基づいて第1波長域光画像を生成し、複数の第2受光素子により受光された第2波長域光に基づいて第2波長域光画像を生成する、第1の態様から第12の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第14の態様は、第1光学系は、第1絞りと第2絞りとの間に中間像を形成する、第5の態様又は第10の態様に係る撮像装置である。
 本開示の技術に係る第15の態様は、分離光学系と第2絞りとの間に配置され、負のパワーを有する負パワー光学系を更に含む第5の態様、第10の態様、又は第14の態様に係る撮像装置である。
 本開示の技術に係る第16の態様は、分離光学系と第2絞りとの間に負パワー光学系を挿脱可能な機構を更に含む、第15の態様に係る撮像装置である。
 本開示の技術に係る第17の態様は、第1絞りは、被写体光の光量を変更可能な絞りである、第5の態様から第7の態様、第10の態様、及び第14の態様から第16の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第18の態様は、第2絞りは、第2波長域光の光量を変更可能な絞りである、第5の態様、第10の態様、及び第14の態様から第16の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第19の態様は、第1絞り及び第2絞りの各々は独立に制御可能な絞りである、第5の態様、第10の態様、及び第14の態様から第16の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第20の態様は、第1波長域光は、非可視光であり、第2波長域光は、可視光である、第1の態様から第19の態様の何れか1つの態様に係る撮像装置である。
 本開示の技術に係る第21の態様は、非可視光は、近赤外光である、第20の態様に係る撮像装置である。
 本開示の技術に係る第22の態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、第2波長域光の被写界深度を光学的に調整することで補正することを含む撮像方法である。
 本開示の技術に係る第23の態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像に対して、第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで第2波長域光画像の解像度を補正することを含む撮像方法である。
 本開示の技術に係る第24の態様は、コンピュータに、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像に対して、第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで第2波長域光画像の解像度を補正することを含む処理を実行させるためのプログラムである。
 本開示の技術に係る第25の態様は、コンピュータに、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像に対して、第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで第2波長域光画像の解像度を補正することを含む処理を実行させるためのプログラムである。
 本開示の技術に係る第26に係る態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行うイメージセンサと、第2波長域光の被写界深度を光学的に調整可能な光学コンポーネントと、を備えた撮像装置に対して適用されるコンピュータに、イメージセンサにより第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、イメージセンサにより第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、光学コンポーネントを作動させることで補正することを含む処理を実行させるためのプログラム。
 本開示の技術に係る第27の態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部と、撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、かつ、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像に対して、第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで第2波長域光画像の解像度を補正するプロセッサと、を含む撮像装置である。
 本開示の技術に係る第28の態様は、第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された被写体光に含まれる、第1波長域光及び第2波長域光の各々について撮像を行う撮像部と、撮像部により第1波長域光について撮像されることで得られた第1波長域光画像に基づいて光学系の合焦位置を調整し、かつ、撮像部により第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、第2波長域光の被写界深度を光学的に調整することで補正するプロセッサと、を含む撮像装置である。
第1実施形態に係る撮像装置の構成の一例を示す概略構成図である。 第1実施形態に係る撮像装置に各々含まれる動力付与装置及び位置検出装置のハードウェア構成の一例を示すブロック図である。 第1実施形態に係る撮像装置に含まれる近赤外光用光学系、及び近赤外光用光学系に関連する電気系のハードウェア構成の一例を示す概略構成図である。 第1実施形態に係る撮像装置に含まれる近赤外光用光学系に含まれるリレーレンズ、第1撮像素子、並びに、リレーレンズ及び第1撮像素子に関連する電気系のハードウェア構成の一例を示す概略構成図である。 第1実施形態に係る撮像装置に含まれる可視光用光学系、及び可視光用光学系に関連する電気系のハードウェア構成の一例を示す概略構成図である。 第1実施形態に係る撮像装置に各々含まれるUI系装置及び制御装置の構成の一例を示すブロック図である。 第1実施形態に係る撮像装置の制御装置の構成及び機能の一例を示す概念図である。 第1実施形態に係る撮像装置の調整部の構成及び調整部に関連するハードウェア構成の一例を示す概念図である。 第1実施形態に係る撮像装置に含まれる光分離装置による点被写体の近赤外光及び可視光の各々についてのピント位置の一例を示す概念図である。 第1実施形態に係る撮像装置に各々含まれる近赤外光用光学系及び可視光用光学系の各々によって得られるMTFとピント位置との関係の一例を示すグラフである。 第1実施形態に係る可視光特性平坦化グラフ及び可視光特性グラフの各々と点拡がり関数との関係の一例を示す概念図である。 第1実施形態に係る撮像装置の補正部の構成及び補正部に関連するハードウェア構成の一例を示す概念図である。 第1実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第1実施形態に係る撮像処理の流れの変形例を示すフローチャートである。 図14Aに示すフローチャートの続きである。 第1実施形態に係る撮像装置の構成の第1変形例を示す概略構成図である。 第1実施形態に係る撮像装置に各々含まれる二次記憶装置及び点拡がり関数取得部の構成の変形例を示すブロック図である。 第1実施形態に係る撮像装置の構成の第2変形例(図15に示す撮像装置の構成の変形例)を示す概略構成図である。 第2実施形態に係る撮像装置の構成の一例を示す概略構成図である。 第2実施形態に係る撮像装置に含まれる光学フィルタの構成の一例を示す概略構成図である。 第2実施形態に係る撮像装置に含まれる撮像部の構成の一例、及び撮像部に関連する電気系のハードウェア構成の一例を示す概念図である。 第1実施形態に係撮像装置の構成の第3変形例を示す概略構成図である。 第1実施形態に係撮像装置の構成の第4変形例を示す概略構成図である。 第1実施形態に係撮像装置の構成の第5変形例を示す概略構成図である。 第1実施形態に係撮像装置の構成の第6変形例を示す概略構成図である。 第1実施形態に係撮像装置の構成の第7変形例を示す概略構成図である。
 添付図面に従って本開示の技術に係る実施形態の一例について説明する。
 先ず、以下の説明で使用される文言について説明する。
 CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。UIとは、“User Interface”の略称を指す。A/Dとは、“Analog to Digital”の略称を指す。MTFとは、“Modulation Transfer Function”の略称を指す。FIRとは、“Finite Impulse Response”の略称を指す。PETとは、“Polyethylene terephthalate”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。AFとは、“Auto Focus”の略称を指す。SWIRとは、“Short-wavelength infrared”の略称を指す。
 なお、本明細書の「~からなり」、「~からなる」は、挙げられた構成要素以外に、実質的に屈折力を有さないレンズ、並びに、絞り、フィルタ、およびカバーガラス等のレンズ以外の光学要素、並びに、レンズフランジ、レンズバレル、撮像素子、および手振れ補正機構等の機構部分、等が含まれていてもよいことを意図する。
 また、本明細書の説明において、「垂直」の意味には、完全な垂直の意味の他に、設計上及び製造上において許容される誤差を含む略垂直の意味も含まれる。また、本明細書の説明において、「同一」の意味には、完全な同一の意味の他に、設計上及び製造上において許容される誤差を含む略同一の意味も含まれる。
 [第1実施形態]
 一例として図1に示すように、撮像装置10は、被写体Sを撮像する装置である。撮像装置10は、光分離装置12、第1撮像素子14、第2撮像素子16、位置検出装置18、動力付与装置20、UI系装置22、及び制御装置24を備えている。なお、第1撮像素子14及び第2撮像素子16は、本開示の技術に係る「撮像部(イメージセンサ)」の一例であり、第1撮像素子14は、本開示の技術に係る「第1撮像部(イメージセンサ)」の一例であり、第2撮像素子16は、本開示の技術に係る「第2撮像部(イメージセンサ)」の一例である。
 光分離装置12は、本開示の技術に係る「光学系」の一例であり、第1光学系28、色分離プリズム30、第2光学系32、第3光学系34、及び第4光学系36を備えている。
 被写体Sを示す被写体光には、異なる波長域の光として、近赤外波長域の光である近赤外光と、可視波長域の光である可視光とが含まれる。第1撮像素子14は、被写体光が光分離装置12により結像され、結像された被写体光に含まれる近赤外光について撮像を行う。第2撮像素子16は、被写体光が光分離装置12により結像され、結像された被写体光に含まれる可視光について撮像を行う。
 光分離装置12には、近赤外光用光路と可視光用光路が設けられている。近赤外光用光路には、光軸L1に沿って物体側から順に第1光学系28、第4光学系36、色分離プリズム30、及び第3光学系34が配置されている。第4光学系36の後段には、第1撮像素子14が配置されている。
 第1撮像素子14は、CMOSイメージセンサである。第1撮像素子14は、第1受光面14Aを有する。第1受光面14Aには、近赤外光に感度を有する複数の光電変換素子が配置されており、第1受光面14Aは、近赤外光を受光する。第1撮像素子14は、第1受光面14Aによって受光された近赤外光を光電変換することで、近赤外光について被写体Sの撮像を行う。すなわち、第1撮像素子14には、被写体Sを示す近赤外光が結像され、第1撮像素子14は、結像された近赤外光に基づいて被写体Sを撮像する。なお、第1受光面14Aに配置されている複数の光電変換素子は、本開示の技術に係る「第1受光素子」の一例である。
 可視光用光路は、光軸L1と光軸L2とを有する。光軸L2は、光軸L1に対して垂直な光軸である。可視光用光路には、光軸L1に沿って物体側から順に第1光学系28、第4光学系36、及び色分離プリズム30が配置されている。光軸L1は、色分離プリズム30によって光軸L2に分岐される。可視光用光路において、色分離プリズム30よりも像側には、光軸L2に沿って第2光学系32が配置されている。第2光学系32の後段、すなわち、第2光学系32よりも像側には、第2撮像素子16が配置されている。換言すると、第2光学系32は、色分離プリズム30と第2撮像素子16との間に設けられている。
 第2撮像素子16は、CMOSイメージセンサである。第2撮像素子16は、第2受光面16Aを有する。第2受光面16Aには、可視光に感度を有する複数の光電変換素子が配置されており、第2受光面16Aは、可視光を受光する。第2撮像素子16は、第2受光面16Aによって受光された可視光を光電変換することで、可視光について被写体Sの撮像を行う。すなわち、第2撮像素子16には、被写体Sを示す可視光が結像され、第2撮像素子16は、結像された可視光に基づいて被写体Sを撮像する。なお、第2受光面16Aに配置されている複数の光電変換素子は、本開示の技術に係る「第2受光素子」の一例である。
 なお、以下では、説明の便宜上、近赤外光用光路に配置されているレンズ等からなる光学系を「近赤外光用光学系」と称し、可視光用光路に配置されているレンズ等からなる光学系を「可視光用光学系」と称する。
 第1光学系28は、変倍光学系である。具体的には、ここで言う「変倍光学系」は、物体側から順に屈折力が正、負、正、正の4群からなるズームレンズである。第1光学系28は、複数のレンズユニットを有する。ここで言う「複数のレンズユニット」とは、第1レンズ群28A、第2レンズ群28B、第3レンズ群28C、及び第4レンズ群28Dを指す。
 第1光学系28は、第1レンズ群28A、第2レンズ群28B、第3レンズ群28C、第4レンズ群28D、及び第1絞り28Eからなる。第1レンズ群28A、第2レンズ群28B、第3レンズ群28C、第4レンズ群28Dの各々は、複数のレンズからなる。
 第1光学系28では、光軸L1に沿って物体側から順に第1レンズ群28A、第2レンズ群28B、第3レンズ群28C、及び第4レンズ群28Dが配置されている。第3レンズ群28Cは、出射面28C1を有し、第4レンズ群28Dは、入射面28D1及び出射面28D2を有する。出射面28C1は、第3レンズ群28Cのうちの最も像側に位置する面であり、入射面28D1は、第4レンズ群28Dのうちの最も物体側に位置する面であり、出射面28D2は、第4レンズ群28Dのうちの最も像側に位置する面である。第1絞り28Eは、出射面28C1と出射面28D2との間に配置されている。図1に示す例では、第1絞り28Eは、光軸L1方向において、第4レンズ群28Dよりも物体側で、第4レンズ群28Dに隣接した箇所(出射面28C1と入射面D1との間)に配置されている態様が示されているが、これはあくまでも一例に過ぎず、第1絞り28Eは、第4レンズ群28D内に配置されていてもよい。
 第1レンズ群28A及び第4レンズ群28Dの各々は、何れも固定レンズ群である。固定レンズ群は、変倍の際に像面に対して固定されたレンズ群である。第2レンズ群28B及び第3レンズ群28Cの各々は、何れも移動レンズ群である。移動レンズ群は、変倍の際に光軸L1方向に沿って移動することで、隣接するレンズ群との間隔が変わるレンズ群である。第1レンズ群28A、第3レンズ群28C、及び第4レンズ群28Dの各々は、正のパワーを有するレンズ群であり、第2レンズ群28Bは、負のパワーを有するレンズ群である。なお、ここでは、第1レンズ群28A、第2レンズ群28B、第3レンズ群28C、及び第4レンズ群28D等のレンズ群を例示しているが、本開示の技術はこれに限定されない。例えば、第1レンズ群28A、第2レンズ群28B、第3レンズ群28C、及び第4レンズ群28Dのうちの少なくとも1つは1枚のレンズであってもよい。
 撮像装置10では、第1光学系28によってピント位置の調整が実現される。ピント位置の調整は、例えば、前玉フォーカス方式によって実現される。前玉フォーカス方式では、第1レンズ群28Aが光軸L1方向に沿って移動することで、被写体距離に応じた合焦位置で第1受光面14Aに赤外光が結像される。ここで言う「合焦位置」とは、ピントが合っている状態での第1レンズ群28Aの光軸L1上での位置を指す。以下では、説明の便宜上、第1レンズ群28Aを合焦位置に合わせる制御を「AF制御」とも称する。
 なお、第1実施形態では、前玉フォーカス方式が採用されているが、本開示の技術はこれに限定されず、全群繰り出し方式、インナーフォーカス方式、又はリアフォーカス方式が採用されるようにしてもよい。全群繰り出し方式、インナーフォーカス方式、又はリアフォーカス方式の場合の「合焦位置」とは、ピント位置の調整のために光軸L1方向に沿って移動させるレンズ又はレンズ群の光軸L1上の位置のうちのピントが合っている状態での位置を指す。
 第1レンズ群28A、第3レンズ群28C、及び第4レンズ群28Dの各々は、正のパワーを有するレンズであり、第2レンズ群28Bは、負のパワーを有するレンズである。
 第1光学系28には、被写体光が第1レンズ群28Aから入射され、第1光学系28は、入射された被写体光を第1絞り28Eを介して出射する。被写体光は、近赤外光及び可視光を含む光である。なお、近赤外光は、本開示の技術に係る「第1波長域光」及び「非可視光」の一例であり、可視光は、本開示の技術に係る「第2波長域光」の一例である。
 第1絞り28Eは、開口28E1を有しており、被写体光は開口28E1を通過する。開口28E1は、被写体光の周辺光線が光軸L1を通る箇所に配置されている。第1絞り28Eは、開口28E1の口径を変更可能な可動式の絞りである。すなわち、被写体Sを示す被写体光の光量は、第1絞り28Eによって変更可能とされている。
 第4光学系36は、正のパワーを有する光学系である。第4光学系36は、レンズ群36Aを備えている。レンズ群36Aは、正のパワーを有するレンズ群である。
 レンズ群36Aは、複数のレンズからなる。なお、ここでは、第4光学系36の一例としてレンズ群が採用されているが、本開示の技術はこれに限定されず、1枚のレンズであってもよい。
 第4光学系36には、第1光学系28から出射された被写体光が入射される。第4光学系36は、入射された被写体光を色分離プリズム30に出射する。
 色分離プリズム30は、本開示の技術に係る「分離光学系」の一例である。色分離プリズム30は、第4光学系36から出射された被写体光を選択反射面30Aで近赤外光と可視光とに分離する。色分離プリズム30は、近赤外光を透過させ、かつ、可視光を反射させる。すなわち、色分離プリズム30は、光軸L1に沿って近赤外光を第3光学系34に導き、光軸L2に沿って可視光を第2光学系32に導く。
 第1実施形態において、色分離プリズム30によって被写体光が分離されることで得られる非可視光は近赤外光である。ここで言う「近赤外光」は、被写体光のうちの約800ナノメートルよりも長波長側の光であり、可視光は、700ナノメートル以下の短波長側の光である。被写体光のうちの近赤外光は、90%(パーセント)程度の透過率で色分離プリズム30を透過し、被写体光のうちの可視光は、約90%を超える反射率で、選択反射面30Aで反射する。なお、ここでは、近赤外光として約800nmよりも長波長側の光が採用されているが、これはあくまでも一例に過ぎず、本開示の技術はこれに限定されない。つまり、近赤外光の波長域は、学説等によって解釈が様々であるので、近赤外光の波長域として定義される波長域は、撮像装置10の用途等に応じて決定されればよい。また、可視光の波長域についても同様である。
 また、ここでは、色分離プリズム30を例示しているが、本開示の技術はこれに限定されず、色分離プリズム30に代えてダイクロイックミラー及び/又はハーフミラーによって被写体光が近赤外光と可視光とに分離されるようにしてもよい。但し、ハーフミラーを用いる場合には、被写体光が分離して得られた近赤外光及び可視光から不要な波長域の光がフィルタによって除去されるようにするとよい。
 第2光学系32は、光軸L2方向に沿って色分離プリズム30よりも像側に配置されており、リレーレンズ32A及び第2絞り32Bを備えている。第2光学系32では、光軸L2に沿って物体側から順に第2絞り32B及びリレーレンズ32Aが配置されている。つまり、第2絞り32Bは、光軸L2方向において、リレーレンズ32Aよりも物体側で、リレーレンズ32Aに隣接した箇所に配置されている。
 第2絞り32Bは、光軸L2上に開口32B1を有する。開口32B1は、光軸L1上の開口28E1と共役な位置関係にある。第2絞り32Bは、開口32B1の口径を変更可能な可動式の絞りである。すなわち、可視光の光量は、第2絞り32Bによって変更可能とされている。なお、第1絞り28E及び第2絞り32Bの各々は独立に制御可能な絞りである。
 リレーレンズ32Aは、正のパワーを有するレンズである。リレーレンズ32Aは、第2絞り32Bを介して入射された可視光を第2受光面16Aに結像させる。このように、第2光学系32には、可視光が第2絞り32Bを介して入射され、第2光学系32は、入射された可視光を第2受光面16Aに出射する。
 第3光学系34は、光軸L1方向に沿って色分離プリズム30よりも像側に配置されている。換言すると、第3光学系34は、色分離プリズム30の外部において、色分離プリズム30から近赤外光が出射される側に配置されている。第3光学系34は、リレーレンズ34Aを備えている。リレーレンズ34Aは、正のパワーを有するレンズである。リレーレンズ34Aには、色分離プリズム30から出射された近赤外光が入射され、リレーレンズ34Aは、入射された近赤外光を第1受光面14Aに結像させる。
 第1光学系28は、第1絞り28Eと第2絞り32Bとの間に中間像S1を形成する。具体的には、中間像S1は、第1光学系28によって、第1絞り28Eと色分離プリズム30との間に形成される。より具体的には、中間像S1は、第1光学系28によって、第4レンズ群28Dのうちの最も像側の面である出射面28D2と、レンズ群36Aのうちの最も物体側の面である入射面36A1との間に形成される。レンズ群36Aは、光軸L1上において、中間像S1と色分離プリズム30との間に配置されている。レンズ群36Aは、正のパワーを有しているので、レンズ群36に発散光として入射した被写体光に対して収束作用を与えることで、被写体光の光束を色分離プリズム30に入射させる。つまり、レンズ群36Aは、入射された被写体光の周辺光線を正の屈折力によって色分離プリズム30内に収める。
 位置検出装置18及び動力付与装置20は、光分離装置12に接続されている。位置検出装置18は、第2レンズ群28Bの位置、第3レンズ群28Cの位置、リレーレンズ32A,34Aの位置、及び開口28E1,32B1の口径等を検出する装置である。動力付与装置20は、第2レンズ群28B、第3レンズ群28C、リレーレンズ32A,34A、第1絞り28E、及び第2絞り32Bに対して動力を付与する装置である。
 UI系装置22は、撮像装置10のユーザ(以下、単に「ユーザ」と称する)からの指示を受け付けたり、ユーザに対して各種情報を提示したりする装置である。第1撮像素子14、第2撮像素子16、位置検出装置18、動力付与装置20、及びUI系装置22は、制御装置24に接続されている。第1撮像素子14、第2撮像素子16、位置検出装置18、動力付与装置20、及びUI系装置22は、制御装置24によって制御される。
 一例として図2に示すように、位置検出装置18は、第1位置センサ18A、第2位置センサ18B、第3位置センサ18C、第4位置センサ18D、第5位置センサ18E、第6位置センサ18F、及び第7位置センサ18Gを備えている。第1位置センサ18A、第2位置センサ18B、第3位置センサ18C、第4位置センサ18D、第5位置センサ18E、第6位置センサ18F、及び第7位置センサ18Gは、制御装置24に接続されている。
 ここでは、第1位置センサ18A、第2位置センサ18B、第3位置センサ18C、第4位置センサ18D、第5位置センサ18E、及び第6位置センサ18Fの各々の一例として、ポテンショメータが採用されている。
 第1位置センサ18A、第2位置センサ18B、第3位置センサ18C、第4位置センサ18D、及び第5位置センサ18Eは、近赤外光用光学系に用いられる。
 第1位置センサ18Aは、光軸L1上での第1レンズ群28Aの位置を検出する。第2位置センサ18Bは、光軸L1上での第2レンズ群28Bの位置を検出する。第3位置センサ18Cは、光軸L1上での第3レンズ群28Cの位置を検出する。第4位置センサ18Dは、開口28E1の口径を検出する。第5位置センサ18Eは、光軸L1上でのリレーレンズ34Aの位置を検出する。
 第6位置センサ18F及び第7位置センサ18Gは、可視光用光学系に用いられる。第6位置センサ18Fは、開口32B1の口径を検出する。第7位置センサ18Gは、光軸L2上でのリレーレンズ32Aの位置を検出する。
 動力付与装置20は、第1モータドライバ20A1、第2モータドライバ20B1、第3モータドライバ20C1、第4モータドライバ20D1、第5モータドライバ20E1、第6モータドライバ20F1、及び第7モータドライバ20G1を備えている。また、動力付与装置20は、第1モータ20A2、第2モータ20B2、第3モータ20C2、第4モータ20D2、第5モータ20E2、第6モータ20F2、及び第7モータ20G2を備えている。
 第1モータドライバ20A1、第2モータドライバ20B1、第3モータドライバ20C1、第4モータドライバ20D1、第5モータドライバ20E1、第6モータドライバ20F1、及び第7モータドライバ20G1は、制御装置24に接続されている。第1モータドライバ20A1、第2モータドライバ20B1、第3モータドライバ20C1、第4モータドライバ20D1、第5モータドライバ20E1、第6モータドライバ20F1、及び第7モータドライバ20G1は、制御装置24によって制御される。
 第1モータドライバ20A1は、第1モータ20A2に接続されており、制御装置24からの指示に従って第1モータ20A2を制御する。第2モータドライバ20B1は、第2モータ20B2に接続されており、制御装置24からの指示に従って第2モータ20B2を制御する。第3モータドライバC1は、第3モータ20C2に接続されており、制御装置24からの指示に従って第3モータ20C2を制御する。第4モータドライバ20D1は、第4モータ20D2に接続されており、制御装置24からの指示に従って第4モータ20D2を制御する。第5モータドライバ20E1は、第5モータ20E2に接続されており、制御装置24からの指示に従って第5モータ20E2を制御する。第6モータドライバ20F1は、第6モータ20F2に接続されており、制御装置24からの指示に従って第6モータ20F2を制御する。第7モータドライバ20G1は、第7モータ20G2に接続されており、制御装置24からの指示に従って第7モータ20G2を制御する。
 第1モータドライバ20A1、第2モータドライバ20B1、第3モータドライバ20C1、第4モータドライバ20D1、第5モータドライバ20E1、第1モータ20A2、第2モータ20B2、第3モータ20C2、第4モータ20D2、及び第5モータ20E2は、近赤外光用光学系に用いられる。
 第1モータ20A2は、第1モータドライバ20A1の制御下で動力を生成し、生成した動力を第1レンズ群28Aに付与することで、第1レンズ群28Aを光軸L1方向に移動させる。第2モータ20B2は、第2モータドライバ20B1の制御下で動力を生成し、生成した動力を第2レンズ群28Bに付与することで、第2レンズ群28Bを光軸L1方向に移動させる。第3モータ20C2は、第3モータドライバ20C1の制御下で動力を生成し、生成した動力を第3レンズ群28Cに付与することで、第3レンズ群28Cを光軸L1方向に移動させる。第4モータ20D2は、第4モータドライバ20D1の制御下で動力を生成し、生成した動力を第1絞り28Eに付与することで、開口28E1の開度を調節する。第5モータ20E2は、第5モータドライバ20E1の制御下で動力を生成し、生成した動力をリレーレンズ34Aに付与することで、リレーレンズ34Aを光軸L1方向に移動させる。
 第6モータドライバ20F1、第7モータドライバ20G1、第6モータ20F2、及び第7モータ20G2は、可視光用光学系に用いられる。第6モータ20F2は、第6モータドライバ20F1の制御下で動力を生成し、生成した動力を第2絞り32Bに付与することで、開口32B1の開度を調節する。第7モータ20G2は、第7モータドライバ20G1の制御下で動力を生成し、生成した動力をリレーレンズ32Aに付与することで、リレーレンズ32Aを光軸L2方向に移動させる。
 一例として図3に示すように、制御装置24は、CPU24A、ROM24B、RAM24C、及び二次記憶装置24Dを備えており、CPU24A、ROM24B、RAM24C、及び二次記憶装置24Dは、バスライン44に接続されている。
 ROM24Bには、撮像装置10用の各種プログラムが記憶されている。ここでは、ROM24Bの一例として、EEPROMが採用されているが、これに限らず、マスクROM等の不揮発性のメモリであってもよい。CPU24Aは、ROM24Bから各種プログラムを読み出し、読み出した各種プログラムをRAM24Cに展開する。CPU24Aは、RAM24Cに展開した各種プログラムに従って撮像装置10の全体を制御する。また、二次記憶装置24Dには、各種情報がCPU24Aによって読み書き可能に記憶されている。ここで言う「各種情報」には、後述の撮像プログラム24B1(図7参照)が含まれる。ここでは、二次記憶装置24Dの一例として、SSDが採用されているが、これに限らず、HDD等の不揮発性の記憶装置であればよい。
 第1位置センサ18A、第2位置センサ18B、第3位置センサ18C、及び第4位置センサ18Dは、バスライン44に接続されている。第1位置センサ18Aでの検出結果(以下、「第1検出結果」と称する)は、第1位置センサ18AによってCPU24Aに出力される。第2位置センサ18Bでの検出結果(以下、「第2検出結果」と称する)は、第2位置センサ18BによってCPU24Aに出力される。第3位置センサ18Cでの検出結果(以下、「第3検出結果」と称する)は、第3位置センサ18CによってCPU24Aに出力される。第4位置センサ18Dでの検出結果(以下、「第4検出結果」と称する)は、第4位置センサ18DによってCPU24Aに出力される。
 第1モータドライバ20A1、第2モータドライバ20B1、第3モータドライバ20C1、及び第4モータドライバ20D1は、バスライン44に接続されている。CPU24Aは、第1検出結果に基づいて第1モータドライバ20A1を介して第1モータ20A2を制御することで、光軸L1上での第1レンズ群28Aの位置を制御する。CPU24Aは、第2検出結果に基づいて第2モータドライバ20B1を介して第2モータ20B2を制御することで、光軸L1上での第2レンズ群28Bの位置を制御する。CPU24Aは、第3検出結果に基づいて第3モータ20C2を制御することで、光軸L1上での第3レンズ群28Cの位置を制御する。CPU24Aは、第4検出結果と第1受光面14Aでの受光量とに基づいて第4モータドライバ20D1を介して第4モータ20D2を制御することで、開口28E1の開度を調節する。
 一例として図4に示すように、第5位置センサ18Eは、バスライン44に接続されている。第5位置センサ18Eでの検出結果(以下、「第5検出結果」と称する)は、第5位置センサ18EによってCPU24Aに出力される。
 第5モータドライバ20E1は、バスライン44に接続されている。CPU24Aは、第5検出結果に基づいて第5モータドライバ20E1を介して第5モータ20E2を制御することで、光軸L1上でのリレーレンズ34Aの位置を制御する。
 第1撮像素子14は、光軸L1上において、リレーレンズ34Aよりも後段、すなわち、リレーレンズ34Aよりも像側に位置している。そして、第1撮像素子14は、第1受光面14Aに結像された近赤外光に基づいて被写体Sを撮像することで近赤外光画像60を生成し、生成した近赤外光画像60を後段に出力する。近赤外光画像60は、近赤外光による被写体Sを示す画像である。なお、近赤外光画像60は、本開示の技術に係る「第1波長域光画像」の一例である。
 第1撮像素子14には、第1信号処理装置40及び第1撮像素子ドライバ42が接続されている。第1信号処理装置40及び第1撮像素子ドライバ42は、バスライン44に接続されている。第1撮像素子ドライバ42は、CPU24Aの制御下で、第1タイミング制御信号を第1撮像素子14に出力する。第1タイミング制御信号は、第1撮像素子14による撮像を制御する信号である。第1撮像素子14による撮像のフレームレートは、第1タイミング制御信号によって規定されている。
 第1タイミング制御信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、1フレーム分のアナログ画像の送信を開始するタイミングを規定する信号である。水平同期信号は、1水平ライン分のアナログ画像の出力を開始するタイミングを規定する信号である。第1撮像素子14は、第1撮像素子ドライバ42から入力された垂直同期信号に従ってフレーム単位でのアナログの近赤外光画像60の第1信号処理装置40への出力を開始する。また、第1撮像素子14は、第1撮像素子ドライバ42から入力された水平同期信号に従って水平ライン単位でのアナログの近赤外光画像60の第1信号処理装置40への出力を開始する。
 第1信号処理装置40は、CPU24Aの制御下で、第1撮像素子14から入力されたアナログの近赤外光画像60に対して、相関二重サンプリング及びゲイン調整等のアナログ信号処理を施した後、A/D変換を行うことで、デジタルの近赤外光画像60を生成する。
 第1信号処理装置40は、CPU24Aの制御下で、デジタルの近赤外光画像60に対して、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等のデジタル信号処理を施す。デジタル信号処理済みのデジタルの近赤外光画像60は、第1信号処理装置40によって、CPU24Aに出力され、CPU24Aによって、既定の記憶領域(例えば、RAM24C及び/又は二次記憶装置24D)に記憶される。なお、以下では、アナログの近赤外光画像60とデジタルの近赤外光画像60とを区別して説明する必要がない場合、単に「近赤外光画像60」と称する。
 一例として図5に示すように、第6位置センサ18F及び第7位置センサ18Gは、バスライン44に接続されている。第6位置センサ18Fでの検出結果(以下、「第6検出結果」と称する)は、第6位置センサ18FによってCPU24Aに出力される。第7位置センサ18Gでの検出結果(以下、「第7検出結果」と称する)は、第7位置センサ18GによってCPU24Aに出力される。
 第6モータドライバ20F1及び第7モータドライバ20G1は、バスライン44に接続されている。CPU24Aは、第6検出結果と第2受光面16Aでの受光量とに基づいて第6モータドライバ20F1を介して第6モータ20F2を制御することで、開口32B1の開度を調節する。CPU24Aは、第7検出結果に基づいて第7モータドライバ20G1を介して第7モータ20G2を制御することで、光軸L2上でのリレーレンズ32Aの位置を制御する。
 第2撮像素子16は、光軸L2上において、リレーレンズ32Aよりも後段、すなわち、リレーレンズ32Aよりも像側に位置している。そして、第2撮像素子16は、第2受光面16Aに結像された可視光に基づいて被写体Sを撮像することで可視光画像62を生成し、生成した可視光画像62を後段に出力する。可視光画像62は、可視光による被写体Sを示す画像である。なお、可視光画像62は、本開示の技術に係る「第2波長域光画像」の一例である。
 第2撮像素子16には、第2信号処理装置46及び第2撮像素子ドライバ48が接続されている。第2信号処理装置46及び第2撮像素子ドライバ48は、バスライン44に接続されている。第2撮像素子ドライバ48は、CPU24Aの制御下で、第2タイミング制御信号を第2撮像素子16に出力する。第2タイミング制御信号は、第2撮像素子16による撮像を制御する信号である。第2撮像素子16による撮像のフレームレートは、第2タイミング制御信号によって規定されている。
 第2タイミング制御信号には、第1タイミング制御信号と同様に、垂直同期信号及び水平同期信号が含まれている。第2撮像素子16は、第2撮像素子ドライバ48から入力された垂直同期信号に従ってフレーム単位でのアナログの可視光画像62の第2信号処理装置46への出力を開始する。また、第2撮像素子16は、第2撮像素子ドライバ48から入力された水平同期信号に従って水平ライン単位でのアナログの可視光画像62の第2信号処理装置46への出力を開始する。
 第2信号処理装置46は、CPU24Aの制御下で、第2撮像素子16から入力されたアナログの可視光画像62に対して、上述したアナログ信号処理を施した後、A/D変換を行うことで、デジタルの可視光画像62を生成する。
 第2信号処理装置46は、CPU24Aの制御下で、デジタルの可視光画像62に対して、上述したデジタル信号処理を施す。デジタル信号処理済みのデジタルの可視光画像62は、第2信号処理装置46によって、CPU24Aに出力され、CPU24Aによって、上述した既定の記憶領域に記憶される。なお、以下では、アナログの可視光画像62とデジタルの可視光画像62とを区別して説明する必要がない場合、単に「可視光画像62」と称する。
 一例として図6に示すように、UI系装置22は、タッチパネル・ディスプレイ50及び受付部52を備えている。タッチパネル・ディスプレイ50は、ディスプレイ50A及びタッチパネル52Aを備えており、ディスプレイ50Aの表示領域に対してタッチパネル52Aが重ねられている。ディスプレイ50Aの一例としては、液晶ディスプレイが挙げられる。なお、ディスプレイ50Aは、液晶ディスプレイではなく、有機ELディスプレイなどの他のディスプレイであってもよい。
 ディスプレイ50A及びタッチパネル52Aは、バスライン44に接続されている。従って、CPU24Aは、ディスプレイ50Aに対して各種情報を表示させ、タッチパネル52Aによって受け付けられた各種指示に従って動作する。
 受付部52は、タッチパネル52A及びハードキー部52Bを備えている。ハードキー部52Bは、複数のハードキーであり、電源ボタン、レリーズボタン、及び各種設定のボタン等を有する。ハードキー部52Bは、バスライン88に接続されており、CPU24Aは、ハードキー部52Bによって受け付けられた各種指示に従って動作する。
 一例として図7に示すように、ROM24Bには、撮像プログラム24B1が記憶されている。CPU24Aは、ROM24Bから撮像プログラム24B1を読み出し、読み出した撮像プログラム24B1をRAM24Cに展開する。CPU24Aは、RAM24Cに展開した撮像プログラム24B1に従って調整部25及び補正部27として動作することで、後述の撮像処理(図13参照)を実行する。なお、CPU24Aは、本開示の技術に係る「プロセッサ」の一例である。
 調整部25は、第1撮像素子14により近赤外光について撮像されることで得られた近赤外光画像60に基づいて第1レンズ群28Aの合焦位置を調整する。補正部27は、第2撮像素子16により可視光について撮像されることで得られた可視光画像62に対して、可視光画像62のぼけ特性に基づく解像度補正フィルタ29(図12参照)を用いることで可視光画像62の解像度を補正する。
 一例として図8に示すように、調整部25は、近赤外光画像取得部25A、コントラスト値抽出部25B、及びレンズ制御部25Cを備えている。近赤外光画像取得部25Aは、第1撮像素子14によって被写体Sが撮像されることで得られた近赤外光画像60を第1信号処理装置40から取得する。コントラスト値抽出部25Bは、近赤外光画像取得部25Aによって取得された近赤外光画像60から、近赤外光画像60のコントラストの度合いを示すコントラスト値を抽出する。
 レンズ制御部25Cは、いわゆるコントラストAFを行う。そのために、先ず、レンズ制御部25Cは、第1位置センサ18Aから第1検出結果を取得し、コントラスト値抽出部25Bからコントラスト値を取得する。レンズ制御部25Cは、取得した第1検出結果及びコントラスト値に基づいて第1モータドライバ20A1を介して第1モータ20A2を制御することで第1レンズ群28Aを光軸L1上で移動させる。つまり、レンズ制御部25Cは、取得した第1検出結果及びコントラスト値を参照して第1レンズ群28Aを光軸L1上で移動させながら光軸L1上においてコントラスト値が既定値以上(例えば、最大値)となる位置を探る。そして、レンズ制御部25Cは、光軸L1上においてコントラスト値が既定値以上となる位置に第1レンズ群28Aを移動させる。
 なお、ここでは、コントラストAFを例示しているが、本開示の技術はこれに限定されず、位相差画素を用いることによって各々実現される位相差AF又は像面位相差AFが調整部25によって行われるようにしてもよい。
 ところで、被写体光が光分離装置12によって近赤外光と可視光とに分離された場合、近赤外光についてのピント位置と可視光についてのピント位置とが異なる。これは、近赤外光の波長と可視光の波長とが異なるからである。図9に示す例では、被写体Sとして点被写体が示されており、点被写体を示す近赤外光についてのピント位置が“P1”であり、点被写体を示す可視光のピント位置が“P2”である。ピント位置P2は、ピント位置P1よりも物体側に位置している。
 近赤外光についてのピント位置と可視光についてのピント位置との関係性は、一例として図10に示すように、近赤外光特性グラフと可視光特性グラフとで表現される。図10に示す例において、横軸はピント位置を表しており、縦軸はMTFを表している。近赤外光特性グラフ及び可視光特性グラフは何れも、上に凸の二次関数を示す曲線グラフである。可視光特性グラフは、近赤外光特性グラフに比べ、MTFのピーク値が高く、かつ、急峻な凸状の曲線グラフである。近赤外光特性グラフのMTFのピーク値にピント位置P2が位置しており、近赤外光特性グラフのMTFのピーク値にピント位置P1が位置している。近赤外光特性グラフ及び可視光特性グラフでは、何れも、MTFのピーク値から離れるほど、被写体光により示される被写体像のぼけの度合いが大きくなる。
 一例として図10に示すように、可視光特性グラフは、ピント位置P1でのMTFがピント位置P2でのMTFよりも小さい。これは、ピント位置P1での可視光についての被写体像のぼけの度合いがピント位置P2での可視光についての被写体像のぼけの度合いよりも高いことを表している。また、ピント位置P1で、近赤外光特性グラフのMTFと可視光特性グラフのMTFとを比較すると、近赤外光特性グラフのMTFが、可視光特性グラフのMTFよりも高い。これは、ピント位置P1において、近赤外光についての被写体像が可視光についての被写体像よりも鮮明であることを意味する。このような状態で、近赤外光についての撮像と可視光についての撮像とが同時に行われると、近赤外光画像60はピントが合った状態の画像として得られるのに対し、可視光画像62は、近赤外光画像60に比べて著しくぼけた状態の画像として得られる。
 そこで、撮像装置10では、CPU24Aが、第2絞り32Bを制御することで、開口32B1の開度を小さくする。これに伴って、光軸L2よりも外側の周辺光がけられるため、ぼけに対して影響の大きい周辺光が少なくなり、周辺光が少なくなった分だけ、ぼけ量が抑えられる。この結果、可視光用光学系での被写界深度が深くなり、一例として図11に示すように、可視光特性平坦化グラフが得られる。可視光特性平坦化グラフのMTFのピーク値は、可視光特性グラフのMTFのピーク値と同一であるが、可視光特性平坦化グラフは、可視光特性グラフに比べ、凸状の形状が緩やかであり、可視光特性グラフよりも平坦性の高いグラフである。
 撮像装置10では、可視光画像62のぼけ特性が、光分離装置12の点拡がり関数によって規定されている。光分離装置12の点拡がり関数とは、例えば、可視光用光学系の点拡がり関数を指す。
 図11に示す例では、ピント位置P1での可視光特性グラフに対応する点拡がり関数(以下、「可視光特性グラフに対応する点拡がり関数」と称する)、及びピント位置P1での可視光特性平坦化グラフに対応する点拡がり関数(以下、「可視光特性平坦化グラフに対応する点拡がり関数」と称する)が示されている。図11に示す例において、横軸は、第2撮像素子16の第2受光面16Aでの画素位置を表しており、縦軸は、強度、すなわち、点拡がり関数の従属変数を表している。可視光特性グラフに対応する点拡がり関数、及び可視光特性平坦化グラフに対応する点拡がり関数は何れも、同一の画素位置で強度のピーク値を有し、第2受光面16Aでの画素位置の一端から他端にかけて徐々に強度が指数関数的に増大してから指数関数的に減少する関数である。
 可視光特性平坦化グラフは、可視光特性グラフに比べ、MTFの変動差が小さなグラフであり、ピント位置P1でのMTFは、可視光特性グラフよりも可視光特性平坦化グラフの方が大きい。可視光特性平坦化グラフは、可視光特性グラフに比べ、撮像条件(例えば、絞り量、焦点距離、ズーム量、像高、画素数、及び画素ピッチ等)の影響を受け難いグラフである。換言すると、可視光特性グラフは、可視光特性平坦化グラフに比べ、撮像条件の影響を受けて変動するグラフである。そのため、可視光特性グラフに対応する点拡がり関数も、撮像条件毎に変動する。これに対し、可視光特性平坦化グラフに対応する点拡がり関数は、撮像条件が変わったとしても、可視光特性グラフに対応する点拡がり関数に比べ、変動の度合いは小さい。これは、撮像条件に対してのタフネス性が、可視光特性グラフに対応する点拡がり関数よりも可視光特性平坦化グラフに対応する点拡がり関数が高いことを意味する。
 そこで、撮像装置10では、可視光画像62の解像度の補正に供する点拡がり関数24D1として、可視光特性グラフに対応する点拡がり関数が採用されており、一例として図11に示すように、二次記憶装置24Dが点拡がり関数24D1を記憶している。
 一例として図12に示すように、補正部27は、点拡がり関数取得部27A、算出部27B、及びフィルタリング部27Cを備えている。ピント位置P1が採用されている状態で、点被写体としての被写体Sを示す被写体光が第2受光面16Aで結像されることで得られる被写体像は、可視光用光学系の特性に由来する点拡がり現象によって、本来の被写体像に比べ、ぼけた状態の点像として表れる。点像は、点拡がり関数24D1によって表現される。そこで、点拡がり関数取得部27Aは、二次記憶装置24Dから点拡がり関数24D1を取得する。
 算出部27Bは、点拡がり関数取得部27Aによって取得された点拡がり関数24D1に基づいて解像度補正フィルタ29を算出する。解像度補正フィルタ29は、点拡がり現象によって、本来の可視光画像62よりもぼけた状態の可視光画像62に対して適用されるフィルタである。すなわち、解像度補正フィルタ29は、点拡がり関数24D1により示される点拡がりを相殺する画像処理フィルタである。ここで言う「画像処理フィルタ」の一例としては、FIRフィルタが挙げられる。
 算出部27Bにおいて、解像度補正フィルタ29は、点拡がり関数24D1の強度のピーク値が切片で、かつ、傾きが“0”の一次関数を反転軸として点拡がり関数24D1を反転させることで得られる。なお、解像度補正フィルタ29は、反転軸として点拡がり関数24D1を反転させて得られた関数を既定の演算式(例えば、特定の係数を乗じる演算式)によって調整されることで得られるフィルタであってもよい。
 フィルタリング部27Cは、第2撮像素子16によって被写体Sが撮像されることで得られた可視光画像62を第2信号処理装置46から取得し、算出部27Bによって算出された解像度補正フィルタ29を算出部27Bから取得する。フィルタリング部27Cは、第2信号処理装置46から取得した可視光画像62に対して、算出部27Bから取得した解像度補正フィルタ29を適用することで、可視光画像62に対するフィルタリングを行う。例えば、解像度補正フィルタ29が、N×M(N及びMは2以上の整数)のタップによって規定される実空間上のFIRフィルタの場合、各タップに対してフィルタ係数が割り当てられている。フィルタ係数は、対応する画素群に対応している。対応する画素群とは、例えば、フィルタリング前の可視光画像62のうちの処理対象画素と処理対象画素に隣接する複数の画素とを指す。フィルタリング部27Cでは、各タップに対して割り当てられているフィルタ係数と、対応する画素の画素値とを加重平均する。このように各タップに対して割り当てられているフィルタ係数と、対応する画素の画素値との加重平均の算出が、全画素に対して行われることで、可視光画像62の解像度が補正される。このように解像度補正フィルタ29を用いたフィルタリングが行われることによって、例えば、図12に示すように、可視光画像62に表れる点拡がりが縮小される。
 次に、第1実施形態に係る撮像装置10の作用について説明する。
 図13には、CPU24Aによって撮像プログラム24B1に従って実行される撮像処理の流れの一例が示されている。
 図13に示す撮像処理では、ステップST100で、調整部25は、被写体Sの撮像を開始する撮像指示(以下、単に「撮像指示」と称する)が受付部52によって受け付けられたか否かを判定する。撮像指示の一例としては、レリーズボタンの“オン”が挙げられる。ステップST100において、撮像指示が受付部52によって受け付けられていない場合は、判定が否定されて、撮像処理がステップST108へ移行する。ステップST100において、撮像指示が受付部52によって受け付けられた場合は、判定が肯定されて、撮像処理がステップST102へ移行する。
 ステップST102で、調整部25は、第2絞り32Bを制御することで開口32B1の開度を調整する。すなわち、ステップST102では、一例として図11に示す可視光特性平坦化グラフが得られるように開口32B1の開度が調整され、これにより、可視光用光学系の被写界深度を深くする。
 次のステップST104で、調整部25は、第1撮像素子14によって被写体Sが撮像されることで得られた近赤外光画像60を第1信号処理装置40から取得する。そして、調整部25は、取得した近赤外光画像60に基づいてAF制御を行う。すなわち、調整部25は、取得した近赤外光画像60に基づいて第1レンズ群28Aを光軸L1に沿って移動させることでコントラストAFを行う。ステップST104の処理が実行されることにより、近赤外光は、ピントが合った状態で第1受光面14Aに結像される。
 次のステップST106で、補正部27は、可視光解像度補正処理を実行することで可視光画像62の解像度を補正する。この場合、先ず、補正部27は、二次記憶装置24Dから点拡がり関数24D1を取得する。次に、補正部27は、取得した点拡がり関数24D1に基づいて解像度補正フィルタ29を生成する。そして、補正部27は、生成した解像度補正フィルタ29を、第2撮像素子16によって被写体Sが撮像されることで得られた可視光画像62に対して適用する。このように、可視光画像62に対して解像度補正フィルタ29が適用されることによって可視光画像62の点拡がりが縮小される。これにより、フィルタリングが行われる前の可視光画像62の解像度に比べ、可視光画像62の解像度が高まる。
 次のステップST108で、補正部27は、撮像処理を終了する条件(以下、「撮像処理終了条件」と称する)を満足したか否かを判定する。撮像処理終了条件の一例としては、撮像処理を終了する指示が受付部52によって受け付けられた、との条件が挙げられる。ステップST108において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理がステップST100へ移行する。ステップST108において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
 以上説明したように、撮像装置10では、第1撮像素子14によって被写体Sを示す近赤外光について撮像が行われ、第2撮像素子16によって被写体Sを示す可視光について撮像が行われる。第1撮像素子14によって被写体Sが撮像されることで近赤外光画像60が得られ、第2撮像素子16によって被写体Sが撮像されることで可視光画像62が得られる。また、調整部25によって、近赤外光画像60に基づいて第1レンズ群28Aの合焦位置が調整される。そして、補正部27によって、可視光画像62に対して解像度補正フィルタ29が用いられることで可視光画像62の解像度が補正される。
 仮に、近赤外光及び可視光の双方に対して兼用のピント調整機構のみによって近赤外光及び可視光の各々についてのピントの調整が行われると、近赤外光と可視光との間での波長差に起因して、近赤外光用光学系のピント位置と可視光用光学系のピント位置とがずれる。近赤外光用光学系のピント位置と可視光用光学系のピント位置とがずれることで、近赤外光画像60の鮮明度と可視光画像62の鮮明度とが著しく乖離してしまう。
 しかし、撮像装置10では、近赤外光については調整部25によってピントの調整が行われ、可視光については可視光画像62に対して解像度補正フィルタ29が用いられることで可視光画像62の解像度が補正される。従って、撮像装置10によれば、近赤外光及び可視光の双方に対して兼用のピント調整機構のみで近赤外光及び可視光の各々についてピントを調整する場合に比べ、近赤外光画像60及び可視光画像62の双方のぼけを精度良く抑制することができる。
 また、撮像装置10では、可視光画像62のぼけ特性が可視光用光学系の点拡がり関数(図11及び図12に示す例では「点拡がり関数24D1」)によって規定されている。従って、可視光画像62のぼけ特性が可視光用光学系の点拡がり関数以外の関数によって規定されている場合に比べ、可視光用光学系の点拡がり関数に基づく解像度補正フィルタ29を高精度に得ることができる。
 また、撮像装置10では、解像度補正フィルタ29として、点拡がり関数24D1により示される点拡がりを相殺する画像処理フィルタが採用されている。従って、光学部品の部品点数を増大させることなく可視光画像62の解像度を補正することができる。
 また、撮像装置10では、第2光学系32が第2絞り32Bを有しており、色分離プリズム30と第2撮像素子16との間に設けられている。そして、第2光学系32には、色分離プリズム30によって被写体光が分離されることで得られた可視光が第2絞り32Bを介して入射され、第2光学系32は、入射された可視光を射出する。このように、可視光が第2絞り32Bを介して第2光学系32に入射されることで、可視光における異なる波長域毎にピント位置を異ならせて被写界深度を深めることができる。従って、色分離プリズム30と第2撮像素子16との間に光学素子を設けない場合に比べ、可視光における波長域間でのぼけ特性の差を小さくすることができる。
 また、可視光における異なる波長域毎にピント位置を異ならせることによって、可視光特性グラフが平坦化され、可視光特性平坦化グラフが得られる(図11参照)。これにより、近赤外光用光学系の合焦位置、すなわち、第1レンズ群の合焦位置に依らず、フィルタリング前の可視光画像62として、同一の解像度の可視光画像62を得ることができる。また、第1レンズ群の合焦位置に依らず、フィルタリング前の可視光画像62として、同一の解像度の可視光画像62が得られることで、同一の点拡がり関数(図11及び図12に示す例では、点拡がり関数24D1)を使い回すことができ、撮像条件毎に異なる点拡がり関数を使い分ける必要がなくなる。
 また、撮像装置10では、第1光学系28によって中間像S1が形成される。ここで、中間像が形成されずに行われる撮像は、中間像S1が形成されて行われる撮像に比べ、最も物体側に位置する対物レンズと第1撮像素子14との距離が長くなる。また、中間像が形成されずに行われる撮像は、中間像S1が形成されて行われる撮像に比べ、最も物体側に位置する対物レンズと第2撮像素子16との距離も長くなる。そのため、中間像が形成されない場合と第1絞り28Eと第2絞り32Bとの間に中間像S1が形成される場合とで同一の画角(同一の像高)の撮像が行われるようにするには、前者の場合に用いられる最も物体側に位置する対物レンズのレンズ径を、後者の場合に用いられる第1レンズ群28Aのうちの最も物体側のレンズ(以下、「第1光学系物体側レンズ」とも称する)のレンズ径よりも大きくする必要がある。
 撮像装置10では、第1光学系28によって第1絞り28Eと第2絞り32Bとの間に中間像S1が形成される。具体的には、第1絞り28Eと色分離プリズム30との間に中間像S1が形成される。より具体的には、出射面28D2と入射面36A1との間に中間像S1が形成される。従って、中間像が形成されずに被写体Sが撮像される場合に用いられる最も物体側に位置する対物レンズのレンズ径よりも第1光学系物体側レンズのレンズ径を小さくすることができる。これにより、中間像S1が形成されない場合に比べ、被写体光が近赤外光と可視光とに分離される場合において、第1光学系28の小型化を図ることができる。
 また、撮像装置10では、第1絞り28Eと第2絞り32Bとの間に中間像S1が形成されるので、周辺光線が光軸L1及び光軸L2の各々と交差する位置、すなわち、共役な位置として2つの位置が定まる。そのため、この2つの位置のうち、物体側の位置に第1絞り28Eが配置され、残りの位置(像側の位置)に第2絞り32Bが配置される。このように、撮像装置10では、何ら中間像が形成されない場合に比べ、第1絞り28Eと第2絞り32Bとを共役な位置に容易に配置することができる。
 また、撮像装置10では、第1絞り28Eとして、被写体光の光量を変更可能な絞りが採用されている。従って、近赤外光の光量のみを変更可能な絞りと可視光の光量のみを変更可能な絞りとを設ける場合に比べ、近赤外光の光量の変更タイミングと可視光の光量の変更タイミングとを簡易な構成で合わせることができる。また、第1絞り28Eが被写体光の光量を変更不可の絞りである場合に比べ、近赤外光の光量を容易に変更することができる。また、第1絞り28Eが被写体光の光量を変更不可の絞りである場合に比べ、近赤外光用光学系の被写界深度を容易に調節することができる。
 また、撮像装置10では、第2絞り32Bとして、可視光の光量を変更可能な絞りが採用されている。従って、第2絞り32Bが可視光の光量を変更不可の絞りである場合に比べ、可視光の光量を容易に変更することができる。また、第2絞り32Bが可視光の光量を変更不可の絞りである場合に比べ、可視光用光学系の被写界深度を容易に調節することができる。
 また、撮像装置10では、第1絞り28E及び第2絞り32Bとして、独立に制御可能な絞りが採用されている。従って、近赤外光の光量の調節と可視光の光量の調節とを独立して行うことができる。
 また、撮像装置10では、第1撮像素子14によって非可視光(第1実施形態では、一例として「近赤外光」)についての被写体が撮像され、第2撮像素子16によって可視光が撮像される。従って、撮像装置10によれば、非可視光及び可視光の双方に対して兼用のピント調整機構のみで非可視光及び可視光の各々についてピントを調整する場合に比べ、非可視光の画像(第1実施形態では、一例として「近赤外光画像60」)及び可視光画像62の双方のぼけを精度良く抑制することができる。
 なお、上記第1実施形態では、近赤外光についてAF制御を実行し、可視光用光学系の被写界深度を深める形態例について説明したが、本開示の技術はこれに限定されない。例えば、可視光についてAF制御を実行し、近赤外光用光学系の被写界深度を深めるようにしてもよい。この場合、第1の形態例としては、第1撮像素子14と第2撮像素子16とを入れ替える、という形態例が挙げられる。第2の形態例としては、可視光特性平坦化グラフに対応する点拡がり関数に代えて、近赤外光特性平坦化グラフに対応する点拡がり関数を補正部27に対して使用させる、という形態例が挙げられる。可視光特性平坦化グラフが可視光特性グラフを平坦化したグラフであるのと同様に、近赤外光特性平坦化グラフは、赤外光特性グラフを平坦化したグラフである。
 二次記憶装置24Dには、近赤外光特性平坦化グラフに対応する点拡がり関数が記憶されており、近赤外光特性平坦化グラフに対応する点拡がり関数が補正部27によって二次記憶装置24Dから取得される。補正部27では、近赤外光特性平坦化グラフに対応する点拡がり関数に基づく解像度補正フィルタが補正部27によって生成され、生成された解像度補正フィルタが近赤外光画像60に対して適用される。
 図14A及び図14Bには、可視光についてAF制御を実行し、近赤外光用光学系の被写界深度を深める形態例として、マシンビジョンシステムでの使用を想定してCPU24Aによって実行される撮像処理の流れの一例が示されている。ここで言う「マシンビジョンシステム」とは、例えば、検査対象物に対して近赤外光及び可視光が選択的に検査対象物に照射され、検査対象物を撮像する機能を有するシステムを指す。なお、以下の図14A及び図14Bに示す撮像処理に関する説明では、図13に示す撮像処理と異なる処理について言及し、同一の処理については同一のステップ番号を付し、説明を省略する。
 図14A及び図14Bに示す撮像処理は、図13に示す撮像処理に比べ、ステップST200~ステップST208を有する点が異なる。
 図14Aに示す撮像処理では、先ず、ステップST200で、調整部25は、近赤外光についてのAF制御を実行する条件(以下、「近赤外光AF制御条件」と称する)を満足したか否かを判定する。近赤外光AF制御条件の一例としては、可視光の強度に対する近赤外光の強度の割合が閾値(例えば、1.5)よりも大きい、との条件が挙げられる。ステップST200において、近赤外光AF制御条件を満足した場合は、判定が肯定されて、撮像処理はステップST100へ移行する。ステップST200において、近赤外光AF制御条件を満足していない場合は、判定が否定されて、撮像処理は図14Bに示すステップST202へ移行する。
 図14Bに示すステップST202で、調整部25は、撮像指示が受付部52によって受け付けられたか否かを判定する。ステップST202において、撮像指示が受付部52によって受け付けられていない場合は、判定が否定されて、撮像処理がステップST108へ移行する。ステップST202において、撮像指示が受付部52によって受け付けられた場合は、判定が肯定されて、撮像処理がステップST204へ移行する。
 ステップST204で、調整部25は、第1絞り28Eを制御することで開口28E1の開度を調整する。すなわち、ステップST204では、近赤外光特性平坦化グラフが得られるように開口28E1の開度が調整され、これにより、近赤外光用光学系の被写界深度を深くする。
 次のステップST206で、調整部25は、第2撮像素子16によって被写体Sが撮像されることで得られた可視光画像62を第2信号処理装置46から取得する。そして、調整部25は、取得した可視光画像62に基づいてAF制御を行う。すなわち、調整部25は、取得した可視光画像62に基づいて第1レンズ群28Aを光軸L1に沿って移動させることでコントラストAFを行う。ステップST206の処理が実行されることにより、可視光は、ピントが合った状態で第2受光面16Aに結像される。
 次のステップST208で、補正部27は、近赤外光解像度補正処理を実行することで近赤外光画像60の解像度を補正する。この場合、先ず、補正部27は、二次記憶装置24Dから、近赤外光特性平坦化グラフに対応する点拡がり関数を取得する。次に、補正部27は、取得した点拡がり関数に基づいて解像度補正フィルタを生成する。そして、補正部27は、生成した解像度補正フィルタを、第1撮像素子14によって被写体Sが撮像されることで得られた近赤外光画像60に対して適用する。このように、近赤外光画像60に対して解像度補正フィルタが適用されることによって近赤外光画像60の点拡がりが縮小される。これにより、フィルタリングが行われる前の近赤外光画像60の解像度に比べ、近赤外光画像60の解像度が高まる。
 また、上記第1実施形態では、第2絞り32Bを用いて可視光側での軸上色収差を大きくする形態例を挙げて説明したが、本開示の技術はこれに限定されず、他の方法で軸上色収差を更に大きくするようにしてもよい。この場合、例えば、図15に示すように、撮像装置10に代えて撮像装置300が用いられる。撮像装置300は、撮像装置10に比べ、光分離装置12に代えて光分離装置312を有する点が異なる。光分離装置312は、光分離装置12に比べ、負パワー光学系80及び挿脱機構81を有する点が異なる。負パワー光学系80は、負のパワーを有する光学系であり、色分離プリズム30と第2撮像素子16との間に設けられている。具体的には、負パワー光学系80は、光軸L2上において色分離プリズム30と第2絞り32Bとの間に配置されている。負パワー光学系80は、複数のレンズからなるレンズ群であるが、本開示の技術はこれに限定されず、負のパワーを有する1枚のレンズ(例えば、凹レンズ)であってもよい。
 挿脱機構81は、光軸L2上において色分離プリズム30と第2絞り32Bとの間に負パワー光学系80を挿脱可能な機構である。挿脱機構81は、モータ又はソレノイド等の動力源と、スライド機構とを有する。スライド機構には、負パワー光学系80が取り付けられており、スライド機構は、動力源によって生成された動力を受けることで可視光用光路に対して負パワー光学系80を挿脱させる。
 このように構成された撮像装置300では、光軸L2上において色分離プリズム30と第2絞り32Bとの間に負パワー光学系80が配置された場合に、近赤外光用光路に比べ、可視光用光路での軸上色収差が大きくなる。これにより、上記第1実施形態と同様に、可視光特性グラフよりも平坦性の高い可視光特性平坦化グラフを得ることができる。
 また、撮像装置300では、光軸L2上において色分離プリズム30と第2絞り32Bとの間に負パワー光学系80を挿脱可能な機構として、挿脱機構81が採用されている。従って、光軸L2上において色分離プリズム30と第2絞り32Bとの間に負パワー光学系80を挿入する場合と挿入しない場合とで可視光特性平坦化グラフの平坦性を異ならせることができる。なお、図15に示す撮像装置300から挿脱機構81を除いても本開示の技術は成立する。
 また、上記第1実施形態では、ピント位置に拘らず1つの点拡がり関数(図11及び図12に示す例では、点拡がり関数24D1)を使い回す形態例を挙げて説明したが、本開示の技術はこれに限定されず、複数の点拡がり関数を使い分けてもよい。この場合、例えば、図16に示すように、二次記憶装置24Dには、点拡がり関数テーブル24D2が記憶されており、上述した点拡がり関数取得部27Aに代えて、点拡がり関数取得部27A1が適用されている。点拡がり関数テーブル24D2には、上述した撮像条件と点拡がり関数とが対応付けられている。点拡がり関数テーブル24D2では、撮像条件毎に異なる点拡がり関数が規定されている。
 点拡がり関数テーブル24D2は、点拡がり関数取得部27A1によって二次記憶装置24Dから取得される。点拡がり関数取得部27A1は、現時点で採用されている撮像条件を取得し、取得した撮像条件に対応する点拡がり関数を点拡がり関数テーブル24D2から取得する。点拡がり関数取得部27A1によって取得された点拡がり関数は、算出部27Bによって、解像度補正フィルタ29の算出に用いられる。
 また、図15に示す撮像装置300では、第2絞り32Bを用いる形態例を挙げて説明したが、本開示の技術はこれに限定されず、一例として図17に示すように、撮像装置300の光分離装置312から第2絞り32Bを除いてもよい。この場合も、可視光用光路において軸上色収差を発生させることができる。
 また、図17に示す例では、第1光学系28によって、第1絞り28Eと負パワー光学系80との間に中間像S1が形成される。この場合も、上記第1実施形態と同様に、中間像が形成されない場合に比べ、被写体光が色分離プリズム30によって近赤外光と可視光とに分離される場合において、第1光学系28の小型化を図ることができる。
 また、上記第1実施形態では、可視光画像62に対する画像処理、すなわち、可視光画像62に対して解像度補正フィルタ29が適用されることで可視光画像62の解像度が補正される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像処理によって可視光画像62の解像度が補正されないようにしてもよい。但し、この場合であっても、第2絞り32B又は負パワー光学系80によって可視光用光学系の被写界深度が光学的に調整されることで可視光画像62の解像度が補正されるようにする。これにより、近赤外光及び可視光の双方に対して兼用のピント調整機構のみで近赤外光及び可視光の各々についてピントを調整する場合に比べ、近赤外光画像60及び可視光画像62の双方のぼけを精度良く抑制することができる。また、第2絞り32B及び負パワー光学系80を併用してもよい。これにより、第2絞り32B又は負パワー光学系80のみを用いる場合に比べ、軸上色収差を大きくすることができる。
 なお、第2絞り32B及び/又は負パワー光学系80は、本開示の技術に係る「補正部(光学コンポーネント)」の一例である。ここで、光学コンポーネントとは、可視光の被写界深度を光学的に調整可能な単体の光学素子(例えば、絞り又は光学フィルタ)及び/又は複数の光学素子からなるユニット(例えば、光学系)等の総称を指す。本開示の技術に係る「光学コンポーネント」の一例である負パワー光学系80は、電子的な制御ではなく、例えば、手作業によって(例えば、挿脱機構81が手動で操作されることによって、又は、治具が用いられることによって)光軸L2上において色分離プリズム30と第2絞り32Bとの間に挿脱されるようにしてもよい。また、本開示の技術に係る「光学コンポーネント」の一例である第2絞り32Bも、電子的な制御ではなく、例えば、手作業によって調整されるようにしてもよい。このように、負パワー光学系80及び/又は絞り32Bが手作業で調整された場合であっても、可視光画像62の解像度は、上記第1実施形態と同様に補正される。
 また、上記第1実施形態では、第3光学系34及び第4光学系36を例示したが、本開示の技術はこれに限定されず、第3光学系34及び/又は第4光学系36が無くても本開示の技術は成立する。
 また、上記第1実施形態では、第1撮像素子14及び第2撮像素子16としてCMOSイメージセンサが採用されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。第1撮像素子14及び/又は第2撮像素子16は、CCDイメージセンサであってもよい。また、赤外光、特に、SWIRについての撮像に対してはInGaAsセンサを用いてもよい。
 [第2実施形態]
 上記第1実施形態では、色分離プリズム30によって被写体光が近赤外光と可視光とに分離される形態例を挙げて説明したが、第2実施形態では、他の方法で被写体光が近赤外光と可視光とに分離される形態例について説明する。なお、第2実施形態では、上記第1実施形態で説明した構成要素と異なる構成要素については同一の符号を付し、その説明を省略する。
 一例として図18に示すように、撮像装置100は、撮像装置10に比べ、光分離装置12に代えて光分離装置112を有する点が異なる。また、撮像装置100は、撮像装置10に比べ、第1撮像素子14及び第2撮像素子16に代えて撮像部114を有する点、位置検出装置18に代えて位置検出装置118を有する点、及び動力付与装置20に代えて動力付与装置120を有する点が異なる。
 光分離装置112は、光分離装置12に比べ、色分離プリズム30、第2光学系32、及び第4光学系36を有しない点が異なる。また、光分離装置112は、光分離装置12に比べ、全波長領域絞り102及び光学フィルタ104を有する点が異なる。光学フィルタ104は、近赤外光透過部104A及び全透過部104Bを有する。本実施形態において、「透過部」は、「透過領域」とも言い換えることができる。なお、近赤外光透過部104Aは、本開示の技術に係る「部分透過部(部分透過領域)」の一例である。
 全波長領域絞り102は、中間像S1よりも像側に配置されている。全波長領域絞り102は、開口102Aを有しており、開口102Aの開度を調節することで、中間像S1側からの被写体光の光量を調節する。
 撮像部114は、色フィルタ部115及び受光部116を有する。受光部116、位置検出装置118、及び動力付与装置120は、制御装置24に接続されている。位置検出装置118は、位置検出装置18に比べ、第6位置センサ18F及び第7位置センサ18Gを有しない点が異なる。動力付与装置120は、動力付与装置20に比べ、第6モータドライバ20F1、第7モータドライバ20G1、第6モータ20F2、及び第7モータ20G2を有しない点が異なる。
 一例として図19に示すように、光学フィルタ104は、物体側から見て円環状に形成されている。全透過部104Bは、光学フィルタ104を物体側から正対した状態で見た場合の中央部に円形状に形成されており、被写体光そのものを通過させることで、被写体光に含まれる近赤外光及び可視光の双方を通過させる。
 近赤外光透過部104Aは、全透過部104Bの周辺に形成されている。具体的には、近赤外光透過部104Aは、全透過部104Bの外周に沿った形状、すなわち、円環状に形成されている。近赤外光透過部104Aは、近赤外光を透過させ、かつ、可視光を遮断する。可視光の遮断方法としては、例えば、可視光を吸収する方法と可視光を反射する方法とが挙げられる。第2実施形態では、可視光を吸収する方法が採用されており、近赤外光透過部104Aは、近赤外光を透過させ、可視光を吸収する材料(例えば、黒色のPETフィルム等)で形成されている。
 なお、ここでは、可視光として、赤(R)、緑(G)、及び青(B)の3色の光を想定しているが、本開示の技術はこれに限定されず、R成分の光、B成分の光、及びG成分の光のうちの少なくとも1つの波長域の光が可視光として採用されるようにしてもよい。
 近赤外光透過部104Aによって可視光が遮断され、可視光が全透過部104Bを透過することで、可視光は絞りをかけられた状態になり、これにより、光学フィルタ104を設けない場合に比べ、可視光の被写界深度は深くなる。一方、光学フィルタ104を透過した近赤外光、すなわち、近赤外光透過部104A及び全透過部104Bを透過した近赤外光は、リレーレンズ34A(図18参照)によって受光部116に結像される。近赤外光のピントは、上記第1実施形態と同様に、第1レンズ群28Aを光軸L1に沿って移動させることで受光部116に合う。
 一例として図20に示すように、撮像部114に含まれる受光部116は、複数の第1受光素子117及び複数の第2受光素子119を有する。複数の第1受光素子117及び複数の第2受光素子119の上には、色フィルタ部115が配置されている。色フィルタ部115は、Irフィルタ、Rフィルタ、Gフィルタ、及びBフィルタを有する。Irフィルタは、近赤外光を透過するフィルタである。Rフィルタは、R成分の光を透過するフィルタである。Gフィルタは、G成分の光を透過するフィルタである。Bフィルタは、B成分の光を透過するフィルタである。
 第2受光素子119は、R成分の光に感度を有する受光素子119Rと、G成分の光に感度を有する受光素子119Gと、B成分の光に感度を有する受光素子119Bとに大別される。第1受光素子117上にはIrフィルタが配置されている。受光素子119R上にはRフィルタが配置されている。受光素子119G上にはGフィルタが配置されている。受光素子119B上にはBフィルタが配置されている。なお、受光素子119R,119G,119Bの各々には、近赤外光を遮断するフィルタが更に配置されている。
 このように構成された撮像部114では、複数の第1受光素子117が、近赤外光を受光し、受光した近赤外光に基づいて近赤外光画像60を生成し、複数の第2受光素子119が、可視光を受光し、受光した可視光に基づいて可視光画像62を生成する。
 受光部116は、信号処理装置140及び撮像素子ドライバ142に接続されており、信号処理装置140及び撮像素子ドライバ142は制御装置24に接続されている。撮像素子ドライバ142は、上記第1実施形態で説明した第1撮像素子ドライバ42及び第2撮像素子ドライバ48の各々の機能を有するデバイスであり、制御装置24の制御下で、第1タイミング制御信号及び第2タイミング制御信号を選択的に受光部116に出力する。受光部116は、第1タイミング制御信号に従って近赤外光画像60を信号処理装置140に出力する。また、受光部116は、第2タイミング制御信号に従って可視光画像62を信号処理装置140に出力する。
 信号処理装置140は、上記第1実施形態で説明した第1信号処理装置40及び第2信号処理装置46の各々の機能を有するデバイスである。信号処理装置140は、受光部116から出力された近赤外光画像60及び可視光画像62に対して、制御装置24の制御下で、上述したアナログ信号処理及びデジタル信号処理を施す。アナログ信号処理及びデジタル信号処理が各々施された近赤外光画像60及び可視光画像62は、制御装置24によって制御装置24に出力される。制御装置24では、信号処理装置140から入力された近赤外光画像60及び可視光画像62に基づいて、上記第1実施形態で説明した撮像処理が実行される。
 以上説明したように、撮像装置100では、光学フィルタ104が採用されている。光学フィルタ104では、近赤外光透過部104Aが近赤外光を透過させ、可視光を遮断しており、全透過部104Bが近赤外光及び可視光の双方を透過させている。これにより、上記第1実施形態と同様に、近赤外光及び可視光の双方に対して兼用のピント調整機構のみで近赤外光及び可視光の各々についてピントを調整する場合に比べ、近赤外光画像60及び可視光画像62の双方のぼけを精度良く抑制することができる。また、色分離プリズム30によって被写体光を近赤外光と可視光とに分離する必要がなくなり、近赤外光と可視光との別々の光路毎に撮像部を設ける必要がなくなる。よって、色分離プリズム30によって被写体光を近赤外光と可視光とに分離する場合に比べ、撮像部の設置個数を減らすことができる。
 また、撮像装置100では、近赤外光透過部104Aが、近赤外光を透過させ、可視光を吸収する材料で形成されている。従って、近赤外光透過部104Aに相当する部位において、全透過部104Bと同様に、近赤外光及び可視光の双方を透過させる場合に比べ、可視光についての被写界深度を深くすることができる。
 また、撮像装置100では、撮像部114が受光部116を有しており、受光部116が、複数の第1受光素子117と、複数の第2受光素子119を備えている。そして、複数の第1受光素子117は、複数の第1受光素子117が、近赤外光を受光し、受光した近赤外光に基づいて近赤外光画像60を生成し、複数の第2受光素子119が、可視光を受光し、受光した可視光に基づいて可視光画像62を生成する。従って、色分離プリズム30によって被写体光を近赤外光と可視光とに分離し、分離して得た近赤外光及び可視光の各々について別々の撮像部によって撮像が行われる場合に比べ、撮像装置100の大型化を抑制することができる。
 なお、上記第2実施形態では、近赤外光透過部104Aが、近赤外光を透過させ、可視光を吸収する材料で形成されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、近赤外光透過部104Aは、近赤外光を透過させ、可視光を反射する材料(例えば、可視光反射フィルム)で形成されていてもよい。これにより、近赤外光透過部104Aに相当する部位においても、全透過部104Bと同様に、近赤外光及び可視光の双方を透過させる場合に比べ、可視光についての被写界深度を深くすることができる。
 また、上記第2実施形態では、上記第1実施形態と同様に画像処理により可視光画像62の解像度が補正されることを想定した形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像処理によって可視光画像62の解像度の補正が行われずに、可視光について被写界深度が光学的に調整されることで可視光画像62の解像度が補正されるようにしてもよい。この場合も、上記第1実施形態と同様に、近赤外光及び可視光の双方に対して兼用のピント調整機構のみで近赤外光及び可視光の各々についてピントを調整する場合に比べ、近赤外光画像60及び可視光画像62の双方のぼけを精度良く抑制することができる。
 また、画像処理によって可視光画像62の解像度の補正が行われない場合であっても、本開示の技術に係る「補正部(光学コンポーネント)」の一例である光学フィルタ104では、近赤外光透過部104Aが近赤外光を透過させ、可視光を遮断しており、全透過部104Bが近赤外光及び可視光の双方を透過させている。これにより、可視光が絞られるので、可視光が絞られない場合に比べ、可視光についての被写界深度を深くすることができる。よって、可視光が絞られない場合に比べ、可視光画像62の解像度を高くすることができる。
 また、上記各実施形態では、中間像S1が形成される形態例について説明したが、本開示の技術はこれに限定されず、中間像が形成される位置を他の位置にしてもよい。一例として図21に示すように、撮像装置200は、撮像装置10に比べ、光分離装置12に代えて光分離装置220を有する点が異なる。光分離装置220は、光分離装置12に比べ、第4光学系36を有しない点、及び第1光学系28に代えて第1光学系228を有する点が異なる。
 第1光学系228は、第1光学系28に比べ、第1レンズ群28Aに代えて第1レンズ群228Aを有する点、第2レンズ群28Bに代えて第2レンズ群228Bを有する点、第3レンズ群28Cに代えて第3レンズ228Cを有する点、及び第4レンズ群28Dに代えて第4レンズ228Dを有する点が異なる。このように構成された第1光学系228は、第1光学系28に比べ、中間像S1に代えて中間像S2を形成する点が異なる。中間像S2は、第1光学系228によって、光軸L2上において色分離プリズム30と第2絞り32Bとの間に形成される。
 この場合も、上記実施形態と同様に、中間像が形成されずに被写体Sが撮像される場合に用いられる最も物体側に位置する対物レンズのレンズ径よりも第1光学系物体側レンズのレンズ径を小さくすることができる。これにより、中間像が形成されない場合に比べ、被写体光が近赤外光と可視光とに分離される場合において、第1光学系228の小型化を図ることができる。
 また、撮像装置200では、光軸L2上において色分離プリズム30と第2絞り32Bとの間に中間像S2が形成されるので、上記実施形態と同様に、周辺光線が光軸L1及び光軸L2の各々と交差する位置、すなわち、共役な位置として2つの位置が定まる。そのため、この2つの位置のうち、物体側の位置に第1絞り28Eが配置され、残りの位置(像側の位置)に第2絞り32Bが配置される。このように、撮像装置200では、何ら中間像が形成されない場合に比べ、第1絞り28Eと第2絞り32Bとを共役な位置に容易に配置することができる。
 また、図21に示す例では、光軸L2上において色分離プリズム30と中間像S2との間に光学系が配置されていないが、本開示の技術はこれに限定されず、光軸L2上において色分離プリズム30と中間像S2との間に光学系が配置されるようにしてもよい。一例として図22に示すように、撮像装置400は、撮像装置200に比べ、光分離装置220に代えて光分離装置420を有する点が異なる。光分離装置420は、光分離装置220に比べ、光学系70を有する点が異なる。光学系70は、正のパワーを有する光学系であり、光軸L2上において色分離プリズム30と中間像S2との間に配置されている。光学系70は、複数のレンズからなるレンズ群であるが、本開示の技術はこれに限定されず、正のパワーを有する1枚のレンズ(例えば、凸レンズ)であってもよい。光学系70は、固定レンズであってもよいし、移動レンズであってもよく、光軸L2の中間像S2の位置が微調整可能な光学系であるとよい。
 また、上記第1実施形態では、第2受光面16Aに可視光を結像させることで第2撮像素子16によって被写体Sが撮像され、電子像として可視光画像62が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、電子像として可視光画像62が生成され、かつ、可視光に基づく被写体像を光学像としてユーザに視認させるようにしてもよい。一例として図23に示すように、撮像装置500は、撮像装置10に比べ、光分離装置12に代えて光分離装置520を有する点、及び接眼窓524を有する点が異なる。光分離装置520は、光分離装置12に比べ、ハーフプリズム522を有する点が異なる。リレーレンズ32Aは、出射面32A1を有する。出射面32A1は、リレーレンズ32Aの最も像側の面である。ハーフプリズム522は、第2受光面16Aと出射面32A1との間に配置されている。ハーフプリズム522には、出射面32A1から出射された可視光が入射され、入射された可視光はハーフプリズム522を透過し、第2受光面16Aに結像される。ハーフプリズム522は、選択反射面522Aを有しており、選択反射面522Aで可視光の一部が反射され、接眼窓524を透過する。これにより、可視光に基づく被写体像が光学像として接眼窓524を介してユーザによって視認される。
 なお、図23に示す例では、ハーフプリズム522を例示したが、これに限らず、ダイクロイックミラー、プリズム、又はハーフミラーを用いてもよい。
 図23に示す例では、可視光に基づく被写体像が光学像としてユーザによって視認される形態例を挙げて説明したが、本開示の技術はこれに限定されず、電子像と光学像とがユーザによって選択的に視認されるようにしてもよい。一例として図24に示すように、撮像装置600は、撮像装置400に比べ、ハイブリッドファインダー(登録商標)15を有する点が異なる。ハイブリッドファインダー15は、光学ビューファインダー(以下、「OVF」と称する)及び電子ビューファインダー(以下、「EVF」と称する)が選択的に使用されるファインダーである。なお、OVFとは、“optical viewfinder”の略称を指す。また、EVFとは、“electronic viewfinder”の略称を指す。
 ハイブリッドファインダー15は、ディスプレイ86を備えており、CPU24Aは、ディスプレイ86に対して各種情報を表示させる。ディスプレイ86の一例としては、液晶ディスプレイが挙げられる。なお、ディスプレイ86は、液晶ディスプレイではなく、有機ELディスプレイなどの他のディスプレイであってもよい。
 ハイブリッドファインダー15は、OVF90及びEVF92を含む。OVF90は、逆ガリレオ式ファインダーであり、接眼レンズ94、プリズム96、及び対物レンズ98を有する。EVF92は、ディスプレイ86、プリズム96、及び接眼レンズ94を有する。
 対物レンズ98の光軸L3に沿って対物レンズ98よりも物体側には、液晶シャッタ101が配置されている。光軸L3に沿って液晶シャッタ101よりも物体側には、選択反射面522Aが配置されており、液晶シャッタ101には、選択反射面522Aで反射された可視光が入射される。液晶シャッタ101は、EVF92を使用する際に、CPU24Aの制御下で、対物レンズ98に可視光が入射しないように遮光する。
 プリズム96は、ディスプレイ86に表示される電子像を反射させて接眼レンズ94に導き、かつ、光分離装置520から液晶シャッタ101及び対物レンズ98を介して入射された可視光を透過させ、接眼レンズ94に導く。ディスプレイ86に表示される電子像としては、近赤外光画像60、可視光画像62、又は合成画像64に基づくライブビュー画像が挙げられる。合成画像64とは、可視光画像62と近赤外光画像60とを合成させることで得られた画像を指す。合成画像64の一例としては、可視光画像62と近赤外光画像60とがアルファブレンディングされることで得られた画像が挙げられる。なお、ディスプレイ86に表示される電子像は、ライブビュー画像に限らず、静止画像であってもよい。
 OVFが使用される場合、CPU24Aは、液晶シャッタ101が非遮光状態になるように制御することで、接眼レンズ94から接眼窓524を介して光学像(可視光に基づく被写体像)が視認できるようにする。また、EVFが使用される場合、CPU24Aは、液晶シャッタ101が遮光状態になるように制御することで、接眼レンズ94からディスプレイ86に表示される電子像のみが視認できるようにする。
 また、上記各実施形態では、第1絞り28Eが、第4レンズ群28Dよりも物体側で、光軸L1方向において第4レンズ群28Dに隣接した箇所に配置されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図25に示すように、第1絞り28Eが、光軸L1方向において、第4レンズ群28Dよりも像側で、第4レンズ群28Dに隣接した箇所に配置されていてもよい。
 また、上記各実施形態では、非可視光として近赤外光を例示したが、本開示の技術はこれに限定されない。例えば、非可視光は、赤外光であってもよい。この場合、色分離プリズム30によって被写体光が赤外光と可視光とに分離される。第1受光面14Aには、赤外波長域の光である赤外光に感度を有する複数の光電変換素子が配置されており、第1受光面14Aは、赤外光を受光する。そして、第1撮像素子14によって、第1受光面14Aで受光された赤外光に基づいて赤外光画像が生成される。
 なお、ここで言う「赤外光」は、被写体光のうちの約700nm(ナノメートル)よりも長波長側の光であり、可視光は、700nm以下の短波長側の光である。被写体光のうちの赤外光は、90%(パーセント)程度の透過率で色分離プリズム30を透過し、被写体光のうちの可視光は、約90%を超える反射率で、選択反射面30Aで反射する。
 このように、被写体光が赤外光と可視光とに分離される場合であっても、上記実施形態と同様に、中間像が形成されない場合に比べ、第1光学系28の小型化を図ることができる。
 なお、非可視光は、赤外光又は近赤外光に限らず、可視光の波長域よりも短波長側の光であってもよい。この場合、可視光の波長域よりも短波長側の光に感度を有する感光画素(光電変換素子)が受光面に配置された撮像素子によって受光が行われるようにすればよい。
 また、上記各実施形態では、可視光と非可視光とが分離されて撮像される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、被写体光のうちの波長域が異なる2種類の非可視光が分離され、分離されて得られた2種類の非可視光が別個の撮像素子によって撮像されるようにしてもよい。
 また、上記各実施形態では、第1光学系28として4群レンズからなるズームレンズを例例示したが、これはあくまでも一例に過ぎず、本開示の技術はこれに限定されない。例えば、物体側から順に、負、正、正の3群レンズからなるズームレンズが適用されてもよいし、物体側から順に屈折力が、正、負、負、正の4群ズームであってもよいし、物体側から順に屈折力が正、負、正、正、正の5群ズームであってもよく、任意のズームタイプを用いることが可能である。
 また、上記各実施形態では、制御装置24が、CPU24A、ROM24B、及びRAM24Cを有するコンピュータによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御装置24は、ASIC、FPGA、及び/又はPLDを含むデバイスであってもよい。また、制御装置24は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
 また、上記各実施形態では、ROM24Bに撮像プログラム24B1が記憶されているが、本開示の技術はこれに限定されず、SSD又はUSBメモリなどの任意の可搬型の記憶媒体(非一時的記憶媒体)に撮像プログラム24B1が記憶されていてもよい。この場合、記憶媒体に記憶されている撮像プログラム24B1が制御装置24にインストールされ、CPU24Aは、撮像プログラム24B1に従って、上述した撮像処理を実行する。
 また、通信網(図示省略)を介して制御装置24に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像プログラム24B1を記憶させておき、撮像装置10の要求に応じて撮像プログラム24B1が制御装置24にダウンロードされるようにしてもよい。この場合、ダウンロードされた撮像プログラム24B1に基づく撮像処理が制御装置24によって実行される。
 また、上記各実施形態では、CPU24Aを例示したが、本開示の技術はこれに限定されず、複数のCPUを採用してもよいし、GPUを採用してもよい。
 上記の撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
 撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、撮像処理を実行するハードウェア資源は1つのプロセッサであってもよい。
 1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、撮像処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、撮像処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
 また、上述した撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
 以上の実施形態に関し、更に以下の付記を開示する。
 (付記)
 第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサと、
 前記イメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整するプロセッサと、
 前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、前記第2波長域光の被写界深度を光学的に調整することで前記第2波長域光の被写界深度を光学的に調整することで補正する光学コンポーネントと、
 を備えた撮像装置。

Claims (26)

  1.  第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサと、
     プロセッサと、を備え、
     前記プロセッサは、
     前記イメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像に対して、前記第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで前記第2波長域光画像の解像度を補正する
     撮像装置。
  2.  前記ぼけ特性は、前記光学系の点拡がり関数によって規定されている請求項1に記載の撮像装置。
  3.  前記解像度補正フィルタは、前記点拡がり関数により示される点拡がりを相殺する画像処理フィルタである請求項2に記載の撮像装置。
  4.  光学フィルタを更に含み、
     前記光学フィルタは、前記第1波長域光及び前記第2波長域光の双方を透過させる全透過領域と、前記全透過領域の周辺に形成され、前記第1波長域光を透過させ、かつ、前記第2波長域光を遮断する部分透過領域とを有する請求項1から請求項3の何れか一項に記載の撮像装置。
  5.  前記イメージセンサは、前記第1波長域光について撮像を行う第1イメージセンサと、前記第2波長域光について撮像を行う第2イメージセンサと、を有し、
     前記光学系は、第1光学系、分離光学系、及び第2光学系を有し、
     前記第1光学系は、第1絞りを有し、入射された前記被写体光を、前記第1絞りを介して前記分離光学系に出射し、
     前記分離光学系は、前記第1光学系から出射された前記被写体光を前記第1波長域光と前記第2波長域光とに分離し、
     前記第2光学系は、第2絞りを有し、前記分離光学系と前記第2イメージセンサとの間に設けられ、前記分離光学系によって前記被写体光が分離されることで得られた前記第2波長域光が前記第2絞りを介して入射され、入射された前記第2波長域光を出射する請求項1から請求項3の何れか一項に記載の撮像装置。
  6.  前記イメージセンサは、前記第1波長域光について撮像を行う第1イメージセンサと、前記第2波長域光について撮像を行う第2イメージセンサと、を有し、
     前記光学系は、第1光学系、分離光学系、及び負パワー光学系を有し、
     前記第1光学系は、第1絞りを有し、入射された前記被写体光を、前記第1絞りを介して前記分離光学系に出射し、
     前記分離光学系は、前記第1光学系から出射された前記被写体光を前記第1波長域光と前記第2波長域光とに分離し、
     前記負パワー光学系は、負のパワーを有し、前記分離光学系と前記第2イメージセンサとの間に設けられた請求項1から請求項3の何れか一項に記載の撮像装置。
  7.  前記第1光学系は、前記第1絞りと前記負パワー光学系との間に中間像を形成する請求項6に記載の撮像装置。
  8.  第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサと、
     プロセッサと、
     前記第2波長域光の被写界深度を光学的に調整可能な光学コンポーネントと、を備え、
     前記プロセッサは、
     前記イメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、前記光学コンポーネントを作動させることで補正する
     撮像装置。
  9.  前記光学コンポーネントは、光学フィルタを有し、
     前記光学フィルタは、前記第1波長域光及び前記第2波長域光の双方を透過させる全透過領域と、前記全透過領域の周辺に形成され、前記第1波長域光を透過させ、かつ、前記第2波長域光を遮断する部分透過領域とを有する請求項8に記載の撮像装置。
  10.  前記イメージセンサは、前記第1波長域光について撮像を行う第1イメージセンサと、前記第2波長域光について撮像を行う第2イメージセンサと、を有し、
     前記光学系は、第1光学系、分離光学系、及び第2光学系を有し、
     前記第1光学系は、第1絞りを有し、入射された前記被写体光を、前記第1絞りを介して前記分離光学系に出射し、
     前記分離光学系は、前記第1光学系から出射された前記被写体光を前記第1波長域光と前記第2波長域光とに分離し、
     前記第2光学系は、前記光学コンポーネントとして第2絞りを有し、前記分離光学系と前記第2イメージセンサとの間に設けられ、前記分離光学系によって前記被写体光が分離されることで得られた前記第2波長域光が前記第2絞りを介して入射され、入射された前記第2波長域光を出射する請求項8に記載の撮像装置。
  11.  前記部分透過領域は、前記第1波長域光を透過させ、前記第2波長域光を吸収する材料で形成されている請求項4又は請求項9に記載の撮像装置。
  12.  前記部分透過領域は、前記第1波長域光を透過させ、前記第2波長域光を反射する材料で形成されている請求項4又は請求項9に記載の撮像装置。
  13.  前記イメージセンサは、前記第1波長域光を受光する複数の第1受光素子と、前記第2波長域光を受光する複数の第2受光素子とを有し、前記複数の第1受光素子により受光された前記第1波長域光に基づいて前記第1波長域光画像を生成し、前記複数の第2受光素子により受光された前記第2波長域光に基づいて前記第2波長域光画像を生成する請求項1から請求項12の何れか一項に記載の撮像装置。
  14.  前記第1光学系は、前記第1絞りと前記第2絞りとの間に中間像を形成する請求項5又は請求項10に記載の撮像装置。
  15.  前記分離光学系と前記第2絞りとの間に配置され、負のパワーを有する負パワー光学系を更に含む請求項5、請求項10、又は請求項14に記載の撮像装置。
  16.  前記分離光学系と前記第2絞りとの間に前記負パワー光学系を挿脱可能な機構を更に含む請求項15に記載の撮像装置。
  17.  前記第1絞りは、前記被写体光の光量を変更可能な絞りである請求項5から請求項7、請求項10、及び請求項14から請求項16の何れか一項に記載の撮像装置。
  18.  前記第2絞りは、前記第2波長域光の光量を変更可能な絞りである請求項5、請求項10、及び請求項14から請求項16の何れか一項に記載の撮像装置。
  19.  前記第1絞り及び前記第2絞りの各々は独立に制御可能な絞りである請求項5、請求項10、及び請求項14から請求項16の何れか一項に記載の撮像装置。
  20.  前記第1波長域光は、非可視光であり、
     前記第2波長域光は、可視光である請求項1から請求項19の何れか一項に記載の撮像装置。
  21.  前記非可視光は、近赤外光である請求項20に記載の撮像装置。
  22.  第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、前記第2波長域光の被写界深度を光学的に調整することで補正することを含む撮像方法。
  23.  第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像に対して、前記第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで前記第2波長域光画像の解像度を補正することを含む撮像方法。
  24.  コンピュータに、
     第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像に対して、前記第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで前記第2波長域光画像の解像度を補正することを含む処理を実行させるためのプログラム。
  25.  コンピュータに、
     第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像に対して、前記第2波長域光画像のぼけ特性に基づく解像度補正フィルタを用いることで前記第2波長域光画像の解像度を補正することを含む処理を実行させるためのプログラム。
  26.  第1波長域光と第2波長域光とを含む被写体光が光学系により結像され、結像された前記被写体光に含まれる、前記第1波長域光及び前記第2波長域光の各々について撮像を行うイメージセンサと、前記第2波長域光の被写界深度を光学的に調整可能な光学コンポーネントと、を備えた撮像装置に対して適用されるコンピュータに、
     前記イメージセンサにより前記第1波長域光について撮像されることで得られた第1波長域光画像に基づいて前記光学系の合焦位置を調整し、
     前記イメージセンサにより前記第2波長域光について撮像されることで得られた第2波長域光画像の解像度を、前記光学コンポーネントを作動させることで補正することを含む処理を実行させるためのプログラム。
PCT/JP2020/019536 2019-05-31 2020-05-15 撮像装置、撮像方法、及びプログラム WO2020241326A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-102964 2019-05-31
JP2019102964 2019-05-31

Publications (1)

Publication Number Publication Date
WO2020241326A1 true WO2020241326A1 (ja) 2020-12-03

Family

ID=73554035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019536 WO2020241326A1 (ja) 2019-05-31 2020-05-15 撮像装置、撮像方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2020241326A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354714A (ja) * 2003-05-29 2004-12-16 Fuji Photo Optical Co Ltd 可視光・赤外光撮影用レンズシステム
JP2008268868A (ja) * 2007-03-22 2008-11-06 Fujifilm Corp 撮像装置
JP2014138290A (ja) * 2013-01-17 2014-07-28 Sharp Corp 撮像装置及び撮像方法
WO2016171090A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2017003749A (ja) * 2015-06-09 2017-01-05 キヤノン株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354714A (ja) * 2003-05-29 2004-12-16 Fuji Photo Optical Co Ltd 可視光・赤外光撮影用レンズシステム
JP2008268868A (ja) * 2007-03-22 2008-11-06 Fujifilm Corp 撮像装置
JP2014138290A (ja) * 2013-01-17 2014-07-28 Sharp Corp 撮像装置及び撮像方法
WO2016171090A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2017003749A (ja) * 2015-06-09 2017-01-05 キヤノン株式会社 撮像装置

Similar Documents

Publication Publication Date Title
EP2594062B1 (en) Flash system for multi-aperture imaging
KR102069533B1 (ko) 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
US9083879B2 (en) Focus detection apparatus, control method thereof, and image pickup apparatus
JP2008268868A (ja) 撮像装置
US9300862B2 (en) Control apparatus and control method
JP4751651B2 (ja) 焦点検出方法および焦点検出装置
JP6330474B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
EP1890482A1 (en) Lens device
WO2020241326A1 (ja) 撮像装置、撮像方法、及びプログラム
JP7204357B2 (ja) 撮像装置およびその制御方法
JP2019016975A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2010016611A (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2020241205A1 (ja) 光分離装置及び撮像装置
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2008211678A (ja) 撮像装置およびその方法
JP2006129084A (ja) 撮像装置及び撮像方法
JP2011182041A (ja) 撮像装置
KR20090087694A (ko) 오토 포커스 시스템과, 이를 이용한 오토 포커스 방법
JP2010062742A (ja) カメラ
WO2021171693A1 (ja) レンズ制御装置、撮像装置、レンズ制御装置の動作方法、及びプログラム
JP6045188B2 (ja) 撮像装置
JP7438377B2 (ja) 撮像制御装置、撮像装置、制御方法、及びプログラム
US20240187732A1 (en) Imaging device, method of driving imaging device, and program
WO2022176469A1 (ja) フォーカス制御装置、レンズ装置、及び撮像装置
WO2020050001A1 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813325

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20813325

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP