WO2018211603A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018211603A1
WO2018211603A1 PCT/JP2017/018410 JP2017018410W WO2018211603A1 WO 2018211603 A1 WO2018211603 A1 WO 2018211603A1 JP 2017018410 W JP2017018410 W JP 2017018410W WO 2018211603 A1 WO2018211603 A1 WO 2018211603A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
light
arrangement state
light receiving
image
Prior art date
Application number
PCT/JP2017/018410
Other languages
English (en)
French (fr)
Inventor
智史 渡部
村山　和章
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/018410 priority Critical patent/WO2018211603A1/ja
Publication of WO2018211603A1 publication Critical patent/WO2018211603A1/ja
Priority to US16/679,724 priority patent/US10852457B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/32—Details specially adapted for motion-picture projection
    • G03B21/34—Change-over arrangements
    • G03B21/36—Fades, dissolves, or wipes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Definitions

  • the present invention relates to an imaging apparatus.
  • the image intensity itself acquired by the light field imaging device is different from the image intensity of a normal imaging device. Therefore, the image acquired by the light field imaging device is not subject to the planar position of the subject unless image processing is performed.
  • Basic information such as distance is not intuitively understood.
  • a large amount of processing is required to display an image acquired by the light field imaging device in real time by image processing. Therefore, in view of user operability, it is desirable that the light field imaging apparatus can perform observation equivalent to normal observation with a simple configuration in order to determine a basic composition such as the planar position and distance of the subject. It is.
  • the essential purpose of the light field imaging device is to acquire a high-quality light field image, it is desirable that the optical system does not deteriorate the light field image.
  • the camera lens adapter described in Patent Document 1 is capable of acquiring a light field image by being inserted between a lens and a body in an interchangeable lens type camera.
  • the present invention has been made in view of the above-described circumstances, and has a configuration suitable for acquiring a light field image and an imaging apparatus capable of performing observation equivalent to normal observation with a simple configuration. It is intended to provide.
  • One embodiment of the present invention condenses light from a subject and forms a primary image of the subject, and a position of the primary image formed by the imaging optical system or the primary
  • a microlens array having a plurality of microlenses that are two-dimensionally arranged in a conjugate position with an image and that collects light from the imaging optical system; and relays the light collected by the microlens, A relay optical system that re-forms an image to form a secondary image; and a plurality of light receiving elements arranged in regions corresponding to the plurality of microlenses, and the light relayed by the relay optical system
  • a light receiving unit that receives and photoelectrically converts light received by the plurality of light receiving elements, a first arrangement state in which the plurality of light receiving elements and the rear focal position of the microlens are conjugated, and the plurality of light receiving elements And the micro lens And the point position is an imaging device and an adjustment unit for switching a second disposition state of being
  • the light from the subject collected by the imaging optical system is relayed by the relay optical system via the microlens of the microlens array, and a plurality of light receiving units are provided for each light transmitted through each microlens.
  • Light is received by the light receiving element and photoelectrically converted.
  • each light receiving element and the rear focal position of each microlens are in a conjugate positional relationship, or each light receiving element and each microlens
  • the principal point position can be in a conjugate positional relationship.
  • the light field image can be taken by setting the first arrangement state in which the plurality of light receiving elements and the rear focal position of the microlens are conjugated by the adjusting unit.
  • a normal two-dimensional image can be taken by setting the second arrangement state in which the plurality of light receiving elements and the principal point positions of the microlenses are conjugated by the adjusting unit.
  • both the light field image and the normal two-dimensional image can be taken simply by switching between the first arrangement state and the second arrangement state by the adjustment unit. Therefore, it is a configuration suitable for acquiring a light field image, and observation equivalent to normal observation can be performed with a simple configuration.
  • the plurality of microlenses may have a surface shape that satisfies the following formula. PV / ⁇ ⁇ M / (NA ob ) ⁇ 2
  • PV is the distance along the optical axis from the closest position to the farthest position on the surface having the power of the microlens
  • M is the lateral magnification of the imaging optical system
  • NA ob is the imaging optical
  • the numerical aperture ⁇ on the subject side of the system is the wavelength of the light incident on the imaging optical system.
  • the light beam (wavefront) incident on the microlens array is refracted on the front and back surfaces of the microlens.
  • the behavior of the light beam projected by the relay optical system is the same as the behavior in the vicinity of the microlens, since the refraction action does not actually occur on the projection surface, it becomes an equivalent wavefront for the first arrangement state.
  • An equivalent wavefront is not obtained for the second arrangement state. Therefore, with this configuration, in the second arrangement state, the wavefront on the surface having power in the projection space can accurately reproduce the wavefront on the surface of the actual microlens. A dimensional image can be acquired.
  • the plurality of microlenses may have positive power on the subject side. With this configuration, it is possible to acquire a higher-definition light field image in the first arrangement state. In particular, it is preferable in terms of aberration.
  • the adjustment unit may switch between the first arrangement state and the second arrangement state by moving the light receiving unit in a direction along the optical axis of the relay optical system.
  • the relay optical system includes a plurality of lenses, and the adjustment unit moves the at least one lens of the relay optical system in a direction along the optical axis, thereby the first arrangement state and the The second arrangement state may be switched.
  • the position of light relayed by the relay optical system can be changed according to the position of the lens of the relay optical system that is moved in the direction along the optical axis by the adjusting unit. Therefore, the first arrangement state and the second arrangement state can be switched without moving the light receiving unit in the direction along the optical axis of the relay optical system.
  • At least the secondary image side of the relay optical system may be telecentric.
  • the configuration is suitable for acquiring a light field image, and an effect equivalent to normal observation can be performed with a simple configuration.
  • FIG. 1 is a schematic configuration diagram of an imaging apparatus according to an embodiment of the present invention.
  • 2 is a flowchart for describing a photographing process of a subject by the imaging apparatus of FIG. 1. It is a figure which shows an example of refraction of the light in the projection surface of the micro lens projected by the micro lens of FIG. 1, and the micro lens projected by the relay optical system. It is a figure which shows an example of the image acquired in a 1st arrangement
  • FIG. 1 An example of an image when a plurality of light receiving elements and a principal point position of a microlens are conjugated, and an image when a plurality of light receiving elements are slightly shifted from the principal point position of the microlens in a direction along the optical axis
  • FIG. 1 It is a flowchart explaining the imaging
  • FIG. 6 is a schematic configuration diagram of an imaging apparatus in which a pupil modulation element is provided in a configuration in which a light receiving unit is moved by an adjustment unit as a modification of an embodiment of the present invention.
  • FIG. 6 is a schematic configuration diagram of an imaging apparatus in which a pupil modulation element is provided in a configuration in which a focus lens group is moved by an adjustment unit as a modification of an embodiment of the present invention.
  • the imaging apparatus 1 condenses light from a subject S (object point) and forms a primary image of the subject S, and an imaging optical system.
  • the microlens array 5 having a plurality of microlenses 5a that collect the light from 3 and the light collected by the plurality of microlenses 5a are relayed to re-form the primary image to form a secondary image A positional relationship between the plurality of light receiving elements 9a and the microlens array 5; and a light receiving unit 9 including a plurality of light receiving elements 9a for receiving and relaying light relayed by the relay optical system 7.
  • An adjustment unit 11 for switching and a calculation unit 13 for generating an image are provided.
  • the microlens array 5 includes a plurality of microlenses 5a having a large convex power (positive power) on one surface on the subject S side.
  • the plurality of microlenses 5 a are arranged at a position conjugate with the primary image formed by the imaging optical system 3 and are two-dimensionally arranged in a direction intersecting the optical axis of the imaging optical system 3 and the relay optical system 7.
  • the plurality of microlenses 5a are arranged at a pitch that is sufficiently larger than the pitch of the light receiving elements 9a (for example, a pitch that is 10 times or more larger than the pitch of the light receiving elements 9a).
  • the plurality of microlenses 5a have a surface shape that satisfies the following formula. PV / ⁇ ⁇ M / ( NA ob) ⁇ 2
  • PV is the distance along the optical axis from the position closest to the subject S to the position farthest on the surface having the power of the micro lens 5a
  • M is the lateral magnification of the imaging optical system 3
  • NA ob is the imaging optical system.
  • the numerical aperture 3 on the subject S side, ⁇ is the wavelength of light from the subject S incident on the imaging optical system 3.
  • the relay optical system 7 is composed of a plurality (two in the present embodiment) of lenses 8A and 8B.
  • the relay optical system 7 is telecentric at least on the secondary image side in a first arrangement state to be described later.
  • the light receiving unit 9 is provided so as to be movable in a direction along the optical axis of the relay optical system 7.
  • the plurality of light receiving elements 9 a are two-dimensionally arranged in a direction intersecting the optical axis of the relay optical system 7, and a plurality of light receiving elements 9 a are arranged for each region corresponding to the plurality of microlenses 5 a of the microlens array 5.
  • the plurality of light receiving elements 9a photoelectrically convert the detected light and output a light intensity signal as image information of the subject S.
  • the adjustment unit 11 includes a drive unit 15 such as a stepping motor or a piezoelectric actuator, and a control unit 17 that controls the drive unit 15 to move the light receiving unit 9 in a direction along the optical axis of the relay optical system 7. ing.
  • a drive unit 15 such as a stepping motor or a piezoelectric actuator
  • a control unit 17 that controls the drive unit 15 to move the light receiving unit 9 in a direction along the optical axis of the relay optical system 7. ing.
  • the control unit 17 includes, for example, a CPU (Central Processing Unit), a main storage unit such as a ROM (Read Only Memory) and a RAM (Random Access Memory), an auxiliary storage unit such as an HDD (Hard Disk Drive), and a user
  • a CPU Central Processing Unit
  • main storage unit such as a ROM (Read Only Memory) and a RAM (Random Access Memory)
  • auxiliary storage unit such as an HDD (Hard Disk Drive)
  • An input unit for inputting instructions, an output unit for outputting data, and an external interface (not shown) for exchanging various data with external devices are provided.
  • Various programs are stored in the auxiliary storage unit, and various processes are realized by the CPU reading the program from the auxiliary storage unit to a main storage unit such as a RAM and executing the program. Yes.
  • control unit 17 drives the drive unit 15 to arrange the light receiving unit 9 at a position conjugate with the rear focal position of the micro lens 5a, and the light receiving unit 9 to the micro lens 5a.
  • the second arrangement state arranged at a position conjugate with the principal point position is switched.
  • a light field image can be taken by arranging the plurality of light receiving elements 9a at positions conjugate with the rear focal position of the microlens 5a.
  • a normal two-dimensional image can be taken by arranging the plurality of light receiving elements 9a at positions conjugate with the principal point position of the microlens 5a.
  • control part 17 will input the information which shows being set to the 1st arrangement
  • the information indicating that the operation has been performed is input to the calculation unit 13.
  • the control unit 17 sends light intensity signals output from the plurality of light receiving elements 9 a of the light receiving unit 9 to the calculation unit 13.
  • the calculation unit 13 adds the light field processed image (for example, 2D slice) to the light intensity signal transmitted from the control unit 17.
  • the final image is generated by performing predetermined image processing for generating (image, 3D multi-slice image).
  • the calculation unit 13 does not perform predetermined image processing for generating a light field processed image, and performs control.
  • the light intensity signal sent from the unit 17 is subjected to image processing for generating a normal two-dimensional image to generate a final image.
  • the drive unit 15 is driven by the control unit 17 and the position of the light receiving unit 9 in the direction along the optical axis of the relay optical system 7 is adjusted.
  • the first arrangement state or the second arrangement state is set (step SA1).
  • the first arrangement state is set, information indicating that the first arrangement state is set is input from the control unit 17 to the calculation unit 13, and when the second arrangement state is set, the second arrangement state is set. Information indicating that it is set is input from the control unit 17 to the calculation unit 13.
  • the light from the subject S is collected by the imaging optical system 3, enters the microlens array 5, is relayed by the relay optical system 7 through the plurality of microlenses 5 a of the microlens array 5, and then each microlens.
  • Each light transmitted through 5a is received and photoelectrically converted by the plurality of light receiving elements 9a of the light receiving unit 9.
  • the light intensity signal photoelectrically converted by each light receiving element 9 a is sent to the calculation unit 13.
  • the arithmetic unit 13 any object distance obtained intensity distribution I m Refocus processing is performed (step SA4).
  • the calculation unit 13 performs 3D processing for representing the image three-dimensionally (step SA5), and a light field processed image is generated and output (step SA6).
  • step SA7 the arithmetic unit 13, two-dimensionally based on the obtained intensity distribution I m A correct image is generated and output (step SA7).
  • the light field image can be taken when the adjustment unit 11 is set to the first arrangement state, while it is normal when the second arrangement state is set. 2D images can be taken.
  • both the light field image and the normal two-dimensional image can be taken by simply switching the first arrangement state and the second arrangement state by the adjustment unit 11.
  • the first arrangement state and the second arrangement state can be switched with a simple configuration in which the light receiving unit 9 is simply moved. Therefore, it is a configuration suitable for acquiring a light field image, and observation equivalent to normal observation can be performed with a simple configuration.
  • the light beam (wavefront) actually incident on the microlens array 5 is refracted on the front and back surfaces of each microlens 5a.
  • the behavior of the light beam projected by the relay optical system 7 is the same as the behavior in the vicinity of the microlens 5a. Absent.
  • the wavefront is equivalent to the first arrangement state, but is not equivalent to the second arrangement state.
  • spherical aberration generated on the back surface of the microlens 5a remains in the relay space.
  • the image is formed as it is.
  • reference symbol L indicates a principal ray
  • reference symbol M indicates a light beam emitted from one point of the pupil of the imaging optical system 3
  • reference symbol 5 ′ indicates a microlens projected by the relay optical system 7.
  • the refraction action on the surface having the power of the microlens array 5 is planarly applied even in the second arrangement state.
  • the wavefront on the surface having power in the projection space can well reproduce the wavefront on the surface of the actual microlens 5a, and a high-definition two-dimensional image is acquired. be able to.
  • microlens array 5 is arranged with the surface having the large convex power of the plurality of microlenses 5a facing the subject S, a higher-definition light field image is acquired in the first arrangement state. be able to. In particular, it is preferable in terms of aberration.
  • the light receiving unit 9 is conjugate with the (exit) pupil for the subject S at the object position conjugate with the microlens array 5 (the in-focus position in the normal optical system).
  • the positional relationship becomes. Therefore, both the subject S conjugated to the end of one microlens 5a and the subject S conjugated to the central portion form substantially the same intensity distribution. Therefore, as shown in FIG. 4, the sampling of the subject space is determined by the interval between the microlenses 5a in the microlens array 5, and a structure having a size smaller than that of the microlens 5a cannot be directly observed.
  • the light receiving unit 9 is arranged at a position where the power of the microlens array 5 is practically canceled, so that a structure equal to or smaller than the size of the microlens 5a is directly formed as shown in FIG. Can be observed.
  • the imaging may be performed by slightly moving the light receiving unit 9 back and forth in the direction along the optical axis from the principal point position of the micro lens 5a.
  • the contrast of the boundary between the adjacent microlenses 5a can be reversed. Therefore, an image closer to the normal shooting state can be generated by subtracting the influence of the boundary between adjacent microlenses 5a by image processing.
  • the imaging optical system 3 and the relay optical system 7 can be taken by moving the light receiving unit 9 slightly back and forth in the direction along the optical axis from the principal point position of the microlens 5a. Even when there is curvature of field, a good image can be obtained over the entire image.
  • step SA5 in the flowchart of FIG. 2, but step SA5 may be omitted.
  • step SA4 instead of the refocus processing (step SA4) and the 3D conversion processing (step SA5), for example, as shown in step SA4 ′ in FIG. 7, the light intensity signal acquired by the calculation unit 13 in the first arrangement state is used. It is good also as performing 3D deconvolution processing with respect to.
  • a point image intensity distribution for each subject position in the light receiving unit 9 in the first arrangement state is prepared in advance and is read (step SB1). .
  • the subject luminance distribution is designated as an initial value (step SB2).
  • step SB3 based on the point image intensity distribution read in step SB1 and the subject luminance distribution specified in step SB2, the intensity distribution I (n) S of the light receiving unit 9 is calculated (step SB3). Then, comparing the intensity distribution I m obtained in step SA2 in the flowchart of FIG. 2, the intensity distribution I (n) S calculated at step SB3 in the flowchart of FIG. 8 (step SB4).
  • the intensity distribution I (n) S is used as information on the three-dimensional distribution of the subject S.
  • a certain value ⁇
  • the intensity distribution I (n) S is used as information on the three-dimensional distribution of the subject S.
  • an image and output step SB5. Note that it is not always necessary to form an image, and a signal indicating information on the three-dimensional distribution of the subject S may be output.
  • Step SB6 the absolute value of the error amount (difference) between the intensity distribution Im and the intensity distribution I (n) S is greater than or equal to a certain value ( ⁇ )
  • the initial value of the subject luminance distribution is corrected (step SB6).
  • the intensity distribution I (n) S of the light receiving unit 9 is calculated again. Then, Step SB3 to Step SB6 are repeated until the absolute value of the error amount (difference) between the intensity distribution Im and the intensity distribution I (n) S becomes smaller than a certain value ( ⁇ ).
  • step SA5 it is possible to generate a three-dimensional light field processed image without separately performing the 3D processing as in step SA5 in the flowchart of FIG.
  • a Lucy Richardson algorithm a machine learning method, or a deep learning method may be employed instead of the method of Step SB2 to Step SB5 in FIG.
  • regularization processing may be incorporated.
  • the driving unit 15 moves the light receiving unit 9 to switch between the first arrangement state and the second arrangement state.
  • the relay optical system 7 includes a focus lens group (lens) 8C that can move in a direction along the optical axis of the relay optical system 7.
  • the drive unit 15 may switch the first arrangement state and the second arrangement state by moving the focus lens group 8C in a direction along the optical axis of the relay optical system 7.
  • the position of the focus lens group 8C is moved by the drive unit 15 so that the plurality of light receiving elements 9a and the rear focal position of the microlens 5a are in a first arrangement state in which the conjugate relationship is established.
  • a field image can be taken, and the position of the focus lens group 8C is moved by the driving unit 15 so that the plurality of light receiving elements 9a and the principal point positions of the microlenses 5a are in a second arrangement state in which the conjugate relationship is established.
  • a normal two-dimensional image can be taken.
  • the first arrangement state and the second arrangement state are switched to capture both the light field image and the normal two-dimensional image. It can be performed.
  • the microlens 5a having power on one side has been described as an example.
  • a microlens having power on both sides may be adopted.
  • the sum of the distances (PV values) in the direction along the optical axis from the position closest to the subject S to the position farthest from the subject S of each surface of the microlens having power on both surfaces is obtained. What is necessary is just to set it as a total PV value.
  • the imaging optical system 3 may be configured by a plurality of lenses, or may be configured by an objective optical system and an imaging optical system. Moreover, it is good also as providing an illumination optical system separately, and it is good also as providing various filters separately.
  • the illumination optical system 19 that irradiates the subject S with light and the light from the subject S as the imaging optical system 3 are collected. It is good also as providing the imaging lens 23 which condenses the light from the objective lens 21 and the objective lens 21, and forms an image.
  • the excitation light is extracted from the light collected by the objective lens 21 as shown in FIG. It is good also as providing the filter 25 which removes and passes fluorescence.
  • a pupil modulation element 27 that modulates the phase distribution of the light incident on the plurality of microlenses 5a from the imaging optical system 3;
  • the first point image intensity distribution indicating the point image intensity distribution for each subject position in the light receiving unit 9 in one arrangement state, and the second point image intensity indicating the point image intensity distribution of the object S in the light receiving unit 9 in the second arrangement state.
  • a storage unit 29 that stores the distribution may be provided.
  • the pupil modulation element 27 may be disposed at the exit pupil position of the imaging optical system 3 located on the subject S side of the microlens array 5 or at a position conjugate with the exit pupil.
  • the pupil modulation element 27 expands the depth of field in normal observation.
  • the calculation unit 13 when the calculation unit 13 is set to the first arrangement state, the first point image intensity distribution stored in the storage unit 29 and the light intensity signal output from the light receiving unit 9 in the first arrangement state Is used to generate a light field processed image and when the second arrangement state is set, the second point image intensity distribution stored in the storage unit 29 and the light receiving unit 9 in the second arrangement state are output.
  • a normal two-dimensional image may be generated using the light intensity signal.
  • the configuration in which the plurality of microlenses 5a of the microlens array 5 are arranged at the position of the primary image formed by the imaging optical system 3 has been described as an example.
  • the plurality of microlenses 5a may be arranged at a position conjugate with the position of the primary image formed by the imaging optical system 3.

Abstract

ライトフィールド画像を取得するのに適した構成であるとともに、簡易な構成で通常観察と同等の観察を行うことを目的として、本発明の撮像装置（１）は、被写体（Ｓ）からの光を集光し、被写体（Ｓ）の１次像を結像する撮像光学系（３）と、撮像光学系（３）により結像される１次像の位置または１次像と共役な位置に２次元的に配列される複数のマイクロレンズ（５ａ）を有するマイクロレンズアレイ（５）と、マイクロレンズ（５ａ）により集光された光をリレーするリレー光学系（７）と、リレー光学系（７）によりリレーされた光を複数の受光素子（９ａ）により受光する受光部（９）と、複数の受光素子（９ａ）とマイクロレンズ（５ａ）の後側焦点位置とが共役になるように配置された第１配置状態と複数の受光素子（９ａ）とマイクロレンズ（５ａ）の主点位置とが共役になるように配置された第２配置状態とを切り替える調整部（１１）とを備える。

Description

撮像装置
　本発明は、撮像装置に関するものである。
　従来、複数の画素が２次元的に配置された撮像素子と、撮像素子よりも被写体側において撮像素子の複数の画素ごとに対応して配置されたマイクロレンズを有するマイクロレンズアレイとを備え、被写体の３次元分布を撮像するライトフィールド撮像装置に関する技術が知られている（例えば、特許文献１参照。）。
　一般的に、ライトフィールド撮像装置により取得された像強度そのものは通常の撮像装置の像強度とは異なるため、ライトフィールド撮像装置により取得された画像は、画像処理を施さないと被写体の平面位置や距離などの基本的な情報が直感的には分からない。また、ライトフィールド撮像装置により取得された画像を画像処理によりリアルタイムで表示するには処理量が多い。そのため、ユーザの操作性を鑑みると、ライトフィールド撮像装置には、被写体の平面位置や距離などの基本的な構図を決定するために、簡易な構成で通常の観察と同等の観察ができることが望まれる。また、ライトフィールド撮像装置の本質的な目的は、高品位のライトフィールド画像を取得することであるから、ライトフィールド画像を劣化させない光学系となっていることが望ましい。
　特許文献１に記載のカメラレンズアダプタは、交換レンズ式カメラにおいてレンズとボディとの間に挿入されることにより、ライトフィールド画像を取得可能にしている。
特開２０１０－１０２２３０号公報
　しかしながら、特許文献１に記載のカメラレンズアダプタを採用するのでは、構図を決定した後にアダプタを取り付ける作業が発生し、作業間での同一構図の保証が難しく、また、構図を決定してから撮影までの時間にロスがあり、動きがある試料を観察する場合に試料の形態が変化してしまうという問題がある。
　本発明は、上述した事情に鑑みてなされたものであって、ライトフィールド画像を取得するのに適した構成であるとともに、簡易な構成で通常観察と同等の観察を行うことができる撮像装置を提供することを目的としている。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、被写体からの光を集光し、前記被写体の１次像を結像する撮像光学系と、該撮像光学系により結像される前記１次像の位置または該１次像と共役な位置に２次元的に配列され前記撮像光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、前記マイクロレンズにより集光された光をリレーし、前記１次像を再結像させて２次像を形成するリレー光学系と、複数の前記マイクロレンズに対応する領域ごとに配置された複数の受光素子を有し、前記リレー光学系によりリレーされた光を複数の前記受光素子により受光して光電変換する受光部と、複数の前記受光素子と前記マイクロレンズの後側焦点位置とが共役になるように配置された第１配置状態と複数の前記受光素子と前記マイクロレンズの主点位置とが共役になるように配置された第２配置状態とを切り替える調整部とを備える撮像装置である。
　本態様によれば、撮像光学系により集光された被写体からの光が、マイクロレンズアレイのマイクロレンズを介してリレー光学系によりリレーされ、各マイクロレンズを透過した光ごとに受光部の複数の受光素子により受光されて光電変換される。このように、各マイクロレンズを透過した光をリレー光学系によりリレーすることで、各受光素子と各マイクロレンズの後側焦点位置とを共役な位置関係にしたり、各受光素子と各マイクロレンズの主点位置とを共役な位置関係にしたりすることが可能になる。
　この場合において、調整部により、複数の受光素子とマイクロレンズの後側焦点位置とが共役になる第１配置状態にすることで、ライトフィールド画像を撮影することができる。一方、調整部により、複数の受光素子とマイクロレンズの主点位置とが共役になる第２配置状態にすることで、通常の２次元的な画像を撮影することができる。
　つまり、調整部により第１配置状態と第２配置状態とを切り替えるだけで、ライトフィールド画像と通常の２次元的な画像の両方の撮影を行うことができる。したがって、ライトフィールド画像を取得するのに適した構成であるとともに、簡易な構成で通常観察と同等の観察を行うことができる。
　上記態様においては、複数の前記マイクロレンズが、下式を満たす面形状を有することとしてもよい。
　　ＰＶ／λ＜｛Ｍ／（ＮＡｏｂ）｝２
　ここで、ＰＶは前記マイクロレンズのパワーを有する面における前記被写体に最も近い位置から最も遠い位置までの光軸に沿う方向の距離、Ｍは前記撮像光学系の横倍率、ＮＡｏｂは前記撮像光学系の前記被写体側の開口数、λは前記撮像光学系に入射する前記光の波長である。
　マイクロレンズアレイに入射する光束（波面）は、マイクロレンズの表裏面における屈折作用を受ける。リレー光学系により投影された光束の振る舞いは、マイクロレンズ近傍の振る舞いと同様であるものの、投影面では実際に屈折作用が生じないため、第１配置状態に対しては等価な波面となるが、第２配置状態に対しては等価な波面にはならない。そこで、このように構成することで、第２配置状態において、投影空間でのパワーを有する面上の波面が実際のマイクロレンズの面上における波面を精度よく再現することができ、高精細な２次元的な画像を取得することができる。
　上記態様においては、複数の前記マイクロレンズが前記被写体側に正のパワーを有することとしてもよい。
　このように構成することで、第１配置状態において、より高精細なライトフィールド画像を取得することができる。特に、収差上好ましい。
　上記態様においては、前記調整部が、前記受光部を前記リレー光学系の光軸に沿う方向に移動させることにより、前記第１配置状態と前記第２配置状態とを切り替えることとしてもよい。
　このように構成することで、受光部を移動させるだけの簡易な構成で、第１配置状態と第２配置状態とを切り替えることができる。
　上記態様においては、前記リレー光学系が複数のレンズを備え、前記調整部が、前記リレー光学系の少なくとも１つの前記レンズを光軸に沿う方向に移動させることにより、前記第１配置状態と前記第２配置状態とを切り替えることとしてもよい。
　このように構成することで、調整部により光軸に沿う方向に移動させるリレー光学系のレンズの位置に応じて、リレー光学系によりリレーする光の位置を変更することができる。したがって、リレー光学系の光軸に沿う方向に受光部を移動させることなく、第１配置状態と第２配置状態を切り替えることができる。
　上記態様においては、前記第１配置状態において、前記リレー光学系の少なくとも前記２次像側がテレセントリックであることとしてもよい。
　このように構成することで、マイクロレンズへの光線入射角度の傾きによって生じるシェーディングの発生を抑え、画質の劣化を抑制することができる。また、被写体から受光部までの倍率が固定されるため、調整部により第１配置状態と第２配置状態とを切り替えた際の構図の一致度が担保される。
　本発明によれば、ライトフィールド画像を取得するのに適した構成であるとともに、簡易な構成で通常観察と同等の観察を行うことができるという効果を奏する。
本発明の一実施形態に係る撮像装置の概略構成図である。 図１の撮像装置による被写体の撮影工程を説明するフローチャートである。 図１のマイクロレンズでの光の屈折とリレー光学系により投影されたマイクロレンズの投影面での光の屈折の一例を示す図である。 第１配置状態で取得される画像の一例を示す図である。 第２配置状態で取得される画像の一例を示す図である。 複数の受光素子とマイクロレンズの主点位置とが共役な位置関係の場合の画像と、複数の受光素子をマイクロレンズの主点位置から光軸に沿う方向に微小にずらした場合の画像の一例を示す図である。 本発明の一実施形態の変形例に係る撮像装置による被写体の撮影工程を説明するフローチャートである。 図７の３Ｄデコンボリューション処理を説明するフローチャートである。 本発明の一実施形態の変形例に係る撮像装置の概略構成図である。 本発明の一実施形態に係る撮像装置を顕微鏡に組み込む場合における撮像光学系の構成の一例を示す図である。 本発明の一実施形態の変形例として、調整部により受光部を移動させる構成に瞳変調素子を設けた撮像装置の概略構成図である。 本発明の一実施形態の変形例として、調整部によりフォーカスレンズ群を移動させる構成に瞳変調素子を設けた撮像装置の概略構成図である。
　本発明の一実施形態に係る撮像装置について図面を参照して以下に説明する。
　本実施形態に係る撮像装置１は、図１に示すように、被写体Ｓ（物点）からの光を集光して被写体Ｓの１次像を結像する撮像光学系３と、撮像光学系３からの光を集光する複数のマイクロレンズ５ａを有するマイクロレンズアレイ５と、複数のマイクロレンズ５ａにより集光された光をリレーし、１次像を再結像させて２次像を形成するリレー光学系７と、リレー光学系７によりリレーされた光を受光して光電変換する複数の受光素子９ａを備える受光部９と、複数の受光素子９ａとマイクロレンズアレイ５との位置関係を切り替える調整部１１と、画像を生成する演算部１３とを備えている。
　マイクロレンズアレイ５は、図１に示すように、被写体Ｓ側の片面に大きな凸パワー（正のパワー）を有する複数のマイクロレンズ５ａにより構成されている。これら複数のマイクロレンズ５ａは、撮像光学系３により結像される１次像と共役な位置に配置され、撮像光学系３やリレー光学系７の光軸に交差する方向に２次元的に配列されている。また、これら複数のマイクロレンズ５ａは、受光素子９ａのピッチに比べて十分に大きいピッチ（例えば、受光素子９ａのピッチの１０倍以上大きいピッチ。）で配列されている。
　また、複数のマイクロレンズ５ａは、下式を満たす面形状を有している。
　　ＰＶ／λ＜｛Ｍ／（ＮＡｏｂ）｝２
　ここで、ＰＶはマイクロレンズ５ａのパワーを有する面における被写体Ｓに最も近い位置から最も遠い位置までの光軸に沿う方向の距離、Ｍは撮像光学系３の横倍率、ＮＡｏｂは撮像光学系３の被写体Ｓ側の開口数、λは撮像光学系３に入射する被写体Ｓからの光の波長である。
　リレー光学系７は、複数（本実施形態においては２枚。）のレンズ８Ａ，８Ｂにより構成されている。また、リレー光学系７は、後述する第１配置状態において、少なくとも２次像側がテレセントリックとなっている。
　受光部９は、リレー光学系７の光軸に沿う方向に移動可能に設けられている。複数の受光素子９ａは、リレー光学系７の光軸に交差する方向に２次元的に配列され、マイクロレンズアレイ５の複数のマイクロレンズ５ａに対応する領域ごとに複数個ずつ配置されている。これら複数の受光素子９ａは、検出した光を光電変換して、被写体Ｓの画像情報としての光強度信号を出力するようになっている。
　調整部１１は、受光部９をリレー光学系７の光軸に沿う方向に移動させる、例えば、ステッピングモータやピエゾアクチュエータ等の駆動部１５と、駆動部１５を制御等する制御部１７とを備えている。
　制御部１７は、例えば、ＣＰＵ(Central　Processing　Unit）と、ＲＯＭ（Read　Only　Memory）およびＲＡＭ（Random　Access　Memory）等の主記憶部と、ＨＤＤ（Hard　Disk　Drive）等の補助記憶部と、ユーザが指示を入力する入力部と、データを出力する出力部と、外部機器との間で種々のデータのやりとりを行う外部インタフェース等（いずれも図示略）を備えている。補助記憶部には各種プログラムが格納されており、ＣＰＵが補助記憶部からプログラムをＲＡＭ等の主記憶部に読み出して、そのプログラムを実行することにより、種々の処理が実現されるようになっている。
　具体的には、制御部１７は、駆動部１５を駆動して、受光部９をマイクロレンズ５ａの後側焦点位置と共役な位置に配置する第１配置状態と、受光部９をマイクロレンズ５ａの主点位置と共役な位置に配置する第２配置状態とを切り替えるようになっている。第１配置状態では、複数の受光素子９ａがマイクロレンズ５ａの後側焦点位置と共役な位置に配置されることで、ライトフィールド画像を撮影することができる。また、第２配置状態では、複数の受光素子９ａがマイクロレンズ５ａの主点位置と共役な位置に配置されることで、通常の２次元的な画像を撮影することができる。
　また、制御部１７は、第１配置状態に切り替えると、第１配置状態に設定されていることを示す情報を演算部１３に入力し、第２配置状態に切り替えると、第２配置状態に設定されていることを示す情報を演算部１３に入力するようになっている。また、制御部１７は、受光部９の複数の受光素子９ａから出力される光強度信号を演算部１３に送るようになっている。
　演算部１３は、制御部１７から第１配置状態に設定されていることを示す情報が入力されている場合は、制御部１７から送られてくる光強度信号にライトフィールド処理画像（例えば２Ｄスライス画像、３Ｄマルチスライス画像）を生成するための所定の画像処理を施して、最終画像を生成するようになっている。
　また、演算部１３は、制御部１７から第２配置状態に設定されていることを示す情報が入力されている場合は、ライトフィールド処理画像を生成するための所定の画像処理を施さず、制御部１７から送られてくる光強度信号に通常の２次元的な画像を生成するための画像処理を施して、最終画像を生成するようになっている。
　このように構成された撮像装置１の作用について、図２のフローチャートを参照して説明する。
　本実施形態に係る撮像装置１により被写体Ｓを撮影する場合は、まず、制御部１７により駆動部１５を駆動し、リレー光学系７の光軸に沿う方向の受光部９の位置を調整して、第１配置状態または第２配置状態に設定する（ステップＳＡ１）。第１配置状態に設定されると、第１配置状態に設定されていることを示す情報が制御部１７から演算部１３に入力され、第２配置状態に設定されると、第２配置状態に設定されていることを示す情報が制御部１７から演算部１３に入力される。
　被写体Ｓからの光は、撮像光学系３により集光されてマイクロレンズアレイ５に入射し、マイクロレンズアレイ５の複数のマイクロレンズ５ａを介してリレー光学系７によりリレーされた後、各マイクロレンズ５ａを透過した光ごとに受光部９の複数の受光素子９ａにより受光されて光電変換される。各受光素子９ａにより光電変換された光強度信号は演算部１３に送られる。
　演算部１３では、受光部９から送られてくる光強度信号に基づいて、受光部９での強度分布Ｉｍが取得される（ステップＳＡ２）。
　そして、制御部１７から第１配置状態に設定されていることを示す情報が入力されている場合は（ステップＳＡ３「ＹＥＳ」）、演算部１３により、取得した強度分布Ｉｍに任意の被写体距離へのリフォーカス処理が施される（ステップＳＡ４）。次いで、演算部１３により、画像を３次元的に表す３Ｄ化処理が施され（ステップＳＡ５）、ライトフィールド処理画像が生成されて出力される（ステップＳＡ６）。
　一方、制御部１７から第２配置状態に設定されていることを示す情報が入力されている場合（ステップＳＡ３「ＮＯ」）は、演算部１３により、取得した強度分布Ｉｍに基づき２次元的な画像が生成されて出力される（ステップＳＡ７）。
　以上説明したように、本実施形態に係る撮像装置１によれば、調整部１１により、第１配置状態に設定するとライトフィールド画像を撮影することができ、一方、第２配置状態に設定すると通常の２次元的な画像を撮影することができる。
　つまり、調整部１１により第１配置状態と第２配置状態とを切り替えるだけで、ライトフィールド画像と通常の２次元的な画像の両方の撮影を行うことができる。また、受光部９を移動させるだけの簡易な構成で、第１配置状態と第２配置状態とを切り替えることができる。したがって、ライトフィールド画像を取得するのに適した構成であるとともに、簡易な構成で通常観察と同等の観察を行うことができる。
　ここで、図３に示すように、マイクロレンズアレイ５に実際に入射する光束（波面）は、各マイクロレンズ５ａの表裏面における屈折作用を受ける。一方、リレー光学系７により投影された光束の振る舞いは、マイクロレンズ５ａ近傍の振る舞いと同様であるものの、リレー光学系７により投影されたマイクロレンズ５ａの投影面５ａ´では実際に屈折作用が生じない。
　そのため、第１配置状態に対しては等価な波面となるが、第２配置状態に対しては等価な波面にはならず、例えば、マイクロレンズ５ａの裏面で発生した球面収差がリレー空間では残ったまま結像されることになる。図３において、符号Ｌは主光線を示し、符号Ｍは撮像光学系３の瞳の一点から射出された光束を示し、符号５´はリレー光学系７により投影されたマイクロレンズを示している。
　複数のマイクロレンズ５ａの面形状が上記式を満たすことで、第２配置状態においても、マイクロレンズアレイ５のパワーを有する面での屈折作用が平面的に付されることになる。これにより、第２配置状態において、投影空間でのパワーを有する面上の波面が実際のマイクロレンズ５ａの面上における波面をよく再現することができ、高精細な２次元的な画像を取得することができる。
　また、マイクロレンズアレイ５が、複数のマイクロレンズ５ａの大きな凸パワーを有する面を被写体Ｓ側に向けて配置されていることで、第１配置状態において、より高精細なライトフィールド画像を取得することができる。特に、収差上好ましい。
　ここで、第１配置状態での撮影では、マイクロレンズアレイ５と共役な物体位置（通常の光学系においての合焦位置）にある被写体Ｓに対して、受光部９は（射出）瞳と共役な位置関係になる。したがって、１つのマイクロレンズ５ａの端部に共役な被写体Ｓと中央部に共役な被写体Ｓのいずれもがほぼ同様の強度分布を作る。そのため、図４に示すように、被写体空間のサンプリングは、マイクロレンズアレイ５における各マイクロレンズ５ａの間隔で決まることになり、マイクロレンズ５ａのサイズ以下の構造を直接的に観察することはできない。
　一方、第２配置状態では、マイクロレンズアレイ５のパワーを事実上キャンセルした位置に受光部９を配置していることにより、図５に示すように、マイクロレンズ５ａのサイズ以下の構造を直接的に観察することができる。
　なお、第２配置状態での撮影において、図６に示すように、受光部９をマイクロレンズ５ａの主点位置から光軸に沿う方向に微小に前後させて撮影を行うこととしてもよい。これにより、隣接するマイクロレンズ５ａ間の境界のコントラストを反転させることができる。したがって、画像処理により、隣接するマイクロレンズ５ａ間の境界の影響を差し引くことで、通常の撮影状態により近い画像を生成することができる。
　図６に示すように、単一の撮影においても、複数の受光素子９ａとマイクロレンズ５ａの主点位置とを共役に配置した場合（第２配置状態）に、隣接するマイクロレンズ５ａ間の境界の影響を無視できることを確認することができるが、受光部９をマイクロレンズ５ａの主点位置から光軸に沿う方向に微小に前後させて撮影することで、撮像光学系３およびリレー光学系７に像面湾曲がある場合などにも、画像全域に亘って良好な画像を取得することができる。
　本実施形態は以下のように変形することができる。
　例えば、本実施形態においては、図２のフローチャートにおいて、ステップＳＡ５により３Ｄ化処理を施すこととしたが、ステップＳＡ５を省略することとしてもよい。
　また、リフォーカス処理（ステップＳＡ４）および３Ｄ化処理（ステップＳＡ５）に代えて、例えば、図７のステップＳＡ４´に示すように、演算部１３が、第１配置状態で取得された光強度信号に対して３Ｄデコンボリューション処理を施すこととしてもよい。
　３Ｄデコンボリューション処理は、例えば、図８のフローチャートに示すように、まず、第１配置状態の受光部９における被写体位置ごとの点像強度分布を予め用意しておき、それを読み出す（ステップＳＢ１）。次いで、初期値として被写体輝度分布を指定する（ステップＳＢ２）。
　次に、ステップＳＢ１で読み出した点像強度分布と、ステップＳＢ２で指定した被写体輝度分布とに基づいて、受光部９の強度分布Ｉ（ｎ） Ｓを算出する（ステップＳＢ３）。そして、図２のフローチャートのステップＳＡ２で取得した強度分布Ｉｍと、図８のフローチャートのステップＳＢ３で算出した強度分布Ｉ（ｎ） Ｓとを比較する（ステップＳＢ４）。
　強度分布Ｉｍと強度分布Ｉ（ｎ） Ｓとの誤差量（差分）の絶対値が一定値（σ）よりも小さい場合は、強度分布Ｉ（ｎ） Ｓを被写体Ｓの３次元分布の情報として画像化して出力する（ステップＳＢ５）。なお、必ずしも画像化する必要はなく、被写体Ｓの３次元分布の情報を示す信号を出力してもよい。
　一方、強度分布Ｉｍと強度分布Ｉ（ｎ） Ｓとの誤差量（差分）の絶対値が一定値（σ）以上の場合は、初期値の被写体輝度分布を補正し（ステップＳＢ６）、ステップＳＢ３に戻って受光部９の強度分布Ｉ（ｎ） Ｓを再度算出する。そして、強度分布Ｉｍと強度分布Ｉ（ｎ） Ｓとの誤差量（差分）の絶対値が一定値（σ）よりも小さくなるまで、ステップＳＢ３からステップＳＢ６を繰り返す。
　このようにすることで、図２のフローチャートのステップＳＡ５のような３Ｄ化処理を別途施すことなく、３次元的なライトフィールド処理画像を生成することができる。
　なお、図８のステップＳＢ２からステップＳＢ５の手法に代えて、例えば、ルーシー・リチャードソンのアルゴリズムや、機械学習の手法や、ディープラーニングの手法を採用することとしてもよい。また、正則化処理を組み込むこととしてもよい。
　また、本実施形態においては、駆動部１５が受光部９を移動させることにより、第１配置状態と第２配置状態とを切り替えるとした。これに代えて、例えば、図９に示すように、リレー光学系７が、レンズ８Ａ，８Ｂの他に、リレー光学系７の光軸に沿う方向に移動可能なフォーカスレンズ群（レンズ）８Ｃを備え、駆動部１５がフォーカスレンズ群８Ｃをリレー光学系７の光軸に沿う方向に移動させることにより、第１配置状態と第２配置状態とを切り替えることとしてもよい。
　この場合、複数の受光素子９ａとマイクロレンズ５ａの後側焦点位置とが共役な位置関係の第１配置状態となるように、駆動部１５によりフォーカスレンズ群８Ｃの位置を移動することで、ライトフィールド画像を撮影することができ、複数の受光素子９ａとマイクロレンズ５ａの主点位置とが共役な位置関係の第２配置状態となるように、駆動部１５によりフォーカスレンズ群８Ｃの位置を移動することで、通常の２次元的な画像を撮影することができる。
　したがって、リレー光学系７の光軸に沿う方向に受光部９を移動させることなく、第１配置状態と第２配置状態を切り替えて、ライトフィールド画像と通常の２次元的な画像の両方の撮影を行うことができる。
　また、本実施形態においては、片面にパワーを有するマイクロレンズ５ａを例示して説明したが、これに代えて、両面にパワーを有するマイクロレンズを採用することとしてもよい。この場合、両面にパワーを有するマイクロレンズの各面ごとの被写体Ｓに最も近い位置から最も遠い位置までの光軸に沿う方向の距離（ＰＶ値）の和をこの両面にパワーを有するマイクロレンズの総ＰＶ値とすればよい。
　また、本実施形態においては、撮像光学系３が、複数のレンズにより構成されていることとしてもよいし、対物光学系と結像光学系とにより構成されていることとしてもよい。また、照明光学系を別途備えることとしてもよいし、各種フィルタを別途備えることとしてもよい。
　本実施形態に係る撮像装置１を顕微鏡に組み込む場合は、例えば、図１０に示すように、被写体Ｓに光を照射する照明光学系１９と、撮像光学系３としての被写体Ｓからの光を集光する対物レンズ２１および対物レンズ２１からの光を集光して像を結像させる結像レンズ２３を備えることとしてもよい。
　また、照明光学系１９により被写体Ｓに励起光を照射して、被写体Ｓにおいて発生する蛍光を検出するような場合は、図１０に示すように、対物レンズ２１により集光された光から励起光を除去して蛍光を通過させるフィルタ２５を備えることとしてもよい。
　また、本実施形態においては、例えば、図１１および図１２に示すように、撮像光学系３から複数のマイクロレンズ５ａに入射する光に対して位相分布の変調を行う瞳変調素子２７と、第１配置状態の受光部９における被写体位置ごとの点像強度分布を示す第１点像強度分布、および、第２配置状態の受光部９における被写体Ｓの点像強度分布を示す第２点像強度分布を記憶する記憶部２９とを備えることとしてもよい。
　瞳変調素子２７は、マイクロレンズアレイ５よりも被写体Ｓ側に位置する撮像光学系３の射出瞳の位置または射出瞳と共役な位置に配置することとすればよい。この瞳変調素子２７は、通常観察において被写界深度を拡大するようになっている。
　また、演算部１３は、第１配置状態に設定されている場合は、記憶部２９に記憶されている第１点像強度分布と第１配置状態の受光部９から出力される光強度信号とを用いてライトフィールド処理画像を生成し、第２配置状態に設定されている場合は、記憶部２９に記憶されている第２点像強度分布と第２配置状態の受光部９から出力される光強度信号を用いて通常の２次元的な画像を生成することとすればよい。
　このようにすることで、第１配置状態に設定した場合は、高精細なライトフィールド画像を撮影することができる。また、第２配置状態に設定した場合は、被写界深度を拡大した通常の２次元的な画像を撮影することができる。
　また、本実施形態においては、撮像光学系３により結像される１次像の位置にマイクロレンズアレイ５の複数のマイクロレンズ５ａが配置された構成を例示して説明したが、マイクロレンズアレイ５の複数のマイクロレンズ５ａは、撮像光学系３により結像される１次像の位置と共役な位置に配置することとしてもよい。
　１　　撮像装置
　３　　撮像光学系
　５　　マイクロレンズアレイ
　５ａ　　　マイクロレンズ
　７　　リレー光学系
　９　　受光部
　９ａ　受光素子
　１１　調整部
　Ｓ　　被写体（物点）

Claims (6)

  1. 　被写体からの光を集光し、前記被写体の１次像を結像する撮像光学系と、
    　該撮像光学系により結像される前記１次像の位置または該１次像と共役な位置に２次元的に配列され前記撮像光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、
    　前記マイクロレンズにより集光された光をリレーし、前記１次像を再結像させて２次像を形成するリレー光学系と、
    　複数の前記マイクロレンズに対応する領域ごとに配置された複数の受光素子を有し、前記リレー光学系によりリレーされた光を複数の前記受光素子により受光して光電変換する受光部と、
    　複数の前記受光素子と前記マイクロレンズの後側焦点位置とが共役になるように配置された第１配置状態と複数の前記受光素子と前記マイクロレンズの主点位置とが共役になるように配置された第２配置状態とを切り替える調整部とを備える撮像装置。
  2. 　複数の前記マイクロレンズが、下式を満たす面形状を有する請求項１に記載の撮像装置。
    　　ＰＶ／λ＜｛Ｍ／（ＮＡｏｂ）｝２
    　ここで、ＰＶは前記マイクロレンズのパワーを有する面における前記被写体に最も近い位置から最も遠い位置までの光軸に沿う方向の距離、Ｍは前記撮像光学系の横倍率、ＮＡｏｂは前記撮像光学系の前記被写体側の開口数、λは前記撮像光学系に入射する前記光の波長である。
  3. 　複数の前記マイクロレンズが前記被写体側に正のパワーを有する請求項１または請求項２に記載の撮像装置。
  4. 　前記調整部が、前記受光部を前記リレー光学系の光軸に沿う方向に移動させることにより、前記第１配置状態と前記第２配置状態とを切り替える請求項１から請求項３のいずれかに記載の撮像装置。
  5. 　前記リレー光学系が複数のレンズを備え、
    　前記調整部が、前記リレー光学系の少なくとも１つの前記レンズを光軸に沿う方向に移動させることにより、前記第１配置状態と前記第２配置状態とを切り替える請求項１から請求項３のいずれかに記載の撮像装置。
  6. 　前記第１配置状態において、前記リレー光学系の少なくとも前記２次像側がテレセントリックである請求項１から請求項５のいずれかに記載の撮像装置。
     
PCT/JP2017/018410 2017-05-16 2017-05-16 撮像装置 WO2018211603A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/018410 WO2018211603A1 (ja) 2017-05-16 2017-05-16 撮像装置
US16/679,724 US10852457B2 (en) 2017-05-16 2019-11-11 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018410 WO2018211603A1 (ja) 2017-05-16 2017-05-16 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/679,724 Continuation US10852457B2 (en) 2017-05-16 2019-11-11 Imaging device

Publications (1)

Publication Number Publication Date
WO2018211603A1 true WO2018211603A1 (ja) 2018-11-22

Family

ID=64273475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018410 WO2018211603A1 (ja) 2017-05-16 2017-05-16 撮像装置

Country Status (2)

Country Link
US (1) US10852457B2 (ja)
WO (1) WO2018211603A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10819899B2 (en) 2017-05-16 2020-10-27 Olympus Corporation Image acquisition device and image acquisition system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230058111A1 (en) * 2021-08-04 2023-02-23 Samantree Medical Sa Systems and methods for providing live sample monitoring information with parallel imaging systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102230A (ja) * 2008-10-27 2010-05-06 Nikon Corp カメラレンズアダプタ及びカメラシステム
JP2013122505A (ja) * 2011-12-09 2013-06-20 Olympus Corp アタッチメント

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4970798B2 (ja) 2006-01-25 2012-07-11 オリンパスメディカルシステムズ株式会社 立体画像観察装置
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP4264569B2 (ja) 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
JP4730347B2 (ja) 2007-07-03 2011-07-20 ソニー株式会社 撮像装置及び撮像方法
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US20130235261A1 (en) 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
US9025111B2 (en) * 2012-04-20 2015-05-05 Google Inc. Seamless display panel using fiber optic carpet
US9063313B1 (en) * 2012-07-06 2015-06-23 Compass Electro Optical System Ltd. Fiber coupling using collimated beams
JP6012396B2 (ja) 2012-10-24 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP6220125B2 (ja) 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
JP6238548B2 (ja) 2013-04-10 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法、交換レンズ及びその制御方法、及び、撮像システム及びその制御方法
JP2015041950A (ja) 2013-08-23 2015-03-02 キヤノン株式会社 撮像装置及びその制御方法
JP2015046019A (ja) 2013-08-28 2015-03-12 キヤノン株式会社 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP6376974B2 (ja) * 2014-12-26 2018-08-22 キヤノン株式会社 撮像装置及び撮像システム
WO2018211601A1 (ja) 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102230A (ja) * 2008-10-27 2010-05-06 Nikon Corp カメラレンズアダプタ及びカメラシステム
JP2013122505A (ja) * 2011-12-09 2013-06-20 Olympus Corp アタッチメント

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10819899B2 (en) 2017-05-16 2020-10-27 Olympus Corporation Image acquisition device and image acquisition system

Also Published As

Publication number Publication date
US10852457B2 (en) 2020-12-01
US20200073022A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP5245716B2 (ja) カメラレンズアダプタ及びカメラシステム
JP6305053B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5618943B2 (ja) 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5459337B2 (ja) 撮像装置、画像処理方法及びプログラム
US9681042B2 (en) Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus
JP5480393B2 (ja) 撮像デバイス
JP2012073285A (ja) 撮像方法および顕微鏡装置
WO2018211601A1 (ja) 撮像装置および撮像システム
JP2013042443A5 (ja)
JP2019109124A (ja) 測距カメラ
US10852457B2 (en) Imaging device
JP2010256530A (ja) 顕微鏡装置
JP2009047978A (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP2015201722A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP2010049152A (ja) 焦点情報検出装置
JP6039301B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2012145747A (ja) 実体顕微鏡装置
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
JP5240591B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP2007102102A (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5553862B2 (ja) 撮像装置および撮像装置の制御方法
JP2009250685A (ja) 距離測定装置および距離測定方法
JP2019074634A (ja) 撮像装置
JP5839961B2 (ja) 顕微鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17910475

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17910475

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP