WO2016035108A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2016035108A1 WO2016035108A1 PCT/JP2014/004517 JP2014004517W WO2016035108A1 WO 2016035108 A1 WO2016035108 A1 WO 2016035108A1 JP 2014004517 W JP2014004517 W JP 2014004517W WO 2016035108 A1 WO2016035108 A1 WO 2016035108A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- observation
- image
- test object
- unit
- reference point
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 53
- 239000003550 marker Substances 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 description 80
- 238000012360 testing method Methods 0.000 description 72
- 238000005286 illumination Methods 0.000 description 58
- 230000005284 excitation Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
Definitions
- the present invention relates to an imaging apparatus.
- Patent Document 1 discloses a microscope apparatus that can measure a three-dimensional shape of a specimen from a parallax image by applying light field technology.
- the microscope apparatus disclosed in Patent Document 1 includes one observation optical system and is configured to measure a three-dimensional shape in one direction of a specimen. Therefore, when measuring a three-dimensional shape in a different direction of the sample, it is necessary to rotate the sample with respect to one observation optical system, which takes time. In addition, depending on the specimen, the shape may be deformed over time, or when the specimen is rotated, the shape may be deformed due to the influence of gravity, and an accurate three-dimensional shape may not be measured.
- an object of the present invention made in view of such a viewpoint is to provide an imaging apparatus capable of quickly acquiring accurate three-dimensional shape information of an object.
- An imaging apparatus that achieves the above-described object is as follows.
- An image processing unit Each of the plurality of observation units includes an objective lens, a lens array, and an image sensor, and receives the light modulated by the object through the objective lens and the lens array and receives the phase difference.
- Output a plurality of image signals
- the image processing unit measures the shape of the object as a relative distance from a reference point based on the image signals from the plurality of observation units.
- the lens array is disposed at an imaging position of an image of the object,
- the imaging element may be disposed at a focal position of the lens array.
- the lens array is arranged to re-image the object image;
- the image sensor may be disposed at a re-imaging position of the object image by the lens array.
- the plurality of observation units may be configured such that a focal position on the object side of the objective lens is positioned at the reference point.
- the projection unit may project the marker on the object side focal position of the objective lens through the objective lens of one of the plurality of observation units.
- the reference point may be set by a scatterer arranged in the observation region.
- the plurality of observation units may measure the shape by fluorescent observation of the object.
- an imaging apparatus that can quickly acquire accurate three-dimensional shape information of an object.
- FIG. 2B It is a schematic block diagram of the principal part of the microscope apparatus as an imaging device which concerns on 1st Embodiment. It is a partial expanded sectional view of the camera part of FIG. FIG. 2B is an enlarged plan view of the pair of photodetectors in FIG. 2A. It is a top view which shows an example of the marker of FIG. It is explanatory drawing of the projection position of a marker. It is an external view which shows schematic structure of the principal part of the microscope apparatus as an imaging device which concerns on 2nd Embodiment. It is an external view which shows schematic structure of the principal part of the microscope apparatus as an imaging device which concerns on 3rd Embodiment. It is a schematic perspective view which shows an example of the support body of FIG.
- FIG. 1 is a schematic configuration diagram of a main part of a microscope apparatus as an imaging apparatus according to the first embodiment.
- the microscope apparatus according to the present embodiment includes an observation unit 100A that observes the upper part of the test object (object) 10, an observation unit 100B that observes the lower part of the test object 10, an image processing unit 200, and a microscope apparatus. And a control unit 300 that controls the overall operation.
- an observation unit 100A that observes the upper part of the test object (object) 10
- an observation unit 100B that observes the lower part of the test object 10
- an image processing unit 200 and a microscope apparatus.
- a control unit 300 that controls the overall operation.
- the optical axis direction of the observation unit 100 ⁇ / b> A is the z-axis direction
- the in-plane direction orthogonal to the z-axis direction is the x-axis direction
- the z-axis direction and the vertical direction of the sheet orthogonal to the x-axis direction are the y-axis. Shown as direction.
- the observation unit 100A includes an observation optical system 110 and an epi-illumination illumination optical system 130.
- the observation optical system 110 includes an objective lens 111, an imaging lens 112, and a camera unit 113. Between the objective lens 111 and the imaging lens 112 is a so-called infinity correction optical system in which a light beam from a focused object is collimated.
- the focus adjustment is performed manually or automatically by the control unit 300 by moving the entire observation unit 100A or only the objective lens 111 in the optical axis direction of the objective lens 111 via the fine movement mechanism 114.
- the movement amount at that time is read by a movement amount detection unit such as a linear scale provided in the fine movement mechanism 114 and stored in the control unit 300.
- the camera unit 113 constitutes a light field camera and includes a microlens array 115 and an image sensor 116.
- FIG. 1 illustrates the case of a so-called Plenoptic ⁇ 1.0 type in which the microlens array 115 is disposed at the image side focal position of the imaging lens 112 and the imaging element 116 is disposed at the focal position of the microlens array 115. .
- FIG. 2A is a partially enlarged cross-sectional view of the camera unit 113 in the zx plane.
- the microlens array 115 includes a large number of microlenses 115a that are two-dimensionally arranged in the x-axis direction and the y-axis direction. Adjacent microlenses 115a are shielded from light by a light shielding wall 115b extending in the z-axis direction.
- the image sensor 116 has a pair (two) of photodetectors 116a and 116b corresponding to each microlens 115a. The photodetectors 116a and 116b are separated in the x-axis direction.
- a light shielding film 117 is formed on the surface (light receiving surface) of the image sensor 116 so as to extend in the y-axis direction between photodetectors adjacent in the x-axis direction.
- FIG. 2B shows an enlarged plan view of the pair of photodetectors 116a and 116b as seen from the z-axis direction.
- the epi-illumination optical system 130 includes a light source (white light source) 131, a collector lens 132, a shutter 133, an aperture stop 134, a field lens 135, and a half mirror 136.
- the half mirror 136 is inclined and arranged in the optical path of the observation optical system 100 between the objective lens 111 and the imaging lens 112.
- the illumination light emitted from the light source 131 is incident on the half mirror 136 through the collector lens 132, the shutter 133, the aperture stop 134, and the field lens 135.
- the illumination light incident on the half mirror 136 is reflected by the half mirror 136 and incident on the object 10 through the objective lens 111.
- observation unit 100B is configured in the same manner as the observation unit 100A, the same components as those of the observation unit 100A are denoted by the same reference numerals and description thereof is omitted.
- the observation units 100 ⁇ / b> A and 100 ⁇ / b> B are arranged so that the optical axes of the respective objective lenses 111 substantially coincide.
- the test object 10 is held on a support 11 such as a preparation or petri dish that can be observed from both the upper and lower sides.
- the support 11 is placed on the microscope stage so that it can be observed from both the upper and lower sides.
- the test object 10 when the test object 10 is illuminated by the illumination light from the light source 131 of the observation unit 100A, if the test object 10 is an object that is nearly transparent, the illumination light is the test object. 10 is modulated and incident on the objective lens 111 of the observation unit 100B on the opposite side. The modulated light from the test object 10 incident on the objective lens 111 of the observation unit 100B passes through the half mirror 136 of the observation unit 100B and forms an image of the test object 10 on the camera unit 113 by the imaging lens 112. .
- the illumination light is reflected and scattered by the test object 10, is modulated, and enters the objective lens 111 of the observation unit 100A, and the half mirror 136 of the observation unit 100A passes through the half mirror 136.
- the image of the test object 10 is formed on the camera unit 113 by the transmission lens 112 through the image forming lens 112.
- the test object 10 when the test object 10 is illuminated with illumination light from the light source 131 of the observation unit 100B, if the test object 10 is an object that is nearly transparent, the illumination light is transmitted through the test object 10 and modulated. Then, the light enters the objective lens 111 of the observation unit 100A on the opposite side.
- the modulated light from the test object 10 incident on the objective lens 111 of the observation unit 100A passes through the half mirror 136 of the observation unit 100A and forms an image of the test object 10 on the camera unit 113 by the imaging lens 112.
- the illumination light is reflected and scattered by the test object 10, modulated, and incident on the objective lens 111 of the observation unit 100B.
- the image of the test object 10 is formed on the camera unit 113 by the transmission lens 112 through the image forming lens 112.
- the image processing unit 200 measures the shape of the test object 10 by the observation unit 100A based on the output of the image sensor 116 of the observation unit 100A. Similarly, the image processing unit 200 measures the shape of the test object 10 by the observation unit 100B based on the output of the imaging element 116 of the observation unit 100B. Then, the image processing unit 200 measures the entire shape of the test object 10 from the respective shape measurement results by the observation units 100A and 100B.
- the distance in the optical axis direction (z axis), the x-axis direction, and the observation units 100A and 100B A common reference point serving as a reference for the position in the y-axis direction is set. Therefore, for example, the epi-illumination illumination optical system 130 of the observation unit 100A is configured to be able to insert and remove the marker 137 in the illumination optical path between the aperture stop 134 and the field lens 135.
- the marker 137 has a cross-shaped mark, for example, as shown in a plan view seen from the optical axis direction in FIG.
- the marker 137 Prior to measuring the shape of the test object 10, the marker 137 is inserted into the epi-illumination illumination optical system 130 of the observation unit 100 ⁇ / b> A, and the marker image is formed on the object side of the objective lens 111 by the objective lens 111 of the observation unit 100 ⁇ / b> A. Projected to the focal position. As shown in FIG. 4, the projection position P of the marker image is adjusted by adjusting the position of the marker 137 in the optical axis direction, so that it is approximately in the middle of the thickness of the test object 10 in the vicinity of the test object 10. Is preferable.
- the observation unit 100B When the marker image is projected from the observation unit 100A to a desired position, the observation unit 100B is focused on the marker image. Accordingly, the observation units 100A and 100B are positioned at the focal positions on the object side of the respective objective lenses 111.
- the control unit 300 sets a reference point by setting the position in the z-axis direction of the objective lens 111 of each of the observation units 100A and 100B in focus to 0 (the same point) on the movement amount detection unit, and sets the reference point as the reference point.
- the reference point may be set in the same manner so that the marker 137 can be inserted into and removed from the incident illumination optical system 130 of the observation unit 100B.
- each of the observation units 100 ⁇ / b> A and 100 ⁇ / b> B is focused on the test object 10.
- the control unit 300 stores the values of the movement amount detection units of the observation units 100A and 100B in focus.
- the control unit 300 images the test object 10 simultaneously with the observation units 100A and 100B.
- the control unit 300 controls the shutter 133 in the epi-illumination type optical system 130 to instantaneously switch the illumination light of the observation units 100A and 100B and sequentially capture images. May be.
- the control unit 300 measures the shape of the test object 10 based on signals output from the imaging elements 116 of the observation units 100A and 100B by imaging the test object 10.
- the image processing unit 200 calculates the parallax for the entire screen from the difference between images acquired from each pair of photodetectors for each image sensor 116. Then, the image processing unit 200 converts the obtained parallax into a distance ⁇ z in the optical axis direction from the reference point using the following equation. Thereby, the image processing unit 200 calculates the entire depth map (three-dimensional information) of the test object 10 and ends the shape measurement.
- ⁇ Magnification of objective lens NA: Numerical aperture of objective lens x: Amount of deviation from optical axis of peripheral luminous flux on image plane
- the observation object 100A and 100B are used to photograph the test object 10 from the upper and lower directions, and the shape of the test object 10 is measured as a relative distance from the reference point. Since it did in this way, the exact three-dimensional shape information of the to-be-tested object 10 can be acquired rapidly.
- FIG. 5 is an external view showing a schematic configuration of a main part of a microscope apparatus as an imaging apparatus according to the second embodiment.
- the microscope apparatus according to the present embodiment is the first embodiment in that it includes three observation units 100C, 100D, and 100E that observe the test object (object) 10 from a total of three directions including a lower direction and an oblique upper portion. Different from form.
- Each of the observation units 100C, 100D, and 100E includes the observation optical system 110 and the epi-illumination illumination optical system 130 similarly to the observation unit 100A in the first embodiment, and is configured with at least one of them (for example, observation)
- the epi-illumination optical system 130 of the unit 100C) has a marker projection function.
- the observation units 100 ⁇ / b> C, 100 ⁇ / b> D, and 100 ⁇ / b> E can move in the respective optical axis directions and can focus on the test object 10. These movement amounts are read by the movement amount detection unit and stored in the control unit 300 (see FIG. 1). In FIG.
- the optical axis direction of the observation unit 100C for observing the lower part of the test object 10 is the z-axis direction
- the in-plane direction orthogonal to the z-axis direction is the x-axis direction
- the z-axis direction is the x-axis direction
- the z-axis direction is the x-axis direction
- the x-axis direction is the direction perpendicular to the paper plane.
- the test object 10 is enclosed with a liquid in a support body 12 made of, for example, a transparent glass triangular prism.
- the support 12 is disposed so that each surface of the triangular prism is orthogonal to the optical axis direction of the observation units 100C, 100D, and 100E.
- a marker is projected from the observation unit 100C onto the surface of a certain part of the test object 10.
- the focus of the observation units 100D and 100E is adjusted to the projected marker image.
- the observation units 100C, 100D, and 100E are positioned at the focal positions on the object side of the respective objective lenses.
- the control unit 300 sets a reference point by setting the positions of the in-focus observation units 100C, 100D, and 100E in the z-axis direction to 0 (the same point) on the movement amount detection unit, and stores the reference point.
- each of the observation units 100C, 100D, and 100E is focused on the test object 10, and the test object 10 is photographed simultaneously.
- the image processing unit 200 (see FIG. 1) is based on signals output from the imaging elements 116 (see FIG. 1) of the observation units 100C, 100D, and 100E when the test object 10 is imaged. Measure the overall shape of the ten.
- the object 10 is photographed from three directions by the observation units 100C, 100D, and 100E, and the shape of the object 10 is measured as a relative distance from the reference point. Since it did in this way, the more exact three-dimensional shape information of the to-be-tested object 10 can be acquired rapidly.
- FIG. 6 is an external view showing a schematic configuration of a main part of a microscope apparatus as an imaging apparatus according to the third embodiment.
- the microscope apparatus according to the present embodiment is the same as the microscope apparatus according to the second embodiment, except that the illumination optical systems of the observation units 100C, 100D, and 100E are replaced with the epi-illumination illumination optical system 130. It is configured as 140 and is arranged so as to face the corresponding observation optical system 110 and the test object 10.
- the transmissive illumination optical system 140 is configured by a known optical element that can switch between dark field illumination and bright field illumination, and a shutter is also inserted as necessary.
- the observation optical systems 110 of the observation units 100C, 100D, and 100E are configured to be able to focus on the test object 10 and to be movable in the optical axis direction of the objective lens.
- the movement amount at that time is read by the movement amount detection unit and stored in the control unit 300 (see FIG. 1).
- the test object 10 is accommodated together with a liquid in a container part 13a formed at one end of a transparent glass hexagonal column support 13 as shown in a schematic perspective view of FIG.
- the other end of the support 13 is formed in a solid shape, and a minute scatterer 14 made of a spherical bubble having a diameter of, for example, about 0.1 ⁇ m is formed at substantially the center thereof.
- the micro scatterer 14 of the support 13 is positioned at the substantially visual field center of the microscope observation region, and for example, the micro scatterer is transmitted by the transmission illumination optical system 140 corresponding to the observation unit 100C. 14 is dark-field illuminated. Then, the object-side focal position of the observation optical system 110 corresponding to the transmission illumination optical system 140 is aligned with the minute scatterer 14, and the position in the optical axis direction of the observation optical system 110 at that time is read by the movement amount detection unit. And stored in the control unit 300.
- observation units 100D and 100E also illuminate the minute scatterer 14 with the corresponding transmissive illumination optical system 140 in the dark field, and set the focal position on the object side of each observation optical system 110 to the minute scatterer 14.
- the position in the optical axis direction at that time is read by the movement amount detection unit and stored in the control unit 300. Then, the control unit 300 sets the reference point with 0 (the same point) as the position of the focused observation units 100C, 100D, and 100E on the movement amount detection unit in the optical axis direction.
- the support 13 is slid on the xy plane (microscope stage), and the test object 10 accommodated in the support 13 is positioned approximately at the center of the visual field in the microscope observation region.
- the object 10 is bright-field illuminated by the corresponding transmission illumination system 140, and the focus of each of the observation units 100C, 100D, and 100E is adjusted to the object 10.
- the control unit 300 controls the shutter in the transmissive illumination optical system 140 to instantaneously switch the illumination light of the observation units 100C, 100D, and 100E, and sequentially capture the images. May be.
- the image processing unit 200 see FIG.
- the microscope apparatus as in the case of the second embodiment, more accurate three-dimensional shape information of the test object 10 can be quickly acquired.
- the fine scatterer 14 is formed on the support 13 that supports the test object 10 and the reference point is set, it is not necessary to project a marker for setting the reference point, and the illumination optical system The configuration can be simplified.
- FIGS. 8A and 8B are external views showing a schematic configuration of a main part of a microscope apparatus as an imaging apparatus according to the fourth embodiment.
- the microscope apparatus according to the present embodiment includes six observation units 100F to 100K that observe a test object (object) 10 from six directions.
- Each of the observation units 100F to 100K includes the observation optical system 110 and the epi-illumination illumination optical system 130, similarly to the observation unit 100A in the first embodiment.
- none of the epi-illumination optical systems 130 has a marker projection function.
- the observation units 100F to 100K can move in the respective optical axis directions, and can focus on the test object 10. These movement amounts are read by the movement amount detection unit and stored in the control unit 300 (see FIG. 1).
- the optical axis direction of the observation unit 100F that observes the lower part of the test object 10 is the z-axis direction
- the direction orthogonal to the z-axis direction is the x-axis direction
- the z-axis direction the x-axis direction
- the z-axis direction the x-axis direction
- the arrangement of the observation units 100F to 100I in the zx plane is shown in FIG. 8A, where the direction orthogonal to the direction is the y-axis direction
- the arrangement of the observation units 100F, 100H, 100J, and 100K in the yz plane is shown in FIG. This is shown in FIG. 8B.
- the test object 10 is accommodated together with a liquid in a support 15 made of, for example, a transparent glass cube.
- a reference point setting member 17 made of a cube having the same material and size as the support 15 is connected to the support 15 via a connection 16.
- the coupling body 16 is coupled to arbitrary sides of the support body 15 and the reference point setting member 17.
- the reference point setting member 17 is formed with a minute scatterer 18 made of spherical bubbles having a diameter of about 0.1 ⁇ m, for example.
- the support 15 and the reference point setting member 17 are slid and are selectively disposed so that each surface of the cube is orthogonal to the optical axis direction of the observation units 100F to 100K at approximately the center of the visual field in the microscope observation region. .
- the fine scatterer 18 of the reference point setting member 17 is positioned substantially at the center of the visual field of the microscope observation region, and one of the observation units 100F to 100K (for example, the observation unit)
- the fine scatterer 18 is illuminated in the dark field by the epi-illumination optical system 130 of the unit 100F).
- focusing is performed so that the object-side focal position of the observation optical system 110 of the opposing observation unit (for example, the observation unit 100H) is aligned with the minute scatterer 18, and the observation optical system 110 at that time is in the optical axis direction.
- the position is read by the movement amount detection unit and stored in the control unit 300.
- the minute scatterer 18 is illuminated in the dark field by the epi-illumination optical system 130 of the observation unit 100H, and the opposite observation unit 100F is similarly focused, and the observation optical system 110 of the observation unit 100F at that time is the same.
- the control unit 300 sets a reference point with the position of the focused observation units 100F to 100K on the movement amount detection unit in the optical axis direction as 0 (the same point).
- the support 15 and the reference point setting member 17 are slid on the xy plane (microscope stage), and the test object 10 accommodated in the support 15 is positioned approximately at the center of the visual field in the microscope observation region.
- the object 10 is bright-field illuminated by the epi-illumination optical system 130 of the observation units 100F to 100K, and each focus of the observation units 100F to 100K is focused on the object 10.
- the image processing unit 200 (see FIG. 1) is based on the signals output from the imaging elements 116 (see FIG. 1) of the observation units 100F to 100K when the test object 10 is imaged, according to the first embodiment. In the same manner as described above, the entire shape of the test object 10 is measured.
- the specimen 10 is photographed from six directions by the observation units 100F to 100K, and the shape of the specimen 10 is measured as a relative distance from the reference point. Therefore, more accurate three-dimensional shape information of the test object 10 can be acquired quickly.
- the configuration of the illumination optical system can be simplified.
- FIG. 9 is a schematic configuration diagram of a main part of a microscope apparatus as an imaging apparatus according to the fifth embodiment.
- the microscope apparatus according to the present embodiment is capable of measuring the three-dimensional shape of fluorescence of the test object 10 in the microscope apparatus according to the first embodiment.
- differences from the first embodiment will be described.
- the observation units 100A and 100B each include an excitation light illumination optical system 150.
- the excitation light illumination optical system 150 includes an excitation light source 151, a collector lens 152, a shutter 153, an aperture stop 154, a field lens 155, an excitation filter 156, and a dichroic mirror 157.
- the excitation filter 156 transmits excitation light that causes the test object 10 to emit fluorescence.
- the dichroic mirror 157 is disposed to be inclined in the optical path of the observation optical system 100 between the objective lens 111 and the imaging lens 112, reflects the excitation light toward the objective lens 111, and emits light from the test object 10. Other lights such as fluorescent light and illumination light from the light source 131 are transmitted.
- an absorption filter 158 that absorbs excitation light is disposed on the object side of the imaging lens 112.
- a marker image is projected at a desired position by the epi-illumination optical system 130 of the observation unit 100A to set the reference points of the observation units 100A and 100B.
- the excitation light emitted from the excitation light source 151 passes through the collector lens 152, the shutter 153, the aperture stop 154, the field lens 155, the excitation filter 156, the dichroic mirror 157, and the objective lens 111. Is irradiated. Thereby, the test object 10 emits fluorescence.
- the focus of each of the observation units 100A and 100B is adjusted to the test object 10, and the value of the movement amount detection unit at that time is stored in the control unit 300, and a fluorescent image of the test object 10 is simultaneously captured.
- the control unit 300 controls the shutter 153 in the excitation light illumination optical system 150 to instantaneously switch the excitation light of the observation units 100A and 100B, thereby generating a fluorescent image. You may shoot sequentially. Thereafter, the control unit 300 measures the shape of the test object 10 due to fluorescence based on the signals output from the imaging elements 116 of the observation units 100A and 100B by fluorescence imaging of the test object 10.
- fluorescence images of the test object 10 are taken from the upper and lower directions by the observation units 100A and 100B, and the shape of the test object 10 by fluorescence is relative to the reference point. Since the distance is measured as an accurate distance, accurate three-dimensional shape information based on the fluorescence of the test object 10 can be quickly acquired.
- FIG. 10 is a schematic configuration diagram of a main part of an imaging apparatus according to the sixth embodiment.
- the imaging device according to the present embodiment includes three cameras 101A, 101B, and 101C.
- the cameras 101A, 101B, and 101C are each configured as a light field camera including an objective lens and connected to the image processing unit 201, similarly to the observation optical system 110 of the observation unit 100A in the first embodiment.
- the image processing unit 201 is connected to a control unit 301 that controls the overall operation of the imaging apparatus.
- the subject 20 is simultaneously photographed by aligning the focus of the three cameras 101A, 101B, and 101C with the subject 20 such as the test object or the target object. Then, the image processing unit 201 measures the distance of one point of the subject 20 shown in both the images taken by the cameras 101A and 101B from the parallax image. Similarly, for the cameras 101B and 101C and the cameras 101C and 101A, the distance of one point of the subject 20 shown in both of the captured images is measured from the parallax image. Based on the measured distances, the image processing unit 201 calculates the positional relationship between the three cameras 101A, 101B, and 101C, that is, the reference point.
- a depth map indicating the relative distance from the reference point is created based on the parallax images captured by the three cameras 101A, 101B, and 101C. Thereafter, the created three depth maps are combined to calculate the entire depth map (three-dimensional information) of the subject 20, thereby measuring the overall shape of the subject 20.
- the subject 20 is photographed from three directions by the three cameras 101A, 101B, and 101C, and the shape of the subject 20 is measured as a relative distance from the reference point. Therefore, more accurate three-dimensional shape information of the subject 20 can be acquired quickly.
- the present invention is not limited to the above embodiment, and many variations or modifications are possible.
- the subject 10 is bright-field illuminated, but it may be dark-field illuminated.
- a phase contrast microscope can be obtained by inserting a wave plate into the exit pupil of the objective lens of each observation unit.
- the camera unit 115 in FIG. 1 has four photo detectors 116a to 116d separated in the x-axis direction and the y-axis direction as shown in FIG. 11 with respect to one microlens of the microlens array 115 as the image sensor 116. Or more photo detectors may be arranged.
- the camera unit 113 illustrated in FIG. 1 includes, for example, an RGB color filter 118 between the microlens array 115 and the imaging element 116, and one color corresponds to one microlens 115a.
- the three-dimensional shape information of the color can also be obtained.
- the color filter 118 can be a Bayer array as shown in FIG. 12B, for example, or can be another known array.
- the camera unit 113 illustrated the case where the arrangement of the microlens array 115 and the image sensor 116 is a Plenoptic® 1.0 type, it is not limited thereto.
- the microlens array 115 and the image sensor 116 are arranged so that an image formed by the imaging lens 112 is re-imaged on the image sensor 116 by the microlens array 115.
- the same shape measurement is possible with the 2.0 type.
- the aperture stop 134 of the epi-illumination illumination optical system 130 shown in FIG. 1 can also be configured to have two light transmission parts 134a and 134b symmetrically with respect to the optical axis, for example, as shown in FIG.
- the aperture stop of the transmission illumination optical system 140 in FIG. 6 and the aperture stop 154 of the excitation light illumination optical system 150 in FIG. 9 can also be configured in the same manner as in FIG.
- the marker for setting the reference point may be projected by an independent projection optical system.
- the three-dimensional shape of the fluorescence of the test object 10 can be measured by providing the excitation light illumination optical system.
- the image processing unit and the control unit are provided separately, but the image processing unit may be configured integrally with the control unit.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Automatic Focus Adjustment (AREA)
- Instruments For Measurement Of Length By Optical Means (AREA)
Abstract
物体10を異なる方向から観察する複数の観察部100A,100Bと、画像処理部200と、を備え、観察部100A,100Bの各々は、対物レンズ111と、レンズアレイ115と、撮像素子116とを備え、物体10で変調された光を対物レンズ111及びレンズアレイ115を経て撮像素子116で受光して位相差を有する複数の画像信号を出力し、画像処理部200は、複数の観察部100A,100Bからの画像信号に基づいて、物体10の形状を基準点からの相対的な距離として測定する。
Description
本発明は、撮像装置に関するものである。
特許文献1には、ライトフィールド技術を応用して、視差画像から標本の立体的形状を測定可能とした顕微鏡装置が開示されている。
特許文献1に開示の顕微鏡装置は、一つの観察光学系を備え、標本の一方向における立体的形状を測定するように構成されている。そのため、標本の異なる方向における立体的形状を測定する場合は、一つの観察光学系に対して標本を回転させる必要があり、測定に時間がかかることになる。また、標本によっては、時間の経過によって形状が変形したり、標本を回転させると重力の影響によって形状が変形したりして、正確な立体的形状を測定できない場合がある。
したがって、かかる観点に鑑みてなされた本発明の目的は、物体の正確な立体的形状情報を迅速に取得可能な撮像装置を提供することにある。
上記目的を達成する本発明に係る撮像装置は、
物体を異なる方向から観察する複数の観察部と、
画像処理部と、を備え、
前記複数の観察部の各々は、対物レンズと、レンズアレイと、撮像素子とを備え、前記物体で変調された光を前記対物レンズ及び前記レンズアレイを経て前記撮像素子で受光して位相差を有する複数の画像信号を出力し、
前記画像処理部は、前記複数の観察部からの前記画像信号に基づいて、前記物体の形状を基準点からの相対的な距離として測定する、ものである。
物体を異なる方向から観察する複数の観察部と、
画像処理部と、を備え、
前記複数の観察部の各々は、対物レンズと、レンズアレイと、撮像素子とを備え、前記物体で変調された光を前記対物レンズ及び前記レンズアレイを経て前記撮像素子で受光して位相差を有する複数の画像信号を出力し、
前記画像処理部は、前記複数の観察部からの前記画像信号に基づいて、前記物体の形状を基準点からの相対的な距離として測定する、ものである。
前記レンズアレイは、前記物体の像の結像位置に配置され、
前記撮像素子は、前記レンズアレイの焦点位置に配置されるとよい。
前記撮像素子は、前記レンズアレイの焦点位置に配置されるとよい。
前記レンズアレイは、前記物体の像を再結像するように配置され、
前記撮像素子は、前記レンズアレイによる前記物体の像の再結像位置に配置されてもよい。
前記撮像素子は、前記レンズアレイによる前記物体の像の再結像位置に配置されてもよい。
前記複数の観察部は、前記対物レンズの物体側の焦点位置が前記基準点に位置決めされるとよい。
前記基準点となるマーカを投影する投影部をさらに備えるとよい。
前記投影部は、前記複数の観察部のうち一の観察部の前記対物レンズを経て、当該対物レンズの物体側の焦点位置に前記マーカを投影するとよい。
前記基準点は、観察領域に配置される散乱体により設定されてもよい。
前記複数の観察部は、前記物体を蛍光観察して形状を測定してもよい。
本発明によれば、物体の正確な立体的形状情報を迅速に取得可能な撮像装置を提供することができる。
以下、本発明の実施の形態について、図を参照して説明する。
(第1実施の形態)
図1は、第1実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。本実施の形態に係る顕微鏡装置は、被検物(物体)10の上部を観察する観察部100Aと、被検物10の下部を観察する観察部100Bと、画像処理部200と、顕微鏡装置の全体の動作を制御する制御部300とを備える。図1では、説明の便宜上、観察部100Aの光軸方向をz軸方向、z軸方向と直交する紙面内方向をx軸方向、z軸方向及びx軸方向と直交する紙面垂直方向をy軸方向として示している。
図1は、第1実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。本実施の形態に係る顕微鏡装置は、被検物(物体)10の上部を観察する観察部100Aと、被検物10の下部を観察する観察部100Bと、画像処理部200と、顕微鏡装置の全体の動作を制御する制御部300とを備える。図1では、説明の便宜上、観察部100Aの光軸方向をz軸方向、z軸方向と直交する紙面内方向をx軸方向、z軸方向及びx軸方向と直交する紙面垂直方向をy軸方向として示している。
観察部100Aは、観察光学系110と、落射型照明光学系130とを備える。観察光学系110は、対物レンズ111と、結像レンズ112と、カメラ部113とを備える。対物レンズ111と結像レンズ112との間は、ピントの合った被検物からの光束がコリメートされる、いわゆる無限遠補正光学系である。ピント調整は、手動により又は制御部300により自動的に、観察部100Aの全体又は対物レンズ111のみを、微動機構114を介して対物レンズ111の光軸方向に移動させて行われる。その際の移動量は、微動機構114に設けられた例えばリニアスケール等の移動量検出部で読み取られて制御部300に記憶される。
カメラ部113は、ライトフィールドカメラを構成するもので、マイクロレンズアレイ115と撮像素子116とを備える。図1では、マイクロレンズアレイ115が結像レンズ112の像側焦点位置に配置され、撮像素子116がマイクロレンズアレイ115の焦点位置に配置されている、いわゆるPlenoptic 1.0タイプの場合を例示している。
図2Aは、カメラ部113のz-x平面における部分拡大断面図である。マイクロレンズアレイ115は、x軸方向及びy軸方向に2次元的に配列された多数のマイクロレンズ115aを有する。隣接するマイクロレンズ115a間は、z軸方向に延在する遮光壁115bにより遮光されている。撮像素子116は、各マイクロレンズ115aに対応する一対(2個)のフォトディテクタ116a、116bを有する。フォトディテクタ116a、116bは、x軸方向に分離されている。撮像素子116の表面(受光面)には、x軸方向に隣接するフォトディテクタ間に、y軸方向に延在して遮光膜117が形成されている。図2Bは、一対のフォトディテクタ116a、116bを、z軸方向から見た拡大平面図を示している。
図1において、落射型照明光学系130は、光源(白色光源)131と、コレクタレンズ132と、シャッタ133と、開口絞り134と、視野レンズ135と、ハーフミラー136とを備える。ハーフミラー136は、対物レンズ111と結像レンズ112との間の観察光学系100の光路中に傾斜して配置されている。光源131から射出された照明光は、コレクタレンズ132、シャッタ133、開口絞り134及び視野レンズ135を経てハーフミラー136に入射される。ハーフミラー136に入射された照明光は、該ハーフミラー136で反射されて対物レンズ111を経て被検物10に落射照明される。
観察部100Bは、観察部100Aと同様に構成されるので、観察部100Aと同一構成要素には同一参照符号を付して説明を省略する。図1では、観察部100A及び100Bが、それぞれの対物レンズ111の光軸がほぼ一致して配置されている。
被検物10は、上下両側から観察可能なプレパラートやシャーレ等の支持体11に保持されている。支持体11は、上下両側から観察可能に顕微鏡ステージに載置される。
本実施の形態に係る顕微鏡装置において、観察部100Aの光源131からの照明光によって被検物10が照明されると、被検物10が透明に近い物体であれば、照明光は被検物10を透過して変調されて、反対側の観察部100Bの対物レンズ111に入射する。観察部100Bの対物レンズ111に入射した被検物10からの変調光は、当該観察部100Bのハーフミラー136を透過して結像レンズ112によりカメラ部113に被検物10の像を形成する。被検物10が不透明な物体の場合は、照明光は被検物10で反射・散乱されて変調されて、観察部100Aの対物レンズ111に入射して、当該観察部100Aのハーフミラー136を透過して結像レンズ112によりカメラ部113に被検物10の像を形成する。
同様に、観察部100Bの光源131からの照明光によって被検物10が照明されると、被検物10が透明に近い物体であれば、照明光は被検物10を透過して変調されて、反対側の観察部100Aの対物レンズ111に入射する。観察部100Aの対物レンズ111に入射した被検物10からの変調光は、当該観察部100Aのハーフミラー136を透過して結像レンズ112によりカメラ部113に被検物10の像を形成する。被検物10が不透明な物体の場合は、照明光は被検物10で反射・散乱されて変調されて、観察部100Bの対物レンズ111に入射して、当該観察部100Bのハーフミラー136を透過して結像レンズ112によりカメラ部113に被検物10の像を形成する。
画像処理部200は、観察部100Aの撮像素子116の出力に基づいて、観察部100Aによる被検物10の形状を測定する。同様に、画像処理部200は、観察部100Bの撮像素子116の出力に基づいて、観察部100Bによる被検物10の形状を測定する。そして、画像処理部200は、観察部100A及び100Bによるそれぞれの形状測定結果から被検物10の全体の形状を測定する。
本実施の形態に係る顕微鏡装置では、画像処理部200において被検物10の形状を測定するため、観察部100A及び100Bに対して、光軸方向(z軸)の距離と、x軸方向及びy軸方向の位置との基準となる共通の基準点が設定される。そのため、例えば観察部100Aの落射型照明光学系130は、開口絞り134と視野レンズ135との間の照明光路中にマーカ137を挿脱可能に構成される。マーカ137は、例えば図3に光軸方向から見た平面図を示すように、十字状のマークを有している。
マーカ137は、被検物10の形状測定に先立って、観察部100Aの落射型照明光学系130に挿入され、そのマーカ像が観察部100Aの対物レンズ111により、当該対物レンズ111の物体側の焦点位置に投影される。図4に示すように、マーカ像の投影位置Pは、マーカ137の光軸方向の位置を調整することで、被検物10の近傍で被検物10の光軸方向の厚さのほぼ中間とするのが好ましい。
観察部100Aからマーカ像を所望の位置に投影したら、そのマーカ像に観察部100Bのピントを合わせる。これにより、観察部100A及び100Bをそれぞれの対物レンズ111の物体側の焦点位置に位置決めされる。制御部300は、ピントが合った観察部100A及び100Bのそれぞれの対物レンズ111のz軸方向の位置を移動量検出部上で0(同一の点)として基準点を設定し、その基準点を記憶する。なお、基準点は、マーカ137を観察部100Bの落射型照明光学系130に挿脱可能として、同様に設定してもよい。
基準点の設定後、被検物10の形状測定にあたっては、先ず、観察部100A及び100Bのそれぞれのピントを被検物10に合わせる。制御部300は、ピントが合った観察部100A及び100Bのそれぞれの移動量検出部の値を記憶する。次に、制御部300は、観察部100A及び100Bにより被検物10を同時に撮影する。その際、照明光によってフレア等が発生する場合、制御部300は、落射型照明光学系130内のシャッタ133を制御して、観察部100A及び100Bの照明光を瞬時に切り替えて、順次撮影してもよい。その後、制御部300は、被検物10の撮影によって観察部100A及び100Bのそれぞれの撮像素子116から出力される信号に基づいて被検物10の形状を測定する。
ここで、観察部100A及び100Bのそれぞれのカメラ部113は、マイクロレンズアレイ115の焦点位置に撮像素子116の受光面が位置している。そのため、各マイクロレンズ115aに対応する一対のフォトディテクタ116a、116bの受光面には、対物レンズ111の射出瞳の像が結像される。画像処理部200は、各撮像素子116について各一対のフォトディテクタから取得した画像の差から画面全体について視差を算出する。そして、画像処理部200は、得られた視差を、下式により基準点からの光軸方向の距離Δzに変換する。これにより、画像処理部200は、被検物10の全体のデプスマップ(3次元情報)を算出して、形状測定を終了する。
本実施の形態に係る顕微鏡装置によれば、観察部100A及び100Bにより被検物10を上下の2方向から撮影して、被検物10の形状を基準点からの相対的な距離として測定するようにしたので、被検物10の正確な立体的形状情報を迅速に取得することができる。
(第2実施の形態)
図5は、第2実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、被検物(物体)10を下部方向及び斜め上部の2方向の合計3方向から観察する3つの観察部100C、100D及び100Eを備える点が第1実施の形態と異なる。
図5は、第2実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、被検物(物体)10を下部方向及び斜め上部の2方向の合計3方向から観察する3つの観察部100C、100D及び100Eを備える点が第1実施の形態と異なる。
観察部100C、100D及び100Eの各々は、第1実施の形態における観察部100Aと同様に、観察光学系110及び落射型照明光学系130を有して構成され、それらの少なくとも1つ(例えば観察部100C)の落射型照明光学系130はマーカの投影機能を有する。観察部100C、100D及び100Eは、それぞれの光軸方向に移動でき、被検物10にピントを合わせることができる。それらの移動量は、それぞれ移動量検出部で読み取られて制御部300(図1参照)に記憶される。図5では、説明の便宜上、被検物10の下部を観察する観察部100Cの光軸方向をz軸方向、z軸方向と直交する紙面内方向をx軸方向、z軸方向及びx軸方向と直交する紙面垂直方向をy軸方向として示している。
被検物10は、例えば透明なガラス製の三角柱の支持体12の内部に液体とともに封入される。支持体12は、三角柱の各面が観察部100C、100D及び100Eの光軸方向と直交するように配置される。
本実施の形態に係る顕微鏡装置では、例えば観察部100Cから被検物10のある部分の表面にマーカを投影する。次に、観察部100D及び100Eのピントを、投影されたマーカの像に合わせる。これにより、観察部100C、100D及び100Eをそれぞれの対物レンズの物体側の焦点位置に位置決めされる。制御部300は、ピントが合った観察部100C、100D及び100Eのz軸方向の位置を移動量検出部上で0(同一の点)として基準点を設定し、その基準点を記憶する。その後、第1実施の形態と同様にして、観察部100C、100D及び100Eのそれぞれのピントを被検物10に合わせて被検物10を同時に撮影する。そして、画像処理部200(図1参照)は、被検物10の撮影によって観察部100C、100D及び100Eのそれぞれの撮像素子116(図1参照)から出力される信号に基づいて、被検物10の全体の形状を測定する。
本実施の形態に係る顕微鏡装置によれば、観察部100C、100D及び100Eにより被検物10を3方向から撮影して、被検物10の形状を基準点からの相対的な距離として測定するようにしたので、被検物10のより正確な立体的形状情報を迅速に取得することができる。
(第3実施の形態)
図6は、第3実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、第2実施の形態に係る顕微鏡装置において、観察部100C、100D及び100Eの各々の照明光学系を、落射型照明光学系130に代えて透過型照明光学系140として構成して、対応する観察光学系110と被検物10を介して対向して配置したものである。透過型照明光学系140は、暗視野照明と明視野照明とを切換可能に公知の光学素子で構成され、必要に応じてシャッタも挿入される。
図6は、第3実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、第2実施の形態に係る顕微鏡装置において、観察部100C、100D及び100Eの各々の照明光学系を、落射型照明光学系130に代えて透過型照明光学系140として構成して、対応する観察光学系110と被検物10を介して対向して配置したものである。透過型照明光学系140は、暗視野照明と明視野照明とを切換可能に公知の光学素子で構成され、必要に応じてシャッタも挿入される。
観察部100C、100D及び100Eの各々の観察光学系110は、被検物10に対してピント合わせ可能に、対物レンズの光軸方向に移動可能に構成される。その際の移動量は移動量検出部で読み取られて、制御部300(図1参照)に記憶される。
被検物10は、例えば図7に概略斜視図を示すように、透明なガラス製の六角柱の支持体13の一端部に形成された容器部13aに液体とともに収容される。支持体13は、他端部が無垢状に形成され、そのほぼ中心に、例えば直径0.1μm程度の球体の気泡からなる微小散乱体14が形成されている。
本実施の形態に係る顕微鏡装置では、先ず、支持体13の微小散乱体14を顕微鏡観察領域のほぼ視野中心に位置決めして、例えば観察部100Cに対応する透過型照明光学系140により微小散乱体14を暗視野照明する。そして、透過型照明光学系140に対応する観察光学系110の物体側の焦点位置を微小散乱体14に合わせて、そのときの観察光学系110の光軸方向の位置を移動量検出部で読み取って制御部300に記憶する。同様にして、観察部100D及び100Eについても、対応する透過型照明光学系140により微小散乱体14を暗視野照明して、それぞれの観察光学系110の物体側の焦点位置を微小散乱体14に合わせて、そのときの光軸方向の位置を移動量検出部で読み取って制御部300に記憶する。そして制御部300は、ピントが合った観察部100C、100D及び100Eの光軸方向の移動量検出部上での位置を0(同一の点)として基準点を設定する。
その後、支持体13をx-y平面上(顕微鏡ステージ)でスライドさせて、支持体13に収容されている被検物10を顕微鏡観察領域のほぼ視野中心に位置決めする。そして、第1実施の形態と同様にして、被検物10を対応する透過型照明系140により明視野照明して、観察部100C、100D及び100Eのそれぞれのピントを被検物10に合わせて同時に撮影する。その際、照明光によりフレア等が発生する場合、制御部300は、透過型照明光学系140内のシャッタを制御して、観察部100C、100D及び100Eの照明光を瞬時に切り替えて、順次撮影してもよい。そして、画像処理部200(図1参照)は、被検物10の撮影によって観察部100C、100D及び100Eのそれぞれの撮像素子116(図1参照)から出力される信号に基づいて、第1実施の形態の場合と同様にして、被検物10の全体の形状を測定する。
本実施の形態に係る顕微鏡装置によれば、第2実施の形態の場合と同様に、被検物10のより正確な立体的形状情報を迅速に取得することができる。また、被検物10を支持する支持体13に微小散乱体14を形成して基準点を設定するようにしたので、基準点を設定するためのマーカを投影する必要がなく、照明光学系の構成を簡単にできる。
(第4実施の形態)
図8A及び図8Bは、第4実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、被検物(物体)10を6方向から観察する6つの観察部100F~100Kを備える。観察部100F~100Kの各々は、第1実施の形態における観察部100Aと同様に、観察光学系110及び落射型照明光学系130を有して構成される。ただし、本実施の形態において、落射型照明光学系130は、いずれもマーカの投影機能を有していない。
図8A及び図8Bは、第4実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、被検物(物体)10を6方向から観察する6つの観察部100F~100Kを備える。観察部100F~100Kの各々は、第1実施の形態における観察部100Aと同様に、観察光学系110及び落射型照明光学系130を有して構成される。ただし、本実施の形態において、落射型照明光学系130は、いずれもマーカの投影機能を有していない。
観察部100F~100Kは、それぞれの光軸方向に移動でき、被検物10にピントを合わせることができる。それらの移動量は、それぞれ移動量検出部で読み取られて制御部300(図1参照)に記憶される。図8A及び図8Bでは、説明の便宜上、被検物10の下部を観察する観察部100Fの光軸方向をz軸方向、z軸方向と直交する方向をx軸方向、z軸方向及びx軸方向と直交する方向をy軸方向として、z-x平面内での観察部100F~100Iの配置を図8Aに示し、z-y平面内での観察部100F、100H、100J、100Kの配置を図8Bに示している。
被検物10は、例えば透明なガラス製の立方体からなる支持体15に液体とともに収容される。支持体15には、連結体16を介して支持体15と同じ材質及び大きさの立方体からなる基準点設定部材17が連結されている。連結体16は、支持体15及び基準点設定部材17の任意の辺部に結合されている。基準点設定部材17には、ほぼ中心部に、第3実施の形態の場合と同様に、例えば直径0.1μm程度の球体の気泡からなる微小散乱体18が形成されている。支持体15及び基準点設定部材17は、スライドして、顕微鏡観察領域のほぼ視野中心部に、立方体の各面が観察部100F~100Kの光軸方向と直交するように選択的に配置される。
本実施の形態に係る顕微鏡装置では、先ず、基準点設定部材17の微小散乱体18を顕微鏡観察領域のほぼ視野中心に位置決めして、観察部100F~100Kのうちの一つの観察部(例えば観察部100F)の落射型照明光学系130により微小散乱体18を暗視野照明する。その状態で、対向する観察部(例えば観察部100H)の観察光学系110の物体側の焦点位置を微小散乱体18に合わせるピント合わせを行って、そのときの観察光学系110の光軸方向の位置を移動量検出部で読み取って制御部300に記憶する。次に、観察部100Hの落射型照明光学系130により微小散乱体18を暗視野照明して、対向する観察部100Fのピント合わせを同様に行って、そのときの観察部100Fの観察光学系110の光軸方向の位置を移動量検出部で読み取って制御部300に記憶する。他の対向する観察部についても同様にピント合わせを行って、そのときの光軸方向の位置を移動量検出部で読み取って制御部300に記憶する。そして制御部300は、ピントが合った観察部100F~100Kの光軸方向の移動量検出部上での位置を0(同一の点)として基準点を設定する。
その後、支持体15及び基準点設定部材17をx-y平面上(顕微鏡ステージ)でスライドさせて、支持体15に収容されている被検物10を顕微鏡観察領域のほぼ視野中心に位置決めする。そして、第1実施の形態と同様に、観察部100F~100Kの落射型照明光学系130により被検物10を明視野照明して、観察部100F~100Kのそれぞれのピントを被検物10に合わせて同時に撮影する。そして、画像処理部200(図1参照)は、被検物10の撮影によって観察部100F~100Kのそれぞれの撮像素子116(図1参照)から出力される信号に基づいて、第1実施の形態の場合と同様にして、被検物10の全体の形状を測定する。
本実施の形態に係る顕微鏡装置によれば、観察部100F~100Kにより被検物10を6方向から撮影して、被検物10の形状を基準点からの相対的な距離として測定するようにしたので、被検物10のより正確な立体的形状情報を迅速に取得することができる。また、基準点を設定するためのマーカを投影する必要がないので、照明光学系の構成を簡単にできる。
(第5実施の形態)
図9は、第5実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。本実施の形態に係る顕微鏡装置は、第1実施の形態に係る顕微鏡装置において、被検物10の蛍光の立体的形状をも測定可能としたものである。以下、第1実施の形態と異なる点について説明する。
図9は、第5実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。本実施の形態に係る顕微鏡装置は、第1実施の形態に係る顕微鏡装置において、被検物10の蛍光の立体的形状をも測定可能としたものである。以下、第1実施の形態と異なる点について説明する。
本実施の形態において、観察部100A及び100Bは、それぞれ励起光照明光学系150を備える。励起光照明光学系150は、励起用光源151と、コレクタレンズ152と、シャッタ153と、開口絞り154と、視野レンズ155と、励起フィルタ156と、ダイクロイックミラー157とを備える。励起フィルタ156は、励起用光源151から放射された光のうち、被検物10を蛍光発光させる励起光を透過する。ダイクロイックミラー157は、対物レンズ111と結像レンズ112との間の観察光学系100の光路中に傾斜して配置され、励起光を対物レンズ111に向けて反射させ、被検物10で発光した蛍光や光源131からの照明光等のその他の光は透過する。また、観察光学系100には、結像レンズ112の物体側に励起光を吸収する吸収フィルタ158が配置されている。
本実施の形態においては、第1実施の形態の場合と同様にして、観察部100Aの落射照明光学系130により所望の位置にマーカ像を投影して観察部100A及び100Bの基準点を設定する。基準点設定後は、励起用光源151から射出された励起光が、コレクタレンズ152、シャッタ153、開口絞り154、視野レンズ155、励起フィルタ156、ダイクロイックミラー157及び対物レンズ111を経て被検物10に照射される。これにより、被検物10は、蛍光を発する。その状態で、観察部100A及び100Bのそれぞれのピントを被検物10に合わせ、その際の移動量検出部の値をそれぞれ制御部300に記憶して、被検物10の蛍光像を同時に撮影する。その際、励起光によってフレア等が発生する場合、制御部300は、励起光照明光学系150内のシャッタ153を制御して、観察部100A及び100Bの励起光を瞬時に切り替えて、蛍光像を順次撮影してもよい。その後、制御部300は、被検物10の蛍光撮影によって観察部100A及び100Bのそれぞれの撮像素子116から出力される信号に基づいて被検物10の蛍光による形状を測定する。
本実施の形態に係る顕微鏡装置によれば、観察部100A及び100Bにより被検物10の蛍光像を上下の2方向から撮影して、被検物10の蛍光による形状を基準点からの相対的な距離として測定するようにしたので、被検物10の蛍光による正確な立体的形状情報を迅速に取得することができる。
(第6実施の形態)
図10は、第6実施の形態に係る撮像装置の要部の概略構成図である。本実施の形態に係る撮像装置は、3台のカメラ101A、101B及び101Cを有する。カメラ101A、101B及び101Cは、それぞれ第1実施の形態における観察部100Aの観察光学系110と同様に、それぞれ対物レンズを含むライトフィールドカメラとして構成されて、画像処理部201に接続される。画像処理部201は、撮像装置の全体の動作を制御する制御部301に接続される。
図10は、第6実施の形態に係る撮像装置の要部の概略構成図である。本実施の形態に係る撮像装置は、3台のカメラ101A、101B及び101Cを有する。カメラ101A、101B及び101Cは、それぞれ第1実施の形態における観察部100Aの観察光学系110と同様に、それぞれ対物レンズを含むライトフィールドカメラとして構成されて、画像処理部201に接続される。画像処理部201は、撮像装置の全体の動作を制御する制御部301に接続される。
本実施の形態に係る撮像装置では、3台のカメラ101A、101B及び101Cのピントを、被検物やターゲット物体等の被写体20に合わせて被写体20を同時に撮影する。そして、画像処理部201において、カメラ101A及び101Bで撮影した画像の双方に写っている被写体20の一点の距離を視差画像から測定する。同様に、カメラ101B及び101C、カメラ101C及び101Aについても、それぞれ撮影した画像の双方に写っている被写体20の一点の距離を視差画像から測定する。そして、それぞれ測定した距離に基づいて、3台のカメラ101A、101B及び101Cの位置関係、つまり基準点を画像処理部201で計算する。
次に、3台のカメラ101A、101B及び101Cで各々撮影した視差画像に基づいて基準点からの相対的な距離を示すデプスマップを作成する。その後、作成した3つのデプスマップを合成して、被写体20の全体のデプスマップ(3次元情報)を算出することで、被写体20の全体の形状を測定する。
本実施の形態に係る撮像装置によれば、3台のカメラ101A、101B及び101Cにより被写体20を3方向から撮影して、被写体20の形状を基準点からの相対的な距離として測定するようにしたので、被写体20のより正確な立体的形状情報を迅速に取得することができる。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば第1実施の形態では、被検物10を明視野照明したが、暗視野照明とすることも可能である。また、第1~5実施の形態において、各観察部の対物レンズの射出瞳に波長板を挿入して位相差顕微鏡とすることも可能である。また、図1のカメラ部115は、撮像素子116として、マイクロレンズアレイ115の1つのマイクロレンズに対して、図11に示すようにx軸方向及びy軸方向に分離した4つのフォトディテクタ116a~116dを配置してもよく、さらに多くのフォトディテクタを配置してもよい。
また、図1に示したカメラ部113は、図12Aに示すようにマイクロレンズアレイ115と撮像素子116との間に、例えばRGBのカラーフィルタ118を1つの色が1つのマイクロレンズ115aに対応するように配置して、カラーの立体的形状情報を得ることもできる。この場合、カラーフィルタ118は、例えば図12Bに示すようにベイヤー配列とすることもできるし、他の公知の配列とすることもできる。
また、カメラ部113は、マイクロレンズアレイ115及び撮像素子116の配置がPlenoptic 1.0タイプの場合を例示したが、これに限らない。例えば、図13に示すように、マイクロレンズアレイ115及び撮像素子116は、結像レンズ112により結像される像をマイクロレンズアレイ115により撮像素子116に再結像するように配置する、いわゆるPlenoptic 2.0タイプでも同様の形状測定が可能である。
さらに、図1に示した落射型照明光学系130の開口絞り134は、例えば図14に示すように、光軸対称に2個の光透過部134a及び134bを有して構成することもできる。図6の透過型照明光学系140の開口絞りや図9の励起光照明光学系150の開口絞り154についても、図14と同様に構成することができる。また、第1実施の形態、第2実施の形態、第5実施の形態において、基準点を設定するためのマーカは独立した投影光学系で投影するようにしてもよい。また、第2~4実施の形態においても、第5実施の形態と同様に、励起光照明光学系を設けることにより、被検物10の蛍光の立体的形状を測定することができる。
また、上述した実施の形態では、画像処理部と制御部とを分離して設けたが、画像処理部は制御部と一体に構成することもできる。
10 被検物
14、18 微小散乱体
20 被写体
100A~100K 観察部
101A~101C カメラ
110 観察光学系
111 対物レンズ
115 マイクロレンズアレイ
116 撮像素子
130 落射型照明光学系
137 マーカ
140 透過型照明光学系
150 励起光照明光学系
200、201 画像処理部
300、301 制御部
14、18 微小散乱体
20 被写体
100A~100K 観察部
101A~101C カメラ
110 観察光学系
111 対物レンズ
115 マイクロレンズアレイ
116 撮像素子
130 落射型照明光学系
137 マーカ
140 透過型照明光学系
150 励起光照明光学系
200、201 画像処理部
300、301 制御部
Claims (8)
- 物体を異なる方向から観察する複数の観察部と、
画像処理部と、を備え、
前記複数の観察部の各々は、対物レンズと、レンズアレイと、撮像素子とを備え、前記物体で変調された光を前記対物レンズ及び前記レンズアレイを経て前記撮像素子で受光して位相差を有する複数の画像信号を出力し、
前記画像処理部は、前記複数の観察部からの前記画像信号に基づいて、前記物体の形状を基準点からの相対的な距離として測定する、
撮像装置。 - 前記レンズアレイは、前記物体の像の結像位置に配置され、
前記撮像素子は、前記レンズアレイの焦点位置に配置されている、
請求項1に記載の撮像装置。 - 前記レンズアレイは、前記物体の像を再結像するように配置され、
前記撮像素子は、前記レンズアレイによる前記物体の像の再結像位置に配置されている、
請求項1に記載の撮像装置。 - 前記複数の観察部は、前記対物レンズの物体側の焦点位置が前記基準点に位置決めされる、
請求項1に記載の撮像装置。 - 前記基準点となるマーカを投影する投影部をさらに備える、
請求項4に記載の撮像装置。 - 前記投影部は、前記複数の観察部のうち一の観察部の前記対物レンズを経て、当該対物レンズの物体側の焦点位置に前記マーカを投影する、
請求項5に記載の撮像装置。 - 前記基準点は、観察領域に配置される散乱体により設定される、
請求項1に記載の撮像装置。 - 前記複数の観察部は、前記物体を蛍光観察して形状を測定する、
請求項1に記載の撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016546196A JP6450392B2 (ja) | 2014-09-03 | 2014-09-03 | 撮像装置 |
PCT/JP2014/004517 WO2016035108A1 (ja) | 2014-09-03 | 2014-09-03 | 撮像装置 |
US15/434,589 US10107620B2 (en) | 2014-09-03 | 2017-02-16 | Image pickup apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/004517 WO2016035108A1 (ja) | 2014-09-03 | 2014-09-03 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/434,589 Continuation US10107620B2 (en) | 2014-09-03 | 2017-02-16 | Image pickup apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016035108A1 true WO2016035108A1 (ja) | 2016-03-10 |
Family
ID=55439219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/004517 WO2016035108A1 (ja) | 2014-09-03 | 2014-09-03 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10107620B2 (ja) |
JP (1) | JP6450392B2 (ja) |
WO (1) | WO2016035108A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017170805A1 (ja) * | 2016-03-31 | 2017-10-05 | 国立大学法人弘前大学 | 多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 |
US20180180867A1 (en) * | 2016-12-22 | 2018-06-28 | Olympus Corporation | Microscope and setting support method |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11616941B2 (en) * | 2018-02-07 | 2023-03-28 | Lockheed Martin Corporation | Direct camera-to-display system |
EP4092464A1 (en) * | 2021-05-17 | 2022-11-23 | Ceramic Data Solutions GmbH | High-speed reading by combining transmissive wide angle view with reflective focus view |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000089124A (ja) * | 1998-09-14 | 2000-03-31 | Nikon Corp | 複合顕微鏡 |
JP2002344800A (ja) * | 2001-05-18 | 2002-11-29 | Minolta Co Ltd | 同期撮影方法および撮影システム |
JP2005300665A (ja) * | 2004-04-07 | 2005-10-27 | Olympus Corp | 生体観察装置 |
JP2013517510A (ja) * | 2010-01-19 | 2013-05-16 | ヴィジョンゲイト,インコーポレーテッド | トモグラフィー光照射野顕微鏡 |
JP2014116789A (ja) * | 2012-12-10 | 2014-06-26 | Nec Casio Mobile Communications Ltd | 撮影装置、その制御方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5214581A (en) * | 1990-01-17 | 1993-05-25 | Rhodes Charles K | Method for object reconstruction from x-ray holograms |
JP4608043B2 (ja) * | 1999-09-24 | 2011-01-05 | オリンパス株式会社 | 顕微鏡用焦点検出装置 |
JP4782958B2 (ja) * | 2001-09-21 | 2011-09-28 | 株式会社リコー | 表面形状測定装置及びその方法、プログラム並びに記憶媒体 |
US7628810B2 (en) * | 2003-05-28 | 2009-12-08 | Acufocus, Inc. | Mask configured to maintain nutrient transport without producing visible diffraction patterns |
US7268938B2 (en) | 2004-04-07 | 2007-09-11 | Olympus Coporation | In-vivo examination apparatus |
US8471230B2 (en) * | 2006-09-01 | 2013-06-25 | Pacific Biosciences Of California, Inc. | Waveguide substrates and optical systems and methods of use thereof |
JP2012163910A (ja) * | 2011-02-09 | 2012-08-30 | Nikon Corp | 顕微鏡装置 |
-
2014
- 2014-09-03 WO PCT/JP2014/004517 patent/WO2016035108A1/ja active Application Filing
- 2014-09-03 JP JP2016546196A patent/JP6450392B2/ja not_active Expired - Fee Related
-
2017
- 2017-02-16 US US15/434,589 patent/US10107620B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000089124A (ja) * | 1998-09-14 | 2000-03-31 | Nikon Corp | 複合顕微鏡 |
JP2002344800A (ja) * | 2001-05-18 | 2002-11-29 | Minolta Co Ltd | 同期撮影方法および撮影システム |
JP2005300665A (ja) * | 2004-04-07 | 2005-10-27 | Olympus Corp | 生体観察装置 |
JP2013517510A (ja) * | 2010-01-19 | 2013-05-16 | ヴィジョンゲイト,インコーポレーテッド | トモグラフィー光照射野顕微鏡 |
JP2014116789A (ja) * | 2012-12-10 | 2014-06-26 | Nec Casio Mobile Communications Ltd | 撮影装置、その制御方法及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017170805A1 (ja) * | 2016-03-31 | 2017-10-05 | 国立大学法人弘前大学 | 多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 |
US10921256B2 (en) | 2016-03-31 | 2021-02-16 | Hirosaki University | Multi-surface image acquisition system, observation device, observation method, screening method, and stereoscopic reconstruction method of subject |
US20180180867A1 (en) * | 2016-12-22 | 2018-06-28 | Olympus Corporation | Microscope and setting support method |
Also Published As
Publication number | Publication date |
---|---|
US10107620B2 (en) | 2018-10-23 |
US20170160076A1 (en) | 2017-06-08 |
JP6450392B2 (ja) | 2019-01-09 |
JPWO2016035108A1 (ja) | 2017-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5244605B2 (ja) | 顕微鏡 | |
JP5999121B2 (ja) | 共焦点光スキャナ | |
CN102483509B (zh) | 三维方向漂移控制装置以及显微镜装置 | |
JP5424267B2 (ja) | マイクロレンズ露光装置 | |
WO2002023248A1 (fr) | Microscope confocal et procede de mesure de hauteur utilisant ledit microscope | |
JP6450392B2 (ja) | 撮像装置 | |
US20140160267A1 (en) | Image Pickup Apparatus | |
JP6241858B2 (ja) | 共焦点顕微鏡 | |
WO2012099034A1 (ja) | 焦点位置維持装置及び顕微鏡 | |
JP2021107926A (ja) | サンプルを画像化するための光学構成 | |
EP1684107B1 (en) | Examination method and examination-assisting tool | |
US20100118297A1 (en) | Microscope having multiple image-outputting devices and probing apparatus for integrated circuit devices using the same | |
US20090128897A1 (en) | Microscope having multiple image- outputting devices and probing apparatus for integrated circuit devices using the same | |
JP2010101672A (ja) | 被検査体における形状検査を行う方法及び被検査体における形状検査装置 | |
JP2008197283A (ja) | スリット走査共焦点顕微鏡、及び画像取得方法 | |
JP2019095293A (ja) | レンズチェッカー | |
WO2021039952A1 (ja) | 皮膚検査装置 | |
JP2011102817A (ja) | 顕微鏡装置 | |
WO2023127261A1 (ja) | オートフォーカス装置 | |
JPH0345802B2 (ja) | ||
JP3118845B2 (ja) | フォーカスインジケータを有する光学装置 | |
JPS6255417B2 (ja) | ||
JP2006146043A (ja) | 位置調整方法、位置調整装置及び光学系 | |
JP2008145162A (ja) | 三次元形状測定装置 | |
JP2018161081A (ja) | 細胞観察装置および細胞観察方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14901349 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016546196 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14901349 Country of ref document: EP Kind code of ref document: A1 |