WO2020059642A1 - 観察装置、観察方法及び観察システム - Google Patents
観察装置、観察方法及び観察システム Download PDFInfo
- Publication number
- WO2020059642A1 WO2020059642A1 PCT/JP2019/035992 JP2019035992W WO2020059642A1 WO 2020059642 A1 WO2020059642 A1 WO 2020059642A1 JP 2019035992 W JP2019035992 W JP 2019035992W WO 2020059642 A1 WO2020059642 A1 WO 2020059642A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- light emitting
- observation
- unit
- emitting diodes
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000926 separation method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 115
- 238000012937 correction Methods 0.000 claims description 38
- 238000007781 pre-processing Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 32
- 239000012620 biological material Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 74
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000005286 illumination Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 230000001902 propagating effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0465—Particular recording light; Beam shape or geometry
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0447—In-line recording arrangement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0465—Particular recording light; Beam shape or geometry
- G03H2001/0471—Object light being transmitted through the object, e.g. illumination through living cells
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0816—Iterative algorithms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
- G03H2001/266—Wavelength multiplexing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/50—Nature of the object
- G03H2210/55—Having particular size, e.g. irresolvable by the eye
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2222/00—Light sources or light beam properties
- G03H2222/10—Spectral composition
- G03H2222/12—Single or narrow bandwidth source, e.g. laser, light emitting diode [LED]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2222/00—Light sources or light beam properties
- G03H2222/10—Spectral composition
- G03H2222/13—Multi-wavelengths wave with discontinuous wavelength ranges
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2222/00—Light sources or light beam properties
- G03H2222/34—Multiple light sources
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2223/00—Optical components
- G03H2223/15—Colour filter, e.g. interferential colour filter
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Definitions
- the present disclosure relates to an observation device, an observation method, and an observation system.
- a lensless microscope without an optical lens (also referred to as a “lens-free microscope”) has been proposed.
- Such a lensless microscope is composed of an image sensor and a coherence light source.
- an in-line hologram of light emitted from a coherence light source and diffracted by an observation target such as a biological material, and direct light emitted from a coherence light source is produced while changing conditions such as distance and wavelength. It is imaged. Thereafter, the amplitude image and the phase image of the observation target are reconstructed by the light propagation calculation, and these images are provided to the user.
- Non-Patent Document 1 discloses a lensless microscope using a coherence light source combining a light emitting diode and a pinhole.
- Non-Patent Document 1 In the combination of the LED and the spatial aperture as disclosed in Non-Patent Document 1, most of the light emitted from the LED cannot pass through the spatial aperture, and the energy use efficiency is low. Was. As a result, the cost is increased in the power supply section and the like, and the advantages of the original lensless microscope cannot be fully exhibited.
- Non-Patent Document 1 When obtaining an inline hologram while changing the separation distance between the image sensor and the observation target, in a lensless microscope as disclosed in Non-Patent Document 1, for example, the observation target is placed. The control for changing the position of the stage is performed. However, when the positioning accuracy of the stage is low, the deviation of the stage position becomes an error factor, and the accuracy of the obtained image is reduced.
- the present invention proposes an observation apparatus, an observation method, and an observation system capable of obtaining a more accurate image.
- the size of each light emitting point is less than 100 ⁇ ( ⁇ : emission wavelength), and the plurality of light emitting diodes having different emission wavelengths have a separation distance between adjacent light emitting diodes of 100 ⁇ ( ⁇ ). (Emission wavelength) or less, and an observation apparatus including an image sensor provided so as to face the light source unit with an observation target interposed therebetween.
- a plurality of light emitting diodes having a size of each light emitting point smaller than 100 ⁇ ( ⁇ : light emitting wavelength) and having different light emitting wavelengths have a separation distance between adjacent light emitting diodes of 100 ⁇ ( [lambda]: light emission wavelength) from the light source unit arranged so as to be equal to or less, to the observation object with light for each emission wavelength, and facing the light source unit via the observation object. And imaging the observation target object for each emission wavelength using the image sensor provided as described above.
- the size of each light emitting point is less than 100 ⁇ ( ⁇ : light emitting wavelength), and the plurality of light emitting diodes having different light emitting wavelengths have a separation distance between adjacent light emitting diodes of 100 ⁇ . ( ⁇ : emission wavelength) or less, an image sensor provided to face the light source via an observation target, and the light emission generated by the image sensor.
- An observation system comprising: an arithmetic processing unit that performs arithmetic processing for obtaining an image of the observation target object using a captured image for each wavelength.
- the light is irradiated onto the observation target from the light source unit including the plurality of light emitting diodes provided so as to satisfy the predetermined condition, and the in-line hologram generated by the emitted light is the observation target.
- An image is taken by an image sensor provided so as to face the light source unit via the.
- FIG. 1 is an explanatory diagram schematically illustrating an example of a configuration of an observation device according to an embodiment of the present disclosure. It is explanatory drawing which showed typically another example of the structure of the observation device which concerns on the embodiment. It is explanatory drawing which showed typically an example of the structure of the light source part with which the observation apparatus which concerns on the embodiment is provided. It is explanatory drawing which showed typically another example of the structure of the light source part with which the observation apparatus which concerns on the embodiment is provided.
- FIG. 3 is a block diagram illustrating an example of a configuration of an arithmetic processing unit included in the observation device according to the same embodiment. FIG. 3 is a block diagram illustrating an example of a configuration of an image calculation unit included in an arithmetic processing unit according to the embodiment.
- FIG. 3 is a block diagram illustrating an example of a configuration of a preprocessing unit included in the image calculation unit according to the embodiment.
- FIG. 4 is an explanatory diagram for describing a reconstruction process performed by a reconstruction processing unit included in the image calculation unit according to the embodiment; 9 is a flowchart illustrating an example of a flow of a reconfiguration process according to the embodiment.
- FIG. 4 is an explanatory diagram for describing a reconstruction process performed by a reconstruction processing unit included in the image calculation unit according to the embodiment;
- FIG. 3 is an explanatory diagram illustrating an example of a reconstructed image obtained by the observation device according to the embodiment.
- FIG. 3 is a block diagram illustrating an example of a hardware configuration of an arithmetic processing unit according to the embodiment.
- FIG. 4 is an explanatory diagram for describing an example.
- FIG. 4 is an explanatory diagram for describing an example.
- FIG. 4 is an explanatory diagram for describing an example.
- Embodiment 1.1 Observation device 1.1.1. Overall configuration of observation device and hologram acquisition unit 1.1.2. Arithmetic processing unit 1.2. 1. Observation method Example
- FIG. 1A is an explanatory diagram schematically illustrating an example of the configuration of the observation device according to the present embodiment
- FIG. 1B is an explanatory diagram schematically illustrating another example of the configuration of the observation device according to the present embodiment.
- FIG. FIG. 2A is an explanatory diagram schematically illustrating an example of a configuration of a light source unit included in the observation device according to the embodiment.
- FIG. 2B is another diagram illustrating another configuration of the light source unit included in the observation device according to the embodiment. It is explanatory drawing which showed an example typically.
- the observation apparatus 1 is an apparatus used for observing a predetermined observation target, and includes light transmitted through the observation target, light diffracted by the observation target, This is an apparatus for reconstructing an image of an observation target using a hologram (more specifically, an inline hologram) image generated by mutual interference between the objects.
- a hologram more specifically, an inline hologram
- the observation object to which the observation apparatus 1 according to the present embodiment focuses is such that light used for observation is transmitted to some extent, and light transmitted through the observation object and light diffracted by the observation object are mutually different.
- Any object can be used as the observation target as long as it can interfere.
- Examples of such an observation target include, for example, a phase object that can be considered to be transparent to some extent with respect to light having a predetermined wavelength used for observation.
- Examples of such a phase object include biological objects.
- Various biological materials such as cells, living tissues, sperm, ova, fertilized eggs, microorganisms and the like can be mentioned.
- the observation apparatus 1 for observing the observation target as described above acquires the hologram image of the observation target by observing the observation target as illustrated in FIGS. 1A and 1B. And a calculation processing unit 20 for executing a series of calculation processing for reconstructing an image of the observation object of interest from the obtained hologram image.
- the hologram acquisition unit 10 is configured to control the hologram image of the observation target C existing in the sample holder H placed at a predetermined position on the observation stage St under the control of the arithmetic processing unit 20 described later. To get.
- the hologram image of the observation target object C obtained by the hologram obtaining unit 10 is output to an arithmetic processing unit 20 described later.
- the detailed configuration of the hologram acquisition unit 10 having such a function will be described later.
- the arithmetic processing unit 20 controls the hologram image acquisition process in the hologram acquisition unit 10 in a comprehensive manner.
- the arithmetic processing unit 20 performs a series of processes for reconstructing an image of the observation target C of interest using the hologram image acquired by the hologram acquisition unit 10. An image obtained by such a series of processing is presented to the user of the observation device 1 as an image obtained by capturing the observation target object C of interest.
- the detailed configuration of the arithmetic processing unit 20 having such a function will be described below again.
- the overall configuration of the observation device 1 according to the present embodiment has been briefly described.
- the observation apparatus 1 according to the present embodiment has a hologram acquisition unit having a hologram acquisition unit 10 having a configuration described in detail below, and an arithmetic processing unit 20 having an operation processing unit 20 having a configuration described in detail below. It is also possible to realize as an observation system including a processing unit.
- the hologram acquisition unit 10 includes a light source unit 11 that irradiates illumination light used to acquire a hologram image of the observation target C, and a generated observation target C Hologram image.
- the operations of the light source unit 11 and the image sensor 13 are controlled by the arithmetic processing unit 20. Further, the position of the observation stage St provided in the hologram acquisition unit 10 in the z direction may be controlled by the arithmetic processing unit 20.
- the illumination light from the light source unit 11 irradiates the observation target C supported in the sample holder H mounted on the observation stage St.
- the sample holder H has a support surface S1 that supports the observation target C, as schematically illustrated in FIG. 1A.
- the sample holder H is not particularly limited, but is, for example, a slide having a slide glass and a cover glass, and has light transmittance.
- the observation stage St has a light-transmissive region through which the illumination light from the light source unit 11 passes, and the sample holder H is placed on such a region.
- the light-transmitting region provided on the observation stage St may be made of, for example, glass or the like, and is made up of an opening communicating the upper surface and the lower surface of the observation stage St along the z-axis direction. Is also good.
- the illumination light is applied to the observation target C, the illumination light is separated into transmitted light H1 transmitted through the observation target C and diffracted light H2 diffracted by the observation target C.
- the observation target C is placed on the sensor surface S2 of the image sensor 13 provided to face the light source unit 11 via the observation target C.
- Hologram in-line hologram
- the magnitude of the separation distance between the support surface S1 and the sensor surface S2 is represented by Z
- the light source unit 11 more specifically, the emission port of the irradiation light
- the image sensor 13 sensor surface S2
- the transmitted light H1 functions as reference light for generating a hologram of the observation target C.
- the hologram image of the observation target C generated in this manner (hereinafter, also simply referred to as “hologram”) is output to the arithmetic processing unit 20.
- the hologram acquisition unit 10 further includes a bandpass filter 15 on an optical path between the light source unit 11 and the observation target C as shown in FIG. 1B.
- the bandpass filter 15 is designed to include the wavelength of the illumination light emitted from the light source unit 11 in the transmission wavelength band.
- the hologram acquisition unit 10 does not use a spatial aperture unlike a conventional lensless microscope, the energy of the illumination light emitted from the light source unit 11 can be used more efficiently. Can be.
- the light source unit 11 emits a plurality of illumination lights having different wavelengths.
- the light source unit 11 includes a plurality of light emitting diodes (Light Emitting Diodes: LEDs) having different emission wavelengths, which can emit partially coherent light in order to emit a plurality of illumination lights having different wavelengths.
- the bandpass filter 15 functions as a multi-bandpass filter designed to have one or a plurality of transmission wavelength bands so as to correspond to the emission wavelength of each LED.
- the emission wavelength of each LED constituting the light source unit 11 is not particularly limited as long as it is different between the LEDs, and light having an arbitrary emission peak wavelength belonging to an arbitrary wavelength band can be used. is there.
- the emission wavelength (emission peak wavelength) of each LED may belong to, for example, an ultraviolet light band, a visible light band, or a near-infrared band.
- any known LED can be used as long as it can satisfy the conditions regarding two types of sizes described in detail below.
- the number of LEDs is not particularly limited as long as it is two or more. However, since the size of the light source unit 11 increases as the number of LEDs increases, it is preferable that the light source unit 11 include three LEDs having different emission wavelengths from each other in consideration of miniaturization of the observation device 1. . In the following, a description will be given by taking as an example a case where the light source unit 11 includes three LEDs having different emission wavelengths.
- the size of the light emitting point of each LED constituting the light source unit 11 is less than 100 ⁇ ( ⁇ : emission wavelength).
- the LEDs constituting the light source unit 11 are arranged such that the separation distance between adjacent LEDs is 100 ⁇ ( ⁇ : emission wavelength) or less.
- the shortest peak wavelength among the peak wavelengths of the light emitted from each LED included in the light source unit 11 is used as the emission wavelength ⁇ which is a reference of the size of the light emitting point and the separation distance between the LEDs.
- each light emitting point is less than 100 ⁇ and the LEDs are close to each other so that the separation distance between adjacent LEDs is 100 ⁇ or less
- the light emission of the LEDs Distortion between holograms due to point mismatches can be canceled by simple shift correction as described in detail below, and a more accurate image can be obtained.
- an LED group satisfying the above two conditions is also referred to as a “micro LED”.
- the size of each light emitting point is 100 ⁇ or more, or when the separation distance between adjacent LEDs exceeds 100 ⁇ , the deviation of the light emitting point between the LEDs becomes remarkable, and will be described in detail below. Even if such shift correction is performed, distortion between holograms cannot be offset.
- each light emitting point is preferably less than 80 ⁇ , more preferably less than 40 ⁇ . Further, the separation distance between adjacent LEDs is preferably 80 ⁇ or less, and more preferably 60 ⁇ or less. The smaller the size of the light emitting point and the distance between adjacent LEDs, the better. The lower limit is not particularly limited.
- the magnitude of the separation distance is not more than five times the size of the light emitting point.
- the size of the separation distance is more preferably not more than 1.5 times the size of the light emitting point.
- the light source unit 11 includes three LEDs 101A, 101B, and 101C having different emission wavelengths (hereinafter, a plurality of LEDs are collectively referred to as a “light emitting diode 101” or “ May be referred to as "LED 101").
- a plurality of LEDs are collectively referred to as a “light emitting diode 101” or “ May be referred to as "LED 101").
- three LEDs 101A, 101B, and 101C are arranged in a line along the x-axis direction.
- the size represented by d corresponds to the size of the light emitting point of the LED 101
- the size of the center distance represented by p corresponds to the separation distance between the adjacent LEDs 101 (in other words, This corresponds to the size of the pitch between adjacent LEDs 101).
- three LEDs 101A, 101B, and 101C having different emission wavelengths are arranged in a triangular shape.
- FIG. BA a mode in which three LEDs 101A, 101B, and 101C are viewed from above the light source unit 11 along the z-axis is schematically shown, and the three LEDs 101A, 101B, and 101C are shown.
- the size represented by d corresponds to the size of the light emitting point of the LED 101
- the size of the center distance represented by p represents the distance between the adjacent LEDs 101. It corresponds to the size of the distance.
- the emission peak wavelength of each LED can be selected from, for example, a combination of 460 nm, 520 nm, and 630 nm. This combination of emission peak wavelengths is merely an example, and any combination of emission peak wavelengths can be adopted.
- the light source unit 11 configured as described above sequentially turns on each of the LEDs 101 to generate a hologram at each emission wavelength.
- the image sensor 13 in the hologram acquisition unit 10 will be described.
- the image sensor 13 according to the present embodiment synchronizes with the lighting state of each LED under the control of the arithmetic processing unit 20 to generate an observation object generated on the sensor surface S2 shown in FIGS. 1A and 1B.
- the hologram C in-line hologram
- the image sensor 13 generates the same number of hologram image data (ie, hologram image data) as the number of light emission wavelengths of the LEDs in the light source unit 11.
- the image sensor 13 is not particularly limited as long as it has sensitivity in a wavelength band of illumination light emitted from various LEDs used as the light source unit 11, and various known image sensors may be used. Is possible. Examples of such an image sensor include a CCD (Charged-Coupled Devices) sensor and a CMOS (Complementary Metal-Oxide-Semiconductor) sensor. These image sensors may be monochrome sensors or color sensors. Further, the pixel size of these image sensors may be appropriately selected according to the size of the light emitting point of the LED 101 used as the light source unit 11 and is not particularly limited, but is, for example, about 100 ⁇ m. It is preferred that
- the arithmetic processing unit 20 performs a series of image reconstruction processes not described in detail below, thereby reproducing the phase distribution of the hologram.
- the bandpass filter 15 according to the present embodiment is installed on an optical path between the light source unit 11 and the observation target C, and only the illumination light emitted from the light source unit 11 is provided. Is transmitted to the observation object C side.
- the bandpass filter 15 is not particularly limited as long as its transmission wavelength band is designed to correspond to the emission peak wavelength of the LED provided in the light source unit 11, and various known bandpass filters are used. Can be used as appropriate.
- the hologram acquisition unit 10 includes the LED having the size and the pitch of the light emitting point satisfying the specific condition, and the image sensor, and further includes the band-pass filter if necessary.
- the hologram image with higher accuracy can be obtained with a very small number of components such as
- the configuration of the hologram obtaining unit 10 in the observation device 1 according to the present embodiment has been described above in detail with reference to FIGS. 1A to 2B.
- the arithmetic processing unit 20 controls the operating state of the hologram acquisition unit 10 included in the observation device 1 according to the present embodiment.
- the arithmetic processing unit 20 uses the hologram image of the observation target C acquired by the hologram acquisition unit 10 to execute a series of processes for reconstructing an image of the observation target C from the hologram image.
- the arithmetic processing unit 20 includes, as schematically shown in FIG. 3, a hologram acquisition control unit 201, a data acquisition unit 203, an image calculation unit 205, an output control unit 207, A display control unit 209 and a storage unit 211 are provided.
- the hologram acquisition control unit 201 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input device, a communication device, and the like.
- the hologram acquisition control unit 201 totally controls the operation state of the hologram acquisition unit 10 based on observation condition information regarding various observation conditions of the hologram acquisition unit 10 input by a user operation. Specifically, the hologram acquisition control unit 201 controls the plurality of LEDs 101 provided in the light source unit 11 of the hologram acquisition unit 10 to control the lighting state of each LED 101.
- the hologram acquisition control unit 201 controls the operating state of the image sensor 13 so that the hologram of the observation target C on the sensor surface S2 of the image sensor 13 for each emission wavelength is synchronized with the lighting state of each LED 101. In-line hologram) image is generated.
- the hologram acquisition control unit 201 can control the position of the observation stage St provided in the hologram acquisition unit 10 along the z-axis direction.
- the hologram acquisition control unit 201 outputs observation condition information and various types of information relating to the operating state of the hologram acquisition unit 10 to the data acquisition unit 203 and the image calculation unit 205, and outputs various information to the data acquisition unit 203 and the image calculation unit 205. It may be used for processing.
- the data acquisition unit 203 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
- the data acquisition unit 203 acquires, from the hologram acquisition unit 10, image data on the hologram image for each emission wavelength of the observation target C acquired by the hologram acquisition unit 10 under the control of the hologram acquisition control unit 201.
- the data acquisition unit 203 outputs the acquired image data of the hologram image to an image calculation unit 205 described later.
- the data acquisition unit 203 may associate the image data of the acquired hologram image with time information on the date and time when the image data was acquired, and then record the history data in the storage unit 211 described later.
- the image calculation unit 205 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the image calculation unit 205 performs a series of image calculation processes for reconstructing an image of the observation target C using the image data output from the data acquisition unit 203 and related to the hologram image for each emission wavelength of the observation target C. I do.
- the detailed configuration of the image calculation unit 205 and the details of the image calculation process performed by the image calculation unit 205 will be described later.
- the output control unit 207 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
- the output control unit 207 controls output of image data regarding the image of the observation target C calculated by the image calculation unit 205.
- the output control unit 207 may output the image data of the observation target C calculated by the image calculation unit 205 via an output device such as a printer, and provide the user with a paper medium. May be output to a recording medium.
- the output control unit 207 causes the image data of the observation target C calculated by the image calculation unit 205 to be output to various information processing devices such as an externally provided computer, server, process computer, and the like. May be shared.
- the output control unit 207 transmits image data of the observation target C calculated by the image calculation unit 205 to a display device such as various displays included in the observation device 1 in cooperation with a display control unit 209 described below, Output may be made to a display device such as various displays provided outside the observation device 1.
- the display control unit 209 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
- the display control unit 209 transmits the image of the observation target object C calculated by the image calculation unit 205 and various types of information related to the image to an output device such as a display included in the arithmetic processing unit 20 or the arithmetic processing unit 20. It performs display control when displaying on an output device or the like provided outside. Thereby, the user of the observation device 1 can grasp various information regarding the observation target object of interest on the spot.
- the storage unit 211 is realized by, for example, a RAM or a storage device included in the arithmetic processing unit 20.
- the storage unit 211 stores various databases and software programs used when the hologram acquisition control unit 201 and the image calculation unit 205 perform various processes.
- the storage unit 211 stores various setting information in the control processing of the hologram acquisition unit 10 performed by the hologram acquisition control unit 201 and various image processing performed by the image calculation unit 205, and the arithmetic processing according to the present embodiment.
- Various parameters that need to be stored when the unit 20 performs some processing, the progress of the processing, and the like are appropriately recorded.
- the hologram acquisition control unit 201, the data acquisition unit 203, the image calculation unit 205, the output control unit 207, the display control unit 209, and the like can freely perform data read / write processing.
- the image calculation unit 205 performs a series of image calculation processes for reconstructing an image of the observation target C using image data on a hologram image for each emission wavelength of the observation target C.
- the image calculation unit 205 includes a propagation distance calculation unit 221, a preprocessing unit 223, a reconstruction processing unit 225 having a reconstruction calculation unit 225A and an amplitude replacement unit 225B, Having.
- Illumination light having emission peak wavelengths ⁇ 1 , ⁇ 2 , ⁇ 3 is emitted from the light source unit 11, and the hologram images g ⁇ 1 , g ⁇ 2 , g ⁇ 3 (more specifically, hologram amplitude intensity Image).
- the propagation distance calculation unit 221 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the propagation distance calculation unit 221 uses the digital focusing technique (digital focusing) using the Rayleigh-Sommerfeld diffraction integration to separate the distance Z (see FIG. 1A and FIG. 1B) between the support surface S1 and the support surface S1.
- the specific value of the separation distance from the sensor surface S2) is calculated as the propagation distance Z.
- the digital focusing refers to adjusting the propagation distance Z (the separation distance Z shown in FIGS. 1A and 1B) between the support surface S1 and the sensor surface S2, so that each hologram image g ⁇ 1 , g ⁇ 2 , This is a method for determining the focal position of g ⁇ 3 .
- the hologram acquisition control unit 201 previously controls the hologram acquisition unit 10 to acquire the focus image a (x, y, z) at each emission wavelength while changing the z-coordinate position of the observation stage St. deep.
- a (x, y, 0) corresponds to the hologram image g ⁇ n generated on the sensor surface S2.
- the propagation distance calculation unit 221 calculates a luminance difference value f (z + ⁇ z / Z) between the focus images represented by the following equation (101) using a plurality of focus images having different z-coordinate positions. .
- the sum of the luminance differences at each point constituting the image data is calculated for the entire image. By using such a sum, it is possible to obtain an output curve indicating how the luminance value changes along the z-axis direction (optical path direction).
- the propagation distance calculation unit 221 calculates a differential value f ′ (z) of the variable z of f (z + ⁇ z / Z) calculated based on the equation (101). Then, the z position at which the peak of the obtained differential value f '(z) is given becomes the focus position of the hologram image g of interest.
- a focus position is a specific value of the separation distance Z shown in FIGS. 1A and 1B, and is a propagation distance.
- the propagation distance calculation unit 221 outputs the information on the propagation distance Z obtained in this way to the preprocessing unit 223 and the reconstruction processing unit 225 at the subsequent stage.
- the propagation distance calculation unit 221 calculates the separation distance Z by the digital focus technique using the Rayleigh-Sommerfeld diffraction integral has been described.
- the propagation distance Z may be calculated based on the mechanical accuracy of the unit 10 (the positioning accuracy of the observation stage St).
- the pre-processing unit 223 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the preprocessing unit 223 performs preprocessing on the captured image (that is, the hologram image g ⁇ n ) for each emission wavelength, including at least image shift correction according to the positional relationship between the plurality of light emitting diodes.
- the pre-processing unit 223 includes a gradation correction unit 231, an up-sampling unit 233, an image shifting unit 235, an image edge processing unit 237, and an initial complex amplitude generation unit 239. Have.
- the gradation correction unit 231 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the gradation correction unit 231 performs gradation correction (for example, dark level correction and inverse gamma correction) of the image sensor 13 and is based on the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 output from the data acquisition unit 203.
- a process for returning the image signal to a linear state is performed.
- the specific processing contents of the gradation correction to be performed are not particularly limited, and various known processing contents can be appropriately used.
- the tone correcting unit 231 outputs the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 after the tone correction to the subsequent up-sampling unit 233.
- the up-sampling unit 233 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the up-sampling unit 233 up-samples the image signals of the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 after the gradation correction. Since the hologram acquisition unit 10 according to the present embodiment is configured as a so-called lensless microscope, its resolution may exceed the Nyquist frequency of the image sensor 13. Therefore, in order to exhibit the limit performance, the up-sampling process is performed on the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 after the gradation correction.
- the upsampling process specifically performed is not particularly limited, and various known upsampling processes can be appropriately used.
- the image shift unit 235 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the image shift unit 235 performs a plurality of light emission operations on the hologram image for each emission wavelength (more specifically, the hologram image on which the gradation correction process and the upsampling process have been performed) acquired by the hologram acquisition unit 10.
- Image shift correction is performed according to the positional relationship of the diodes.
- the image shift unit 235 performs the shift correction so that the positional shift between the hologram images due to the position where each LED 101 is provided is eliminated.
- Such shift correction is performed by shifting the spatial coordinates (x, y, z) defining the pixel position of the hologram image in a predetermined direction.
- the image shift unit 235 selects one reference LED 101 from among the plurality of LEDs 101, and of the hologram image captured using the remaining LEDs 101 other than the reference LED among the plurality of LEDs 101.
- the spatial coordinates (x, y, z) are shifted in the direction of the hologram image captured using the reference LED.
- the amount of movement (shift amount) when performing such a shift includes the amount of positional deviation between the LEDs 101 of interest, the distance (LZ) between the light source unit 11 and the support surface S1, the support surface S1 and the sensor surface. It is determined according to the magnification determined by the distance Z to S2.
- the distance Z is the propagation distance calculated by the propagation distance calculation unit 221.
- the image shift unit 235 sets the spatial coordinates defining the pixel position of the hologram image by the correction amount calculated by the following equation (111).
- (X, y, z) is corrected to (x + ⁇ , y, z).
- the image shift unit 235 determines the pixel amount of the hologram image by the correction amount calculated by the following equation (111).
- the coordinates (x, y, z) are corrected to (x- ⁇ , y, z).
- ⁇ correction amount L: distance between light source unit and image sensor Z: distance between observation object and image sensor p: distance between light emitting diodes.
- the LED 101B located at the center in FIG. 2A is referred to, but the LED 101A or the LED 101C may be referred to.
- the spatial coordinates (x, y, z) defining the pixel positions constituting the hologram image may be shifted in the direction of the reference LED.
- the image shift unit 235 converts the spatial coordinates (x, y, z) defining the pixel position of the hologram image obtained using the LED 101B into (x + (p / 2) ⁇ ⁇ Z / (LZ) ⁇ . , Y ⁇ ⁇ (3 0.5 / 2) ⁇ p ⁇ ⁇ ⁇ Z / (L ⁇ Z) ⁇ , z).
- the image shift unit 235 converts the spatial coordinates (x, y, z) defining the pixel position of the hologram image obtained using the LED 101B into (x ⁇ (p / 2)). ⁇ ⁇ Z / (L ⁇ Z) ⁇ , y ⁇ ⁇ ( 30.5 / 2) ⁇ p ⁇ ⁇ ⁇ Z / (L ⁇ Z) ⁇ , z).
- the LED 101B or the LED 101C can be used as a reference.
- the magnification ⁇ Z / (L ⁇ Z) determined by the distance between the LEDs at the position of the light source unit 11 and the positional relationship among the light source unit 11, the observation target C, and the image sensor 13.
- the spatial coordinates (x, y, z) defining the pixel positions constituting the hologram image may be shifted in the direction of the reference LED.
- the shift amount is calculated in the length unit system of the parameters p, Z, and L. Therefore, it is preferable that the image shift unit 235 finally converts the correction amount into a pixel unit system based on the pixel pitch of the image sensor 13.
- the shift correction as described above is realized because the light source unit 11 according to the present embodiment uses the micro LED in the state where the two conditions regarding the size are satisfied as described above. You can do it.
- the light source unit 11 when the two conditions relating to the size as described above are not satisfied, even if the spatial coordinates defining the pixel position of the hologram image are shifted based on the above-described concept, The positional deviation between them cannot be eliminated.
- the image shift unit 235 performs the shift correction on the hologram image on which the gradation correction and the upsampling process have been performed, and transmits the hologram image after the shift correction to the subsequent image end processing unit 237. Output.
- the image shift unit 235 selects not a position of the LED 101 as a reference, but a reference position such as, for example, a center of gravity of the arrangement position of the plurality of LEDs 101, and sets a pixel position forming a hologram image at such a position.
- the defined space coordinates may be shifted.
- the image edge processing unit 237 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the image edge processing unit 237 performs image edge processing on the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 after the image shift.
- the image edge processing unit 237 After performing the above processing, the image edge processing unit 237 outputs the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 after the execution to the initial complex amplitude generation unit 239 at the subsequent stage.
- the initial complex amplitude generator 239 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the initial complex amplitude generation unit 239 sets the real part of the complex amplitude of the hologram to the square root of the pixel value (luminance value) and sets the imaginary part to 0 for the hologram images g ⁇ 1 , g ⁇ 2 , and g ⁇ 3 , This is the initial value of the amplitude.
- initial complex amplitudes of the hologram images g ⁇ 1 , g ⁇ 2 , g ⁇ 3 having only amplitude components are generated.
- the above-described pixel value (luminance value) is a pixel value (luminance value) after the above-described various preprocessing has been performed.
- a preprocessed image to be subjected to a series of reconstruction processes in the reconstruction processing unit 225 is generated.
- the initial complex amplitude generation unit 239 Upon generating the preprocessed image as described above, the initial complex amplitude generation unit 239 outputs the generated preprocessed image to the reconstruction processing unit 225.
- the reconstruction processing unit 225 includes a reconstruction operation unit 225A and an amplitude replacement unit 225B.
- the reconstruction processing unit 225 repeats the propagation between the planes between the sensor surface S2 and the support surface S1, using the hologram image (more specifically, the preprocessed image) output from the preprocessing unit 223 as a constraint. Thereby, the phase component of the complex amplitude distribution related to the hologram lost on the sensor surface S2 is recovered.
- the reconstruction processing unit 225 performs the light wave propagation calculation by the reconstruction calculation unit 225A, and while propagating the hologram image, the amplitude replacement unit 225B repeatedly replaces these amplitude components, thereby obtaining the lost phase. Restore ingredients. At this time, the reconstruction processing unit 225 repeatedly executes a cycle of replacing the amplitude component of the complex amplitude distribution of the hologram image obtained from the result of the propagation calculation with the actually measured amplitude component so that only the phase component remains.
- Maxwell's equation reduces to a wave equation.
- each component of the electric field and the magnetic field satisfies the Helmholtz equation represented by the following equation (201).
- g (x, y, z) is a complex amplitude component of the electromagnetic field vector component
- k is a wave number represented by the following equation (203).
- the “propagation of the hologram image” refers to the boundary condition g (x, y, Z) of the hologram image given on a specific plane (propagation source plane) (that is, the complex condition of the hologram image on the sensor surface S2). This is a series of processes for obtaining a solution of the Helmholtz equation on another plane (the support surface S1 in this embodiment) for the amplitude component). Such a propagation process is called an angular spectrum method (plane wave expansion method).
- the reconstruction processing unit 225 uses the complex amplitude distribution of the hologram transmitted from the sensor surface S2 to the support surface S1 at a predetermined wavelength from the support surface S1 at a wavelength different from the above-described wavelength, as described later.
- the complex amplitude distribution of the hologram propagating on the sensor surface S2 is recalculated. Therefore, in the present embodiment, a calculation formula in which the above formula (209) is replaced by the following formula (213) is adopted.
- the hologram propagates from the complex amplitude distribution of a hologram g .lambda.1 propagated to the supporting surface S1 from the sensor plane S2 at wavelength lambda 1, from the support surface S1 to the sensor plane S2 at wavelength ⁇ 2 g ⁇ 2 Is calculated.
- the reconstruction calculation unit 225A repeatedly executes the light wave propagation calculation between the sensor surface S2 and the support surface S1 based on the propagation calculation expressions of Expressions (209) and (213). Become. For example, when the amplitude replacement unit 225B does not perform the amplitude replacement on the support surface S1, as described below, the reconstruction calculation unit 225A performs the propagation calculation based on Expression (213).
- the reconstruction calculation unit 225A calculates the complex amplitude distribution (light intensity distribution) of the hologram image g ⁇ 1 by:
- a first light wave propagation calculation for propagating from the sensor surface S2 to the support surface S1 is executed (step S103).
- the complex amplitude distribution of the hologram image g ⁇ 1 output from the preprocessing unit 223 is represented by the following equation (221), and the complex amplitude distribution of the hologram image g ⁇ 1 propagated to the support surface S1 is represented by the following equation (223). Is done.
- the complex amplitude distribution of the hologram g ⁇ 1 represented by the following equation (223) is the complex amplitude distribution of the hologram image g ⁇ 1 obtained as a result of the first light wave propagation calculation.
- the complex amplitude distribution of the hologram image of the present embodiment is a complex amplitude distribution of light forming the hologram, and has the same meaning in the following description.
- a (x, y, z) is an amplitude component
- exp (i ⁇ (x, y, z)) is a phase component (set initial value).
- a ′ (x, y, 0) is an amplitude component
- exp (i ⁇ ′ (x, y, 0)) is a phase component.
- the amplitude replacement section 225B is complex amplitude distribution of the amplitude component A a hologram image g .lambda.1 that is propagated at the wavelength lambda 1 to the supporting surface S1 'is separated, the amplitude component A' calculates an average value A ave of .
- the amplitude replacement unit 225B replaces the amplitude component A ′ of the complex amplitude distribution with respect to the hologram image g ⁇ 1 with an average value A ave on the support surface S1 as part of a second light wave propagation calculation described later (step S105). ).
- the hologram image g ⁇ 1 in which the amplitude component A ′ has been replaced with the average value A ave is represented by the following equation (225). Further, the average value Aave to be replaced is as shown in the following equation (227).
- the parameter N in the following equation (227) is the total number of pixels.
- the average value A ave is typically the average value of the amplitude component A ′ in the complex amplitude distribution (formula (223)) obtained as a result of the first lightwave propagation calculation.
- the average value is a ratio of the sum of the amplitude components corresponding to each pixel of the hologram image g ⁇ 1 (x, y, 0) to the number N of pixels of the hologram image g ⁇ 1 (x, y, 0) (accumulated average). It can be.
- the amplitude component A ′ is replaced with the average value A ave , but the present invention is not limited to this.
- the amplitude component A ′ of the complex amplitude distribution (formula (223)) of the hologram image g ⁇ 1 is used. It is also possible to use a predetermined amplitude representative value in '.
- the amplitude replacement unit 225B may replace the amplitude component A ′ with a median value of the amplitude component A ′ other than the average value A ave , or may replace the amplitude component A ′ with a low-pass filter transmission component of the amplitude component A ′. .
- reconstruction operation unit 225A includes a holographic image g .lambda.1 of the amplitude component A 'is substituted to the average value A ave complex amplitude distribution, from the support surface S1 second propagating to the sensor plane S2 at wavelength lambda 2
- the light wave propagation calculation is executed (step S107). That is, the complex amplitude distribution of a hologram image g .lambda.1 represented by the formula (225), the complex amplitude distribution of a hologram g .lambda.2 propagating in the sensor plane S2 at wavelength lambda 2, obtained by propagation calculations.
- the complex amplitude distribution for the hologram image g ⁇ 2 is represented by the following equation (229).
- the amplitude replacement section 225B the amplitude component A of the complex amplitude distribution of a hologram image g .lambda.2 which is propagated by the wavelength lambda 2 "a, as a part of the first light wave propagation calculation, the amplitude component A on the sensor surface S2" substituting the measured value a .lambda.2 (step S109).
- the measured value A .lambda.2 is the amplitude component separated from the hologram image g .lambda.2 acquired as the input image I in2.
- the hologram image g ⁇ 2 in which the amplitude component A ′′ is replaced with the actually measured value A ⁇ 2 on the sensor surface S2 is represented by the following equation (231).
- a hologram image g ⁇ 2 having a phase component is obtained.
- a ⁇ 2 (x, y, z) is an amplitude component
- exp (i ⁇ ′′ (x, y, z)) is a recovered phase component. .
- the reconstruction processing unit 225 causes the first light to propagate the complex amplitude distribution including the light intensity distribution of the hologram image of the observation target C acquired on the sensor surface S2 from the sensor surface S2 to the support surface S1.
- a cycle is executed in which a propagation calculation is performed and a second light propagation calculation is performed to propagate the complex amplitude distribution obtained as a result of the first light propagation calculation from the support surface S1 to the sensor surface S2.
- the reconstruction calculation unit 225A determines whether or not the above-described propagation calculation has converged (step S135).
- the specific method for determining convergence is not particularly limited, and various known methods can be used.
- the reconfiguration operation unit 225A determines that a series of operation processes for phase recovery have not converged (step S135-NO)
- the reconfiguration operation unit 225A returns to step S103, and returns to step S103.
- a series of arithmetic processing is restarted.
- the reconstruction arithmetic unit 225A calculates the complex amplitude distribution of the obtained hologram image as shown in FIG.
- the obtained reconstructed image is output.
- the point at which a series of arithmetic processing for phase recovery is ended is determined by the convergence determination.
- the above-described convergence determination but the above-described series of The point in time when a series of calculation processing ends may be determined based on whether the calculation has been performed a specified number of times.
- the number of repetitions of the operation is not particularly specified, but is preferably, for example, about 10 to 100 times.
- the reconstructing operation unit 225A When obtaining a reconstructed image, the reconstructing operation unit 225A performs an operation of Re 2 + Im 2 using the real part (Re) and the imaginary part (Im) of the finally obtained complex amplitude distribution.
- Re real part
- Im imaginary part
- an amplitude image of the observation object C of interest can be obtained, and a phase image of the observation object C of interest can be obtained by performing the operation Atan (Im / Re).
- the propagation wavelength is ⁇ 1 ⁇ ⁇ 2 ⁇ ⁇ 2 ⁇ ⁇ 3 ⁇ ⁇ 3 ⁇ ⁇ 2 ⁇ ⁇ . Attention has been paid to a case where the order is used in the order of 2 ⁇ ⁇ 1 ⁇ ⁇ 1 .
- the order of the propagation wavelengths is not limited to the examples shown in FIG. 6 and FIG.
- the reconstruction processing unit 225 may select the propagation wavelength in the order of ⁇ 1 ⁇ ⁇ 3 ⁇ ⁇ 3 ⁇ ⁇ 2 ⁇ ⁇ 2 ⁇ ⁇ 3 ⁇ ⁇ 3 ⁇ ⁇ 1 ⁇ ⁇ 1 or ⁇ 3
- the propagation wavelength may be selected in the order of ⁇ ⁇ 1 ⁇ ⁇ 1 ⁇ ⁇ 2 ⁇ ⁇ 2 ⁇ ⁇ 1 ⁇ ⁇ 1 ⁇ ⁇ 3 ⁇ ⁇ 3 .
- a reconstructed image can be obtained in the same manner as described above.
- the reconstruction processing unit 225 can calculate the amplitude image and the phase image of the observation target C of interest.
- FIG. 9 shows an example of the phase image of the observation object thus obtained.
- FIG. 9 is an example in which the myocardial cells are observed by the observation device 1 according to the present embodiment, and it can be seen that the images of the myocardial cells are favorably obtained.
- each of the above components may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component. Further, the functions of each component may be entirely performed by a CPU or the like. Therefore, the configuration to be used can be appropriately changed according to the technical level at the time of implementing the present embodiment.
- a computer program for realizing each function of the arithmetic processing unit according to the present embodiment as described above can be created and mounted on a personal computer or the like.
- a computer-readable recording medium in which such a computer program is stored can be provided.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
- the above-described computer program may be distributed, for example, via a network without using a recording medium.
- FIG. 10 is a block diagram for describing a hardware configuration of the arithmetic processing unit 20 according to the embodiment of the present disclosure.
- the arithmetic processing unit 20 mainly includes a CPU 901, a ROM 903, and a RAM 905.
- the arithmetic processing unit 20 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
- the CPU 901 functions as an arithmetic processing device and a control device, and controls the entire operation in the arithmetic processing unit 20 or a part thereof according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
- the ROM 903 stores programs used by the CPU 901 and operation parameters.
- the RAM 905 temporarily stores a program used by the CPU 901, parameters that appropriately change in execution of the program, and the like. These are interconnected by a host bus 907 constituted by an internal bus such as a CPU bus.
- the host bus 907 is connected via a bridge 909 to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus.
- PCI Peripheral Component Interconnect / Interface
- the input device 915 is an operation unit operated by a user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, a remote control unit (so-called remote controller) using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA corresponding to the operation of the arithmetic processing unit 20. 929. Further, the input device 915 includes, for example, an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901. By operating the input device 915, the user can input various data to the arithmetic processing unit 20 and instruct a processing operation.
- a remote control unit such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
- the input device 915 may be, for example, a remote control unit (s
- the output device 917 is a device that can visually or audibly notify the user of the acquired information. Examples of such a device include a CRT display device, a liquid crystal display device, a plasma display device, a display device such as an EL display device and a lamp, an audio output device such as a speaker and headphones, a printer device, a mobile phone, and a facsimile.
- the output device 917 outputs, for example, results obtained by various processes performed by the arithmetic processing unit 20. Specifically, the display device displays results obtained by various processes performed by the arithmetic processing unit 20 as text or images.
- the audio output device converts an audio signal including reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
- the storage device 919 is a data storage device configured as an example of a storage unit of the arithmetic processing unit 20.
- the storage device 919 includes, for example, a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
- the storage device 919 stores programs executed by the CPU 901 and various data, various data acquired from the outside, and the like.
- the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the arithmetic processing unit 20.
- the drive 921 reads information recorded on a mounted removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 905.
- the drive 921 can also write data on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
- the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
- the removable recording medium 927 may be a Compact Flash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact type IC chip is mounted, an electronic device, or the like.
- CompactFlash registered trademark
- SD memory card Secure Digital memory card
- the connection port 923 is a port for directly connecting a device to the arithmetic processing unit 20.
- Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE1394 port, and a SCSI (Small Computer System Interface) port.
- Other examples of the connection port 923 include an RS-232C port, an optical audio terminal, and an HDMI (registered trademark) (High-Definition Multimedia Interface) port.
- the communication device 925 is a communication interface including, for example, a communication device for connecting to the communication network 931.
- the communication device 925 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
- the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various kinds of communication, or the like.
- the communication device 925 can transmit and receive signals and the like to and from the Internet and other communication devices in accordance with a predetermined protocol such as TCP / IP.
- the communication network 931 connected to the communication device 925 is configured by a network or the like connected by wire or wirelessly, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
- each of the above components may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at the time of implementing the present embodiment.
- FIG. 11 is a flowchart illustrating an example of the flow of the observation method according to the present embodiment.
- the hologram acquisition unit 10 of the observation device 1 converts the hologram image of the observation object of interest under the control of the arithmetic processing unit 20. It is acquired for each emission wavelength of the illumination light emitted from the light source unit 11 (step S11). The acquired hologram image is output to the arithmetic processing unit 20 of the observation device 1.
- the propagation distance calculation unit 221 included in the arithmetic processing unit 20 of the observation device 1 calculates the propagation distance z using the obtained hologram image (Step S13), and outputs the obtained result to the preprocessing unit 223 and Output to the reconstruction processing unit 225.
- the preprocessing unit 223 performs a series of preprocessing as described above using the obtained hologram image and the propagation distance calculated by the propagation distance calculation unit 221 (Step S15).
- the image shift correction based on the position of the LED is performed, so that the observation method according to the present embodiment can more easily reduce distortion that may occur in the in-line hologram when using a plurality of lights having different wavelengths. Can be suppressed in a simple manner.
- the reconstruction processing unit 225 performs a series of reconstruction processes as described above using the pre-processed hologram image (pre-processed image) (step S17). Thereby, the reconstruction processing unit 225 can obtain a reconstructed image (amplitude image, phase image) of the observation object of interest. After calculating the reconstructed image of the observation object of interest, the reconstruction processing unit 225 outputs the image data of the reconstructed image to the output control unit 207.
- the output control unit 207 outputs the reconstructed image output from the reconstruction processing unit 225 by, for example, a method designated by the user, and presents it to the user (step S19). This allows the user to observe the observation object of interest.
- a transparent phase object such as a cell can be formed by a hologram acquisition unit including an LED, an image sensor, and a bandpass filter having a very small number of components.
- a device that can be observed well Since such a device is extremely easy to miniaturize, it is possible to arrange an observation device even in a region where a microscope cannot be set up, such as in a bioreactor. As a result, a phase image of a biological material such as a cell can be more easily acquired.
- the observation device since the light beam is not discarded due to a spatial aperture or the like, it is possible to realize an observation device having a light source with high efficiency and low power consumption. Further, by using micro LEDs that are close to each other and have different wavelengths, complicated pre-processing is not required, and the processing can be simplified and speeded up. (Example)
- observation device and the observation method according to the embodiment of the present disclosure will be briefly described while showing specific images.
- a part of a commercially available resolution test chart was observed using an observation apparatus having a configuration as shown in FIGS. 1B and 2A.
- a device in which the light source unit of the observation device is replaced with a commonly used LED and a lensless microscope of a conventional system are also used. The observation was performed in the same manner.
- FIGS. 12 (a) to 12 (c) In order to compare the results shown in FIGS. 12 (a) to 12 (c) in a more understandable manner, each of the images shown in FIGS. 12 (a) to 12 (c) is subjected to a Fourier transform to obtain an FFT spectrum. Then, the frequency characteristics of the recorded in-line holograms were compared. The obtained results are shown in FIGS. 13 (a) to 14 (c).
- FIGS. 13A to 13C show FFT spectra on the basis of the length unit system, and the unit of the horizontal axis is [mm ⁇ 1 ].
- FIGS. 14A to 14C show FFT spectra based on the pixel unit system, and the unit of the horizontal axis is [pixel ⁇ 1 ].
- the frequency was 108 mm ⁇ 1 (0.12 pixel ⁇ 1 ).
- the frequency of 0.12 pixel -1 is a frequency that gives an interference fringe having a width of 8.3 pixels.
- the frequency is 279 mm ⁇ 1 (0.31 pixel ⁇ 1).
- the frequency of 0.31 pixel -1 is a frequency that gives an interference fringe having a 3.2 pixel width.
- the frequency is 219 mm ⁇ 1 (0.25 pixel ⁇ 1 ).
- the frequency of 0.25 pixel -1 is a frequency that gives an interference fringe having a 4.0 pixel width.
- the use of the observation device according to the embodiment of the present disclosure includes finer frequency components than using a general LED as a coherence light source. Further, it can be seen that the observation device according to the embodiment of the present disclosure records even finer frequency components than the conventional method. Such a result indicates that the observation apparatus according to the embodiment of the present disclosure can record an inline hologram (in other words, higher-frequency interference) with higher accuracy than the conventional method. This is presumed to be a result of the light source section of the observation device according to the embodiment of the present disclosure being generated because the light emitting point is smaller than that of the conventional pinhole.
- each light emitting point is less than 100 ⁇ ( ⁇ : emission wavelength), and a plurality of light emitting diodes having different emission wavelengths have a separation distance between adjacent light emitting diodes of 100 ⁇ ( ⁇ : emission wavelength) or less.
- a light source unit arranged to be An image sensor provided so as to face the light source unit via an observation target,
- An observation device comprising: (2) The observation device according to (1), wherein the magnitude of the separation distance is not more than five times the size of the light emitting point.
- the observation device further includes an arithmetic processing unit that performs an arithmetic process for obtaining an image of the observation target, using the captured image for each emission wavelength, generated by the image sensor, The arithmetic processing unit, For a captured image for each emission wavelength, a preprocessing unit that performs preprocessing including at least image shift correction according to the positional relationship of the plurality of light emitting diodes, Using the captured image after the preprocessing, a reconstruction processing unit that reconstructs an image of the observation target,
- the observation device according to any one of (1) to (3), comprising: (5) The observation device according to (4), wherein the preprocessing unit performs the shift correction so that a positional shift between the captured images due to a position where each of the light emitting diodes is provided is eliminated
- the pre-processing unit From the plurality of light emitting diodes, select one of the light emitting diodes as a reference, Of the plurality of light emitting diodes, the spatial coordinates of the captured image captured using the remaining light emitting diodes other than the reference light emitting diode, the captured image captured using the reference light emitting diode.
- the observation device according to (4) or (5), wherein the observation device is shifted in the direction of (4).
- the light source unit three light emitting diodes having different emission wavelengths are arranged in a line,
- the pre-processing unit the spatial coordinates of the captured image captured using the light emitting diodes located at both ends, the direction of the captured image captured using the light emitting diode located in the center, the following formula
- the observation device according to any one of (4) to (6), wherein the observation device is shifted by the correction amount ⁇ calculated in (1).
- the preprocessing unit shifts spatial coordinates of the captured image captured using any two of the light emitting diodes in a direction of the captured image captured using the remaining one light emitting diode, ( The observation device according to any one of 4) to 6). (9) The observation device according to any one of (1) to (8), wherein the observation target is a biomaterial. (10) The size of each light emitting point is less than 100 ⁇ ( ⁇ : emission wavelength), and a plurality of light emitting diodes having different emission wavelengths have a separation distance between adjacent light emitting diodes of 100 ⁇ ( ⁇ : emission wavelength) or less.
- each light emitting point is less than 100 ⁇ ( ⁇ : emission wavelength), and a plurality of light emitting diodes having different emission wavelengths have a separation distance between adjacent light emitting diodes of 100 ⁇ ( ⁇ : emission wavelength) or less.
- a light source unit arranged to be An image sensor provided so as to face the light source unit via an observation target, An arithmetic processing unit that performs an arithmetic process for obtaining an image of the observation target, using the captured image generated for each emission wavelength, generated by the image sensor,
- An observation system comprising:
- ⁇ correction amount L: distance between light source unit and image sensor Z: distance between observation object and image sensor p: distance between light emitting diodes.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Microscoopes, Condenser (AREA)
- Holo Graphy (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Geometry (AREA)
Abstract
異なる波長を有する複数の光を用いる際に、インラインホログラムに生じうる歪みをより簡便な方法で抑制しつつ、光エネルギーの利用効率をより向上させて、より精度の良い画像を得ること。本開示に係る観察装置(1)は、各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオード(101)が、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部(11)と、観察対象物を介して前記光源部と対向するように設けられたイメージセンサ(13)と、を備える。
Description
本開示は、観察装置、観察方法及び観察システムに関する。
従来、小型で低コストな顕微鏡として、光学レンズを用いないレンズレス顕微鏡(「レンズフリー顕微鏡」とも呼ばれる。)が提案されている。かかるレンズレス顕微鏡は、イメージセンサと、コヒーレンス光源とから構成されている。レンズレス顕微鏡では、コヒーレンス光源から出射し、かつ、生体材料等の観察対象物で回折した光と、コヒーレンス光源から出射した直接光と、のインラインホログラムが、距離や波長等といった条件を変えながら複数撮像される。その後、光伝播計算により、観察対象物の振幅画像及び位相画像が再構成され、これら画像がユーザに提供される。
このようなレンズレス顕微鏡では、従来、発光ダイオード(Light Emitting Diode:LED)と空間アパーチャ(例えば、ピンホールやシングルコア光ファイバ)との組み合わせが、コヒーレンス光源として用いられいる。例えば、以下の非特許文献1では、発光ダイオードとピンホールとを組み合わせたコヒーレンス光源を用いたレンズレス顕微鏡が開示されている。
O.Mudanyali et.al.,Lab Chip,2010,10,p.1417-1428.
しかしながら、上記非特許文献1で開示されているような、LEDと空間アパーチャとの組み合わせでは、LEDから出射された光の大部分が空間アパーチャを通過することができず、エネルギーの利用効率が低かった。その結果、電源部などにおいてコストが増加し、本来のレンズレス顕微鏡が有する利点が十分に発揮できなかった。
また、イメージセンサと観察対象物との間の離隔距離を変えながらインラインホログラムを得る場合に、上記非特許文献1で開示されているようなレンズレス顕微鏡では、例えば観察対象物が載置されているステージの位置を変更する制御が行われる。しかしながら、ステージの位置決め精度が低い場合には、ステージ位置のズレが誤差要因となり、得られる画像の精度が低下してしまう。
また、異なる波長を有する複数の光を用いる場合、発光点から離れるほど光線の角度差が大きくなり、記録されるインラインホログラムに歪みが生じ、画像の再構成に不具合が生じることが懸念される。光線の角度差に起因する歪みを防止するためには、同一の光ファイバに複数の光を導入する、ダイクロイックミラーを用いて複数の光を合波する、等といった解決策が、一見考えられる。しかしながら、このような解決策を用いた場合、顕微鏡全体が大型化したり、コストが増加したりすることとなり、小型で低コストというレンズレス顕微鏡の利点に反するものであった。
そこで、本開示では、上記事情に鑑みて、異なる波長を有する複数の光を用いる際に、インラインホログラムに生じうる歪みをより簡便な方法で抑制しつつ、光エネルギーの利用効率をより向上させて、より精度の良い画像を得ることが可能な、観察装置、観察方法及び観察システムを提案する。
本開示によれば、各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、を備える、観察装置が提供される。
また、本開示によれば各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、を含む、観察方法が提供される。
また、本開示によれば、各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、を備える、観察システムが提供される。
本開示によれば、所定の条件を満足するように設けられた複数の発光ダイオードを含む光源部から観察対象物に対して光が照射され、照射された光によって生じるインラインホログラムが、観察対象物を介して光源部と対向するように設けられたイメージセンサによって撮像される。
以上説明したように本開示によれば、異なる波長を有する複数の光を用いる際に、インラインホログラムに生じうる歪みをより簡便な方法で抑制しつつ、光エネルギーの利用効率をより向上させて、より精度の良い画像を得ることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.観察装置について
1.1.1.観察装置の全体構成及びホログラム取得部について
1.1.2.演算処理部について
1.2.観察方法について
2.実施例
1.実施形態
1.1.観察装置について
1.1.1.観察装置の全体構成及びホログラム取得部について
1.1.2.演算処理部について
1.2.観察方法について
2.実施例
(実施形態)
<観察装置について>
以下では、図1A~図10を参照しながら、本開示の実施形態に係る観察装置について、詳細に説明する。
<観察装置について>
以下では、図1A~図10を参照しながら、本開示の実施形態に係る観察装置について、詳細に説明する。
[観察装置の全体構成及びホログラム取得部について]
まず、図1A~図2Bを参照しながら、本実施形態に係る観察装置の全体構成と、本実施形態に係る観察装置が備えるホログラム取得部について、詳細に説明する。
図1Aは、本実施形態に係る観察装置の構成の一例を模式的に示した説明図であり、図1Bは、本実施形態に係る観察装置の構成の他の一例を模式的に示した説明図である。図2Aは、本実施形態に係る観察装置が備える光源部の構成の一例を模式的に示した説明図であり、図2Bは、本実施形態に係る観察装置が備える光源部の構成の他の一例を模式的に示した説明図である。
まず、図1A~図2Bを参照しながら、本実施形態に係る観察装置の全体構成と、本実施形態に係る観察装置が備えるホログラム取得部について、詳細に説明する。
図1Aは、本実施形態に係る観察装置の構成の一例を模式的に示した説明図であり、図1Bは、本実施形態に係る観察装置の構成の他の一例を模式的に示した説明図である。図2Aは、本実施形態に係る観察装置が備える光源部の構成の一例を模式的に示した説明図であり、図2Bは、本実施形態に係る観察装置が備える光源部の構成の他の一例を模式的に示した説明図である。
◇観察装置の全体構成
本実施形態に係る観察装置1は、所定の観察対象物を観察するために用いられる装置であり、観察対象物を透過した光と、観察対象物で回折した光と、の相互干渉により生じるホログラム(より詳細には、インラインホログラム)画像を用いて、観察対象物の画像を再構成する装置である。
本実施形態に係る観察装置1は、所定の観察対象物を観察するために用いられる装置であり、観察対象物を透過した光と、観察対象物で回折した光と、の相互干渉により生じるホログラム(より詳細には、インラインホログラム)画像を用いて、観察対象物の画像を再構成する装置である。
ここで、本実施形態に係る観察装置1が着目する観察対象物は、観察に用いる光がある程度透過し、かつ、観察対象物を透過した光と、観察対象物で回折した光と、が互いに干渉することが可能なものであれば、任意の物体を観察対象物とすることが可能である。このような観察対象物としては、例えば、観察に用いる所定の波長を有する光にとって、ある程度透明とみなすことが可能な位相物体を挙げることができ、このような位相物体としては、例えば、生物の細胞、生体組織、精子、卵子、受精卵、微生物等のような、各種の生体材料を挙げることができる。
以下では、観察対象物の一例としての細胞等の生体材料が、所定の試料ホルダ中に存在している場合を例に挙げて説明を行うものとする。
上記のような観察対象物を観察するための、本実施形態に係る観察装置1は、図1A及び図1Bに示したように、観察対象物を観察して観察対象物のホログラム画像を取得するためのホログラム取得部10と、得られたホログラム画像から、着目する観察対象物の画像を再構成する一連の演算処理を実施する演算処理部20と、を備える。
本実施形態に係るホログラム取得部10は、後述する演算処理部20による制御のもとで、観察ステージStの所定の位置に載置された試料ホルダH中に存在する観察対象物Cのホログラム画像を取得する。ホログラム取得部10により取得された、観察対象物Cのホログラム画像は、後述する演算処理部20へと出力される。かかる機能を有するホログラム取得部10の詳細な構成については、以下で改めて説明する。
演算処理部20は、ホログラム取得部10におけるホログラム画像の取得処理を統括的に制御する。また、演算処理部20は、ホログラム取得部10により取得されたホログラム画像を用いて、着目する観察対象物Cの画像を再構成する一連の処理を実施する。かかる一連の処理によって得られた画像が、着目する観察対象物Cを撮像した画像として、観察装置1のユーザに提示される。かかる機能を有する演算処理部20の詳細な構成についても、以下で改めて説明する。
以上、本実施形態に係る観察装置1の全体構成について、簡単に説明した。
なお、本実施形態に係る観察装置1は、以下で詳述するような構成を有するホログラム取得部10を有するホログラム取得ユニットと、以下で詳述するような構成を有する演算処理部20を備える演算処理ユニットと、からなる観察システムとして実現することも可能である。
なお、本実施形態に係る観察装置1は、以下で詳述するような構成を有するホログラム取得部10を有するホログラム取得ユニットと、以下で詳述するような構成を有する演算処理部20を備える演算処理ユニットと、からなる観察システムとして実現することも可能である。
◇ホログラム取得部について
次に、図1A~図2Bを参照しながら、本実施形態に係る観察装置1におけるホログラム取得部10について、詳細に説明する。なお、以下では、便宜的に、図1A~図2Bに示した座標系を用いながら、ホログラム取得部10を構成する各部材の位置関係を説明する。
次に、図1A~図2Bを参照しながら、本実施形態に係る観察装置1におけるホログラム取得部10について、詳細に説明する。なお、以下では、便宜的に、図1A~図2Bに示した座標系を用いながら、ホログラム取得部10を構成する各部材の位置関係を説明する。
本実施形態に係るホログラム取得部10は、図1Aに示したように、観察対象物Cのホログラム画像を取得するために用いられる照明光を照射する光源部11と、生成された観察対象物Cのホログラム画像を撮像するイメージセンサ13と、を有している。かかる光源部11及びイメージセンサ13は、演算処理部20によって、その動作が制御されている。また、ホログラム取得部10に設けられた観察ステージStについても、演算処理部20によって、そのz方向位置が制御されてもよい。
光源部11からの照明光は、観察ステージSt上に載置された試料ホルダH中に支持されている観察対象物Cに照射される。ここで、試料ホルダHは、図1Aに模式的に示したように、観察対象物Cを支持する支持面S1を有している。試料ホルダHは、特に限定されるものではないが、例えば、スライドガラス及びカバーガラスを有するプレパラートであり、光透過性を有する。
また、観察ステージStは、光源部11の照明光を透過させる光透過性を有する領域が存在し、かかる領域上に試料ホルダHが載置される。観察ステージStに設けられた光透過性を有する領域は、例えばガラス等により構成されていてもよく、z軸方向に沿って観察ステージStの上面と下面とを連通させる開口部で構成されていてもよい。
照明光が観察対象物Cに照射されると、かかる照明光は、観察対象物Cを透過する透過光H1と、観察対象物Cで回折する回折光H2と、に分離される。かかる透明光H1と、回折光H2とが相互に干渉することで、観察対象物Cを介して光源部11と対向するように設けられたイメージセンサ13のセンサ面S2上に、観察対象物Cのホログラム(インラインホログラム)画像が生成される。ここで、本実施形態に係る観察装置1において、支持面S1と、センサ面S2との間の離隔距離の大きさを、Zと表し、光源部11(より詳細には、照射光の出射口)と、イメージセンサ13(センサ面S2)との間の離隔距離の大きさを、Lと表すこととする。本実施形態において、透過光H1は、観察対象物Cのホログラムを生成するための参照光として機能する。このようにして生成された観察対象物Cのホログラム画像(以下、単に「ホログラム」ともいう。)が、演算処理部20へと出力される。
ここで、本実施形態に係るホログラム取得部10は、図1Bに示したように、光源部11と観察対象物Cとの間の光路上に、バンドパスフィルタ15を更に有することが好ましい。かかるバンドパスフィルタ15は、光源部11から照射された照明光の波長を透過波長帯域に含むように設計されている。このようなバンドパスフィルタ15を更に設けることで、光源部11から照射される照明光の空間的コヒーレンス及び時間的コヒーレンスをより向上させることが可能となり、よりコントラストの高いより優れたホログラムを得ることが可能となる。
このように、本実施形態に係るホログラム取得部10は、従来のレンズレス顕微鏡のように、空間アパーチャが用いられていないため、光源部11から照射される照明光のエネルギーをより効率良く用いることができる。
本実施形態に係る観察装置1において、光源部11からは、互いに波長の異なる複数の照明光が照射される。かかる光源部11は、波長の異なる複数の照明光を照射するために、部分コヒーレントな光を照射することが可能な、発光波長の互いに異なる複数の発光ダイオード(Light Emitting Diode:LED)を有している。そのため、上記バンドパスフィルタ15は、それぞれのLEDの発光波長に対応するように、1又は複数の透過波長帯域を有するように設計された、マルチバンドパスフィルタとして機能する。
光源部11を構成する各LEDの発光波長は、LED間で互いに異なっていれば特に限定されるものではなく、任意の波長帯域に属する任意の発光ピーク波長を有する光を使用することが可能である。各LEDの発光波長(発光ピーク波長)は、例えば、紫外光帯域に属していてもよいし、可視光帯域に属していてもよいし、近赤外帯域に属していてもよい。また、光源部11を構成する各LEDは、以下で詳述する2種類の大きさに関する条件を満たしうるものであれば、公知の任意のLEDを用いることが可能である。
本実施形態に係る光源部11において、LEDの個数は、2個以上であれば特に限定するものではない。ただ、LEDの個数が多くなるほど光源部11の大きさも大きくなるため、観察装置1の小型化を考慮すると、光源部11は、発光波長の互いに異なる3個のLEDを有していることが好ましい。以下では、光源部11が発光波長の互いに異なる3個のLEDで構成されている場合を例に挙げて、説明を行うこととする。
本実施形態に係る光源部11において、光源部11を構成する各LEDの発光点の大きさは、100λ(λ:発光波長)未満である。また、光源部11を構成する各LEDは、隣り合うLED間の離隔距離が100λ(λ:発光波長)以下となるように、それぞれ配置されている。この際、発光点の大きさ、及び、LED間の離隔距離の基準となる発光波長λは、光源部11が備える各LEDから出射される光のピーク波長のうち、最も短いピーク波長を用いることとする。
各発光点の大きさが100λ未満となり、かつ、隣り合うLED間の離隔距離が100λ以下となるように各LEDが近接していることで、本実施形態に係る観察装置1では、LEDの発光点が一致していないことに起因するホログラム間の歪みを、以下で詳述するような簡便なシフト補正により相殺することが可能となり、より精度の良い画像を得ることができる。以下、上記のような2つの条件を満足するLED群のことを、「マイクロLED」とも称する。ここで、各発光点の大きさが100λ以上となる場合、又は、隣り合うLED間の離隔距離が100λを超える場合には、各LED間の発光点のズレが顕著となり、以下で詳述するようなシフト補正を行ったとしても、ホログラム間の歪みを相殺することができない。各発光点の大きさは、好ましくは、80λ未満であり、より好ましくは、40λ未満である。また、隣り合うLED間の離隔距離は、好ましくは、80λ以下であり、より好ましくは、60λ以下である。なお、発光点の大きさ、及び、隣り合うLED間の離隔距離は、小さければ小さいほどよく、下限値は特に限定されるものではない。
また、上記離隔距離の大きさは、上記発光点の大きさの5倍以下であることが、より好ましい。発光点の大きさと離隔距離の大きさとが上記のような関係を満たすことで、ホログラム間の歪みをより確実に相殺することが可能となり、より一層優れた精度の画像を得ることができる。上記離隔距離の大きさは、更に好ましくは、上記発光点の大きさの1.5倍以下である。
本実施形態に係る光源部11は、例えば図2Aに示したように、相異なる発光波長を有する3個のLED101A,101B,101C(以下、複数のLEDをまとめて、「発光ダイオード101」又は「LED101」と称することがある。)が、一列に配置されているものであってもよい。図2Aに示した例では、3個のLED101A,101B,101Cが、x軸方向に沿って一列に配置されている。また、図2Aにおいて、dで表される大きさが、LED101の発光点の大きさに対応しており、pで表される中心間距離の大きさが、隣り合うLED101間の離隔距離(換言すれば、隣り合うLED101間のピッチ)の大きさに対応している。
また、本実施形態に係る光源部11は、例えば図2Bに示したように、相異なる発光波長を有する3個のLED101A,101B,101Cが、三角形状となるように配置されているものであってもよい。図BAに示した例では、3個のLED101A,101B,101Cを、z軸に沿った上方から光源部11を見下ろした場合の態様を模式的に示しており、3個のLED101A,101B,101Cが、xy平面においてその集合の外形が三角形状となるように配置されている。図2Bに示した例においても、dで表される大きさが、LED101の発光点の大きさに対応しており、pで表される中心間距離の大きさが、隣り合うLED101間の離隔距離の大きさに対応している。
ここで、図2A及び図2Bに示した光源部11において、各LEDの発光ピーク波長は、例えば、460nm、520nm、630nmの組み合わせから選択することができる。なお、かかる発光ピーク波長の組み合わせは、あくまでも一例にすぎず、任意の発光ピーク波長の組み合わせを採用することができる。
以上のような構成を有する光源部11は、演算処理部20による制御のもとで、各LED101のそれぞれを順次点灯し、各発光波長におけるホログラムを生じさせる。
再び図1A及び図1Bに戻って、本実施形態に係るホログラム取得部10におけるイメージセンサ13について説明する。
本実施形態に係るイメージセンサ13は、演算処理部20による制御のもとで、各LEDの点灯状態と同期するようにして、図1A及び図1Bに示したセンサ面S2に生じた観察対象物Cのホログラム(インラインホログラム)を記録する。これにより、イメージセンサ13は、光源部11におけるLEDの発光波長の個数と同数の、ホログラムに関する画像データ(すなわち、ホログラム画像のデータ)を生成する。かかるイメージセンサ13は、光源部11として用いられる各種のLEDから出射される照明光の波長帯域に感度を有するものであれば、特に限定されるものではなく、公知の各種のイメージセンサを用いることが可能である。このようなイメージセンサとして、例えば、CCD(Charged-Coupled Devices)センサやCMOS(Complementary Metal-Oxide-Semiconductor)センサ等を挙げることができる。これらのイメージセンサは、モノクロ用のセンサであってもよいし、カラー用のセンサであってもよい。また、これらのイメージセンサの画素サイズは、光源部11として用いられるLED101の発光点の大きさ等に応じて適宜選択すればよく、特に限定されるものではないが、例えば、100μm程度の大きさであることが好ましい。
本実施形態に係るイメージセンサ13は、演算処理部20による制御のもとで、各LEDの点灯状態と同期するようにして、図1A及び図1Bに示したセンサ面S2に生じた観察対象物Cのホログラム(インラインホログラム)を記録する。これにより、イメージセンサ13は、光源部11におけるLEDの発光波長の個数と同数の、ホログラムに関する画像データ(すなわち、ホログラム画像のデータ)を生成する。かかるイメージセンサ13は、光源部11として用いられる各種のLEDから出射される照明光の波長帯域に感度を有するものであれば、特に限定されるものではなく、公知の各種のイメージセンサを用いることが可能である。このようなイメージセンサとして、例えば、CCD(Charged-Coupled Devices)センサやCMOS(Complementary Metal-Oxide-Semiconductor)センサ等を挙げることができる。これらのイメージセンサは、モノクロ用のセンサであってもよいし、カラー用のセンサであってもよい。また、これらのイメージセンサの画素サイズは、光源部11として用いられるLED101の発光点の大きさ等に応じて適宜選択すればよく、特に限定されるものではないが、例えば、100μm程度の大きさであることが好ましい。
ここで、本実施形態に係るホログラム取得部10では、センサ面S2において、ホログラムの光強度分布(振幅の二乗値)のみが記録され、位相の分布については、記録されない。しかしながら、演算処理部20において、以下で詳述するようない一連の画像再構成処理が実施されることで、ホログラムの位相の分布が再現される。
また、図1Bに示したような、本実施形態に係るバンドパスフィルタ15は、光源部11と観察対象物Cとの間の光路上に設置されて、光源部11から照射された照明光のみを観察対象物Cの側へと透過させる。かかるバンドパスフィルタ15を設けることで、照明光の空間的コヒーレンス及び時間的コヒーレンスをより一層向上させることが可能となり、より高効率の部分コヒーレンス照明を実現することができる。かかるバンドパスフィルタ15は、その透過波長帯域が光源部11に設けられたLEDの発光ピーク波長に対応するように設計されていれば、特に限定されるものではなく、公知の各種のバンドパスフィルタを適宜用いることが可能である。
以上説明したように、本実施形態に係るホログラム取得部10は、発光点の大きさ及びピッチが特定の条件を満足するLEDと、イメージセンサと、を備え、更に、必要に応じてバンドパスフィルタを有するような、非常に少ない部品点数で、観察対象物に関するより精度の高いホログラム画像を取得することができる。
以上、図1A~図2Bを参照しながら、本実施形態に係る観察装置1におけるホログラム取得部10の構成について、詳細に説明した。
[演算処理部について]
次に、図3~図10を参照しながら、本実施形態に係る観察装置1が備える演算処理部について、詳細に説明する。
次に、図3~図10を参照しながら、本実施形態に係る観察装置1が備える演算処理部について、詳細に説明する。
本実施形態に係る演算処理部20は、本実施形態に係る観察装置1が備えるホログラム取得部10の稼働状態を統括的に制御する。また、演算処理部20は、ホログラム取得部10が取得した観察対象物Cのホログラム画像を用いて、かかるホログラム画像から観察対象物Cの画像を再構成する一連の処理を実施する。
◇演算処理部の全体構成
かかる演算処理部20は、図3に模式的に示したように、ホログラム取得制御部201と、データ取得部203と、画像算出部205と、出力制御部207と、表示制御部209と、記憶部211と、を備える。
かかる演算処理部20は、図3に模式的に示したように、ホログラム取得制御部201と、データ取得部203と、画像算出部205と、出力制御部207と、表示制御部209と、記憶部211と、を備える。
ホログラム取得制御部201は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入力装置、通信装置等により実現される。ホログラム取得制御部201は、ユーザ操作によって入力されたホログラム取得部10の各種観察条件に関する観察条件情報に基づき、ホログラム取得部10の稼働状態を統括的に制御する。具体的には、ホログラム取得制御部201は、ホログラム取得部10の光源部11に設けられた複数のLED101を制御して、各LED101の点灯状態を制御する。また、ホログラム取得制御部201は、イメージセンサ13の稼働状態を制御して、各LED101の点灯状態に同期させながら、イメージセンサ13のセンサ面S2における観察対象物Cの、発光波長ごとのホログラム(インラインホログラム)画像を生成させる。
また、ホログラム取得制御部201は、ホログラム取得部10に設けられた観察ステージStのz軸方向に沿った位置を制御することも可能である。ホログラム取得制御部201は、観察条件情報や、ホログラム取得部10の稼働状態に関する各種の情報を、データ取得部203及び画像算出部205に出力して、データ取得部203及び画像算出部205における各種処理に利用させてもよい。
データ取得部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。データ取得部203は、ホログラム取得制御部201の制御のもとでホログラム取得部10によって取得された、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを、ホログラム取得部10から取得する。データ取得部203は、ホログラム取得部10から画像データを取得すると、取得したホログラム画像の画像データを、後述する画像算出部205に出力する。また、データ取得部203は、取得したホログラム画像の画像データに、かかる画像データを取得した日時等に関する時刻情報を関連づけた上で、後述する記憶部211に履歴情報として記録してもよい。
画像算出部205は、例えば、CPU、ROM、RAM等により実現される。画像算出部205は、データ取得部203から出力された、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを用いて、観察対象物Cの画像を再構成する一連の画像算出処理を実施する。かかる画像算出部205の詳細な構成、及び、かかる画像算出部205で実施される画像算出処理の詳細については、以下で改めて説明する。
出力制御部207は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。出力制御部207は、画像算出部205により算出された観察対象物Cの画像に関する画像データの出力を制御する。例えば、出力制御部207は、画像算出部205により算出された観察対象物Cの画像データを、プリンタ等の出力装置を介して出力させて、ユーザに紙媒体として提供してもよいし、各種の記録媒体に出力させてもよい。また、出力制御部207は、画像算出部205により算出された観察対象物Cの画像データを、外部に設けられたコンピュータ、サーバ、プロセスコンピュータ等といった各種の情報処理装置に出力させて、画像データの共有を図るようにしてもよい。また、出力制御部207は、後述する表示制御部209と連携しながら、画像算出部205により算出された観察対象物Cの画像データを、観察装置1が備える各種のディスプレイ等の表示装置や、観察装置1の外部に設けられた各種のディスプレイ等の表示装置に出力させてもよい。
表示制御部209は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部209は、画像算出部205により算出された、観察対象物Cの画像や、かかる画像に関連する各種の情報を、演算処理部20が備えるディスプレイ等の出力装置や演算処理部20の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、観察装置1のユーザは、着目している観察対象物に関する様々な情報を、その場で把握することが可能となる。
記憶部211は、例えば、演算処理部20が有するRAMやストレージ装置等により実現される。記憶部211は、ホログラム取得制御部201や画像算出部205が各種の処理を実施する際に利用する各種のデータベースやソフトウェアプログラム等が格納されている。また、記憶部211には、ホログラム取得制御部201が実施するホログラム取得部10の制御処理や画像算出部205が実施する各種の画像処理等における各種の設定情報や、本実施形態に係る演算処理部20が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が、適宜記録される。この記憶部211は、ホログラム取得制御部201、データ取得部203、画像算出部205、出力制御部207、表示制御部209等が、自由にデータのリード/ライト処理を行うことが可能である。
以上、図3を参照しながら、本実施形態に係る観察装置1が備える演算処理部20の全体構成について説明した。
◇画像算出部の構成について
画像算出部205は、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを用いて、観察対象物Cの画像を再構成する一連の画像算出処理を実施する。かかる画像算出部205は、図4に模式的に示したように、伝搬距離算出部221と、前処理部223と、再構成演算部225A及び振幅置換部225Bを有する再構成処理部225と、を有する。なお、以下の説明では、便宜的に、図1A及び図1Bに示したz軸座標において、支持面S1の位置がz=0であり、センサ面S2の位置がz=Zであるものとする。また、光源部11から、発光ピーク波長λ1、λ2、λ3の照明光が照射され、イメージセンサ13により、ホログラム画像gλ1、gλ2、gλ3(より詳細には、ホログラムの振幅強度に関する画像)が取得されるものとする。
画像算出部205は、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを用いて、観察対象物Cの画像を再構成する一連の画像算出処理を実施する。かかる画像算出部205は、図4に模式的に示したように、伝搬距離算出部221と、前処理部223と、再構成演算部225A及び振幅置換部225Bを有する再構成処理部225と、を有する。なお、以下の説明では、便宜的に、図1A及び図1Bに示したz軸座標において、支持面S1の位置がz=0であり、センサ面S2の位置がz=Zであるものとする。また、光源部11から、発光ピーク波長λ1、λ2、λ3の照明光が照射され、イメージセンサ13により、ホログラム画像gλ1、gλ2、gλ3(より詳細には、ホログラムの振幅強度に関する画像)が取得されるものとする。
伝搬距離算出部221は、例えば、CPU、ROM、RAM等により実現される。伝搬距離算出部221は、レイリー・ゾンマーフェルト(Rayleigh-Sommerfeld)の回折積分を用いたデジタルフォーカス技術(デジタルフォーカシング)を用いて、図1A及び図1Bに示した離隔距離Z(支持面S1とセンサ面S2との間の離隔距離)の具体的な値を、伝搬距離Zとして算出する。ここで、デジタルフォーカシングとは、支持面S1とセンサ面S2との間の伝搬距離Z(図1A及び図1Bに示した離隔距離Z)を調整することで、各ホログラム画像gλ1、gλ2、gλ3の焦点位置を決定する手法である。
この場合、予め、ホログラム取得制御部201は、ホログラム取得部10を制御して、観察ステージStのz座標位置を変えながら、各発光波長におけるフォーカス画像a(x,y,z)を取得しておく。この場合、a(x,y,0)が、センサ面S2において生成されるホログラム画像gλnに対応する。
伝搬距離算出部221は、まず、z座標位置の異なる複数のフォーカス画像を用いて、以下の式(101)で表される、フォーカス画像間の輝度の差分値f(z+Δz/Z)を算出する。以下の式(101)から明らかなように、画像データを構成する各点での輝度差について、画像全体での総和が算出される。かかる総和を用いることで、輝度値がz軸方向(光路方向)に沿ってどのように変化したかを表す出力カーブを得ることができる。
続いて、伝搬距離算出部221は、式(101)に基づき算出されたf(z+Δz/Z)の変数zによる微分値f’(z)を算出する。その上で、得られた微分値f’(z)のピークを与えるz位置が、着目するホログラム画像gのフォーカス位置となる。かかるフォーカス位置を、図1A及び図1Bに示した離隔距離Zの具体的な値とし、伝搬距離となる。
伝搬距離算出部221は、このようにして得られた伝搬距離Zに関する情報を、後段の前処理部223及び再構成処理部225に出力する。
なお、以上の説明では、伝搬距離算出部221が、レイリー・ゾンマーフェルトの回折積分を用いたデジタルフォーカス技術により離隔距離Zを算出する場合について説明したが、伝搬距離算出部221は、ホログラム取得部10のメカ精度(観察ステージStの位置決め精度)によって、伝搬距離Zを算出してもよい。
前処理部223は、例えば、CPU、ROM、RAM等により実現される。前処理部223は、発光波長ごとの撮像画像(すなわち、ホログラム画像gλn)に対して、複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する。この前処理部223は、図5に示したように、階調補正部231と、アップサンプル部233と、画像シフト部235と、画像端処理部237と、初期複素振幅生成部239と、を有している。
階調補正部231は、例えば、CPU、ROM、RAM等により実現される。階調補正部231は、イメージセンサ13の階調補正(例えば、ダークレベル補正、及び、逆ガンマ補正)を行い、データ取得部203から出力されたホログラム画像gλ1,gλ2,gλ3に基づく画像信号を線形な状態に戻す処理を実施する。ここで、実施される階調補正の具体的な処理内容については、特に限定されるものではなく、公知の各種の処理内容を適宜利用することが可能である。階調補正部231は、階調補正後のホログラム画像gλ1,gλ2,gλ3を、後段のアップサンプル部233に出力する。
アップサンプル部233は、例えば、CPU、ROM、RAM等により実現される。アップサンプル部233は、階調補正後のホログラム画像gλ1,gλ2,gλ3の画像信号を、アップサンプリングする。本実施形態に係るホログラム取得部10は、いわゆるレンズレス顕微鏡として構成されているため、その分解能は、イメージセンサ13のナイキスト周波数を超えてしまう可能性がある。そのため、限界性能を発揮させるために、階調補正後のホログラム画像gλ1,gλ2,gλ3に対して、アップサンプリング処理を実施する。ここで、具体的に実施されるアップサンプリング処理については、特に限定されるものではなく、公知の各種のアップサンプリング処理を適宜利用することができる。
画像シフト部235は、例えば、CPU、ROM、RAM等により実現される。画像シフト部235は、ホログラム取得部10により取得された、発光波長ごとのホログラム画像(より詳細には、上記階調補正処理及びアップサンプリング処理の施されたホログラム画像)に対して、複数の発光ダイオードの位置関係に応じた画像のシフト補正を実施する。
より詳細には、画像シフト部235は、それぞれのLED101が設けられた位置に起因するホログラム画像の間の位置ズレが解消されるように、シフト補正を実施する。かかるシフト補正は、ホログラム画像の画素位置を規定する空間座標(x,y,z)を、所定の方向にシフトさせることで行われる。
すなわち、画像シフト部235は、複数のLED101の中から、基準とするLED101を一つ選択し、かかる複数のLED101のうち、基準とするLED以外の残りのLED101を用いて撮像されたホログラム画像の空間座標(x,y,z)を、基準とするLEDを用いて撮像されたホログラム画像の方向にシフトさせる。かかるシフトを行う際の移動量(シフト量)は、着目するLED101間の位置ズレ量、及び、光源部11と支持面S1との間の距離(L-Z)と、支持面S1とセンサ面S2との間の距離Zとで決まる倍率、に応じて決定される。ここで、距離Zは、伝播距離算出部221により算出された伝播距離となる。
例えば、図2Aに模式的に示したように、光源部11において、相異なる発光波長を有する3個のLED101A,101B,101Cが、x軸方向に沿って一列に配置されている場合を考える。この場合に、基準とするLEDを、中央に位置するLED101Bとした場合、残りのLED101,101Cは、基準とするLED101Bから考えると、それぞれ、x軸負方向に-p、x軸正方向に+pだけズレた位置に存在している。光源部11の位置における大きさ|p|のズレは、センサ面S2では、{Z/(L-Z)}倍に拡大される。従って、画像シフト部235は、LED101Aを用いて撮像されたホログラム画像をシフト補正する際には、以下の式(111)で算出される補正量だけ、かかるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x+δ,y,z)と補正する。同様に、画像シフト部235は、LED101Cを用いて撮像されたホログラム画像をシフト補正する際には、以下の式(111)で算出される補正量だけ、かかるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x-δ,y,z)と補正する。このようなシフト処理を行うことで、LED101が設けられた位置に起因するホログラム画像の間の位置ズレが解消される。
ここで、上記式(111)において、
δ:補正量
L:光源部-イメージセンサ間距離
Z:観察対象物-イメージセンサ間距離
p:発光ダイオード間距離
である。
δ:補正量
L:光源部-イメージセンサ間距離
Z:観察対象物-イメージセンサ間距離
p:発光ダイオード間距離
である。
なお、上記説明では、図2Aにおいて中央に位置するLED101Bを基準としたが、LED101A又はLED101Cを基準とすることも可能である。この場合においても、上記と同様にして、光源部11の位置におけるLED間の距離と、光源部11、観察対象物C、及び、イメージセンサ13の位置関係により定まる倍率{Z/(L-Z)}と、に基づいて、ホログラム画像を構成する画素位置を規定する空間座標(x,y,z)を、基準とするLEDの方向にシフトさせればよい。
また、例えば図2Bに示したように、光源部11において、相異なる発光波長を有する3個のLED101が、三角形状に配置されている場合を考える。この場合に、基準とするLEDを、中央に位置するLED101Aとした場合、残りのLED101B,101Cを用いて得られるホログラム画像の空間座標(x,y,z)を、x軸方向及びy軸方向のそれぞれでシフトさせればよい。
例えば、LED101AとLED101Bに着目すると、LED101A-LED101B間のx軸方向のズレ量は、(p/2)であり、y軸方向のズレ量は、{(30.5/2)×p}である。従って、画像シフト部235は、LED101Bを用いて得られるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x+(p/2)×{Z/(L-Z)},y-{(30.5/2)×p}×{Z/(L-Z)},z)と補正する。同様に、LED101AとLED101Cに着目した場合、画像シフト部235は、LED101Bを用いて得られるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x-(p/2)×{Z/(L-Z)},y-{(30.5/2)×p}×{Z/(L-Z)},z)と補正する。
図2Bに示した例においても、LED101B又はLED101Cを基準とすることも可能である。この場合においても、上記と同様にして、光源部11の位置におけるLED間の距離と、光源部11、観察対象物C、及び、イメージセンサ13の位置関係により定まる倍率{Z/(L-Z)}と、に基づいて、ホログラム画像を構成する画素位置を規定する空間座標(x,y,z)を、基準とするLEDの方向にシフトさせればよい。
なお、上記のようなシフト補正では、パラメータp,Z,Lの長さ単位系で、シフト量が計算される。そのため、画像シフト部235は、最終的にイメージセンサ13の画素ピッチをもとに、ピクセル単位系に補正量を変換することが好ましい。
以上説明したようなシフト補正は、本実施形態に係る光源部11において、先だって言及したような、大きさに関する2つの条件が満たされた状態にある、マイクロLEDが用いられているからこそ、実現できるものである。光源部11において、上記のような大きさに関する2つの条件が満たされていない場合、以上説明したような思想に基づきホログラム画像の画素位置を規定する空間座標をシフトさせたとしても、ホログラム画像の間の位置ズレを解消することはできない。
画像シフト部235は、上記のようにして、階調補正及びアップサンプリング処理の施されたホログラム画像に対してシフト補正を実施すると、シフト補正後のホログラム画像を、後段の画像端処理部237に出力する。
ここで、以上の説明では、基準とするLED101の位置を選択し、かかるLED101の位置にホログラム画像を構成する画素位置を規定する空間座標をシフトさせる場合について着目した。しかしながら、画像シフト部235は、基準とするLED101の位置ではなく、例えば、複数のLED101の配置位置の重心などのような基準となる位置を選択し、かかる位置にホログラム画像を構成する画素位置を規定する空間座標をシフトさせてもよい。
画像端処理部237は、例えば、CPU、ROM、RAM等により実現される。画像端処理部237は、画像シフト後のホログラム画像gλ1,gλ2,gλ3に対して、画像端部の処理を行う。画像の端部では、入力値の外は画素値=0という境界条件が適用され、画像の端部にナイフエッジが存在するのと同様の条件となっているため、回折光が生じて新たなアーティファクトの要因となる。そこで、画像端処理部237は、元画像の画素数の縦横2倍の画素数を用意し、中心に配置した元画像の外側に、最端部の輝度値を埋め込む処理を行う。これにより、画像端の処理によって生じる回折縞が元画像の範囲内に影響を及ぼさないようにすることができる。画像端処理部237は、以上のような処理を実施すると、実施後のホログラム画像gλ1,gλ2,gλ3を、後段の初期複素振幅生成部239に出力する。
初期複素振幅生成部239は、例えば、CPU、ROM、RAM等により実現される。初期複素振幅生成部239は、ホログラム画像gλ1,gλ2,gλ3に対して、ホログラムの複素振幅の実数部を、画素値(輝度値)の平方根とし、かつ、虚数部を0として、複素振幅の初期値とする。これにより、振幅成分のみを有するホログラム画像gλ1,gλ2,gλ3の初期複素振幅が生成される。なお、上記の画素値(輝度値)とは、上述したような各種前処理が施された後の画素値(輝度値)である。これにより、再構成処理部225において一連の再構成処理が施される前処理画像が生成される。
初期複素振幅生成部239は、上記のようにして前処理画像を生成すると、生成した前処理画像を、再構成処理部225に出力する。
以上、本実施形態に係る前処理部223の構成を、図5を参照しながら説明した。
続いて、再び図4に戻って、本実施形態に係る画像算出部205が備える再構成処理部225について、詳細に説明する。
続いて、再び図4に戻って、本実施形態に係る画像算出部205が備える再構成処理部225について、詳細に説明する。
図4に示したように、再構成処理部225は、再構成演算部225A及び振幅置換部225Bを有している。再構成処理部225は、前処理部223から出力されたホログラム画像(より詳細には、前処理画像)を拘束条件として、センサ面S2と支持面S1との間の平面間の伝搬を繰り返すことにより、センサ面S2で失われたホログラムに関する複素振幅分布の位相成分を回復させる。
具体的には、再構成処理部225は、再構成演算部225Aによる光波伝搬計算により、ホログラム画像を伝播させつつ、振幅置換部225Bがこれらの振幅成分の置き換えを繰り返すことで、失われた位相成分を回復させる。この際、再構成処理部225では、伝搬計算の結果から得られたホログラム画像の複素振幅分布の振幅成分を、位相成分のみ残るように、実測した振幅成分に差し替えるサイクルを繰り返し実行する。
ここで、無損失で等方的な一様媒質中では、マクスウェル方程式は波動方程式に帰着する。また、時間発展を考えない単色光において、電界と磁界の各成分は、以下の式(201)で表されるヘルムホルツ方程式を満足する。ここで、以下の式(201)において、g(x,y,z)は、電磁界ベクトル成分の複素振幅成分であり、kは、以下の式(203)で表される波数である。本実施形態に係る「ホログラム画像の伝播」とは、特定の平面(伝播元平面)で与えられたホログラム画像の境界条件g(x、y、Z)(すなわち、センサ面S2におけるホログラム画像の複素振幅成分)に対して、別の平面(本実施形態では、支持面S1)におけるヘルムホルツ方程式の解を求める一連の処理である。このような伝播処理は、角スペクトル法(平面波展開法)と呼ばれる。
伝播元と平行な平面を支持面S1と考え、かかる支持面S1におけるヘルムホルツ方程式の解をg(x,y,0)とすると、その厳密解は、レイリー・ゾンマーフェルト回折積分とも呼ばれる、以下の式(205)で与えられる。ここで、以下の式(205)において、r’は、以下の式(207)である。
上記式(205)に示したような積分形式の状態では、演算に時間がかかるため、本実施形態では、上記式(205)の両辺をフーリエ変換した、以下の式(209)で与えられる式が採用される。なお、以下の式(209)において、Gは、複素振幅成分gのフーリエ変換を表し、F-1は、フーリエ逆変換を意味する。また、u,v,wは、それぞれ、x方向、y方向、z方向の空間周波数成分を表す。ここで、u,vは、波数ベクトルk=kx・x+ky・y+kz・z(x,y,zは、単位ベクトル)の対応する成分と、u=kx/2π、v=ky/2πと関連付けられるが、wについては、以下の式(211)のようになる。
本実施形態に係る再構成処理部225は、後述するように、センサ面S2から所定の波長で支持面S1に伝搬されたホログラムの複素振幅分布から、支持面S1から上記波長とは異なる波長でセンサ面S2に伝搬するホログラムの複素振幅分布を再計算する。従って、本実施形態では、上記式(209)が、下記式(213)となった計算式が採用される。
ここで、上記式(213)では、波長λ1でセンサ面S2から支持面S1に伝搬したホログラムgλ1の複素振幅分布から、波長λ2で支持面S1からセンサ面S2に伝搬するホログラムgλ2の複素振幅分布を算出することを意味している。
本実施形態では、再構成演算部225Aが、上記式(209)、式(213)の伝搬計算の式に基づき、センサ面S2と支持面S1との間における光波伝搬計算を繰り返し実行するものとなる。例えば、振幅置換部225Bが、以下で説明するように、支持面S1において振幅置換を実行しない場合は、再構成演算部225Aにおいて、式(213)に基づく伝搬計算が実行される。一方、振幅置換を実行する場合は、上記式(209)に基づき、波長λ1でセンサ面S2から支持面S1に伝搬したホログラムgλ1の複素振幅分布の振幅成分を所定の振幅代表値に置換してから、波長λ2で支持面S1からセンサ面S2に伝搬するホログラムgλ2の複素振幅分布が算出される。
以下では、図6及び図7を参照しながら、再構成処理部225により実施される一連の伝播計算処理を、具体的に説明する。
まず、前処理部223から出力される前処理画像のうち、入力画像Iin1が読み込まれ(ステップS101)、再構成演算部225Aは、ホログラム画像gλ1の複素振幅分布(光強度分布)を、センサ面S2から支持面S1に伝搬させる第1の光波伝搬計算を実行する(ステップS103)。前処理部223から出力されたホログラム画像gλ1の複素振幅分布は、下記式(221)で表され、支持面S1に伝搬したホログラム画像gλ1の複素振幅分布は、下記式(223)で表される。
下記式(223)で表されるホログラムgλ1の複素振幅分布は、上記第1の光波伝搬計算の結果得られるホログラム画像gλ1の複素振幅分布である。なお、本実施形態のホログラム画像の複素振幅分布とは、当該ホログラムを形成する光の複素振幅分布であり、以下の説明においても同義とする。
また、以下の式(221)において、A(x,y,z)は振幅成分であり、exp(iφ(x,y,z))は、位相成分(設定された初期値)である。同様に、以下の式(223)において、A’(x,y,0)は振幅成分であり、exp(iφ’(x,y,0))は位相成分である。
gλ1(x,y,z)=A(x,y,z)exp(iφ(x,y,z)) ・・・式(221)
gλ1(x,y,0)=A’(x,y,0)exp(iφ’(x,y,0)) ・・・式(223)
gλ1(x,y,0)=A’(x,y,0)exp(iφ’(x,y,0)) ・・・式(223)
続いて、振幅置換部225Bは、支持面S1に波長λ1で伝搬されたホログラム画像gλ1に関する複素振幅分布の振幅成分A’を分離し、この振幅成分A’の平均値Aaveを算出する。次いで、振幅置換部225Bは、ホログラム画像gλ1に関する複素振幅分布の振幅成分A’を、後述する第2の光波伝搬計算の一環として、支持面S1上において平均値Aaveに置換する(ステップS105)。
これにより、ホログラム画像gλ1における複素振幅分布の振幅成分が平滑化され、以降の反復処理における計算負荷が低減する。振幅成分A’が平均値Aaveに置換されたホログラム画像gλ1は、下記式(225)で表される。また、置換される平均値Aaveは、以下の式(227)に示した通りである。ここで、以下の式(227)におけるパラメータNは、全画素数である。
gλ1(x,y,0)=Aave・exp(iφ’(x,y,0)) ・・・式(225)
Aave=1/N(ΣΣA’(x,y,0)) ・・・式(227)
Aave=1/N(ΣΣA’(x,y,0)) ・・・式(227)
なお、本実施形態に係る平均値Aaveは、典型的には、上記第1の光波伝搬計算の結果得られる複素振幅分布(式(223))における振幅成分A’の平均値である。かかる平均値とは、ホログラム画像gλ1(x,y,0)の画素数Nに対する、ホログラム画像gλ1(x,y,0)の各画素に対応した振幅成分の総和の割合(積算平均)とすることができる。
また、上記の例では、振幅成分A’は、平均値Aaveに置換されるが、これに限定されるものではなく、ホログラム画像gλ1の複素振幅分布(式(223))の振幅成分A’における所定の振幅代表値を用いることも可能である。例えば、振幅置換部225Bは、振幅成分A’を、平均値Aave以外に、振幅成分A’の中央値に置換してもよく、振幅成分A’のローパスフィルタ透過成分に置換してもよい。
続いて、再構成演算部225Aは、振幅成分A’が平均値Aaveに置換されたホログラム画像gλ1の複素振幅分布を、支持面S1から波長λ2でセンサ面S2に伝搬させる第2の光波伝搬計算を実行する(ステップS107)。すなわち、上記式(225)で表されるホログラム画像gλ1の複素振幅分布から、センサ面S2に波長λ2で伝搬するホログラムgλ2の複素振幅分布を、伝搬計算により求める。かかるホログラム画像gλ2に関する複素振幅分布は、下記の式(229)で表される。
gλ2(x,y,z)=A”(x,y,z)exp(iφ”(x,y,z)) ・・・式(229)
次いで、振幅置換部225Bは、波長λ2で伝搬されたホログラム画像gλ2の複素振幅分布の振幅成分A”を、上記第1の光波伝搬計算の一環として、センサ面S2上において振幅成分A”の実測値Aλ2に置換する(ステップS109)。この実測値Aλ2は、入力画像Iin2として取得したホログラム画像gλ2から分離された振幅成分である。
センサ面S2上において、振幅成分A”が実測値Aλ2に置換されたホログラム画像gλ2は、下記の式(231)で表される。これにより、位相成分を有するホログラム画像gλ2を得ることができる。ここで、以下の式(231)において、Aλ2(x,y,z)は振幅成分であり、exp(iφ”(x,y,z))は、回復された位相成分である。
gλ2(x,y,z)=Aλ2(x,y,z)exp(iφ”(x,y,z)) ・・・式(231)
このようにして、再構成処理部225は、センサ面S2で取得した観察対象物Cのホログラム画像の光強度分布を含む複素振幅分布を、センサ面S2から支持面S1まで伝搬させる第1の光伝搬計算を実行し、第1の光伝搬計算の結果得られる複素振幅分布を、支持面S1からセンサ面S2まで伝搬させる第2の光伝搬計算を実行するサイクルが行われる。
本実施形態では、図6及び図7に示すように、このようなサイクルが、全てのホログラム画像gλ1、gλ2、gλ3に対して、順に実施される(ステップS111~ステップS133)。これにより、3種類のホログラム画像gλ1、gλ2、gλ3について、イメージセンサ13では記録されなかった位相成分が、上記のような伝播計算により回復されることとなる。
次に、再構成演算部225Aは、上記のような伝播計算が収束したか否かを判断する(ステップS135)。収束判断の具体的な手法については、特に限定されるものではなく、公知の各種手法を用いることが可能である。再構成演算部225Aは、位相回復のための一連の演算処理が収束していないと判断した場合(ステップS135-NO)、再構成演算部225Aは、ステップS103に戻って、位相回復のための一連の演算処理を再開する。一方、位相回復のための一連の演算処理が収束したと判断した場合(ステップS135-YES)、再構成演算部225Aは、図6に示したように、得られたホログラム画像の複素振幅分布を最後に支持面S1に伝搬させることで、観察対象物Cの再構成画像を得た後、得られた再構成画像を出力する。
ここで、上記説明では、収束判定により位相回復のための一連の演算処理を終了する時点を判断していたが、本実施形態では、上記のような収束判定ではなく、上記のような一連の演算が規定回数実行されたか否かに基づき、一連の演算処理を終了する時点を判断してもよい。この場合、演算の反復回数は特に規定するものではないが、例えば、10回~100回程度とすることが好ましい。
また、再構成演算部225Aは、再構成画像を得るに際して、最終的に得られた複素振幅分布の実部(Re)及び虚部(Im)を用いて、Re2+Im2という演算を行うことで、着目する観察対象物Cの振幅画像を得ることができ、Atan(Im/Re)という演算を行うことで、着目する観察対象物Cの位相画像を得ることができる。
なお、図6及び図7では、センサ面S2と支持面S1との間で繰り返されるホログラムの画像伝搬において、伝搬波長がλ1→λ2→λ2→λ3→λ3→λ2→λ2→λ1→λ1の順に用いられる場合に着目した。しかしながら、伝播波長の順序については図6及び図7に示した例に限定されるものではなく、順不同である。例えば、再構成処理部225は、λ1→λ3→λ3→λ2→λ2→λ3→λ3→λ1→λ1の順で伝播波長を選択してもよいし、λ3→λ1→λ1→λ2→λ2→λ1→λ1→λ3→λ3等の順で伝播波長を選択してもよい。また、光源部11が2つのLED101から構成される場合、又は、4つ以上のLED101から構成される場合についても、上記と同様にして、再構成画像を得ることができる。
図6及び図7では、位相回復のための反復処理の際に、再構成演算部225Aが、支持面S1において振幅置換処理を毎回実施する場合について説明したが、図8に示したように、支持面S1における振幅の置換操作は、一連のループのうち、1回だけであってもよい。
以上のような一連の処理が行われることで、再構成処理部225は、着目する観察対象物Cの振幅画像及び位相画像を算出することができる。このようにして得られた観察対象物の位相画像の一例を、図9に示した。図9は、心筋細胞を本実施形態に係る観察装置1により観察した例であるが、心筋細胞の画像が良好に得られていることがわかる。
以上、本実施形態に係る画像算出部205の構成について、詳細に説明した。
以上、本実施形態に係る演算処理部20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理部の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
◇演算処理部のハードウェア構成
次に、図10を参照しながら、本開示の実施形態に係る演算処理部20のハードウェア構成について、詳細に説明する。図10は、本開示の実施形態に係る演算処理部20のハードウェア構成を説明するためのブロック図である。
次に、図10を参照しながら、本開示の実施形態に係る演算処理部20のハードウェア構成について、詳細に説明する。図10は、本開示の実施形態に係る演算処理部20のハードウェア構成を説明するためのブロック図である。
演算処理部20は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理部20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、演算処理部20内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理部20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置915を操作することにより、演算処理部20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、演算処理部20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理部20が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、演算処理部20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、演算処理部20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア、Blu-ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、機器を演算処理部20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、演算処理部20は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る演算処理部20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
<観察方法について>
続いて、図11を参照しながら、以上説明したような観察装置1を用いた、観察対象物の観察方法の流れについて、簡単に説明する。図11は、本実施形態に係る観察方法の流れの一例を示した流れ図である。
続いて、図11を参照しながら、以上説明したような観察装置1を用いた、観察対象物の観察方法の流れについて、簡単に説明する。図11は、本実施形態に係る観察方法の流れの一例を示した流れ図である。
本実施形態に係る観察方法では、図11に示したように、まず、観察装置1のホログラム取得部10は、演算処理部20による制御のもとで、着目する観察対象物のホログラム画像を、光源部11から照射される照明光の発光波長毎に取得する(ステップS11)。取得したホログラム画像は、観察装置1の演算処理部20へと出力される。
次に、観察装置1の演算処理部20が備える伝播距離算出部221は、取得したホログラム画像を用いて、伝播距離zを算出し(ステップS13)、得られた結果を、前処理部223及び再構成処理部225へと出力する。その後、前処理部223は、得られたホログラム画像と、伝播距離算出部221が算出した伝播距離と、を用いて、先だって説明したような、一連の前処理を実施する(ステップS15)。かかる前処理において、LEDの位置に基づく画像のシフト補正が行われることで、本実施形態に係る観察方法では、異なる波長を有する複数の光を用いる際にインラインホログラムに生じうる歪みを、より簡便な方法で抑制することができる。
その後、再構成処理部225は、前処理後のホログラム画像(前処理画像)を用いて、先だって説明したような一連の再構成処理を実施する(ステップS17)。これにより、再構成処理部225は、着目する観察対象物の再構成画像(振幅画像、位相画像)を得ることができる。再構成処理部225は、着目する観察対象物の再構成画像を算出すると、かかる再構成画像の画像データを、出力制御部207に出力する。
出力制御部207は、再構成処理部225から出力された再構成画像を、例えばユーザが指定した方法により出力して、ユーザに提示する(ステップS19)。これにより、ユーザは、着目する観察対象物を観察することが可能となる。
以上、図11を参照しながら、本実施形態に係る観察方法について、簡単に説明した。
このように、本実施形態に係る観察装置及び観察方法によれば、LED、イメージセンサ、バンドパスフィルタという非常に少ない部品点数で構成されるホログラム取得部により、例えば細胞等の透明な位相物体を良好に観測可能な装置を提供する。かかる装置は、小型化が極めて容易であるため、バイオリアクター内などのように、これまでは顕微鏡を設置不能だった領域に対しても観察装置を配置することが可能となる。その結果、細胞等の生体材料の位相画像を、より簡便に取得可能となる。
また、本実施形態に係る観察装置では、空間アパーチャ等により、光線を捨てることがないため、高効率、かつ、低消費電力の光源を有する観察装置を実現することが可能となる。また、互いに近接した波長の異なるマイクロLEDを用いることで、複雑な前処理が不要となって、処理の簡便化、高速化を図ることが可能となる。
(実施例)
(実施例)
以下では、具体的な画像を示しながら、本開示の実施形態に係る観察装置及び観察方法について簡単に説明する。以下に示す例では、図1B及び図2Aに示したような構成を有する観察装置を用い、市販の解像度テストチャートの一部を観察した。また、比較のために、観察装置の光源部を一般的に用いられるLEDに換えた装置と、従来方式(光ファイバ及びピンホールを併用する方式)のレンズレス顕微鏡と、を用いた場合についても、同様に観察を行った。
得られた結果を、図12にあわせて示した。
図12(b)、図12(c)を比較すると明らかなように、本開示の実施形態に係る観察装置では、良好な干渉縞が見られ、かつ、非常に高い周波数のコントラストが観察されており、従来方式と同程度の画像を得ることができた。
図12(b)、図12(c)を比較すると明らかなように、本開示の実施形態に係る観察装置では、良好な干渉縞が見られ、かつ、非常に高い周波数のコントラストが観察されており、従来方式と同程度の画像を得ることができた。
一方、図12(a)と図12(b)を比較すると明らかなように、一般的なLEDを光源として用いた場合には、干渉縞は観察されるものの、全体的にコントラストが低いことがわかる。
図12(a)~図12(c)に示した結果を、より分かりやすく比較するために、図12(a)~図(c)に示した画像のそれぞれをフーリエ変換することでFFTスペクトルを得て、記録されているインラインホログラムの周波数特性を比較した。得られた結果を、図13(a)~図14(c)に示した。図13(a)~図13(c)は、長さ単位系を基準としたFFTスペクトルであって、横軸の単位は、[mm-1]である。図14(a)~図14(c)は、ピクセル単位系を基準としたFFTスペクトルであって、横軸の単位は、[pixel-1]である。
図13(a)~図13(c)、及び、図14(a)~図14(c)において、同じ振幅が得られる周波数を比較すると、図13(a)及び図14(a)に示した一般的なLEDをコヒーレンス光源として用いた場合には、その周波数は、108mm-1(0.12pixel-1)となった。0.12pixel-1という周波数は、8.3pixel幅の干渉縞を与える周波数である。
一方、図13(b)及び図14(b)に示した、本開示の実施形態に係る観察装置を用いた場合には、その周波数は、その周波数は、279mm-1(0.31pixel-1)となった。0.31pixel-1という周波数は、3.2pixel幅の干渉縞を与える周波数である。また、図13(c)及び図14(c)に示した、従来方式のコヒーレンス光源を用いた場合には、その周波数は、その周波数は、219mm-1(0.25pixel-1)となった。0.25pixel-1という周波数は、4.0pixel幅の干渉縞を与える周波数である。
これらの結果から明らかなように、本開示の実施形態に係る観察装置を用いた場合、一般的なLEDをコヒーレンス光源として用いるよりも、より細かい周波数成分を含んでいることがわかる。また、従来方式よりも、本開示の実施形態に係る観察装置の方が、より細かい周波数成分まで記録されていることがわかる。かかる結果は、本開示の実施形態に係る観察装置の方が、従来方式よりもより精度の高いインラインホログラム(換言すれば、より高周波の干渉)を記録できていることを示している。これは、本開示の実施形態に係る観察装置の光源部の方が、従来方式のピンホールよりも発光点が小さいために生じた結果であると推察される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
を備える、観察装置。
(2)
前記離隔距離の大きさは、前記発光点の大きさの5倍以下である、(1)に記載の観察装置。
(3)
前記観察対象物と前記光源部との間に、前記複数の発光ダイオードそれぞれのピーク波長に透過波長帯域が設定されたバンドパスフィルタが設けられる、(1)又は(2)に記載の観察装置。
(4)
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部を更に備え、
前記演算処理部は、
前記発光波長ごとの撮像画像に対して、前記複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する前処理部と、
前記前処理後の前記撮像画像を用いて、前記観察対象物の画像を再構成する再構成処理部と、
を有する、(1)~(3)の何れか1つに記載の観察装置。
(5)
前記前処理部は、それぞれの前記発光ダイオードが設けられた位置に起因する前記撮像画像の間の位置ズレが解消されるように、前記シフト補正を実施する、(4)に記載の観察装置。
(6)
前記前処理部は、
前記複数の発光ダイオードの中から、基準とする前記発光ダイオードを一つ選択し、
前記複数の発光ダイオードのうち、前記基準とする発光ダイオード以外の残りの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、前記基準とする発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、(4)又は(5)に記載の観察装置。
(7)
前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、一列に配置されており、
前記前処理部は、両端に位置する前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、中央に位置する前記発光ダイオードを用いて撮像された前記撮像画像の方向に、以下の式(1)で算出される補正量δだけシフトさせる、(4)~(6)の何れか1つに記載の観察装置。
(8)
前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、三角形状に配置されており、
前記前処理部は、何れか2つの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、残りの1つの前記発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、(4)~(6)の何れか1つに記載の観察装置。
(9)
前記観察対象物は、生体材料である、(1)~(8)の何れか1つに記載の観察装置。
(10)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、
前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、
を含む、観察方法。
(11)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、
を備える、観察システム。
(1)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
を備える、観察装置。
(2)
前記離隔距離の大きさは、前記発光点の大きさの5倍以下である、(1)に記載の観察装置。
(3)
前記観察対象物と前記光源部との間に、前記複数の発光ダイオードそれぞれのピーク波長に透過波長帯域が設定されたバンドパスフィルタが設けられる、(1)又は(2)に記載の観察装置。
(4)
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部を更に備え、
前記演算処理部は、
前記発光波長ごとの撮像画像に対して、前記複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する前処理部と、
前記前処理後の前記撮像画像を用いて、前記観察対象物の画像を再構成する再構成処理部と、
を有する、(1)~(3)の何れか1つに記載の観察装置。
(5)
前記前処理部は、それぞれの前記発光ダイオードが設けられた位置に起因する前記撮像画像の間の位置ズレが解消されるように、前記シフト補正を実施する、(4)に記載の観察装置。
(6)
前記前処理部は、
前記複数の発光ダイオードの中から、基準とする前記発光ダイオードを一つ選択し、
前記複数の発光ダイオードのうち、前記基準とする発光ダイオード以外の残りの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、前記基準とする発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、(4)又は(5)に記載の観察装置。
(7)
前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、一列に配置されており、
前記前処理部は、両端に位置する前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、中央に位置する前記発光ダイオードを用いて撮像された前記撮像画像の方向に、以下の式(1)で算出される補正量δだけシフトさせる、(4)~(6)の何れか1つに記載の観察装置。
(8)
前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、三角形状に配置されており、
前記前処理部は、何れか2つの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、残りの1つの前記発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、(4)~(6)の何れか1つに記載の観察装置。
(9)
前記観察対象物は、生体材料である、(1)~(8)の何れか1つに記載の観察装置。
(10)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、
前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、
を含む、観察方法。
(11)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、
を備える、観察システム。
ここで、上記式(1)において、
δ:補正量
L:光源部-イメージセンサ間距離
Z:観察対象物-イメージセンサ間距離
p:発光ダイオード間距離
である。
δ:補正量
L:光源部-イメージセンサ間距離
Z:観察対象物-イメージセンサ間距離
p:発光ダイオード間距離
である。
1 観察装置
10 ホログラム取得部
11 光源部
13 イメージセンサ
15 バンドパスフィルタ
20 演算処理部
101 発光ダイオード
201 ホログラム取得制御部
203 データ取得部
205 画像算出部
207 出力制御部
209 表示制御部
211 記憶部
221 伝播距離算出部
223 前処理部
225 再構成処理部
225A 再構成演算部
225B 振幅置換部
231 階調補正部
233 アップサンプル部
235 画像シフト部
237 画像端処理部
239 初期複素振幅生成部
10 ホログラム取得部
11 光源部
13 イメージセンサ
15 バンドパスフィルタ
20 演算処理部
101 発光ダイオード
201 ホログラム取得制御部
203 データ取得部
205 画像算出部
207 出力制御部
209 表示制御部
211 記憶部
221 伝播距離算出部
223 前処理部
225 再構成処理部
225A 再構成演算部
225B 振幅置換部
231 階調補正部
233 アップサンプル部
235 画像シフト部
237 画像端処理部
239 初期複素振幅生成部
Claims (11)
- 各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
を備える、観察装置。 - 前記離隔距離の大きさは、前記発光点の大きさの5倍以下である、請求項1に記載の観察装置。
- 前記観察対象物と前記光源部との間に、前記複数の発光ダイオードそれぞれのピーク波長に透過波長帯域が設定されたバンドパスフィルタが設けられる、請求項1に記載の観察装置。
- 前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部を更に備え、
前記演算処理部は、
前記発光波長ごとの撮像画像に対して、前記複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する前処理部と、
前記前処理後の前記撮像画像を用いて、前記観察対象物の画像を再構成する再構成処理部と、
を有する、請求項1に記載の観察装置。 - 前記前処理部は、それぞれの前記発光ダイオードが設けられた位置に起因する前記撮像画像の間の位置ズレが解消されるように、前記シフト補正を実施する、請求項4に記載の観察装置。
- 前記前処理部は、
前記複数の発光ダイオードの中から、基準とする前記発光ダイオードを一つ選択し、
前記複数の発光ダイオードのうち、前記基準とする発光ダイオード以外の残りの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、前記基準とする発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、請求項4に記載の観察装置。 - 前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、三角形状に配置されており、
前記前処理部は、何れか2つの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、残りの1つの前記発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、請求項4に記載の観察装置。 - 前記観察対象物は、生体材料である、請求項1に記載の観察装置。
- 各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、
前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、
を含む、観察方法。 - 各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、
を備える、観察システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/274,694 US20210271067A1 (en) | 2018-09-19 | 2019-09-12 | Observation device, observation method, and observation system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-175058 | 2018-09-19 | ||
JP2018175058A JP2020046308A (ja) | 2018-09-19 | 2018-09-19 | 観察装置、観察方法及び観察システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020059642A1 true WO2020059642A1 (ja) | 2020-03-26 |
Family
ID=69888461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/035992 WO2020059642A1 (ja) | 2018-09-19 | 2019-09-12 | 観察装置、観察方法及び観察システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210271067A1 (ja) |
JP (1) | JP2020046308A (ja) |
WO (1) | WO2020059642A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220120304A (ko) * | 2021-02-23 | 2022-08-30 | 삼성전자주식회사 | 3차원 홀로그래픽 디스플레이 장치 및 그 동작 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005150472A (ja) * | 2003-11-17 | 2005-06-09 | Alps Electric Co Ltd | 波長可変光源及びその製造方法 |
JP2016090901A (ja) * | 2014-11-07 | 2016-05-23 | 大日本印刷株式会社 | 光学装置 |
JP2017146696A (ja) * | 2016-02-16 | 2017-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
WO2018158947A1 (ja) * | 2017-03-03 | 2018-09-07 | 株式会社島津製作所 | 細胞観察装置 |
-
2018
- 2018-09-19 JP JP2018175058A patent/JP2020046308A/ja active Pending
-
2019
- 2019-09-12 WO PCT/JP2019/035992 patent/WO2020059642A1/ja active Application Filing
- 2019-09-12 US US17/274,694 patent/US20210271067A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005150472A (ja) * | 2003-11-17 | 2005-06-09 | Alps Electric Co Ltd | 波長可変光源及びその製造方法 |
JP2016090901A (ja) * | 2014-11-07 | 2016-05-23 | 大日本印刷株式会社 | 光学装置 |
JP2017146696A (ja) * | 2016-02-16 | 2017-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
WO2018158947A1 (ja) * | 2017-03-03 | 2018-09-07 | 株式会社島津製作所 | 細胞観察装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020046308A (ja) | 2020-03-26 |
US20210271067A1 (en) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220254538A1 (en) | Fourier ptychographic imaging systems, devices, and methods | |
Leite et al. | Observing distant objects with a multimode fiber-based holographic endoscope | |
JP5412394B2 (ja) | 標本観察装置 | |
JP4831072B2 (ja) | 顕微鏡装置 | |
Chen et al. | Superresolution structured illumination microscopy reconstruction algorithms: a review | |
US8019136B2 (en) | Optical sectioning microscopy | |
JP6112872B2 (ja) | 撮像システム、画像処理方法、および撮像装置 | |
CN110082900B (zh) | 可变照明傅立叶重叠关联成像设备、系统以及方法 | |
JP4865930B2 (ja) | 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法 | |
JP2022553713A (ja) | 構造化照明顕微鏡法のためのシステム及び方法 | |
JP2012088530A (ja) | 顕微鏡システム | |
JPWO2018158947A1 (ja) | 細胞観察装置 | |
JP2015506496A (ja) | 4f光学系を用いた位相画像システム | |
JP2022548760A (ja) | スライドフリーな組織学的撮像法及びシステム | |
WO2019181073A1 (ja) | 光干渉断層撮像装置および光干渉断層撮像方法 | |
WO2020059642A1 (ja) | 観察装置、観察方法及び観察システム | |
JP7058901B1 (ja) | 3次元撮像装置 | |
Greene et al. | Pupil engineering for extended depth-of-field imaging in a fluorescence miniscope | |
CN112200726B (zh) | 基于无透镜显微成像的尿沉渣有形成分检测方法及系统 | |
JP2021511871A (ja) | マルチコアファイバイメージング | |
KR20170079441A (ko) | 진동 환경에서 큰 단차를 갖는 샘플의 높낮이 측정을 위한 디지털 홀로그램 기록재생장치 및 기록재생방법 | |
WO2017065130A1 (ja) | 像再生装置、像再生方法、およびデジタルホログラフィ装置 | |
WO2019012796A1 (ja) | 情報処理装置、情報処理方法、プログラム及び細胞観察システム | |
WO2022014579A1 (ja) | 光学収差補正プログラム及び光学波面推定プログラム | |
WO2022202565A1 (ja) | 顕微鏡、観察方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19863741 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19863741 Country of ref document: EP Kind code of ref document: A1 |