WO2019012796A1 - 情報処理装置、情報処理方法、プログラム及び細胞観察システム - Google Patents

情報処理装置、情報処理方法、プログラム及び細胞観察システム Download PDF

Info

Publication number
WO2019012796A1
WO2019012796A1 PCT/JP2018/018350 JP2018018350W WO2019012796A1 WO 2019012796 A1 WO2019012796 A1 WO 2019012796A1 JP 2018018350 W JP2018018350 W JP 2018018350W WO 2019012796 A1 WO2019012796 A1 WO 2019012796A1
Authority
WO
WIPO (PCT)
Prior art keywords
amplitude
hologram
propagation calculation
light
light propagation
Prior art date
Application number
PCT/JP2018/018350
Other languages
English (en)
French (fr)
Inventor
威 國弘
寛和 辰田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/627,549 priority Critical patent/US20200125030A1/en
Publication of WO2019012796A1 publication Critical patent/WO2019012796A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/18Particular processing of hologram record carriers, e.g. for obtaining blazed holograms
    • G03H1/181Pre-exposure processing, e.g. hypersensitisation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1454Optical arrangements using phase shift or interference, e.g. for improving contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0212Light sources or light beam properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/266Wavelength multiplexing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, a program, and a cell observation system capable of reconstructing an image of a cell from a hologram.
  • a phase contrast microscope generally used as a microscope for observing cells requires Kohler illumination for illumination and a magnifying optical system for observation, and the system becomes huge and expensive. For this reason, in recent years, a lensless microscope composed only of a light source and a general image sensor has attracted attention.
  • a lensless microscope can use an in-line hologram as a basic principle, and can reconstruct an image of a subject by calculation from an imaged hologram.
  • the image sensor can only record light intensity information (a square value of amplitude), it is necessary to recover light phase information in order to obtain a reconstructed image of a subject.
  • phase information of a hologram As a method of recovering phase information of a hologram, an iterative phase recovery method has been reported in which phase information is recovered by repeating propagation with a plurality of holograms captured at different wavelengths as constraints (for example, non- Patent Document 1).
  • Non-Patent Document 1 Even with the technique described in Non-Patent Document 1, there is a problem that the phase information of the hologram can not be recovered sufficiently and the artifacts of the reconstructed image can not be removed.
  • an object of the present technology to provide an information processing device, an information processing method, a program and a cell observation system capable of correctly recovering phase information of a hologram and reducing artifacts of a reconstructed image. It is.
  • an information processing apparatus includes an arithmetic unit and an amplitude replacement unit.
  • the calculation unit propagates a first complex amplitude distribution including a light intensity distribution of a hologram of a cell to be observed acquired on a sensor surface of an image sensor from the sensor surface to a support surface for supporting the cell.
  • the second light propagation calculation for propagating the second complex amplitude distribution obtained as a result of the first light propagation calculation from the support surface to the sensor surface.
  • the amplitude replacement unit replaces the amplitude component of the second complex amplitude distribution with the predetermined amplitude representative value at least once in the second light propagation calculation.
  • phase component of the complex amplitude distribution of the hologram is appropriately updated, and it is possible to obtain a reconstructed image of cells in which the phase component is sufficiently recovered. That is, it is possible to reconstruct the sample surface from the defocused hologram.
  • the amplitude replacing unit may replace the amplitude component of the first complex amplitude distribution with amplitude components of other holograms acquired under different imaging conditions, at each execution of the first light propagation calculation. As a result, the frequency of constraining the amplitude component of the first complex amplitude distribution is increased, and the number of propagation calculations necessary for phase recovery is reduced.
  • the other hologram may be one of a plurality of holograms having different wavelengths of the illumination light.
  • the other hologram may be one of a plurality of holograms having different distances from the support surface.
  • the amplitude replacing unit may replace the amplitude component of the second complex amplitude distribution with the predetermined amplitude representative value at each execution of the second light propagation calculation.
  • the predetermined amplitude representative value may be an average value of amplitude components in a complex amplitude distribution obtained as a result of the first light propagation calculation. As a result, the amplitude component of the complex amplitude distribution of the hologram is smoothed and the calculation load is reduced.
  • the predetermined amplitude representative value includes a value obtained by multiplying the average value by a predetermined correction coefficient
  • the amplitude replacement unit may make the correction coefficient different for each pixel area. Thereby, the frequency of constraining the amplitude component of the second complex amplitude distribution is adjusted.
  • the predetermined amplitude representative value includes a value obtained by multiplying the average value by a predetermined correction coefficient
  • the amplitude replacement unit may make the correction coefficient different every time the second light propagation calculation is performed. Thereby, the frequency of constraining the amplitude component of the second complex amplitude distribution is adjusted.
  • an information processing method is: A first light propagation calculation for propagating a first complex amplitude distribution including a light intensity distribution of a hologram of a cell to be observed acquired on a sensor surface of an image sensor to the support surface supporting the cells from the sensor surface; The second light propagation calculation for causing the second complex amplitude distribution obtained as a result of the first light propagation calculation to propagate from the support surface to the sensor surface is repeatedly executed.
  • the amplitude component of the second complex amplitude distribution is replaced at least once with a predetermined amplitude representative value.
  • a program concerning one form of this art makes an information processor perform the following steps.
  • a cell observation system includes a light source, a sample holder, an image sensor, and a reconstruction processing unit.
  • the light source emits illumination light.
  • the sample holder has a support surface that supports cells to be observed.
  • the image sensor has a sensor surface that receives a hologram by interference of transmitted light and diffracted light obtained by the illumination light being separated by the cells.
  • the reconstruction processing unit performs first light propagation calculation to propagate a first complex amplitude distribution including a light intensity distribution of a hologram acquired by the image sensor from the sensor surface to the support surface, and the first light.
  • the second light propagation calculation for propagating the second complex amplitude distribution obtained as a result of the propagation calculation from the support surface to the sensor surface is repeatedly executed, and in the second light propagation calculation, the second complex amplitude is calculated
  • the amplitude component of the distribution is replaced at least once with a predetermined amplitude representative value.
  • FIG. 1 is a schematic view showing a configuration example of a cell observation system according to a first embodiment of the present technology. It is a flowchart which shows the information processing method of the information processing apparatus of the said embodiment. It is a block diagram which shows the procedure until the cell observation system of the said embodiment acquires the reconstruction image of a cell. It is a block diagram which shows the procedure of pre-processing of the pre-processing part of the said embodiment. It is a figure which shows the calculation process (algorithm) in the iteration in the iterative phase restoration method which the reconstruction process part of the said embodiment performs. It is a block diagram which shows the procedure of the amplitude replacement process of the amplitude replacement part of the said embodiment.
  • FIG. 1 is a schematic view showing a configuration example of a cell observation system 100 according to a first embodiment of the present technology.
  • the cell observation system 100 includes a light source 10, an observation stage 20, an image sensor 30, a sensor / light source control unit 40, an input unit 50, and an information processing device 60, as shown in FIG.
  • FIG. 1 shows an X axis, a Y axis, and a Z axis orthogonal to each other.
  • the light source 10 is configured to be capable of irradiating the cell C on the observation stage 20 with illumination light of a wavelength ( ⁇ R : 636 nm, ⁇ G : 515 nm, ⁇ B : 470 nm) corresponding to each of RGB.
  • the illumination light When illumination light from the light source 10 is applied to the cell C (observation object), the illumination light is separated into transmitted light and diffracted light.
  • the transmitted light interferes with the diffracted light on the image sensor 30 to generate a hologram on the image sensor 30.
  • Transmitted light can also be referred to as reference light for generating a hologram.
  • This hologram (interference pattern) can be calculated from the Fresnel-Kirchhoff diffraction equation or the Rayleigh-Sommerfeld diffraction equation (see equation (1)) described later.
  • the light source 10 of the present embodiment is typically a partially coherent LED light source, but may be configured to enhance temporal coherence with a band pass filter and spatial coherence with a pinhole.
  • the observation stage 20 supports a sample holder H supporting a cell C.
  • the sample holder H has a support surface S1 that supports the cell C to be observed.
  • the sample holder H is not particularly limited, it is typically a preparation consisting of a slide glass and a cover glass and has optical transparency.
  • the observation stage 20 may be configured to be movable in the Z-axis direction. Thereby, the distance Z between the support surface S1 and the image sensor surface S2 described later is adjusted, and the relative position of the image sensor 30 with respect to the cell C can be adjusted.
  • the observation stage 20 has a region having optical transparency to transmit the illumination light of the light source 10, and the sample holder H is placed on this region.
  • the light transmitting region provided on the observation stage 20 may be made of glass or the like, and may be formed of an opening communicating the upper and lower surfaces of the observation stage 20 in the Z-axis direction.
  • the present invention is not limited to this.
  • anything derived from a living body such as tissue, sperm, fertilized egg, or microorganism may be adopted as a subject.
  • the image sensor 30 records a hologram of the cell C generated on the image sensor surface S2 and outputs image data on the hologram to the information processing device 60.
  • the image sensor 30 is, for example, a general image sensor such as a CCD sensor or a CMOS sensor. Therefore, only the light intensity distribution (square value of the amplitude) is recorded in the hologram recorded on the image sensor surface S2.
  • the image sensor surface S2 is a light receiving surface that receives the hologram of the cell C.
  • the sensor / light source control unit 40 is connected to the light source 10 and the image sensor 30 wirelessly or by wire, and is configured to be able to control these.
  • the sensor / light source control unit 40 controls the light source 10, for example, the wavelength of the illumination light irradiated to the cell C is switched.
  • the input unit 50 is an operation device that causes the information processing apparatus 60 to input operation information by the user.
  • the input unit 50 may be an operation device such as a keyboard or a mouse, or may be a touch panel or the like.
  • the information processing apparatus 60 has hardware necessary for a computer such as a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and a hard disk drive (HDD).
  • the CPU loads the program of the present technology stored in the ROM or the HDD into the RAM and executes it, whereby the iterative phase recovery method of the information processing apparatus 60 described later is executed.
  • the program is installed in the information processing apparatus 60 via, for example, various storage media (internal memory). Alternatively, the program may be installed via the Internet or the like. In the present embodiment, for example, a PC (Personal Computer) or the like is used as the information processing apparatus 60, but any other computer may be used.
  • PC Personal Computer
  • the information processing apparatus 60 includes an image acquisition unit 61, a preprocessing unit 62, a reconstruction processing unit 63, and a display control unit 64.
  • the image acquisition unit 61 acquires the image data from an image sensor surface S2 on which image data of a plurality of holograms in which the cell C is imaged under different conditions are recorded.
  • the preprocessing unit 62 performs various corrections on the image data regarding the hologram output from the image acquisition unit 61 so that repetitive processing in the repetitive phase recovery method described later is appropriately performed.
  • the reconstruction processing unit 63 includes an arithmetic unit 63a and an amplitude replacing unit 63b.
  • the reconstruction processing unit 63 loses the image sensor surface S2 by repeating propagation between the image sensor surface S2 and the support surface S1 with the hologram output from the preprocessing unit 62 as a constraint condition. Recover the phase component of the complex amplitude distribution with respect to the hologram.
  • the amplitude replacement unit 63b repeats replacement of these amplitude components while transitioning the hologram by light wave propagation calculation by the calculation unit 63a, thereby recovering the lost phase component.
  • the reconstruction processing unit 63 repeatedly executes a cycle of replacing the amplitude component of the complex amplitude distribution of the hologram obtained from the propagation calculation result with the measured amplitude component so that only the phase component remains.
  • propagation of the hologram in the present embodiment means the diffraction integral of Rayleigh-Sommerfeld represented by the following formula (1) from the complex amplitude distribution (g (x, y, z)) in the hologram of the propagation source. It means performing lightwave propagation calculation which calculates complex amplitude distribution (g (x, y, 0)) in a hologram of a propagation place based on.
  • the reconstruction processing unit 63 uses the complex amplitude distribution of the hologram propagated from the image sensor surface S2 to the support surface S1 at a predetermined wavelength, and uses the wavelength different from the above wavelength from the support surface
  • the complex amplitude distribution of the hologram propagating to the image sensor surface S2 is recalculated. Therefore, in the present embodiment, a calculation equation in which the equation (2) becomes the following equation (3) is adopted.
  • the complex amplitude distribution of the hologram g ⁇ B propagated from the image sensor surface S2 to the support surface S1 at the wavelength ⁇ B is the complex of the hologram g ⁇ G propagated from the support surface S1 to the image sensor surface S2 at the wavelength ⁇ G It means to calculate the amplitude distribution.
  • the calculation unit 63a repeatedly executes the light wave propagation calculation between the sensor surface S2 and the support surface S1 based on the propagation calculation equations of the equations (2) and (3).
  • the amplitude replacement unit 63b does not perform the amplitude replacement on the support surface S1
  • propagation calculation based on the equation (3) is performed.
  • the amplitude component of the complex amplitude distribution of the hologram g ⁇ B propagated from the image sensor surface S2 to the support surface S1 at the wavelength ⁇ B is replaced with a predetermined amplitude representative value based on the equation (2)
  • the complex amplitude distribution of the hologram g ⁇ G propagating from the support surface S1 to the image sensor surface S2 at the wavelength ⁇ G is calculated.
  • FIG. 2 is a flowchart showing the information processing method of the information processing apparatus 60
  • FIG. 3 is a block diagram showing a procedure until the cell observation system 100 generates a reconstructed image of the cell C.
  • the information processing method of the information processing apparatus 60 will be described with reference to these figures as appropriate.
  • Step S01 Image acquisition
  • cells C are individually irradiated with illumination light of wavelengths ⁇ R , ⁇ G , and ⁇ B corresponding to each of the light sources 10 to RBG.
  • holograms g ⁇ R , g ⁇ G and g ⁇ B hologram intensity corresponding to these respective wavelengths are individually imaged (S101).
  • These images are recorded on the image sensor surface S2, and image data based on each image is output to the image acquisition unit 61 (S102).
  • Step S02 preprocessing
  • the preprocessing unit 62 performs various corrections on the image data related to the holograms g ⁇ R , g ⁇ G and g ⁇ B output from the image acquisition unit 61 (S103).
  • FIG. 4 is a block diagram showing the procedure of preprocessing of the preprocessing unit 62. As shown in FIG.
  • gradation correction dark level correction, inverse gamma correction
  • the image signal based on the holograms g ⁇ R , g ⁇ G and g ⁇ B acquired from the image acquisition unit 61 is restored to a linear (linear) state (S201).
  • this image signal is upsampled (S202).
  • the resolution of the lensless microscope exceeds the Nyquist frequency of the image sensor 30, and thus it is necessary to perform upsampling in order to exert limit performance.
  • the end portions of the holograms g ⁇ R , g ⁇ G and g ⁇ B are processed (S203).
  • a boundary condition of 0 outside the input value is applied to the image edge, and the same condition as the presence of a knife edge at the edge causes diffracted light to be generated and causes new artifacts. Therefore, the number of pixels twice as long as the number of pixels of the original image is prepared, and the processing of embedding the luminance value of the re-edge portion in the outside of the original image arranged at the center is performed. This makes it possible to prevent the diffraction fringes generated by the processing of the image edge from affecting the range of the original image.
  • the real part of the complex amplitude of the light forming the holograms g ⁇ R , g ⁇ G and g ⁇ B is taken as the square root of the pixel value, and the imaginary part is taken as 0.
  • initial complex amplitudes regarding the holograms g ⁇ R , g ⁇ G and g ⁇ B having only the amplitude component are calculated (S204).
  • the above pixel value is a processed pixel value processed by the above-described dark level correction (dark subtraction) or the like.
  • the image data based on the holograms g ⁇ R , g ⁇ G and g ⁇ B for which the preprocessing described above has been performed by the preprocessing unit 62 is output to the reconstruction processing unit 63 (S104).
  • the preprocessing of the preprocessing unit 62 is not limited to the above-described method, and other methods may be employed.
  • step S02 may be omitted as necessary.
  • Step S03 Determination of propagation distance
  • the propagation distance the distance Z between the image sensor surface S2 and the support surface S1 for obtaining a reconstructed image of the cell C is determined (S105).
  • the propagation distance may be determined by digital focusing based on Equation (2) or may be determined by the mechanical accuracy of the cell observation system 100.
  • the above-mentioned digital focusing is a method of determining the focal positions of the various holograms g ⁇ R , g ⁇ G and g ⁇ B by adjusting the distance between the image sensor surface S2 and the support surface S1.
  • this digital focusing may be performed manually while observing the holograms g ⁇ R , g ⁇ G and g ⁇ B on the image sensor surface S2, or may be performed by auto focusing.
  • FIG. 5 is a diagram showing calculation processing (algorithm) in iteration in the iterative phase recovery method executed by the reconstruction processing unit 63 of the present embodiment.
  • 6 is a block diagram showing the procedure of the amplitude replacement process of the amplitude replacement unit 63b on the support surface S1
  • FIG. 7 shows the procedure of the amplitude replacement process of the amplitude replacement unit 63b on the image sensor surface S2. It is a block diagram.
  • a first light wave propagation calculation is carried out to propagate the complex amplitude distribution (light intensity distribution) of the hologram g ⁇ R output from the preprocessing unit 62 from the image sensor surface S2 to the support surface S1 (S301).
  • the complex amplitude distribution of the hologram g ⁇ R output from the pre-processing unit 62 is represented by the following equation (4)
  • the complex amplitude distribution of the hologram g ⁇ R propagated to the support surface S1 is represented by the following equation (5) .
  • the complex amplitude distribution of the hologram g ⁇ R represented by the following formula (5) is a complex amplitude distribution of the hologram g ⁇ R obtained as a result of the first light wave propagation calculation.
  • the complex amplitude distribution of the hologram of the present embodiment is the complex amplitude distribution of the light forming the hologram, and is the same in the following description.
  • the amplitude component A ′ of the complex amplitude distribution regarding the hologram g ⁇ R propagated at the wavelength ⁇ R to the support surface S1 is separated (S302), and the average value Aave of the amplitude component A ′ is calculated (S303).
  • the amplitude component A ′ of the complex amplitude distribution related to the hologram g ⁇ R is replaced with the average value Aave on the support surface S1 as a part of second light wave propagation calculation described later (S304). This utilizes the fact that the amplitude component of the hologram becomes almost zero as a constraint condition of the amplitude component in the case of an object with high transmittance such as a cell.
  • the average value Aave of this embodiment is typically an average value of the amplitude component A ′ in the complex amplitude distribution (equation (5)) obtained as a result of the first light wave propagation calculation.
  • the average value is a ratio (integrated average) of the sum of amplitude components corresponding to each pixel of the hologram g ⁇ R (x, y, 0) to the number N of pixels of the hologram g ⁇ R (x, y, 0) Can.
  • the present invention is not limited to this, and a predetermined amplitude representative of the amplitude component A ′ of the complex amplitude distribution (formula (5)) of the hologram g ⁇ R If it is a value, it will not be limited in particular.
  • the amplitude component A ′ may be replaced with the median of the amplitude component A ′ in addition to the average value A ave , or may be replaced with a low pass filter transmission component of the amplitude component A ′. Alternatively, it may be replaced by the amplitude component of the image acquired in the absence of the cell C in advance.
  • the complex amplitude distribution of a hologram g .lambda.R the amplitude component A ' is substituted to the average value A ave, performing a second light wave propagating calculated for propagating the image sensor plane S2 from the support surface S1 at a wavelength lambda G ( S401). That is, from the complex amplitude distribution of the hologram g ⁇ R expressed by the equation (6), the complex amplitude distribution of the hologram g ⁇ G propagating at the wavelength ⁇ G to the image sensor surface S2 is determined by propagation calculation. The complex amplitude distribution of this hologram g ⁇ G is expressed by the following equation (7).
  • the amplitude component A ′ ′ of the complex amplitude distribution of the hologram g ⁇ G propagated at the wavelength ⁇ G is measured as the measured value A of the amplitude component A ′ ′ on the image sensor surface S2 as a part of the first light wave propagation calculation.
  • the actual measurement value A ⁇ G is an amplitude component (S404) separated from the hologram g ⁇ G (S403) acquired under the imaging condition different from the imaging condition for acquiring the hologram g ⁇ R in the previous step S01.
  • the measured value A .lambda.G is the amplitude component of the hologram g .lambda.G is one of the wavelength of the illumination light and the obtained hologram g .lambda.R is different holograms in the previous step S01. That is, the amplitude component of the hologram g .lambda.G recorded on the image sensor plane S2 by irradiating an illumination light having a wavelength lambda G to the cells C.
  • the hologram g ⁇ G in which the amplitude component A ′ ′ is replaced with the actual measurement value A ⁇ G on the image sensor surface S2 is expressed by the following equation (8). Thereby, a hologram g ⁇ G having a phase component is obtained.
  • g ⁇ G (x, y, z) A ⁇ G (x, y, z) exp (i ⁇ ′ ′ (x, y, z)) (8) (A ⁇ G (x, y, z): amplitude component, exp (i ⁇ ′ ′ (x, y, z)): phase component)
  • the first light propagation calculation is performed to propagate the complex amplitude distribution including the light intensity distribution of the hologram of the cell C acquired on the image sensor surface S2 from the image sensor surface S2 to the support surface S1
  • a cycle of performing a second light propagation calculation is carried out to propagate the complex amplitude distribution obtained as a result of the light propagation calculation of the light from the support surface S1 to the image sensor surface S2.
  • iterations are performed for this cycle for all the holograms g ⁇ R , g ⁇ G and g ⁇ B , and a specified number of iterations are performed until the calculation converges (NO in S05, S106).
  • the number of iterations is not particularly limited, but is preferably about 10 to 100 times.
  • the propagation wavelength is ⁇ R ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ B ⁇ ⁇ B ⁇ ⁇ B ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ ⁇ but in the order of R ⁇ ⁇ R, the present invention is not limited to this, in any order.
  • the order may be ⁇ R ⁇ ⁇ B ⁇ ⁇ B ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ B ⁇ ⁇ B ⁇ ⁇ R , and ⁇ B ⁇ ⁇ R ⁇ ⁇ R ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ R , and ⁇ B ⁇ ⁇ R ⁇ ⁇ R ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ G ⁇ ⁇ It may be R ⁇ ⁇ R ⁇ ⁇ B ⁇ ⁇ B or the like. Alternatively, two or four or more wavelengths may be used.
  • Step S06 output of reconstructed image
  • the complex amplitude distribution of the hologram obtained by the amplitude replacement process in step S04 is finally propagated to the support surface S1 based on the equation (2) To obtain a reconstructed image of cell C.
  • step S05 various holograms g ⁇ R of the cell C obtained by irradiating the cells C with illumination light of wavelengths ⁇ R , ⁇ B and ⁇ G by sufficiently executing iteration in the previous step S 04
  • the phase components of g ⁇ G and g ⁇ B are appropriately updated, and a reconstructed image in which the phase components are sufficiently recovered can be obtained (S107). That is, it becomes possible to reconstruct the sample surface from the defocused holograms g ⁇ R , g ⁇ G and g ⁇ B .
  • the iterative phase recovery method of this embodiment is based on the GS algorithm reported by RW Gerchberg and WO Saxton in 1972 in the field of electron beam holograms. This method is a method of recovering the phase by recording the complex amplitudes of the two electron beams of the image forming plane and the defocusing plane and repeating propagation between planes with the measured values of the two planes as constraints.
  • This iterative phase recovery method can also be applied between defocused holograms. That is, a plurality of different holograms can be acquired, propagation can be repeated with the image as a constraint, and the phase can be recovered.
  • A. Lambrechts et al. Apply this technique to a light wave, acquire multiple holograms obtained by changing the wavelength of illumination light incident on the subject, and replace the difference in wavelength with the difference in propagation distance It is reported that the phase component of the lost hologram can be recovered by the method (hereinafter, conventional method) (A. Lambrechts, "Lens-free digital in-line holographic imaging for wide field-of-view, high resolution and real -time monitoring of complex microscopic objects ", Proc. of SPIE, Vol. 8947, 2014).
  • hologram waveform g .lambda.G does not completely coincide in a high frequency region (hologram waveform correct) hologram waveform of the resultant hologram g .lambda.G by simulation (see FIG. 8 (a)).
  • (Improvement method 1) 8 (a) is based on the conventional method, the wavelength lambda hologram waveform hologram g .lambda.G wavelength lambda G propagated calculated from the phase known hologram g .lambda.R in R W1 (the amplitude waveform), the hologram g obtained by simulation It is the graph on which the hologram waveform W2 (amplitude waveform of the correct answer) of ( lambda ) G was superimposed.
  • FIG. 8B shows the hologram waveform W3 (amplitude waveform) of the hologram g ⁇ G of the wavelength ⁇ G calculated from the hologram g ⁇ R of the phase known at the wavelength ⁇ R based on the equation (3) It is the graph on which the hologram waveform W2 (amplitude waveform of the correct answer) of the obtained hologram g ⁇ G is superimposed.
  • FIG. 9 (a) is a graph showing the relationship between the number of propagations between the object surface and the sensor surface and the convergence error in the conventional method
  • FIG. 9 (b) is the support in the iterative phase recovery method of this embodiment It is a graph which shows the relationship between the number of propagations between surface S1 and image sensor surface S2, and a convergence error.
  • the hologram waveform W3 of the hologram g ⁇ G calculated based on the equation (3) is a hologram waveform of the hologram g ⁇ G obtained by simulation even in a high frequency region, unlike the conventional method. It completely matches W2.
  • an error is less likely to occur when replacing the calculated amplitude component of the hologram with the actual measurement value of the amplitude component, and the iterative processing converges faster than the conventional method. This is also apparent from the results shown in FIG. As a result, the number of iterations required for phase recovery can be reduced compared to the conventional method, and processing time can be shortened.
  • the improvement method 2 is introduced in which the amplitude component of the complex amplitude component in the hologram propagated to the support surface S1 is replaced with the average value of this amplitude component (step See S04).
  • FIG. 10 is a view showing reconstructed images of cells obtained by the improvement methods 1 and 2 and images obtained by imaging the cells with a microscope (quantitative phase microscope) capable of measuring phase values.
  • FIG. 11 is a graph showing phase values between arbitrary two points A and B of these images. In FIG. 10 and FIG. 11, the measurement result by the quantitative phase microscope is shown as a comparison with the improvement methods 1 and 2 as true.
  • the phase value obtained by improvement method 2 is clearly closer to the true value than improvement method 1.
  • the mean square error of the phase value is 12.8 deg compared to the true value
  • the mean square error of the phase value is 4.3 deg compared to the true value.
  • FIG. 12 is a diagram illustrating calculation processing (algorithm) in iteration in the iterative phase recovery method performed by the reconstruction processing unit 63 according to the second embodiment of the present technology.
  • algorithm calculation processing
  • the amplitude component of the complex amplitude distribution determined based on the first light wave propagation calculation is replaced with a predetermined amplitude representative value of the amplitude component.
  • the hologram g .lambda.R the complex amplitude distribution of the image sensor plane S2 wavelength ⁇ of the first hologram g .lambda.R obtained based on the light wave propagation calculations to propagate to the support surface S1 in R Smoothing of the amplitude component A ′ can be achieved by replacing the amplitude component A ′ (see Equation (5)) with, for example, the average value A ave of the amplitude component A ′.
  • the amplitude component A ′ see Equation (5)
  • FIG. 13 is a diagram illustrating calculation processing (algorithm) in iteration in the iterative phase recovery method performed by the reconstruction processing unit 63 according to the third embodiment of the present technology.
  • algorithm calculation processing
  • various holograms g Z1 , g Z2 , g Z3 individually acquired by the image sensor 30 at arbitrary positions Z1, Z2, Z3 different in distance from the support surface S1 are set as a constraint condition. Repeating propagation between the image sensor surface S2 and the support surface S1 restores the phase component of the hologram lost on the image sensor surface S2. The details will be described below.
  • Step S01 Image acquisition
  • illumination light of a predetermined wavelength ⁇ is applied to the cell C, so that the hologram g Z1 corresponding to each position on the image sensor surface S2 of the arbitrary position Z1, Z2, Z3 different from the cell C, respectively.
  • g Z2 and g Z3 (hologram intensity) are recorded separately.
  • Image data based on each of these images is output to the image acquisition unit 61.
  • Step S04 Amplitude replacement
  • the complex amplitude distribution (light intensity distribution) of the hologram gZ1 recorded on the image sensor surface S2 at the first position Z1 with respect to the cell C is propagated from the image sensor surface S2 to the support surface S1 Perform lightwave propagation calculations.
  • the complex amplitude distribution of the hologram g Z1 recorded on the image sensor surface S2 is represented by the following equation (9), and the complex amplitude distribution of the hologram g Z1 propagated to the support surface S1 is represented by the following equation (10) .
  • the complex amplitude distribution of the hologram gZ1 represented by the following equation (10) is a complex amplitude distribution of the hologram gZ1 obtained as a result of the first light wave propagation calculation.
  • g Z1 (x, y, 0) A '(x, y, 0) exp (i?' (x, y, 0)) (10) (A ′ (x, y, 0): amplitude component, exp (i ⁇ ′ (x, y, 0)): phase component)
  • the amplitude component A ′ of the complex amplitude distribution regarding the hologram g Z1 propagated to the support surface S1 at the wavelength ⁇ is replaced with the average value A ave on the support surface S1 as a part of second light wave propagation calculation described later.
  • the complex amplitude distribution of the hologram g Z1 in which the amplitude component A ′ is replaced by the average value A ave is represented by the following equation (11).
  • the average value Aave of this embodiment is typically an average value of the amplitude component A ′ in the complex amplitude distribution (formula (10)) obtained as a result of the first light wave propagation calculation.
  • the amplitude component A ′ is replaced by the average value A ave
  • the present invention is not limited to this, and a predetermined amplitude representative of the amplitude component A ′ of the complex amplitude distribution (formula (10)) of the hologram g Z1 If it is a value, it will not be limited in particular.
  • Perform a second lightwave propagation calculation to propagate That is, from the complex amplitude distribution of the hologram gZ1 represented by the equation (11), the complex amplitude distribution of the hologram gZ2 propagating at the wavelength ⁇ to the image sensor surface S2 at the second position Z2 is determined by propagation calculation.
  • the complex amplitude distribution regarding this hologram g Z2 is expressed by the following equation (12).
  • the amplitude component A ′ ′ of the complex amplitude distribution of the hologram g Z2 propagated at the wavelength ⁇ is an actual measurement value A Z2 of the amplitude component A ′ ′ on the image sensor surface S2.
  • Replace with The actual measurement value AZ2 is an amplitude component of the complex amplitude distribution regarding the hologram gZ2 acquired under the imaging condition different from the imaging condition under which the hologram gZ1 is acquired in the previous step S01.
  • the measured value A Z2 is the amplitude component of the hologram g Z2 distance from the support surface S1 and the hologram g Z1 obtained in the previous step S01 is one of a plurality of different holograms. That is, it is the amplitude component of the hologram gZ2 recorded at the second position Z2 in the previous step S01.
  • the hologram g Z2 in which the amplitude component A ′ ′ is replaced with the actual measurement value A Z2 on the image sensor surface S2 is expressed by the following equation (13). Thereby, a hologram g Z2 having a phase component is obtained.
  • g Z2 (x, y, z) A Z2 (x, y, z) exp (i? '(x, y, z)) (13) (A Z2 (x, y, z): amplitude component, exp (i ⁇ ′ ′ (x, y, z)): phase component)
  • the first light propagation calculation is performed to propagate the complex amplitude distribution including the light intensity distribution of the hologram of the cell C acquired on the image sensor surface S2 from the image sensor surface S2 to the support surface S1
  • a cycle of performing a second light propagation calculation is carried out to propagate the complex amplitude distribution obtained as a result of the light propagation calculation of the light from the support surface S1 to the image sensor surface S2.
  • Step S06 output of reconstructed image
  • step S06 various iterations of the various holograms g Z1 and g Z2 recorded individually on the image sensor 30 at each position Z1, Z2 and Z3 with respect to the cell C by sufficiently executing iteration in the previous step S04 , GZ3 are updated as needed, and a reconstructed image with sufficiently recovered phase components can be obtained. That is, the sample surface can be reconstructed from the defocused holograms g Z1 , g Z2 and g Z3 .
  • the present invention is not limited to this, and the rate at which the amplitude replacement unit 63b replaces the amplitude components with the average value can be adjusted. It is also good.
  • the complex amplitude distribution of the hologram is expressed by the following equation (14).
  • is a correction coefficient.
  • g (x, y, 0) ⁇ (1-alpha) A (x, y, 0) + alpha ave ⁇ exp (i? '(x, y, 0)) ... (14) ((1- ⁇ ) A ( x, y, 0) + ⁇ A ave: amplitude component, exp (i ⁇ '(x, y, 0)): phase component, 0 ⁇ ⁇ ⁇ 1)
  • the amplitude component of the complex amplitude distribution of the hologram may include a value obtained by multiplying the average value by a predetermined correction coefficient ⁇ , and the correction coefficient ⁇ may change according to the number of times the second light wave propagation calculation is performed.
  • the complex amplitude distribution of the hologram is expressed by the following equation (15).
  • g (x, y, 0) ⁇ (1-beta (n)) A (x, y, 0) + beta (n) A ave ⁇ exp (i? '(x, y, 0)) ... (15 ) ((1- ⁇ (n)) A (x, y, 0) + ⁇ (n) A ave : amplitude component, exp (i ⁇ '(x, y, 0)): phase component, 0 ⁇ ⁇ ⁇ 1)
  • the amplitude component of the complex amplitude distribution of the hologram may include a value obtained by multiplying the average value by a predetermined correction coefficient ⁇ , and the correction coefficient ⁇ may be different for each pixel region.
  • the complex amplitude distribution of the hologram is expressed by the following equation (16).
  • g (x, y, 0) ⁇ (1 ⁇ (x, y, 0)) A (x, y, 0) + ⁇ (x, y, 0) A ave ⁇ exp (i ⁇ ′ (x, y, 0) 0)) ... (16) ((1- ⁇ (x, y, 0)) A + ⁇ (x, y, 0) A ave: amplitude component, exp (i ⁇ '(x, y, 0)): phase component, 0 ⁇ ⁇ ⁇ 1)
  • a band pass filter or the like may be applied instead of replacing the amplitude component of the complex amplitude distribution of the hologram with the average value.
  • FIG. 14 is a block diagram showing the procedure of the amplitude replacement process of the amplitude replacement unit 63b on the support surface S1. Specifically, the amplitude component of the complex amplitude distribution regarding the hologram g (S501) propagated to the support surface S1 is separated (S502), and the spatial frequency band of the amplitude component is removed (S503). Then, the amplitude component of the complex amplitude distribution related to the hologram g may be replaced with the amplitude component from which the spatial frequency component has been removed (S504).
  • the amplitude replacement unit 63b is configured to transmit the hologram's complex amplitude distribution every cycle in which the hologram propagates from the image sensor surface S2 to the support surface S1 and from the support surface S1 to the image sensor surface S2.
  • the amplitude component is replaced with a predetermined amplitude representative value, it is not limited thereto.
  • the amplitude replacing unit 63b may replace the amplitude component with the amplitude representative value every other cycle in the process of performing one iteration, and sets the amplitude component as the amplitude representative value every plural cycles. It may be substituted.
  • the amplitude replacement unit 63b replaces the amplitude component of the complex amplitude distribution of the hologram with a predetermined amplitude representative value for each iteration, but the present invention is not limited thereto.
  • the amplitude replacing unit 62b may replace the amplitude component with the amplitude representative value every one iteration, and may replace the amplitude component with the amplitude representative value every multiple iterations.
  • the present technology can also be configured as follows.
  • An information processing apparatus comprising: an amplitude replacing unit which replaces the amplitude component of the second complex amplitude distribution with a predetermined amplitude representative value at least once in the second light propagation calculation.
  • the predetermined amplitude representative value includes a value obtained by multiplying the average value by a predetermined correction coefficient, An amplitude replacement unit configured to make the correction coefficient different for each pixel region;
  • the predetermined amplitude representative value includes a value obtained by multiplying the average value by a predetermined correction coefficient, An amplitude replacement unit that makes the correction coefficient different every time the second light propagation calculation is performed;
  • a light source for emitting illumination light A sample holder having a support surface for supporting cells to be observed;
  • An image sensor having a sensor surface that receives a hologram due to interference of transmitted light and diffracted light obtained by the illumination light being separated by the cells;
  • a cell observation system comprising: a reconstruction processing unit that replaces the amplitude component of the second complex amplitude distribution with the predetermined amplitude representative value at least once in the second light propagation calculation.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Organic Chemistry (AREA)
  • Biotechnology (AREA)
  • Dispersion Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Microbiology (AREA)
  • Medicinal Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Genetics & Genomics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Holo Graphy (AREA)

Abstract

本技術の一形態に係る情報処理装置は、演算部と、振幅置換部と、を有する。演算部は、画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、センサ面から細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、第1の光伝搬計算の結果得られる第2の複素振幅分布を、支持面からセンサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行する。振幅置換部は、第2の光伝搬計算では、第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する。

Description

情報処理装置、情報処理方法、プログラム及び細胞観察システム
 本技術は、ホログラムから細胞の画像を再構成可能な情報処理装置、情報処理方法、プログラム及び細胞観察システムに関する。
 細胞を観察する顕微鏡として一般的に利用される位相差顕微鏡は、照明用のケーラー照明と観察用の拡大光学系が必要であり、システムが巨大になると共に、高コストである。このため、近年では、光源と一般的な画像センサのみから構成されるレンズレス顕微鏡が注目されている。
 レンズレス顕微鏡は、インラインホログラムを基本原理とし、撮像されたホログラムから計算により被写体の画像を再構成することができる。しかしながら、このようなインラインホログラムにおいて、上記画像センサでは光の強度情報(振幅の二乗値)しか記録できないため、被写体の再構成画像を得るには光の位相情報を回復する必要がある。
 ホログラムの位相情報を回復させる手法としては、波長を変えて撮像された複数のホログラムを拘束条件として、伝搬を繰り返すことにより、位相情報を回復させる反復位相回復法が報告されている(例えば、非特許文献1)。
 しかしながら、非特許文献1に記載されたような技術においても、ホログラムの位相情報を十分に回復できず、再構成画像のアーティファクトを除去しきれない課題がある。
 以上のような事情に鑑み、本技術の目的は、ホログラムの位相情報を正しく回復でき、再構成画像のアーティファクトを減少させることができる情報処理装置、情報処理方法、プログラム及び細胞観察システムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、演算部と、振幅置換部と、を有する。
 上記演算部は、画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、上記センサ面から上記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を、上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行する。
 上記振幅置換部は、上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する。
 これにより、ホログラムの複素振幅分布の位相成分が適宜更新されていき、位相成分が十分に回復した細胞の再構成画像を得ることができる。即ち、デフォーカスしたホログラムからサンプル面を再構成することが可能となる。
 上記振幅置換部は、上記第1の光伝搬計算の毎回の実行時に、上記第1の複素振幅分布の振幅成分を、異なる撮影条件で取得した他のホログラムの振幅成分で置換してもよい。
 これにより、第1の複素振幅分布の振幅成分を拘束する頻度が高くなり、位相回復に必要な伝搬計算を実行する回数が低減する。
 上記他のホログラムは、上記照明光の波長が異なる複数のホログラムのうちの1つであってもよい。
 上記他のホログラムは、上記支持面からの距離が異なる複数のホログラムのうちの1つであってもよい。
 上記振幅置換部は、上記第2の光伝搬計算の毎回の実行時に、上記第2の複素振幅分布の振幅成分を上記所定の振幅代表値で置換してもよい。
 上記所定の振幅代表値は、上記第1の光伝搬計算の結果得られる複素振幅分布における振幅成分の平均値であってもよい。
 これにより、ホログラムの複素振幅分布の振幅成分が平滑化され、計算負荷が低減する。
 上記所定の振幅代表値は、上記平均値に所定の補正係数を乗じた値を含み、
 上記振幅置換部は、画素領域ごとに上記補正係数を異ならせてもよい。
 これにより、第2の複素振幅分布の振幅成分を拘束する頻度が調整される。
 上記所定の振幅代表値は、上記平均値に所定の補正係数を乗じた値を含み、
 上記振幅置換部は、上記第2の光伝搬計算を実行する毎に、上記補正係数を異ならせてもよい。
 これにより、第2の複素振幅分布の振幅成分を拘束する頻度が調整される。
 上記目的を達成するため、本技術の一形態に係る情報処理方法は、
 画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、上記センサ面から上記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を、上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とが繰り返し実行される。
 上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分が、少なくとも1回、所定の振幅代表値で置換される。
 上記目的を達成するため、本技術の一形態に係るプログラムは、情報処理装置に以下のステップを実行させる。
 画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、上記センサ面から上記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を、上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行するステップ。
 上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換するステップ。
 上記目的を達成するため、本技術の一形態に係る細胞観察システムは、光源と、試料ホルダと、画像センサと、再構成処理部と、を有する。
 上記光源は、照明光を出射する。
 上記試料ホルダは、観察対象である細胞を支持する支持面を有する。
 上記画像センサは、上記照明光が上記細胞で分離されて得られる透過光及び回折光の干渉によるホログラムを受光するセンサ面を有する。
 上記再構成処理部は、上記画像センサで取得したホログラムの光強度分布を含む第1の複素振幅分布を上記センサ面から上記支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行し、上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する。
本技術の第1の実施形態に係る細胞観察システムの構成例を示す模式図である。 上記実施形態の情報処理装置の情報処理方法を示すフローチャートである。 上記実施形態の細胞観察システムが細胞の再構成画像を得るまでの手順を示すブロック図である。 上記実施形態の前処理部の前処理の手順を示すブロック図である。 上記実施形態の再構成処理部が実行する反復位相回復法におけるイタレーション内の計算処理(アルゴリズム)を示す図である。 上記実施形態の振幅置換部の振幅置換処理の手順を示すブロック図である。 上記実施形態の振幅置換部の振幅置換処理の手順を示すブロック図である。 従来法と上記実施形態の反復位相回復法の計算結果を比較する図である。 従来法と上記実施形態の反復位相回復法の計算結果を比較する図である。 上記実施形態の反復位相回復法により得られた細胞の再構成画像と、定量位相顕微鏡により撮像された細胞の画像とを併記して示す図である。 上記各種画像の位相値を示すグラフである。 本技術の第2の実施形態の再構成処理部が実行する反復位相回復法におけるイタレーション内の計算処理(アルゴリズム)を示す図である。 本技術の第3の実施形態の再構成処理部が実行する反復位相回復法におけるイタレーション内の計算処理(アルゴリズム)を示す図である。 本技術の変形例における振幅置換部の振幅置換処理の手順を示すブロック図である。
 以下、図面を参照しながら、本技術の実施形態を説明する。
 <第1の実施形態>
 図1は、本技術の第1の実施形態に係る細胞観察システム100の構成例を示す模式図である。細胞観察システム100は、図1に示すように、光源10と、観察ステージ20と、画像センサ30と、センサ・光源制御部40と、入力部50と、情報処理装置60と、を有する。なお、図1では相互に直交するX軸、Y軸及びZ軸を示す。
 光源10は、例えば、RGBのそれぞれに対応した波長(λ:636nm、λ:515nm、λ:470nm)の照明光を観察ステージ20上の細胞Cに照射可能に構成される。
 光源10からの照明光が細胞C(観察対象物)に照射されると、この照明光が透過光と回折光とに分離される。透過光は、画像センサ30上で回折光と干渉することにより、画像センサ30上にホログラムが生じる。透過光は、ホログラムを生成するための参照光とも称することができる。このホログラム(干渉縞)は、Fresnel-Kirchhoffの回折公式や、後述するRayleigh-Sommerfeldの回折公式(式(1)参照)から計算可能である。
 本実施形態の光源10は、典型的には部分コヒーレントなLED光源であるが、バンドパスフィルタによって時間的コヒーレンスを、ピンホールによって空間的コヒーレンスを高める構成になっていてもよい。
 観察ステージ20は、細胞Cを支持する試料ホルダHを支持する。試料ホルダHは、観察対象である細胞Cを支持する支持面S1を有する。試料ホルダHは特に限定されないが、典型的にはスライドガラスとカバーガラスとからなるプレパラートであり、光透過性を有する。
 観察ステージ20は、Z軸方向に移動可能に構成されていてもよい。これにより、支持面S1と後述する画像センサ面S2との間の距離Zが調整され、細胞Cに対する画像センサ30の相対位置が調整可能となる。
 観察ステージ20は、光源10の照明光を透過させる光透過性を有する領域を有し、この領域上に試料ホルダHが設置される。観察ステージ20に設けられた光透過性を有する領域は、ガラス等から構成されてもよく、観察ステージ20のZ軸方向上下面を連通させる開口部で構成されてもよい。
 なお、本実施形態において、細胞観察システム100の被写体として細胞Cが採用されるが、これに限られない。例えば、組織、精子、受精卵、微生物等の生体に由来するもの全般を被写体として採用してもよい。
 画像センサ30は、画像センサ面S2に生じた細胞Cのホログラムを記録し、このホログラムに関する画像データを情報処理装置60に出力する。画像センサ30は、例えば、CCDセンサやCMOSセンサ等の一般的なイメージセンサである。このため、画像センサ面S2に記録されたホログラムにおいては、光強度分布(振幅の二乗値)のみ記録される。なお、画像センサ面S2は、細胞Cのホログラムを受光する受光面である。
 センサ・光源制御部40は、光源10及び画像センサ30に無線又は有線により接続され、これらを制御可能に構成される。センサ・光源制御部40が光源10を制御することにより、例えば、細胞Cに照射される照明光の波長が切り替えられる。
 入力部50は、ユーザによる操作情報を情報処理装置60に入力させる操作デバイスである。入力部50は、キーボードやマウス等の操作デバイスであってもよく、タッチパネル等であってもよい。
 情報処理装置60は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータに必要なハードウェアを有する。CPUが、ROMやHDDに格納された本技術のプログラムをRAMにロードして実行することにより、後述する情報処理装置60の反復位相回復法が実行される。
 プログラムは、例えば種々の記憶媒体(内部メモリ)を介して情報処理装置60にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。本実施形態では、情報処理装置60として、例えば、PC(Personal Computer)等が用いられるが、他の任意のコンピュータが用いられてもよい。
 [情報処理装置]
 情報処理装置60は、画像取得部61と、前処理部62と、再構成処理部63と、表示制御部64と、を有する。
 画像取得部61は、相互に異なる条件で細胞Cが撮像された複数のホログラムの画像データを記録した画像センサ面S2から、当該画像データを取得する。
 例えば、光源10がそれぞれ個別に波長λR、λG、λBの照明光を細胞Cに照射した場合に、これらの波長に対応したホログラムgλR、gλG、gλBに関する画像データが取得される。
 あるいは、光源10が所定波長λの照明光を細胞Cに照射した場合に、細胞Cに対して第1~第3の位置Z1,Z2,Z3にある画像センサ面S2に記録された各種ホログラムgZ1、gZ2、gZ3に関する画像データが取得される。
 前処理部62は、画像取得部61から出力されたホログラムに関する画像データに対して、後述する反復位相回復法における反復処理が適切に行われるように各種の補正を施す。
 再構成処理部63は、演算部63aと振幅置換部63bとを有する。再構成処理部63は、前処理部62から出力されたホログラムを拘束条件として、画像センサ面S2と支持面S1との間の平面間の伝搬を繰り返すことにより、画像センサ面S2で失われたホログラムに関する複素振幅分布の位相成分を回復させる。
 具体的には、演算部63aによる光波伝搬計算により、ホログラムを遷移させつつ、振幅置換部63bがこれらの振幅成分の置き換えを繰り返すことで、失われた位相成分を回復させる。この際、再構成処理部63では、伝搬計算の結果から得られたホログラムの複素振幅分布の振幅成分を、位相成分のみ残るように、実測した振幅成分に差し替えるサイクルを繰り返し実行する。
 ここで、本実施形態における「ホログラムの伝搬」とは、伝搬元のホログラムにおける複素振幅分布(g(x,y,z))から、下記式(1)で表されるRayleigh-Sommerfeldの回折積分に基づき、伝搬先のホログラムにおける複素振幅分布(g(x,y,0))を算出する光波伝搬計算を実行することを意味する。
Figure JPOXMLDOC01-appb-M000001
 式(1)の積分形式の状態では、計算に時間がかかるため、本実施形態では、式(1)をフーリエ変換の積の形に変換した下記式(2)が採用される。なお、式(2)では、Gはgのフーリエ変換を表し、uとvはX方向とY方向の空間周波数成分を表す。
Figure JPOXMLDOC01-appb-M000002
 本実施形態の再構成処理部63は、後述するように、画像センサ面S2から所定の波長で支持面S1に伝搬されたホログラムの複素振幅分布から、支持面S1から上記波長とは異なる波長で画像センサ面S2に伝搬するホログラムの複素振幅分布を再計算する。従って、本実施形態では、式(2)が下記式(3)となった計算式が採用される。
Figure JPOXMLDOC01-appb-M000003
 式(3)では、波長λで画像センサ面S2から支持面S1に伝搬したホログラムgλBの複素振幅分布から、波長λGで支持面S1から画像センサ面S2に伝搬するホログラムgλGの複素振幅分布を算出することを意味している。
 本実施形態では、演算部63aが式(2),(3)の伝搬計算の式に基づき、センサ面S2と支持面S1との間における光波伝搬計算を繰り返し実行するものとなる。
 例えば、振幅置換部63bが、支持面S1において振幅置換を実行しない場合は式(3)に基づく伝搬計算が実行される。一方、振幅置換を実行する場合は式(2)に基づき、波長λBで画像センサ面S2から支持面S1に伝搬したホログラムgλBの複素振幅分布の振幅成分を所定の振幅代表値に置換してから、波長λGで支持面S1から画像センサ面S2に伝搬するホログラムgλGの複素振幅分布が算出される。
 [情報処理方法]
 図2は情報処理装置60の情報処理方法を示すフローチャートであり、図3は細胞観察システム100が細胞Cの再構成画像を生成するまでの手順を示すブロック図である。以下、これらの図を適宜参照しながら情報処理装置60の情報処理方法について説明する。
 (ステップS01:画像取得)
 ステップS01では、光源10からRBGのそれぞれに対応した波長λR,λG,λBの照明光が細胞Cに個別に照射される。これにより、これらの各波長に対応したホログラムgλR、gλG、gλB(ホログラム強度)が個別に撮像される(S101)。これらの画像は画像センサ面S2に記録され、各画像に基づく画像データが画像取得部61に出力される(S102)。
 (ステップS02:前処理)
 次に、前処理部62が画像取得部61から出力されたホログラムgλR、gλG、gλBに関する画像データに対して各種の補正を施す(S103)。図4は、前処理部62の前処理の手順を示すブロック図である。
 先ず、画像センサ30の階調補正(ダークレベル補正、逆ガンマ補正)を行い、画像取得部61から取得したホログラムgλR、gλG、gλBに基づく画像信号をリニア(線形)な状態に戻す(S201)。次いで、この画像信号をアップサンプリングする(S202)。本実施形態の細胞観察システム100がレンズレス顕微鏡の場合、レンズレス顕微鏡の分解能は、画像センサ30のナイキスト周波数を超えるため、限界性能を発揮させるためにはアップサンプリングする必要がある。
 続いて、ホログラムgλR、gλG、gλBの端部の処理を行う(S203)。画像端部では入力値の外は0という境界条件が適用され、端部にナイフエッジが存在するのと同条件にたるため、回折光が生じ新たなアーティファクトの要因となる。そこで、元画像の画素数の縦横2倍の画素数を用意し、中心に配置した元画像の外側に、再端部の輝度値を埋め込む処理を行う。これにより、画像端の処理によって生じる回折縞が元画像の範囲内に影響を及ぼさないようにすることができる。
 続いて、ホログラムgλR、gλG、gλBを形成する光の複素振幅の実数部を画素値の平方根とし、虚数部を0とする。これにより、振幅成分のみを有するホログラムgλR、gλG、gλBに関する初期複素振幅が算出される(S204)。なお、上記の画素値とは、上述したダークレベル補正(ダーク減算)等によって処理された処理済の画素値である。
 次いで、前処理部62により上記した前処理が実行されたホログラムgλR、gλG、gλBに基づく画像データが、再構成処理部63に出力される(S104)。なお、前処理部62の前処理は上述の手法に限られず他の方法が採用されてもよい。また、ステップS02は必要に応じて省略されてもよい。
 (ステップS03:伝搬距離決定)
 次に、細胞Cの再構成画像を得る上での伝搬距離(画像センサ面S2と支持面S1との間の距離Z)を決定する(S105)。
 伝搬距離の決定方法としては、式(2)に基づくデジタルフォーカシングにより決定してもよく、細胞観察システム100のメカ精度によって決定してもよい。なお、上記デジタルフォーカシングとは、画像センサ面S2と支持面S1との間の距離を調整することにより、各種ホログラムgλR、gλG、gλBの焦点位置を決定する手法である。
 本実施形態では、このデジタルフォーカシングが画像センサ面S2上でのホログラムgλR、gλG、gλBを観察しながらマニュアルで行われてもよく、オートフォーカシングにより行われてもよい。
 (ステップS04:振幅置換)
 図5は本実施形態の再構成処理部63が実行する反復位相回復法におけるイタレーション内の計算処理(アルゴリズム)を示す図である。また、図6は支持面S1上での振幅置換部63bの振幅置換処理の手順を示すブロック図であり、図7は画像センサ面S2上での振幅置換部63bの振幅置換処理の手順を示すブロック図である。
 先ず、前処理部62から出力されたホログラムgλRの複素振幅分布(光強度分布)を、画像センサ面S2から支持面S1に伝搬させる第1の光波伝搬計算を実行する(S301)。
前処理部62から出力されたホログラムgλRの複素振幅分布は、下記式(4)で表され、支持面S1に伝搬したホログラムgλRの複素振幅分布は、下記式(5)で表される。
 下記式(5)で表されるホログラムgλRの複素振幅分布は、上記第1の光波伝搬計算の結果得られるホログラムgλRの複素振幅分布である。なお、本実施形態のホログラムの複素振幅分布とは、当該ホログラムを形成する光の複素振幅分布であり、以下の説明においても同義とする。
 gλR(x,y,z)=A(x,y,z)exp(iφ(x,y,z))・・・(4)
 (A(x,y,z):振幅成分、exp(iφ(x,y,z)):位相成分(任意の初期値))
 gλR(x,y,0)=A'(x,y,0)exp(iφ'(x,y,0))・・・(5)
 (A'(x,y,0):振幅成分、exp(iφ'(x,y,0)):位相成分)
 続いて、支持面S1に波長λRで伝搬されたホログラムgλRに関する複素振幅分布の振幅成分A'を分離し(S302)、この振幅成分A'の平均値Aaveを算出する(S303)。次いで、ホログラムgλRに関する複素振幅分布の振幅成分A'を、後述する第2の光波伝搬計算の一環として、支持面S1上において平均値Aaveに置換する(S304)。これは、細胞のように透過率の高い物体の場合、ホログラムの振幅成分がほぼゼロになることを振幅成分の拘束条件として利用している。
 これにより、ホログラムgλRにおける複素振幅分布の振幅成分が平滑化され、以降の反復処理における計算負荷が低減する。振幅成分A'が平均値Aaveに置換されたホログラムgλR(S305)は、下記式(6)で表される。
 gλR(x,y,0)=Aaveexp(iφ'(x,y,0))
 Aave=1/N(ΣΣA'(x,y,0))・・・(6)
 (Aave:振幅成分、exp(iφ'(x,y,0)):位相成分、N:全画素数)
 なお、本実施形態の平均値Aaveは、典型的には上記第1の光波伝搬計算の結果得られる複素振幅分布(式(5))における振幅成分A'の平均値である。当該平均値とは、ホログラムgλR(x,y,0)の画素数Nに対するホログラムgλR(x,y,0)の各画素に対応した振幅成分の総和の割合(積算平均)とすることができる。
 また、上記の例では、振幅成分A'は平均値Aaveに置換されるが、これに限られず、ホログラムgλRの複素振幅分布(式(5))の振幅成分A'における所定の振幅代表値であれば、特に限定されない。
 例えば、振幅成分A'は平均値Aave以外に、振幅成分A'の中央値に置換されてもよく、振幅成分A'のローパスフィルタ透過成分に置換されてもよい。あるいは、予め細胞Cが無い状態で取得された画像の振幅成分に置換してもよい。
 続いて、振幅成分A'が平均値Aaveに置換されたホログラムgλRの複素振幅分布を、支持面S1から波長λGで画像センサ面S2に伝搬させる第2の光波伝搬計算を実行する(S401)。即ち、式(6)で表されるホログラムgλRの複素振幅分布から、画像センサ面S2に波長λGで伝搬するホログラムgλGの複素振幅分布を伝搬計算により求める。このホログラムgλGに関する複素振幅分布は、下記式(7)で表される。
 gλG(x,y,z)=A''(x,y,z)exp(iφ''(x,y,z))・・・(7)
 (A''(x,y,z):振幅成分、exp(iφ''(x,y,z)):位相成分)
 次いで、波長λGで伝搬されたホログラムgλGの複素振幅分布の振幅成分A''を、上記第1の光波伝搬計算の一環として、画像センサ面S2上において振幅成分A''の実測値AλGに置換する(S402)。この実測値AλGは、先のステップS01においてホログラムgλRを取得した撮影条件とは異なる撮影条件で取得したホログラムgλG(S403)から分離された振幅成分(S404)である。
 換言すると、実測値AλGは、先のステップS01において取得されたホログラムgλRと照明光の波長が異なる複数のホログラムのうちの1つであるホログラムgλGの振幅成分である。つまり、細胞Cに波長λGの照明光を照射することによって画像センサ面S2に記録されたホログラムgλGの振幅成分である。
 画像センサ面S2上において、振幅成分A''が実測値AλGに置換されたホログラムgλGは、下記式(8)で表される。これにより、位相成分を有するホログラムgλGが得られる。
 gλG(x,y,z)=AλG(x,y,z)exp(iφ''(x,y,z))・・・(8)
 (AλG(x,y,z):振幅成分、exp(iφ''(x,y,z)):位相成分)
 このようにして、画像センサ面S2で取得した細胞Cのホログラムの光強度分布を含む複素振幅分布を、画像センサ面S2から支持面S1まで伝搬させる第1の光伝搬計算を実行し、第1の光伝搬計算の結果得られる複素振幅分布を、支持面S1から画像センサ面S2まで伝搬させる第2の光伝搬計算を実行するサイクルが行われる。
 本実施形態では、図5に示すように、このサイクルが全てのホログラムgλR、gλG、gλBについて行われるイタレーションが実行され、計算が収束するまで規定回数実行される(S05のNO,S106)。イタレーションの回数は、特に限定されないが、10回~100回程度が好ましい。
 なお、図5では、画像センサ面S2と支持面S1との間で繰り返されるホログラムの伝搬において、伝搬波長がλR→λG→λG→λB→λB→λG→λG→λR→λRの順であるが、これに限られず、順不同である。例えば、その順序がλR→λB→λB→λG→λG→λB→λB→λRであってもよく、λB→λR→λR→λG→λG→λR→λR→λB→λB等であってもよい。あるいは、用いる波長が2つとしてもよいし、4つ以上であってもよい。
 (ステップS06:再構成画像出力)
 上記したイタレーションにおける計算が十分に収束した場合(S05のYES)、ステップS04の振幅置換処理により得られたホログラムの複素振幅分布を式(2)に基づいて最後に支持面S1に伝搬させることで、細胞Cの再構成画像を得る。
 ステップS05では、先のステップS04により十分にイタレーションが実行されることで、波長λR,λB,λGの照明光を細胞Cに照射することにより得られた細胞Cの各種ホログラムgλR、gλG、gλBの位相成分が適宜更新されていき、位相成分が十分に回復した再構成画像を得ることができる(S107)。即ち、デフォーカスしたホログラムgλR、gλG、gλBからサンプル面を再構成することが可能となる。
 [作用]
 本実施形態の反復位相回復法は電子線ホログラム分野で、R.W. Gerchberg とW.O. Saxton が1972年に報告したGSアルゴリズムを基本原則としている。この手法は結像面とデフォーカス面の二つの電子線の複素振幅を記録し、その2面の振幅測定値を拘束条件として平面間の伝搬を繰り返すことで、位相を回復する手法である。
 この反復位相回復法は、デフォーカスしたホログラム間にも適用することができる。つまり複数の異なるホログラムを取得し、その画像を拘束条件にして伝搬を繰り返して位相を回復することができる。
 ここで、A. Lambrechts らは、この技術を光波に適用し、被写体に入射させる照明光の波長を変更することにより得られた複数のホログラムを取得し、波長の差を伝搬距離の差に置き換える方法(以下、従来法)で失われたホログラムの位相成分が回復できることを報告している(A. Lambrechts,"Lens-free digital in-line holographic imaging for wide field-of-view, high resolution and real-time monitoring of complex microscopic objects", Proc. of SPIE, Vol. 8947 , 2014)。
 しかながら、上記した従来法では、例えば、式(2)に基づいた伝搬計算によって、波長λRで撮影されたホログラムgλRから波長λGで伝搬するホログラムgλGを算出した場合に、このホログラムgλGのホログラム波形が、シミュレーションにより得られたホログラムgλGのホログラム波形(正解のホログラム波形)と高周波領域において完全に一致しない(図8(a)参照)。
 これにより、従来法では、計算により得られたホログラムの振幅成分を、当該振幅成分の実測値(観察により得られたホログラム)に置換する際に誤差が生じるため、計算誤差が堆積し、反復処理の収束に時間がかかる課題があった(図9(a)参照)。
 そこで、本願発明者は種々検討の結果、位相成分が失われたホログラムから細胞Cの再構成画像を得る上で、以下の改善手法を見出した。以降この改善手法について順を追って説明する。
 (改善手法1)
 図8(a)は、従来法に基づき、波長λRにおける位相既知のホログラムgλRから伝搬計算した波長λGのホログラムgλGのホログラム波形W1(振幅波形)と、シミュレーションにより得られたホログラムgλGのホログラム波形W2(正解の振幅波形)とを重畳させたグラフである。
 一方、図8(b)は、式(3)に基づき、波長λRにおける位相既知のホログラムgλRから伝搬計算した波長λGのホログラムgλGのホログラム波形W3(振幅波形)と、シミュレーションにより得られたホログラムgλGのホログラム波形W2(正解の振幅波形)とを重畳させたグラフである。
 また、図9(a)は従来法における被写体面とセンサ面との間の伝搬回数と収束誤差との関係を示すグラフであり、図9(b)は本実施形態の反復位相回復法における支持面S1と画像センサ面S2との間の伝搬回数と収束誤差との関係を示すグラフである。
 図8(b)に示すように、式(3)に基づき算出されたホログラムgλGのホログラム波形W3は、従来法とは違い、高周波領域においても、シミュレーションより得られたホログラムgλGのホログラム波形W2と完全に一致している。
 従って、本実施形態の反復位相回復法では、算出されたホログラムの振幅成分を、当該振幅成分の実測値に置換する際に誤差が生じにくくなるため、反復処理が従来法よりも早く収束する。これは、図9(b)に示す結果からみても明らかである。これにより、位相回復に必要な反復回数を従来法よりも削減することができ、処理時間を短縮することが可能となる。
 (改善手法2)
 しかしながら、画像センサ面S2に記録されたホログラムを一度支持面S1(Z=0の位置)に伝搬させてから、支持面S1に伝搬したホログラムを画像センサ面S2に再伝搬させる伝搬計算を行う改善手法1(式(3)参照)では、高周波成分に存在していた計算誤差がなくなり収束性が向上するが、実測においては再構成画像の低周波アーティファクトを取り切ることが難しい(図10(a)参照)。
 そこで、本実施形態では、改善手法1で導入した伝搬計算において、支持面S1に伝搬されたホログラムにおける複素振幅成分の振幅成分を、この振幅成分の平均値に置き換える改善手法2を導入した(ステップS04参照)。
 これにより、細胞の周囲に存在していた低周波のアーティファクトを低減させることが可能となる(図10(b)参照)。図10(b)の例で言えば、核のように位相差がある部分でのコントラストが向上し、細胞周辺のアーティファクトが減少していることがわかる。
 図10は、改善手法1及び2により得られた細胞の再構成画像と、位相値を計測可能な顕微鏡(定量位相顕微鏡)により細胞が撮像された画像を示す図である。また、図11はこれらの画像の任意の2点A,B間の位相値を示すグラフである。図10及び図11では、定量位相顕微鏡による計測結果を真として、改善手法1及び2と比較して示す。
 図11を参照すると、改善手法2により得られた位相値は、改善手法1よりも明らかに真値に近いことがわかる。なお、改善手法1では位相値の平均2乗誤差が真値と比較して12.8degであり、改善手法2では位相値の平均2乗誤差が真値と比較して4.3degである。
 <第2の実施形態>
 図12は、本技術の第2の実施形態の再構成処理部63が実行する反復位相回復法におけるイタレーション内の計算処理(アルゴリズム)を示す図である。以下、第1の実施形態と同様のステップについては、その説明を省略する。
 本実施形態では図12に示すように、イタレーション毎に、上記第1の光波伝搬計算に基づいて定まる複素振幅分布の振幅成分を、当該振幅成分の所定の振幅代表値に置換する。
 この場合、図12に示す例で言えば、ホログラムgλRの複素振幅分布を画像センサ面S2から波長λRで支持面S1に伝搬させる第1の光波伝搬計算に基づき得られたホログラムgλRの振幅成分A'(式(5)参照)を、例えば振幅成分A'の平均値Aaveに置き換えることで振幅成分A'の平滑化が図られる。これにより、支持面S1上での振幅置換処理が繰り返し実行されることによって生じる計算誤差の堆積が抑制され、もともと存在するはずのなかった新たなアーティファクトが再構成画像に生じることが抑制される。
 <第3の実施形態>
 図13は、本技術の第3の実施形態の再構成処理部63が実行する反復位相回復法におけるイタレーション内の計算処理(アルゴリズム)を示す図である。以下、第1の実施形態と同様のステップについては、その説明を省略する。
 本実施形態の反復位相回復法では、支持面S1からの距離がそれぞれ異なる任意の位置Z1,Z2,Z3の画像センサ30が個別に取得した各種ホログラムgZ1,gZ2,gZ3を拘束条件として、画像センサ面S2と支持面S1との間の平面間の伝搬を繰り返すことにより、画像センサ面S2上で失われたホログラムの位相成分を回復させる。以下、その詳細について説明する。
 (ステップS01:画像取得)
 ステップS01では、細胞Cに所定波長λの照明光を照射することにより、細胞Cに対してそれぞれ異なる任意の位置Z1,Z2,Z3の画像センサ面S2に、各位置に対応したホログラムgZ1,gZ2,gZ3(ホログラム強度)が個別に記録される。これらの各画像に基づく画像データは画像取得部61に出力される。
 (ステップS04:振幅置換)
 先ず、細胞Cに対して第1の位置Z1にある画像センサ面S2に記録されたホログラムgZ1の複素振幅分布(光強度分布)を、画像センサ面S2から支持面S1に伝搬させる第1の光波伝搬計算を実行する。画像センサ面S2に記録されたホログラムgZ1の複素振幅分布は、下記式(9)で表され、支持面S1に伝搬したホログラムgZ1の複素振幅分布は、下記式(10)で表される。
 下記式(10)で表されるホログラムgZ1の複素振幅分布は、上記第1の光波伝搬計算の結果得られるホログラムgZ1の複素振幅分布である。
 gZ1(x,y,z)=A(x,y,z)exp(iφ(x,y,z))・・・(9)
 (A(x,y,z):振幅成分、exp(iφ(x,y,z)):位相成分(任意の初期値))
 gZ1(x,y,0)=A'(x,y,0)exp(iφ'(x,y,0))・・・(10)
 (A'(x,y,0):振幅成分、exp(iφ'(x,y,0)):位相成分)
 続いて、支持面S1に波長λで伝搬されたホログラムgZ1に関する複素振幅分布の振幅成分A'を、後述する第2の光波伝搬計算の一環として、支持面S1上において平均値Aaveに置換する。振幅成分A'が平均値Aaveに置換されたホログラムgZ1の複素振幅分布は、下記式(11)で表される。
 gZ1(x,y,0)=Aaveexp(iφ'(x,y,0))
 Aave=1/N(ΣΣA'(x,y,0))・・・(11)
 (Aave:振幅成分、exp(iφ'(x,y,0)):位相成分、N:全画素数)
 なお、本実施形態の平均値Aaveは、典型的には上記第1の光波伝搬計算の結果得られる複素振幅分布(式(10))における振幅成分A'の平均値である。また、上記の例では、振幅成分A'は平均値Aaveに置換されるが、これに限られず、ホログラムgZ1の複素振幅分布(式(10))の振幅成分A'における所定の振幅代表値であれば、特に限定されない。
 続いて、振幅成分A'が平均値Aaveに置換されたホログラムgZ1の複素振幅分布を、支持面S1から、細胞Cに対して第2の位置Z2にある画像センサ面S2に波長λで伝搬させる第2の光波伝搬計算を実行する。即ち、式(11)で表されるホログラムgZ1の複素振幅分布から、第2の位置Z2にある画像センサ面S2に波長λで伝搬するホログラムgZ2の複素振幅分布を伝搬計算により求める。このホログラムgZ2に関する複素振幅分布は、下記式(12)で表される。
 gZ2(x,y,z)=A''(x,y,z)exp(iφ''(x,y,z))・・・(12)
 (A''(x,y,z):振幅成分、exp(iφ''(x,y,z)):位相成分)
 次いで、波長λで伝搬されたホログラムgZ2の複素振幅分布の振幅成分A''を、上記第1の光波伝搬計算の一環として、画像センサ面S2上において振幅成分A''の実測値AZ2に置換する。この実測値AZ2は、先のステップS01においてホログラムgZ1を取得した撮影条件とは異なる撮影条件で取得したホログラムgZ2に関する複素振幅分布の振幅成分である。
 換言すると、実測値AZ2は、先のステップS01において取得されたホログラムgZ1と支持面S1からの距離が異なる複数のホログラムのうちの一つであるホログラムgZ2の振幅成分である。つまり、先のステップS01において第2の位置Z2で記録されたホログラムgZ2の振幅成分である。
 画像センサ面S2上において、振幅成分A''が実測値AZ2に置換されたホログラムgZ2は、下記式(13)で表される。これにより、位相成分を有するホログラムgZ2が得られる。
 gZ2(x,y,z)=AZ2(x,y,z)exp(iφ''(x,y,z))・・・(13)
 (AZ2(x,y,z):振幅成分、exp(iφ''(x,y,z)):位相成分)
 このようにして、画像センサ面S2で取得した細胞Cのホログラムの光強度分布を含む複素振幅分布を、画像センサ面S2から支持面S1まで伝搬させる第1の光伝搬計算を実行し、第1の光伝搬計算の結果得られる複素振幅分布を、支持面S1から画像センサ面S2まで伝搬させる第2の光伝搬計算を実行するサイクルが行われる。
 本実施形態では、図13に示すように、このサイクルが細胞Cに対して各位置Z1,Z2,Z3にある画像センサ30に個別に記録された全てのホログラムgZ1,gZ2,gZ3について行われるイタレーションが実行され、計算が収束するまで規定回数実行される(S05のNO)。
 (ステップS06:再構成画像出力)
 上記したイタレーションにおける計算が十分に収束した場合(S05のYES)、ステップS04の振幅置換処理により得られたホログラムの複素振幅分布を式(2)に基づいて最後に支持面S1に伝搬させることで、細胞Cの再構成画像を得る
 ステップS06では、先のステップS04により十分にイタレーションが実行されることで、細胞Cに対して各位置Z1,Z2,Z3にある画像センサ30に個別に記録された各種ホログラムgZ1,gZ2,gZ3の位相成分が随時更新されていき、位相成分が十分に回復した再構成画像を得ることができる。即ち、デフォーカスしたホログラムgZ1、gZ2、gZ3からサンプル面を再構成することができる。
 以上、本技術の実施形態について説明したが、本技術は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。
 例えば、上記実施形態では、ホログラムの各画素の振幅成分の全てが平均値に置換されるがこれに限られず、振幅置換部63bが振幅成分を平均値に置換する割合を調整可能に構成されてもよい。この場合、ホログラムの複素振幅分布は、下記式(14)で表される。なお、αは補正係数である。
 g(x,y,0)={(1-α)A(x,y,0)+αAave}exp(iφ'(x,y,0))・・・・(14)
 ((1-α)A(x,y,0)+αAave:振幅成分、exp(iφ'(x,y,0)):位相成分、0≦α≦1)
 または、ホログラムの複素振幅分布の振幅成分が平均値に所定の補正係数βを乗じた値を含み、上記第2の光波伝搬計算が実行される回数に応じて補正係数βが変化してもよい。この場合、ホログラムの複素振幅分布は、下記式(15)で表される。
 g(x,y,0)={(1-β(n))A(x,y,0)+β(n)Aave}exp(iφ'(x,y,0))・・・(15)
 ((1-β(n))A(x,y,0)+β(n)Aave:振幅成分、exp(iφ'(x,y,0)):位相成分、0≦β≦1)
 あるいは、ホログラムの複素振幅分布の振幅成分が平均値に所定の補正係数γを乗じた値を含み、画素領域毎に補正係数γが異なっていてもよい。この場合、ホログラムの複素振幅分布は、下記式(16)で表される。
 g(x,y,0)={(1-γ(x,y,0))A(x,y,0)+γ(x,y,0)Aave}exp(iφ'(x,y,0))・・・(16)
 ((1-γ(x,y,0))A+γ(x,y,0)Aave:振幅成分、exp(iφ'(x,y,0)):位相成分、0≦γ≦1)
 加えて、ホログラムの複素振幅分布の振幅成分を平均値に置換するのではなく、バンドパスフィルタ等を適用してもよい。
 図14は、支持面S1上での振幅置換部63bの振幅置換処理の手順を示すブロック図である。具体的には、支持面S1に伝搬したホログラムg(S501)に関する複素振幅分布の振幅成分を分離し(S502)、当該振幅成分の空間周波数帯域を除去する(S503)。そして、ホログラムgに関する複素振幅分布の振幅成分を、空間周波数成分が除去された振幅成分に置換してもよい(S504)。
 また、第1の実施形態では、ホログラムが画像センサ面S2から支持面S1に伝搬し、支持面S1から画像センサ面S2に伝搬する1サイクル毎に、振幅置換部63bがホログラムの複素振幅分布の振幅成分を所定の振幅代表値に置換するが、これに限られない。
 例えば、振幅置換部63bは、1回のイタレーションが実行される過程で、1サイクルおきに振幅成分を振幅代表値に置換してもよく、複数回のサイクルおきに振幅成分を振幅代表値に置換してもよい。
 さらに、第2の実施形態では、イタレーション毎に振幅置換部63bがホログラムの複素振幅分布の振幅成分を所定の振幅代表値に置換するが、これに限られない。
 例えば、振幅置換部62bは、一回のイタレーションおきに振幅成分を振幅代表値に置換してもよく、複数回のイタレーションおきに振幅成分を振幅代表値に置換してもよい。
 なお、本技術は以下のような構成もとることができる。
 (1)
 画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、上記センサ面から上記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を、上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行する演算部と、
 上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する振幅置換部と
 を具備する情報処理装置。
 (2)
 上記(1)に記載の情報処理装置であって、
 上記振幅置換部は、上記第1の光伝搬計算の毎回の実行時に、上記第1の複素振幅分布の振幅成分を、異なる撮影条件で取得した他のホログラムの振幅成分で置換する
 情報処理装置。
 (3)
 上記(2)に記載の情報処理装置であって、
 上記他のホログラムは、上記照明光の波長が異なる複数のホログラムのうちの1つである
 情報処理装置。
 (4)
 上記(2)に記載の情報処理装置であって、
 上記他のホログラムは、上記支持面からの距離が異なる複数のホログラムのうちの1つである
 情報処理装置。
 (5)
 上記(1)から(4)のいずれか1つに記載の情報処理装置であって、
 上記振幅置換部は、上記第2の光伝搬計算の毎回の実行時に、上記第2の複素振幅分布の振幅成分を上記所定の振幅代表値で置換する
 情報処理装置。
 (6)
 上記(1)から(5)のいずれか1つに記載の情報処理装置であって、
 上記所定の振幅代表値は、上記第1の光伝搬計算の結果得られる複素振幅分布における振幅成分の平均値である
 情報処理装置。
 (7)
 上記(6)に記載の情報処理装置であって、
 上記所定の振幅代表値は、上記平均値に所定の補正係数を乗じた値を含み、
 上記振幅置換部は、画素領域ごとに上記補正係数を異ならせる
 情報処理装置。
 (8)
 上記(6)に記載の情報処理装置であって、
 上記所定の振幅代表値は、上記平均値に所定の補正係数を乗じた値を含み、
 上記振幅置換部は、上記第2の光伝搬計算を実行する毎に、上記補正係数を異ならせる
 情報処理装置。
 (9)
 画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、上記センサ面から上記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を、上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行し、
 上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する
 情報処理方法。
 (10)
 画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、上記センサ面から上記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を、上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行するステップと、
 上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換するステップと
 を情報処理装置に実行させるプログラム。
 (11)
 照明光を出射する光源と、
 観察対象である細胞を支持する支持面を有する試料ホルダと、
 上記照明光が上記細胞で分離されて得られる透過光及び回折光の干渉によるホログラムを受光するセンサ面を有する画像センサと、
  上記画像センサで取得したホログラムの光強度分布を含む第1の複素振幅分布を上記センサ面から上記支持面まで伝搬させる第1の光伝搬計算と、上記第1の光伝搬計算の結果得られる第2の複素振幅分布を上記支持面から上記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行し、
  上記第2の光伝搬計算では、上記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する
 再構成処理部と
 を具備する細胞観察システム。
 100・・・細胞観察システム
 10・・・光源
 20・・・観察ステージ
 30・・・画像センサ
 60・・・情報処理装置
 61・・・画像取得部
 62・・・前処理部
 63・・・再構成処理部
 63a・・演算部
 63b・・振幅置換部
 C・・・・細胞
 S1・・・支持面
 S2・・・画像センサ面
 H・・・・試料ホルダ

Claims (11)

  1.  画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、前記センサ面から前記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、前記第1の光伝搬計算の結果得られる第2の複素振幅分布を、前記支持面から前記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行する演算部と、
     前記第2の光伝搬計算では、前記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する振幅置換部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記振幅置換部は、前記第1の光伝搬計算の毎回の実行時に、前記第1の複素振幅分布の振幅成分を、異なる撮影条件で取得した他のホログラムの振幅成分で置換する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記他のホログラムは、前記照明光の波長が異なる複数のホログラムのうちの1つである
     情報処理装置。
  4.  請求項2に記載の情報処理装置であって、
     前記他のホログラムは、前記支持面からの距離が異なる複数のホログラムのうちの1つである
     情報処理装置。
  5.  請求項1に記載の情報処理装置であって、
     前記振幅置換部は、前記第2の光伝搬計算の毎回の実行時に、前記第2の複素振幅分布の振幅成分を前記所定の振幅代表値で置換する
     情報処理装置。
  6.  請求項1に記載の情報処理装置であって、
     前記所定の振幅代表値は、前記第1の光伝搬計算の結果得られる複素振幅分布における振幅成分の平均値である
     情報処理装置。
  7.  請求項6に記載の情報処理装置であって、
     前記所定の振幅代表値は、前記平均値に所定の補正係数を乗じた値を含み、
     前記振幅置換部は、画素領域ごとに前記補正係数を異ならせる
     情報処理装置。
  8.  請求項6に記載の情報処理装置であって、
     前記所定の振幅代表値は、前記平均値に所定の補正係数を乗じた値を含み、
     前記振幅置換部は、前記第2の光伝搬計算を実行する毎に、前記補正係数を異ならせる
     情報処理装置。
  9.  画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、前記センサ面から前記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、前記第1の光伝搬計算の結果得られる第2の複素振幅分布を、前記支持面から前記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行し、
     前記第2の光伝搬計算では、前記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する
     情報処理方法。
  10.  画像センサのセンサ面で取得した観察対象である細胞のホログラムの光強度分布を含む第1の複素振幅分布を、前記センサ面から前記細胞を支持する支持面まで伝搬させる第1の光伝搬計算と、前記第1の光伝搬計算の結果得られる第2の複素振幅分布を、前記支持面から前記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行するステップと、
     前記第2の光伝搬計算では、前記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換するステップと
     を情報処理装置に実行させるプログラム。
  11.  照明光を出射する光源と、
     観察対象である細胞を支持する支持面を有する試料ホルダと、
     前記照明光が前記細胞で分離されて得られる透過光及び回折光の干渉によるホログラムを受光するセンサ面を有する画像センサと、
      前記画像センサで取得したホログラムの光強度分布を含む第1の複素振幅分布を前記センサ面から前記支持面まで伝搬させる第1の光伝搬計算と、前記第1の光伝搬計算の結果得られる第2の複素振幅分布を前記支持面から前記センサ面まで伝搬させる第2の光伝搬計算とを繰り返し実行し、
      前記第2の光伝搬計算では、前記第2の複素振幅分布の振幅成分を、少なくとも1回、所定の振幅代表値で置換する
     再構成処理部と
     を具備する細胞観察システム。
PCT/JP2018/018350 2017-07-10 2018-05-11 情報処理装置、情報処理方法、プログラム及び細胞観察システム WO2019012796A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/627,549 US20200125030A1 (en) 2017-07-10 2018-05-11 Information processing apparatus, information processing method, program, and cell observation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017134742 2017-07-10
JP2017-134742 2017-07-10

Publications (1)

Publication Number Publication Date
WO2019012796A1 true WO2019012796A1 (ja) 2019-01-17

Family

ID=65002429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018350 WO2019012796A1 (ja) 2017-07-10 2018-05-11 情報処理装置、情報処理方法、プログラム及び細胞観察システム

Country Status (2)

Country Link
US (1) US20200125030A1 (ja)
WO (1) WO2019012796A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022093315A (ja) * 2020-12-11 2022-06-23 國立中央大學 ハイスループットのレンズレスイメージング方法及びシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAGASHIMA, K.: "Improvement of images reconstructed from computer-generated holograms using an iterative method", OPTICS AND LASER TECHNOLOGY, vol. 18, no. 3, June 1986 (1986-06-01), pages 157 - 162, XP024546258, DOI: 10.1016/0030-3992(86)90076-9 *
STAHL, R. ET AL.: "Lens-free digital in-line holographic imaging for wide field-of-view, high-resolution and real-time monitoring of complex microscopic objects", PROCEEDINGS OF SPIE, vol. 8947, 2014, XP060033863, DOI: 10.1117/12.2037619 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022093315A (ja) * 2020-12-11 2022-06-23 國立中央大學 ハイスループットのレンズレスイメージング方法及びシステム

Also Published As

Publication number Publication date
US20200125030A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP4772961B2 (ja) ディジタル・ホログラムを数値的に再構成することにより、振幅コントラスト画像と定量的位相コントラスト画像を同時に形成する方法
JP4323955B2 (ja) 波面を測定するためのシステムおよび方法
JP5955846B2 (ja) 微分位相差イメージングにおける正規化位相回復
JP2022520415A (ja) Oct画像変換、眼科画像のノイズ除去のためのシステム、およびそのためのニューラルネットワーク
US11709132B2 (en) Modulus-enforced probe
US20170023472A1 (en) Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
JP6556623B2 (ja) 位相回復の改善
WO2005106531A1 (en) High resolution imaging
JP4499331B2 (ja) 波面の位相情報を回復するためのシステムおよび方法
JP2013054336A (ja) オフアクシスデジタルホログラフィーにおける物体波の正確な復元のための装置
JP2015506496A (ja) 4f光学系を用いた位相画像システム
JP6004323B2 (ja) フーリエ反復位相回復法
CN112697751B (zh) 多角度照明无透镜成像方法、系统及装置
WO2019012796A1 (ja) 情報処理装置、情報処理方法、プログラム及び細胞観察システム
JP2019078635A (ja) 測定装置、データ処理装置、データ処理方法およびプログラム
JP2019534483A (ja) 多重深度スパース位相復元によるホログラフィックレンズフリー画像の再構成のためのシステムおよび方法
Ma et al. Scanning-position error-correction algorithm in dual-wavelength ptychographic microscopy
JP2019003609A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6643470B2 (ja) デジタルホログラフィック撮像装置、撮像方法
WO2021197952A1 (en) Bias correction for dark-field imaging based on sliding window phase retrieval
WO2020059642A1 (ja) 観察装置、観察方法及び観察システム
JP2007502445A (ja) デジタル・ホログラフィにおける画像の再構成での空間解像度を修正する方法
CN110411983B (zh) 一种高分辨率衍射成像方法及装置
Vincent Phase retrieval in TEM using Fresnel images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831518

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18831518

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP