WO2019180810A1 - 細胞観察装置 - Google Patents

細胞観察装置 Download PDF

Info

Publication number
WO2019180810A1
WO2019180810A1 PCT/JP2018/011005 JP2018011005W WO2019180810A1 WO 2019180810 A1 WO2019180810 A1 WO 2019180810A1 JP 2018011005 W JP2018011005 W JP 2018011005W WO 2019180810 A1 WO2019180810 A1 WO 2019180810A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
hologram
phase
measurement
Prior art date
Application number
PCT/JP2018/011005
Other languages
English (en)
French (fr)
Inventor
倫誉 山川
光加 岡田
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to JP2020507161A priority Critical patent/JP6950813B2/ja
Priority to PCT/JP2018/011005 priority patent/WO2019180810A1/ja
Publication of WO2019180810A1 publication Critical patent/WO2019180810A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto

Definitions

  • the present invention relates to a cell observation apparatus for observing the state of a cell. More specifically, a hologram in which interference fringes between an object wave and a reference wave are recorded by a holographic microscope, and phase information and intensity information are obtained based on the hologram data.
  • the present invention relates to a cell observation apparatus that creates a phase image, an intensity image, and the like after calculation.
  • Digital holographic microscopes acquire interference fringes (holograms) formed on the detection surface of an image sensor or the like by the object light reflected or transmitted from the light source and the reference light directly reaching from the same light source. Then, phase information and amplitude (intensity) information are acquired by performing a light wave back-propagation calculation process based on the hologram, and an intensity image and a phase image are created as a reconstructed image.
  • holograms interference fringes formed on the detection surface of an image sensor or the like by the object light reflected or transmitted from the light source and the reference light directly reaching from the same light source.
  • phase information and amplitude (intensity) information are acquired by performing a light wave back-propagation calculation process based on the hologram, and an intensity image and a phase image are created as a reconstructed image.
  • Digital holographic microscopes include in-line, off-axis, and phase shift types.
  • the configuration of an optical system for acquiring a hologram is mainly different.
  • the off-axis type the light emitted from the laser light source is usually divided into reference light and irradiation light that irradiates the object, and the object light and reference light that have passed through the object are incident on the irradiation light differently from each other. The light is incident on the image sensor at an angle.
  • the inline type the light emitted from the laser light source is irradiated on the object without being divided, and the object light that has passed through the object and the reference light that has passed through the vicinity of the object without passing through the object are combined. Incidently incident on the image sensor.
  • the phase shift type a hologram whose phase is different in a plurality of stages is obtained by changing the optical path length of the reference light divided using the phase shift interferometer in a plurality of stages.
  • Patent Document 1 Non-Patent Document 2 and the like propose a phase recovery method by iterative calculation of light wave propagation based on a hologram for a plurality of wavelength lights acquired by an in-line digital holographic microscope.
  • phase information at an arbitrary distance (focus position) can be obtained at the stage of computation processing after obtaining a hologram, so there is no need to focus each time during shooting, reducing measurement time.
  • a plurality of recesses called wells are formed in a culture plate used for cell culture, and cells are cultured on a medium accommodated in each well. Due to molding errors when the culture plate is molded, the heights of the bottom surfaces of a plurality of wells in one culture plate vary. If the height of the bottom of the well varies, even if the same amount of medium is added, the height of the medium will be different, and even if the thickness of the cell itself is the same, the surface height will vary. In addition, variations in the amount of medium injected also cause variations in cell surface height. Although there are variations in the thickness of individual cells, this is sufficiently smaller than variations in the bottom surface height of the well and the amount of medium injected.
  • the focus position may generally be different for each well in one culture plate, and an appropriate focus position is set for each well to reconstruct the phase image of the entire culture plate.
  • an appropriate focus position is set for each well to reconstruct the phase image of the entire culture plate.
  • a phase image reconstruction process at a common predetermined focal position is performed for the entire culture plate.
  • the operator checks the phase image for each well to determine whether the focal position is appropriate, and if not, changes the focal position setting and reconstructs the phase image of the entire culture plate. The technique of starting over is taken.
  • the phase image reconstruction processing is performed on the entire culture plate to obtain the phase image. It takes time.
  • the entire surface of the culture plate is divided into about 900 small areas, and holograms for a plurality of wavelengths are obtained with high resolution (for example, 4000 ⁇ 3000 pixels / sheet) for each small area. It takes 1 hour or more from the start of measurement until the phase image reconstruction process is completed. That is, the focusing operation can be performed only after one hour or more has elapsed since the measurement start time. Further, if the phase image reconstruction process is repeated in order to obtain an appropriate focal position for each well, it takes a longer time to complete the focusing.
  • the present invention has been made to solve the above-described problems, and the object of the present invention is to perform phase processing on a sample containing cells by performing arithmetic processing such as phase recovery based on a hologram acquired by a holographic microscope.
  • An object of the present invention is to provide a cell observation apparatus that reconstructs an image, can quickly adjust the focal position after the end of imaging, and can avoid wasting time and manpower.
  • the first aspect of the present invention made to solve the above problems is a cell observation device using a holographic microscope, a) a light source, b) a detection unit that acquires a hologram that is an interference fringe between the object wave and the reference wave when the sample including cells is irradiated with light emitted from the light source unit; c) a moving unit that moves one or both of the light source unit and the detection unit and the sample so that the measurement position on the sample moves; d) Measurement for controlling the light source unit, the detection unit, and the moving unit so as to repeat acquisition of the hologram at each measurement position in a predetermined observation target region while moving the measurement position on the sample by the moving unit.
  • a control unit e) A reconstructed image creation unit that creates partial phase images and / or partial intensity images at a plurality of focal positions based on hologram data obtained at one or more specific measurement positions or ranges designated by the user.
  • a display processing unit that displays the partial phase image and / or the partial intensity image at a plurality of focal positions created by the reconstructed image creation unit on the display unit simultaneously or switchably;
  • a focal position setting unit that stores a focal position in a storage unit as a focal position in a focused state when creating a phase image and / or an intensity image of a predetermined region on a sample including a measurement position or range corresponding to the image When, It is characterized by having.
  • the moving unit moves the light source unit and the detection unit integrally with respect to the culture plate whose position is fixed, so that the light emitted from the light source unit on the culture plate is The irradiated measurement position is changed.
  • the measurement control unit irradiates one measurement position in the culture plate with coherent light while moving, for example, the light source unit and the detection unit stepwise by the moving unit, thereby forming a detection surface on the detection unit.
  • the operation of acquiring data (hologram data) indicating the two-dimensional distribution of light intensity by the hologram is repeated.
  • the reconstructed image creating unit is configured to output the phase information and the phase information based on the hologram data obtained in one or more specific measurement positions designated by the user, or in a predetermined range in one measurement position or across the plurality of measurement positions. At the same time, phase information and / or intensity information at a plurality of focal positions is calculated. The plurality of focus positions may be based on designation by the user or may be determined in advance. Then, the reconstructed image creating unit creates a partial phase image and / or a partial intensity image for each focal position based on the obtained information.
  • the range in which this partial phase image and / or partial intensity image is created is limited to a much smaller area than the entire observation target area. That is, the partial phase image or the partial intensity image is an image corresponding to a very small part of the entire observation target region.
  • the reconstructed image creation unit can create a partial phase image and a partial intensity image within a relatively short time from the time when the measurement is completed.
  • a plurality of partial phase images and partial intensity images created in this manner with different focal positions are displayed on the display unit at the same time or in a switchable manner by the display processing unit. Thereby, the user can determine which focal position is appropriate for observing cells by comparing partial phase images and the like at different focal positions.
  • the user compares the partial phase images and performs a predetermined operation in a state where the partial phase image determined to be appropriate is displayed. Then, in response to the user's operation, the focus position setting unit sets the focus position of the partial phase image displayed at that time to the phase of a predetermined region on the sample including the measurement position or range corresponding to the image. It is stored in the storage unit as a focus position condition for creating an image or intensity image. In this way, using the partial phase image and partial intensity image displayed within a relatively short time after the measurement is completed, an appropriate focal position for reconstructing the phase image and intensity image of the entire observation target region is determined. Can do. When reconstructing the phase image and the intensity image of the entire observation target region, it is sufficient to create an image at least at the focal position stored in the storage unit. An image may be created.
  • the holographic microscope system such as in-line type, off-axis type, and phase shift type is not limited.
  • the optical system has a simple configuration and the distance between the sample and the light source unit is changed in a plurality of stages.
  • An in-line configuration using holograms at a plurality of wavelengths is desirable in that the drive mechanism is simplified because it is not necessary.
  • a hologram image creating unit that creates a hologram image based on the hologram data obtained at each measurement position in the predetermined observation target region and displays the hologram image on the screen of the display unit; Instruction for the user to instruct the measurement position or range corresponding to the partial phase image and / or partial intensity image created by the second reconstructed image creation unit on the hologram image displayed by the hologram image creation unit An input section; It is good to set it as the structure further provided.
  • Hologram images can be displayed immediately after the measurement, unlike phase images. Further, even when measurement is being performed, a partial hologram image corresponding to the measurement position can be displayed every time measurement for one measurement position is completed. Since this hologram image is a two-dimensional distribution of light intensity corresponding to the hologram, the living cells are often not visualized sufficiently, but the edges of wells with large steps are sufficiently visible. . Therefore, the user instructs, for example, which part of which well is to see the partial phase image or partial intensity image on the displayed hologram image by the instruction input unit. Thereby, the user can confirm the partial phase image and partial intensity image of a desired measurement position and range with a short waiting time.
  • the coordinate position that the user wants to see is specified by referring to an optical microscopic image acquired separately for the sample, for example.
  • one or more specific measurement positions may be determined.
  • the cell observation device is a cell observation device for observing cells in culture in each recess of the plate using a culture plate in which a plurality of recesses are formed.
  • the focal position designation receiving unit receives a user's operation, and displays the focal position of the partial phase image and / or partial intensity image displayed at that time in the concave portion including the measurement position or range corresponding to the image.
  • the height of the bottom surface of the well and the height of the culture medium in the well differ from one well to another, and the focusing position differs from one well to another.
  • the partial phase images and portions at a plurality of different focal positions for each of the plurality of wells formed on the culture plate are created before creating the phase image and the intensity image of the entire culture plate.
  • the focal position designation receiving unit displays information on the focal position set for each of the plurality of recesses on the screen of the display unit, and the value of the focal position by the user on the display It is good also as a structure containing the focus position edit part which receives edit of these.
  • the focal position editing unit can appropriately correct the focal position value.
  • the user may be able to appropriately input the focal position by the focal position editing unit before executing the reconstruction process for the partial phase image or the like.
  • a second aspect according to the present invention made to solve the above-mentioned problems is a cell observation device using a holographic microscope for observing cells in culture in one or a plurality of containers.
  • Measurement for controlling the light source unit, the detection unit, and the moving unit so as to repeat acquisition of the hologram at each measurement position in a predetermined observation target region while moving the measurement position on the sample by the moving unit.
  • a control unit e) a height measuring unit that measures the relative height of the inner bottom of the one or more containers or the surface of the medium contained in the container in a non-contact manner; f) a focal position setting unit that sets a focal position for each container based on the relative height measured by the height measurement unit; g) Based on hologram data obtained at each measurement position in a predetermined observation target region on the sample under the control of the measurement control unit, the focal position setting unit for each region corresponding to the container.
  • Reconstructed image creation for calculating phase information and / or intensity information at a set focal position and creating a phase image showing a two-dimensional distribution of the phase information and / or an intensity image showing a two-dimensional distribution of the intensity information And It is characterized by having.
  • the easy is a petri dish or a flask.
  • the containers are generally wells formed on a culture plate.
  • the height measuring unit is the inner bottom of one or a plurality of containers or the medium contained in the container. Measure the relative height of the surface without contact.
  • the height measuring unit for example, a laser range finder or the like can be used.
  • the focal position setting unit sets the focal position for each container based on the relative height value obtained by the measurement by the height measuring unit.
  • the height of the medium surface is estimated based on information such as the amount of medium contained in the container, and further, the culture is performed from the height.
  • the height of the cell surface inside can be estimated.
  • the height of the surface of the culture medium in the container can be measured by the height measuring unit, the height of the cell surface during culture can be estimated from the height.
  • the focal position is determined using the value measured by the height measuring unit, for example, even if the height of the inner bottom is different for each of the plurality of wells, rely on the judgment of the operator. Highly accurate focusing is possible.
  • it is not necessary for the operator to check the partial phase image and the partial intensity image it is possible to automatically create an observation image without further manpower.
  • the operator without waiting for the display of a phase image or intensity image created through a complicated calculation based on hologram data acquired by measurement, the operator can quickly change the focal position after the measurement is completed.
  • the work to match can be done.
  • the focus alignment operation is performed simultaneously with the operation of confirming whether the photographing state is appropriate in the partial phase image and the partial intensity image displayed immediately after the measurement is completed. It can be performed. Thereby, the efficiency of the work which an operator should perform at the time of cell observation can be achieved.
  • the whole block diagram of the cell observation apparatus which is one Example of this invention.
  • the schematic block diagram of the terminal for a measurement in the cell observation apparatus of a present Example. The conceptual diagram for demonstrating the image reconstruction process in the cell observation apparatus of a present Example.
  • Explanatory drawing of the characteristic processing operation in the cell observation apparatus of a present Example. The figure which shows an example of the screen displayed with the terminal for a measurement after completion
  • the schematic block diagram of the terminal for a measurement in the cell observation apparatus which is another Example of this invention.
  • FIG. 1 is an overall configuration diagram of the cell observation apparatus of this embodiment
  • FIG. 2 is a schematic configuration diagram of a measurement terminal in the cell observation apparatus of this embodiment.
  • the cell observation apparatus of this embodiment includes a measurement terminal 1, a browsing terminal 3, and a server 5 connected via a communication network 4 such as the Internet or an intranet.
  • a communication network 4 such as the Internet or an intranet.
  • FIG. 1 one measuring terminal 1 and one browsing terminal 3 are shown, but an appropriate number of each can be provided.
  • the server 5 is a high-performance computer. As functional blocks embodied by dedicated software installed in the computer, a data transmission / reception unit 51, a hologram data storage unit 52, a first phase recovery calculation unit 53, a second A phase recovery calculation unit 54, a first image reconstruction unit 55, a second image reconstruction unit 56, an image data storage unit 57, and the like are provided.
  • the measurement terminal 1 includes a microscope observation unit 10 and a control / processing unit 20.
  • the microscopic observation unit 10 is an inline digital holographic microscope, and includes a light source unit 11 including a laser diode and the image sensor 12 as shown in FIG. Between the image sensor 12, a culture plate 13 including cells 14 that are observation objects is arranged.
  • the light source unit 11 and the image sensor 12 are integrally movable in two axial directions of the X axis and the Y axis that are orthogonal to each other by a moving unit 15 including a driving source such as a motor.
  • FIG. 2 only one light source unit 11 and one image sensor 12, i.e., one set, are shown in order to avoid complication of the drawing. Is provided with four sets sandwiching one culture plate 13 and, as will be described later, holograms for different measurement positions of one culture plate 13 by the four sets of light source units 11 and the image sensor 12. It is possible to obtain in parallel.
  • the entity of the control / processing unit 20 controls the operation of the microscopic observation unit 10 and sends the data acquired by the microscopic observation unit 10 to the server 5. Further, the control / processing unit 20 receives the data processed by the server 5 and displays it.
  • a personal computer PC
  • the control / processing unit 20 is connected to an input unit 201 that is a pointing device such as a keyboard and a mouse, and a display unit 202.
  • the browsing terminal 3 is a general PC. Then, the dedicated software installed in the PC can receive data from the server 5 and display an appropriate image formed based on the data.
  • FIG. 3 is a conceptual diagram for explaining image reconstruction processing in the cell observation apparatus of the present embodiment.
  • FIG. 3 (a) is a schematic top view of the culture plate 13 used in the cell observation apparatus of this example.
  • the culture plate 13 is formed with six wells 13a having a circular shape when viewed from above, and cells are cultured in the wells 13a.
  • the entire culture plate 13, that is, the entire rectangular range including the six wells 13 a is the observation target region.
  • the microscopic observation unit 10 includes four sets of a light source unit 11 and an image sensor 12, and each set of the light source unit 11 and the image sensor 12 has a total of 4 etc. as shown in FIG. It is responsible for collecting the hologram data of the four divided areas 81 divided. That is, the four sets of the light source unit 11 and the image sensor 12 share the collection of hologram data over the entire culture plate 13.
  • the range in which one set of the light source unit 11 and the image sensor 12 can be photographed at a time includes the one well 13a in the four-divided range 81 as shown in FIGS. 3B and 3C.
  • the four light source units 11 and the four image sensors 12 are respectively arranged in the vicinity of four vertices of a rectangle having the same size as the four-divided range 81 in the XY plane including the light source unit 11 and the image sensor 12.
  • the holograms for four different imaging units 83 on the culture plate 13 are simultaneously acquired.
  • the operator When collecting hologram data for the culture plate 13, the operator first sets the culture plate 13 on which the cells 14 to be observed are cultured at a predetermined position of the microscopic observation unit 10, and identifies the culture plate 13. Information such as a number and measurement date / time is input from the input unit 201 to instruct measurement execution. Upon receiving this measurement instruction, the imaging control unit 21 controls each part of the microscopic observation unit 10 to perform imaging.
  • one light source unit 11 irradiates a predetermined area (one imaging unit 83) of the culture plate 13 with coherent light having a small angle spread of about 10 °.
  • the coherent light (object light 17) that has passed through the culture plate 13 and the cells 14 reaches the image sensor 12 while interfering with the light (reference light 16) that has passed through the region adjacent to the cells 14 on the culture plate 13.
  • the object light 17 is light whose phase has changed when passing through the cell 14.
  • the reference light 16 is light which does not pass through the cell 14 and thus does not undergo phase change caused by the cell 14.
  • an interference image that is, a hologram
  • 2D light intensity distribution data hologram data
  • the four image sensors 12 acquire hologram data of regions corresponding to different imaging units 83 on the culture plate 13. Is done.
  • the light source unit 11 and the image sensor 12 are moved by the moving unit 15 in the X-axis direction and the Y-axis direction by a distance corresponding to one imaging unit 83 in the XY plane. It is sequentially moved in steps.
  • measurement is performed with 180 imaging units 83 included in the four-divided range 81, and measurement of the entire culture plate 13 is performed with the four sets of light source units 11 and the entire image sensor 12.
  • the hologram data obtained by the four image sensors 12 of the microscopic observation unit 10 in this way is stored in the hologram data storage unit 22 together with attribute information such as measurement date and time.
  • the data transmission / reception unit 23 uses the hologram data stored in the hologram data storage unit 22 as the measurement date and time, etc.
  • the attribute information is sequentially transferred to the server 5 via the communication network 4. It should be noted that raw, that is, unprocessed hologram data may be sent from each measurement terminal 1 to the server 5, but processing that corrects an error factor specific to each measurement terminal 1 as necessary.
  • the processed hologram data may be sent to the server 5.
  • the data transmitter / receiver 51 receives the hologram data sent from the measurement terminal 1, and identifies identification information for specifying the measurement terminal 1, identification information of the culture plate input at the time of imaging, measurement date and time, and the like.
  • Hologram data is stored in the hologram data storage unit 52 together with the attribute information.
  • the first phase recovery calculation unit 53 reads out the hologram data for each imaging unit from the hologram data storage unit 52 and restores the phase information by performing propagation calculation processing of the light wave, and intensity (amplitude) information. Ask for.
  • the first image reconstruction unit 55 performs the phase information and the intensity information. Based on the above, a phase image and an intensity image of the entire observation target region are formed.
  • the first image reconstruction unit 55 reconstructs the phase image of each imaging unit 83 based on the spatial distribution of the phase information calculated for each imaging unit 83, and connects the phase images in the narrow range.
  • a phase image of the observation target region that is, the entire culture plate 13 is formed.
  • an appropriate correction process may be performed so that the phase images at the boundaries of the imaging units 83 are smoothly connected.
  • an algorithm disclosed in known documents such as Patent Documents 1 and 2 may be used.
  • the reconstructed image obtained by normal processing is the highest resolution image obtained in principle from the acquired hologram data.
  • the resolution can be improved by binning processing based on the highest resolution phase image. You may make it produce the phase image of the resolution
  • phase information and intensity information Although depending on the performance of the server 5, the amount of hologram data obtained from one culture plate 13 is enormous, so that the processing in the first phase recovery calculation unit 53 and the first image reconstruction unit 55 takes a considerable amount of time. Cost. Therefore, generally, even if all measurements are completed on the measurement terminal 1 side, the phase image and the intensity image of the entire observation target region cannot be browsed immediately.
  • phase information and intensity information although phase information and intensity information at an arbitrary focal position can be obtained, it is confirmed whether the focal position is in focus or in focus. If the focus is not present, it is necessary to wait until a phase image or intensity image of the entire observation target area is obtained. Therefore, in the cell observation apparatus of this embodiment, in order to avoid such a situation, the characteristic processing described below is executed.
  • FIG. 4 is an explanatory diagram of this characteristic processing operation
  • FIG. 5 is a diagram showing an example of a screen displayed on the measurement terminal after the end of photographing
  • FIG. 6 is a phase image of the designated measurement position displayed on the measurement terminal and It is a figure which shows an example of an intensity
  • the display processing unit 27 displays a captured image display screen 60 as shown in FIG.
  • an image display area 61 and a plate information display area 62 are arranged, and a “stop” button 63 is arranged at the lower right.
  • the plate information display area 62 attribute information such as the name (plate name) and identification number (plate ID) of the culture plate 13 during or after measurement is displayed.
  • the screen shown in FIG. 5 is the one after the measurement is completed, and no substantial image is displayed in the image display area 61 before the measurement is started.
  • the hologram image creation unit 24 is based on the obtained data for each imaging unit 83.
  • a hologram image showing a two-dimensional distribution of light intensity is created.
  • the hologram image created at this time is a thumbnail image with the lowest resolution.
  • the display processing unit 27 pastes and displays the created hologram thumbnail image at a position corresponding to each imaging unit in the image display area 61. That is, every time hologram data of one image pickup unit is newly obtained, a thumbnail image of the hologram based on the data is added to the image in the image display area 61 and displayed.
  • the operator monitors the hologram image displayed in the image display area 61 during the measurement, and clicks the “stop” button 63 when it can be determined that there is some problem. Then, the imaging control unit 21 receives this operation and stops measurement. As described above, when there is some problem in the measurement, it is possible to avoid spending time for the remaining useless measurement by quickly stopping the measurement.
  • the operator uses an pointing device such as a mouse that is a part of the input unit 201 to display the image display area 61 in the captured image display screen 60 shown in FIG.
  • the cursor is moved onto a desired one of a number of thumbnail images constituting the hologram image displayed on the screen.
  • the confirmation position designation accepting unit 25 accepts this operation, and displays a rectangular mark 67 indicating the selected imaging unit superimposed on the image.
  • the confirmation position designation receiving unit 25 recognizes one imaging unit selected at that time as a partial phase image creation target, and accordingly Then, the display processing unit 27 displays the designated position image display screen 70 as shown in FIG. 6 on the screen of the display unit 202.
  • An image display area 71 is provided on the designated position image display screen 70.
  • the confirmation position designation receiving unit 25 reads out the hologram data obtained for one designated imaging unit from the hologram data storage unit 22, and the data transmission / reception unit 23 sends the read data through the communication network 4 to the server 5. Forward to.
  • the hologram data transfer operation for one image pickup unit may be performed in parallel with the transfer operation of the hologram data of the entire imaging target region to the server 5 as described above, or preferentially. You may go. In the latter case, if the hologram data transfer operation for the entire imaging target area has already been started, the hologram data may be transferred for one imaging unit instructed to be temporarily interrupted.
  • the data transmission / reception unit 51 receives the hologram data for one imaging unit sent from the measurement terminal 1 as described above, and temporarily stores the data in the hologram data storage unit 52. Since the amount of data transferred at this time is much smaller than the amount of hologram data in the entire observation target area, the transfer time is also significantly shorter (see FIG. 4).
  • the second phase recovery calculation unit 54 reads out hologram data of one imaging unit stored in the hologram data storage unit 22 and performs light wave propagation calculation processing to restore phase information and obtain intensity information. Subsequently, the second image reconstruction unit 56 forms a partial phase image and a partial intensity image for one imaging unit based on the calculated phase information and intensity information. In addition, when calculating phase information and intensity information from hologram data, information on an arbitrary focal position can be calculated.
  • the focal position set at this time is a default value designated from the measurement terminal 1. (For example, the focus position set at the most recent past time point for the culture plate and well having the same identification number).
  • the image data constituting the partial phase image and the partial intensity image is stored in the image data storage unit 57 and sent from the data transmission / reception unit 51 to the measurement terminal 1. Since computation processing and image reconstruction processing need only be performed for one imaging unit, tiling processing etc. are unnecessary, so the processing time until the partial phase image and partial intensity image are formed is also the phase of the entire observation target region. This is much shorter than the time required to form the image and the intensity image (see FIG. 4).
  • the time required to transfer hologram data for one imaging unit selected and instructed by the operator and to form a partial phase image and a partial intensity image based on the data is short. Therefore, as described above in the measurement terminal 1, a part of the measurement terminal 1 is transferred from the server 5 to the measurement terminal 1 within a relatively short time from the time when the operator double-clicks the thumbnail image corresponding to one imaging unit. Image data constituting the phase image and the partial intensity image is sent. The sent image data is temporarily stored in the image data storage unit 26.
  • the display processing unit 27 creates a partial phase image and a partial intensity image based on the image data, and displays the two images side by side in the image display area 71 in the designated position image display screen 70.
  • the type of image displayed in the image display area 71 can be selected by putting a check mark in the display image selection check box 72, and only one of the partial phase image and the partial intensity image is displayed in the image display area 71. Can also be displayed.
  • the focal position of the displayed partial phase image and partial intensity image is 6820 ⁇ m.
  • the focus position set initially is not necessarily the focus position in cell observation, and it is necessary to change the focus position when observing a foreign object having a height different from that of the cell. Therefore, when observing partial phase images and partial intensity images at different focal positions, the operator sets conditions for determining a plurality of stages of focal positions in the slice condition setting area 73 in the designated position image display screen 70. That is, when the operator inputs the range of the focus position and the slice width (the step width of the focus position) with the slider, the number of slices (the number of steps of the focus position) is automatically calculated and displayed. These numbers can also be left as default.
  • the focus designation receiving unit 28 receives this operation and instructs the server 5 on the set slice conditions.
  • the slider in the slice condition setting area 73 is operated, the focal range of the “focal position to be set to the well” slider 75 below the slider is set in conjunction with it.
  • the second phase recovery calculation unit 54 and the second image reconstruction unit 56 perform phase information at a plurality of focal positions according to the designated slice condition based on the hologram data for the selected one imaging unit. And intensity information are calculated, and a plurality of partial phase images and partial intensity images having different focal positions are formed.
  • the image data constituting the partial phase image and the partial intensity image at the plurality of focal positions are stored in the image data storage unit 57 and sent from the data transmission / reception unit 51 to the measurement terminal 1 through the communication network 4.
  • the image data received via the data transmitting / receiving unit 23 is temporarily stored in the image data storage unit 26.
  • the “focus position to be set to well” slider 75 in the designated position image display screen 70 shown in FIG. 6 is effective. become. That is, the knob of the slider 75 can be moved with a pointing device.
  • the operator When the operator wants to view images with different focal positions, the operator moves the knob of the “focal position to be set to the well” slider 75 to the left and right using the pointing device. Then, the focus designation receiving unit 28 obtains a focus position corresponding to the position of the knob on the slider 75, and the display processing unit 27 displays the partial phase image and the partial intensity image displayed in the image display area 71 at the focal position. Update to In the example of FIG. 6, since the number of slices is 11, by operating the slider 75, the partial phase image and the partial intensity image at 11 different focal positions can be confirmed. The operator can find a focal position at which the cell to be observed can be most clearly observed by comparing partial phase images or partial intensity images at different focal positions.
  • the operator confirms these images to check whether there are any defects in the culture, such as abnormalities in the cells, and further imaging. Judge whether there is any defect in the. If it is determined that it is not necessary to create a phase image or intensity image of the entire observation target area due to a defect or the like, the reconstruction process of the full-screen phase image and intensity image based on the hologram data is performed. To avoid. Alternatively, even when the transfer of all hologram data from the measurement terminal 1 to the server 5 is started by the operation of the “execute image creation” button 65 in FIG. 5, the data is obtained by performing a predetermined operation. The transfer can be stopped (see FIG. 4). Since such a determination can be made within a relatively short time from the end of photographing, it is not necessary to wait for a long time until a phase image is created by image reconstruction processing of the full screen.
  • the operator sets “setting” in the designated position image display screen 70.
  • a button 76 is clicked.
  • the focus designation accepting unit 28 accepts this operation, and through the data transmitting / receiving unit 23, the value of the instructed focus position and the identification number of the well where the imaging unit such as the partial phase image displayed at that time is present.
  • Information is sent to the server 5.
  • the instructed focal position is stored in the hologram data storage unit 52 as a focused focal position in association with the well identification number.
  • the focal position that can be determined based on the partial phase image and the partial intensity image for one imaging unit is only for one well in which the imaging unit exists. Therefore, when it is desired to obtain information on the focal position in the focused state for all of the six wells 13a formed on the culture plate 13, the above operation is repeated.
  • one imaging unit located in another well is selected on the hologram image displayed in the image display area 61 of the captured image display screen 60 as shown in FIG. 5, and the partial phase for the imaging unit is selected.
  • the image and the partial intensity image are displayed on the designated position image display screen 70 as shown in FIG.
  • a slice condition is set on the designated position image display screen 70, and creation of a slice image is instructed to create partial phase images and partial intensity images at a plurality of focal points.
  • the operator finds an appropriate focal position by comparing the partial phase images and the like created at a plurality of focal points, and clicks the “set” button 76 to determine the focal position.
  • the value of the focal position set for each well as described above is reflected in the focal position list 66 arranged in the plate information display area 62 of the photographed image display screen 60 shown in FIG.
  • “1: 5000 ⁇ m” means that the focal position of the well whose identification number is 1 is 5000 ⁇ m.
  • the focal position list 66 displays the latest focal position value set for each well at that time.
  • the value of the focus position displayed in the focus position list 66 can also be changed using a keyboard that is a part of the input unit 201. Therefore, the operator can determine the value of the focal position for each well by the procedure as described above, and then check the value in the focal position list 66, and can manually correct the value if necessary. . When such correction is performed, the information is sent to the server 5, and the value of the focal position associated with the identification number of each well stored in the hologram data storage unit 52 is also changed.
  • the first phase recovery calculation unit 53 calculates the phase information and the intensity information based on the hologram data for each imaging unit.
  • Information on the focal position of the in-focus state associated with the identification number is acquired from the storage unit 52.
  • phase information and intensity information at the focal position are calculated. That is, the focus position for each well when creating the phase image and the intensity image of the entire imaging target region is checked by the operator using the measurement terminal 1 with a plurality of partial phase images and partial intensity images having different focal positions. Determined by Alternatively, it is determined by the operator directly inputting the value of the focal position into the focal position list 66 on the captured image display screen 60.
  • phase image and the intensity image of the entire culture plate 13 are created instead of the focal position after the phase image and the intensity image of the entire culture plate 13 are once created and displayed as in the prior art.
  • An appropriate focal position can be determined for each well before being done.
  • phase images and intensity images at a plurality of focus positions in a predetermined focus range including the focus position that is the in-focus position may be created. Thereby, the phase image and the intensity image at the focal position slightly deviated from the in-focus position can also be observed.
  • the information on the focal position in the in-focus state is stored in the hologram data storage unit 52, for example, when the same culture plate is measured on another day, the information is stored without performing the work of searching for the in-focus position.
  • the information on the focal position stored in the unit 52 it is possible to perform reconstruction processing of the phase image and intensity image of the full screen.
  • the heights of the wells are uniform to some extent if they are the same type of culture plate. Therefore, even when observing another culture plate, the focal position stored in the hologram data storage unit 52 is set as the initial position, and the most focused position in a predetermined focal position range is searched for for a short time. There is also an advantage that the in-focus position can be found with.
  • the partial phase image and the partial intensity image in the imaging unit are reconstructed from the hologram data of one imaging unit designated by the operator.
  • a range may be appropriately designated by an operator, and a partial phase image and a partial intensity image in the range may be reconstructed from hologram data included in the designated range.
  • the range designated by the operator in the image may be enlarged and displayed.
  • the second image reconstruction unit 56 of the server 5 After reconstructing the partial phase image and partial intensity image for that one imaging unit, only the image in the specified range is cut out, and only the image data in the cut out range is sent to the measurement terminal 1 and displayed on the screen. You may make it display.
  • the hologram image it is possible to specify not only one but also a plurality of imaging units on the hologram image, or to arbitrarily specify a range having a size larger than one imaging unit, and the specified plurality of imaging units or ranges.
  • the partial phase image and the partial intensity image corresponding to may be reconstructed and displayed.
  • the time is increased until a partial phase image or the like can be displayed. For this reason, it is preferable to predetermine the upper limit of the number of imaging units that can be specified and the width of the range based on the time constraint.
  • FIG. 7 is a schematic configuration diagram of the measurement terminal 1 as in FIG.
  • the same reference numerals are given to the same or corresponding components as those in the measurement terminal 1 shown in FIG.
  • the microscope observation unit 10 in the measurement terminal 1 includes a laser emission unit that emits a pulsed laser beam for distance measurement, a detector that detects the reflected laser beam, and A distance measuring unit 18 including a signal processing unit that accurately recognizes the direction (angle) of light incident on the detector and calculates the distance to the bottom surface of the well or the surface of the culture plate 13 by a triangulation method.
  • the distance measuring unit 18 and the focal position calculating unit 19 measure the distance to the inner bottom or the surface of the culture medium for each well of the culture plate 13, and from the measured value Obtain the relative height of the medium surface and calculate the appropriate focal position. Then, information on the focal position for each well is input to the control / processing unit 20.
  • the focus designation reception unit 28 sets the value as the focus position of the focused state of each well. That is, for example, the input focus position value is automatically input to the focus position list 66 in the captured image display screen 60 and the server 5 is notified of the information. Accordingly, an appropriate focal position for each well is automatically set without the operator performing a manual input operation or an operation for finding the focal position while confirming the image as described above.
  • the distance measuring unit using laser light is used here, the distance measuring method is not particularly limited as long as it can measure the height of the inner bottom surface of the well or the height of the medium surface in a non-contact manner. .
  • the microscopic observation unit 10 is an in-line type digital holographic microscope.
  • the microscopic observation unit 10 is not limited to the inline type as long as it acquires a hologram for each measurement position in the observation target region.
  • an off-axis type or phase shift type digital holographic microscope may be used.
  • First phase recovery calculation unit 54 Second phase recovery calculation unit 55 ... First image reconstruction unit 56 ... First Two-image reconstruction unit 57 ... Image data storage unit 60 ... Captured image display screen 61 ... Image display area 62 ... Plate information display area 63 ... "Stop” button 65 ... "Create image "Execute” button 66 ... Focus position list 67 ... Mark 70 ... Designated position image display screen 71 ... Image display area 72 ... Display image selection check box 73 ... Slice condition setting area 74 ... "Create slice image” button 75 ... "Set to well” Focus position ”slider 76...“ Setting ”button

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)

Abstract

ホログラフィック顕微鏡により培養プレート全体の撮影が終了したあと、表示されたホログラム画像上で作業者は特定の測定位置を指定する。すると、その位置のホログラムデータから部分位相画像及び部分強度画像が再構成され、それら画像が表示部に表示された指定位置画像表示画面（７０）上の画像表示領域（７１）に描画される。作業者が該画面上のスライス条件設定領域（７３）でスライス条件を設定してボタン（７４）をクリックすると、スライス条件に従った複数の焦点位置での部分位相画像が再構成される。作業者は焦点位置選択操作領域（７５）中のスライダー等の操作により、焦点位置の異なる画像を見比べて適切な焦点位置を見つけボタン（７６）をクリックする。すると、そのときの画像の焦点位置が、その測定位置が存在するウェルについての適切な焦点位置として設定され、該焦点位置におけるプレート全体の位相画像が作成される。これにより、プレート全体の位相画像の作成を待たずに、撮影終了後速やかに焦点位置合わせを行える。

Description

細胞観察装置
　本発明は細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、ホログラフィ顕微鏡により物体波と参照波との干渉縞を記録したホログラムを取得し、そのホログラムデータに基づいて位相情報や強度情報を算出したうえで位相画像や強度画像等を作成する細胞観察装置に関する。
　再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に時間が掛かりすぎるという問題がある。これを解決するため、近年、デジタルホログラフィ技術を用いたデジタルホログラフィック顕微鏡が開発され実用に供されている（特許文献１、２、非特許文献１等参照）。
　デジタルホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得し、そのホログラムに基づいた光波の逆伝播演算処理等を実施することで位相情報や振幅（強度）情報を取得し、再構成画像として強度画像や位相画像を作成する。
　デジタルホログラフィック顕微鏡には、インライン（in-line）型、オフアクシス（off-axis）型、位相シフト型などの方式がある。これら各方式では主として、ホログラムを取得するための光学系の構成が相違している。オフアクシス型では通常、レーザ光源から出射した光を参照光と物体に照射される照射光とに分割し、該照射光に対し物体を透過して来た物体光と参照光とを互いに異なる入射角で以てイメージセンサに入射させる。一方、インライン型では、レーザ光源から出射した光を分割せずに物体に照射し、物体を透過して来た物体光と物体を透過せずに該物体の近傍を通過した参照光とを共にイメージセンサに略垂直に入射させる。また、位相シフト型では、位相シフト干渉計を用い分割した参照光の光路長を複数段階に変化させることで、位相が複数段階に相違するホログラムを取得する。
　いずれの方式であってもデジタルホログラフィック顕微鏡では、取得したホログラムデータに基づいて光波の位相情報及び振幅情報を算出し、それを画像化する処理をコンピュータで行う必要がある。例えば特許文献１、非特許文献２等には、インライン型デジタルホログラフィック顕微鏡で取得される複数の波長光についてのホログラムに基づく光波伝播の反復計算による位相回復方法が提案されている。デジタルホログラフィック顕微鏡では、ホログラムを取得したあとの演算処理の段階で任意の距離（焦点位置）における位相情報等を得ることができるため、撮影時にいちいち焦点合わせを行う必要がなく、測定時間を短縮して生体細胞のダメージを抑えられるという利点がある。
　しかしながら、こうした細胞観察装置により１枚の培養プレート全体の観察を行う場合、一つの焦点位置における位相画像で該プレート全体が良好に観察できるとは限らない。
　通常、細胞培養に使用される培養プレートにはウェルと呼ばれる複数の凹部が形成されており、各ウェル内に収容された培地上で細胞が培養される。培養プレートを成形する際の成形誤差等により、１枚の培養プレート中の複数のウェルの底面の高さにはばらつきが生じる。ウェルの底面の高さがばらつくと同じ量の培地を入れても培地の高さに相違が生じ、たとえ細胞自体の厚さが同じでもその表面高さにばらつきが生じる。また、培地の注入量のばらつきも、細胞の表面高さのばらつきの要因となる。なお、個々の細胞の厚さのばらつきもあるが、これはウェルの底面高さや培地の注入量のばらつきに比べれば十分に小さい。
　上記要因のため、一般的には、１枚の培養プレート中のウェル毎に合焦位置が異なる場合があり、ウェル毎に適切な焦点位置を設定して培養プレート全体の位相画像の再構成を行う必要がある。従来、こうした位相画像を得るためには、まず、培養プレート全体について共通の所定の焦点位置における位相画像の再構成処理を行う。そして、そのあと、作業者がウェル毎に位相画像を確認して焦点位置が適切かどうかを判断し、適切でなければ焦点位置の設定を変更して培養プレート全体の位相画像の再構成処理をやり直す、といった手法が採られている。
　しかしながら、位相情報等の算出や画像再構成処理の計算量は多いため、或る程度性能の高いコンピュータを使用したとしても、培養プレート全体の位相画像の再構成処理を実施して位相画像を得るのには時間が掛かる。本発明者らの検討によれば、例えば培養プレート全面を９００個程度の小領域に分割し、各小領域についてそれぞれ高い解像度（例えば４０００×３０００画素／枚）で複数の波長についてのホログラムを取得する装置において、測定開始から位相画像の再構成処理が終了するまで１時間以上掛かる。即ち、測定開始時点から１時間以上の時間が経過したあとでないと、焦点合わせの作業が行えない。また、ウェル毎に適切な焦点位置を求めるために位相画像の再構成処理を繰り返すことになると、焦点合わせが終了するまでにさらに長い時間が掛かってしまう。
国際特許公開第２０１６／０８４４２０号 特開平１０－２６８７４０号公報
「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年３月６日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞ ペン・バオ（Peng Bao）、ほか３名、「レンズレス・フェーズ・マイクロスコピー・ユージング・フェーズ・リトライバル・ウィズ・マルチプル・イルミネーション・ウェーブレングス（Lensless phase microscopy using phase retrieval with multiple illumination wavelengths）」、アプライド・オプティクス（Applied Optics）、ジ・オプティカル・ソサイエティ・オブ・アメリカ（The Optical Society of America）、2012年、Vol. 51、No. 22、pp. 5486-5494
　本発明は上記課題を解決するためになされたものであり、その目的とするところは、ホログラフィック顕微鏡により取得されたホログラムに基づいて位相回復等の演算処理を行って細胞を含む試料についての位相画像を再構成する細胞観察装置において、撮影の終了後に速やかに焦点位置を合わせることができ、無駄な時間や人手を費やすことを回避することができる細胞観察装置を提供することである。
　上記課題を解決するために成された本発明の第１の態様は、ホログラフィック顕微鏡を利用した細胞観察装置であって、
　a)光源部と、
　b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
　c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
　d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
　e)ユーザにより指定された特定の一若しくは複数の測定位置又は範囲において得られたホログラムデータに基づいて、複数の焦点位置における部分位相画像及び／又は部分強度画像をそれぞれ作成する再構成画像作成部と、
　f)前記再構成画像作成部で作成された複数の焦点位置における部分位相画像及び／又は部分強度画像を同時に又は切替え可能に表示部に表示する表示処理部と、
　g)前記表示処理部より部分位相画像及び／又は部分強度画像が表示された状態であるときに、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像及び／又は強度画像を作成する際の合焦状態の焦点位置として記憶部に記憶させる焦点位置設定部と、
　を備えることを特徴としている。
　本発明に係る細胞観察装置において、移動部は例えば、その位置が固定された培養プレートに対して光源部及び検出部を一体に移動させることで、該培養プレート上で光源部から出射した光が照射される測定位置を変化させる。測定制御部は該移動部により例えば光源部及び検出部を一体にステップ的に移動させつつ、培養プレート内の一つの測定位置にコヒーレント光を照射し、それにより検出部の検出面上に形成されるホログラムによる光強度の２次元分布を示すデータ（ホログラムデータ）を取得する、という動作を繰り返す。
　再構成画像作成部は、ユーザにより指定された特定の一若しくは複数の測定位置か、又は一つの測定位置中若しくは複数の測定位置に跨る所定の範囲において得られたホログラムデータに基づいて位相情報及び／又は強度情報を算出するが、その際に、複数の焦点位置における位相情報及び／又は強度情報を算出する。この複数の焦点位置はユーザによる指定に基づくものでもよいし、予め決められたものでもよい。そして再構成画像作成部は、得られた情報に基づいて焦点位置毎に部分位相画像及び／又は部分強度画像を作成する。この部分位相画像及び／又は部分強度画像が作成される範囲は、観察対象領域全体に比べれば遙かに小さな領域に限定される。即ち、部分位相画像又は部分強度画像は観察対象領域全体の中のごく一部に対応する画像である。
　一般に、観察対象領域全体についてのホログラムデータに基づいて該観察対象領域全体についての位相画像や強度画像を再構成するのにはかなりの時間が掛かる。それに対し、再構成画像作成部での処理の対象であるホログラムデータの量は、観察対象領域全体についてのホログラムデータの量に比べれば格段に少ない。そのため、再構成画像作成部では、測定が終了した時点から比較的短い時間内で部分位相画像や部分強度画像を作成することができる。こうして作成された互いに焦点位置の異なる複数の部分位相画像や部分強度画像が表示処理部により、同時に又は切替え可能に表示部に表示される。これにより、ユーザは異なる焦点位置における部分位相画像等を見比べて、細胞を観察するのにどの焦点位置が適切であるかを判断することができる。
　ユーザは例えば部分位相画像を見比べて、適切であると判断した部分位相画像が表示されている状態で所定の操作を行う。すると、このユーザの操作を受けて、焦点位置設定部は、そのときに表示している部分位相画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像や強度画像を作成するための焦点位置の条件として記憶部に記憶させる。こうして、測定終了後の比較的短い時間内で表示される部分位相画像や部分強度画像を利用して、観察対象領域全体の位相画像や強度画像を再構成する際の適切な焦点位置を決めることができる。観察対象領域全体の位相画像や強度画像を再構成する際には、少なくとも記憶部に格納されている焦点位置における画像を作成すればよいが、その焦点位置を含む所定の複数段階の焦点範囲の画像を作成するようにしてもよい。
　なお、本発明において、インライン型、オフアクシス型、位相シフト型などのホログラフィック顕微鏡の方式は問わないが、光学系の構成が簡素であって試料と光源部との距離を複数段階に変化させる必要がないために駆動機構も簡素になるという点で、複数の波長におけるホログラムを利用するインライン型の構成が望ましい。
　本発明の第１の態様では、好ましくは、
　前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
　前記第２再構成画像作成部により作成される部分位相画像及び／又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
　をさらに備える構成とするとよい。
　ホログラム画像は位相画像等と異なり、測定終了後直ちに表示することが可能である。また、測定中であっても一つの測定位置についての測定が終了する度にその測定位置に対応する部分的なホログラム画像を表示することもできる。このホログラム画像はホログラムに対応する光強度の２次元分布であるので、生体細胞については十分に可視化されないことが多いものの、大きな段差があるウェルの縁部などについては十分に視認可能な画像である。そこで、ユーザは、表示されたホログラム画像上で例えばどのウェルのどの部分の部分位相画像や部分強度画像を見たいかを指示入力部により指示する。これにより、ユーザは所望の測定位置や範囲の部分位相画像や部分強度画像を短い待ち時間で確認することができる。
　なお、ホログラム画像上で特定の一若しくは複数の測定位置をユーザが指定できるようにするほかに、例えば試料について別途取得した光学顕微画像などを参照してユーザが見たい座標位置を特定し、その座標位置の情報を本発明に係る装置に入力することで、特定の一若しくは複数の測定位置を決めることができるようにしてもよい。
　また本発明の第１の態様に係る細胞観察装置が、複数の凹部が形成された培養プレートを使用し該プレートの各凹部内で培養中である細胞を観察するための細胞観察装置である場合、
　前記焦点位置指定受付部は、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む凹部における位相画像及び／又は強度画像を作成するための焦点位置として記憶部に記憶させるものであり、且つ、前記複数の凹部のそれぞれについて独立に凹部における位相画像及び／又は強度画像を作成するための焦点位置を記憶させる構成とするとよい。
　上述したように、複数のウェル（凹部）が培養プレートに形成されている場合、ウェルの底面の高さやウェル内の培地の高さがウェル毎に異なり、そのために合焦位置がウェル毎に異なることがしばしばある。これに対し上記構成によれば、培養プレート全体の位相画像や強度画像を作成する前に、培養プレートに形成されている複数のウェルのそれぞれについて、互いに異なる複数の焦点位置における部分位相画像や部分強度画像を作成し、ユーザが凹部毎に適切な焦点位置を判断することで、ウェル毎に適切な焦点位置の情報を収集することができる。それにより、培養プレート全体の位相画像や強度画像を作成する段階で各ウェルの合焦位置における位相画像や強度画像のみを作成すればよく、不必要な焦点位置の画像を作成する時間や手間を軽減することができる。
　またこの構成では、さらに、前記焦点位置指定受付部は、複数の凹部のそれぞれについて設定されている焦点位置の情報を表示部の画面上に表示するとともに、その表示上でユーザによる焦点位置の値の編集を受け付ける焦点位置編集部を含む構成としてもよい。
　この構成によれば、ユーザが適切な焦点位置についての何らかの事前情報や知識を有している場合に、焦点位置編集部により適宜に焦点位置の値を修正することができる。また、部分位相画像等の再構成処理を実行する前に、ユーザが焦点位置編集部により適宜に焦点位置を入力できるようにしてもよい。
　また上記課題を解決するためになされた本発明に係る第２の態様は、一又は複数の容器内で培養中である細胞を観察するための、ホログラフィック顕微鏡を利用した細胞観察装置であって、
　a)コヒーレント光を出射する光源部と、
　b)細胞を含む前記一又は複数の容器である試料に前記光源部からの出射光を照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
　c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
　d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
　e)前記一又は複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する高さ計測部と、
　f)該高さ計測部で計測された相対的な高さに基づいて前記容器毎に焦点位置を設定する焦点位置設定部と、
　g)前記測定制御部による制御の下で、前記試料上の所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて、前記容器に対応する領域毎に前記焦点位置設定部で設定された焦点位置における位相情報及び／又は強度情報を算出するとともに、該位相情報の２次元分布を示す位相画像及び／又は該強度情報の２次元分布を示す強度画像を作成する再構成画像作成部と、
　を備えることを特徴としている。
　ここで、容器が一つのみ用いられる場合には、該容易はシャーレ、フラスコなどである。一方、複数の容器が用いられる場合には一般に、該容器は培養プレートに形成されたウェルである。
　この第２の態様では、ユーザが部分位相画像等を目視で確認して合焦位置を見つける代わりに、高さ計測部が、一又は複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する。高さ計測部としては例えばレーザ測距計などを用いることができる。そして焦点位置設定部は、高さ計測部による計測で求まった相対的な高さの値に基づいて容器毎に焦点位置を設定する。高さ計測部により容器の内底部の高さを計測する場合には、該容器に収容される培地の量などの情報に基づいて培地表面の高さを推定し、さらに、その高さから培養中の細胞表面の高さを推定することができる。また、高さ計測部により容器内の培地表面の高さを計測できる場合には、その高さから培養中の細胞表面の高さを推定することができる。
　いずれにしても、高さ計測部により実測した値を利用して焦点位置を決めるので、例えば複数のウェル毎に内底部の高さが相違する場合であっても、作業者の判断に頼ることなく精度の高い焦点合わせが可能である。また、部分位相画像や部分強度画像を作業者が確認する必要がなくなるので、人手をより一層省いた自動的な観察画像の作成が可能となる。
　本発明によれば、測定によって取得されたホログラムデータに基づく複雑な計算を経て作成される位相画像や強度画像が表示されるのを待つことなく、測定終了後速やかに、作業者は焦点位置を合わせる作業を行うことができる。また、特に本発明に係る第１の態様によれば、測定終了後速やかに表示される部分位相画像や部分強度画像で撮影状態等が適切かどうかを確認する作業と同時に、焦点位置合わせの作業を行うことができる。これにより、細胞観察に際し作業者が行うべき作業の効率化を図ることができる。
本発明の一実施例である細胞観察装置の全体構成図。 本実施例の細胞観察装置における測定用端末の概略構成図。 本実施例の細胞観察装置における画像再構成処理を説明するための概念図。 本実施例の細胞観察装置における特徴的な処理動作の説明図。 本実施例の細胞観察装置における撮影終了後に測定用端末で表示される画面の一例を示す図。 本実施例の細胞観察装置における測定用端末で表示される指定測定位置のＩＨＭ位相像及びＩＨＭ強度像の一例を示す図。 本発明の他の実施例である細胞観察装置における測定用端末の概略構成図。
　以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
　図１は本実施例の細胞観察装置の全体構成図、図２は本実施例の細胞観察装置における測定用端末の概略構成図である。
　本実施例の細胞観察装置は、インターネット、イントラネットなどの通信ネットワーク４を介して接続された測定用端末１と、閲覧用端末３と、サーバ５と、を含む。図１には、測定用端末１及び閲覧用端末３をそれぞれ１台ずつ記載しているが、これらはそれぞれ適宜の数だけ設けることができる。
　サーバ５は高性能なコンピュータであり、該コンピュータにインストールされている専用のソフトウェアにより具現化される機能ブロックとして、データ送受信部５１、ホログラムデータ記憶部５２、第１位相回復演算部５３、第２位相回復演算部５４、第１画像再構成部５５、第２画像再構成部５６、画像データ記憶部５７等を備える。
　測定用端末１は顕微観察部１０と制御・処理部２０とから成る。本実施例の細胞観察装置では、顕微観察部１０はインライン型デジタルホログラフィック顕微鏡であり、図２に示すように、レーザダイオード等を含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、観察対象物である細胞１４を含む培養プレート１３が配置される。光源部１１及びイメージセンサ１２は例えばモータ等の駆動源を含む移動部１５により、互いに直交するＸ軸、Ｙ軸の二軸方向に一体に移動自在である。
　なお、図２では図面が煩雑になるのを避けるために、光源部１１とイメージセンサ１２とを一つずつ、つまり一組しか記載していないが、実際には、光源部１１とイメージセンサ１２とは一枚の培養プレート１３を挟んで四組設けられており、後述するように、その四組の光源部１１とイメージセンサ１２とにより一枚の培養プレート１３の異なる測定位置についてのホログラムを並行して取得することが可能である。
　制御・処理部２０の実体は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータをサーバ５に送出する、さらにはサーバ５において処理されたデータを受け取って表示を行うパーソナルコンピュータ（ＰＣ）である。このＰＣにインストールされた専用のソフトウェアにより具現化される機能ブロックとして、撮影制御部２１、ホログラムデータ記憶部２２、データ送受信部２３、ホログラム画像作成部２４、確認位置指定受付部２５、画像データ記憶部２６、表示処理部２７、焦点指定受付部２８等を備える。また、制御・処理部２０には、キーボードやマウス等のポインティングデバイスである入力部２０１と、表示部２０２と、が接続されている。
　閲覧用端末３は測定用端末１における制御・処理部２０と同様に、その実体は一般的なＰＣである。そして、該ＰＣにインストールされた専用のソフトウェアにより、サーバ５からデータを受領し、該データに基づいて形成される適宜の画像を表示することが可能である。
　次に、本実施例の細胞解析装置におけるホログラムデータ取得の際の動作について図３を参照して説明する。図３は本実施例の細胞観察装置における画像再構成処理を説明するための概念図である。
　図３（ａ）は本実施例の細胞観察装置において使用される培養プレート１３の略上面図である。この培養プレート１３には上面視円形状である６個のウェル１３ａが形成されており、その各ウェル１３ａ内で細胞が培養される。ここでは、１枚の培養プレート１３全体、つまりは６個のウェル１３ａを含む矩形状の範囲全体が観察対象領域である。顕微観察部１０は光源部１１及びイメージセンサ１２の組を４組備えており、各組の光源部１１及びイメージセンサ１２はそれぞれ、図３（ａ）に示すように培養プレート１３全体を４等分した四つの４分割範囲８１のホログラムデータの収集を担う。つまり、４組の光源部１１及びイメージセンサ１２が培養プレート１３全体に亘るホログラムデータの収集を分担する。
　一組の光源部１１及びイメージセンサ１２が１回に撮影可能である範囲は、図３（ｂ）及び（ｃ）に示すように、４分割範囲８１の中の１個のウェル１３ａを含む略正方形状の範囲８２をＸ軸方向に１０等分、Ｙ軸方向に１２等分して得られる一つの撮像単位８３に相当する範囲である。一つの４分割範囲８１は予め作業者により指定された所定数の、例えば１５×１２＝１８０個の撮像単位８３を含む。四つの光源部１１と四つのイメージセンサ１２はそれぞれ光源部１１及びイメージセンサ１２を含むＸ－Ｙ面内で、４分割範囲８１と同じ大きさである矩形の四つの頂点付近にそれぞれ配置されおり、培養プレート１３上の異なる四つの撮像単位８３についてのホログラムの取得を同時に行う。
　培養プレート１３についてのホログラムデータの収集に際し、作業者はまず、観察対象である細胞１４が培養されている培養プレート１３を顕微観察部１０の所定位置にセットし、該培養プレート１３を特定する識別番号や測定日時などの情報を入力部２０１から入力したうえで測定実行を指示する。この測定指示を受けて撮影制御部２１は、顕微観察部１０の各部を制御して撮影を実行する。
　即ち、一つの光源部１１は、１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域（一つの撮像単位８３）に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１７）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１６）と干渉しつつイメージセンサ１２に到達する。物体光１７は細胞１４を透過する際に位相が変化した光であり、他方、参照光１６は細胞１４を透過しないので該細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１７と位相が変化していない参照光１６との干渉像、つまりホログラムがそれぞれ形成され、このホログラムに対応する２次元的な光強度分布データ（ホログラムデータ）がイメージセンサ１２から出力される。
　上述したように、四つの光源部１１からは略同時に培養プレート１３に向けてコヒーレント光が出射され、四つのイメージセンサ１２では培養プレート１３上の異なる撮像単位８３に対応する領域のホログラムデータが取得される。一つの測定位置での測定が終了する毎に、光源部１１及びイメージセンサ１２は移動部１５により、Ｘ－Ｙ面内で一つの撮像単位８３に相当する距離だけＸ軸方向及びＹ軸方向にステップ状に順次移動される。これによって、４分割範囲８１に含まれる１８０個の撮像単位８３での測定が実施され、四組の光源部１１及びイメージセンサ１２全体で培養プレート１３全体の測定が実行されることになる。このようにして顕微観察部１０の四つのイメージセンサ１２で得られたホログラムデータは、測定日時等の属性情報とともに、ホログラムデータ記憶部２２に格納される。
　全ての撮像単位８３についての測定（撮影）が終了したあと、作業者により後述する所定の操作が行われると、データ送受信部２３は、ホログラムデータ記憶部２２に格納されたホログラムデータを測定日時等の属性情報とともに、逐次、通信ネットワーク４を介してサーバ５に転送する。なお、各測定用端末１からサーバ５へは生の、つまりは加工されていないホログラムデータを送ればよいが、必要に応じて、各測定用端末１に固有の誤差要因を補正するような加工処理を施したホログラムデータをサーバ５へ送るようにしてもよい。
　サーバ５においてデータ送受信部５１は測定用端末１から送られて来たホログラムデータを受け取り、測定用端末１を特定するための識別情報、撮影時に入力された培養プレートの識別情報や測定日時などの属性情報とともにホログラムデータをホログラムデータ記憶部５２に蓄積する。ホログラムデータを収集したあと、第１位相回復演算部５３はホログラムデータ記憶部５２から撮像単位毎のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度（振幅）情報を求める。位相情報や強度情報の空間分布は撮像単位８３毎に求まるから、全ての撮像単位８３の位相情報や強度情報が得られたならば、第１画像再構成部５５は、その位相情報や強度情報に基づいて、観察対象領域全体の位相画像や強度画像を形成する。
　より詳しく述べると、第１画像再構成部５５は、撮像単位８３毎に算出された位相情報の空間分布に基づき各撮像単位８３の位相画像を再構成し、その狭い範囲の位相画像を繋ぎ合わせるタイリング処理（図３（ｄ）参照）を行うことで、観察対象領域つまりは培養プレート１３全体についての位相画像を形成する。もちろん、タイリング処理の際には撮像単位８３の境界での位相画像が滑らか繋がるように適宜の補正処理を行うとよい。なお、こうした位相情報の算出や画像の再構成の際には、特許文献１、２等の既知の文献に開示されているアルゴリズムを利用すればよい。
　また、通常の処理で得られる再構成画像は取得されたホログラムデータにより原理的に求まる最高解像度の画像であるが、それだけでなく、その最高解像度の位相画像を元に、ビニング処理等により解像度を落とした複数段階の解像度（倍率）の位相画像を作成するようにしてもよい。そして、こうして作成した位相画像や強度画像を構成する画像データを画像データ記憶部５７に格納する。
　サーバ５の性能にも依るが、１枚の培養プレート１３から得られるホログラムデータは膨大な量であるため、第１位相回復演算部５３や第１画像再構成部５５における処理にはかなりの時間を要する。そのため、一般的には、たとえ測定用端末１側で全ての測定が終了しても、直ちに観察対象領域全体の位相画像や強度画像を閲覧することはできない。また、上述したように位相情報や強度情報を算出する際には、任意の焦点位置における位相情報や強度情報を求めることができるものの、焦点位置が合っているか否かの確認や焦点が合っていない場合の焦点合わせの作業は観察対象領域全体の位相画像や強度画像が得られるまで待たなければならない。そこで本実施例の細胞観察装置では、こうしたこと避けるために、以下に説明する特徴的な処理を実行している。
　図４はこの特徴的な処理動作の説明図、図５は撮影終了後に測定用端末で表示される画面の一例を示す図、図６は測定用端末で表示される指定測定位置の位相画像及び強度画像の一例を示す図である。
　測定実行前に作業者が入力部２０１で所定の操作を行うと、表示処理部２７は、図５に示すような撮影画像表示画面６０を表示部２０２に表示する。この撮影画像表示画面６０には、画像表示領域６１とプレート情報表示領域６２とが配置されており、さらに右下には、「停止」ボタン６３が配置されている。プレート情報表示領域６２には、測定中又は測定が終了した培養プレート１３の名称（プレート名）や識別番号（プレートＩＤ）などの属性情報が表示される。但し、図５に示した画面は測定終了後のものであり、測定開始前には画像表示領域６１には実質的な画像は何も表示されていない。
　測定が開始されて上述したように培養プレート１３上での各撮像単位８３に対応する領域についてのホログラムデータが得られると、ホログラム画像作成部２４は撮像単位８３毎に、得られたデータに基づいて光強度の２次元分布を示すホログラム画像を作成する。このときに作成されるホログラム画像は解像度が最低であるサムネイル画像である。表示処理部２７は作成されたホログラムのサムネイル画像を、画像表示領域６１内のそれぞれの撮像単位に対応する位置に貼り付けて表示する。即ち、一つの撮像単位のホログラムデータが新たに得られる毎にほぼリアルタイムで、そのデータに基づくホログラムのサムネイル画像が画像表示領域６１内の画像に追加して表示される。そして、全ての撮像単位についての測定が終了すると、図５に示すような、観察対象領域全体のホログラム画像が表示される。測定終了後に作業者が撮影画像表示画面６０内の「画像作成を実行」ボタン６５をクリック操作すると、収集されたホログラムデータがサーバ５が転送され、前述したように全画面の画像再構成処理が実行される。
　なお、ホログラム画像では細胞の状態を観察するのは困難であるが、光源部１１やイメージセンサ１２の損傷等の装置の不具合や測定上の不手際等に起因する現象の多くは画像上で把握可能である。そこで、作業者は測定実行中に画像表示領域６１に表示されるホログラム画像を監視し、何らかの問題があると判断できる場合には「停止」ボタン６３をクリック操作する。すると、撮影制御部２１はこの操作を受けて測定を停止する。このように、測定に何らかの問題がある場合に測定を速やかに停止させることで、残りの無駄な測定に時間を費やすことを回避することができる。
　測定終了後速やかに位相画像や強度画像を確認したい場合、作業者は、入力部２０１の一部であるマウス等のポインティングデバイスにより、図５に示した撮影画像表示画面６０内の画像表示領域６１に表示されているホログラム画像を構成する多数のサムネイル画像のうちの所望の一つの上にカーソルを移動させる。確認位置指定受付部２５はこの操作を受け付け、選択されている撮像単位を示す矩形状のマーク６７を画像に重畳して表示する。そして、作業者がポインティングデバイスによるダブルクリック操作を行うと、確認位置指定受付部２５はそのときに選択されている一つの撮像単位を、部分位相画像の作成対象であると認識し、これに応じて表示処理部２７は図６に示すような指定位置画像表示画面７０を表示部２０２の画面上に表示する。この指定位置画像表示画面７０には画像表示領域７１が設けられている。
　並行して確認位置指定受付部２５は、指示された一つの撮像単位について得られたホログラムデータをホログラムデータ記憶部２２から読み出し、データ送受信部２３は読み出されたデータを通信ネットワーク４を通してサーバ５に転送する。なお、この一つの撮像単位についてのホログラムデータの転送動作は、上述したような撮影対象領域全体のホログラムデータのサーバ５への転送動作と並行して行ってもよいし、それよりも優先的に行ってもよい。後者の場合、撮影対象領域全体のホログラムデータの転送動作がすでに開始されていれば、それを一旦中断して、選択指示された一つの撮像単位についてのホログラムデータの転送を行えばよい。
　サーバ５においてデータ送受信部５１は、上述したように測定用端末１から送られて来た一つの撮像単位についてのホログラムデータを受け取り、該データをホログラムデータ記憶部５２に一旦格納する。このときに転送されて来るデータの量は観察対象領域全体のホログラムデータのデータ量に比べて格段に少ないため、転送時間も格段に短い（図４参照）。
　第２位相回復演算部５４はホログラムデータ記憶部２２に格納された一つの撮像単位のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度情報を求める。引き続き、第２画像再構成部５６は、算出された位相情報や強度情報に基づいて、一つの撮像単位についての部分位相画像及び部分強度画像を形成する。なお、ホログラムデータから位相情報や強度情報を算出する際には任意の焦点位置の情報を算出することができるが、この時点で設定される焦点位置は、測定用端末１から指定されたデフォルト値（例えば同じ識別番号の培養プレート及びウェルについて最も直近の過去の時点で設定されていた焦点位置など）である。この部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部５７に格納されるとともに、データ送受信部５１から測定用端末１に送られる。演算処理や画像再構成の処理も一つの撮像単位分のみでよくタイリング処理等の不要であるので、部分位相画像及び部分強度画像が形成されるまでの処理時間も、観察対象領域全体の位相画像及び強度画像を形成するのに要する時間に比べて格段に短い（図４参照）。
上述したように、作業者により選択指示された一つの撮像単位についてのホログラムデータの転送及び該データに基づく部分位相画像、部分強度画像の形成に要する時間は短い。したがって、測定用端末１において上述したように作業者が一つの撮像単位に対応するサムネイル画像についてのダブルクリック操作を行った時点から比較的短い時間内に、サーバ５からその測定用端末１に部分位相画像及び部分強度画像を構成する画像データが送られて来る。送られて来た画像データは一旦、画像データ記憶部２６に格納される。
　表示処理部２７はこの画像データに基づき部分位相画像及び部分強度画像を作成し、それら二つの画像を指定位置画像表示画面７０内の画像表示領域７１に並べて表示する。なお、画像表示領域７１に表示する画像の種類は表示画像選択チェックボックス７２にチェックマークを入れることで選択することができ、部分位相画像と部分強度画像とのいずれか一方のみを画像表示領域７１に表示させることもできる。なお、図６の例において、表示されている部分位相画像及び部分強度画像の焦点位置は６８２０μmである。
　初めに設定されている焦点位置が必ずしも細胞観察における合焦位置であるとは限らないし、また細胞とは高さが相違する異物を観察したい場合には焦点位置を変更する必要がある。そこで、異なる焦点位置における部分位相画像や部分強度画像を観察したい場合、作業者は、指定位置画像表示画面７０内のスライス条件設定領域７３で複数段階の焦点位置を決める条件を設定する。即ち、作業者が焦点位置の範囲とスライス幅（焦点位置のステップ幅）とをそれぞれスライダーで入力すると、スライス数（焦点位置の段数）が自動的に計算されて表示される。これら数値もデフォルトのままとすることができる。そして、スライス条件を設定したあと作業者が「スライス画像作成」ボタン７４をクリック操作すると、焦点指定受付部２８はこの操作を受け付け、設定されたスライス条件をサーバ５に指示する。なお、スライス条件設定領域７３におけるスライダーを操作すると、その下方の「ウェルに設定する焦点位置」スライダー７５の焦点範囲が連動して設定される。
　サーバ５において第２位相回復演算部５４及び第２画像再構成部５６は、上記の選択された一つの撮像単位についてのホログラムデータに基づいて、指示されたスライス条件に従って複数の焦点位置における位相情報及び強度情報を算出し、互いに焦点位置の相違する複数の部分位相画像及び部分強度画像を形成する。この複数の焦点位置における部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部５７に格納されるとともに、データ送受信部５１から通信ネットワーク４を通して測定用端末１に送られる。測定用端末１の制御・処理部２０において、データ送受信部２３を経て受け取られた画像データは一旦、画像データ記憶部２６に格納される。
　このように異なる焦点位置における部分位相画像及び部分強度画像を構成する画像データが用意されると、図６に示した指定位置画像表示画面７０内の「ウェルに設定する焦点位置」スライダー７５が有効になる。即ち、該スライダー７５のノブをポインティングデバイスで移動させることが可能になる。
　焦点位置が異なる画像を見たい場合、作業者はポインティングデバイスにより「ウェルに設定する焦点位置」スライダー７５のノブを左右に移動させる。すると、焦点指定受付部２８はスライダー７５上のノブの位置に対応した焦点位置を求め、表示処理部２７は画像表示領域７１に表示している部分位相画像及び部分強度画像をその焦点位置における画像に更新する。図６の例では、スライス数が１１であるので、スライダー７５を操作することで、１１段階の異なる焦点位置における部分位相画像及び部分強度画像をそれぞれ確認することができる。作業者は、異なる焦点位置における部分位相画像同士又は部分強度画像同士をそれぞれ比較することで、観察対象である細胞などが最も明瞭に観察できる焦点位置を見つけることができる。
　こうして、明瞭な部分位相画像及び部分強度画像が得られたならば、作業者はそれら画像を確認して、細胞に異常が発生している等、培養に不具合がないかどうか、さらには、撮影に不具合がないかどうかなどを判断する。そして、不具合等があるために観察対象領域全体の位相画像や強度画像を作成する必要がないと判断した場合には、ホログラムデータに基づく全画面の位相画像や強度画像の再構成処理の実行を回避する。或いは、図５中の「画像作成を実行」ボタン６５の操作により測定用端末１からサーバ５への全ホログラムデータの転送が開始されている場合であっても、所定の操作を行うことでデータ転送を中止させることもできる（図４参照）。こうした判断は撮影終了時点から比較的短い時間内で行うことができるので、全画面の画像再構成処理により位相画像が作成されるまで長い時間待つ必要がない。
　また、上述したように互いに異なる焦点位置における複数の部分位相画像及び部分強度画像をそれぞれ比較することで適切な焦点位置を見つけたならば、作業者は指定位置画像表示画面７０内の「設定」ボタン７６をクリック操作する。すると、焦点指定受付部２８はこの操作を受け付け、データ送受信部２３を通して、指示された焦点位置の値とそのときに表示している部分位相画像等の撮像単位が存在するウェルの識別番号との情報をサーバ５に送出する。サーバ５において、指示された焦点位置は合焦状態の焦点位置として、ウェルの識別番号に対応付けてホログラムデータ記憶部５２に保存される。
　上述のように一つの撮像単位についての部分位相画像及び部分強度画像に基づいて決めることができる焦点位置は、その撮像単位が存在する一つのウェルについてのみである。したがって、培養プレート１３に形成されている６個のウェル１３ａの全てについてそれぞれ合焦状態の焦点位置の情報を取得したい場合には、上記のような作業を繰り返す。
　即ち、図５に示したような撮影画像表示画面６０の画像表示領域６１に表示されているホログラム画像上で他のウェル中に位置する一つの撮像単位を選択し、その撮像単位についての部分位相画像及び部分強度画像を図６に示したような指定位置画像表示画面７０に表示させる。そして、指定位置画像表示画面７０においてスライス条件を設定し、スライス画像の作成を指示して複数の焦点における部分位相画像及び部分強度画像を作成させる。そして、作業者は、作成された複数の焦点における部分位相画像等を比較することで、適切な焦点位置を見いだし、「設定」ボタン７６をクリック操作して焦点位置を確定させる。こうした作業を各ウェルについて繰り返すことで、６個のウェルに対しそれぞれ異なる焦点位置の情報を取得することができる。
　なお、上述のようにしてウェル毎に設定された焦点位置の値は、図５に示した撮影画像表示画面６０のプレート情報表示領域６２に配置されている焦点位置リスト６６に反映される。焦点位置リスト６６において、「１：５０００μm」とは識別番号が１であるウェルの焦点位置が５０００μmであることを意味する。この焦点位置リスト６６には、その時点で各ウェルに対して設定されている最新の焦点位置の値が表示される。この焦点位置リスト６６に表示されている焦点位置の値は、入力部２０１の一部であるキーボードを用いて変更することもできる。したがって、作業者は、上記のような手順で各ウェルに対する焦点位置の値を決めたあと、焦点位置リスト６６でその値を確認し、必要に応じてその値を手入力で修正することもできる。こうした修正が行われると、その情報がサーバ５に送られ、ホログラムデータ記憶部５２に保存されている各ウェルの識別番号に対応付けられている焦点位置の値も変更される。
　上述したように第１位相回復演算部５３は撮像単位毎にホログラムデータに基づいて位相情報及び強度情報を算出するが、その際に、各撮像単位が位置するウェルの識別番号を参照し、その識別番号に対応付けられている合焦状態の焦点位置の情報を記憶部５２から取得する。そして、その焦点位置における位相情報及び強度情報を算出する。即ち、撮影対象領域全体の位相画像や強度画像を作成する際のウェル毎の焦点位置は、作業者が測定用端末１で焦点位置の相違する複数の部分位相画像及び部分強度画像を確認することで決定される。或いは、作業者が、撮影画像表示画面６０上の焦点位置リスト６６内に焦点位置の値を直接入力することで決定される。いずれにしても、従来のように、培養プレート１３全体の位相画像や強度画像を一旦作成して表示させたあとに焦点位置を決めるのではなく、培養プレート１３全体の位相画像や強度画像が作成される前に適切な焦点位置をウェル毎に決めることができる。また、培養プレート１３全体の広い範囲の位相画像や強度画像を作成する際に、合焦状態でない様々な焦点位置における画像を作成する必要がないので、画像再構成処理の時間も節約できる。これにより、細胞観察の作業の効率化が図れる。
　もちろん、ウェル毎に１箇所の撮像単位で合焦位置を決めても、同ウェルの他の箇所では合焦位置が少しずれているおそれもある。そこで、合焦位置とされる焦点位置を含む所定の焦点範囲の複数の焦点位置における位相画像や強度画像を作成してもよい。これにより、合焦位置から少しずれた焦点位置における位相画像や強度画像も観察することができる。
　また、合焦状態の焦点位置の情報はホログラムデータ記憶部５２に格納されているので、例えば同一の培養プレートを別の日に測定したときに、合焦位置を探す作業を行うことなく該記憶部５２に保存されている焦点位置の情報を用いて全画面の位相画像や強度画像の再構成処理を実施することができる。また、同一でなくても同種の培養プレートであればウェルの高さは或る程度揃っている。したがって、別の培養プレートについての観察を行う際にも、ホログラムデータ記憶部５２に保存されている焦点位置を初期位置とし、所定の焦点位置範囲で最も焦点が合う位置を探すことで、短時間で合焦位置を見つけることができるという利点もある。
　なお、上記実施例では、作業者により指定された一つの撮像単位のホログラムデータから該撮像単位における部分位相画像や部分強度画像を再構成していたが、一つの撮像単位の中の一部の範囲を作業者が適宜に指定し、その指定された範囲に含まれるホログラムデータから該範囲における部分位相画像や部分強度画像を再構成できるようにしてもよい。これにより、測定用端末１からサーバ５に転送されるデータ量がさらに減るため、データ転送時間や処理時間をさらに一層短くすることができる。
　また、一つの撮像単位についての部分位相画像や強度位相画像を指定位置画像表示画面７０内に表示したあと、その画像において作業者により指定された範囲を拡大して表示できるようにしてもよい。また、撮影画像表示画面６０内に表示されているホログラム画像上で一つの撮像単位の中の一部の範囲を作業者が適宜に指定したときに、サーバ５の第２画像再構成部５６では、その一つの撮像単位についての部分位相画像や部分強度画像を再構成したあと、指定された範囲の画像のみを切り出し、その切り出された範囲の画像データのみを測定用端末１に送り画面上に表示するようにしてもよい。
　また、ホログラム画像上で一つのみではなく複数の撮像単位を指定したり、一つの撮像単位よりも大きなサイズの範囲を任意に指定したりできるようにし、その指定された複数の撮像単位又は範囲に対応する部分位相画像や部分強度画像を再構成して表示できるようにしてもよい。但し、指定される撮像単位数が多くなるほど又は指定される範囲が広くなるほど処理対象のデータ量が増加するから、部分位相画像等を表示できるまでも時間が長くなる。そのため、この時間の制約から、指定できる撮像単位数や範囲の広さの上限を予め決めておくとよい。
　次に本発明に係る第２実施例の細胞観察装置について、図７を参照して説明する。図７は図２と同様に、測定用端末１の概略構成図である。図７において図２に示した測定用端末１における構成要素と同一又は相当する構成要素には同じ符号を付してある。
　第２実施例の細胞観察装置では、測定用端末１における顕微観察部１０は、測距用のパルス状のレーザ光を出射するレーザ発光部、反射してきたレーザ光を検出する検出器、及び、検出器に入射する光の方向（角度）を精度良く認識して三角測距方式により培養プレート１３のウェル内底面又は培地表面までの距離を算出する信号処理部を含む測距部１８と、得られた距離から培養プレート１３のウェル内に収容されている培地表面の高さを計算し、該高さから焦点位置を導出する焦点位置計算部１９と、を備える。この細胞観察装置では、ホログラムデータの収集の前に、測距部１８及び焦点位置計算部１９により、培養プレート１３のウェル毎にその内底部又は培地表面までの距離を計測し、その計測値から培地表面の相対的な高さを求め適切な焦点位置を計算する。そして、ウェル毎の焦点位置の情報を制御・処理部２０に入力する。
　制御・処理部２０において焦点指定受付部２８は、焦点位置計算部１９から上述したような焦点位置の情報が入力されたならば、その値を各ウェルの合焦状態の焦点位置として設定する。即ち、例えば入力された焦点位置の値を撮影画像表示画面６０内の焦点位置リスト６６に自動的に入力するとともに、サーバ５にその情報を通知する。これにより、作業者が手入力の操作や上述したような画像を確認しながら焦点位置を見いだす作業を行うことなく、各ウェルに対する適切な焦点位置が自動的に設定される。
　なお、ここではレーザ光を利用した測距部を用いたが、ウェルの内底面の高さ又は培地表面の高さを非接触で計測可能な手法であれば、測距の手法は特に限定されない。
　また、上記実施例において顕微観察部１０はインライン型デジタルホログラフィック顕微鏡であるが、顕微観察部１０は観察対象領域中の測定位置毎にホログラムを取得するものであればよいので、インライン型に限らず、オフアクシス型や位相シフト型のデジタルホログラフィック顕微鏡であってもよい。
　また、上記実施例では、測定用端末１と通信ネットワーク４を介して接続されたサーバ５において位相回復等の演算処理を実施していたが、スタンドアロン型の装置で全ての処理を実施する構成としてもよいことは当然である。
　さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
１…測定用端末
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１３ａ…ウェル
１４…細胞
１５…移動部
１６…参照光
１７…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…データ送受信部
２４…ホログラム画像作成部
２５…確認位置指定受付部
２６…画像データ記憶部
２７…表示処理部
２８…焦点指定受付部
２０１…入力部
２０２…表示部
３…閲覧用端末
５…サーバ
４…通信ネットワーク
５１…データ送受信部
５２…ホログラムデータ記憶部
５３…第１位相回復演算部
５４…第２位相回復演算部
５５…第１画像再構成部
５６…第２画像再構成部
５７…画像データ記憶部
６０…撮影画像表示画面
６１…画像表示領域
６２…プレート情報表示領域
６３…「停止」ボタン
６５…「画像作成を実行」ボタン
６６…焦点位置リスト
６７…マーク
７０…指定位置画像表示画面
７１…画像表示領域
７２…表示画像選択チェックボックス
７３…スライス条件設定領域
７４…「スライス画像作成」ボタン
７５…「ウェルに設定する焦点位置」スライダー
７６…「設定」ボタン

Claims (5)

  1. 　ホログラフィック顕微鏡を利用した細胞観察装置であって、
    　a)光源部と、
    　b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
    　c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
    　d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
    　e)ユーザにより指定された特定の一若しくは複数の測定位置又は範囲において得られたホログラムデータに基づいて、複数の焦点位置における部分位相画像及び／又は部分強度画像をそれぞれ作成する再構成画像作成部と、
    　f)前記再構成画像作成部で作成された複数の焦点位置における部分位相画像及び／又は部分強度画像を同時に又は切替え可能に表示部に表示する表示処理部と、
    　g)前記表示処理部より部分位相画像及び／又は部分強度画像が表示された状態であるときに、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像及び／又は強度画像を作成する際の合焦状態の焦点位置として記憶部に記憶させる焦点位置設定部と、
    　を備えることを特徴とする細胞観察装置。
  2. 　請求項１に記載の細胞観察装置であって、
    　前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
    　前記第２再構成画像作成部により作成される部分位相画像及び／又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
    　をさらに備えることを特徴とする細胞観察装置。
  3. 　請求項１に記載の細胞観察装置であり、複数の凹部が形成された培養プレートを使用し該プレートの各凹部内で培養中である細胞を観察するための細胞観察装置であって、
    　前記焦点位置設定部は、ユーザの操作を受けて、そのときに表示している部分位相画像及び／又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む凹部における位相画像及び／又は強度画像を作成するための焦点位置として記憶部に記憶させるものであり、且つ、前記複数の凹部のそれぞれについて独立に凹部における位相画像及び／又は強度画像を作成するための焦点位置を記憶させることを特徴とする細胞観察装置。
  4. 　請求項３に記載の細胞観察装置であって、
    　前記焦点位置設定部は、複数の凹部のそれぞれについて設定されている焦点位置の情報を表示部の画面上に表示するとともに、その表示上でユーザによる焦点位置の値の編集を受け付ける焦点位置編集部を含むことを特徴とする細胞観察装置。
  5. 　一又は複数の容器内で培養中である細胞を観察するための、ホログラフィック顕微鏡を利用した細胞観察装置であって、
    　a)コヒーレント光を出射する光源部と、
    　b)細胞を含む前記一又は複数の容器である試料に前記光源部からの出射光を照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
    　c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
    　d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
    　e)前記一又は複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する高さ計測部と、
    　f)該高さ計測部で計測された相対的な高さに基づいて前記容器毎に焦点位置を設定する焦点位置設定部と、
    　g)前記測定制御部による制御の下で、前記試料上の所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて、前記容器に対応する領域毎に前記焦点位置設定部で設定された焦点位置における位相情報及び／又は強度情報を算出するとともに、該位相情報の２次元分布を示す位相画像及び／又は該強度情報の２次元分布を示す強度画像を作成する再構成画像作成部と、
    　を備えることを特徴とする細胞観察装置。
PCT/JP2018/011005 2018-03-20 2018-03-20 細胞観察装置 WO2019180810A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020507161A JP6950813B2 (ja) 2018-03-20 2018-03-20 細胞観察装置
PCT/JP2018/011005 WO2019180810A1 (ja) 2018-03-20 2018-03-20 細胞観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011005 WO2019180810A1 (ja) 2018-03-20 2018-03-20 細胞観察装置

Publications (1)

Publication Number Publication Date
WO2019180810A1 true WO2019180810A1 (ja) 2019-09-26

Family

ID=67986841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011005 WO2019180810A1 (ja) 2018-03-20 2018-03-20 細胞観察装置

Country Status (2)

Country Link
JP (1) JP6950813B2 (ja)
WO (1) WO2019180810A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261158A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
WO2021261150A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
WO2023223538A1 (ja) * 2022-05-20 2023-11-23 株式会社日立製作所 顕微鏡システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009521216A (ja) * 2005-12-22 2009-06-04 フェイズ ホログラフィック イメージング ペーハーイー アーベー 細胞サンプル分析のための方法と装置
JP2010072017A (ja) * 2008-09-16 2010-04-02 Yokogawa Electric Corp オートフォーカス装置
JP2011170212A (ja) * 2010-02-22 2011-09-01 Nikon Corp 非線形顕微鏡
JP2011525252A (ja) * 2008-06-19 2011-09-15 フェイズ ホログラフィック イメージング ペーホーイー アーベー 透明な生体の分析
WO2012005315A1 (ja) * 2010-07-07 2012-01-12 兵庫県 ホログラフィック顕微鏡、微小被写体のホログラム画像記録方法、高分解能画像再生用ホログラム作成方法、および画像再生方法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
WO2016163560A1 (ja) * 2015-04-09 2016-10-13 国立大学法人神戸大学 ディジタルホログラフィック顕微鏡
WO2017203718A1 (ja) * 2016-05-27 2017-11-30 株式会社島津製作所 ホログラフィ観察方法及び装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009521216A (ja) * 2005-12-22 2009-06-04 フェイズ ホログラフィック イメージング ペーハーイー アーベー 細胞サンプル分析のための方法と装置
JP2011525252A (ja) * 2008-06-19 2011-09-15 フェイズ ホログラフィック イメージング ペーホーイー アーベー 透明な生体の分析
JP2010072017A (ja) * 2008-09-16 2010-04-02 Yokogawa Electric Corp オートフォーカス装置
JP2011170212A (ja) * 2010-02-22 2011-09-01 Nikon Corp 非線形顕微鏡
WO2012005315A1 (ja) * 2010-07-07 2012-01-12 兵庫県 ホログラフィック顕微鏡、微小被写体のホログラム画像記録方法、高分解能画像再生用ホログラム作成方法、および画像再生方法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
WO2016163560A1 (ja) * 2015-04-09 2016-10-13 国立大学法人神戸大学 ディジタルホログラフィック顕微鏡
WO2017203718A1 (ja) * 2016-05-27 2017-11-30 株式会社島津製作所 ホログラフィ観察方法及び装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261158A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
WO2021261150A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
JP7364796B2 (ja) 2020-06-25 2023-10-18 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
JP7397196B2 (ja) 2020-06-25 2023-12-12 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
WO2023223538A1 (ja) * 2022-05-20 2023-11-23 株式会社日立製作所 顕微鏡システム

Also Published As

Publication number Publication date
JPWO2019180810A1 (ja) 2020-12-03
JP6950813B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
Fan et al. Smart computational light microscopes (SCLMs) of smart computational imaging laboratory (SCILab)
CA2687763C (en) Three dimensional imaging
CN110214290B (zh) 显微光谱测量方法和系统
JP6860064B2 (ja) 細胞観察装置
US11808929B2 (en) Quantitative phase image generating method, quantitative phase image generating device, and program
CN107003229B (zh) 包括全息确定生物粒子的位置的分析方法及相应的设备
WO2019180810A1 (ja) 細胞観察装置
CN106441157A (zh) 一种复杂形貌快速测量方法
JP2015507262A (ja) マシンビジョンシステムにおいて複数の照明設定を使用する合焦点動作
JP2012132910A (ja) 構造化照明を用いるエッジ検出
CN111912835B (zh) 一种具备烧蚀量测量功能的libs装置及方法
CN106595515A (zh) 一种白光干涉及激光扫描结合的形貌测量装置
Sioma 3D imaging methods in quality inspection systems
CN107121065A (zh) 一种便携式相位定量检测装置
JP2015230393A (ja) 撮像装置の制御方法および撮像システム
JP6760477B2 (ja) 細胞観察装置
CN106767500A (zh) 用于形貌测量的光路系统
CN114371549B (zh) 一种基于多焦复用透镜的定量相位成像方法及系统
US20160363755A1 (en) System and method for autofocusing of an imaging system
WO2019180808A1 (ja) 細胞観察装置
CN112630232B (zh) 差动共焦定面干涉靶丸内、外表面缺陷检测方法与装置
US11385164B2 (en) Method for calibrating an analysis device, and associated device
US20230274441A1 (en) Analysis method and analysis apparatus
JP6969655B2 (ja) 定量位相画像生成装置
JP2007163455A (ja) レンズ評価装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910490

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507161

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18910490

Country of ref document: EP

Kind code of ref document: A1