WO2015151616A1 - 細胞撮像制御装置および方法並びにプログラム - Google Patents

細胞撮像制御装置および方法並びにプログラム Download PDF

Info

Publication number
WO2015151616A1
WO2015151616A1 PCT/JP2015/054412 JP2015054412W WO2015151616A1 WO 2015151616 A1 WO2015151616 A1 WO 2015151616A1 JP 2015054412 W JP2015054412 W JP 2015054412W WO 2015151616 A1 WO2015151616 A1 WO 2015151616A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
autofocus
image
evaluation value
cells
Prior art date
Application number
PCT/JP2015/054412
Other languages
English (en)
French (fr)
Inventor
尭之 辻本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2015151616A1 publication Critical patent/WO2015151616A1/ja
Priority to US15/271,634 priority Critical patent/US10330907B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell imaging control apparatus, method, and program for performing autofocus control in an imaging apparatus that images non-stained cells and has an autofocus function.
  • pluripotent stem cells such as ES cells, iPS cells, and STAP cells, differentiation-induced cells, etc. are imaged over time, and the quality of the cell culture state is judged by capturing changes over time of the images.
  • a way to do it has been proposed.
  • a microscope is used as an apparatus for imaging a cell.
  • autofocus control is performed, whereby an image of a cell with an optimal focus position is obtained. Is imaged.
  • Patent Document 1 to Patent Document 4 As a general autofocus method, in Patent Document 1 to Patent Document 4, an AF evaluation value is calculated from the contrast of the entire acquired image, and a focus position at which the AF evaluation value is maximized is selected. There has been proposed a method for obtaining an image without any problem.
  • Patent Document 5 a cell image obtained by photographing cells is divided into regions, an AF evaluation value is calculated for each region based on contrast, a focus position at which the AF evaluation value is maximized is selected, and the selected focus is selected.
  • a method of acquiring a blur-free cell image by synthesizing images of respective regions of positions There has been proposed a method of acquiring a blur-free cell image by synthesizing images of respective regions of positions.
  • Patent Document 6 proposes to adjust the focus position so that the outline of the cell is emphasized in order to observe individual cells more clearly.
  • the focus position can be controlled so that a structure such as a nucleus or a nucleolus in the cell can be clearly observed. Not necessarily.
  • Patent Document 7 in order to prevent the focus position from being controlled by dead cells and dust as described above, high-luminance pixels representing dead cells and dust are displayed based on the density histogram of the cell image. It has been proposed to search the focus position by excluding the range from the focus search range and limiting the range to the luminance range of the live cell image.
  • Patent Document 7 is a focus control method for capturing a fluorescent image of a cell stained with a fluorescent substance. Basically, as in Patent Document 1 to Patent Document 5, the entire cell image is processed. This is autofocus control based on contrast.
  • the present invention can capture a cell image in which a focus position is aligned with a cell to be observed without being affected by suspended matter such as dead cells or dust, or the height of the cell itself. It is an object of the present invention to provide a cell imaging control apparatus, method, and program.
  • the cell imaging control device of the present invention acquires a cell image obtained by photographing transmitted or reflected light of a cell by irradiating light to a non-stained cell, and detects a cell or a structure in the cell in the cell image.
  • Autofocus control based on the autofocus evaluation value for the cell detection unit and the imaging device that captures the cell image by calculating the autofocus evaluation value based on the image information of the cell or structure detected by the cell detection unit
  • an auto-focus control unit that outputs a signal.
  • a contrast information acquisition unit that acquires contrast information of a cell image
  • the autofocus control unit is a cell imaged by the imaging device by autofocus control using an autofocus control signal.
  • an autofocus evaluation value based on cell or structure image information and an autofocus evaluation value based on contrast information are respectively calculated.
  • the autofocus evaluation value based on contrast information is maximized, and the cell or structure
  • a control signal for returning the focus position to the origin position at the start of autofocus control can be output to the imaging apparatus.
  • the autofocus control unit can perform autofocus control within the range closer to the origin position than the focus position at which the autofocus evaluation value based on the contrast information is maximized after returning the focus position to the origin position.
  • the origin position can be set to the position of the bottom surface of the container in which the cells are cultured or the position of the installation surface where the cells are installed.
  • the autofocus control unit can acquire the number or area of the cells or structures based on the image information of the cells or structures, and can calculate the autofocus evaluation value based on the number or areas.
  • the autofocus control unit can change the movable range of the focus position.
  • the autofocus control unit can change the movable range of the focus position based on information on the size of the cell or structure.
  • nucleolus or nucleus of the cell can be used as the structure.
  • stem cells As the cells, stem cells, cells collected at the time of medicinal examination, or cells collected at the time of biopsy can be used.
  • the cell imaging control method of the present invention acquires a cell image obtained by photographing transmitted or reflected light of a cell by irradiation of light to an unstained cell, and detects a cell or a structure in the cell in the cell image. Calculating an autofocus evaluation value based on the image information of the detected cell or structure, and outputting an autofocus control signal based on the autofocus evaluation value to an imaging device that captures a cell image. To do.
  • the cell imaging control program of the present invention acquires a cell image obtained by photographing a transmitted light or reflected light of a cell by irradiating light to a non-stained cell, and a cell or a structure in the cell in the cell image
  • a cell detection unit for detecting a cell and an autofocus evaluation value based on image information of a cell or a structure detected by the cell detection unit, and based on the autofocus evaluation value for an imaging device that captures a cell image It is made to function as an autofocus control part which outputs an autofocus control signal.
  • a cell image obtained by photographing transmitted light or reflected light of a non-stained cell is obtained, and a cell or a structure in the cell is detected in the cell image, An autofocus evaluation value is calculated based on the detected image information of the cell or structure, and an autofocus control signal based on the autofocus evaluation value is output to the imaging device. Focus control centering on the can be performed. This makes it possible to capture a cell image in which the focus position is aligned with the cell to be observed without being affected by suspended matter such as dead cells or dust, or the height of the cell itself.
  • the figure which shows schematic structure of the phase-contrast microscope which has an autofocus function Diagram for explaining the algorithm of autofocus control Image diagram showing movement of focus position by autofocus control The flowchart for demonstrating the effect
  • Diagram for explaining suspended matter in culture medium The figure which shows the modification of the cell culture observation system shown in FIG. Flowchart for explaining the operation of the cell culture observation system shown in FIG.
  • FIG. 1 is a block diagram showing a schematic configuration of a cell culture observation system.
  • the cell culture observation system includes a cell culture device 1, a cell imaging control device 2, a phase contrast microscope 3, a display 4, and an input device 5.
  • the cell culture device 1 is a device for culturing cells.
  • Examples of cells to be cultured include stem cells such as iPS cells, ES cells, and STAP cells, cells such as nerves, skin, and liver that are induced to differentiate from stem cells, and cancer cells.
  • inspection may be sufficient, and the cell extract
  • the cell culture device 1 includes a stage 10, a transport unit 11, and a control unit 12.
  • Stage 10 is where a culture vessel that is an imaging target of cell imaging control device 2 is installed.
  • the culture container include a dish, a plate, and a flask.
  • the transport unit 11 selects a culture container to be imaged from among a plurality of culture containers accommodated at a predetermined position in the cell culture apparatus 1, and transports the selected culture container to the stage 10.
  • the control unit 12 controls the entire cell culture device 1.
  • the control unit 12 controls environmental conditions such as temperature, humidity, and CO 2 concentration in the cell culture device 1 in addition to the operations of the stage 10 and the transport unit 11 described above.
  • the temperature, the configuration for adjusting the humidity and CO 2 concentration can be a known configuration.
  • the phase-contrast microscope 3 corresponds to an imaging device and takes a phase image of cells in a culture vessel installed on the stage 10.
  • the phase-contrast microscope 3 of the present embodiment takes a phase image of unstained cells.
  • the phase-contrast microscope 3 of the present embodiment has an autofocus function for automatically changing the focus position, and changes the focus position based on an autofocus control signal output from an autofocus control unit 24 described later.
  • FIG. 2 is a diagram showing a schematic configuration of the phase-contrast microscope 3.
  • the phase-contrast microscope 3 has a white light source 31 that emits white light and a ring-shaped slit, and the white light emitted from the white light source 31 is incident to emit ring-shaped illumination light.
  • an objective lens that irradiates the cells in the culture vessel 15 installed on the stage 10 with the ring-shaped illumination light emitted from the slit plate 32. 33.
  • a phase difference lens 34, an imaging lens 37, and an image sensor 38 are provided on the opposite side of the stage 10 from the white light source 31.
  • the phase difference lens 34 includes an objective lens 35 and a phase plate 36.
  • the phase plate 36 is obtained by forming a phase ring on a transparent plate that is transparent with respect to the wavelength of the ring-shaped illumination light.
  • the size of the slit of the slit plate 32 described above is in a conjugate relationship with this phase ring.
  • the phase ring is a phase film that shifts the phase of incident light by a quarter wavelength, and attenuates the incident light.
  • the neutral density filter is formed in a ring shape.
  • the direct light incident on the phase difference lens 34 is collected by the objective lens 35 and passes through the phase ring, so that the phase is shifted by 1 ⁇ 4 wavelength and the brightness is weakened.
  • most of the diffracted light diffracted by the cells in the culture vessel 15 passes through the transparent plate of the phase plate, and its phase and brightness do not change.
  • the phase difference lens 34 is moved in the direction of arrow A shown in FIG. 2 by a drive mechanism (not shown), and the focus position is changed by moving the phase difference lens 34 in this way.
  • the drive mechanism moves the phase difference lens 34 based on the autofocus control signal output from the autofocus control unit 24.
  • the imaging lens 37 receives direct light and diffracted light that have passed through the phase difference lens 34 and forms an image of these lights on the image sensor 38.
  • the imaging element 38 captures a phase image of the cell by photoelectrically converting the image formed by the imaging lens 37.
  • a charge-coupled device (CCD) image sensor, a complementary metal-oxide semiconductor (CMOS) image sensor, or the like is used as the image sensor 38.
  • the phase contrast microscope 3 is used as the imaging device.
  • the present invention is not limited to this, and other microscopes having an autofocus function for photographing the transmitted light or reflected light of the cells are used. May be.
  • a differential interference microscope, a bright field microscope, a dark field microscope, or the like may be used.
  • the cell imaging control device 2 includes a cell image acquisition unit 21, a cell detection unit 22, and a control unit 23.
  • the control unit 23 includes an autofocus control unit 24 and a display control unit 25.
  • the cell imaging control device 2 is a computer in which an embodiment of the cell imaging control program of the present invention is installed in a computer.
  • the cell imaging control device 2 includes a central processing unit, a semiconductor memory, a hard disk, and the like, and an embodiment of a cell imaging control program is installed on the hard disk.
  • this program is executed by the central processing unit in the control unit 23, the cell image acquisition unit 21, the cell detection unit 22, the autofocus control unit 24, and the display control unit 25 as shown in FIG. 1 operate.
  • the cell imaging control program is stored in a recording medium such as a DVD or a CD-ROM, or a server computer that can be accessed from the outside connected to a network. It is read from the computer, downloaded to the computer and installed.
  • the cell image acquisition unit 21 acquires a cell image captured at the time of autofocus control in the phase-contrast microscope 3 and acquires a cell image in which the focus position is adjusted.
  • the cell detection unit 22 receives the cell image acquired by the cell image acquisition unit 21 during autofocus control, and detects a cell or a structure in the cell in the input cell image.
  • a cell detection method for example, after converting a cell image into a binarized image, filter processing is performed to detect the edges of individual cells, and pattern matching is performed on the edges. Good. Moreover, it is desirable to perform pattern recognition using machine learning at the time of pattern matching. However, it is not limited to such a method, and various known methods can be used.
  • the intracellular structure is contained in each cell, and includes, for example, a nucleus and a nucleolus.
  • the detection method of the nuclei and nucleolus may be detected by edge detection and pattern matching as in the case of cells. Further, since the nucleolus is a blacker image than the surroundings, the nucleolus may be detected from the brightness, brightness, or the like. Moreover, not only such a method but also various known methods can be used for the nucleus and nucleolus.
  • the control unit 23 controls the entire cell imaging control device 2.
  • An autofocus control unit 24 in the control unit 23 performs autofocus control of the phase microscope 3.
  • the display control unit 25 causes the display 4 to display the cell image captured by the phase contrast microscope 3.
  • the autofocus control unit 24 performs autofocus control based on the image information of the cell or structure in the cell image detected by the cell detection unit 22. Specifically, the autofocus control unit 24 of the present embodiment counts the number of nucleoli in the cell image, calculates the number as an autofocus evaluation value, and performs autofocus based on the autofocus evaluation value. Take control.
  • FIG. 3 is a diagram for explaining an algorithm of autofocus control of the autofocus control unit 24 of the present embodiment.
  • FIG. 4 is an image diagram showing movement of the focus position by autofocus control.
  • the autofocus control unit 24 first sets the position of the bottom surface of the culture vessel 15 to the origin position of the focus position, and starts autofocus control from this origin position.
  • the bottom surface of the culture vessel 15 may be automatically detected using an image captured by the phase contrast microscope 3, or may be set manually. Alternatively, it may be set in the autofocus control unit 24 in advance.
  • a mark or the like may be provided on the bottom surface, and the bottom surface may be detected by detecting the mark, or a light source is separately provided and emitted from the light source.
  • the bottom surface of the culture vessel 15 may be irradiated with light, and the position of the bottom surface may be detected based on the intensity of the reflected light. Further, other known methods may be used.
  • the position of the bottom surface of the culture vessel 15 is set to the origin position.
  • the present invention is not limited to this, and the position of the installation surface such as a scaffold on which cells are installed is set to the origin position. It may be.
  • the autofocus control unit 24 moves the focus position by a predetermined movement amount in a direction away from the position of the bottom surface of the culture vessel 15.
  • the direction away from the bottom surface of the culture vessel 15 is referred to as the upward direction
  • the direction toward the bottom surface is referred to as the downward direction.
  • the focus position is moved upward by the movement amount according to the number, The number of nucleoli in the cell image captured at the focus position is counted. Then, the focus position is moved downward again by the movement amount corresponding to the counted number, and the number of nucleoli in the cell imaged at the focus position is counted.
  • the focus position when the focus position is set to a position where the nucleolus exists, the nucleolus appears most clearly in the cell image and the number thereof increases.
  • the nucleolus When the position is away from the position where the nucleolus exists, the nucleolus does not appear in the cell image and the number thereof decreases.
  • the moving amount and moving direction of the focus position according to the number of nucleoli are preset. Specifically, as shown in FIG. 3, for example, the smaller the number of nucleoli, the greater the amount of movement of the focus position, and the greater the number of nucleoli, the smaller the amount of movement of the focus position.
  • the movement and the downward movement may be alternately repeated a predetermined number of times.
  • a movable range in which the focus position can be moved from the origin position is also set in advance, and the autofocus control unit 24 moves the focus position within the movable range.
  • the autofocus control is performed based on the number of nucleoli in the cell image.
  • the autofocus control is not performed based on the total area of each nucleolus, but the number of nucleoli. Focus control may be performed.
  • the movement amount of the focus position may be increased as the total area of each nucleolus is smaller, and the movement amount may be decreased as the total sum of the areas of each nucleolus is larger.
  • the autofocus control may be performed based on the sum of the number and area of nuclei or the sum of the number and area of cells.
  • the contrast of the images of nucleolus, nuclei, and cells may be calculated, and autofocus control may be performed based on the contrast. In this case, the movement amount of the focus position may be increased as the contrast is decreased, and the movement amount may be decreased as the contrast is increased.
  • the amount of movement of the focus position and the movable range may be changed according to information on the size of the cell and the size of the structure in the cell.
  • Information regarding the size of cells and structures may be set and input by the user using the input device 5.
  • the size itself may be set and input, or the type of cell may be set and input.
  • a table that associates information on the size of the cell or the structure with the movement amount and the movable range is set in advance for the autofocus control unit 24, and the movement amount and movement are referred to by referring to this table. What is necessary is just to change a possible range.
  • the movement amount and the movable range may be set to be larger as the cell or the structure is larger.
  • the moving amount and movable range of the focus position may be changed according to the culture conditions such as the culture medium, the scaffold or the seeding method, and the culture period from the seeding time.
  • the amount of movement or the movable range may be increased as the culture conditions increase the cell growth rate.
  • the culture period is related to the degree of cell growth, the longer the culture period, the larger the movement amount or movable range may be.
  • the culture conditions may be set and input by the user using the input device 5, and the culture period may be set and input by the user or may be measured by providing a timer or the like.
  • the input device 5 includes a mouse, a keyboard, etc., and accepts setting input by the user. Specifically, the input device 5 receives information regarding the size of the cells and the structures within the cells, the culture conditions, and the setting input of the culture period as described above.
  • the culture to be photographed is selected from the plurality of accommodated culture containers by the transport unit 11, and the selected culture container 15 is placed on the stage 10 (S10).
  • an autofocus control signal is output from the autofocus control unit 24 of the cell imaging control device 2 to the phase contrast microscope 3 (S12), and the phase contrast microscope 3 outputs a phase difference according to the input autofocus control signal.
  • the focus position is set to the bottom surface of the culture vessel 15 which is the origin (S14).
  • the phase-contrast microscope 3 sequentially captures the cell images for autofocus control while changing the focus position in accordance with the autofocus control signal from the autofocus control unit 24, and the cell images are transferred to the cell imaging controller 2. Output.
  • the cell image for autofocus control output from the phase contrast microscope 3 is acquired by the cell image acquisition unit 21 of the cell imaging control device 2 (S16) and output to the cell detection unit 22.
  • the cell detection unit 22 detects a cell or a structure inside the cell from the input cell image, and outputs the information to the autofocus control unit 24 (S18).
  • the autofocus control unit 24 counts the number of nucleoli, for example, acquires the number as an autofocus evaluation value, and sends an autofocus control signal based on the autofocus evaluation value to the phase-contrast microscope 3.
  • Auto focus control is performed by outputting and moving the focus position (S20), and an optimum focus position is found and set (S22).
  • the phase-contrast microscope 3 captures a cell image for observation with the optimum focus position set, and outputs the cell image for observation to the cell imaging control device 2.
  • the cell image for observation output from the phase-contrast microscope 3 is acquired by the cell image acquisition unit 21 (S24) and output to the display control unit 25.
  • the display control unit 25 displays the input cell image for observation on the display 4 (S26).
  • a cell image obtained by photographing transmitted light or reflected light of a non-stained cell is acquired, and a cell or a structure in the cell is detected in the cell image. Since the autofocus evaluation value is calculated based on the image information of the cell or structure and the autofocus control signal based on the autofocus evaluation value is output to the imaging device, the cell or the structure inside the cell is the center. Focus control can be performed. Therefore, it is possible to capture a cell image in which the focus position is aligned with the cell to be observed without being affected by suspended matter such as dead cells or dust, or the height of the cell itself.
  • the autofocus control is performed based on the image information of the cell or structure detected by the cell detection unit 22.
  • the focus position may be set above the surface of the culture medium (culture solution).
  • the focus position when it is determined that there is a focus position where the above-described suspended matter exists, the focus position is returned to the origin position again, the focus position is removed, and the auto Focus control may be performed.
  • a cell culture observation system that performs such autofocus control will be described below.
  • a contrast information acquisition unit 26 is further provided in the cell culture observation system of the above embodiment.
  • the contrast information acquisition unit 26 acquires overall contrast information of the cell image acquired by the cell image acquisition unit 21.
  • the contrast information may be acquired by other known calculations such as the difference between the maximum pixel value and the minimum pixel value in the cell image and the sum of the differential values.
  • the autofocus control unit 24 in the cell culture observation system shown in FIG. 7 removes the position of the surface of the medium where the suspended matter is present when the suspended matter such as dead cells or dust is present. Then perform autofocus control again.
  • the autofocus control unit 24 adds the contrast information acquired by the contrast information acquisition unit 26 together with the autofocus evaluation value based on the image information of the cell or structure for the cell image captured at each focus position. Based on the autofocus evaluation value is calculated.
  • the autofocus control unit 24 performs autofocus control again.
  • focus control is limited to a range below the focus position where the autofocus evaluation value based on the contrast information is maximum. Thereby, the focus position with respect to a living cell can be optimized.
  • the operation up to the detection of the cells or intracellular structures in S30 to S38 shown in FIG. 8 is the same as in the cell culture observation system of the above embodiment. Then, information on the cell or the structure inside the cell detected by the cell detection unit 22 is output to the autofocus control unit 24.
  • the cell image acquired by the cell image acquisition unit 21 is also output to the contrast information acquisition unit 26, and the contrast information acquisition unit 26 acquires the contrast information of the entire input cell image (S40).
  • the autofocus control unit 24 acquires, for example, the number of nucleoli as an autofocus evaluation value, and outputs an autofocus control signal based on the autofocus evaluation value to the phase-contrast microscope 3 for focusing.
  • the position is moved (S42), and the contrast information of the cell image captured at each focus position is acquired.
  • the autofocus control unit 24 searches for a focus position where the autofocus evaluation value based on the number of nucleoli is maximized, calculates an autofocus evaluation value based on contrast information, and calculates an autofocus evaluation value based on the contrast information.
  • the comparison with the autofocus evaluation value based on the number of each typeface is sequentially performed.
  • the autofocus control unit 24 determines whether or not there is a focus position at which the autofocus evaluation value based on the contrast information is maximum and the autofocus evaluation value based on the number of nucleoli is not maximum, When such a focus position exists, it is determined that there is a focus position where the focus is on a suspended matter such as a dead cell or dust (S44, NO).
  • the autofocus control unit 24 determines that there is a focus position that is in focus on a floating substance such as dead cells or dust, so that the phase contrast microscope 3 returns the focus position to the origin position.
  • a control signal is output to (S46).
  • the autofocus control unit 24 excludes the focus position in which a suspended cell such as dead cell or dust is in focus from the focus search range, and performs autofocus control again within the range closer to the origin position than the focus position.
  • the focus position optimized with respect to the cell is found and set (S50).
  • the phase-contrast microscope 3 captures a cell image for observation with the optimum focus position set, and outputs the cell image for observation to the cell imaging control device 2.
  • the cell image for observation output from the phase-contrast microscope 3 is acquired by the cell image acquisition unit 21 (S52) and output to the display control unit 25.
  • the display controller 25 displays the input cell image for observation on the display 4 (S54).
  • the autofocus evaluation value based on the image information of the cell or the structure and the autofocus evaluation value based on the contrast information are respectively calculated, and the autofocus evaluation value based on the contrast information is maximized.
  • a control signal for returning the focus position to the origin position at the start of the autofocus control is output to the imaging device. Therefore, it is possible to determine the focus position where the contrast is high due to dead cells or dust, and when such a focus position exists, the focus position can be determined by returning the focus position to the origin position. Control can be redone.
  • the autofocus control is performed again within the range closer to the origin position than the focus position at which the autofocus evaluation value based on the contrast information described above becomes the maximum, thereby reducing the influence of floating cells such as dead cells and dust. Without receiving, it is possible to capture a cell image in which the focus position is aligned with the cell to be observed.
  • the autofocus search range when the focus position returns to the origin, the autofocus search range is automatically changed.
  • the present invention is not limited to this.
  • there are floating substances such as dead cells and dust. May be displayed on the display 4 and the user may change the autofocus search range by using the input device 5 by confirming this message.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

非染色の細胞の透過光または反射光に基づく細胞画像を撮像する際、死細胞やゴミなどの浮遊物や細胞自身の高さなどの影響を受けることなく、観察対象の細胞にフォーカス位置が合った細胞画像を撮像することができる細胞撮像制御装置および方法並びにプログラムを提供する。非染色の細胞の透過光または反射光を撮影した細胞画像を取得してその細胞画像内における細胞または細胞内の構造体を検出する細胞検出部２２と、細胞検出部２２によって検出された細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、オートフォーカス機能を有する撮像装置であって細胞画像を撮像する撮像装置に対して上記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部２４とを備える。

Description

細胞撮像制御装置および方法並びにプログラム
　本発明は、非染色の細胞を撮像する撮像装置であってオートフォーカス機能を有する撮像装置におけるオートフォーカス制御を行う細胞撮像制御装置および方法並びにプログラムに関するものである。
　従来、ＥＳ細胞、ｉＰＳ細胞、ＳＴＡＰ細胞などの多能性幹細胞や、分化誘導された細胞などを経時的に撮像し、その画像の経時的な変化を捉えることで細胞の培養状態の良否判定を行う方法が提案されている。
　そして、上述したように細胞を撮像する装置として顕微鏡が用いられるが、顕微鏡で細胞の画像を撮像する際には、いわゆるオートフォーカス制御が行われ、これによりフォーカス位置が最適な状態で細胞の画像が撮像される。
　一般的なオートフォーカスの方法として、特許文献１から特許文献４においては、取得した画像全体のコントラストよりＡＦ評価値を算出し、そのＡＦ評価値が最大となるフォーカス位置を選択することで、ボケのない画像を取得する方法が提案されている。
　また、特許文献５においては、細胞を撮影した細胞画像を領域分割し、各領域についてコントラストによりＡＦ評価値を算出し、そのＡＦ評価値が最大となるフォーカス位置を選択し、その選択されたフォーカス位置の各領域の画像を合成することによって、ボケのない細胞画像を取得する方法が提案されている。
　また、特許文献６には、より明確に個々の細胞を観察するため、細胞の輪郭部分が強調されるようなフォーカス位置に合わせることが提案されている。
特許第４７９７５２２号公報 特開２００８－１１６５２６号公報 特開平６－１３８１１９号公報 特開２００８－５７６８号公報 特開２０１３－２０２１２号公報 特開２０１０－２１６９２０号公報 特開２００８－４６３０５号公報
　しかしながら、特許文献１から特許文献５に記載の方法のように、コントラストが最大となるフォーカス位置に制御して細胞の顕微鏡画像を取得した場合、たとえば培地（培養液）に死細胞やゴミなどの浮遊物が浮遊している場合には、これらの浮遊物の影響を受けて意図しないフォーカス位置に制御される場合がある。また、細胞自身の高さによってフォーカス位置の探索範囲が適切でない場合があり、このような場合にも意図しないフォーカス位置に制御される場合がある。
　また、特許文献６に記載の方法のように、細胞の輪郭を強調した撮像を行ったとしても、細胞内の核や核小体などの構造体を明確に観察できるようなフォーカス位置に制御できるとは限らない。
　また、特許文献７においては、上述したように死細胞やゴミにフォーカス位置が制御されることを防止するために、細胞画像の濃度ヒストグラムに基づいて、死細胞やゴミを表す高輝度な画素の範囲をフォーカス探索範囲から除外し、生細胞の画像の輝度範囲に限定してフォーカス位置を探索することが提案されている。
　しかしながら、特許文献７に記載の方法は、蛍光物質によって染色した細胞の蛍光画像を撮像する際におけるフォーカス制御方法であり、基本的に、特許文献１から特許文献５と同様に、細胞画像全体のコントラストに基づくオートフォーカス制御である。
　したがって、蛍光画像のようなコントラストが高い画像を撮像する際には適用可能な方法であるが、たとえば撮像対象が蛍光画像ではなく、たとえば位相差顕微鏡によって撮像される位相画像である場合、蛍光画像ほどコントラストが高くないので、特許文献７に記載のような細胞画像全体のコントラストに基づくオートフォーカス制御方法では、適切なオートフォーカス制御ができない可能性がある。
　そして、意図しないフォーカス位置に制御されて細胞画像が撮像された場合、細胞の良否判定に不適切な細胞画像が撮像されてしまう。
　本発明は、上記の問題に鑑み、死細胞やゴミなどの浮遊物や細胞自身の高さなどの影響を受けることなく、観察対象の細胞にフォーカス位置が合った細胞画像を撮像することができる細胞撮像制御装置および方法並びにプログラムを提供することを目的とする。
　本発明の細胞撮像制御装置は、非染色の細胞への光の照射による細胞の透過光または反射光を撮影した細胞画像を取得してその細胞画像内における細胞または細胞内の構造体を検出する細胞検出部と、細胞検出部によって検出された細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、細胞画像を撮像する撮像装置に対して上記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部とを備えたことを特徴とする。
　また、上記本発明の細胞撮像制御装置において、細胞画像のコントラスト情報を取得するコントラスト情報取得部をさらに設け、オートフォーカス制御部は、オートフォーカス制御信号によるオートフォーカス制御によって撮像装置により撮像された細胞画像について、細胞または構造体の画像情報に基づくオートフォーカス評価値およびコントラスト情報に基づくオートフォーカス評価値をそれぞれ算出し、この際、コントラスト情報に基づくオートフォーカス評価値が最大となり、かつ細胞または構造体の画像情報に基づくオートフォーカス評価値が最大でないフォーカス位置が存在する場合には、フォーカス位置をオートフォーカス制御開始時の原点位置に戻す制御信号を撮像装置に出力することができる。
　また、オートフォーカス制御部は、フォーカス位置を原点位置に戻した後、コントラスト情報に基づくオートフォーカス評価値が最大となるフォーカス位置よりも原点位置側の範囲内においてオートフォーカス制御を行うことができる。
　また、原点位置は、細胞が培養される容器の底面の位置または細胞が設置された設置面の位置に設定することができる。
　また、オートフォーカス制御部は、細胞または構造体の画像情報に基づいて、細胞または構造体の個数または面積を取得し、その個数または面積に基づいてオートフォーカス評価値を算出することができる。
　また、オートフォーカス制御部は、フォーカス位置の移動可能範囲を変更することができる。
　また、オートフォーカス制御部は、細胞または構造体の大きさに関する情報に基づいて、フォーカス位置の移動可能範囲を変更することができる。
　また、構造体として、細胞の核小体または核を用いることができる。
　また、細胞として、幹細胞、薬効検査の際に採取された細胞または生検の際に採取された細胞を用いることができる。
　本発明の細胞撮像制御方法は、非染色の細胞への光の照射による細胞の透過光または反射光を撮影した細胞画像を取得してその細胞画像内における細胞または細胞内の構造体を検出し、その検出した細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、細胞画像を撮像する撮像装置に対して上記オートフォーカス評価値に基づくオートフォーカス制御信号を出力することを特徴とする。
　本発明の細胞撮像制御プログラムは、コンピュータを、非染色の細胞への光の照射による細胞の透過光または反射光を撮影した細胞画像を取得してその細胞画像内における細胞または細胞内の構造体を検出する細胞検出部と、細胞検出部によって検出された細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、細胞画像を撮像する撮像装置に対して上記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部として機能させることを特徴とする。
　本発明の細胞撮像制御装置および方法並びにプログラムによれば、非染色の細胞の透過光または反射光を撮影した細胞画像を取得してその細胞画像内における細胞または細胞内の構造体を検出し、その検出した細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、そのオートフォーカス評価値に基づくオートフォーカス制御信号を撮像装置に出力するようにしたので、細胞または細胞内の構造体を中心としたフォーカス制御を行うことができる。これにより、死細胞やゴミなどの浮遊物や細胞自身の高さなどの影響を受けることなく、観察対象の細胞にフォーカス位置が合った細胞画像を撮像することができる。
　そして、これにより細胞内のミクロな構造体をより明瞭に観察することができるので、細胞の良否判定の精度を向上させることができる。
本発明の細胞撮像制御装置の一実施形態を用いた細胞培養観察システムの概略構成を示す図 オートフォーカス機能を有する位相差顕微鏡の概略構成を示す図 オートフォーカス制御のアルゴリズムを説明するための図 オートフォーカス制御によるフォーカス位置の移動を示すイメージ図 本発明の細胞撮像制御装置の一実施形態を用いた細胞培養観察システムの作用を説明するためのフローチャート 培地における浮遊物を説明するための図 図１に示す細胞培養観察システムの変形例を示す図 図７に示す細胞培養観察システムの作用を説明するためのフローチャート
　以下、本発明の細胞撮像制御装置および方法並びにプログラムの一実施形態を用いた細胞培養観察システムについて、図面を参照しながら詳細に説明する。図１は、細胞培養観察システムの概略構成を示すブロック図である。
　細胞培養観察システムは、図１に示すように、細胞培養装置１と、細胞撮像制御装置２と、位相差顕微鏡３と、ディスプレイ４と、入力装置５とを備えている。
　細胞培養装置１は、細胞の培養を行うための装置である。培養対象の細胞としては、たとえばｉＰＳ細胞、ＥＳ細胞、ＳＴＡＰ細胞といった幹細胞や、幹細胞から分化誘導された神経や皮膚や肝臓などの細胞や、がん細胞などがある。また、薬効検査の際に採取された細胞でもよいし、生検の際に採取された細胞でもよい。細胞培養装置１内には、培養対象の細胞を培地に播種した培養容器が複数収容されている。そして、細胞培養装置１は、ステージ１０と搬送部１１と制御部１２とを備えている。
　ステージ１０は、細胞撮像制御装置２の撮像対象である培養容器が設置されるものである。培養容器としては、ディッシュ、プレート、フラスコなどがある。搬送部１１は、細胞培養装置１内の所定位置に収容されている複数の培養容器の中から撮像対象の培養容器を選択し、その選択した培養容器をステージ１０まで搬送する。
　制御部１２は、細胞培養装置１全体を制御する。制御部１２は、上述したステージ１０や搬送部１１の動作以外に、細胞培養装置１内の温度、湿度およびＣＯ２濃度などの環境条件を制御する。なお、温度、湿度およびＣＯ２濃度を調整するための構成については、公知な構成を用いることができる。
　位相差顕微鏡３は、撮像装置に相当し、ステージ１０上に設置された培養容器内の細胞の位相画像を撮影する。特に、本実施形態の位相差顕微鏡３は、非染色の細胞の位相画像を撮影する。また、本実施形態の位相差顕微鏡３は、フォーカス位置を自動的に変更するオートフォーカス機能を備え、後述するオートフォーカス制御部２４から出力されたオートフォーカス制御信号に基づいてフォーカス位置を変更する。
　図２は、位相差顕微鏡３の概略構成を示す図である。位相差顕微鏡３は、図２に示すように、白色光を出射する白色光源３１と、リング形状のスリットを有し、白色光源３１から出射された白色光が入射されてリング状照明光を出射するスリット板３２と、スリット板３２から射出されたリング状照明光が入射され、その入射されたリング状照明光をステージ１０上に設置された培養容器１５内の細胞に対して照射する対物レンズ３３とを備えている。
　そして、ステージ１０に対して白色光源３１とは反対側に、位相差レンズ３４と、結像レンズ３７と、撮像素子３８とが設けられている。
　位相差レンズ３４は、対物レンズ３５と、位相板３６とを備える。位相板３６は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板３２のスリットの大きさは、この位相リングと共役な関係にある
　位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相差レンズ３４に入射された直接光は対物レンズ３５によって集光され、位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、培養容器１５内の細胞によって回折された回折光は大部分が位相板の透明板を通過し、その位相および明るさは変化しない。
　そして、位相差レンズ３４は、図示省略した駆動機構によって図２に示す矢印Ａ方向に移動するものであり、このように位相差レンズ３４が移動することによってフォーカス位置が変更される。駆動機構は、オートフォーカス制御部２４から出力されたオートフォーカス制御信号に基づいて位相差レンズ３４を移動させる。
　結像レンズ３７は、位相差レンズ３４を通過した直接光および回折光が入射され、これらの光を撮像素子３８に結像する。撮像素子３８は、結像レンズ３７によって結像された像を光電変換することによって細胞の位相画像を撮像する。撮像素子３８としては、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられる。
　なお、本実施形態においては、撮像装置として位相差顕微鏡３を用いるようにしたが、これに限らず、細胞の透過光または反射光を撮影するオートフォーカス機能を備えたその他の顕微鏡を用いるようにしてもよい。たとえば微分干渉顕微鏡、明視野顕微鏡、暗視野顕微鏡などを用いるようにしてもよい。
　図１に戻り、細胞撮像制御装置２は、細胞画像取得部２１と、細胞検出部２２と、制御部２３とを備えている。そして、制御部２３は、オートフォーカス制御部２４と表示制御部２５とを備えている。
　細胞撮像制御装置２は、コンピュータに対して本発明の細胞撮像制御プログラムの一実施形態がインストールされたものである。細胞撮像制御装置２は、中央処理装置、半導体メモリおよびハードディスクなどを備えており、ハードディスクに細胞撮像制御プログラムの一実施形態がインストールされている。そして、このプログラムが制御部２３における中央処理装置によって実行されることによって、図１に示すような細胞画像取得部２１、細胞検出部２２、オートフォーカス制御部２４および表示制御部２５が動作する。
　細胞撮像制御プログラムは、ＤＶＤ，ＣＤ－ＲＯＭ等の記録媒体や、ネットワークに接続された外部からアクセス可能なサーバコンピュータなどに記憶されるものであり、ユーザの要求に応じて、上記記録媒体やサーバコンピュータから読み出されてコンピュータにダウンロードされてインストールされる。
　細胞画像取得部２１は、位相差顕微鏡３におけるオートフォーカス制御の際に撮像された細胞画像を取得するとともに、フォーカス位置が調整された細胞画像を取得する。
　細胞検出部２２は、オートフォーカス制御の際に細胞画像取得部２１によって取得された細胞画像が入力され、その入力された細胞画像内における細胞または細胞内の構造体を検出する。
　細胞の検出方法としては、たとえば細胞画像を２値化画像に変換した後、フィルタ処理を行って個々の細胞のエッジを検出し、そのエッジに対してパターンマッチングを行って検出するようにすればよい。また、パターンマッチングの際には、機械学習を用いたパターン認識を行うことが望ましい。ただし、このような方法に限らず、種々の公知な方法を用いることができる。
　細胞内の構造体とは、個々の細胞内に含まれるものであり、たとえば核や核小体などがある。核や核小体の検出方法も、細胞の場合と同様に、エッジ検出とパターンマッチングによって検出するようにすればよい。また、核小体については、周囲よりも黒い画像となるので輝度や明度などから検出するようにしてもよい。また、核や核小体についても、このような方法に限らず、種々の公知な方法を用いることができる。
　制御部２３は、細胞撮像制御装置２全体の制御を行う。制御部２３におけるオートフォーカス制御部２４は、位相顕差顕微鏡３のオートフォーカス制御を行う。表示制御部２５は、位相差顕微鏡３によって撮像された細胞画像をディスプレイ４に表示させる。
　オートフォーカス制御部２４は、細胞検出部２２によって検出された細胞画像内における細胞または構造体の画像情報に基づいて、オートフォーカス制御を行う。具体的には、本実施形態のオートフォーカス制御部２４は、細胞画像内における核小体の個数をカウントし、その個数をオートフォーカス評価値として算出し、このオートフォーカス評価値に基づいてオートフォーカス制御を行う。
　図３は、本実施形態のオートフォーカス制御部２４のオートフォーカス制御のアルゴリズムを説明するための図である。また、図４は、オートフォーカス制御によるフォーカス位置の移動を示すイメージ図である。以下、図３および図４を参照しながら説明する。
　オートフォーカス制御部２４は、まず、最初に培養容器１５の底面の位置をフォーカス位置の原点位置に設定し、この原点位置からオートフォーカス制御を開始する。培養容器１５の底面に原点位置を設定する方法としては、位相差顕微鏡３によって撮像された画像を用いて培養容器１５の底面を自動的に検出するようにしてもよいし、手動で設定するようにしてもよいし、予めオートフォーカス制御部２４に設定するようにしてもよい。
　培養容器１５の底面の検出方法としては、たとえば底面にマークなどを設けておき、そのマークを検出することによって底面を検出するようにしてもよいし、光源を別途設け、その光源から出射された光を培養容器１５の底面に照射し、その反射光の強度に基づいて底面の位置を検出するようにしてもよい。また、その他の公知な方法を用いるようにしてもよい。
　なお、本実施形態においては、培養容器１５の底面の位置を原点位置に設定するようにしたが、これに限らず、細胞が設置された足場などの設置面の位置を原点位置に設定するようにしてもよい。
　次に、オートフォーカス制御部２４は、フォーカス位置を培養容器１５の底面の位置から離れる方向に所定の移動量だけ移動させる。なお、以下、培養容器１５の底面から離れる方向を上方、逆に底面に向かう方向を下方という。
　そして、フォーカス位置を所定の移動量だけ移動させた際に撮像された細胞画像内の核小体の個数をカウントし、その個数に応じた移動量だけ上方に向かってフォーカス位置を移動させ、そのフォーカス位置で撮像された細胞画像内の核小体の個数をカウントする。そして、再び、そのカウントされた個数に応じた移動量だけ下方に向かってフォーカス位置を移動させ、そのフォーカス位置で撮像された細胞内の核小体の個数をカウントする。
　図４に示すように、フォーカス位置が、核小体が存在している位置に設定された場合には、細胞画像内に核小体が最も明確に現れてその個数も多くなり、一方、フォーカス位置が、核小体が存在している位置から離れた場合には、細胞画像内に核小体が現れずにその個数も少なくなることになる。
　したがって、上述したように、細胞画像内の核小体の個数のカウントと、そのカウントされた個数に応じた移動量のフォーカス位置の移動を繰り返して行うことによって、細胞画像内の核小体の個数が最も多くなるフォーカス位置を最適なフォーカス位置として見つけ出す。
　核小体の個数に応じたフォーカス位置の移動量および移動方向については予め設定されているものとする。具体的には、図３に示すように、たとえば核小体の個数が少ないほどフォーカス位置の移動量を大きくし、核小体の個数が多いほどフォーカス位置の移動量を小さくし、上方への移動と下方への移動とを予め設定された回数だけ交互に繰り返すようにすればよい。また、フォーカス位置を原点位置から移動可能な移動可能範囲も予め設定されており、オートフォーカス制御部２４は、その移動可能範囲内でフォーカス位置を移動させる。
　なお、本実施形態においては、細胞画像内の核小体の個数に基づいてオートフォーカス制御を行うようにしたが、核小体の個数ではなく、各核小体の面積の総和に基づいてオートフォーカス制御するようにしてもよい。この場合、各核小体の面積の総和が小さいほどフォーカス位置の移動量を大きくし、各核小体の面積の総和が大きいほど移動量を小さくするようにすればよい。また、核小体ではなく、核の個数や面積の総和または細胞の個数や面積の総和に基づいてオートフォーカス制御を行うようにしてもよい。また、核小体や核や細胞の画像のコントラストを算出し、そのコントラストに基づいてオートフォーカス制御を行うようにしてもよい。この場合、コントラストが小さいほどフォーカス位置の移動量を大きくし、コントラストが大きいほど移動量を小さくするようにすればよい。
　また、フォーカス位置の移動量および移動可能範囲については、細胞の大きさや細胞内の構造体の大きさに関する情報に応じて変更するようにしてもよい。細胞や構造体の大きさに関する情報は、ユーザが入力装置５を用いて設定入力するようにすればよい。細胞や構造体の大きさに関する情報としては、大きさ自体を設定入力するようにしてもよいし、細胞の種類を設定入力するようにしてもよい。そして、オートフォーカス制御部２４に対して、細胞や構造体の大きさに関する情報と移動量および移動可能範囲とを対応づけたテーブルを予め設定しておき、このテーブル参照することによって移動量および移動可能範囲を変更するようにすればよい。たとえば、細胞や構造体が大きいほど移動量および移動可能範囲が大きくなるように設定するようにすればよい。
　また、さらにフォーカス位置の移動量や移動可能範囲を、培地、足場または播種方法などの培養条件や、播種時点からの培養期間に応じて変更するようにしてもよい。
　培養条件は、細胞の成長速度に関連するので、細胞の成長速度が大きくなる培養条件ほど移動量または移動可能範囲を大きくするようにすればよい。また、培養期間は、細胞の成長度に関連するので、培養期間が長いほど移動量または移動可能範囲を大きくするようにすればよい。
　培養条件については、ユーザが入力装置５を用いて設定入力するようにすればよく、培養期間については、ユーザが設定入力してもよいし、タイマなどを設けて計測するようにしてもよい。
　入力装置５は、マウスやキーボードなどを備え、ユーザによる設定入力を受け付ける。具体的には、入力装置５は、上述したような細胞や細胞内の構造体の大きさに関する情報、培養条件、培養期間の設定入力を受け付ける。
　次に、上述した細胞培養観察システムの作用について、図５に示すフローチャートを参照しながら説明する。
　まず、細胞培養装置１において、搬送部１１によって、収容されている複数の培養容器の中から撮影対象の培養が選択され、その選択された培養容器１５がステージ１０に設置される（Ｓ１０）。
　そして、細胞撮像制御装置２のオートフォーカス制御部２４から位相差顕微鏡３に対してオートフォーカス制御信号が出力され（Ｓ１２）、位相差顕微鏡３は、入力されたオートフォーカス制御信号に応じて位相差レンズ３４を移動させることによって、フォーカス位置を原点である培養容器１５の底面に設定する（Ｓ１４）。
　そして、位相差顕微鏡３は、オートフォーカス制御部２４からのオートフォーカス制御信号に応じてフォーカス位置を変更しながらオートフォーカス制御用の細胞画像を順次撮像し、その細胞画像を細胞撮像制御装置２に出力する。
　位相差顕微鏡３から出力されたオートフォーカス制御用の細胞画像は、細胞撮像制御装置２の細胞画像取得部２１によって取得され（Ｓ１６）、細胞検出部２２に出力される。細胞検出部２２は、入力された細胞画像から細胞または細胞内の構造体を検出し、その情報をオートフォーカス制御部２４に出力する（Ｓ１８）。
　オートフォーカス制御部２４は、上述したように、たとえば核小体の個数をカウントし、その個数をオートフォーカス評価値として取得し、そのオートフォーカス評価値に基づくオートフォーカス制御信号を位相差顕微鏡３に出力してフォーカス位置を移動させることによってオートフォーカス制御を行い（Ｓ２０）、最適なフォーカス位置を見つけ出して設定する（Ｓ２２）。
　そして、位相差顕微鏡３は、最適なフォーカス位置に設定された状態で観察用の細胞画像を撮像し、その観察用の細胞画像を細胞撮像制御装置２に出力する。位相差顕微鏡３から出力された観察用の細胞画像は、細胞画像取得部２１によって取得され（Ｓ２４）、表示制御部２５に出力される。表示制御部２５は、入力された観察用の細胞画像をディスプレイ４に表示させる（Ｓ２６）。
　上記実施形態の細胞培養観察システムによれば、非染色の細胞の透過光または反射光を撮影した細胞画像を取得してその細胞画像内における細胞または細胞内の構造体を検出し、その検出した細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、そのオートフォーカス評価値に基づくオートフォーカス制御信号を撮像装置に出力するようにしたので、細胞または細胞内の構造体を中心としたフォーカス制御を行うことができる。そのため、死細胞やゴミなどの浮遊物や細胞自身の高さなどの影響を受けることなく、観察対象の細胞にフォーカス位置が合った細胞画像を撮像することができる。
　また、上記実施形態の細胞培養観察システムにおいては、細胞検出部２２において検出された細胞または構造体の画像情報に基づいてオートフォーカス制御を行うようにしたが、たとえばフォーカス位置を移動させた結果、図６に示すように培地（培養液）の表面よりも上方にフォーカス位置が設定される場合がある。
　このような場合、そのまま上述したオートフォーカス制御を継続するよりも、培地の表面の位置を外して再度、オートフォーカス制御をする方がより最適なフォーカス位置に設定することができる場合がある。
　そこで、上記実施形態の細胞培養観察システムにおいて、上述したような浮遊物が存在するフォーカス位置があると判定された場合には、再び、フォーカス位置を原点位置に戻し、上記フォーカス位置を外してオートフォーカス制御を行うようにしてもよい。以下、このようなオートフォーカス制御を行う細胞培養観察システムについて説明する。
　具体的には、図７に示すように、上記実施形態の細胞培養観察システムに対してコントラスト情報取得部２６をさらに設ける。コントラスト情報取得部２６は、細胞画像取得部２１によって取得された細胞画像の全体のコントラスト情報を取得する。コントラスト情報としては、たとえば細胞画像における最大画素値と最小画素値との差や、微分値の総和などその他の公知な計算によって取得するようにすればよい。
　そして、図７に示す細胞培養観察システムにおけるオートフォーカス制御部２４は、上述したように死細胞やゴミなどの浮遊物が存在する場合には、その浮遊物が存在する培地の表面の位置を外して再度、オートフォーカス制御をする。
　具体的には、オートフォーカス制御部２４が、各フォーカス位置で撮像された細胞画像について、細胞または構造体の画像情報に基づくオートフォーカス評価値とともに、コントラスト情報取得部２６によって取得されたコントラスト情報に基づくオートフォーカス評価値を算出する。
　そして、コントラスト情報に基づくオートフォーカス評価値が最大であり、かつ、細胞または構造体の画像情報に基づくオートフォーカス評価値が最大でないフォーカス位置が存在する場合に、ゴミや死細胞などの浮遊物が存在するフォーカス位置があると判定し、フォーカス位置を原点位置に戻す制御信号を位相差顕微鏡３に出力する。
　そして、オートフォーカス制御部２４は、再度、オートフォーカス制御をやり直す。この際、コントラスト情報に基づくオートフォーカス評価値が最大となるフォーカス位置よりも下方の範囲に限定してフォーカス制御を行う。これにより生細胞に対するフォーカス位置を最適化することができる。
　次に、図７に示す細胞培養観察システムの作用について、図８に示すフローチャートを参照しながら説明する。
　図８に示すＳ３０～Ｓ３８の細胞または細胞内の構造体の検出までの作用については、上記実施形態の細胞培養観察システムと同様である。そして、細胞検出部２２によって検出された細胞または細胞内の構造体の情報はオートフォーカス制御部２４に出力される。
　一方、細胞画像取得部２１によって取得された細胞画像は、コントラスト情報取得部２６にも出力され、コントラスト情報取得部２６は、入力された細胞画像全体のコントラスト情報を取得する（Ｓ４０）。
　そして、オートフォーカス制御部２４は、上述したように、たとえば核小体の個数をオートフォーカス評価値として取得し、そのオートフォーカス評価値に基づくオートフォーカス制御信号を位相差顕微鏡３に出力してフォーカス位置を移動させるとともに（Ｓ４２）、その各フォーカス位置で撮像された細胞画像のコントラスト情報を取得する。
　オートフォーカス制御部２４は、核小体の個数に基づくオートフォーカス評価値が最大となるフォーカス位置を探索するとともに、コントラスト情報に基づくオートフォーカス評価値も算出し、このコントラスト情報に基づくオートフォーカス評価値、各書体の個数に基づくオートフォーカス評価値との比較を順次行う。
　そして、オートフォーカス制御部２４は、コントラスト情報に基づくオートフォーカス評価値が最大であり、かつ核小体の個数に基づくオートフォーカス評価値が最大でないフォーカス位置が存在するか否かを判定し、このようなフォーカス位置が存在する場合には、死細胞やゴミなどの浮遊物にフォーカスが合っているフォーカス位置が存在すると判定する（Ｓ４４，ＮＯ）。
　オートフォーカス制御部２４は、上述したように死細胞やゴミなどの浮遊物にフォーカスが合っているフォーカス位置が存在すると判定された場合には、フォーカス位置を原点位置に戻すように位相差顕微鏡３に対して制御信号を出力する（Ｓ４６）。
　次いで、オートフォーカス制御部２４は、死細胞やゴミなどの浮遊物にフォーカスが合っているフォーカス位置をフォーカス探索範囲から除外し、上記フォーカス位置よりも原点位置側の範囲内において再びオートフォーカス制御を行うことによって（Ｓ４８）、細胞に対して最適化されたフォーカス位置を見つけ出して設定する（Ｓ５０）。
　そして、位相差顕微鏡３は、最適なフォーカス位置に設定された状態で観察用の細胞画像を撮像し、その観察用の細胞画像を細胞撮像制御装置２に出力する。位相差顕微鏡３から出力された観察用の細胞画像は、細胞画像取得部２１によって取得され（Ｓ５２）、表示制御部２５に出力される。表示制御部２５は、入力された観察用の細胞画像をディスプレイ４に表示させる（Ｓ５４）。
　なお、Ｓ２４において、コントラスト情報に基づくオートフォーカス評価値が最大であり、かつ核小体の個数に基づくオートフォーカス評価値が最大でないフォーカス位置が存在しないと判定された場合には（ＹＥＳ）、そのまま核小体の個数に基づくオートフォーカス評価値によるオートフォーカス制御が継続され、細胞に対して最適化されたフォーカス位置が見つけ出される（Ｓ５０）。
　図７に示す細胞培養観察システムによれば、細胞または構造体の画像情報に基づくオートフォーカス評価値およびコントラスト情報に基づくオートフォーカス評価値をそれぞれ算出し、コントラスト情報に基づくオートフォーカス評価値が最大となり、かつ細胞または構造体の画像情報に基づくオートフォーカス評価値が最大とならないフォーカス位置が存在する場合には、フォーカス位置をオートフォーカス制御開始時の原点位置に戻す制御信号を撮像装置に出力するようにしたので、死細胞やゴミによってコントラストが高くなっているフォーカス位置を判定することができ、このようなフォーカス位置が存在する場合には、フォーカス位置の探索位置に原点位置に戻すことによって、フォーカス制御を再度やり直すことができる。
　そして、この際、上述したコントラスト情報に基づくオートフォーカス評価値が最大となるフォーカス位置よりも原点位置側の範囲内においてオートフォーカス制御を再度やり直すことによって、死細胞やゴミなどの浮遊物の影響を受けることなく、観察対象の細胞にフォーカス位置が合った細胞画像を撮像することができる。
　なお、上記実施形態においては、フォーカス位置が原点に戻った際、自動的にオートフォーカス探索範囲を変更するようにしたが、これに限らず、たとえば死細胞やゴミなどの浮遊物が存在する旨を示す警告メッセージなどを表示制御部２５がディスプレイ４に表示させ、このメッセージを確認することによってユーザが入力装置５を用いてオートフォーカス探索範囲を変更するようにしてもよい。
１　　 細胞培養装置
２　　 細胞撮像制御装置
３　　 位相差顕微鏡
４　　 ディスプレイ
５　　 入力装置
１０　 ステージ
１１　 搬送部
１２　 制御部
１５　 培養容器
２１　 細胞画像取得部
２２　 細胞検出部
２３　 制御部
２４　 オートフォーカス制御部
２５　 表示制御部
２６　 コントラスト情報取得部
３３　 対物レンズ
３４　 位相差レンズ
３５　 対物レンズ
３６　 位相板
３７　 結像レンズ
３８　 撮像素子

Claims (11)

  1. 　非染色の細胞への光の照射による前記細胞の透過光または反射光を撮影した細胞画像を取得して該細胞画像内における前記細胞または該細胞内の構造体を検出する細胞検出部と、
    　該細胞検出部によって検出された前記細胞または前記構造体の画像情報に基づいてオートフォーカス評価値を算出し、前記細胞画像を撮像する撮像装置に対して前記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部とを備えたことを特徴とする細胞撮像制御装置。
  2. 　前記細胞画像のコントラスト情報を取得するコントラスト情報取得部を備え、
    　前記オートフォーカス制御部が、前記オートフォーカス制御信号によるオートフォーカス制御によって前記撮像装置により撮像された前記細胞画像について、前記細胞または前記構造体の画像情報に基づくオートフォーカス評価値および前記コントラスト情報に基づくオートフォーカス評価値をそれぞれ算出し、前記コントラスト情報に基づくオートフォーカス評価値が最大となり、かつ前記細胞または前記構造体の画像情報に基づくオートフォーカス評価値が最大でないフォーカス位置が存在する場合には、フォーカス位置をオートフォーカス制御開始時の原点位置に戻す制御信号を前記撮像装置に出力する請求項１記載の細胞撮像制御装置。
  3. 　前記オートフォーカス制御部が、前記フォーカス位置を前記原点位置に戻した後、前記コントラスト情報に基づくオートフォーカス評価値が最大となるフォーカス位置よりも前記原点位置側の範囲内において前記オートフォーカス制御を行う請求項２記載の細胞撮像制御装置。
  4. 　前記原点位置が、前記細胞が培養される容器の底面の位置または前記細胞が設置された設置面の位置である請求項２または３記載の細胞撮像制御装置。
  5. 　前記オートフォーカス制御部が、前記細胞または前記構造体の画像情報に基づいて、前記細胞または前記構造体の個数または面積を取得し、該個数または面積に基づいて前記オートフォーカス評価値を算出する請求項１から４いずれか１項記載の細胞撮像制御装置。
  6. 　前記オートフォーカス制御部が、フォーカス位置の移動可能範囲を変更する請求項１から５いずれか１項記載の細胞撮像制御装置。
  7. 　前記オートフォーカス制御部が、前記細胞または前記構造体の大きさに関する情報に基づいて、前記フォーカス位置の移動可能範囲を変更する請求項６記載の細胞撮像制御装置。
  8. 　前記構造体が、前記細胞の核小体または核である請求項１から７いずれか１項記載の細胞撮像制御装置。
  9. 　前記細胞が、幹細胞、薬効検査の際に採取された細胞または生検の際に採取された細胞である請求項１から８いずれか１項記載の細胞観察装置。
  10. 　非染色の細胞への光の照射による前記細胞の透過光または反射光を撮影した細胞画像を取得して該細胞画像内における前記細胞または該細胞内の構造体を検出し、
    　該検出した細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、前記細胞画像を撮像する撮像装置に対して前記オートフォーカス評価値に基づくオートフォーカス制御信号を出力することを特徴とする細胞撮像制御方法。
  11. 　コンピュータを、非染色の細胞への光の照射による前記細胞の透過光または反射光を撮影した細胞画像を取得して該細胞画像内における前記細胞または該細胞内の構造体を検出する細胞検出部と、
    　該細胞検出部によって検出された細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、前記細胞画像を撮像する撮像装置に対して前記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部として機能させることを特徴とする細胞撮像制御プログラム。
PCT/JP2015/054412 2014-03-31 2015-02-18 細胞撮像制御装置および方法並びにプログラム WO2015151616A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/271,634 US10330907B2 (en) 2014-03-31 2016-09-21 Cell imaging control device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-071378 2014-03-31
JP2014071378A JP6219214B2 (ja) 2014-03-31 2014-03-31 細胞撮像制御装置および方法並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/271,634 Continuation US10330907B2 (en) 2014-03-31 2016-09-21 Cell imaging control device, method, and program

Publications (1)

Publication Number Publication Date
WO2015151616A1 true WO2015151616A1 (ja) 2015-10-08

Family

ID=54239954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/054412 WO2015151616A1 (ja) 2014-03-31 2015-02-18 細胞撮像制御装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US10330907B2 (ja)
JP (1) JP6219214B2 (ja)
WO (1) WO2015151616A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6889723B2 (ja) * 2015-12-23 2021-06-18 上海吉倍生物技術有限公司Ｓｈａｎｇｈａｉ ＧｅｎＢａｓｅ Ｂｉｏｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 細胞培養装置
CN107205113B (zh) * 2016-03-18 2020-10-16 松下知识产权经营株式会社 图像生成装置、图像生成方法及计算机可读存储介质
JP2017225354A (ja) * 2016-06-20 2017-12-28 東洋製罐グループホールディングス株式会社 培養細胞の撮像方法及び装置
AU2017287141B2 (en) * 2016-07-01 2020-06-18 Sony Corporation Image acquisition method, image acquisition device, program and culture container
JP6704049B2 (ja) 2016-07-11 2020-06-03 オリンパス株式会社 観察装置および標本観察方法
JP6667419B2 (ja) 2016-11-09 2020-03-18 富士フイルム株式会社 撮像装置および方法並びに撮像制御プログラム
DE102017111718A1 (de) 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
JP2019070751A (ja) 2017-10-10 2019-05-09 オリンパス株式会社 観察装置および焦点調節方法
WO2019225177A1 (ja) * 2018-05-25 2019-11-28 ソニー株式会社 制御装置、制御方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189850A (ja) * 1996-01-09 1997-07-22 Olympus Optical Co Ltd オートフォーカス顕微鏡
JP2008020498A (ja) * 2006-07-10 2008-01-31 Olympus Corp 自動焦点検出装置
JP2008046305A (ja) * 2006-08-14 2008-02-28 Olympus Corp 自動合焦装置、顕微鏡および自動合焦方法
JP2012042668A (ja) * 2010-08-18 2012-03-01 Sony Corp 顕微鏡制御装置及び領域判定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06138119A (ja) 1992-04-08 1994-05-20 Kagaku Gijutsucho Hoshasen Igaku Sogo Kenkyusho 細胞自動分類・分析装置
MX9606683A (es) 1994-07-01 1997-12-31 Jeffrey H Price Sistema de enfoque automatico para microscopia de exploracion.
JP4797522B2 (ja) 2005-09-08 2011-10-19 カシオ計算機株式会社 撮像装置及びそのプログラム
JP5040191B2 (ja) 2006-06-29 2012-10-03 富士通株式会社 マイクロインジェクション装置及び自動焦点調整方法
JP2008116526A (ja) 2006-11-01 2008-05-22 Matsushita Electric Ind Co Ltd 顕微鏡画像の処理装置及び処理方法
US8016090B2 (en) * 2008-07-25 2011-09-13 Target Brands, Inc. Collapsible container
JP5430188B2 (ja) 2009-03-16 2014-02-26 オリンパス株式会社 細胞画像解析装置及び細胞の画像を撮像する方法
US8385624B2 (en) * 2009-05-13 2013-02-26 David J. Charlot Automated transient image cytometry
WO2011132586A1 (ja) * 2010-04-23 2011-10-27 浜松ホトニクス株式会社 細胞観察装置および細胞観察方法
JP5780865B2 (ja) 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images
KR20140010553A (ko) * 2012-07-13 2014-01-27 삼성전자주식회사 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법
TW201514599A (zh) * 2013-10-07 2015-04-16 Novatek Microelectronics Corp 影像感測器及影像擷取系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189850A (ja) * 1996-01-09 1997-07-22 Olympus Optical Co Ltd オートフォーカス顕微鏡
JP2008020498A (ja) * 2006-07-10 2008-01-31 Olympus Corp 自動焦点検出装置
JP2008046305A (ja) * 2006-08-14 2008-02-28 Olympus Corp 自動合焦装置、顕微鏡および自動合焦方法
JP2012042668A (ja) * 2010-08-18 2012-03-01 Sony Corp 顕微鏡制御装置及び領域判定方法

Also Published As

Publication number Publication date
US10330907B2 (en) 2019-06-25
US20170010455A1 (en) 2017-01-12
JP6219214B2 (ja) 2017-10-25
JP2015194544A (ja) 2015-11-05

Similar Documents

Publication Publication Date Title
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
US10416433B2 (en) Cell image acquisition device, method, and program
JP6461128B2 (ja) 細胞評価装置および方法並びにプログラム
WO2015182396A1 (ja) 細胞評価装置および方法並びにプログラム
JP6173950B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP4663602B2 (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP6143365B2 (ja) 細胞画像評価装置および方法並びにプログラム
WO2017145487A1 (ja) 顕微鏡および観察方法
JP2018000102A (ja) 撮影装置および方法並びに撮影制御プログラム
KR102149625B1 (ko) 촬영 화상 평가 장치 및 방법과, 프로그램
JP6667419B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2010216920A (ja) 細胞画像解析装置
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6499506B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP6785947B2 (ja) 細胞画像評価装置および方法並びにプログラム
WO2018061635A1 (ja) 観察装置および方法並びに観察装置制御プログラム
KR20180104041A (ko) 세포 관찰 장치 및 방법
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
WO2019225325A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP2016099486A (ja) 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム
JP6406008B2 (ja) 光学観察装置
JP2020202748A (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP2018157830A (ja) 細胞画像取得装置および方法並びにプログラム
JP2018139000A (ja) 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15773115

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase
122 Ep: pct application non-entry in european phase

Ref document number: 15773115

Country of ref document: EP

Kind code of ref document: A1