WO2023195491A1 - 撮像システム及び培養条件調整方法 - Google Patents

撮像システム及び培養条件調整方法 Download PDF

Info

Publication number
WO2023195491A1
WO2023195491A1 PCT/JP2023/014106 JP2023014106W WO2023195491A1 WO 2023195491 A1 WO2023195491 A1 WO 2023195491A1 JP 2023014106 W JP2023014106 W JP 2023014106W WO 2023195491 A1 WO2023195491 A1 WO 2023195491A1
Authority
WO
WIPO (PCT)
Prior art keywords
culture
image
imaging
cells
imaging system
Prior art date
Application number
PCT/JP2023/014106
Other languages
English (en)
French (fr)
Inventor
拓明 山本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023195491A1 publication Critical patent/WO2023195491A1/ja

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods

Definitions

  • the technology of the present disclosure relates to an imaging system and a culture condition adjustment method.
  • So-called lens-free digital holography which eliminates optical components, is known in order to miniaturize devices that image small observation objects such as cells.
  • digital holography an object to be observed is imaged using a light source that emits coherent light such as a laser beam, and an interference fringe image including the interference fringe image obtained by the imaging is reconstructed. A reconstructed image can be generated.
  • In-line sensing is also known, which makes it possible to monitor the cell culture state in real time by imaging the microchannel while flowing a sample containing cells from a culture tank or the like into the microchannel (for example, (Refer to Japanese Unexamined Patent Publication No. 2015-029461).
  • the technology of the present disclosure aims to provide an imaging system and a culture condition adjustment method that make it possible to reduce the burden on operators during cell culture.
  • the imaging system of the present disclosure includes an imaging device that images a flow path through which a sample containing cells supplied from a culture tank flows, and a flow path that captures images of the flow path based on image information obtained by the imaging device. and a processor that determines the culture state of the cells flowing through the cell and adjusts the culture conditions of the culture tank based on the determination result.
  • the imaging device preferably includes a light source that irradiates light toward the flow channel, and an imaging sensor that generates an interference fringe image including interference fringes as image information by capturing an image of the light that has passed through the flow channel.
  • the processor generates a reconstructed image including an amplitude image and a phase difference image by reconstructing the interference fringe image, and determines the culture state based on the generated reconstructed image.
  • the processor determines the culture state based on cell morphology information obtained based on the amplitude image and cell phase difference information obtained based on the phase difference image.
  • the processor determines the other of the cell thickness and refractive index based on the phase difference information.
  • the imaging device is a phase contrast microscope and generates a phase contrast image as image information.
  • the processor determines the culture state based on a plurality of pieces of image information obtained by the imaging device at different times.
  • the culture conditions include at least one of the culture medium components, oxygen concentration, temperature, pH, and cell number of the culture tank.
  • the processor preferably performs control to notify that there is an abnormality when the number or proportion of dead cells or unintended cells contained in the sample flowing through the flow path is equal to or higher than a reference value.
  • the processor acquires monitoring information regarding the culture state and determines the culture state based on the image information and the monitoring information.
  • the monitoring information includes at least one of the temperature, pH, oxygen concentration, and cell number of the culture tank.
  • the culture condition adjustment method of the present disclosure includes imaging a channel through which a sample containing cells supplied from a culture tank flows, and determining the culture state of cells flowing through the channel based on image information obtained by imaging. , adjusting the culture conditions of the culture tank based on the determination result.
  • FIG. 1 is a diagram showing an example of the configuration of a cell culture system according to an embodiment. It is a figure showing an example of composition of a cell culture device.
  • FIG. 3 is a diagram showing how interference fringes are generated by cells. It is a figure showing an example of an interference fringe image.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an information processing device.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of an information processing device. It is a figure which shows an example of the determination process of a culture state.
  • FIG. 2 is a diagram conceptually showing an example of a two-dimensional map used for determining the culture state.
  • 3 is a flowchart illustrating an example of the flow of operation of the imaging system.
  • FIG. 1 shows an example of the configuration of a cell culture system 2 according to an embodiment.
  • the cell culture system 2 includes a cell culture device 3, an imaging system 4, and a recovery tank 5.
  • the imaging system 4 includes a light source 6, an imaging sensor 7, and an information processing device 8.
  • the information processing device 8 is, for example, a personal computer. Note that the light source 6 and the image sensor 7 are an example of an "imaging device" according to the technology of the present disclosure.
  • the light source 6 is, for example, a laser diode. Note that the light source 6 may be configured by combining a light emitting diode and a pinhole.
  • a microchannel 9 is arranged between the light source 6 and the image sensor 7.
  • the microchannel 9 is formed in a channel unit made of silicone resin, for example, and is a channel through which a liquid can flow.
  • the channel unit has translucency, and it is possible to irradiate light into the microchannel 9 from outside the channel unit.
  • the microchannel 9 is provided with an opening 9A for introducing a sample 12, which is a solution containing cells 10, and an opening 9B for discharging the sample 12 introduced into the microchannel 9.
  • the microchannel 9 is an example of a "channel" according to the technology of the present disclosure.
  • the sample 12 is introduced from the cell culture device 3 into the opening 9A of the microchannel 9, flows through the microchannel 9 at a constant speed, and is discharged from the opening 9B.
  • the sample 12 discharged from the opening 9B is collected by the collection tank 5.
  • the light source 6, the image sensor 7, and the microchannel 9 are arranged, for example, in an incubator (not shown).
  • the imaging system 4 uses, for example, one or more cells 10 included in the sample 12 as an imaging target, and images the light emitted from the light source 6 and passed through the microchannel 9 using the imaging sensor 7 .
  • the light source 6 irradiates irradiation light 6A toward the microchannel 9.
  • the irradiation light 6A is coherent light, for example, a laser beam.
  • the irradiation light 6A enters the microchannel 9, passes through the microchannel 9, and then enters the imaging surface 7A of the imaging sensor 7.
  • the Z direction indicated by the arrow is the irradiation direction of the irradiation light 6A.
  • the microchannel 9 is arranged so that the direction in which the sample 12 flows is substantially perpendicular to the Z direction.
  • the shape of the microchannel 9 and the number of openings 9A and 9B can be changed as appropriate.
  • the number of microchannels 9 arranged between the light source 6 and the image sensor 7 is not limited to one, and may be two or more. In this embodiment, it is assumed that one microchannel 9 is arranged between the light source 6 and the image sensor 7.
  • the image sensor 7 is configured by, for example, a monochrome CMOS (Complementary Metal Oxide Semiconductor) type image sensor.
  • the imaging operation of the imaging sensor 7 is controlled by the information processing device 8.
  • the imaging sensor 7 is arranged such that the imaging surface 7A is orthogonal to the Z direction. Note that the imaging surface 7A may be in contact with a channel unit in which the microchannel 9 is formed.
  • the irradiated light 6A is incident on the sample 12 in the microchannel 9, and the irradiated light 6A is diffracted by the cells 10, thereby producing interference fringes that reflect the shape of the cells 10.
  • the image sensor 7 generates an interference fringe image FP including interference fringes and outputs it to the information processing device 8 .
  • the interference fringe image FP is an example of "image information" according to the technology of the present disclosure.
  • the information processing device 8 performs imaging control, generation of a reconstructed image based on the interference fringe image FP, determination of the culture state of the cells 10, control of the cell culture device 3 based on the determination result, etc.
  • FIG. 2 shows an example of the configuration of the cell culture device 3.
  • the cell culture device 3 includes a culture tank 20, a suction pump P1, a suction pipe 21, a transfer pipe 22, a stirring device 23, an aeration device 24, a temperature adjustment device 25, a culture medium tank 26, a culture medium pump P2, a solution tank 27, and a solution pump P3. , and a controller 28.
  • the controller 28 controls the suction pump P1, the stirring device 23, the aeration device 24, the temperature adjustment device 25, and the solution pump P3.
  • the controller 28 is controlled by the information processing device 8.
  • the culture tank 20 is a tank for culturing the cells 10, and contains a sample 12 containing the cells 10.
  • One end of the suction tube 21 is inserted into the culture tank 20, and the other end is connected to the suction pump P1.
  • the suction pump P1 suctions the sample 12 from a suction port 21A provided at one end of the suction tube 21.
  • One end of the transfer pipe 22 is connected to the suction pump P1, and the other end is connected to the opening 9A of the microchannel 9.
  • the transfer pipe 22 is a pipe for transferring the sample 12 sucked by the suction pump P1 and introducing it into the microchannel 9.
  • the stirring device 23 stirs the sample 12 in the culture tank 20 by rotating a stirring blade.
  • the aeration device 24 aerates the sample 12 in the culture tank 20 with air, oxygen, nitrogen, carbon dioxide, etc.
  • the temperature adjustment device 25 adjusts the temperature of the sample 12 in the culture tank 20.
  • the culture medium tank 26 is a tank for storing a liquid culture medium.
  • the culture medium pump P2 sends the culture medium in the culture medium tank 26 to the culture tank 20.
  • the amount of liquid fed by the culture medium pump P2 is controlled by the controller 28 according to the concentration of the culture medium components in the culture medium tank 26, etc.
  • a plurality of culture medium tanks 26 are connected to culture medium pump P2.
  • the solution tank 27 is a tank for storing an alkaline solution.
  • Solution pump P3 sends the alkaline solution in solution tank 27 to culture tank 20.
  • the pH of the sample 12 is controlled within a predetermined range by adding an alkaline solution, aerating carbon dioxide, and the like.
  • various sensors are provided to monitor the culture environment in the culture tank 20 and the culture state of the cells 10.
  • the culture tank 20 is provided with various sensors such as a temperature sensor such as a thermocouple, a dissolved oxygen sensor, a carbon dioxide sensor, a pH sensor, and a cell counter.
  • FIG. 3 shows how interference fringes are generated by the cells 10 contained in the sample 12 flowing through the microchannel 9.
  • a portion of the irradiated light 6A entering the microchannel 9 is diffracted by the cells 10. That is, the irradiated light 6A is divided into diffracted light 30 that is diffracted by the cells 10 and transmitted light 31 that is not diffracted by the cells 10 and passes through the microchannel 9.
  • the transmitted light 31 is a plane wave.
  • the diffracted light 30 and the transmitted light 31 pass through the microchannel 9 and enter the imaging surface 7A of the imaging sensor 7.
  • the diffracted light 30 and the transmitted light 31 generate interference fringes 33 by interfering with each other.
  • the interference fringes 33 are composed of a bright part 36 and a dark part 38.
  • the interference fringes 33 are illustrated with the bright portions 36 and dark portions 38 each being circular, but the shape of the interference fringes 33 changes depending on the shape and internal structure of the cells 10.
  • the image sensor 7 captures an optical image including the interference fringes 33 formed on the imaging surface 7A, and outputs an interference fringe image FP including the interference fringes 33.
  • FIG. 4 shows an example of an interference fringe image FP output from the image sensor 7.
  • the interference fringe image FP shown in FIG. 4 includes one interference fringe 33 that is generated when the irradiation light 6A is diffracted by one cell 10 included in the imaging region of the imaging sensor 7.
  • FIG. 5 shows an example of the hardware configuration of the information processing device 8.
  • the information processing device 8 includes a CPU (Central Processing Unit) 40, a storage device 41, and a communication section 42, which are interconnected via a bus line 43. Further, a display 44 and an input device 45 are connected to the bus line 43.
  • the input device 45 is a keyboard, mouse, touch panel, etc., and is operated by the user when inputting information.
  • the CPU 40 is an arithmetic device that realizes various functions by reading out the operating program 41A and various data (not shown) stored in the storage device 41 and executing processes.
  • the CPU 40 is an example of a "processor" according to the technology of the present disclosure.
  • the storage device 41 includes, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), or a storage device.
  • the RAM is, for example, a volatile memory used as a work area or the like.
  • the ROM is, for example, a nonvolatile memory such as a flash memory that holds the operating program 41A and various data.
  • the storage device is, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage stores an OS (Operating System), application programs, image data, various data, and the like.
  • the communication unit 42 is a network interface that controls transmission of various information via a network such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the information processing device 8 is connected to the light source 6, the imaging sensor 7, and the cell culture device 3 via the communication unit 42.
  • the display 44 displays various screens.
  • the information processing device 8 receives input of operation instructions from the input device 45 through various screens.
  • FIG. 6 shows an example of the functional configuration of the information processing device 8.
  • the functions of the information processing device 8 are realized by the CPU 40 executing processing based on the operating program 41A.
  • the CPU 40 includes an imaging control section 50, an interference fringe image acquisition section 51, a reconstruction processing section 52, a display control section 53, a culture state determination section 54, and a culture condition control section 55. .
  • the imaging control unit 50 controls the operation of the imaging system 4. Specifically, the imaging control unit 50 controls the generation operation of the irradiation light 6A by the light source 6 and the imaging operation of the imaging sensor 7 by transmitting an imaging control signal to the imaging system 4.
  • the imaging control unit 50 causes the imaging system 4 to start an imaging operation based on the operation signal input from the input device 45.
  • the interference fringe image acquisition unit 51 acquires the interference fringe image FP output from the image sensor 7.
  • the interference fringe image acquisition unit 51 supplies the acquired interference fringe image FP to the reconstruction processing unit 52.
  • the reconstruction processing unit 52 generates a reconstructed image 60 by performing calculations based on the interference fringe image FP. For example, the reconstruction processing unit 52 generates the reconstructed image 60 each time the reconstruction position is changed, while changing the reconstruction position by a constant value in the Z direction.
  • the reconstructed position is a position represented by a distance d from the imaging surface 7A of the image sensor 7 toward the light source 6 (so-called depth position).
  • depth position the reconstruction position will also be referred to as the focal position.
  • the reconstruction processing unit 52 performs reconstruction processing based on Fresnel transform equations expressed by the following equations (1) to (3), for example.
  • I(x,y) represents image data.
  • x represents the coordinate of a pixel constituting the image sensor 7 in the X direction.
  • y represents the coordinate of the pixel in the Y direction.
  • ⁇ x is the arrangement pitch of pixels in the X direction.
  • ⁇ y is the arrangement pitch of pixels in the Y direction.
  • is the wavelength of the irradiation light 6A.
  • ⁇ (m, n) is a complex amplitude image obtained by Fresnel-transforming the interference fringes included in the interference fringe image FP.
  • m 1, 2, 3, . . . Nx-1
  • n 1, 2, 3, . . . Ny-1.
  • Nx represents the number of pixels in the X direction of the interference fringe image FP.
  • Ny represents the number of pixels in the Y direction of the interference fringe image FP.
  • a 0 (m, n) is an amplitude image 61 representing the amplitude component (ie, intensity component) of the complex amplitude image ⁇ (m, n).
  • ⁇ 0 (m, n) is a phase difference image 62 representing a phase difference component of the complex amplitude image ⁇ (m, n).
  • the reconstruction processing unit 52 obtains a complex amplitude image ⁇ (m, n) based on equation (1), and applies the obtained complex amplitude image ⁇ (m, n) to equation (2) or equation (3). By doing so, a reconstructed image 60 including an amplitude image 61 and a phase difference image 62 is generated.
  • the reconstruction processing unit 52 outputs the generated reconstructed image 60 to the culture state determination unit 54 and the display control unit 53.
  • the reconstruction processing unit 52 is not limited to the method using the Fresnel transform equation, and may perform reconstruction processing using a Fourier iterative phase recovery method or the like.
  • the display control unit 53 causes the display 44 to display the reconstructed image 60 generated by the reconstruction processing unit 52.
  • the culture state determination unit 54 determines whether the culture state of the cells 10 flowing in the microchannel 9 is appropriate based on the reconstructed image 60 and outputs the determination result R to the culture condition control unit 55. Specifically, the culture state determining unit 54 determines the culture state of the cells 10 based on the amplitude image 61 and the phase difference image 62 included in the reconstructed image 60.
  • the appropriate state is, for example, a state in which the cells 10 are healthy.
  • the culture condition control unit 55 adjusts the culture conditions by controlling the cell culture device 3 based on the determination result R. Specifically, the culture condition control unit 55 generates a culture condition control signal for bringing the culture state of the cells 10 into an appropriate state, and outputs it to the cell culture device 3.
  • the culture conditions include at least one of the culture medium components, oxygen concentration, temperature, pH, and cell number of the culture tank 20 (see FIG. 2).
  • the culture condition control signal output from the culture condition control unit 55 is input to the controller 28 (see FIG. 2) of the cell culture device 3.
  • the controller 28 controls at least one of the culture medium components, oxygen concentration, temperature, pH, and cell number in the culture tank 20 by controlling the culture medium pump P2, the ventilation device 24, the temperature adjustment device 25, the solution pump P3, etc. change.
  • changing the medium components includes not only adding a new medium to the culture tank 20 but also changing the ratio of the medium components.
  • the controller 28 changes the culture conditions while referring to the monitoring information output from the various sensors for monitoring the culture state described above.
  • FIG. 7 shows an example of the culture state determination process performed by the culture state determination unit 54.
  • the culture state determining unit 54 acquires morphological information 63 of the cells 10 from the amplitude image 61 and acquires phase difference information 64 of the cells 10 from the phase difference image 62.
  • the morphological information 63 is information that quantifies external characteristics such as the shape and size of the cell 10.
  • the phase difference information 64 is information representing the phase difference of the cells 10.
  • the phase difference of the cell 10 is the amount of phase shift of the irradiation light 6A due to the cell 10, and is expressed by the product of the refractive index and the thickness of the cell 10.
  • the culture state determining unit 54 determines the culture state of the cells 10 using a two-dimensional map created in advance using the morphology and phase difference as parameters.
  • FIG. 8 conceptually shows an example of a two-dimensional map used for determining the culture state.
  • a first region A1 belonging to a proper state and a second region A2 belonging to an improper state other than the proper state are defined in a two-dimensional space using the shape and the phase difference as parameters.
  • the first region A1 is a region represented by the shape and phase difference measured in advance when the cells 10 are healthy.
  • the second region A1 includes the morphology and phase difference when the shape, size, thickness, etc. of the cells 10 change due to lack of oxygen, nutrients, etc.
  • the culture state determining unit 54 determines to which of the first region A1 and the second region A2 the culture state S specified by the morphological information 63 and the phase difference information 64 belongs. The culture state determining unit 54 determines that the culture state S is an appropriate state when it belongs to the first area A1, and determines that it is an inappropriate state when the culture state S belongs to the second area A2.
  • the culture condition control unit 55 knows in advance how the morphology and phase difference will change when each parameter included in the above-mentioned cell conditions is changed. As shown in FIG. 8, when the culture state S is an inappropriate state, the culture condition control unit 55 changes the culture conditions by outputting a culture condition control signal that makes the culture state S a proper state. .
  • FIG. 9 shows an example of the flow of operation of the imaging system 4.
  • the information processing device 8 initializes culture conditions by controlling the cell culture device 3 (step S10), and starts supplying the sample 12 to the microchannel 9 (step S11).
  • the imaging control unit 50 causes the imaging system 4 to perform an imaging operation (step S12).
  • the interference fringe image acquisition unit 51 acquires the interference fringe image FP output from the image sensor 7 (step S13).
  • the reconstruction processing unit 52 generates a reconstructed image 60 by performing reconstruction processing based on the interference fringe image FP (step S14).
  • the culture state determination unit 54 determines the culture state of the cells 10 based on the reconstructed image 60, and outputs the determination result R to the culture condition control unit 55 (step S15). If the culture condition is not an appropriate state (step S16: NO), the culture condition control unit 55 changes the culture condition by outputting a culture condition control signal to the cell culture device 3 (step S17). After step S17, the process returns to step S11. The processes of steps S11 to S17 are repeatedly executed until the culture state reaches a proper state.
  • step S18 determines whether the termination condition is satisfied. For example, the termination condition is satisfied when the operator performs a termination operation using the input device 45. If the termination condition is not satisfied (step S18: NO), the process returns to step S12. If the end condition is satisfied (step S18: NO), the process ends.
  • the culture state of the cells 10 flowing through the microchannel 9 is determined based on the image information obtained by the imaging device, and the culture tank 20 is determined based on the determination result R. Since the culture conditions are adjusted, the burden on the operator during cell culture can be reduced.
  • the culture state determination unit 54 determines the culture state of the cells 10 using a two-dimensional map (see FIG. 8), but it also determines the culture state of the cells 10 using a machine learning model. It's okay.
  • FIG. 10 shows the culture state determination process according to the first modification.
  • the machine learned model LM shown in FIG. 10 is a judgment model generated by performing deep learning or the like in advance using teacher data.
  • the teacher data is data in which the reconstructed image 60 and correct data regarding the culture state of the cells 10 shown in the reconstructed image 60 are associated.
  • the culture state determination unit 54 inputs the amplitude image 61 and phase difference image 62 included in the reconstructed image 60 to the machine-learned model LM, and receives the determination result R output from the machine-learned model LM. get.
  • the culture state determination unit 54 determines the culture state of the cells 10 based on the morphological information 63 and the phase difference information 64.
  • the culture state of the cells 10 may be determined using the refractive index and the refractive index.
  • FIG. 11 shows the culture state determination process according to the second modification.
  • the phase difference of the cell 10 is expressed by the product of the thickness and the refractive index, so if one of the thickness and the refractive index is specified, the other is determined based on the phase difference information 64. can be calculated.
  • the culture state determining unit 54 determines the culture state of the cells 10 using, for example, a three-dimensional map using shape, thickness, and refractive index as parameters. Similar to the two-dimensional map described above, the three-dimensional map defines a first area A1 that belongs to a proper state and a second area A2 that belongs to an inappropriate state other than the proper state.
  • the culture state determining unit 54 determines the culture state of the cells 10 based on the reconstructed image 60, but in addition to the reconstructed image 60, the culture state of the cells 10 is determined using other information. may be determined.
  • FIG. 12 shows the culture state determination process according to the third modification.
  • the culture state determination unit 54 determines the culture state of the cells 10 using monitoring information 70 in addition to the morphology information 63 and phase difference information 64.
  • the monitoring information 70 is a detected value regarding the culture state acquired by various sensors included in the above-described cell culture device 3.
  • the monitoring information 70 includes at least one of the temperature, pH, oxygen concentration, and cell number of the culture tank 20.
  • the culture state of the cells 10 can be determined more accurately.
  • the culture state determining unit 54 determines the culture state of the cells 10 based on one piece of image information obtained by the imaging device at a certain time; The culture state of the cells 10 may be determined based on the image information.
  • the culture state determination unit 54 determines the culture state of the cells 10 based on a plurality of reconstructed images 60 generated from a plurality of interference fringe images FP captured at different times. Specifically, as shown in FIG. 13, the culture state determining unit 54 monitors temporal changes in the morphology and phase difference of the cells 10 obtained based on each reconstructed image 60. The culture state determining unit 54 determines that the culture state of the cells 10 is not an appropriate state when either the morphology or the phase difference is outside the appropriate range or is expected to be outside the appropriate range. do.
  • the culture condition control unit 55 repeatedly changes the culture conditions until the culture state of the cells 10 reaches a proper state, but when a certain deterioration in the culture state is detected, , control may be performed to notify that there is an abnormality. This is because if the culture condition is not improved by changing the culture conditions, it is considered that an abnormality has occurred in the cell culture device 3.
  • FIG. 14 shows the flow of operation of the imaging system 4 according to the fifth modification.
  • the flowchart shown in FIG. 14 is the flowchart shown in FIG. 9 with steps S19 to S21 added.
  • the culture condition control unit 55 counts the number of cells 10 in an inappropriate state included in the sample 12 flowing through the microchannel 9. (Step S19).
  • Cells 10 in an inappropriate state are, for example, dead cells or unintended cells.
  • the culture condition control unit 55 may count both the number of dead cells and unintended cells.
  • the culture condition control unit 55 determines whether the number of cells 10 in an inappropriate state is equal to or greater than a reference value (step S20). If the number of inappropriate states is not equal to or greater than the reference value (step S20: NO), the culture condition control unit 55 changes the culture conditions (step S17).
  • the culture condition control unit 55 performs control to notify that there is an abnormality (step S21). For example, the culture condition control unit 55 controls the display control unit 53 to display on the display 44 a message informing the user that an abnormality has occurred.
  • the culture condition control unit 55 compares the number of cells 10 in an inappropriate state with a reference value in step S20, the ratio of the number of cells 10 in an inappropriate state to the number of cells 10 in an appropriate state may be compared with a reference value. Further, the culture condition control unit 55 may notify the abnormality in step S21 and may cause the cell culture device 3 to stop the culture.
  • the imaging device is related to a technology called so-called lens-free imaging, which does not include an optical lens.
  • the technology of the present disclosure is not limited to lens-free imaging, but can be applied to digital holography in general (for example, when using a reference light).
  • phase contrast microscope which is a type of optical microscope.
  • a phase contrast microscope generates a phase contrast image as image information.
  • the imaging device according to the above embodiment and each modification example does not include an optical lens, so mechanical focusing is not required.
  • focusing is performed using an autofocus function. Just go.
  • a phase contrast microscope it is sufficient to use a microchannel 9 having a width that fits within the width of the focal point in the height direction.
  • the hardware configuration of the computer that constitutes the information processing device 8 can be modified in various ways. For example, it is also possible to configure the information processing device 8 with a plurality of computers separated as hardware for the purpose of improving processing power and reliability.
  • the hardware configuration of the computer of the information processing device 8 can be changed as appropriate depending on required performance such as processing capacity, safety, and reliability.
  • application programs such as the operating program 41A can be duplicated or distributed and stored in multiple storage devices for the purpose of ensuring safety and reliability. .
  • various components such as an imaging control section 50, an interference fringe image acquisition section 51, a reconstruction processing section 52, a display control section 53, a culture state determination section 54, and a culture condition control section 55 are used.
  • the hardware structure of the processing unit that executes processing the following various processors can be used.
  • various processors include the CPU 40, which is a general-purpose processor that executes software (operating program 41A) and functions as various processing units, as well as FPGA (Field Programmable Gate Array), etc.
  • PLDs Programmable Logic Devices
  • ASICs Application Specific Integrated Circuits
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs and/or a CPU and (in combination with FPGA). Further, the plurality of processing units may be configured with one processor.
  • one processor is configured with a combination of one or more CPUs and software, as typified by computers such as a client and a server.
  • a processor functions as multiple processing units.
  • processors that use a single IC (Integrated Circuit) chip to implement the functions of the entire system, including multiple processing units, as typified by System On Chip (SoC). be.
  • SoC System On Chip
  • circuitry that is a combination of circuit elements such as semiconductor elements can be used.
  • an imaging device that images a channel through which a sample containing cells is supplied from a culture tank; a processor that determines a culture state of the cells flowing through the channel based on image information obtained by the imaging device, and adjusts culture conditions of the culture tank based on the determination result;
  • An imaging system comprising: [Additional note 2] The imaging device includes: a light source that irradiates light toward the flow path; an imaging sensor that generates an interference fringe image including interference fringes as the image information by imaging the light that has passed through the flow path; The imaging system according to Supplementary Note 1.
  • the processor includes: generating a reconstructed image including an amplitude image and a phase difference image by reconstructing the interference fringe image; determining the culture state based on the generated reconstructed image; The imaging system according to Supplementary Note 2.
  • the processor determines the culture state based on morphological information of the cells determined based on the amplitude image and phase difference information of the cells determined based on the phase difference image.
  • the processor determines the other of the cell thickness and refractive index based on the phase difference information when one of the cell thickness and refractive index is specified.
  • the imaging device is a phase contrast microscope, and generates a phase contrast image as the image information.
  • the processor determines the culture state based on the plurality of image information obtained by the imaging device at different times, The imaging system according to any one of Supplementary Notes 1 to 6.
  • the culture conditions include at least one of the culture medium components, oxygen concentration, temperature, pH, and cell number of the culture tank. The imaging system according to any one of Supplementary Notes 1 to 7.
  • the processor performs control to notify that there is an abnormality when the number or proportion of dead cells or unintended cells contained in the sample flowing through the flow path is equal to or higher than a reference value.
  • the imaging system according to any one of Supplementary Notes 1 to 8.
  • the processor includes: Obtaining monitoring information regarding the culture state, determining the culture state based on the image information and the monitoring information; The imaging system according to any one of Supplementary Notes 1 to 9.
  • the processor is configured such that the monitoring information includes at least one of the temperature, pH, oxygen concentration, and cell number of the culture tank.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Engineering & Computer Science (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Biotechnology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Medicinal Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

撮像システムは、培養タンクから供給される細胞を含む試料を流す流路を撮像する撮像装置と、撮像装置により得られた画像情報に基づいて、流路を流れる細胞の培養状態を判定し、判定結果に基づいて培養タンクの培養条件を調整するプロセッサと、を備える。

Description

撮像システム及び培養条件調整方法
 本開示の技術は、撮像システム及び培養条件調整方法に関する。
 細胞等の小さな観察対象物体を撮像する装置を小型化するために、光学系部品を排除した、いわゆるレンズフリーのデジタルホログラフィが知られている。デジタルホログラフィでは、レーザ光等のコヒーレントな光を発する光源を用いて観察対象物体を撮像し、撮像により得られた干渉縞像を含む干渉縞画像を再構成することにより、任意の再構成位置において再構成画像を生成することができる。
 また、培養タンク等からマイクロ流路に細胞を含む試料を流しながらマイクロ流路を撮像することにより、細胞の培養状態をリアルタイムにモニタリングすることを可能とするインラインセンシングが知られている(例えば、特開2015-029461号公報参照)。
 細胞培養におけるインラインセンシングにデジタルホログラフィを応用する場合、流路を流れてくる細胞を随時観察して細胞の培養状態をモニタリングしながら、培養条件を適切に調整することが求められる。
 特開2015-029461号公報に記載の装置では、マイクロ流路に流れる試料に含まれる細胞の撮像結果をオペレータが確認し、オペレータが自ら培養状態を調整する必要がある。細胞培養は、昼夜関係なく、数日に渡って継続されることが少なくなく、オペレータが培養条件の調整を続けることには限界があった。
 本開示の技術は、細胞培養におけるオペレータの負担を軽減することを可能とする撮像システム及び培養条件調整方法を提供することを目的とする。
 上記目的を達成するために、本開示の撮像システムは、培養タンクから供給される細胞を含む試料を流す流路を撮像する撮像装置と、撮像装置により得られた画像情報に基づいて、流路を流れる細胞の培養状態を判定し、判定結果に基づいて培養タンクの培養条件を調整するプロセッサと、を備える。
 撮像装置は、流路に向けて光を照射する光源と、流路を通過した光を撮像することにより、画像情報として干渉縞を含む干渉縞画像を生成する撮像センサと、を含むことが好ましい。
 プロセッサは、干渉縞画像を再構成することにより、振幅画像及び位相差画像を含む再構成画像を生成し、生成した再構成画像に基づいて培養状態を判定することが好ましい。
 プロセッサは、振幅画像に基づいて求めた細胞の形態情報と、位相差画像に基づいて求めた細胞の位相差情報とに基づいて、培養状態を判定することが好ましい。
 プロセッサは、細胞の厚みと屈折率とのうちの一方が特定されている場合に、位相差情報に基づいて細胞の厚みと屈折率とのうちの他方を求めることが好ましい。
 撮像装置は、位相差顕微鏡であって、画像情報として位相差画像を生成することが好ましい。
 プロセッサは、撮像装置により得られた時刻が異なる複数の画像情報に基づいて、培養状態を判定することが好ましい。
 培養条件には、培養タンクの培地成分、酸素濃度、温度、pH、及び細胞数のうち少なくとも1つが含まれることが好ましい。
 プロセッサは、判定結果に基づき、流路を流れる試料に含まれる死細胞又は目的外細胞の数又は割合が基準値以上である場合に、異常であることを報知する制御を行うことが好ましい。
 プロセッサは、培養状態に関するモニタリング情報を取得し、画像情報とモニタリング情報とに基づいて、培養状態を判定することが好ましい。
 プロセッサは、モニタリング情報には、培養タンクの温度、pH、酸素濃度、及び細胞数のうち少なくとも1つが含まれることが好ましい。
 本開示の培養条件調整方法は、培養タンクから供給される細胞を含む試料を流す流路を撮像すること、撮像により得られた画像情報に基づいて、流路を流れる細胞の培養状態を判定し、判定結果に基づいて培養タンクの培養条件を調整すること、を含む。
 本開示の技術によれば、細胞培養におけるオペレータの負担を軽減することを可能とする撮像システム及び培養条件調整方法を提供することを目的とすることができる。
実施形態に係る細胞培養システムの構成の一例を示す図である。 細胞培養装置の構成の一例を示す図である。 細胞により干渉縞が生成される様子を示す図である。 干渉縞画像の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能構成の一例を示すブロック図である。 培養状態の判定処理の一例を示す図である。 培養状態の判定に用いる2次元マップの一例を概念的に示す図である。 撮像システムの動作の流れの一例を示すフローチャートである。 第1変形例に係る培養状態の判定処理を示す図である。 第2変形例に係る培養状態の判定処理を示す図である。 第3変形例に係る培養状態の判定処理を示す図である。 形態及び位相差の時間変化の一例を概念的に示す図である。 第5変形例に係る撮像システムの動作の流れを示すフローチャートである。
 添付図面に従って本開示の技術に係る実施形態の一例について説明する。
 図1は、実施形態に係る細胞培養システム2の構成の一例を示す。細胞培養システム2は、細胞培養装置3と、撮像システム4と、回収タンク5とで構成される。撮像システム4は、光源6、撮像センサ7、及び情報処理装置8を含む。情報処理装置8は、例えば、パーソナルコンピュータである。なお、光源6及び撮像センサ7は、本開示の技術に係る「撮像装置」の一例である。
 光源6は、例えばレーザーダイオードである。なお、光源6は、発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。
 光源6と撮像センサ7との間には、マイクロ流路9が配置される。マイクロ流路9は、例えばシリコーン樹脂により形成された流路ユニットに形成されており、液体を流すことが可能な流路である。流路ユニットは、透光性を有しており、流路ユニットの外部からマイクロ流路9内に光を照射することが可能である。マイクロ流路9には、細胞10を含む溶液である試料12を導入するための開口部9Aと、マイクロ流路9に導入された試料12を排出するための開口部9Bが設けられている。マイクロ流路9は、本開示の技術に係る「流路」の一例である。
 試料12は、細胞培養装置3からマイクロ流路9の開口部9Aに導入され、マイクロ流路9内を一定の速度で流れて開口部9Bから排出される。開口部9Bから排出された試料12は、回収タンク5により回収される。
 光源6、撮像センサ7、及びマイクロ流路9は、例えば、図示しないインキュベータ内に配置されている。撮像システム4は、例えば、試料12に含まれる1以上の細胞10を撮像対象とし、光源6から発せられてマイクロ流路9を通過した光を撮像センサ7により撮像する。
 光源6は、マイクロ流路9に向けて照射光6Aを照射する。照射光6Aは、コヒーレントな光であり、例えばレーザ光である。照射光6Aは、マイクロ流路9に入射し、マイクロ流路9を透過した後、撮像センサ7の撮像面7Aに入射する。なお、矢印で示すZ方向は、照射光6Aの照射方向である。マイクロ流路9は、試料12の流れる方向が、Z方向にほぼ直交するように配置されている。
 なお、マイクロ流路9の形状、及び開口部9A,9Bの数は、適宜変更可能である。また、光源6と撮像センサ7との間に配置されるマイクロ流路9の数は1に限られず、2以上であってもよい。本実施形態では、光源6と撮像センサ7との間に1つのマイクロ流路9が配置されているとする。
 撮像センサ7は、例えば、モノクロのCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサにより構成されている。撮像センサ7の撮像動作は、情報処理装置8により制御される。撮像センサ7は、撮像面7Aが、Z方向に直交するように配置されている。なお、撮像面7Aは、マイクロ流路9が形成された流路ユニットに接触していてもよい。
 マイクロ流路9内の試料12に照射光6Aが入射し、細胞10で照射光6Aが回折されることにより、細胞10の形状が反映された干渉縞が生じる。撮像センサ7は、干渉縞を含む干渉縞画像FPを生成して情報処理装置8に出力する。なお、干渉縞画像FPは、本開示の技術に係る「画像情報」の一例である。
 情報処理装置8は、撮像制御、干渉縞画像FPに基づく再構成画像の生成、細胞10の培養状態の判定、判定結果に基づく細胞培養装置3の制御等を行う。
 図2は、細胞培養装置3の構成の一例を示す。細胞培養装置3は、培養タンク20、吸引ポンプP1、吸引管21、移送管22、攪拌装置23、通気装置24、温度調整装置25、培地タンク26、培地ポンプP2、溶液タンク27、溶液ポンプP3、及びコントローラ28を備える。コントローラ28は、吸引ポンプP1、攪拌装置23、通気装置24、温度調整装置25、及び溶液ポンプP3を制御する。コントローラ28は、情報処理装置8により制御される。
 培養タンク20は、細胞10を培養するためのタンクであり、細胞10を含む試料12が収容されている。吸引管21は、一端が培養タンク20内に挿入され、他端が吸引ポンプP1に接続されている。吸引ポンプP1は、吸引管21の一端に設けられた吸引口21Aから試料12を吸引する。移送管22は、一端が吸引ポンプP1に接続され、他端がマイクロ流路9の開口部9Aに接続されている。移送管22は、吸引ポンプP1により吸引された試料12を、移送してマイクロ流路9に導入するための配管である。
 攪拌装置23は、攪拌翼を回転させることにより培養タンク20内の試料12を攪拌させる。通気装置24は、培養タンク20内の試料12に空気、酸素、窒素、二酸化炭素等を通気する。温度調整装置25は、培養タンク20内の試料12の温度を調整する。
 培地タンク26は、液体状の培地を収容するためのタンクである。培地ポンプP2は、培地タンク26内の培地を培養タンク20に送る。培地ポンプP2による送液量は、培地タンク26内の培地成分の濃度等に応じて、コントローラ28により制御される。本実施形態では、複数の培地タンク26が培地ポンプP2に接続されている。
 溶液タンク27は、アルカリ溶液を収容するためのタンクである。溶液ポンプP3は、溶液タンク27内のアルカリ溶液を培養タンク20に送る。試料12のpHは、アルカリ溶液の添加、二酸化炭素の通気等により所定の範囲に制御される。
 また、培養タンク20内の培養環境及び細胞10の培養状態をモニタリングするために、図示しない各種のセンサが設けられている。例えば、培養タンク20には、熱電対等の温度センサ、溶存酸素センサ、二酸化炭素センサ、pHセンサ、セルカウンタ等の各種センサが設けられている。
 図3は、マイクロ流路9に流れる試料12に含まれる細胞10により干渉縞が生成される様子を示す。マイクロ流路9に入射した照射光6Aは、一部が細胞10によって回折される。すなわち、照射光6Aは、細胞10によって回折される回折光30と、細胞10によって回折されず、マイクロ流路9を透過する透過光31とに分かれる。透過光31は平面波である。回折光30及び透過光31は、マイクロ流路9を透過して、撮像センサ7の撮像面7Aに入射する。
 回折光30と透過光31とは、互いに干渉することにより、干渉縞33を生成する。干渉縞33は、明部36及び暗部38により構成される。図3では、干渉縞33は、明部36及び暗部38をそれぞれ円形として図示しているが、干渉縞33の形状は、細胞10の形状及び内部構造に応じて変化する。撮像センサ7は、撮像面7Aに形成された干渉縞33を含む光像を撮像し、干渉縞33を含む干渉縞画像FPを出力する。
 図4は、撮像センサ7から出力される干渉縞画像FPの一例を示す。図4に示す干渉縞画像FPは、撮像センサ7の撮像領域に含まれる1つの細胞10により照射光6Aが回折されることにより生じた1つの干渉縞33が含まれている。
 図5は、情報処理装置8のハードウェア構成の一例を示す。図5に示すように、情報処理装置8は、CPU(Central Processing Unit)40、記憶装置41、及び通信部42を備え、これらはバスライン43を介して相互接続されている。また、バスライン43には、ディスプレイ44及び入力デバイス45が接続されている。入力デバイス45は、キーボード、マウス、タッチパネル等であり、ユーザが情報を入力する際に操作される。
 CPU40は、記憶装置41に格納された作動プログラム41A及び各種データ(図示せず)を読み出して処理を実行することにより、各種機能を実現する演算装置である。CPU40は、本開示の技術に係る「プロセッサ」の一例である。
 記憶装置41は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、又はストレージ装置等を含む。RAMは、例えば、ワークエリア等として用いられる揮発性メモリである。ROMは、例えば、作動プログラム41A及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、HDD(Hard Disk Drive)又はSSD(Solid State Drive)である。ストレージは、OS(Operating System)、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。
 通信部42は、LAN(Local Area Network)又はWAN(Wide Area Network)等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。情報処理装置8は、通信部42を介して、光源6、撮像センサ7、及び細胞培養装置3に接続される。ディスプレイ44は、各種画面を表示する。情報処理装置8は、各種画面を通じて、入力デバイス45からの操作指示の入力を受け付ける。
 図6は、情報処理装置8の機能構成の一例を示す。情報処理装置8の機能は、作動プログラム41Aに基づいてCPU40が処理を実行することにより実現される。図6に示すように、CPU40には、撮像制御部50、干渉縞画像取得部51、再構成処理部52、表示制御部53、培養状態判定部54、及び培養条件制御部55が構成される。
 撮像制御部50は、撮像システム4の動作を制御する。具体的には、撮像制御部50は、撮像システム4に撮像制御信号を送信することにより、光源6による照射光6Aの発生動作、及び撮像センサ7の撮像動作を制御する。以下、光源6による照射光6Aの発生動作と、撮像センサ7の撮像動作とを合わせて、撮像システム4の撮像動作という。撮像制御部50は、入力デバイス45から入力される操作信号に基づいて、撮像システム4に撮像動作を開始させる。
 干渉縞画像取得部51は、撮像センサ7から出力される干渉縞画像FPを取得する。干渉縞画像取得部51は、取得した干渉縞画像FPを再構成処理部52に供給する。
 再構成処理部52は、干渉縞画像FPに基づいて演算を行うことにより、再構成画像60を生成する。例えば、再構成処理部52は、再構成位置をZ方向に一定値ずつ変更しながら、再構成位置を変更するたびに再構成画像60を生成する。再構成位置は、撮像センサ7の撮像面7Aから光源6の方向への距離dにより表される位置(いわゆる深さ位置)である。以下、再構成位置を焦点位置ともいう。
 再構成処理部52は、例えば、下式(1)~(3)で表されるフレネル変換式に基づいて再構成処理を行う。
 ここで、I(x,y)は、画像データを表す。xは、撮像センサ7を構成する画素のX方向に関する座標を表す。yは、画素のY方向に関する座標を表す。Δxは、画素のX方向への配列ピッチであ。Δyは、画素のY方向への配列ピッチである。λは、照射光6Aの波長である。
 式(1)に示すように、Γ(m,n)は、干渉縞画像FPに含まれる干渉縞がフレネル変換された複素振幅画像である。ここで、m=1,2,3,・・・Nx-1、及びn=1,2,3,・・・Ny-1である。Nxは、干渉縞画像FPのX方向への画素数を表している。Nyは、干渉縞画像FPのY方向への画素数を表している。
 式(2)に示すように、A(m,n)は、複素振幅画像Γ(m,n)の振幅成分(すなわち強度成分)を表す振幅画像61である。式(3)に示すように、φ(m,n)は、複素振幅画像Γ(m,n)の位相差成分を表す位相差画像62である。
 再構成処理部52は、式(1)に基づいて複素振幅画像Γ(m,n)を求め、求めた複素振幅画像Γ(m,n)を、式(2)又は式(3)に適用することにより、振幅画像61及び位相差画像62を含む再構成画像60を生成する。再構成処理部52は、生成した再構成画像60を、培養状態判定部54及び表示制御部53に出力する。
 再構成処理部52は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。
 表示制御部53は、再構成処理部52により生成された再構成画像60をディスプレイ44に表示させる。
 培養状態判定部54は、再構成画像60に基づいてマイクロ流路9に流れる細胞10の培養状態が適正状態であるかを判定し、判定結果Rを培養条件制御部55に出力する。具体的には、培養状態判定部54は、再構成画像60に含まれる振幅画像61及び位相差画像62に基づいて、細胞10の培養状態を判定する。適正状態とは、例えば、細胞10が元気な状態である。
 培養条件制御部55は、判定結果Rに基づいて細胞培養装置3を制御することにより、培養条件を調整する。具体的には、培養条件制御部55は、細胞10の培養状態を適正状態とするための培養条件制御信号を生成して、細胞培養装置3に出力する。培養条件には、培養タンク20(図2参照)の培地成分、酸素濃度、温度、pH、及び細胞数のうち少なくとも1つが含まれる。
 培養条件制御部55から出力された培養条件制御信号は、細胞培養装置3のコントローラ28(図2参照)に入力される。コントローラ28は、培地ポンプP2、通気装置24、温度調整装置25、溶液ポンプP3等を制御することにより、培養タンク20の培地成分、酸素濃度、温度、pH、及び細胞数のうち少なくとも1つを変更する。なお、培地成分を変更することには、培養タンク20に新たな培地を追加することに加えて、培地成分の比率を変更することが含まれる。
 コントローラ28は、上述した培養状態をモニタリングするための各種のセンサから出力されるモニタリング情報を参照しながら培養条件を変更する。
 図7は、培養状態判定部54による培養状態の判定処理の一例を示す。培養状態判定部54は、振幅画像61から細胞10の形態情報63を取得し、位相差画像62から細胞10の位相差情報64を取得する。形態情報63は、細胞10の形状、大きさ等の外観的な特徴を定量化した情報である。位相差情報64は、細胞10の位相差を表す情報である。細胞10の位相差とは、照射光6Aの細胞10による位相シフト量であり、細胞10の屈折率と厚みとの積により表される。
 本実施形態では、培養状態判定部54は、形態と位相差とをパラメータとして予め作成された2次元マップを用いて細胞10の培養状態を判定する。
 図8は、培養状態の判定に用いる2次元マップの一例を概念的に示す。2次元マップには、形態と位相差とをパラメータとした2次元空間において、適正状態に属する第1領域A1と、適正状態以外の非適正状態に属する第2領域A2とが規定されている。第1領域A1は、細胞10が元気な状態で予め計測された形態及び位相差で表される領域である。第2領域A1には、酸素、栄養等の不足により、細胞10の形状、大きさ、厚み等に変化が生じた場合における形態及び位相差が含まれる。
 培養状態判定部54は、形態情報63及び位相差情報64により特定される培養状態Sが、第1領域A1と第2領域A2とのいずれに属するかを判定する。培養状態判定部54は、培養状態Sが第1領域A1に属する場合は適正状態であると判定し、培養状態Sが第2領域A2に属する場合は非適正状態であると判定する。
 培養条件制御部55は、上述の細胞条件に含まれる各パラメータを変更した場合に、形態及び位相差がどのように変化するかを予め把握している。図8に示すように、培養状態Sが非適正状態である場合には、培養条件制御部55は、培養状態Sを適正状態とする培養条件制御信号を出力することにより、培養条件を変更する。
 図9は、撮像システム4の動作の流れの一例を示す。まず、情報処理装置8は、細胞培養装置3を制御することにより培養条件の初期設定を行い(ステップS10)、マイクロ流路9へ試料12の供給を開始させる(ステップS11)。
 次に、撮像制御部50は、撮像システム4に撮像動作を行わせる(ステップS12)。干渉縞画像取得部51は、撮像センサ7から出力された干渉縞画像FPを取得する(ステップS13)。再構成処理部52は、干渉縞画像FPに基づいて再構成処理を行うことにより再構成画像60を生成する(ステップS14)。
 培養状態判定部54は、再構成画像60に基づいて細胞10の培養状態を判定し、判定結果Rを培養条件制御部55に出力する(ステップS15)。培養条件制御部55は、培養状態が適正状態でない場合には(ステップS16:NO)、培養条件制御信号を細胞培養装置3に出力することにより、培養条件を変更する(ステップS17)。ステップS17の後、処理は、ステップS11に戻る。ステップS11~S17の処理は、培養状態が適正状態となるまでの間、繰り返し実行される。
 培養条件制御部55は、培養状態が適正状態となった場合には(ステップS16:YES)、終了条件を満たすか否かを判定する(ステップS18)。例えば、終了条件は、入力デバイス45を用いてオペレータが終了操作を行った場合に満たされる。終了条件を満たさない場合には(ステップS18:NO)、処理は、ステップS12に戻る。終了条件を満たす場合には(ステップS18:NO)、処理は終了する。
 以上のように、本開示の技術によれば、撮像装置により得られた画像情報に基づいて、マイクロ流路9を流れる細胞10の培養状態を判定し、判定結果Rに基づいて培養タンク20の培養条件を調整するので、細胞培養におけるオペレータの負担を軽減することができる。
 次に、上記実施形態の各種変形例について説明する。以下の各変形例では、上記実施形態と異なる点のみについて説明する。
 [第1変形例]
 上記実施形態では、培養状態判定部54は、2次元マップ(図8参照)を用いて細胞10の培養状態を判定しているが、機械学習済みモデルを用いて細胞10の培養状態を判定してもよい。
 図10は、第1変形例に係る培養状態の判定処理を示す。図10に示す機械学習済みモデルLMは、教師データを用いて予め深層学習等を行うことにより生成された判定モデルである。教師データは、再構成画像60と、再構成画像60に写る細胞10の培養状態の正解データとが関連付けられたデータである。本変形例では、培養状態判定部54は、再構成画像60に含まれる振幅画像61及び位相差画像62を機械学習済みモデルLMに入力し、機械学習済みモデルLMから出力される判定結果Rを取得する。
 [第2変形例]
 上記実施形態では、培養状態判定部54は、形態情報63及び位相差情報64に基づいて細胞10の培養状態を判定しているが、形態情報63と、位相差情報64から求まる細胞10の厚み及び屈折率とを用いて細胞10の培養状態を判定してもよい。
 図11は、第2変形例に係る培養状態の判定処理を示す。上述のように細胞10の位相差は、厚みと屈折率との積により表されるので、厚みと屈折率とのうちの一方が特定されている場合には、位相差情報64に基づいて他方を算出することができる。本変形例では、培養状態判定部54は、例えば、形態、厚み、及び屈折率をパラメータとした3次元マップを用いて細胞10の培養状態を判定する。上述の2次元マップと同様に、3次元マップには、適正状態に属する第1領域A1と、適正状態以外の非適正状態に属する第2領域A2とが規定されている。
 [第3変形例]
 上記実施形態では、培養状態判定部54は、再構成画像60に基づいて細胞10の培養状態を判定しているが、再構成画像60に加えて、他の情報を用いて細胞10の培養状態を判定してもよい。
 図12は、第3変形例に係る培養状態の判定処理を示す。本変形例では、培養状態判定部54は、形態情報63及び位相差情報64に加えて、モニタリング情報70を用いて細胞10の培養状態を判定する。モニタリング情報70は、上述の細胞培養装置3が備える各種のセンサにより取得される培養状態に関する検出値である。モニタリング情報70には、培養タンク20の温度、pH、酸素濃度、及び細胞数のうち少なくとも1つが含まれる。
 再構成画像60に加えてモニタリング情報70を用いることにより、細胞10の培養状態をより正確に判定することができる。
 [第4変形例]
 上記実施形態では、培養状態判定部54は、撮像装置によりある時刻に得られた1つの画像情報に基づいて細胞10の培養状態を判定しているが、撮像装置により得られた時刻が異なる複数の画像情報に基づいて細胞10の培養状態を判定してもよい。
 本変形例では、培養状態判定部54は、撮像時刻が異なる複数の干渉縞画像FPから生成された複数の再構成画像60に基づいて細胞10の培養状態を判定する。具体的には、図13に示すように、培養状態判定部54は、再構成画像60の各々に基づいて得られる細胞10の形態及び位相差の時間変化を監視する。培養状態判定部54は、形態及び位相差のうちのいずれかが適正範囲外となった場合、又は適正範囲外となることが予想される場合に、細胞10の培養状態が適正状態でないと判定する。
 このように、形態及び位相差の時間変化を監視することにより、細胞10の培養状態の悪化を事前に予測して、細胞10が死に至るまえに培養条件を改善することができる。細胞10は、アポトーシス又はネクローシスにより死に至る際には、形態、厚み、屈折率等が時系列的に変化するので、形態及び位相差を監視することにより、事前に細胞10の培養状態の悪化を検知することができる。
 [第5変形例]
 上記実施形態では、培養条件制御部55は、細胞10の培養状態が適正状態となるまでの間、培養条件の変更を繰り返し行っているが、培養状態に一定上の悪化が検出された場合に、異常であることを報知する制御を行ってもよい。これは、培養条件の変更により培養状態が改善されない場合には、細胞培養装置3で異常が生じていると考えられるためである。
 図14は、第5変形例に係る撮像システム4の動作の流れを示す。図14に示すフローチャートは、図9に示すフローチャートに、ステップS19~S21を追加したものである。本変形例では、培養条件制御部55は、培養状態が適正状態でない場合には(ステップS16:NO)、マイクロ流路9に流れる試料12に含まれる非適正状態の細胞10の数をカウントする(ステップS19)。非適正状態の細胞10は、例えば、死細胞又は目的外細胞である。培養条件制御部55は、死細胞と目的外細胞との両方の数をカウントしてもよい。
 次に、培養条件制御部55は、非適正状態の細胞10の数が基準値以上であるか否かを判定する(ステップS20)。培養条件制御部55は、非適正状態の数が基準値以上でない場合には(ステップS20:NO)、培養条件を変更する(ステップS17)。
 一方、培養条件制御部55は、非適正状態の細胞10の数が基準値以上である場合には(ステップS20:YES)、異常であることを報知する制御を行う(ステップS21)。培養条件制御部55は、例えば、表示制御部53を制御して、異常が発生していることをユーザに知らせるメッセージをディスプレイ44に表示させる。
 なお、培養条件制御部55は、ステップS20において非適正状態の細胞10の数を基準値と比較しているが、適正状態である細胞10の数に占める非適正状態の細胞10の数の割合を基準値と比較してもよい。また、培養条件制御部55は、ステップS21において異常を報知するとともに、細胞培養装置3に培養を停止させてもよい。
 [その他の変形例]
 上記実施形態及び上記各変形例に係る撮像装置は、光学レンズを備えない、いわゆるレンズフリーイメージングと呼ばれる技術に関する。本開示の技術は、レンズフリーイメージングに限定されず、デジタルホログラフィ全般(例えば、参照光を用いる場合など)に適用可能である。
 また、デジタルホログラフィに代えて、光学顕微鏡の一種である位相差顕微鏡を用いることが可能である。位相差顕微鏡は、画像情報として位相差画像を生成する。上記実施形態及び上記各変形例に係る撮像装置は、光学レンズを備えないので、機械的な焦点合わせが不要であるが、位相差顕微鏡を用いる場合には、オートフォーカス機能を用いて焦点合わせを行えばよい。また、位相差顕微鏡を用いる場合には、焦点位置の高さ方向への幅に収まる幅を有するマイクロ流路9を用いればよい。
 情報処理装置8を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置8を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。
 このように、情報処理装置8のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム41A等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。
 上記実施形態及び上記各変形例において、例えば、撮像制御部50、干渉縞画像取得部51、再構成処理部52、表示制御部53、培養状態判定部54、及び培養条件制御部55といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム41A)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU40に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device: PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、及び/又は、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip: SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 また、上記実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
 上記説明によって以下の技術を把握することができる。
 [付記項1]
 培養タンクから供給される細胞を含む試料を流す流路を撮像する撮像装置と、
 前記撮像装置により得られた画像情報に基づいて、前記流路を流れる前記細胞の培養状態を判定し、判定結果に基づいて前記培養タンクの培養条件を調整するプロセッサと、
 を備える撮像システム。
 [付記項2]
 前記撮像装置は、
 前記流路に向けて光を照射する光源と、
 前記流路を通過した光を撮像することにより、前記画像情報として干渉縞を含む干渉縞画像を生成する撮像センサと、を含む、
 付記項1に記載の撮像システム。
 [付記項3]
 前記プロセッサは、
 前記干渉縞画像を再構成することにより、振幅画像及び位相差画像を含む再構成画像を生成し、
 生成した前記再構成画像に基づいて前記培養状態を判定する、
 付記項2に記載の撮像システム。
 [付記項4]
 前記プロセッサは、前記振幅画像に基づいて求めた前記細胞の形態情報と、前記位相差画像に基づいて求めた前記細胞の位相差情報とに基づいて、前記培養状態を判定する、
 付記項3に記載の撮像システム。
 [付記項5]
 前記プロセッサは、前記細胞の厚みと屈折率とのうちの一方が特定されている場合に、前記位相差情報に基づいて前記細胞の厚みと屈折率とのうちの他方を求める、
 付記項4に記載の撮像システム。
 [付記項6]
 前記撮像装置は、位相差顕微鏡であって、前記画像情報として位相差画像を生成する、
 付記項1に記載の撮像システム。
 [付記項7]
 前記プロセッサは、前記撮像装置により得られた時刻が異なる複数の前記画像情報に基づいて、前記培養状態を判定する、
 付記項1から付記項6のうちいずれか1項に記載の撮像システム。
 [付記項8]
 前記培養条件には、前記培養タンクの培地成分、酸素濃度、温度、pH、及び細胞数のうち少なくとも1つが含まれる、
 付記項1から付記項7のうちいずれか1項に記載の撮像システム。
 [付記項9]
 前記プロセッサは、前記判定結果に基づき、前記流路を流れる前記試料に含まれる死細胞又は目的外細胞の数又は割合が基準値以上である場合に、異常であることを報知する制御を行う、
 付記項1から付記項8のうちいずれか1項に記載の撮像システム。
 [付記項10]
 前記プロセッサは、
 前記培養状態に関するモニタリング情報を取得し、
 前記画像情報と前記モニタリング情報とに基づいて、前記培養状態を判定する、
 付記項1から付記項9のうちいずれか1項に記載の撮像システム。
 [付記項11]
 前記プロセッサは、前記モニタリング情報には、前記培養タンクの温度、pH、酸素濃度、及び細胞数のうち少なくとも1つが含まれる、
 付記項10に記載の撮像システム。
 [付記項12]
 培養タンクから供給される細胞を含む試料を流す流路を撮像すること、
 撮像により得られた画像情報に基づいて、前記流路を流れる前記細胞の培養状態を判定し、判定結果に基づいて前記培養タンクの培養条件を調整すること、
 を含む培養条件調整方法。

Claims (12)

  1.  培養タンクから供給される細胞を含む試料を流す流路を撮像する撮像装置と、
     前記撮像装置により得られた画像情報に基づいて、前記流路を流れる前記細胞の培養状態を判定し、判定結果に基づいて前記培養タンクの培養条件を調整するプロセッサと、
     を備える撮像システム。
  2.  前記撮像装置は、
     前記流路に向けて光を照射する光源と、
     前記流路を通過した光を撮像することにより、前記画像情報として干渉縞を含む干渉縞画像を生成する撮像センサと、を含む、
     請求項1に記載の撮像システム。
  3.  前記プロセッサは、
     前記干渉縞画像を再構成することにより、振幅画像及び位相差画像を含む再構成画像を生成し、
     生成した前記再構成画像に基づいて前記培養状態を判定する、
     請求項2に記載の撮像システム。
  4.  前記プロセッサは、前記振幅画像に基づいて求めた前記細胞の形態情報と、前記位相差画像に基づいて求めた前記細胞の位相差情報とに基づいて、前記培養状態を判定する、
     請求項3に記載の撮像システム。
  5.  前記プロセッサは、前記細胞の厚みと屈折率とのうちの一方が特定されている場合に、前記位相差情報に基づいて前記細胞の厚みと屈折率とのうちの他方を求める、
     請求項4に記載の撮像システム。
  6.  前記撮像装置は、位相差顕微鏡であって、前記画像情報として位相差画像を生成する、
     請求項1に記載の撮像システム。
  7.  前記プロセッサは、前記撮像装置により得られた時刻が異なる複数の前記画像情報に基づいて、前記培養状態を判定する、
     請求項1に記載の撮像システム。
  8.  前記培養条件には、前記培養タンクの培地成分、酸素濃度、温度、pH、及び細胞数のうち少なくとも1つが含まれる、
     請求項1に記載の撮像システム。
  9.  前記プロセッサは、前記判定結果に基づき、前記流路を流れる前記試料に含まれる死細胞又は目的外細胞の数又は割合が基準値以上である場合に、異常であることを報知する制御を行う、
     請求項1に記載の撮像システム。
  10.  前記プロセッサは、
     前記培養状態に関するモニタリング情報を取得し、
     前記画像情報と前記モニタリング情報とに基づいて、前記培養状態を判定する、
     請求項1から請求項9のうちいずれか1項に記載の撮像システム。
  11.  前記プロセッサは、前記モニタリング情報には、前記培養タンクの温度、pH、酸素濃度、及び細胞数のうち少なくとも1つが含まれる、
     請求項10に記載の撮像システム。
  12.  培養タンクから供給される細胞を含む試料を流す流路を撮像すること、
     撮像により得られた画像情報に基づいて、前記流路を流れる前記細胞の培養状態を判定し、判定結果に基づいて前記培養タンクの培養条件を調整すること、
     を含む培養条件調整方法。
PCT/JP2023/014106 2022-04-06 2023-04-05 撮像システム及び培養条件調整方法 WO2023195491A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-063640 2022-04-06
JP2022063640 2022-04-06

Publications (1)

Publication Number Publication Date
WO2023195491A1 true WO2023195491A1 (ja) 2023-10-12

Family

ID=88243123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014106 WO2023195491A1 (ja) 2022-04-06 2023-04-05 撮像システム及び培養条件調整方法

Country Status (1)

Country Link
WO (1) WO2023195491A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016059329A (ja) * 2014-09-18 2016-04-25 富士フイルム株式会社 細胞培養装置および方法
WO2018158947A1 (ja) * 2017-03-03 2018-09-07 株式会社島津製作所 細胞観察装置
JP2018139532A (ja) * 2017-02-28 2018-09-13 株式会社島津製作所 細胞観察装置
US20200110017A1 (en) * 2018-10-09 2020-04-09 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method for determining parameters of a particle
US20200402273A1 (en) * 2019-06-22 2020-12-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Holographic reconstruction method
WO2021261148A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 撮像システム及び撮像装置
JP2022001040A (ja) * 2020-06-19 2022-01-06 株式会社島津製作所 細胞の評価方法及び細胞解析装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015223175A (ja) * 2014-05-30 2015-12-14 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
JP2016059329A (ja) * 2014-09-18 2016-04-25 富士フイルム株式会社 細胞培養装置および方法
JP2018139532A (ja) * 2017-02-28 2018-09-13 株式会社島津製作所 細胞観察装置
WO2018158947A1 (ja) * 2017-03-03 2018-09-07 株式会社島津製作所 細胞観察装置
US20200110017A1 (en) * 2018-10-09 2020-04-09 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method for determining parameters of a particle
US20200402273A1 (en) * 2019-06-22 2020-12-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Holographic reconstruction method
JP2022001040A (ja) * 2020-06-19 2022-01-06 株式会社島津製作所 細胞の評価方法及び細胞解析装置
WO2021261148A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 撮像システム及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI GUOXIAO; WEI MINGJI; SUN JIAN; ZHANG YECHENG; ZHANG RONGBIAO: "Low false positive and accurate detection of yeast cell viability and concentration using an automatic staining and lensfree imaging platform", BIOCHEMICAL AND BIOPHYSICAL RESEARCH COMMUNICATIONS, ELSEVIER, AMSTERDAM NL, vol. 525, no. 3, 6 March 2020 (2020-03-06), Amsterdam NL , pages 793 - 799, XP086121297, ISSN: 0006-291X, DOI: 10.1016/j.bbrc.2020.02.155 *

Similar Documents

Publication Publication Date Title
de Haan et al. Deep-learning-based image reconstruction and enhancement in optical microscopy
Honauer et al. A dataset and evaluation methodology for depth estimation on 4D light fields
Chalfoun et al. MIST: accurate and scalable microscopy image stitching tool with stage modeling and error minimization
CN111954805A (zh) 用于光学组织学图像的分析和远程解译的系统和方法
JP6860064B2 (ja) 細胞観察装置
WO2013164971A1 (ja) X線検査方法及びx線検査装置
CN107084923A (zh) 细胞观察装置以及细胞观察方法
WO2023195491A1 (ja) 撮像システム及び培養条件調整方法
US10908060B2 (en) Method for determining parameters of a particle
WO2023195490A1 (ja) 撮像システム及び細胞濃度調整方法
US20230120464A1 (en) Imaging system and imaging device
JP2020115283A (ja) 特徴量決定方法、学習用データ生成方法、学習用データセット、評価システム、プログラム、及び、学習方法
DE112022002153T5 (de) Vorhersageverfahren für optische korrekturkoeffizienten, vorhersagevorrichtung für optische korrekturkoeffizienten, maschinelles lernverfahren, vorverarbeitungsverfahren für maschinelles lernen und trainiertes lernmodell
CN111902711B (zh) 试样观察装置和试样观察方法
Feshki et al. Deep Learning Empowered Fresnel-based Lensless Fluorescence Microscopy
JP2020057112A (ja) 学習用データ生成方法、学習用データセット、評価システム、プログラム、及び、学習方法
WO2023007828A1 (ja) 試料観察装置及び試料観察方法
JP7147982B2 (ja) 細胞立体形状評価方法及び細胞観察装置
Harris et al. Putting AI to Work: A Practical and Simple Application to Improve 3D X-ray FA
US20230394718A1 (en) Segmentation of computed tomography voxel data using machine learning
JP7397196B2 (ja) 情報処理装置、その作動方法及び作動プログラム
TWI835323B (zh) 用於多工螢光原位雜合影像之獲取及處理的系統及方法
US20240184243A1 (en) Light source control device, operating method of light source control device, operating program of light source control device, and digital holography system
US20240153083A1 (en) Cell quality evaluation apparatus, cell quality evaluation method, and program
US20240044771A1 (en) Method for characterising sperm cells

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23784775

Country of ref document: EP

Kind code of ref document: A1