WO2021261140A1 - 細胞処理装置、学習装置、および学習済モデルの提案装置 - Google Patents

細胞処理装置、学習装置、および学習済モデルの提案装置 Download PDF

Info

Publication number
WO2021261140A1
WO2021261140A1 PCT/JP2021/019472 JP2021019472W WO2021261140A1 WO 2021261140 A1 WO2021261140 A1 WO 2021261140A1 JP 2021019472 W JP2021019472 W JP 2021019472W WO 2021261140 A1 WO2021261140 A1 WO 2021261140A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
cell
unit
trained model
laser irradiation
Prior art date
Application number
PCT/JP2021/019472
Other languages
English (en)
French (fr)
Inventor
潤一 松本
忠夫 森下
千晴 田部井
Original Assignee
株式会社片岡製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社片岡製作所 filed Critical 株式会社片岡製作所
Priority to EP21828918.9A priority Critical patent/EP4163360A4/en
Priority to US18/011,911 priority patent/US20230242862A1/en
Publication of WO2021261140A1 publication Critical patent/WO2021261140A1/ja

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M33/00Means for introduction, transport, positioning, extraction, harvesting, peeling or sampling of biological material in or from the apparatus
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M47/00Means for after-treatment of the produced biomass or of the fermentation or metabolic products, e.g. storage of biomass
    • C12M47/04Cell isolation or sorting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell processing device, a learning device, and a device for proposing a trained model.
  • pluripotent cells such as iPS cells (induced pluripotent stem cells) and ES cells (embryonic stem cells) and use them for regenerative medicine and drug discovery.
  • iPS cells induced pluripotent stem cells
  • ES cells embryonic stem cells
  • some of the proliferated pluripotent cells may differentiate into other cells.
  • some of the differentiated cells may differentiate into untargeted cells.
  • Patent Document 1 the removal of cells other than the target cells is currently being carried out manually.
  • this removal operation has a problem that it takes time and effort, for example, to be carried out under a microscope, and the quality of cells and the like obtained varies greatly depending on the technical level of the operator (Patent Document 1).
  • the present invention provides a cell processing apparatus capable of detecting a target cell using a learned model and processing the detected target cell.
  • the cell processing apparatus of the present invention is a cell processing apparatus used for cell processing. It is equipped with an observation unit, a laser irradiation unit, and a control unit.
  • the observation unit can image cells in a cell culture device, and can image cells.
  • the laser irradiation unit can irradiate the laser into the cell culture device.
  • the control unit includes a detection unit, an irradiation area setting unit, and a laser irradiation control unit.
  • the detection unit Target cells or non-target cells in the image data are detected from the image data including the cells imaged by the observation unit and the trained model capable of detecting the target cells or non-target cells.
  • the irradiation area setting unit is A region in which the target cells are present or a region in which the non-target cells are not present is set as a laser irradiation region by the laser irradiation unit.
  • the laser irradiation control unit is The laser irradiation unit irradiates the laser irradiation region in the cell culture device with a laser to process the target cells.
  • the learning device of the present invention is a learning device capable of bidirectional communication with the cell processing device of the present invention. Equipped with a learning department The learning unit Machine learning is performed using the teacher data that is a combination of the image data captured by the cell processing apparatus and the image data in which the region in which the target cell exists is specified in the image data, and the image data including the cells is performed. Generate a trained model for detecting target cells in.
  • the proposed device of the present invention is a device for proposing a trained model used for detecting a target cell. It includes a storage unit, a reception unit, an acquisition unit, a detection unit, an accuracy examination unit, and a proposal output unit.
  • the storage unit is Stores a plurality of trained models generated by machine learning using teacher data that is a combination of image data including target cells and image data in which the region in which the target cells exist is specified in the image data. death,
  • the receiver is Receives image data containing cells and The acquisition unit In the image data received by the receiving unit, the image data in which the region where the target cell exists is specified is acquired.
  • the detection unit The target cell in the image data is detected from the image data received by the receiving unit and each trained model stored in the storage unit.
  • the accuracy examination unit The accuracy of each trained model is obtained by comparing the region where the target cells detected using each trained model exist with the image data in which the region where the target cells acquired by the acquisition unit exists is specified.
  • the proposed output unit is When there is a trained model that satisfies the predetermined accuracy, the proposal information including the information of the trained model that satisfies the predetermined accuracy is output.
  • target cells can be processed. Therefore, according to the present invention, for example, the cost in cell treatment can be reduced, and the variation in the quality of cell treatment can be suppressed.
  • FIG. 1 is a block diagram showing a configuration of an example of a cell processing system including the cell processing device, the learning device, and the proposed device of the first embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the control unit in the cell processing apparatus of the first embodiment.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the learning device of the first embodiment.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the proposed device of the first embodiment.
  • FIG. 5 is a flowchart showing the configuration of an example of the cell treatment method and program of the first embodiment.
  • FIG. 6 is a flowchart showing the configuration of an example of the learning method and the program of the first embodiment.
  • FIG. 7 is a flowchart showing the configuration of the proposed method of the first embodiment and an example of the program.
  • cell means, for example, an isolated cell, a cell mass (spheroid) composed of cells, a tissue, or an organ.
  • the cell may be, for example, a cultured cell or a cell isolated from a living body.
  • the cell mass, tissue or organ may be, for example, a cell mass, cell sheet, tissue or organ prepared from the cell, or a cell mass, tissue or organ isolated from a living body.
  • the cells are preferably cells that adhere in an extracellular matrix (extracellular matrix) -dependent manner.
  • treatment of cells means treatment of cells, for example, removal of unnecessary cells by lethal (killing) of cells, release of cells from a cell culture vessel, selection of necessary cells, and the like. Processing such as shape processing of cell aggregates such as cell sheets and organs can be mentioned.
  • the cell to be treated may be the target cell, the non-target cell, or a cell that differentiates (changes) into the non-target cell or the target cell in the future.
  • FIGS. 1 to 7 the same parts may be designated by the same reference numerals and the description thereof may be omitted.
  • the structure of each part may be shown in a simplified manner as appropriate, and the dimensional ratio of each part may be shown schematically, which is different from the actual one.
  • FIG. 1 is a block diagram showing a cell processing system 100 including a cell processing device 1, a learning device 2, a learned model database (learned model DB) 3, and a proposed device 4 of the present embodiment.
  • the cell processing system 100 includes a cell processing device 1, a learning device 2, a learned model DB 3, and a proposed device 4.
  • the cell processing device 1 includes an observation unit 11, a laser irradiation unit 12, and a control unit 13.
  • the control unit 13 includes a detection unit 13a, an irradiation area setting unit 13b, and a laser irradiation control unit 13c.
  • the learning device 2 includes a learning unit 21.
  • the proposal device 4 includes a reception unit 41, an acquisition unit 42, a detection unit 43, an accuracy examination unit 44, and a proposal output unit 45.
  • the cell processing device 1, the learning device 2, the learned model DB 3, and the proposed device 4 can be connected via the communication network 5.
  • the control unit 13, the learning device 2, and the proposed device 4 in the cell processing device 1 of the present embodiment may be incorporated in a server or the like as a personal computer or a system in which the program of the present invention is installed.
  • the cell processing device 1, the learning device 2, the trained model DB 3, and the proposed device 4 can be connected to an external terminal of the system administrator via the communication network 5, and system management.
  • the person may manage the cell processing device 1, the learning device 2, the trained model DB 3, and the proposed device 4 from an external terminal.
  • the cell processing apparatus 1 included in the cell processing system 100 is one, but may be a plurality.
  • the communication line network 5 is not particularly limited, and a known network can be used. For example, it may be wired or wireless. Examples of the communication line network 5 include an Internet line, WWW (World Wide Web), telephone line, LAN (Local Area Network), WiFi (Wireless Fidelity), and the like.
  • the communication network 5 is preferably configured to be capable of bidirectional communication.
  • the observation unit 11 may be capable of imaging cells in the cell culture device.
  • the observation unit 11 includes, for example, an optical observation device.
  • the optical observation apparatus include a brightfield microscope, a stereoscopic microscope, a phase difference microscope, a differential interference microscope, a polarizing microscope, a fluorescence microscope, a confocal laser microscope, a total reflection illumination fluorescence microscope, and a Raman microscope.
  • Examples of the cell culture device include a substrate, a dish, a plate, and a flask (cell culture flask) capable of culturing cells.
  • the size, volume, material, presence or absence of adhesive treatment, etc. of the cell culture device can be appropriately determined according to the type and amount of cells to be cultured in the cell culture device.
  • the bottom surface of the cell culture device may be substantially flat or flat, or may have irregularities.
  • the material of the cell culture device is not particularly limited, and examples thereof include a material that transmits a laser irradiated by a laser irradiation unit described later, and specific examples thereof include plastic and glass that transmit a laser.
  • the plastics are, for example, polystyrene-based polymers, acrylic-based polymers (polymethylmethacrylate (PMMA), etc.), polyvinylpyridine-based polymers (poly (4-vinylpyridine), 4-vinylpyridine-styrene copolymer, etc.), silicone-based polymers.
  • Polymers (polydimethylsiloxane, etc.), polyolefin-based polymers (polyethylene, polypropylene, polymethylpentene, etc.), polyester-based polymers (polyethylene terephthalate (PET), polyethylene naphthalate (PEN), etc.), polycarbonate-based polymers, epoxy-based polymers, etc. can give.
  • the cell culture device has one or more cell culture areas.
  • the cell culture device can also be said to have, for example, a plurality of wells.
  • the cell culture device is in direct or indirect contact with cells on the bottom surface thereof, for example.
  • the direct contact for example, the cell is in contact with the bottom surface of the cell culture device.
  • an intervening layer is present on the cell culture device, and the cells are in contact with the intervening layer.
  • the intervening layer may be, for example, a cell base material layer containing a cell culture base material, a photothermal conversion layer capable of converting light into heat, or the like.
  • the intervening layer may include, for example, the cell substrate layer and the photothermal conversion layer.
  • the photothermal conversion layer is laminated on the bottom surface of the cell culture device, and the cell base material layer is laminated on the photothermal conversion layer.
  • the cell culture substrate means, for example, a substance that serves as a scaffold for cells when culturing cells.
  • the cell culture substrate include an extracellular matrix (extracellular matrix) or a substance having a function as a cell scaffold.
  • the extracellular substrate is, for example, elastin; entactin; type I collagen, type II collagen, type III collagen, type IV collagen, type V collagen, type VII collagen and other collagen; tenesin; fibrillin; fibronectin; laminin; vitronectin.
  • Proteoglycan composed of sulfated glucosaminoglycan such as chondroitin sulfate, heparan sulfate, keratane sulfate, dermatane sulfate and core protein; Noglycan; Synthemax (registered trademark, vitronectin derivative), Matrigel (registered trademark, laminin, type IV collagen, heparin sulfate proteoglycan, mixture of entactin / nidgen, etc.) and the like, and laminin is preferable.
  • Synthemax registered trademark, vitronectin derivative
  • Matrigel registered trademark, laminin, type IV collagen, heparin sulfate proteoglycan, mixture of entactin / nidgen, etc.
  • the laminin is, for example, laminin 111, laminin 121, laminin 211, laminin 213, laminin 222, laminin 311 (laminin 3A11), laminin 332 (laminin 3A32), laminin 321 (laminin 3A21), laminin 3B32, laminin 411, laminin 421. , Laminin 423, Laminin 521, Laminin 522, Laminin 523 and the like.
  • the three numbers in each laminin are the names of the constituent subunits of the ⁇ chain, ⁇ chain, and ⁇ chain, respectively, from the beginning.
  • laminin 111 is composed of an ⁇ 1 chain, a ⁇ 1 chain, and a ⁇ 1 chain.
  • laminin 3A11 is composed of an ⁇ 3A chain, a ⁇ 1 chain, and a ⁇ 1 chain.
  • the cell culture substrate may contain a peptide fragment of the protein or a fragment of the sugar chain.
  • the peptide fragment of the protein may be, for example, a fragment of laminin.
  • the laminin fragment include the above-mentioned laminin fragment, and specific examples thereof include laminin 211-E8, laminin 311-E8, laminin 411-E8, and laminin 511-E8.
  • the laminin 211-E8 is composed of fragments of the ⁇ 2 chain, ⁇ 1 chain, and ⁇ 1 chain of laminin.
  • the laminin 311-E8 is composed of fragments of the ⁇ 3 chain, ⁇ 1 chain, and ⁇ 1 chain of laminin.
  • the laminin 411-E8 is composed of fragments of the ⁇ 4 chain, ⁇ 1 chain, and ⁇ 1 chain of laminin.
  • the laminin 511-E8 is composed of, for example, fragments of the ⁇ 5 chain, ⁇ 1 chain, and ⁇ 1 chain of laminin.
  • the cell culture substrate can be indirectly denatured by irradiating the photothermal conversion layer with light (laser). Specifically, the indirect denaturation occurs when the irradiated light is converted into heat and the heat energy changes the structure of the cell culture substrate. That is, the cell culture substrate is denatured by the heat generated by the light irradiation.
  • the cell base material layer is one layer or a plurality of layers.
  • the cell base material layer may contain other components in addition to the cell culture base material.
  • the other components include buffers, salts, growth factors (cell growth factors), cytokines, hormones and the like.
  • the photothermal conversion layer is a layer capable of converting light into heat.
  • the photothermal conversion layer contains, for example, a molecule capable of converting light into heat (photothermal conversion molecule).
  • the photothermal conversion molecule is preferably composed of, for example, a polymer (polymer) containing a dye structure (chromophore) that absorbs the wavelength of light L irradiated by the laser irradiation unit 12 described later. It is preferable that the photothermal conversion molecule can be easily coated on the cell culture device.
  • the dye structure that absorbs light L is, for example, a derivative of an organic compound such as azobenzene, diarylethene, spiropyran, spiroxazine, flugide, leuco dye, indigo, carotenoid (carotenoid, etc.), flavonoid (anthocyanin, etc.), quinoid (anthocyanin, etc.).
  • an organic compound such as azobenzene, diarylethene, spiropyran, spiroxazine, flugide, leuco dye, indigo, carotenoid (carotenoid, etc.), flavonoid (anthocyanin, etc.), quinoid (anthocyanin, etc.).
  • Examples of the skeleton constituting the polymer include acrylic polymers, polystyrene polymers, polyolefin polymers, polyvinyl acetate and polyvinyl chloride, polyolefin polymers, polycarbonate polymers, epoxy polymers and the like.
  • the photothermal conversion molecule for example, represented by the following formula (1), poly [methyl methacrylate -co- (di sparse yellow 7 methacrylate)] ((C 5 H 8 O 2) m ( C 23 H 20 N 4 O 2 ) n ) can be mentioned.
  • formula (1) as the structure of azobenzene in the polymer, in addition to the unsubstituted azobenzene, various variations of the structure modified with a nitro group, an amino group, a methyl group and the like may be adopted.
  • m and n are molar percentages. The sum of m and n is, for example, 100 mol%. The m and n may be the same or different, for example.
  • the photothermal conversion layer may contain, for example, one type of photothermal conversion molecule or may contain a plurality of types of photothermal conversion molecules.
  • the photothermal conversion layer is one layer or a plurality of layers. Further, in the cell culture device, the photothermal conversion layer may be arranged so as to be in contact with the cell base material layer, or may be arranged so as not to be in contact with the cell base material layer. In the latter case, the photothermal conversion layer and the cell substrate layer may be thermally connected. Specifically, a heat conductive layer that conducts the heat generated in the photothermal conversion layer to the cell base material layer is formed between the photothermal conversion layer and the cell base material layer. The heat conductive layer contains molecules having high thermal conductivity such as metal.
  • the cell substrate layer may include a region to which cells can adhere and a region in which cell adhesion is inhibited.
  • the description of International Publication No. 2020/0071332 can be incorporated and incorporated as a part of the present specification.
  • the laser irradiation unit 12 may be any as long as it can irradiate the inside of the cell culture device with a laser, and examples thereof include a laser irradiation device.
  • the laser irradiation device includes, for example, a laser light source, an optical fiber, and a laser emitting unit.
  • the control unit 13 is connected to the laser irradiation unit 12, and more specifically, is connected to the laser light source and the laser emitting portion of the laser irradiation unit 12.
  • a light guide unit such as a mirror or a MEMS (Micro Electro Mechanical Systems) may be used to guide the light.
  • the laser emitting unit may include, for example, a galvano mirror and an f ⁇ lens.
  • the laser light source is, for example, a device that oscillates a continuous wave laser or a pulse laser.
  • the laser light source may be, for example, a high frequency laser having a long pulse width, which is close to a continuous wave.
  • the output of the laser oscillated from the laser light source is not particularly limited, and can be appropriately determined, for example, according to the absorption wavelength of the photothermal conversion molecule in the above-mentioned photothermal conversion layer.
  • the wavelength of the laser oscillated by the laser light source is not particularly limited, and examples thereof include visible light lasers such as 405 nm, 450 nm, 520 nm, 532 nm, and 808 nm, and infrared lasers.
  • the laser light source may be a continuous wave diode laser having a wavelength in the vicinity of 405 nm and having a maximum output of 5 W.
  • FIG. 2 illustrates a block diagram showing the hardware configuration of the control unit 13 of the cell processing device 1.
  • the control unit 13 of the cell processing device 1 is, for example, a CPU (central processing unit) 131, a memory 132, a bus 133, a storage device 134, an input device 136, a display 137, a communication device 138, and an I / O (input-output) interface. It has 139 and the like.
  • Each part of the control unit 13 is connected via the bus 133 by each interface (I / F).
  • the CPU 131 operates in cooperation with other configurations by, for example, a controller (system controller, I / O controller, etc.) and takes charge of overall control of the control unit 13.
  • the control unit 13 for example, the program 135 of the present invention and other programs are executed by the CPU 131, and various information is read and written.
  • the CPU 131 functions as a detection unit 13a, an irradiation area setting unit 13b, and a laser irradiation control unit 13c.
  • the control unit 13 includes a CPU as an arithmetic unit, but may include other arithmetic units such as a GPU (Graphics Processing Unit) and an APU (Accelerated Processing Unit), or may include a CPU and a combination thereof. good.
  • the CPU 131 functions as, for example, each unit other than the storage unit in the learning device 2 and the proposed device 4.
  • the memory 132 includes, for example, the main memory.
  • the main memory is also referred to as a main storage device.
  • the memory 132 reads, for example, various operation programs such as the program 135 of the present invention stored in the storage device 134 (auxiliary storage device) described later. Then, the CPU 131 reads data from the memory 132, decodes it, and executes the program.
  • the main memory is, for example, a RAM (random access memory).
  • the memory 132 further includes, for example, a ROM (read-only memory).
  • the bus 133 can also be connected to the observation unit 11 and the laser irradiation unit 12.
  • the control unit 13 can be connected to the observation unit 11 and the laser irradiation unit 12 by, for example, the I / O interface 139 connected to the bus 133.
  • the bus 133 can also be connected to an external device such as the learning device 2, the trained model DB 3, and the proposed device 4.
  • the external device include an external storage device (external database, etc.), a printer, and the like.
  • the control unit 13 can be connected to the communication line network 5 by, for example, the communication device 138 connected to the bus 133, and can also be connected to the external device via the communication line network 5.
  • the cell processing device 1 can also be connected to the learning device 2, the learned model DB 3, and the proposed device 4 via the communication device 138 of the control unit 13 and the communication network 5.
  • the storage device 134 is also referred to as a so-called auxiliary storage device with respect to the main memory (main storage device), for example. As described above, the storage device 134 stores an operation program including the program 135 of the present invention.
  • the storage device 134 includes, for example, a storage medium and a drive for reading and writing to the storage medium.
  • the storage medium is not particularly limited, and may be, for example, an internal type or an external type, and may be an HD (hard disk), FD (floppy (registered trademark) disk), CD-ROM, CD-R, CD-RW, MO, etc. Examples thereof include a DVD, a flash memory, a memory card, and the like, and the drive is not particularly limited.
  • the storage device 134 may be, for example, a hard disk drive (HDD) in which the storage medium and the drive are integrated.
  • HDD hard disk drive
  • the control unit 13 further includes, for example, an input device 136 and a display 137.
  • the input device 136 include pointing devices such as touch panels, trackpads, and mice; keyboards; imaging means such as cameras and scanners; card readers such as IC card readers and magnetic card readers; voice input means such as microphones; and the like. Be done.
  • the display 137 include display devices such as LED displays and liquid crystal displays. In the present embodiment, the input device 136 and the display 137 are configured separately, but the input device 136 and the display 137 may be integrally configured like a touch panel display.
  • FIG. 3 illustrates a block diagram showing the hardware configuration of the learning device 2.
  • the learning device 2 has, for example, a CPU (central processing unit) 201, a memory 202, a bus 203, a storage device 204, an input device 206, a display 207, a communication device 208, an I / O (input-output) interface 209, and the like.
  • Each part of the learning device 2 is connected via the bus 203 by each interface (I / F).
  • the description of each part of the learning device 2 can be referred to the description of the corresponding part of the control unit 13.
  • the trained model DB3 is a database server in which a plurality of trained models (cell detection models) capable of detecting target cells or non-target cells are stored, as described later.
  • the hardware configuration of the trained model DB 3 can be referred to the description of the hardware configuration of the learning device 2.
  • the number of trained models stored in the trained model DB 3 is one or more, and the latter is preferable.
  • the cell processing system 100 of the present embodiment proposes a trained model more suitable for the target cells in the proposed device 4 described later, for example. can.
  • the trained model may be stored in, for example, the storage device 204 of the learning device 2 and / or the storage device 404 of the proposed device 4.
  • FIG. 4 illustrates a block diagram showing the hardware configuration of the proposed device 4.
  • the proposed device 4 has, for example, a CPU (central processing unit) 401, a memory 402, a bus 403, a storage device 404, an input device 406, a display 407, a communication device 408, an I / O (input-output) interface 409, and the like.
  • Each part of the proposed device 4 is connected via the bus 403 by each interface (I / F).
  • the description of each part of the proposed device 4 can be referred to the description of the corresponding part of the control unit 13.
  • the user of the cell processing device 1 inputs at least one of the cell culture conditions and the imaging conditions in the cell culture device using the input device 136 of the cell processing device 1. .
  • an identifier QR code (registered trademark), bar code, etc.) associated with at least one of the data of the culture condition and the imaging condition of the cell culture device is printed on the cell culture device
  • the cell processing device 1 May identify the identifier printed on the cell culture device and acquire the data associated with the identifier from a storage device such as a database.
  • the cell processing apparatus 1 may acquire a part or all of the imaging conditions.
  • the culture conditions include, for example, cell strain name, cell type, cell origin, cell passage number, cell seeding density at the start of culture, medium, culture days, cell culture vessel type, and extracellular matrix type. , Worker name, worker's qualification, and years of worker experience.
  • the culture conditions are, for example, one or more.
  • the imaging conditions include, for example, the type of the image sensor, the sensitivity of the image sensor, the exposure time, the aperture value, the lens magnification, the type of the light source, the amount of light, the illumination time, the observation method, and the like.
  • the type of the image sensor is, for example, the type of light that can be detected by an element such as a monochrome image sensor or a color image sensor; the number of pixels of the image sensor; CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor). ) And other types of sensors.
  • the sensitivity of the image sensor is, for example, gain or ISO sensitivity.
  • Examples of the type of the light source include a light emitting diode (LED) and a halogen lamp.
  • the observation method means an observation method of the observation unit 11, and examples thereof include a dark field observation method, a phase contrast observation method, a differential interference contrast observation method, a polarization observation method, a fluorescence observation method, a relief contrast observation method, and a dispersion observation method. can give.
  • the observation unit 11 of the cell processing apparatus 1 takes an image of the inside of the cell culture device and acquires an image containing cells (S11).
  • the observation unit 11 images a part or the entire surface of the cell culture device.
  • the imaging position by the observation unit 11 may be, for example, a position designated in advance or a position designated by the user.
  • the observation unit 11 captures, for example, one or a plurality of images.
  • the observation unit 11 preferably takes an image so that the cells in the cell culture device are included in the image taken, but may take an image of a region not containing the cells.
  • the observation unit 11 stores the data of the captured image (target image) in the memory 132 or the storage device 134 in association with the culture condition and the imaging condition.
  • the observation unit 11 may store the target image data in association with information such as an identification number such as a serial number of the cell processing apparatus 1.
  • the cell processing device 1 is a communication device of the control unit 13.
  • Information such as the target image data and the conditions associated with the target image data may be transmitted from the 138 to the learning device 2 or the proposed device 4 via the communication network 5, or the target image data and the target image data and the proposed device 4.
  • Information such as conditions associated with the target image data may be stored in the database server.
  • the cell processing apparatus 1 may transmit, for example, the image data in which the region in which the target cell exists is associated with the target image data in the target image data.
  • the region in which the target cell is present is specified, for example, by acquiring data input by the user of the cell processing apparatus 1.
  • a region for performing laser irradiation processing by the laser irradiation unit 12 is set from the target image data, and laser irradiation is performed (S12 to S14).
  • the detection unit 13a detects the target cell or the non-target cell in the target image data from the target image data captured by the observation unit 11 and the learned model capable of detecting the target cell or the non-target cell (the target cell or the non-target cell in the target image data).
  • the trained model may be, for example, a trained model stored in the cell processing device 1 or a trained model stored outside the cell processing device 1. In the former case, for example, the detection unit 13a uses the trained model stored in the storage device 134. In the latter case, the detection unit 13a acquires the trained model stored in the trained model DB 3 and uses it. The method for manufacturing the trained model will be described later.
  • the cell detection may be, for example, cell identification, cell discrimination, cell extraction, cell estimation, cell identification, or the like.
  • the detection unit 13a may use one or more trained models.
  • the detection unit 13a uses a plurality of trained models, the detection unit 13a detects target cells or non-target cells in the target image data using, for example, each trained model, and detects by each trained model.
  • the sum of overlapping regions or regions of target cells or non-target cells in the above-mentioned target image data, or a part of these regions is detected as a region in which target cells or non-target cells are present.
  • the target cell and the non-target cell can be appropriately set according to the purpose of use of the user.
  • the target cells or non-target cells are pluripotent cells such as artificial pluripotent stem (iPS) cells and embryonic stem (ES) cells; nerve cells such as dopamine nerve cells, nerve stem cells, astrosites, glial cells and the like.
  • pluripotent cells such as artificial pluripotent stem (iPS) cells and embryonic stem (ES) cells
  • nerve cells such as dopamine nerve cells, nerve stem cells, astrosites, glial cells and the like.
  • Neural system cells such as corneal cells, retinal cells, photoreceptor cells
  • myocardial system cells such as myocardial cells
  • Blood / immune system cells such as liver cells; Endocrine cells such as pancreatic ⁇ cells and cells constituting the pituitary gland; Kidney / urinary tract cells such as Neflon precursor cells; Cartilage, skeleton Examples include cells of the motor system such as muscles.
  • the target cell and the non-target cell may be cells of different origin, such as cells derived from a healthy person and cells derived from a diseased patient.
  • the irradiation area setting unit 13b sets the area where the target cells exist as the laser irradiation area by the laser irradiation unit 12 (S13).
  • the irradiation region setting unit 13b sets the region where the target cell is detected, that is, the region where the target cell is present as the laser irradiation region.
  • the irradiation region setting unit 13b irradiates the region where the non-target cells are not detected, that is, the region where the target cells are present, with the laser.
  • the laser irradiation region can be set, for example, by setting coordinates (XY coordinates or XYZ coordinates) on the bottom surface of the cell culture device and designating a region in front coordinate or plane coordinates.
  • the laser irradiation region may be set so that the target cells can be processed, for example, by irradiating the laser irradiation region with laser light from the laser irradiation unit 12.
  • the laser irradiation region may be set as a region including the target cells.
  • the laser irradiation region is a region corresponding to the region containing the target cells, specifically, the photothermal region immediately below the region containing the target cells. It may be set as the corresponding area of the conversion layer.
  • the laser irradiation control unit 13c irradiates the laser irradiation region in the cell culture apparatus with the laser irradiation unit 12 to process the target cells (S14). Specifically, the laser irradiation control unit 13c controls the irradiation position of the laser irradiation unit 12 and the ON / OFF of the laser emission, so that the laser irradiation unit 12 controls the laser irradiation region in the cell culture apparatus. Is irradiated with a laser to treat the target cells.
  • the cell processing device 1 ends the processing.
  • the cell processing apparatus 1 uses the laser irradiation region set by the irradiation region setting unit 13b as it is, but the present invention is not limited to this, and the laser irradiation region is configured to be adjustable. May be good.
  • the control unit 13 of the cell processing apparatus 1 includes an irradiation region adjusting unit that adjusts the position of the boundary of the laser irradiation region based on preset region adjustment information.
  • the area adjustment information is information that adjusts the position of the boundary of the laser irradiation area and reduces or enlarges the laser irradiation area.
  • the region adjustment information is input in advance by, for example, the user of the cell processing apparatus 1.
  • the region adjustment information includes, for example, information that specifies enlargement or reduction of the laser irradiation region and information that specifies a distance to move the boundary of the laser irradiation region in the normal direction of the boundary.
  • the irradiation area adjustment unit expands or contracts the laser irradiation area by moving the position of the boundary of the laser irradiation area in the normal direction by a designated distance based on the area adjustment information. ..
  • the laser irradiation control unit 13c irradiates the adjusted laser irradiation region in the cell culture apparatus with the laser irradiation unit 12 to process the target cells.
  • the cell processing device 1 acquires the target image data used for learning.
  • the target image data is acquired by using the cell processing device 1 provided with the control unit 13, but the present invention is not limited to this, and the cell processing for acquiring the target image data used for learning is obtained.
  • the device may include an observation unit 11 and a laser irradiation unit 12.
  • the acquisition of the target image data by the cell processing device 1 can be carried out as described above. Then, the cell processing device 1 transmits the target image data and information such as conditions associated with the target image data to the learning device 2 via the communication network 5.
  • a trained model is generated from the target image data and stored (S21 to S23).
  • the communication device 208 (reception unit) of the learning device 2 receives the target image data captured by the cell processing device 1 and information such as conditions associated with the target image data (S21).
  • the learning device 2 may, for example, refer to the database server as described above. Requesting information such as the target image data and the conditions associated with the target image data, the receiving unit receives the target image data and the conditions associated with the target image data transmitted from the database server. You may receive the information of.
  • the number of the target image data received by the receiving unit is one or more, and the latter is preferable.
  • the learning device 2 may use, for example, the target image data captured by one cell processing device 1 or the target image data captured by a plurality of cell processing devices 1. In the latter case, the learning device 2 is bidirectionally connected to the plurality of cell processing devices 1.
  • the learning unit 21 generates a trained model using the target image data (S22). Specifically, the learning unit 21 sets the region in which the target cell exists and the region in which the non-target cell exists in the target image data as a positive example and a negative example, or a negative example and a positive example, respectively, and performs machine learning. Generates a trained model. First, the learning unit 21 determines in the target image data whether or not there is image data in which the region in which the target cell exists is specified.
  • the image data in which the region in which the target cell is present (data captured by the cell processing apparatus 1) and the region in which the target cell is present are specified.
  • the learning unit 21 uses the teacher data as a set of the image data in which the region in which the target cell exists is not specified and the image data in which the region in which the target cell exists is specified.
  • a trained model is generated by machine learning using the teacher data.
  • the learning unit 21 causes the target cell to generate the trained model prior to generation. From the image data in which the existing region is not specified, the image data in which the region in which the target cell is present is specified is acquired. The acquisition of the image data in which the region in which the target cell exists can be performed, for example, by acquiring the data input by the user of the learning device 2. Then, the learning unit 21 uses the teacher data as a set of image data in which the region in which the target cell exists is not specified and the image data in which the region in which the target cell exists is specified. A trained model is generated by machine learning.
  • Machine learning by the learning unit 21 can be carried out by machine learning.
  • machine learning for example, machine learning using a neural network is preferable.
  • Machine learning using the neural network includes, for example, a convolutional neural network (CNN); a full-thickness convolutional network (FCN) such as U-Net and HED; a hostile generation network (Generative Adversarial Networks: GAN); extreme learning. ⁇ Machine (ELM) etc. can be mentioned.
  • CNN convolutional neural network
  • FCN full-thickness convolutional network
  • GAN hostile generation network
  • ELM extreme learning. ⁇ Machine
  • the logistic regression process may be used as the machine learning.
  • one or more machine learning methods are used.
  • the learning unit 21 When a plurality of machine learning methods are used in the learning of the learning unit 21, the learning unit 21 generates a trained model using each machine learning method, examines the accuracy of each trained model, and sets a preset standard. A trained model that satisfies the conditions may be selected. In this case, the learning unit 21 examines the accuracy of each trained model in the same manner as, for example, the accuracy examination unit 44 and the proposal output unit 45 of the proposal device 4 described later. The learning unit 21 may further improve the accuracy of the generated trained model by, for example, manually or automatically adjusting the hyperparameters of the trained model generated by the learning unit 21. Further, the learning unit 21 may further perform reinforcement learning on the trained model generated by the learning unit 21.
  • the learning unit 21 newly generates a trained model, but when the trained model capable of detecting the target cell is stored in the trained model DB3, the trained model And re-learning may be performed using the target image data or the like received by the receiving unit.
  • the receiving unit receives the trained model that can detect the target cell transmitted from the trained model DB3. Further, the learning unit 21 may perform model compression of the trained model by distillation or the like with respect to the obtained trained model.
  • the learning device 2 stores the obtained trained model (S23).
  • the trained model may be stored in, for example, the memory 202 or the storage device 204 of the learning device 2, or may be stored in a database server outside the learning device 2 such as the trained model DB3.
  • the learning device 2 stores at least one of the imaging condition and the culture condition in association with the trained model.
  • the proposal device 4 described later can propose a trained model with higher accuracy when, for example, a trained model is proposed.
  • the present invention is not limited to this, and the learning device 2 may store the image pickup condition and the culture condition in the trained model without associating them with each other.
  • the learning device 2 of the present embodiment may include, for example, a learned model obtained and a verification unit for verifying the accuracy of the learned model based on the teacher data.
  • a verification unit for verifying the accuracy of the learned model based on the teacher data.
  • the description of the accuracy verification unit 44 and the proposal output unit 45 of the proposal device 4 described later can be referred to.
  • the learning device 2 includes the verification unit, the trained model is generated using a part of the image data received by the receiving unit, and the verification is performed using the rest of the image data received by the receiving unit. Verification by the department may be carried out. Further, if the trained model obtained by the learning unit 21 does not satisfy a certain accuracy in the verification by the verification unit, re-learning may be performed.
  • the description of the proposal output unit 45 of the proposal device 4 described later can be referred to.
  • the cell processing device 1 acquires the target image data used for proposing the trained model.
  • the target image data is acquired by using the cell processing device 1 provided with the control unit 13, but the present invention is not limited to this, and the cell processing for acquiring the target image data used for learning is obtained.
  • the device may include an observation unit 11 and a laser irradiation unit 12.
  • the acquisition of the target image data by the cell processing device 1 can be carried out as described above. Then, the cell processing device 1 transmits the target image data and information such as conditions associated with the target image data to the proposed device 4 via the communication network 5.
  • the receiving unit 41 of the proposed device 4 receives the target image data captured by the cell processing device 1 and information such as conditions associated with the target image data (S41).
  • the proposed device 4 may, for example, refer to the database server as described above. Requesting information such as the target image data and the conditions associated with the target image data, the receiving unit 41 requests the target image data and the conditions associated with the target image data and the target image data transmitted from the database server. You may receive the information of.
  • the number of the target image data received by the receiving unit 41 is one or more, and the latter is preferable.
  • the acquisition unit 42 acquires the image data in which the region in which the target cell exists is specified in the target image data received by the reception unit 41 (S42).
  • the acquisition unit 42 identifies the associated region in which the target cell is present. Acquire the image data that has been created.
  • the acquisition unit 42 is, for example, input by the user of the proposal device 4. Image data in which the region in which the target cell is present is specified is acquired.
  • the detection unit 43 detects the target cell in the target image data from the target image data received by the reception unit 41 and each trained model stored in the trained model DB 3 (S43).
  • the accuracy study unit 44 compares the region in which the target cell detected using each trained model exists with the image data in which the region in which the target cell acquired by the acquisition unit 42 exists is specified. By doing so, the accuracy of each trained model is examined (S44). The accuracy study unit 44 further uses the image data in which the region in which the target cell does not exist detected by each trained model and the region in which the target cell acquired by the acquisition unit 42 does not exist are specified. The accuracy of each trained model may be examined. Examples of the accuracy include accuracy, reproducibility, true positive rate, false positive rate, false negative rate, true negative rate, negative predictive value, specificity and the like.
  • the examination of the accuracy is performed, for example, in a region (target region) in which the target cells detected using each trained model exist or a region in which the target cells detected using each trained model do not exist (target region).
  • the accuracy examination unit 44 for example, for each target image data acquired by the acquisition unit 42, does each pixel in the target region and the non-target region overlap with the pixel in the existing region and the non-existent region?
  • the accuracy examination unit 44 examines the accuracy based on the obtained count, for example.
  • the proposal output unit 45 outputs the proposal information including the information of the trained model satisfying the predetermined accuracy (S45). Specifically, the proposal output unit 45 first determines whether or not the accuracy obtained by the accuracy examination unit 44 satisfies a predetermined accuracy for each trained model. Then, in the case of Yes, that is, when the trained model satisfying the predetermined accuracy exists, the proposal output unit 45 extracts the information of the trained model satisfying the predetermined accuracy. Then, the proposal output unit 45 outputs the information of the extracted learned model to the cell processing device 1 that has transmitted the target image data.
  • the proposed information may include image data in which the target cells are detected by the extracted trained model.
  • the proposed output unit 45 does not extract the information of the trained model satisfying the predetermined accuracy. Then, the proposed output unit 45 outputs to the cell processing device 1 that has transmitted the target image data that there is no trained model that satisfies the conditions.
  • the predetermined accuracy can be appropriately set according to, for example, the processing performed by the cell processing apparatus 1.
  • the predetermined accuracy is set using the accuracy and the reproducibility as an index.
  • the proposal output unit 45 extracts a trained model whose accuracy obtained by the accuracy study unit 44 is equal to or higher than a predetermined numerical value and whose reproducibility is equal to or higher than a predetermined numerical value, and has been learned.
  • the model information is output as the proposed information to the cell processing device 1 that has transmitted the target image data via the communication device 408.
  • the proposed output unit 45 may output to the cell processing device 1 that has transmitted the target image data that there is no trained model that satisfies the condition.
  • the proposal information suggesting the generation of a new trained model may be output.
  • the information such as the imaging condition and the culture condition associated with the target image data, and the information such as the imaging condition and the culture condition associated with the learned model are learned.
  • the present invention is not limited to this, and the imaging conditions and the culture conditions may be used.
  • the proposed device 4 of the present embodiment includes, for example, a model extraction unit that extracts the trained model based on at least one of the imaging condition and the culture condition associated with the target image data.
  • the model extraction unit may, for example, extract the trained model used for the detection unit 43, or may extract the trained model extracted by the proposal output unit 45.
  • the model extraction unit can be used with at least one of the image pickup condition and the culture condition associated with the image data received by the reception unit 41.
  • the trained model suitable for the image data received by the receiving unit 41 is extracted from at least one of the imaging condition and the culture condition associated with each trained model stored in the trained model DB3.
  • the imaging conditions and culture conditions associated with the target image data are matched with the imaging conditions and culture conditions associated with each trained model, and the imaging conditions associated with the target image data are matched. And it can be carried out by extracting a trained model that matches some or all of the culture conditions.
  • the detection unit 43 performs detection in the same manner using the trained model extracted by the model extraction unit.
  • the target cells can be processed. Therefore, according to the present embodiment, for example, the cost in the cell treatment can be reduced, and the variation in the quality of the cell treatment can be suppressed. Further, according to the present embodiment, it is possible to generate a new trained model or an improved trained model using the image data captured by the cell processing apparatus 1 and store it as a database. Since the cell imaged by the cell processing apparatus 1 can be an arbitrary cell, according to the cell processing system 100 of the present embodiment, a learned model for an arbitrary target cell can be generated and accumulated. Therefore, according to the present embodiment, any target cell can be treated. Further, according to the present embodiment, it is possible to reduce the cost in cell treatment in any target cell and suppress the variation in the quality of cell treatment.
  • the program of this embodiment is a program capable of executing the above-mentioned cell processing method, learning method, or proposed method on a computer.
  • the program of this embodiment may be recorded on a computer-readable recording medium, for example.
  • the recording medium is, for example, a non-transitory computer-readable storage medium.
  • the recording medium is not particularly limited, and examples thereof include a random access memory (RAM), a read-only memory (ROM), a hard disk (HD), an optical disk, a floppy disk (registered trademark) disk (FD), and the like.
  • Appendix 1 A cell processing device used to process cells, It is equipped with an observation unit, a laser irradiation unit, and a control unit.
  • the observation unit can image cells in a cell culture device, and can image cells.
  • the laser irradiation unit can irradiate the laser into the cell culture device.
  • the control unit includes a detection unit, an irradiation area setting unit, and a laser irradiation control unit.
  • the detection unit Target cells or non-target cells in the image data are detected from the image data including the cells imaged by the observation unit and the trained model capable of detecting the target cells or non-target cells.
  • the irradiation area setting unit is A region in which the target cells are present or a region in which the non-target cells are not present is set as a laser irradiation region by the laser irradiation unit.
  • the laser irradiation control unit is The laser irradiation unit irradiates the laser irradiation area in the cell culture device with a laser to process the target cells. Cell processing device. (Appendix 2)
  • the control unit includes an irradiation area adjusting unit.
  • the irradiation area adjustment unit is Based on the preset area adjustment information, the position of the boundary of the laser irradiation area is adjusted.
  • the area adjustment information is information that adjusts the position of the boundary of the laser irradiation area and reduces or enlarges the laser irradiation area.
  • the laser irradiation control unit is The laser irradiation unit irradiates the adjusted laser irradiation region in the cell culture device with a laser to process the target cells.
  • the cell processing apparatus according to Appendix 1.
  • the area adjustment information is Information that specifies the enlargement or reduction of the laser irradiation area and Information that specifies the distance to move the boundary of the laser irradiation region in the normal direction of the boundary, and Including The irradiation area adjustment unit is The laser irradiation region is expanded or contracted by moving the position of the boundary of the laser irradiation region in the normal direction by a specified distance based on the region adjustment information.
  • the cell processing apparatus according to Appendix 2.
  • the trained model is generated by performing machine learning using teacher data that is a combination of image data including target cells and image data in which a region in which the target cells are present is specified in the image data.
  • the cell processing apparatus according to any one of Supplementary note 1 to 3, which is a trained model.
  • the cell processing apparatus according to any one of Supplementary note 1 to 4, wherein the treatment is lethal.
  • Appendix 6 A learning device capable of bidirectional communication with the cell processing device according to any one of Supplementary note 1 to 5. Equipped with a learning department The learning unit Machine learning is performed using the teacher data that is a combination of the image data captured by the cell processing apparatus and the image data in which the region in which the target cell exists is specified in the image data, and the image data including the cells is performed. Generate a trained model for detecting target cells in Learning device.
  • the learning device Equipped with a receiver The learning device according to Appendix 6, wherein the receiving unit receives image data captured by the cell processing device.
  • the image data imaged by the cell processing device is associated with at least one of the image data imaging conditions and the cell culture conditions of the image data captured by the cell processing device.
  • the learning device according to Appendix 6 or 7, wherein the learning unit associates the generated trained model with at least one of the imaging condition and the culture condition.
  • the culture conditions include cell strain name, cell type, cell passage number, cell seeding density at the start of culture, medium, culture days, cell culture container type, extracellular matrix type, worker name, and work.
  • the learning device which is at least one condition selected from the group consisting of the possession qualification of the person and the years of experience of the worker.
  • the image pickup condition is at least one condition selected from the group consisting of the type of the image pickup element, the sensitivity of the image pickup element, the exposure time, the aperture value, the lens magnification, the type of the light source, the amount of light, the illumination time, and the observation method.
  • the learning device according to Appendix 8 or 9. (Appendix 11) Equipped with an acquisition department
  • the learning device according to any one of Supplementary note 6 to 10, wherein the acquisition unit acquires image data in which a region in which the target cell exists is specified in the image data captured by the cell processing device.
  • (Appendix 12) Equipped with a verification department The verification unit
  • (Appendix 13) Equipped with a memory The learning device according to any one of Supplementary note 6 to 12, wherein the storage unit stores the trained model.
  • (Appendix 14) The learning device according to any one of Supplementary note 6 to 13, which can communicate bidirectionally with a plurality of cell processing devices.
  • (Appendix 15) It is a device for proposing a trained model used for detecting target cells. It includes a storage unit, a reception unit, an acquisition unit, a detection unit, an accuracy examination unit, and a proposal output unit.
  • the storage unit Stores a plurality of trained models generated by machine learning using teacher data that is a combination of image data including target cells and image data in which the region in which the target cells exist is specified in the image data. death,
  • the receiver is Receives image data containing cells and The acquisition unit In the image data received by the receiving unit, the image data in which the region where the target cell exists is specified is acquired.
  • the detection unit The target cell in the image data is detected from the image data received by the receiving unit and each trained model stored in the storage unit.
  • the accuracy examination unit The accuracy of each trained model is obtained by comparing the region where the target cells detected using each trained model exist with the image data in which the region where the target cells acquired by the acquisition unit exists is specified.
  • the proposed output unit is If there is a trained model that satisfies the predetermined accuracy, the proposal information including the information of the trained model that satisfies the predetermined accuracy is output. Proposed device. (Appendix 16) The proposed output unit is If there is no trained model that meets the specified accuracy, the proposal information that proposes the generation of a new trained model is output. The proposed device according to Appendix 15. (Appendix 17) Equipped with a model extractor Each trained model is associated with at least one of the imaging conditions and cell culture conditions of the image data including the target cells used to generate each trained model. The image data received by the receiving unit is associated with at least one of the image data imaging conditions and the cell culture conditions.
  • the model extraction unit An image received by the receiver from at least one of the imaging conditions and culture conditions associated with the image data received by the receiver and at least one of the imaging conditions and culture conditions associated with each trained model. Extract the trained model suitable for the data and The detection unit The target cell in the image data is detected from the image data received by the receiving unit and the extracted trained model.
  • the proposed device according to Appendix 15 or 16. (Appendix 18) A cell processing method performed by a cell processing device used for cell processing.
  • the cell processing device is Equipped with an observation unit and a laser irradiation unit,
  • the observation unit can image cells in a cell culture device, and can image cells.
  • the laser irradiation unit can irradiate the laser into the cell culture device.
  • the method includes a detection step, an irradiation region setting step, and a laser irradiation control step.
  • the detection step Target cells or non-target cells in the image data are detected from the image data including the cells imaged by the observation unit and the trained model capable of detecting the target cells or non-target cells.
  • the irradiation area setting step A region in which the target cells are present or a region in which the non-target cells are not present is set as a laser irradiation region by the laser irradiation unit.
  • the laser control step is The laser irradiation unit irradiates the laser irradiation area in the cell culture device with a laser to process the target cells. Cell treatment method.
  • the irradiation area adjusting step Based on the preset area adjustment information, the position of the boundary of the laser irradiation area is adjusted.
  • the area adjustment information is information that adjusts the position of the boundary of the laser irradiation area and reduces or enlarges the laser irradiation area.
  • the laser irradiation control step The laser irradiation unit irradiates the adjusted laser irradiation region in the cell culture device with a laser to process the target cells.
  • the area adjustment information is Information that specifies the enlargement or reduction of the laser irradiation area and Information that specifies the distance to move the boundary of the laser irradiation region in the normal direction of the boundary, and Including In the irradiation area adjusting step, The laser irradiation region is expanded or contracted by moving the position of the boundary of the laser irradiation region in the normal direction by a specified distance based on the region adjustment information.
  • the cell treatment method according to Appendix 19. (Appendix 21)
  • the trained model is generated by performing machine learning using teacher data that is a combination of image data including target cells and image data in which a region in which the target cells are present is specified in the image data.
  • Appendix 22 The cell treatment method according to any one of Supplementary note 18 to 21, wherein the treatment is lethal.
  • Appendix 23 It is a learning method executed by the learning device. Including learning process In the learning process, Machine learning is performed using the teacher data that is a combination of the image data captured by the cell processing device and the image data in which the region in which the target cell exists is specified in the image data, and the image data including the cells is used. Generate a trained model to detect target cells, Learning method.
  • Appendix 24 Including the receiving process 23. The learning method according to Appendix 23, wherein in the receiving step, image data captured by the cell processing apparatus is received.
  • the image data imaged by the cell processing device is associated with at least one of the image data imaging conditions and the cell culture conditions of the image data captured by the cell processing device.
  • the learning method according to Appendix 23 or 24, wherein the learning step associates the generated trained model with at least one of the imaging condition and the culture condition.
  • the culture conditions include cell strain name, cell type, cell passage number, cell seeding density at the start of culture, medium, culture days, cell culture container type, extracellular matrix type, worker name, and work.
  • the learning method according to Appendix 25, which is at least one condition selected from the group consisting of the possession qualification of the person and the years of experience of the worker.
  • the image pickup condition is at least one condition selected from the group consisting of the type of the image pickup element, the sensitivity of the image pickup element, the exposure time, the aperture value, the lens magnification, the type of the light source, the amount of light, the illumination time, and the observation method.
  • (Appendix 28) Including acquisition process The learning method according to any one of Supplementary note 23 to 27, wherein in the acquisition step, image data in which a region in which the target cell exists is acquired in the image data captured by the cell processing apparatus.
  • (Appendix 29) Including verification process In the verification step, The learning method according to any one of Supplementary note 23 to 28, which verifies the accuracy of the trained model based on the obtained trained model and the teacher data.
  • (Appendix 30) Equipped with a storage process The learning method according to any one of Supplementary note 23 to 29, wherein the storage step stores the trained model.
  • (Appendix 31) The learning method according to any one of Supplementary note 23 to 30, wherein the cell processing apparatus is a plurality of cell processing apparatus.
  • the receiving process Receives image data containing cells and In the acquisition process, In the image data received in the receiving step, the image data in which the region where the target cell exists is specified is acquired. In the detection step, The target cell in the image data is detected from the image data received in the reception step and each trained model stored in the storage unit. The storage unit is generated by performing machine learning using teacher data that is a combination of image data including target cells and image data in which a region in which the target cells are present is specified in the image data. Store multiple finished models, In the accuracy examination process, By comparing the region in which the target cell is present detected using each trained model stored in the storage unit with the image data in which the region in which the target cell is present acquired in the acquisition step is specified.
  • the proposed output process is If there is a trained model that satisfies the predetermined accuracy, the proposal information including the information of the trained model that satisfies the predetermined accuracy is output. Proposal method. (Appendix 33) In the proposed output process, If there is no trained model that meets the specified accuracy, the proposal information that proposes the generation of a new trained model is output. The proposed method described in Appendix 32. (Appendix 34) Including model extraction process Each trained model is associated with at least one of the imaging conditions and cell culture conditions of the image data including the target cells used to generate each trained model. The image data received in the receiving step is associated with at least one of the image data imaging conditions and the cell culture conditions.
  • model extraction step An image received in the receiving step from at least one of the imaging conditions and the culture conditions associated with the image data received in the receiving step and at least one of the imaging conditions and the culture conditions associated with each trained model. Extract the trained model suitable for the data and In the detection step, The target cell in the image data is detected from the image data received in the reception step and the extracted trained model.
  • target cells can be processed. Therefore, according to the present invention, for example, the cost in cell treatment can be reduced, and the variation in the quality of cell treatment can be suppressed. Therefore, the present invention is extremely useful in the fields of, for example, regenerative medicine and drug discovery.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Sustainable Development (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Cell Biology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

学習済モデルを用いて対象細胞を検出し、検出された対象細胞を処理可能な細胞処理装置を提供する。 本発明の細胞処理装置は、細胞の処理に用いる細胞処理装置であって、 観察ユニットと、レーザ照射ユニットと、制御ユニットとを備え、 前記観察ユニットは、細胞培養器具内の細胞を撮像可能であり、 前記レーザ照射ユニットは、前記細胞培養器具内にレーザを照射可能であり、 前記制御ユニットは、検出部と、照射領域設定部と、レーザ照射制御部とを備え、 前記検出部は、 前記観察ユニットにより撮像された前記細胞を含む画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記画像データにおける対象細胞または対象外細胞を検出し、 前記照射領域設定部は、 前記対象細胞が存在する領域または前記対象外細胞が存在しない領域を、前記レーザ照射ユニットによるレーザ照射領域として設定し、 前記レーザ照射制御部は、 前記レーザ照射ユニットにより、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する。

Description

細胞処理装置、学習装置、および学習済モデルの提案装置
 本発明は、細胞処理装置、学習装置、および学習済モデルの提案装置に関する。
 近年、iPS細胞(induced pluripotent stem cells)およびES細胞(embryonic stem cells)等の多能性細胞から目的の細胞、組織等を分化し、再生医療や創薬に利用することが試みられている。
 前記多能性細胞の維持において、増殖した多能性細胞の一部が他の細胞に分化する場合がある。また、多能性細胞から、目的の細胞等への分化において、分化細胞の一部が、目的としていない細胞に分化する場合がある。
 このような場合、目的の細胞以外の細胞等の除去は、人手で現在実施されている。しかしながら、この除去操作は、例えば、顕微鏡下での実施が必要等の手間がかかる上に、作業者の技術レベルにより得られる細胞等の品質は大きく異なるという問題がある(特許文献1)。
特表2014-509192号公報
 そこで、本発明は、学習済モデルを用いて対象細胞を検出し、検出された対象細胞を処理可能な細胞処理装置を提供する。
 前記目的を達成するために、本発明の細胞処理装置は、細胞の処理に用いる細胞処理装置であって、
観察ユニットと、レーザ照射ユニットと、制御ユニットとを備え、
前記観察ユニットは、細胞培養器具内の細胞を撮像可能であり、
前記レーザ照射ユニットは、前記細胞培養器具内にレーザを照射可能であり、
前記制御ユニットは、検出部と、照射領域設定部と、レーザ照射制御部とを備え、
前記検出部は、
 前記観察ユニットにより撮像された前記細胞を含む画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記画像データにおける対象細胞または対象外細胞を検出し、
前記照射領域設定部は、
 前記対象細胞が存在する領域または前記対象外細胞が存在しない領域を、前記レーザ照射ユニットによるレーザ照射領域として設定し、
前記レーザ照射制御部は、
 前記レーザ照射ユニットにより、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する。
 本発明の学習装置は、前記本発明の細胞処理装置と双方向に通信可能な学習装置であって、
学習部を備え、
前記学習部は、
 前記細胞処理装置により撮像された画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い、細胞を含む画像データにおける対象細胞を検出するための学習済モデルを生成する。
 本発明の提案装置は、対象細胞の検出に用いる学習済モデルの提案装置であって、
記憶部と、受信部と、取得部と、検出部と、精度検討部と、提案出力部とを備え、
前記記憶部は、
 対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルを複数格納し、
前記受信部は、
 細胞を含む画像データを受信し、
前記取得部は、
 前記受信部が受信した画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得し、
前記検出部は、
 前記受信部が受信した画像データと、前記記憶部に格納された各学習済モデルとから、前記画像データにおける対象細胞を検出し、
前記精度検討部は、
 各学習済モデルを用いて検出された対象細胞が存在する領域と、前記取得部により取得された対象細胞が存在する領域が特定された画像データとを比較することにより、各学習済モデルの精度を検討し、
前記提案出力部は、
 所定の精度を満たす学習済モデルが存在する場合、前記所定の精度を満たす学習済モデルの情報を含む提案情報を出力する。
 本発明によれば、対象細胞を処理できる。このため、本発明によれば、例えば、細胞処理におけるコストを低減でき、また、細胞処理の品質のばらつきを抑制できる。
図1は、実施形態1の細胞処理装置、学習装置、および提案装置を備える細胞処理システムの一例の構成を示すブロック図である。 図2は、実施形態1の細胞処理装置における制御ユニットのハードウェア構成の一例を示すブロック図である。 図3は、実施形態1の学習装置のハードウェア構成の一例を示すブロック図である。 図4は、実施形態1の提案装置のハードウェア構成の一例を示すブロック図である。 図5は、実施形態1の細胞処理方法およびプログラムの一例の構成を示すフローチャートである。 図6は、実施形態1の学習方法およびプログラムの一例の構成を示すフローチャートである。 図7は、実施形態1の提案方法およびプログラムの一例の構成を示すフローチャートである。
 本発明において、「細胞」は、例えば、単離された細胞、細胞から構成される細胞塊(スフェロイド)、組織、または臓器を意味する。前記細胞は、例えば、培養細胞でもよいし、生体から単離した細胞でもよい。また、前記細胞塊、組織または臓器は、例えば、前記細胞から作製した細胞塊、細胞シート、組織または臓器でもよいし、生体から単離した細胞塊、組織または臓器でもよい。前記細胞は、細胞外基質(細胞外マトリックス)依存的に接着する細胞が好ましい。
 本発明において、「細胞の処理」は、細胞に対する処理を意味し、例えば、細胞の致死(死滅)、細胞の細胞培養容器からの遊離等による、不要な細胞の除去、必要な細胞の選別、細胞シート、臓器等の細胞の集合体の形状加工等の処理があげられる。前記「細胞の処理」において、処理対象の細胞は、前記対象細胞でもよいし、前記対象外細胞でもよいし、将来的に対象外細胞または対象細胞に分化(変化)する細胞でもよい。
 以下、本発明の細胞処理装置、学習装置、および提案装置を備える細胞処理システムについて、図面を参照して詳細に説明する。ただし、本発明は、以下の説明に限定されない。なお、以下の図1~図7において、同一部分には、同一符号を付し、その説明を省略する場合がある。また、図面においては、説明の便宜上、各部の構造は適宜簡略化して示す場合があり、各部の寸法比等は、実際とは異なり、模式的に示す場合がある。
(実施形態1)
 本実施形態は、本発明の細胞処理装置、学習装置、および提案装置を備える細胞処理システムの一例である。図1は、本実施形態の細胞処理装置1、学習装置2、学習済モデルデータベース(学習済モデルDB)3、および提案装置4を備える細胞処理システム100を示すブロック図である。図1に示すように、細胞処理システム100は、細胞処理装置1と、学習装置2と、学習済モデルDB3と、提案装置4とを備える。また、図1に示すように、細胞処理装置1は、観察ユニット11と、レーザ照射ユニット12と、制御ユニット13とを備える。制御ユニット13は、検出部13aと、照射領域設定部13bと、レーザ照射制御部13cとを備える。また、図1に示すように、学習装置2は、学習部21を備える。提案装置4は、受信部41と、取得部42と、検出部43と、精度検討部44と、提案出力部45とを備える。図1に示すように、細胞処理装置1、学習装置2、学習済モデルDB3、および提案装置4は、通信回線網5を介して接続可能である。本実施形態の細胞処理装置1における制御ユニット13、学習装置2、および提案装置4は、本発明のプログラムがインストールされたパーソナルコンピュータまたはシステムとしてサーバ等に組込まれてもよい。また、図示していないが、細胞処理装置1、学習装置2、学習済モデルDB3、および提案装置4は、通信回線網5を介して、システム管理者の外部端末とも接続可能であり、システム管理者は、外部端末から細胞処理装置1、学習装置2、学習済モデルDB3、および提案装置4の管理を実施してもよい。なお、本実施形態において、細胞処理システム100に含まれる細胞処理装置1は、1つであるが、複数でもよい。
 通信回線網5は、特に制限されず、公知のネットワークを使用でき、例えば、有線でもよいし、無線でもよい。通信回線網5は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、WiFi(Wireless Fidelity)等があげられる。通信回線網5は、双方向に通信可能に構成されていることが好ましい。
(細胞処理装置の構成)
 観察ユニット11は、細胞培養器具内の細胞を撮像可能であればよい。観察ユニット11は、例えば、光学観察装置があげられる。前記光学観察装置は、例えば、明視野顕微鏡、実体顕微鏡、位相差顕微鏡、微分干渉顕微鏡、偏光顕微鏡、蛍光顕微鏡、共焦点レーザ顕微鏡、全反射照明蛍光顕微鏡、ラマン顕微鏡等があげられる。
 前記細胞培養器具は、例えば、細胞を培養可能な基板、ディッシュ、プレート、フラスコ(細胞培養フラスコ)等があげられる。前記細胞培養器具の大きさ、容積、材質、接着処理の有無等は、前記細胞培養器具で培養する細胞の種類および量に応じて適宜決定できる。前記細胞培養器具の底面は、略平面状または平面状でもよいし、凹凸を有してもよい。
 前記細胞培養器具の材質は、特に制限されず、例えば、後述するレーザ照射ユニットにより照射されるレーザを透過する材料があげられ、具体例として、レーザを透過するプラスチック、ガラス等があげられる。プラスチックは、例えば、ポリスチレン系ポリマー、アクリル系ポリマー(ポリメタクリル酸メチル(PMMA)等)、ポリビニルピリジン系ポリマー(ポリ(4-ビニルピリジン)、4-ビニルピリジン-スチレン共重合体等)、シリコーン系ポリマー(ポリジメチルシロキサン等)、ポリオレフィン系ポリマー(ポリエチレン、ポリプロピレン、ポリメチルペンテン等)、ポリエステル系ポリマー(ポリエチレンテレフタレート(PET)、ポリエチレンナフタレート(PEN)等)、ポリカーボネート系ポリマー、エポキシ系ポリマー等があげられる。
 前記細胞培養器具は、前記細胞培養領域を1つまたは複数有する。後者の場合、前記細胞培養器具は、例えば、複数のウェルを有するということもできる。
 前記細胞培養器具は、例えば、その底面で直接または間接的に細胞が接触している。前記直接的な接触は、例えば、前記細胞培養器具の底面に前記細胞が接触している。前記間接的な接触は、前記細胞培養器具上に介在層が存在し、前記介在層に前記細胞が接触している。
 前記細胞培養器具が前記介在層を有する場合、前記介在層は、例えば、細胞培養基材を含む細胞基材層、光を熱に変換可能な光熱変換層等があげられる。前記介在層は、例えば、前記細胞基材層および前記光熱変換層を含んでもよい。この場合、前記細胞培養器具は、その底面上に、前記光熱変換層が積層され、前記光熱変換層に、前記細胞基材層が積層されていることが好ましい。
 前記細胞培養基材は、例えば、細胞の培養時に細胞の足場となる物質を意味する。前記細胞培養基材は、例えば、細胞外基質(細胞外マトリックス)または細胞の足場としての機能を有する物質があげられる。前記細胞外基質は、例えば、エラスチン;エンタクチン;I型コラーゲン、II型コラーゲン、III型コラーゲン、IV型コラーゲン、V型コラーゲン、VII型コラーゲン等のコラーゲン;テネイシン;フィブリリン;フィブロネクチン;ラミニン;ビトロネクチン(Vitronectin);コンドロイチン硫酸、ヘパラン硫酸、ケラタン硫酸、デルマタン硫酸等の硫酸化グルコサミノグリカンと、コアタンパク質とから構成されるプロテオグリカン;コンドロイチン硫酸、ヘパラン硫酸、ケラタン硫酸、デルマタン硫酸、ヒアルロン酸等のグルコサミノグリカン;Synthemax(登録商標、ビトロネクチン誘導体)、Matrigel(登録商標、ラミニン、IV型コラーゲン、ヘパリン硫酸プロテオグリカン、エンタクチン/ニドゲン等の混合物)等があげられ、好ましくは、ラミニンである。前記ラミニンは、例えば、ラミニン111、ラミニン121、ラミニン211、ラミニン213、ラミニン222、ラミニン311(ラミニン3A11)、ラミニン332(ラミニン3A32)、ラミニン321(ラミニン3A21)、ラミニン3B32、ラミニン411、ラミニン421、ラミニン423、ラミニン521、ラミニン522、ラミニン523等があげられる。なお、各ラミニンにおける3つの数字は、先頭からそれぞれ、α鎖、β鎖、およびγ鎖の構成サブユニットの名前である。具体例として、ラミニン111は、α1鎖、β1鎖、およびγ1鎖から構成される。また、ラミニン3A11は、α3A鎖、β1鎖、およびγ1鎖から構成される。前記細胞培養基材は、前記タンパク質のペプチド断片または前記糖鎖の断片を含んでもよい。具体例として、前記タンパク質のペプチド断片は、例えば、ラミニンの断片があげられる。前記ラミニンの断片(フラグメント)は、例えば、前述のラミニンの断片があげられ、具体例として、ラミニン211-E8、ラミニン311-E8、ラミニン411-E8、ラミニン511-E8があげられる。前記ラミニン211-E8は、ラミニンのα2鎖、β1鎖、およびγ1鎖の断片から構成される。前記ラミニン311-E8は、ラミニンのα3鎖、β1鎖、およびγ1鎖の断片から構成される。前記ラミニン411-E8は、ラミニンのα4鎖、β1鎖、およびγ1鎖の断片から構成される。前記ラミニン511-E8は、例えば、ラミニンのα5鎖、β1鎖、およびγ1鎖の断片から構成される。
 前記細胞培養基材は、後述するように、前記光熱変換層への光(レーザ)照射により、間接的に変性可能である。具体的には、前記間接的な変性は、照射された光が熱に変換され、前記熱エネルギーにより、前記細胞培養基材の構造が変化することにより生じる。すなわち、前記細胞培養基材は、前記光照射により生じた熱により変性する。
 前記細胞培養器具において、前記細胞基材層は、1層または複数層である。
 前記細胞基材層は、前記細胞培養基材に加え、他の成分を含んでもよい。前記他の成分は、例えば、緩衝剤、塩、成長因子(細胞増殖因子)、サイトカイン、ホルモン等があげられる。
 前記光熱変換層は、光を熱に変換可能な層である。前記光熱変換層は、例えば、光を熱に変換可能な分子(光熱変換分子)を含む。前記光熱変換分子は、例えば、後述のレーザ照射ユニット12により照射する光Lの波長を吸収する色素構造(発色団)を含んだポリマー(高分子)により構成することが好ましい。前記光熱変換分子は、前記細胞培養器具へのコーティングが容易であることが好ましい。光Lを吸収する色素構造は、例えば、アゾベンゼン、ジアリールエテン、スピロピラン、スピロオキサジン、フルギド、ロイコ色素、インジゴ、カロチノイド(カロテン等)、フラボノイド(アントシアニン等)、キノイド(アントラキノン等)等の有機化合物の誘導体があげられる。前記ポリマーを構成する骨格は、例えば、アクリル系ポリマー、ポリスチレン系ポリマー、ポリオレフィン系ポリマー、ポリ酢酸ビニルやポリ塩化ビニル、ポリオレフィン系ポリマー、ポリカーボネート系ポリマー、エポキシ系ポリマー等があげられる。具体例として、前記光熱変換分子は、例えば、下記式(1)で表される、ポリ[メチルメタクリラート-co-(ジスパースイエロー 7 メタクリラート)]((C(C2320)があげられる。下記式(1)において、ポリマーにおけるアゾベンゼンの構造は、無置換のアゾベンゼンの他、ニトロ基、アミノ基、メチル基等で修飾した様々なバリエーションの構造を採用してもよい。下記式(1)において、mおよびnは、モル百分率である。mとnとの総和は、例えば、100モル%である。前記mおよびnは、例えば、同じでもよいし、異なってもよい。前記光熱変換層は、例えば、1種類の光熱変換分子を含んでもよいし、複数種類の光熱変換分子を含んでもよい。
Figure JPOXMLDOC01-appb-C000001
 前記細胞培養器具において、前記光熱変換層は、1層または複数層である。また、前記細胞培養器具において、前記光熱変換層は、前記細胞基材層と接触するように配置されてもよいし、接触しないように配置されてもよい。後者の場合、前記光熱変換層と前記細胞基材層とは、熱的に接続されていればよい。具体的には、前記光熱変換層と前記細胞基材層との間には、前記光熱変換層で生じた熱を前記細胞基材層に伝導する熱伝導層が形成されている。前記熱伝導層は、例えば、金属等の熱伝導率の高い分子を含む。
 前記細胞培養器具が前記細胞基材層を備える場合、前記細胞基材層は、細胞が接着可能な領域と、細胞の接着が阻害された領域を備えてもよい。前記細胞培養器具の構成および製造方法は、例えば、国際公開第2020/0071332号公報の記載を援用でき、本明細書の一部として援用する。
 レーザ照射ユニット12は、前記細胞培養器具内にレーザを照射可能であればよく、例えば、レーザ照射装置があげられる。前記レーザ照射装置は、例えば、レーザ光源、光ファイバ、およびレーザ出射部を備える。この場合、制御ユニット13は、レーザ照射ユニット12と接続されており、より具体的には、レーザ照射ユニット12の前記レーザ光源および前記レーザ出射部に接続されている。なお、前記レーザ照射装置では、前記光ファイバに代えて、ミラー、MEMS(Micro Electro Mechanical Systems)等の導光ユニットを用いて、導光してもよい。
 前記レーザ出射部は、例えば、ガルバノミラーおよびfθレンズを備えてもよい。
 前記レーザ光源は、例えば、連続波レーザまたはパルスレーザを発振する装置である。前記レーザ光源は、例えば、連続波に近い、パルス幅の長い高周波レーザでもよい。前記レーザ光源から発振されるレーザの出力は、特に制限されず、例えば、前述の光熱変換層における光熱変換分子の吸収波長に応じて、適宜決定できる。前記レーザ光源が発振するレーザの波長は、特に制限されず、例えば、405nm、450nm、520nm、532nm、808nm等の可視光レーザ、赤外線レーザ等があげられる。具体例として、前記レーザ光源は、波長が405nm近傍にある最大出力5Wの連続波ダイオードレーザがあげられる。
 つぎに、図2に、細胞処理装置1の制御ユニット13のハードウェア構成を示すブロック図を例示する。細胞処理装置1の制御ユニット13は、例えば、CPU(中央処理装置)131、メモリ132、バス133、記憶装置134、入力装置136、ディスプレイ137、通信デバイス138、I/O(input-output)インターフェイス139等を有する。制御ユニット13の各部は、それぞれのインタフェース(I/F)により、バス133を介して接続されている。
 CPU131は、例えば、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、制御ユニット13の全体の制御を担う。制御ユニット13において、CPU131により、例えば、本発明のプログラム135やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、CPU131が、検出部13a、照射領域設定部13b、およびレーザ照射制御部13cとして機能する。制御ユニット13は、演算装置として、CPUを備えるが、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、CPUとこれらとの組合せを備えてもよい。なお、CPU131は、例えば、学習装置2および提案装置4における記憶部以外の各部として機能する。
 メモリ132は、例えば、メインメモリを含む。前記メインメモリは、主記憶装置ともいう。CPU131が処理を行う際には、例えば、後述する記憶装置134(補助記憶装置)に記憶されている本発明のプログラム135等の種々の動作プログラムを、メモリ132が読み込む。そして、CPU131は、メモリ132からデータを読み出し、解読し、前記プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。メモリ132は、例えば、さらに、ROM(読み出し専用メモリ)を含む。
 バス133は、観察ユニット11およびレーザ照射ユニット12とも接続できる。制御ユニット13は、例えば、バス133に接続されたI/Oインターフェイス139により、観察ユニット11およびレーザ照射ユニット12と接続できる。
 また、バス133は、例えば、学習装置2、学習済モデルDB3、および提案装置4等の外部機器とも接続できる。前記外部機器は、例えば、外部記憶装置(外部データベース等)、プリンター等があげられる。制御ユニット13は、例えば、バス133に接続された通信デバイス138により、通信回線網5に接続でき、通信回線網5を介して、前記外部機器と接続することもできる。また、細胞処理装置1は、制御ユニット13の通信デバイス138および通信回線網5を介して、学習装置2、学習済モデルDB3、および提案装置4にも接続できる。
 記憶装置134は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置134には、本発明のプログラム135を含む動作プログラムが格納されている。記憶装置134は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、FD(フロッピー(登録商標)ディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置134は、例えば、前記記憶媒体と前記ドライブとが一体化されたハードディスクドライブ(HDD)であってもよい。
 制御ユニット13は、例えば、さらに、入力装置136、ディスプレイ137を有する。入力装置136は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。ディスプレイ137は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置があげられる。本実施形態において、入力装置136とディスプレイ137とは、別個に構成されているが、入力装置136とディスプレイ137とは、タッチパネルディスプレイのように、一体として構成されてもよい。
(学習装置の構成)
 つぎに、図3に、学習装置2のハードウェア構成を示すブロック図を例示する。学習装置2は、例えば、CPU(中央処理装置)201、メモリ202、バス203、記憶装置204、入力装置206、ディスプレイ207、通信デバイス208、I/O(input-output)インターフェイス209等を有する。学習装置2の各部は、それぞれのインタフェース(I/F)により、バス203を介して接続されている。学習装置2の各部の説明は、制御ユニット13の対応する各部の説明を援用できる。
 本実施形態において、学習済モデルDB3は、後述のように、対象細胞または対象外細胞を検出可能な学習済モデル(細胞検出モデル)が複数格納されたデータベースサーバである。学習済モデルDB3のハードウェア構成は、学習装置2のハードウェア構成の説明を援用できる。学習済モデルDB3に格納されている学習済モデルの数は、1つまたは複数であり、好ましくは、後者である。学習済モデルDB3に格納されている学習済モデルの数を増加させることにより、本実施形態の細胞処理システム100は、例えば、後述する提案装置4において、前記対象細胞により適した学習済モデルを提案できる。なお、本発明において、前記学習済モデルは、例えば、学習装置2の記憶装置204および/または提案装置4の記憶装置404に格納されてもよい。
(提案装置の構成)
 つぎに、図4に、提案装置4のハードウェア構成を示すブロック図を例示する。提案装置4は、例えば、CPU(中央処理装置)401、メモリ402、バス403、記憶装置404、入力装置406、ディスプレイ407、通信デバイス408、I/O(input-output)インターフェイス409等を有する。提案装置4の各部は、それぞれのインタフェース(I/F)により、バス403を介して接続されている。提案装置4の各部の説明は、制御ユニット13の対応する各部の説明を援用できる。
(細胞処理装置の処理)
 つぎに、本実施形態の細胞処理システム100における各装置の処理の一例について、細胞処理装置1において、細胞の処理を行なう場合、および細胞処理装置1により撮像された対象細胞を含む画像データに基づき処理する場合を例にとり、説明する。
 まず、細胞処理装置1において、細胞の処理を行なう場合を例にとり、図5のフローチャートに基づき、説明する。
 まず、細胞処理装置1による処理に先立ち、細胞処理装置1のユーザが、前記細胞培養器具内の細胞の培養条件および撮像条件の少なくとも一方を、細胞処理装置1の入力装置136を用いて入力する。前記細胞培養器具に、前記細胞培養器具の培養条件および撮像条件の少なくとも一方のデータと紐付けられた識別子(QRコード(登録商標)、バーコード等)が印字されている場合、細胞処理装置1は、前記細胞培養器具に印字された識別子を識別し、前記識別子に紐付けられたデータを、データベース等の記憶装置から取得してもよい。また、細胞処理装置1がオートフォーカス機能等を有する場合、前記撮像条件の一部または全部を、細胞処理装置1が取得してもよい。
 前記培養条件は、例えば、細胞の株名、細胞の種類、細胞の由来、細胞の継代数、培養開始時の細胞の播種密度、培地、培養日数、細胞培養容器の種類、細胞外マトリックスの種類、作業者名、作業者の保有資格、および作業者の経験年数等があげられる。前記培養条件は、例えば、1つまたは複数である。
 前記撮像条件は、例えば、撮像素子の種類、撮像素子の感度、露光時間、絞り値、レンズ倍率、光源の種類、光量、照明時間、および観察方法等があげられる。前記撮像素子の種類は、例えば、モノクローム用の撮像素子、カラー用の撮像素子等の素子が検出可能な光の種類;撮像素子の画素数;CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等のセンサの種類等があげられる。前記撮像素子の感度は、例えば、ゲインまたはISO感度である。前記光源の種類は、例えば、発光ダイオード(LED)、ハロゲンランプ等があげられる。前記観察方法は、観察ユニット11の観察方式を意味し、例えば、暗視野観察法、位相差観察法、微分干渉観察法、偏光観察法、蛍光観察法、レリーフコントラスト観察法、分散観察法等があげられる。
 つぎに、細胞処理装置1による処理を開始する。まず、細胞処理装置1の観察ユニット11が、前記細胞培養器具内を撮像し、細胞を含む画像を取得する(S11)。観察ユニット11は、前記細胞培養器具内の一部または全面を撮像する。観察ユニット11による撮像位置は、例えば、予め指定された位置でもよいし、ユーザにより指定された位置でもよい。観察ユニット11は、例えば、1枚または複数枚の画像を撮像する。観察ユニット11は、撮像された画像において、前記細胞培養器具内の細胞が含まれるように撮像することが好ましいが、前記細胞が含まれない領域を撮像してもよい。
 そして、観察ユニット11は、撮像された画像(対象画像)のデータを、前記培養条件および前記撮像条件と紐付けて、メモリ132または記憶装置134に格納する。観察ユニット11は、前記対象画像データに、細胞処理装置1の製造番号等の識別番号等の情報を紐付けて格納してもよい。
 なお、後述のように、前記対象画像から新たな学習済モデルを生成する場合、または、前記対象画像に適した学習済モデルの提案を受ける場合、細胞処理装置1は、制御ユニット13の通信デバイス138から通信回線網5を介して、学習装置2または提案装置4に、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を送信してもよいし、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報をデータベースサーバに格納してもよい。この場合、細胞処理装置1は、例えば、前記対象画像データにおいて、前記対象細胞が存在する領域が特定された画像データを、前記対象画像データと紐付けて、送信してもよい。前記対象細胞が存在する領域の特定は、例えば、細胞処理装置1のユーザにより入力されたデータを取得することにより、実施する。
 つぎに、制御ユニット13において、前記対象画像データから、レーザ照射ユニット12によりレーザ照射による処理を実施する領域を設定し、レーザ照射を実施する(S12~S14)。
 まず、検出部13aが、観察ユニット11により撮像された対象画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記対象画像データにおける対象細胞または対象外細胞を検出する(S12)。前記学習済モデルは、例えば、細胞処理装置1内に格納された学習済モデルでもよいし、細胞処理装置1外に格納された学習済モデルでもよい。前者の場合、例えば、検出部13aは、記憶装置134に格納された学習済モデルを利用する。後者の場合、検出部13aは、学習済モデルDB3に格納された学習済モデルを取得し、これを利用する。前記学習済モデルの製造方法については、後述する。前記細胞の検出は、例えば、細胞の識別、細胞の判別、細胞の抽出、細胞の推定、または細胞の特定等ということもできる。
 検出部13aは、1つまたは複数の学習済モデルを利用してもよい。検出部13aが複数の学習済モデルを利用する場合、検出部13aは、例えば、各学習済モデルを用いて、前記対象画像データにおける対象細胞または対象外細胞を検出し、各学習済モデルにより検出された前記対象画像データにおける対象細胞または対象外細胞の重複する領域もしくは領域の和、またはこれらの一部の領域を対象細胞または対象外細胞の存在する領域として、検出する。
 前記対象細胞および前記対象外細胞は、前記ユーザの使用目的に応じて、適宜設定できる。前記対象細胞または対象外細胞は、人工多能性幹(iPS)細胞、胚性幹(ES)細胞等の多能性細胞;ドーパミン神経細胞等の神経細胞、神経幹細胞、アストロサイト、グリア細胞等の神経系の細胞;角膜細胞、網膜細胞、視細胞等の視覚系の細胞;心筋細胞等の心筋系の細胞;血小板、T細胞、B細胞、NK細胞、NKT細胞、赤血球、造血幹細胞等の血液・免疫系の細胞;肝臓細胞等の消化器系の細胞;膵臓β細胞、下垂体を構成する細胞等の内分泌系の細胞;ネフロン前駆細胞等の腎臓・尿路系の細胞;軟骨、骨格筋等の運動系の細胞等があげられる。前記対象細胞および前記対象外細胞は、例えば、健常者由来の細胞および疾患患者由来の細胞等の由来の異なる細胞でもよい。
 つぎに、照射領域設定部13bが、対象細胞が存在する領域をレーザ照射ユニット12によるレーザ照射領域として設定する(S13)。検出部13aにおいて、前記対象細胞を検出している場合、照射領域設定部13bは、前記対象細胞が検出された領域、すなわち、前記対象細胞が存在する領域を、前記レーザ照射領域として設定する。他方、検出部13aにおいて、前記対象外細胞を検出している場合、照射領域設定部13bは、前記対象外細胞が検出されていない領域、すなわち、前記対象細胞が存在する領域を、前記レーザ照射領域として設定する。前記レーザ照射領域は、例えば、前記細胞培養器具における底面に座標(XY座標またはXYZ座標)を設定し、前面座標における座標または平面座標における領域を指定することにより設定できる。
 前記レーザ照射領域は、例えば、前記レーザ照射領域にレーザ照射ユニット12によるレーザ光を照射することにより、前記対象細胞を処理できるように設定すればよい。具体例として、前記レーザ照射領域は、前記対象細胞を含む領域として設定してもよい。また、前記細胞培養器具が前記光熱変換層を備える場合、前記レーザ照射領域は、前記対象細胞を含む領域と対応する領域、具体的には、前記対象細胞を含む領域の直下に存在する前記光熱変換層の対応する領域として設定してもよい。
 つぎに、レーザ照射制御部13cが、レーザ照射ユニット12により、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する(S14)。具体的には、レーザ照射制御部13cは、例えば、レーザ照射ユニット12の照射位置およびレーザの出射のON/OFFを制御することにより、レーザ照射ユニット12により、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する。
 そして、細胞処理装置1は、処理を終了する。
 なお、本実施形態において、細胞処理装置1は、照射領域設定部13bで設定されたレーザ照射領域をそのまま用いるが、本発明はこれに限定されず、前記レーザ照射領域を調整可能に構成してもよい。この場合、細胞処理装置1の制御ユニット13は、予め設定された領域調整情報に基づき、前記レーザ照射領域の境界の位置を調整する照射領域調整部を備える。前記領域調整情報は、前記レーザ照射領域の境界の位置を調整し、前記レーザ照射領域を縮小または拡大させる情報である。前記領域調整情報は、例えば、細胞処理装置1のユーザにより予め入力される。前記領域調整情報は、例えば、前記レーザ照射領域の拡大または縮小を指定する情報と、前記レーザ照射領域の境界について、前記境界の法線方向において移動させる距離を指定する情報とを含む。この場合、前記照射領域調整部は、前記領域調整情報に基づき、前記レーザ照射領域の境界の位置を法線方向に、指定された距離を移動させることにより、前記レーザ照射領域を拡大または縮小する。そして、レーザ照射制御部13cは、レーザ照射ユニット12により、前記細胞培養器具内における前記調整後のレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する。
(学習装置の処理)
 つぎに、学習装置2において、学習済モデルの生成を行なう場合を例にとり、図6のフローチャートに基づき、説明する。
 まず、学習装置2による処理に先立ち、細胞処理装置1により、学習に用いる対象画像データを取得する。なお、本実施形態では、制御ユニット13を備える細胞処理装置1を用いて、対象画像データを取得しているが、本発明はこれに限定されず、学習に用いる対象画像データを取得する細胞処理装置としては、観察ユニット11およびレーザ照射ユニット12を備えていればよい。
 細胞処理装置1による対象画像データの取得は、前述のように、実施できる。そして、細胞処理装置1は、通信回線網5を介して、学習装置2に前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を送信する。
 つぎに、学習措置2において、前記対象画像データから、学習済モデルを生成し、これを格納する(S21~S23)。
 まず、学習装置2の通信デバイス208(受信部)が、細胞処理装置1により撮像された対象画像データおよび前記対象画像データに紐付けられた条件等の情報を受信する(S21)。細胞処理装置1が、データベースサーバに、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を格納している場合、学習装置2は、例えば、前記データベースサーバに対して、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を要求し、前記受信部は、前記データベースサーバから送信された、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を受信してもよい。前記受信部が受信する前記対象画像データの数は、1つまたは複数であり、好ましくは、後者である。
 学習装置2は、例えば、1つの細胞処理装置1で撮像された対象画像データを利用してもよいし、複数の細胞処理装置1で撮像された対象画像データを利用してもよい。後者の場合、学習装置2は、複数の細胞処理装置1と双方向に通信可能に接続されている。
 つぎに、学習部21は、前記対象画像データを用いて学習済モデルを生成する(S22)。具体的には、学習部21は、前記対象画像データにおいて、対象細胞が存在する領域および対象外細胞が存在する領域を、それぞれ、正例および負例、または負例および正例とし、機械学習により、学習済モデルを生成する。まず、学習部21は、前記対象画像データにおいて、前記対象細胞が存在する領域が特定された画像データが存在するかを判定する。
 Yesの場合、すなわち、前記対象画像データが、前記対象細胞が存在する領域が特定されていない画像データ(細胞処理装置1により撮像されたデータ)と、前記対象細胞が存在する領域が特定された画像データとを含む場合、学習部21は、前記対象細胞が存在する領域が特定されていない画像データと、前記対象細胞が存在する領域が特定された画像データとを組とした教師データとし、前記教師データを用いて機械学習することにより、学習済モデルを生成する。
 他方、Noの場合、すなわち、前記対象画像データが、前記対象細胞が存在する領域が特定された画像データを含まない場合、学習部21は、前記学習済モデルの生成に先立ち、前記対象細胞が存在する領域が特定されていない画像データから前記対象細胞が存在する領域が特定された画像データを取得する。前記対象細胞が存在する領域が特定された画像データの取得は、例えば、学習装置2のユーザにより入力されたデータを取得することにより実施できる。そして、学習部21は、前記対象細胞が存在する領域が特定されていない画像データと、前記対象細胞が存在する領域が特定された画像データとを組とした教師データとし、前記教師データを用いて機械学習することにより、学習済モデルを生成する。
 学習部21による学習は、機械学習により実施できる。前記機械学習は、例えば、ニューラルネットワークを用いた機械学習が好ましい。前記ニューラルネットワークを用いた機械学習としては、例えば、畳み込みニューラルネットワーク(CNN);U-Net、HED等の全層畳み込みネットワーク(FCN);敵対的生成ネットワーク(Generative Adversarial Networks :GAN);エクストリーム・ラーニング・マシン(ELM)等があげられる。前記機械学習では、例えば、識別器の重み、フィルター係数、オフセット等を算出しているため、前記機械学習としては、ロジスティック回帰処理を利用してもよい。学習部21による学習においては、1または複数の機械学習方法を用いる。学習部21の学習において、複数の機械学習方法を用いる場合、学習部21は、各機械学習方法を用いて学習済モデルを生成した後、各学習済モデルの精度を検討し、予め設定した基準を満たす学習済モデルを選抜してもよい。この場合、学習部21は、例えば、後述する提案装置4の精度検討部44および提案出力部45と同様にして、各学習済モデルの精度を検討する。学習部21は、例えば、さらに、学習部21で生成された学習済モデルについて、ハイパーパラメータの調整を手動または自動で実施することにより、生成された学習済モデルの精度を向上してもよい。また、学習部21は、例えば、さらに、学習部21で生成された学習済モデルに対して、強化学習を実施してもよい。
 なお、本実施形態において、学習部21は、新規に学習済モデルを生成しているが、前記対象細胞を検出可能な学習済モデルが学習済モデルDB3に格納されている場合、前記学習済モデルおよび前記受信部が受信した対象画像データ等を用いて、再学習を実施してもよい。この場合、前記受信部は、学習済モデルDB3から送信された前記対象細胞を検出可能な学習済モデルを受信する。また、学習部21は、得られた学習済モデルについて、蒸留等により、学習済モデルのモデル圧縮を実施してもよい。
 そして、学習装置2は、得られた学習済モデルを格納する(S23)。前記学習済モデルは、例えば、学習装置2のメモリ202または記憶装置204に格納してもよいし、学習済モデルDB3等の学習装置2外のデータベースサーバに格納してもよい。本実施形態において、学習装置2は、前記学習済モデルに、前記撮像条件および前記培養条件の少なくとも一方を紐付けて格納する。これにより、本実施形態の細胞処理システム100では、後述の提案装置4が、例えば、学習済モデルを提案する際に、より精度のよい学習済モデルを提案できる。ただし、本発明はこれに限定されず、学習装置2は、前記学習済モデルに、前記撮像条件および前記培養条件を紐付けずに格納してもよい。
 そして、学習装置2の処理を終了する。
 本実施形態の学習装置2は、例えば、得られた学習済モデルと、前記教師データに基づき、前記学習済モデルの精度を検証する検証部を備えてもよい。前記検証部による検証は、例えば、後述の提案装置4の精度検証部44および提案出力部45の説明を援用できる。学習装置2が前記検証部を備える場合、前記受信部が受信した画像データの一部を用いて、前記学習済モデルを生成し、前記受信部が受信した画像データの残部を用いて、前記検証部による検証を実施してもよい。また、学習部21により得られる学習済モデルが、前記検証部による検証において、一定の精度を満たさない場合、再学習を行なってもよい。前記精度の判断は、例えば、後述の提案装置4の提案出力部45の説明を援用できる。
(提案装置の処理)
 つぎに、提案装置4において、学習済モデルの提案を行なう場合を例にとり、図7のフローチャートに基づき、説明する。
 まず、提案装置4による処理に先立ち、細胞処理装置1により、学習済モデルの提案に用いる対象画像データを取得する。なお、本実施形態では、制御ユニット13を備える細胞処理装置1を用いて、対象画像データを取得しているが、本発明はこれに限定されず、学習に用いる対象画像データを取得する細胞処理装置としては、観察ユニット11およびレーザ照射ユニット12を備えていればよい。
 細胞処理装置1による対象画像データの取得は、前述のように、実施できる。そして、細胞処理装置1は、通信回線網5を介して、提案装置4に前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を送信する。
 つぎに、提案装置4において、前記対象画像データから、学習済モデルを抽出し、抽出された学習済モデルを提案する(S41~S45)。
 まず、提案装置4の受信部41が、細胞処理装置1により撮像された対象画像データおよび前記対象画像データに紐付けられた条件等の情報を受信する(S41)。細胞処理装置1が、データベースサーバに、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を格納している場合、提案装置4は、例えば、前記データベースサーバに対して、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を要求し、受信部41は、前記データベースサーバから送信された、前記対象画像データおよび前記対象画像データに紐付けられた条件等の情報を受信してもよい。受信部41が受信する前記対象画像データの数は、1つまたは複数であり、好ましくは、後者である。
 つぎに、取得部42は、受信部41が受信した対象画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得する(S42)。受信部41が受信した対象画像データに、前記対象細胞が存在する領域が特定された画像データが紐付けられている場合、取得部42は、紐付けられた、対象細胞が存在する領域が特定された画像データを取得する。他方、受信部41が受信した対象画像データに、前記対象細胞が存在する領域が特定された画像データが紐付けられていない場合、取得部42は例えば、提案装置4のユーザにより入力された、前記対象細胞が存在する領域が特定された画像データを取得する。
 つぎに、検出部43は、受信部41が受信した対象画像データと、学習済モデルDB3に格納された各学習済モデルとから、前記対象画像データにおける対象細胞を検出する(S43)。
 つぎに、精度検討部44は、各学習済モデルを用いて検出された対象細胞が存在する領域と、取得部42により取得された対象細胞が存在する領域が特定された画像データとを比較することにより、各学習済モデルの精度を検討する(S44)。精度検討部44は、さらに、各学習済モデルを用いて検出された対象細胞が存在しない領域と、取得部42により取得された対象細胞が存在しない領域が特定された画像データとを用いて、各学習済モデルの精度を検討してもよい。前記精度は、例えば、正確度、再現率、真陽性率、偽陽性率、偽陰性率、真陰性率、陰性的中率、特異度等があげられる。
 具体例として、前記精度の検討は、例えば、各学習済モデルを用いて検出された対象細胞が存在する領域(対象領域)または各学習済モデルを用いて検出された対象細胞が存在しない領域(非対象領域)と、取得部42により取得された画像データにおける対象細胞が存在する領域(存在領域)または取得部42により取得された画像データにおける対象細胞が存在しない領域(非存在領域)とを比較することにより実施できる。具体例として、精度検討部44は、例えば、取得部42により取得された各対象画像データについて、前記対象領域および非対象領域における各画素と前記存在領域および非存在領域における画素とが重なっているか否かに基づき、下記表1のいずれの分類に該当するかを検討し、該当する分類についてカウントする。そして、精度検討部44は、例えば、得られたカウントに基づき、前記精度を検討する。なお、各精度は、下記式により算出できる。
 正確度=(TP+TN)/(TP+TN+FP+FN)
 再現率=TP/(TP+FN)
 適合度=TP/(TP+FP)
 特異度=TN(FP+TN)
 陰性的中率=TN/(FN+TN)
Figure JPOXMLDOC01-appb-T000002
 そして、提案出力部45は、所定の精度を満たす学習済モデルが存在する場合、前記所定の精度を満たす学習済モデルの情報を含む提案情報を出力する(S45)。具体的には、提案出力部45は、まず、各学習済モデルについて、精度検討部44において得られた精度が、所定の精度を満たすか否かを判断する。そして、Yesの場合、すなわち、所定の精度を満たす前記学習済モデルが存在する場合、提案出力部45は、所定の精度を満たす前記学習済モデルの情報を抽出する。そして、提案出力部45は、抽出された学習済モデルの情報を、前記対象画像データを送信した細胞処理装置1に対して出力する。前記提案情報は、抽出された学習済モデルにより、前記対象細胞が検出された画像データを含んでもよい。他方、Noの場合、すなわち、所定の精度を満たす前記学習済モデルが存在しない場合、提案出力部45は、所定の精度を満たす前記学習済モデルの情報を抽出しない。そして、提案出力部45は、前記対象画像データを送信した細胞処理装置1に対して、条件を満たす学習済モデルが存在しないと出力する。
 前記所定の精度は、例えば、細胞処理装置1で実施する処理に応じて適宜設定できる。前記処理が対象細胞の致死である場合、致死させる対象細胞の取りこぼしを抑制できることから、前記所定の精度は、正確度および再現度を指標として、設定されることが好ましい。この場合、提案出力部45は、精度検討部44において得られた正確度が、所定の数値以上であり、かつ、再現度が所定の数値以上の学習済モデルを抽出し、抽出された学習済モデルの情報を提案情報として、通信デバイス408を介して、前記対象画像データを送信した細胞処理装置1に対して出力する。
 他方、提案出力部45は、所定の精度を満たす学習済モデルが存在しない場合、前記対象画像データを送信した細胞処理装置1に対して、条件を満たす学習済モデルが存在しないと出力してもよいし、新たな学習済モデルの生成を提案する提案情報を出力してもよい。
 そして、提案装置4による処理を終了する。
 なお、本実施形態の提案装置4において、前記対象画像データに紐付けられた撮像条件、培養条件等の情報、および前記学習済モデルに紐付けられた撮像条件、培養条件等の情報は、学習済モデルの提案に利用しなかったが、本発明はこれに限定されず、前記撮像条件および培養条件を利用してもよい。この場合、本実施形態の提案装置4は、例えば、前記対象画像データに紐付けられた撮像条件および培養条件の少なくとも一方に基づき、前記学習済モデルを抽出するモデル抽出部を備える。
 前記モデル抽出部は、例えば、検出部43に用いる学習済モデルに対して抽出を行なってもよいし、提案出力部45で抽出された学習済モデルに対して、抽出を行なってもよい。前記モデル抽出部が、検出部43に用いる学習済モデルに対して抽出を行う場合、前記モデル抽出部は、受信部41が受信した画像データに紐付けられた撮像条件および培養条件の少なくとも一方と、学習済モデルDB3に格納された各学習済モデルに紐付けられた撮像条件および培養条件の少なくとも一方とから、受信部41が受信した画像データに適した学習済モデルを抽出する。前記抽出は、前記対象画像データに紐付けられた撮像条件および培養条件と、各学習済モデルに紐付けられた撮像条件および培養条件とを突合させ、前記対象画像データに紐付けられた撮像条件および培養条件の一部または全部とが合致する学習済モデルを抽出することにより実施できる。この場合、検出部43は、前記モデル抽出部により抽出された学習済モデルを用いて、同様に検出を実施する。
 本実施形態によれば、対象細胞を処理できる。このため、本実施形態によれば、例えば、細胞処理におけるコストを低減でき、また、細胞処理の品質のばらつきを抑制できる。また、本実施形態によれば、細胞処理装置1により撮像された画像データを用いて、新たな学習済モデルまたは改良した学習済モデルを生成し、それをデータベースとして蓄積することが可能である。細胞処理装置1により撮像される細胞は、任意の細胞とできるため、本実施形態の細胞処理システム100によれば、任意の対象細胞に対する学習済モデルを生成し蓄積することができる。このため、本実施形態によれば、任意の対象細胞を処理しうる。また、本実施形態によれば、任意の対象細胞において、細胞処理におけるコストを低減でき、また、細胞処理の品質のばらつきを抑制できる。
(実施形態2)
 本実施形態のプログラムは、前述の細胞処理方法、学習方法、または提案方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
 以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
 この出願は、2020年6月22日に出願された日本出願特願2020-107143を基礎とする優先権を主張し、その開示の全てをここに取り込む。
<付記>
 上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
細胞の処理に用いる細胞処理装置であって、
観察ユニットと、レーザ照射ユニットと、制御ユニットとを備え、
前記観察ユニットは、細胞培養器具内の細胞を撮像可能であり、
前記レーザ照射ユニットは、前記細胞培養器具内にレーザを照射可能であり、
前記制御ユニットは、検出部と、照射領域設定部と、レーザ照射制御部とを備え、
前記検出部は、
 前記観察ユニットにより撮像された前記細胞を含む画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記画像データにおける対象細胞または対象外細胞を検出し、
前記照射領域設定部は、
 前記対象細胞が存在する領域または前記対象外細胞が存在しない領域を、前記レーザ照射ユニットによるレーザ照射領域として設定し、
前記レーザ照射制御部は、
 前記レーザ照射ユニットにより、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
細胞処理装置。
(付記2)
前記制御ユニットは、照射領域調整部を備え、
前記照射領域調整部は、
 予め設定された領域調整情報に基づき、前記レーザ照射領域の境界の位置を調整し、
 前記領域調整情報は、前記レーザ照射領域の境界の位置を調整し、前記レーザ照射領域を縮小または拡大させる情報であり、
前記レーザ照射制御部は、
 前記レーザ照射ユニットにより、前記細胞培養器具内における前記調整後のレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
付記1記載の細胞処理装置。
(付記3)
前記領域調整情報は、
 前記レーザ照射領域の拡大または縮小を指定する情報と、
 前記レーザ照射領域の境界について、前記境界の法線方向において移動させる距離を指定する情報と、
を含み、
前記照射領域調整部は、
 前記領域調整情報に基づき、前記レーザ照射領域の境界の位置を法線方向に、指定された距離を移動させることにより、前記レーザ照射領域を拡大または縮小する、
付記2記載の細胞処理装置。
(付記4)
前記学習済モデルは、対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルである、付記1から3のいずれかに記載の細胞処理装置。
(付記5)
前記処理は、致死である、付記1から4のいずれかに記載の細胞処理装置。
(付記6)
付記1から5のいずれかに記載の細胞処理装置と双方向に通信可能な学習装置であって、
学習部を備え、
前記学習部は、
 前記細胞処理装置により撮像された画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い、細胞を含む画像データにおける対象細胞を検出するための学習済モデルを生成する、
学習装置。
(付記7)
受信部を備え、
前記受信部は、前記細胞処理装置により撮像された画像データを受信する、付記6記載の学習装置。
(付記8)
前記細胞処理装置により撮像された画像データは、前記細胞処理装置による前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
前記学習部は、生成された学習済モデルと、前記撮像条件および前記培養条件の少なくとも一方とを紐付ける、付記6または7記載の学習装置。
(付記9)
前記培養条件は、細胞の株名、細胞の種類、細胞の継代数、培養開始時の細胞の播種密度、培地、培養日数、細胞培養容器の種類、細胞外マトリックスの種類、作業者名、作業者の保有資格、および作業者の経験年数からなる群から選択された少なくとも1つの条件である、付記8記載の学習装置。
(付記10)
前記撮像条件は、撮像素子の種類、撮像素子の感度、露光時間、絞り値、レンズ倍率、光源の種類、光量、照明時間、および観察方法からなる群から選択された少なくとも1つの条件である、付記8または9記載の学習装置。
(付記11)
取得部を備え、
前記取得部は、前記細胞処理装置により撮像された画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得する、付記6から10のいずれかに記載の学習装置。
(付記12)
検証部を備え、
前記検証部は、
 得られた学習済モデルと、前記教師データに基づき、前記学習済モデルの精度を検証する、付記6から11のいずれかに記載の学習装置。
(付記13)
記憶部を備え、
前記記憶部は、前記学習済モデルを格納する、付記6から12のいずれかに記載の学習装置。
(付記14)
複数の細胞処理装置と双方向に通信可能である、付記6から13のいずれかに記載の学習装置。
(付記15)
対象細胞の検出に用いる学習済モデルの提案装置であって、
記憶部と、受信部と、取得部と、検出部と、精度検討部と、提案出力部とを備え、
前記記憶部は、
 対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルを複数格納し、
前記受信部は、
 細胞を含む画像データを受信し、
前記取得部は、
 前記受信部が受信した画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得し、
前記検出部は、
 前記受信部が受信した画像データと、前記記憶部に格納された各学習済モデルとから、前記画像データにおける対象細胞を検出し、
前記精度検討部は、
 各学習済モデルを用いて検出された対象細胞が存在する領域と、前記取得部により取得された対象細胞が存在する領域が特定された画像データとを比較することにより、各学習済モデルの精度を検討し、
前記提案出力部は、
 所定の精度を満たす学習済モデルが存在する場合、前記所定の精度を満たす学習済モデルの情報を含む提案情報を出力する、
提案装置。
(付記16)
前記提案出力部は、
 所定の精度を満たす学習済モデルが存在しない場合、新たな学習済モデルの生成を提案する提案情報を出力する、
付記15記載の提案装置。
(付記17)
モデル抽出部を備え、
各学習済モデルは、各学習済モデルの生成に用いた対象細胞を含む画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
前記受信部が受信した画像データは、前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
前記モデル抽出部は、
 前記受信部が受信した画像データに紐付けられた撮像条件および培養条件の少なくとも一方と、各学習済モデルに紐付けられた撮像条件および培養条件の少なくとも一方とから、前記受信部が受信した画像データに適した学習済モデルを抽出し、
前記検出部は、
 前記受信部が受信した画像データと、前記抽出された学習済モデルとから、前記画像データにおける対象細胞を検出する、
付記15または16記載の提案装置。
(付記18)
細胞の処理に用いる細胞処理装置が実行する細胞処理方法であって、
前記細胞処理装置は、
観察ユニットと、レーザ照射ユニットとを備え、
前記観察ユニットは、細胞培養器具内の細胞を撮像可能であり、
前記レーザ照射ユニットは、前記細胞培養器具内にレーザを照射可能であり、
前記方法は、検出工程と、照射領域設定工程と、レーザ照射制御工程とを含み、
前記検出工程では、
 前記観察ユニットにより撮像された前記細胞を含む画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記画像データにおける対象細胞または対象外細胞を検出し、
前記照射領域設定工程では、
 前記対象細胞が存在する領域または前記対象外細胞が存在しない領域を、前記レーザ照射ユニットによるレーザ照射領域として設定し、
前記レーザ制御工程は、
 前記レーザ照射ユニットにより、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
細胞処理方法。
(付記19)
照射領域調整工程を含み、
前記照射領域調整工程では、
 予め設定された領域調整情報に基づき、前記レーザ照射領域の境界の位置を調整し、
 前記領域調整情報は、前記レーザ照射領域の境界の位置を調整し、前記レーザ照射領域を縮小または拡大させる情報であり、
前記レーザ照射制御工程では、
 前記レーザ照射ユニットにより、前記細胞培養器具内における前記調整後のレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
付記18記載の細胞処理方法。
(付記20)
前記領域調整情報は、
 前記レーザ照射領域の拡大または縮小を指定する情報と、
 前記レーザ照射領域の境界について、前記境界の法線方向において移動させる距離を指定する情報と、
を含み、
前記照射領域調整工程では、
 前記領域調整情報に基づき、前記レーザ照射領域の境界の位置を法線方向に、指定された距離を移動させることにより、前記レーザ照射領域を拡大または縮小する、
付記19記載の細胞処理方法。
(付記21)
前記学習済モデルは、対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルである、付記18から20のいずれかに記載の細胞処理方法。
(付記22)
前記処理は、致死である、付記18から21のいずれかに記載の細胞処理方法。
(付記23)
学習装置が実行する学習方法であって、
学習工程を含み、
前記学習工程では、
 細胞処理装置により撮像された画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い、細胞を含む画像データにおける対象細胞を検出するための学習済モデルを生成する、
学習方法。
(付記24)
受信工程を含み、
前記受信工程では、前記細胞処理装置により撮像された画像データを受信する、付記23記載の学習方法。
(付記25)
前記細胞処理装置により撮像された画像データは、前記細胞処理装置による前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
前記学習工程は、生成された学習済モデルと、前記撮像条件および前記培養条件の少なくとも一方とを紐付ける、付記23または24記載の学習方法。
(付記26)
前記培養条件は、細胞の株名、細胞の種類、細胞の継代数、培養開始時の細胞の播種密度、培地、培養日数、細胞培養容器の種類、細胞外マトリックスの種類、作業者名、作業者の保有資格、および作業者の経験年数からなる群から選択された少なくとも1つの条件である、付記25記載の学習方法。
(付記27)
前記撮像条件は、撮像素子の種類、撮像素子の感度、露光時間、絞り値、レンズ倍率、光源の種類、光量、照明時間、および観察方法からなる群から選択された少なくとも1つの条件である、付記25または26記載の学習方法。
(付記28)
取得工程を含み、
前記取得工程では、前記細胞処理装置により撮像された画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得する、付記23から27のいずれかに記載の学習方法。
(付記29)
検証工程を含み、
前記検証工程では、
 得られた学習済モデルと、前記教師データに基づき、前記学習済モデルの精度を検証する、付記23から28のいずれかに記載の学習方法。
(付記30)
記憶工程を備え、
前記記憶工程は、前記学習済モデルを格納する、付記23から29のいずれかに記載の学習方法。
(付記31)
前記細胞処理装置は、複数の細胞処理装置である、付記23から30のいずれかに記載の学習方法。
(付記32)
対象細胞の検出に用いる学習済モデルの提案装置が実行する学習モデルの提案方法であって、
受信工程と、取得工程と、検出工程と、精度検討工程と、提案出力工程とを含み、
前記受信工程では、
 細胞を含む画像データを受信し、
前記取得工程では、
 前記受信工程で受信した画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得し、
前記検出工程では、
 前記受信工程で受信した画像データと、記憶部に格納された各学習済モデルとから、前記画像データにおける対象細胞を検出し、
 前記記憶部は、対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルを複数格納し、
前記精度検討工程では、
 記憶部に格納された各学習済モデルを用いて検出された対象細胞が存在する領域と、前記取得工程で取得された対象細胞が存在する領域が特定された画像データとを比較することにより、各学習済モデルの精度を検討し、
前記提案出力工程は、
 所定の精度を満たす学習済モデルが存在する場合、前記所定の精度を満たす学習済モデルの情報を含む提案情報を出力する、
提案方法。
(付記33)
前記提案出力工程では、
 所定の精度を満たす学習済モデルが存在しない場合、新たな学習済モデルの生成を提案する提案情報を出力する、
付記32記載の提案方法。
(付記34)
モデル抽出工程を含み、
各学習済モデルは、各学習済モデルの生成に用いた対象細胞を含む画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
前記受信工程で受信した画像データは、前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
前記モデル抽出工程では、
 前記受信工程で受信した画像データに紐付けられた撮像条件および培養条件の少なくとも一方と、各学習済モデルに紐付けられた撮像条件および培養条件の少なくとも一方とから、前記受信工程で受信した画像データに適した学習済モデルを抽出し、
前記検出工程では、
 前記受信工程で受信した画像データと、前記抽出された学習済モデルとから、前記画像データにおける対象細胞を検出する、
付記32または33記載の提案方法。
 本発明によれば、対象細胞を処理できる。このため、本発明によれば、例えば、細胞処理におけるコストを低減でき、また、細胞処理の品質のばらつきを抑制できる。したがって、本発明は、例えば、再生医療、創薬等の分野において、極めて有用である。

Claims (34)

  1.  細胞の処理に用いる細胞処理装置であって、
    観察ユニットと、レーザ照射ユニットと、制御ユニットとを備え、
    前記観察ユニットは、細胞培養器具内の細胞を撮像可能であり、
    前記レーザ照射ユニットは、前記細胞培養器具内にレーザを照射可能であり、
    前記制御ユニットは、検出部と、照射領域設定部と、レーザ照射制御部とを備え、
    前記検出部は、
     前記観察ユニットにより撮像された前記細胞を含む画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記画像データにおける対象細胞または対象外細胞を検出し、
    前記照射領域設定部は、
     前記対象細胞が存在する領域または前記対象外細胞が存在しない領域を、前記レーザ照射ユニットによるレーザ照射領域として設定し、
    前記レーザ照射制御部は、
     前記レーザ照射ユニットにより、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
    細胞処理装置。
  2. 前記制御ユニットは、照射領域調整部を備え、
    前記照射領域調整部は、
     予め設定された領域調整情報に基づき、前記レーザ照射領域の境界の位置を調整し、
     前記領域調整情報は、前記レーザ照射領域の境界の位置を調整し、前記レーザ照射領域を縮小または拡大させる情報であり、
    前記レーザ照射制御部は、
     前記レーザ照射ユニットにより、前記細胞培養器具内における前記調整後のレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
    請求項1記載の細胞処理装置。
  3. 前記領域調整情報は、
     前記レーザ照射領域の拡大または縮小を指定する情報と、
     前記レーザ照射領域の境界について、前記境界の法線方向において移動させる距離を指定する情報と、
    を含み、
    前記照射領域調整部は、
     前記領域調整情報に基づき、前記レーザ照射領域の境界の位置を法線方向に、指定された距離を移動させることにより、前記レーザ照射領域を拡大または縮小する、
    請求項2記載の細胞処理装置。
  4. 前記学習済モデルは、対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルである、請求項1から3のいずれか一項に記載の細胞処理装置。
  5. 前記処理は、致死である、請求項1から4のいずれか一項に記載の細胞処理装置。
  6. 請求項1から5のいずれか一項に記載の細胞処理装置と双方向に通信可能な学習装置であって、
    学習部を備え、
    前記学習部は、
     前記細胞処理装置により撮像された画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い、細胞を含む画像データにおける対象細胞を検出するための学習済モデルを生成する、
    学習装置。
  7. 受信部を備え、
    前記受信部は、前記細胞処理装置により撮像された画像データを受信する、請求項6記載の学習装置。
  8. 前記細胞処理装置により撮像された画像データは、前記細胞処理装置による前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
    前記学習部は、生成された学習済モデルと、前記撮像条件および前記培養条件の少なくとも一方とを紐付ける、請求項6または7記載の学習装置。
  9. 前記培養条件は、細胞の株名、細胞の種類、細胞の継代数、培養開始時の細胞の播種密度、培地、培養日数、細胞培養容器の種類、細胞外マトリックスの種類、作業者名、作業者の保有資格、および作業者の経験年数からなる群から選択された少なくとも1つの条件である、請求項8記載の学習装置。
  10. 前記撮像条件は、撮像素子の種類、撮像素子の感度、露光時間、絞り値、レンズ倍率、光源の種類、光量、照明時間、および観察方法からなる群から選択された少なくとも1つの条件である、請求項8または9記載の学習装置。
  11. 取得部を備え、
    前記取得部は、前記細胞処理装置により撮像された画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得する、請求項6から10のいずれか一項に記載の学習装置。
  12. 検証部を備え、
    前記検証部は、
     得られた学習済モデルと、前記教師データに基づき、前記学習済モデルの精度を検証する、請求項6から11のいずれか一項に記載の学習装置。
  13. 記憶部を備え、
    前記記憶部は、前記学習済モデルを格納する、請求項6から12のいずれか一項に記載の学習装置。
  14. 複数の細胞処理装置と双方向に通信可能である、請求項6から13のいずれか一項に記載の学習装置。
  15. 対象細胞の検出に用いる学習済モデルの提案装置であって、
    記憶部と、受信部と、取得部と、検出部と、精度検討部と、提案出力部とを備え、
    前記記憶部は、
     対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルを複数格納し、
    前記受信部は、
     細胞を含む画像データを受信し、
    前記取得部は、
     前記受信部が受信した画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得し、
    前記検出部は、
     前記受信部が受信した画像データと、前記記憶部に格納された各学習済モデルとから、前記画像データにおける対象細胞を検出し、
    前記精度検討部は、
     各学習済モデルを用いて検出された対象細胞が存在する領域と、前記取得部により取得された対象細胞が存在する領域が特定された画像データとを比較することにより、各学習済モデルの精度を検討し、
    前記提案出力部は、
     所定の精度を満たす学習済モデルが存在する場合、前記所定の精度を満たす学習済モデルの情報を含む提案情報を出力する、
    提案装置。
  16. 前記提案出力部は、
     所定の精度を満たす学習済モデルが存在しない場合、新たな学習済モデルの生成を提案する提案情報を出力する、
    請求項15記載の提案装置。
  17. モデル抽出部を備え、
    各学習済モデルは、各学習済モデルの生成に用いた対象細胞を含む画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
    前記受信部が受信した画像データは、前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
    前記モデル抽出部は、
     前記受信部が受信した画像データに紐付けられた撮像条件および培養条件の少なくとも一方と、各学習済モデルに紐付けられた撮像条件および培養条件の少なくとも一方とから、前記受信部が受信した画像データに適した学習済モデルを抽出し、
    前記検出部は、
     前記受信部が受信した画像データと、前記抽出された学習済モデルとから、前記画像データにおける対象細胞を検出する、
    請求項15または16記載の提案装置。
  18. 細胞の処理に用いる細胞処理装置が実行する細胞処理方法であって、
    前記細胞処理装置は、
    観察ユニットと、レーザ照射ユニットとを備え、
    前記観察ユニットは、細胞培養器具内の細胞を撮像可能であり、
    前記レーザ照射ユニットは、前記細胞培養器具内にレーザを照射可能であり、
    前記方法は、検出工程と、照射領域設定工程と、レーザ照射制御工程とを含み、
    前記検出工程では、
     前記観察ユニットにより撮像された前記細胞を含む画像データと、対象細胞または対象外細胞を検出可能な学習済モデルとから、前記画像データにおける対象細胞または対象外細胞を検出し、
    前記照射領域設定工程では、
     前記対象細胞が存在する領域または前記対象外細胞が存在しない領域を、前記レーザ照射ユニットによるレーザ照射領域として設定し、
    前記レーザ制御工程は、
     前記レーザ照射ユニットにより、前記細胞培養器具内におけるレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
    細胞処理方法。
  19. 照射領域調整工程を含み、
    前記照射領域調整工程では、
     予め設定された領域調整情報に基づき、前記レーザ照射領域の境界の位置を調整し、
     前記領域調整情報は、前記レーザ照射領域の境界の位置を調整し、前記レーザ照射領域を縮小または拡大させる情報であり、
    前記レーザ照射制御工程では、
     前記レーザ照射ユニットにより、前記細胞培養器具内における前記調整後のレーザ照射領域に対してレーザを照射し、前記対象細胞を処理する、
    請求項18記載の細胞処理方法。
  20. 前記領域調整情報は、
     前記レーザ照射領域の拡大または縮小を指定する情報と、
     前記レーザ照射領域の境界について、前記境界の法線方向において移動させる距離を指定する情報と、
    を含み、
    前記照射領域調整工程では、
     前記領域調整情報に基づき、前記レーザ照射領域の境界の位置を法線方向に、指定された距離を移動させることにより、前記レーザ照射領域を拡大または縮小する、
    請求項19記載の細胞処理方法。
  21. 前記学習済モデルは、対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルである、請求項18から20のいずれか一項に記載の細胞処理方法。
  22. 前記処理は、致死である、請求項18から21のいずれか一項に記載の細胞処理方法。
  23. 学習装置が実行する学習方法であって、
    学習工程を含み、
    前記学習工程では、
     細胞処理装置により撮像された画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い、細胞を含む画像データにおける対象細胞を検出するための学習済モデルを生成する、
    学習方法。
  24. 受信工程を含み、
    前記受信工程では、前記細胞処理装置により撮像された画像データを受信する、請求項23記載の学習方法。
  25. 前記細胞処理装置により撮像された画像データは、前記細胞処理装置による前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
    前記学習工程は、生成された学習済モデルと、前記撮像条件および前記培養条件の少なくとも一方とを紐付ける、請求項23または24記載の学習方法。
  26. 前記培養条件は、細胞の株名、細胞の種類、細胞の継代数、培養開始時の細胞の播種密度、培地、培養日数、細胞培養容器の種類、細胞外マトリックスの種類、作業者名、作業者の保有資格、および作業者の経験年数からなる群から選択された少なくとも1つの条件である、請求項25記載の学習方法。
  27. 前記撮像条件は、撮像素子の種類、撮像素子の感度、露光時間、絞り値、レンズ倍率、光源の種類、光量、照明時間、および観察方法からなる群から選択された少なくとも1つの条件である、請求項25または26記載の学習方法。
  28. 取得工程を含み、
    前記取得工程では、前記細胞処理装置により撮像された画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得する、請求項23から27のいずれか一項に記載の学習方法。
  29. 検証工程を含み、
    前記検証工程では、
     得られた学習済モデルと、前記教師データに基づき、前記学習済モデルの精度を検証する、請求項23から28のいずれか一項に記載の学習方法。
  30. 記憶工程を備え、
    前記記憶工程は、前記学習済モデルを格納する、請求項23から29のいずれか一項に記載の学習方法。
  31. 前記細胞処理装置は、複数の細胞処理装置である、請求項23から30のいずれか一項に記載の学習方法。
  32. 対象細胞の検出に用いる学習済モデルの提案装置が実行する学習モデルの提案方法であって、
    受信工程と、取得工程と、検出工程と、精度検討工程と、提案出力工程とを含み、
    前記受信工程では、
     細胞を含む画像データを受信し、
    前記取得工程では、
     前記受信工程で受信した画像データにおいて、前記対象細胞が存在する領域が特定された画像データを取得し、
    前記検出工程では、
     前記受信工程で受信した画像データと、記憶部に格納された各学習済モデルとから、前記画像データにおける対象細胞を検出し、
     前記記憶部は、対象細胞を含む画像データと、前記画像データにおいて、前記対象細胞が存在する領域が特定された画像データとを組とした教師データを用いて機械学習を行い生成された、学習済モデルを複数格納し、
    前記精度検討工程では、
     記憶部に格納された各学習済モデルを用いて検出された対象細胞が存在する領域と、前記取得工程で取得された対象細胞が存在する領域が特定された画像データとを比較することにより、各学習済モデルの精度を検討し、
    前記提案出力工程は、
     所定の精度を満たす学習済モデルが存在する場合、前記所定の精度を満たす学習済モデルの情報を含む提案情報を出力する、
    提案方法。
  33. 前記提案出力工程では、
     所定の精度を満たす学習済モデルが存在しない場合、新たな学習済モデルの生成を提案する提案情報を出力する、
    請求項32記載の提案方法。
  34. モデル抽出工程を含み、
    各学習済モデルは、各学習済モデルの生成に用いた対象細胞を含む画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
    前記受信工程で受信した画像データは、前記画像データの撮像条件および細胞の培養条件の少なくとも一方と紐付けられており、
    前記モデル抽出工程では、
     前記受信工程で受信した画像データに紐付けられた撮像条件および培養条件の少なくとも一方と、各学習済モデルに紐付けられた撮像条件および培養条件の少なくとも一方とから、前記受信工程で受信した画像データに適した学習済モデルを抽出し、
    前記検出工程では、
     前記受信工程で受信した画像データと、前記抽出された学習済モデルとから、前記画像データにおける対象細胞を検出する、
    請求項32または33記載の提案方法。
PCT/JP2021/019472 2020-06-22 2021-05-21 細胞処理装置、学習装置、および学習済モデルの提案装置 WO2021261140A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21828918.9A EP4163360A4 (en) 2020-06-22 2021-05-21 CELL PROCESSING DEVICE, LEARNING DEVICE AND LEARNED MODEL PROPOSAL DEVICE
US18/011,911 US20230242862A1 (en) 2020-06-22 2021-05-21 Cell treatment device, learning device, and learned model proposal device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020107143 2020-06-22
JP2020-107143 2020-06-22

Publications (1)

Publication Number Publication Date
WO2021261140A1 true WO2021261140A1 (ja) 2021-12-30

Family

ID=79282527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019472 WO2021261140A1 (ja) 2020-06-22 2021-05-21 細胞処理装置、学習装置、および学習済モデルの提案装置

Country Status (3)

Country Link
US (1) US20230242862A1 (ja)
EP (1) EP4163360A4 (ja)
WO (1) WO2021261140A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153414A1 (ja) * 2022-02-08 2023-08-17 テルモ株式会社 シート状細胞培養物のシート化状態を評価するためのシステム、プログラム、方法及びシート状細胞培養物の製造方法
WO2023221951A3 (zh) * 2022-05-14 2024-01-11 北京大学 基于细胞动态图像机器学习的细胞分化

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014509192A (ja) 2011-02-14 2014-04-17 インターナショナル ステム セル コーポレイション 患者特異的な多分化能ニューロン幹細胞を生成する方法および組成物
JP2017212944A (ja) * 2016-06-01 2017-12-07 株式会社片岡製作所 細胞処理システム
WO2019229789A1 (ja) * 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
WO2019230447A1 (ja) * 2018-06-01 2019-12-05 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
WO2020071332A1 (ja) 2018-10-01 2020-04-09 株式会社片岡製作所 細胞培養器具および細胞培養器具の製造方法
WO2020090947A1 (ja) * 2018-10-31 2020-05-07 合同会社みらか中央研究所 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法
WO2020116115A1 (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置およびモデルの生成方法
JP2020107143A (ja) 2018-12-27 2020-07-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111919117B (zh) * 2018-03-20 2023-01-24 株式会社岛津制作所 细胞图像解析装置、系统、学习数据生成方法及程序、制造方法、学习模型生成方法
JP6541085B1 (ja) * 2018-06-29 2019-07-10 株式会社片岡製作所 細胞処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014509192A (ja) 2011-02-14 2014-04-17 インターナショナル ステム セル コーポレイション 患者特異的な多分化能ニューロン幹細胞を生成する方法および組成物
JP2017212944A (ja) * 2016-06-01 2017-12-07 株式会社片岡製作所 細胞処理システム
WO2019229789A1 (ja) * 2018-05-28 2019-12-05 株式会社オプティム 学習済モデル提案システム、学習済モデル提案方法、およびプログラム
WO2019230447A1 (ja) * 2018-06-01 2019-12-05 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
WO2020071332A1 (ja) 2018-10-01 2020-04-09 株式会社片岡製作所 細胞培養器具および細胞培養器具の製造方法
WO2020090947A1 (ja) * 2018-10-31 2020-05-07 合同会社みらか中央研究所 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法
WO2020116115A1 (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置およびモデルの生成方法
JP2020107143A (ja) 2018-12-27 2020-07-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4163360A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153414A1 (ja) * 2022-02-08 2023-08-17 テルモ株式会社 シート状細胞培養物のシート化状態を評価するためのシステム、プログラム、方法及びシート状細胞培養物の製造方法
WO2023221951A3 (zh) * 2022-05-14 2024-01-11 北京大学 基于细胞动态图像机器学习的细胞分化

Also Published As

Publication number Publication date
EP4163360A1 (en) 2023-04-12
US20230242862A1 (en) 2023-08-03
EP4163360A4 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
WO2021261140A1 (ja) 細胞処理装置、学習装置、および学習済モデルの提案装置
Dastidar et al. Whole slide imaging system using deep learning-based automated focusing
Li et al. Imaging leukocyte trafficking in vivo with two-photon-excited endogenous tryptophan fluorescence
Unger et al. Real-time diagnosis and visualization of tumor margins in excised breast specimens using fluorescence lifetime imaging and machine learning
Vink et al. An automatic vision‐based malaria diagnosis system
Takamori et al. Optimization of multimodal spectral imaging for assessment of resection margins during Mohs micrographic surgery for basal cell carcinoma
KR101554174B1 (ko) 공항 보안 구역 출입 통제 시스템 및 방법
WO2018203568A1 (ja) 細胞評価システム及び方法、細胞評価プログラム
Zhang et al. Multiscale high-speed photoacoustic microscopy based on free-space light transmission and a MEMS scanning mirror
Bergeles et al. Unsupervised identification of cone photoreceptors in non-confocal adaptive optics scanning light ophthalmoscope images
Valdez et al. Multiwavelength fluorescence otoscope for video-rate chemical imaging of middle ear pathology
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
Wang et al. Classifying T cell activity in autofluorescence intensity images with convolutional neural networks
Ali et al. Glaucoma detection based on local binary patterns in fundus photographs
Zeng et al. Label-free in vivo flow cytometry in zebrafish using two-photon autofluorescence imaging
Zhou et al. Dual-modal imaging with non-contact photoacoustic microscopy and fluorescence microscopy
Cavalcanti et al. Intelligent smartphone-based multimode imaging otoscope for the mobile diagnosis of otitis media
WO2019039035A1 (ja) 判別器の学習装置、方法およびプログラム、並びに判別器
WO2019172206A1 (ja) 眼底画像処理装置、および眼底画像処理プログラム
Rai et al. Deep learning-based adaptive optics for light sheet fluorescence microscopy
Kirsch et al. Continuous wave two-photon scanning near-field optical microscopy
Kamtongdee et al. Noise reduction and accuracy improvement in optical-penetration-based silkworm gender identification
CN117216741A (zh) 一种基于对比学习系统的多模态样本植入方法
Schienstock et al. Moving beyond velocity: Opportunities and challenges to quantify immune cell behavior
Muijzer et al. Automatic evaluation of graft orientation during Descemet membrane endothelial keratoplasty using intraoperative OCT

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828918

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021828918

Country of ref document: EP

Effective date: 20230104

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP