WO2023033361A1 - 세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치 - Google Patents

세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2023033361A1
WO2023033361A1 PCT/KR2022/010819 KR2022010819W WO2023033361A1 WO 2023033361 A1 WO2023033361 A1 WO 2023033361A1 KR 2022010819 W KR2022010819 W KR 2022010819W WO 2023033361 A1 WO2023033361 A1 WO 2023033361A1
Authority
WO
WIPO (PCT)
Prior art keywords
cells
drug
image
state
drug efficacy
Prior art date
Application number
PCT/KR2022/010819
Other languages
English (en)
French (fr)
Inventor
김은정
배종주
오정표
방현석
최현영
Original Assignee
닥터노아바이오텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닥터노아바이오텍 주식회사 filed Critical 닥터노아바이오텍 주식회사
Publication of WO2023033361A1 publication Critical patent/WO2023033361A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/80—Data visualisation

Definitions

  • the present invention relates to the evaluation of drug efficacy of a pharmaceutical substance, and more particularly, to a method and apparatus for evaluating drug efficacy based on an image of a cell using an artificial intelligence algorithm.
  • Drug development involves evaluation of the drug's effectiveness.
  • Various candidate substances may be derived in the course of drug development, but not all of the candidate substances reach commercially available pharmaceutical substances. At least some candidate substances may be excluded from the research stage due to reasons such as unexpected side effects or lack of efficacy. Therefore, if drug efficacy can be evaluated accurately at an early stage, resources for unnecessary research can be prevented from being consumed.
  • the present invention is to provide a method and apparatus for effectively evaluating the efficacy of a pharmaceutical substance.
  • the present invention is to provide a method and apparatus for evaluating drug efficacy based on cell images.
  • the present invention is to provide a method and apparatus for evaluating drug efficacy by analyzing cell images using artificial intelligence algorithms.
  • the step of acquiring learning data including image data of cells the step of learning an artificial intelligence model using the learning data, Acquiring an image of the cell to which the drug was administered in the first state, predicting a second state of the acquired image using the learned artificial intelligence model, and the first state before the drug was administered and the prediction and estimating the efficacy of the drug based on at least one of the second states.
  • the first condition may be a diseased or normal state before administration of the drug
  • the second condition may be a pathological or normal state after administration of the drug
  • the acquiring of the learning data may include controlling cells obtained by crushing externally supplied tissue to be accommodated in plates including a plurality of wells; Determining the culture period for each plate or each well and the concentration of the morbid state based on the target morbid states, staining the cells, administering the morbid state as much as the concentration. and obtaining images of the cells by controlling the wells to be photographed after the culture period has elapsed.
  • the obtaining of the learning data may further include labeling the cell images based on the target pathological states.
  • the acquiring of the training data includes performing pre-processing on the images, and the pre-processing includes extracting training images to be included in the training data and adjusting the size of the extracted regions. It may include at least one of resizing and image augmentation.
  • the performing of the preprocessing may include extracting candidate regions having a second size smaller than the first size from the image of the first size obtained through the photographing, and among the candidate regions
  • the method may include determining at least one training image, and resizing the at least one training image to a third size smaller than the second size.
  • the candidate regions are extracted from the image based on a step size shorter than the length of one axis of the training image, and the candidate regions include a first candidate region and a second candidate region that at least partially overlap each other.
  • Can include candidate regions.
  • the determining of the at least one training image may include determining representative values of the candidate regions by summing pixel values of a specific color channel for each of the candidate regions; and determining the at least one training image based on the values.
  • the method may further include identifying the artificial intelligence model corresponding to the disease to be treated using the drug among the modularized artificial intelligence models for each disease.
  • the artificial intelligence model is pre-trained using images included in ImageNet prior to learning using learning data including image data of the cells. ) can be
  • the cells include muscle cells, the first state is a state of muscle progenitor cells that are muscle cells before differentiation, and the second state is that the muscle progenitor cells are differentiated It may be in a state of being a muscle cell.
  • a system for evaluating the efficacy of a drug includes a culture device for culturing cells, a dosing device for administering a substance for inducing a pathological state to cells and a drug to be tested, and imaging of the cells. It may include a photographing device for storing at least one artificial intelligence model, a memory storing at least one artificial intelligence model, and a processor connected to the culture device, the administration device, the photographing device, and the memory.
  • the processor acquires learning data including image data of cells, performs learning on an artificial intelligence model using the learning data, acquires images of cells to which the drug has been administered in a pathological state, and performs the learning
  • the morbid state of the obtained image may be predicted using the artificial intelligence model, and the drug effect may be estimated based on the morbid state before administration of the drug and the predicted morbid state.
  • a system for evaluating drug efficacy includes a culture device for culturing muscle progenitor cells into muscle cells, a screening device for performing H&E (Hematoxylin & Eosin) staining on the muscle cells, and the H&E It may include a photographing device for photographing stained muscle cells, a memory storing at least one artificial intelligence model, and a processor connected to the culturing device, the screening device, the photographing device, and the memory.
  • H&E Hematoxylin & Eosin
  • the processor acquires training data including image data of cells, performs training on an artificial intelligence model using the training data, acquires an image of muscle progenitor cells to which the drug is administered, and
  • the differentiation state of the acquired image may be predicted using an artificial intelligence model, and the efficacy of the drug may be estimated based on the predicted differentiation state.
  • the time, human and material resources necessary for evaluating the efficacy of pharmaceutical substances can be reduced.
  • FIG. 1 shows the concept of a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 2 illustrates a concept of image analysis based on artificial intelligence in a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 3 illustrates the concept of drug efficacy evaluation based on cell images in the drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 4 shows the structure of a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG 5 illustrates an example of an artificial neural network applicable to the drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 6 shows an example of a modular structure of a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 7 illustrates an example of a procedure for evaluating drug efficacy in a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 8 shows an example of a procedure for acquiring learning data in the drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG 9 illustrates an example of cell image production in the drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 10 illustrates an example of analysis of a cell image in a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG 11 illustrates an example of cell image cropping in the drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 12 illustrates examples of augmentation of a cell image in a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 13 illustrates an example of morphological change of a cell image according to a pathological state in a drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 14 illustrates an example of a procedure for evaluating drug efficacy in the drug efficacy evaluation system according to an embodiment of the present invention.
  • FIG. 15 illustrates an implementation example of a drug efficacy evaluation system according to an embodiment of the present invention.
  • 16 shows example images of muscle progenitor cells and muscle cells.
  • FIG 17 shows another example of images of muscle progenitor cells and muscle cells.
  • FIG 18 shows examples of images of muscle progenitor cells and muscle cells imaged through H&E staining according to an embodiment of the present invention.
  • the present invention is for evaluating the efficacy of a pharmaceutical substance using an artificial intelligence algorithm, and specifically relates to a technique for evaluating the efficacy of a pharmaceutical substance based on an image of a cell.
  • the present invention uses images of cells that well represent the pathological state of nervous system diseases, such as neurons, astrocytes, microglia, oligodendrocytes, and myocytes. We propose a drug efficacy evaluation technique.
  • Deep learning has improved image analysis capabilities. Deep learning is suitable for recognizing or classifying complex images because it extracts features of images without manual work by researchers. Therefore, deep learning can also be used for complex cell image analysis. Image analysis using deep learning is faster and more objective than humans, and enables analysis of various patterns in images. Therefore, if the morphological analysis of the pathological state of cells is performed using deep learning, fast and high accuracy is expected.
  • a system may be named 'NeuroRG'.
  • the NeruoRG system can analyze cell images using deep learning in order to confirm drug efficacy for neurological disease lesions.
  • the NeuroRG system can be designed to target 99% accuracy in determining the pathology of a single well. Taking cell images can be done consistently and quickly using automated equipment. It takes several tens of minutes to photograph a plate containing 96 wells, and screening of about 3,000 drugs for one lesion can be performed within several tens of weeks. Based on the drug screening results, the drug efficacy for a specific lesion is ranked. As such, NeuroRG can evaluate drug efficacy with high accuracy and fast processing speed.
  • the drug efficacy evaluation system includes brain cell culture (102), cell imaging (104), model learning (106), modularization (108), drug treatment (110), drug efficacy evaluation (112).
  • the drug efficacy evaluation system administers the drug to be tested to the cells in a morbid state in the drug treatment step (110), and diagnoses the morbid state according to changes caused by drug administration using an artificial intelligence model in the drug efficacy evaluation step (112).
  • the efficacy of the drug can be evaluated.
  • the concepts of AI-based image analysis and cell image-based drug efficacy evaluation are shown in FIGS. 2 and 3 below.
  • a classification result 208 of a pathological state may be obtained according to a score 206 estimated based on deep learning 204 for image data 202 .
  • the drug efficacy evaluation system may use a deep learning model for cell image analysis.
  • the drug efficacy evaluation system learns images classified according to pathological conditions using a deep learning model.
  • a convolutional neural network (CNN) one of the deep learning models, extracts and learns various features of images by itself. Therefore, by using the CNN model that has learned the features of the cell image, whether the cell image is in a pathological state can be determined from the extracted features.
  • a classification 306 of a pathological condition may be obtained, and a drug efficacy evaluation result 308 may be derived based on the classification 306 .
  • the drug efficacy evaluation system evaluates the drug efficacy for a pathological condition representative of a disease, which is a very effective method for neurological diseases. To this end, the drug efficacy evaluation system learns a model using images of cells in normal and pathological states. Then, the drug efficacy evaluation system administers the drug while inducing a pathological state in the cells. The drug efficacy evaluation system takes images of cells and determines whether a specific drug alleviates a pathological condition using a learned model. If the drug effect is sufficient, the model classifies the state of the cell as a normal state rather than a pathological state.
  • FIG. 4 shows the structure of a drug efficacy evaluation system according to an embodiment of the present invention.
  • the drug efficacy evaluation system includes a learning data generation unit 410, a model learning unit 420, a drug efficacy evaluation unit 430, and an artificial intelligence model repository 440.
  • the learning data generating unit 410 generates learning data for learning the artificial intelligence model.
  • training data may include labeled cell images.
  • the learning data generator 410 may perform at least some of the operations of culturing cells, photographing cells, pre-processing images acquired through photographing, and labeling images.
  • the model learning unit 420 learns the artificial intelligence model stored in the artificial intelligence model storage 440 using the training data generated by the learning data generator 410 . In other words, the model learning unit 420 optimizes the weights of the artificial intelligence model. To this end, the model learning unit 420 may update the weights of the artificial intelligence model through a prediction and back-propagation process, and verify the performance of the artificial intelligence model having the updated weights.
  • the drug efficacy evaluation unit 430 evaluates the drug efficacy of the target drug using the learned artificial intelligence model. To this end, the drug efficacy evaluation unit 430 may perform at least some of the operations of inducing pathological conditions in cells, administering drugs to cells, photographing cells, and diagnosing pathological conditions based on an image using an artificial intelligence model. In addition, the drug efficacy evaluation unit 430 may provide data representing the evaluated drug efficacy.
  • the artificial intelligence model storage 440 is a storage device, that is, a memory, storing an artificial intelligence model for classification of pathological conditions based on artificial intelligence.
  • the artificial intelligence model included in the artificial intelligence model storage 440 may be learned by the model learning unit 420 and used by the drug efficacy evaluation unit 430 .
  • an artificial intelligence model included in the artificial intelligence model storage 440 may have a structure as shown in FIG. 5 .
  • the drug efficacy evaluation system may include components for performing learning data generation, artificial intelligence model learning, and drug efficacy evaluation based on prediction using an artificial intelligence model.
  • the drug efficacy evaluation system may include at least one processor and at least one memory device.
  • the drug efficacy evaluation system may include at least one component for processing mechanical/chemical/electronic/biological operations for the aforementioned functions.
  • the drug efficacy evaluation system may include a cell culture device for generating learning data, a dosing device for administering a substance for inducing a pathological state to cells and a drug to be tested, and an imaging device for imaging the cells, A display device and an input device for interaction with a user may be included.
  • an artificial neural network as shown in FIG. 5 may be understood as a structure of an artificial intelligence model stored in an artificial intelligence model storage 440.
  • an artificial neural network includes an input layer 510, at least one hidden layer 520, and an output layer 530.
  • Each of the layers 510, 520, and 530 is composed of a plurality of nodes, and each node is connected to the output of at least one node belonging to the previous layer.
  • Each node adds a bias to the inner product of each output value of the nodes in the previous layer and the corresponding connection weight, and then generates a non-linear activation function
  • the output value multiplied by is delivered to at least one neuron in the next layer.
  • Each layer can be further divided into input nodes, perceptrons, and output nodes.
  • the artificial neural network shown in FIG. 5 may be formed by learning (eg, machine learning, deep learning, etc.).
  • artificial neural network models used in various embodiments of the present invention include fully convolutional neural networks, convolutional neural networks, recurrent neural networks, and restricted Boltzmann machines. , RBM) and at least one of a deep belief neural network (DBN), but is not limited thereto.
  • RBM convolutional neural networks
  • DNN restricted Boltzmann machines
  • machine learning methods other than deep learning may also be included.
  • a hybrid model combining deep learning and machine learning may also be included.
  • a deep learning-based model may be applied to extract features of an image, and a machine learning-based model may be applied when the image is classified or recognized based on the extracted features.
  • the machine learning-based model may include a Support Vector Machine (SVM), AdaBoost, and the like, but is not limited thereto.
  • SVM Support Vector Machine
  • AdaBoost AdaBoost
  • the drug efficacy evaluation system can modularize the system according to each pathological condition. If the analysis is performed using modules representing a specific neurological disease, the drug efficacy evaluation system can evaluate the drug efficacy for the corresponding neurological disease on a fast and consistent basis. An example of modularization is shown in FIG. 6 below.
  • the drug efficacy evaluation system includes a neuroinflammation module 602, differentiation module 604, synaptic transmission module 606, oxidative stress induced toxicity ) module 608, myogenesis module 610, dendritic spine module 612, excitotoxicity module 614, axonal growth or neuritic extension extension) module 616.
  • 7 illustrates an example of a procedure for evaluating drug efficacy in a drug efficacy evaluation system according to an embodiment of the present invention. 7 illustrates an operating method of a drug efficacy evaluation system.
  • the drug efficacy evaluation system acquires learning data including image data of cultured cells.
  • at least one automated device provided in the drug efficacy evaluation system may be used.
  • Automated devices may include cell culture devices, substance/drug dispensing devices, automated microscopes, and the like.
  • the drug efficacy evaluation system may record the concentration of a substance administered to each cell to induce a morbid state, and label the morbid state according to the concentration of the substance.
  • the drug efficacy evaluation system performs learning on the artificial intelligence model using the learning data. That is, the drug efficacy evaluation system acquires a prediction result by inputting pixel values of an image among training data as input values of an artificial intelligence model, and performs backpropagation based on the prediction result and labeling information of the image to obtain the weight value of the artificial intelligence model. can update them.
  • a learned artificial intelligence model can be built that determines the pathological condition (eg, disease level) from images of cells.
  • the drug efficacy evaluation system performs drug efficacy evaluation using the learned artificial intelligence model. Specifically, the drug efficacy evaluation system administers a drug to be tested to a cell in a diseased state, acquires an image of the cell after drug administration, and then predicts the diseased state of the acquired image using a learned artificial intelligence model. In addition, the drug efficacy evaluation system may estimate the effect of the drug by comparing the morbid state before drug administration and the predicted morbid state after drug administration. If the drug efficacy evaluation system is modularized for each disease, the drug efficacy evaluation system identifies an AI model corresponding to the disease to be treated using the drug to be tested among the modular AI models for each disease, and uses the identified AI model. Thus, drug efficacy evaluation can be performed.
  • the drug efficacy evaluation system may build a learned artificial intelligence model using the learning data and evaluate drug efficacy based on the learned artificial intelligence model.
  • a pre-trained model using ImageNet may be utilized.
  • the pre-trained model shows higher performance.
  • one color of red, green, and blue may be dyed according to the type of each cell.
  • the EfficientNet-B7 model may be used. As a result of the inflammation module test, the higher the image resolution, the higher accuracy will be secured, and the EfficientNet-B7 model pre-trained with high-resolution images can be utilized.
  • 8 shows an example of a procedure for acquiring learning data in the drug efficacy evaluation system according to an embodiment of the present invention. 8 illustrates the operation method of the drug efficacy evaluation system.
  • the drug efficacy evaluation system acquires a tissue extracted from the test subject.
  • mouse embryonic e.g., E16 to E18
  • the extraction operation is performed through a separate procedure, and the drug efficacy evaluation system may accommodate the tissue in a device for cell culture.
  • the brain of an embryo isolated from a placenta excised from a mother mouse may be excised, and a cerebral cortical part may be harvested.
  • the drug efficacy evaluation system can grind brain tissue supplied from the outside using crushing equipment, and distribute cells according to the number of cells required for the experiment.
  • the drug efficacy evaluation system may supply the dispensed cells to a well plate.
  • cells obtained from a mouse embryo 902 may be supplied to a 96-well plate 904 . That is, the drug efficacy evaluation system may accommodate cells obtained by crushing tissues supplied from the outside in plates including a plurality of wells.
  • the drug efficacy evaluation system determines the culture period according to the morbid condition to be induced.
  • the drug efficacy evaluation system stores mapping data representing information about the culture period corresponding to the pathological state, and the culture period can be determined using the mapping data.
  • the drug efficacy evaluation system may obtain information on a target pathological state and determine a corresponding culture period.
  • the drug efficacy evaluation system performs dye treatment and culture.
  • the staining treatment is a treatment for facilitating observation of cell morphological changes, and for example, immunocytochemical staining may be applied. If each cell is fluorescently stained with a different color, it is possible to photograph the morphology of several stained cells through a microscope.
  • an inflammatory module it is preferable to stain each of neurons, nucleic acids, and microglia with different colors.
  • drug treatment may be performed at a concentration of the drug according to the stage of inflammation.
  • the drug efficacy evaluation system co-cultures brain cells, and through this, a large amount of brain cells can be obtained. That is, various and large amounts of brain cells can be secured.
  • step S807 the drug efficacy evaluation system acquires an image of the cultured cells. That is, the drug efficacy evaluation system waits for the culture period determined in step S803 and then photographs the cells. Through this, the drug efficacy evaluation system can produce cell images of mass-cultured brain cells.
  • the efficacy evaluation system produces images for normal and pathological conditions. Morbid conditions are classified according to the severity of the morbid condition. In the case of the inflammation module, the images may be classified according to levels such as mild (eg, Lipopolysaccharides 0.1 ⁇ g/ml) and severe (eg, Lipopolysaccharides 10 ⁇ g/ml).
  • an image 1008 may be obtained by photographing cells cultured in each well 1006 included in the plate 1004 .
  • the drug efficacy evaluation system pre-processes the image.
  • the drug efficacy evaluation system may pre-process images for efficient learning. For example, as pre-processing of an image, at least one of resizing, cropping, and augmentation may be performed.
  • the drug efficacy evaluation system determines the culture period according to the pathological condition to be induced.
  • the pathological condition to be induced may be determined on a plate-by-plate basis or on a well-by-well basis.
  • the drug efficacy evaluation system may apply a culture period corresponding to a severe morbid condition to some wells or plates and a culture period corresponding to a mild morbid condition to other wells or plates.
  • the culture period as well as the concentration of a substance (hereinafter referred to as 'pathological symptom inducing substance') administered to induce a pathological condition may vary depending on the target pathological condition.
  • the drug efficacy evaluation system may determine a target morbid state based on the currently acquired learning data, and then determine a culture period and a concentration of the morbid state-inducing substance to be administered based on the determined morbid state.
  • the drug efficacy evaluation system may set a target ratio of images for each pathological condition among labeled images constituting the learning data. Accordingly, in generating learning data, the drug efficacy evaluation system may allocate a target pathological state for each plate or each well so as to achieve a target ratio.
  • the training data for mild morbidity and the training data for severe morbidity were set at a target ratio of 50:50, but the currently acquired training data consisted of 1000 images of mild morbidity and 500 images of severe morbidity.
  • the drug efficacy evaluation system first assigns the serious morbidity as the target morbidity to the plate(s) or well(s) capable of obtaining 500 images of the serious morbidity, and then assigns the remaining plates Alternatively, mild morbidity and severe morbidity can be assigned in a 1:1 ratio to the wells.
  • the amount of the corresponding plate or well may be different depending on the pathological condition.
  • 100 images of severe morbidity may be obtainable from N plates, but 100 images of mild morbidity may be obtainable from M plates.
  • the difference between N and M may be due to a preprocessing process of an image described later, characteristics of cells, marked cellular elements, diseases of interest, and the like.
  • N and M values may be defined as fixed values based on statistics.
  • values of N and M may be adaptively determined based on statistics and past image acquisition history. That is, the drug efficacy evaluation system may determine how many plate(s) or well(s) of the last 100 images have been acquired based on the past image acquisition history, and then apply the identified amount.
  • staining of cells is performed, for example, immunocytochemical staining may be used.
  • Immunocytochemical staining is a technique for confirming the level of protein expression in cells. It can be applied to display and manage the preparation of test solutions, tests, and results in a standard form to qualitatively confirm the level of protein expression in cells. .
  • images acquired through photography are pre-processed. Specific examples of the preprocessing will be described with reference to FIGS. 11 to 13 below.
  • 11 illustrates an example of cropping of a cell image in a drug efficacy evaluation system according to an embodiment of the present invention. 11 illustrates cropping a part of an image acquired through shooting. Specific numerical values of the image sizes illustrated below are examples, and similar operations may be applied to cases having other resolutions.
  • an unprocessed cell image (hereinafter referred to as 'well image') 1112 obtained from a well may have a size of 5976 pixels on a horizontal axis and a vertical axis, that is, 5976 ⁇ 5976. If the image 1112 having a size of 5976 ⁇ 5976 is applied to the deep learning model as it is, the amount of computation may become a burden. Therefore, a process for reducing the resolution is required. To this end, the drug efficacy evaluation system first searches for an important region 1114 in the well image 1112 .
  • the important region 1114 is an image included in training data (hereinafter referred to as 'learning image') in which a relatively large number of elements showing large changes are distributed in the image according to a change in pathological state. Then, the drug efficacy evaluation system obtains an image of the important region 1114 by cropping the searched region. Then, although not shown in FIG. 11, the cropped image may be scaled to a smaller size for more effective learning and then used for learning.
  • the drug efficacy evaluation system searches for a region in which microglia are abundantly distributed in the well image, and extracts the region in a predefined size. Specifically, the drug efficacy evaluation system extracts a 2400 ⁇ 2400 area where microglia are abundantly distributed in a 5976 ⁇ 5976 image, and scales the image of the extracted area to 600 ⁇ 600, that is, adjusts the size. In a similar manner, the drug efficacy evaluation system may acquire a plurality of 600 ⁇ 600 size images from one 5976 ⁇ 5976 size image, and then learn an artificial intelligence model using the acquired images.
  • the drug efficacy evaluation system may extract candidate regions having a size of 2400 ⁇ 2400 at regular intervals from a 5976 ⁇ 5976 image. For example, if a step size of 20 pixels is applied, the drug efficacy evaluation system extracts a candidate region having four corners of (0,0), (0,2400), (2400,0), and (2400,2400) , and then a candidate region having four corners of (20,0), (20,2400), (2420,0), and (2420,2400) can be extracted. By repeating this process, about 30,000 candidate regions can be extracted from an image of 5976 ⁇ 5976 size.
  • the drug efficacy evaluation system determines a representative value by summing the values of the color channels stained with the cellular elements that are the criterion for determining the pathological state. do. For example, when microglia are stained blue, the drug efficacy evaluation system sums all blue channel values of 2400 ⁇ 2400 pixels included in each candidate region. And, the drug efficacy evaluation system determines a learning image that is a basis of learning data based on the representative values of the candidate regions. For example, candidate regions having a representative value equal to or greater than a threshold, candidate regions having a top K number of representative values, and candidate regions having a representative value of a top K% may be determined as training images.
  • the drug efficacy evaluation system may determine the training images so that a plurality of training images are not determined in candidate regions overlapping at least a predetermined ratio (eg, 50%). For example, if candidate region #1 and candidate region #2 that satisfy the condition for the representative value overlap at a certain rate or more, the drug efficacy evaluation system selects only one of candidate region #1 and candidate region #2 having a larger representative value. can be selected as a training image. When the step size is smaller than the length of one axis of the candidate regions, a plurality of candidate regions overlapping at a predetermined ratio or more may occur.
  • a predetermined ratio eg, 50%
  • a sum of specific channel values of candidate regions may be used to determine a training image.
  • the number of cellular elements eg, microglia
  • the drug efficacy evaluation system may determine a representative value of each candidate region by counting the number of target cell elements detected after detecting the presence of target cell elements in the image.
  • a separate artificial intelligence model may be used to detect the presence of target cellular elements.
  • 12 illustrates examples of augmentation of a cell image in a drug efficacy evaluation system according to an embodiment of the present invention. 12 illustrates augmentation by various processes on the original image 1214 .
  • a plurality of changed images 1216a to 1216f may be generated. That is, in the case of FIG. 12 , the amount of learning data may be increased seven times.
  • Cell images are affected by culture conditions and imaging conditions. Therefore, it is necessary to set certain conditions for creating data used for learning and for creating data used for actual prediction, and to produce data. However, even if the conditions are constant, there may be slight differences in the data due to experiments on different days and times or changes in experimenters, so the drug efficacy evaluation system is shown in FIG. increase the variety of images, such as
  • learning of an artificial intelligence model may be performed.
  • the drug efficacy evaluation system that is, NeuroRG
  • Pathological conditions can be analyzed with high accuracy by using images of cells showing significant morphological differences depending on pathological conditions.
  • 13 illustrates an example of morphological change of a cell image according to a pathological state in a drug efficacy evaluation system according to an embodiment of the present invention.
  • 13 illustrates morphological changes of microglia in an inflammatory environment. Microglia are activated in the inflammatory response and show morphological changes according to activation. Specifically, referring to FIG. 13 , microglia exhibit morphologically different properties according to a normal state (1318a), a mild morbid state (1318a), and a severe morbid state (1318a). Therefore, using the learned artificial intelligence model, pathological conditions can be classified based on morphological differences.
  • 14 illustrates an example of a procedure for evaluating drug efficacy in the drug efficacy evaluation system according to an embodiment of the present invention. 14 illustrates the operation method of the drug efficacy evaluation system.
  • the drug efficacy evaluation system induces a pathological state of cells.
  • the drug efficacy evaluation system may administer a specific substance to the cell.
  • certain substances may be lipopolysaccharides (LPS).
  • LPS lipopolysaccharides
  • Cells are in a steady state (e.g., CTL) when LPS is not administered at all, mildly morbid with a partial (e.g., 0.1 ⁇ g/ml) dose, and severely morbid with a high dose (e.g., 1 ⁇ g/ml)10. state can be
  • the action causing the pathological condition may be performed according to an automated algorithm.
  • the drug efficacy evaluation system classifies wells according to target pathological conditions in at least one plate containing cultured cells, and administers a substance (eg, LPS) that induces pathological conditions to each well according to the classification.
  • a substance eg, LPS
  • step S1403 the drug efficacy evaluation system administers the drug to be tested to cells in a pathological state. That is, after a time required for inducing a pathological state in the cells elapses, the drug efficacy evaluation system administers the drug to be tested to each cell. At this time, the amount of drug administered may be fixed or differentiated. When a drug is administered in a differential amount, the drug efficacy evaluation system records the amount of drug administered for each cell, that is, for each well.
  • the drug efficacy evaluation system diagnoses the state of the drug-administered cells using an artificial intelligence model.
  • the drug efficacy evaluation system acquires images by photographing the cells administered with the drug, and predicts the pathological state of the cells from the images using a trained artificial intelligence model.
  • photographing and prediction may be repeatedly performed periodically.
  • the waiting time and the evaluation period may be determined based on the pathological state of the cells and the amount of drug administered to the cells.
  • the NeuroRG system can evaluate drug performance based on experiments and image taking.
  • the NeuroRG system may be implemented to include hardware devices for cell extraction/cultivation, imaging, and the like, and an example of implementation is shown in FIG. 15 below.
  • the drug efficacy evaluation system includes a cell extraction device 1510, a cell culture device 1520, a screening device 1530, a photographing device 1540, and a control device 1550.
  • the cell extraction device 1510 is equipment for dissection and cell extraction of mouse embryonic.
  • the cell extraction device 1510 includes a structure for accommodating the rat embryo during dissection and cell extraction (eg, a work tray, etc.), an exhaust structure (eg, a blower, a filter, etc.) ), a sensor (e.g., camera) for observing the condition of the mouse embryo, and a dissection means (e.g., knife, forceps, etc.) that apply physical force to dissect the mouse embryo and extract cells.
  • the cell extraction device 1510 is an automated device for dissecting mouse embryos and extracting cells, and may perform the dissection and extraction operations through electronic control.
  • the cell extraction device 1510 may notify the control device 1550 of completion.
  • the cell culture device 1520 is equipment for culturing cells extracted from mouse embryos. To this end, the cell culture device 1520 may include an incubator chamber, a filter, a control circuit, and the like. According to one embodiment, the cell culture device 1520 is an automated device for performing a cell culture operation, and may perform a cell culture operation through electronic control. According to an embodiment, when the culture up to the state indicated by the control device 1550 is completed, the cell culture device 1520 may notify the control device 1550 of the completion.
  • the screening device 1530 is equipment that performs cell dispensing, drug dilution/dispensing, cell fixation, and staining. To this end, the screening device 1530 may include a deck, a probe, a gripper, a pod, and the like. According to an embodiment, the screening device 1530 is an automated device for performing operations such as cell staining, and may perform cell staining and the like through electronic control. According to an embodiment, the screening device 1530 may perform cell staining or the like according to conditions indicated by the control device 1550 and notify the control device 1550 of completion of the task.
  • the photographing device 1540 is equipment for photographing a cell image.
  • the photographing device 1540 includes a plate for accommodating an object to be photographed, a driving means for moving the plate, a camera for photographing, a processor for converting a photographed result into an electronic file format, a storage means for storing an image file, and the like.
  • the photographing device 1540 is an automated device for performing a photographing operation, and may perform a photographing operation through electronic control.
  • the photographing device 1540 may perform photographing according to conditions indicated by the control device 1550, and may transmit task completion and a result (eg, an image file) to the control device 1550. there is.
  • the control device 1550 controls operations of the cell extraction device 1510, the cell culture device 1520, the screening device 1530, and the photographing device 1540, and controls the cell extraction device 1510 and the cell culture device 1520. , data generated by the operations of the screening device 1530 and the imaging device 1540 are acquired, and performance evaluation of the drug is performed. A series of operations by the cell extraction device 1510, the cell culture device 1520, the screening device 1530, and the photographing device 1540 may all be performed in an automated manner under the control of the control device 1550.
  • the cell extraction device 1510, the cell culture device 1520, the screening device 1530, and the photographing device 1540 each include a mechanical device (e.g., a robot arm, etc.) for assisting the corresponding operation, and the progress of the operation.
  • a mechanical device e.g., a robot arm, etc.
  • samples e.g, cells Transport devices (eg, conveyor belts, etc.) may further be used to move tissue, etc.
  • the control device 1550 performs calculations and operations according to various embodiments based on the collected data. For example, at least a part of the structure illustrated in FIG. 4 may be understood as a functional structure of the control device 1550 .
  • NeuroRG can standardize the experiment and image capturing process and maintain the quality of the sample through automated equipment. This allows NeuroRG to produce repeatable and reliable data. In addition, NeuroRG can secure high data productivity. NeuroRG can automatically image dozens of plates over the course of a day using automated imaging equipment. In addition, NeuroRG can process a large amount of drugs using high throughput screening (HTS) equipment, and can process dozens of drugs at the same time.
  • HTS high throughput screening
  • NeuroRG according to an embodiment of the present invention is aimed at efficient evaluation of neurological disease drug efficacy. To this end, NeuroRG morphologically determines pathological conditions through cell images and uses deep learning for cell image analysis. In addition, NeuroRG understands the effect of drugs on pathological conditions and determines drug efficacy.
  • the proposed drug efficacy evaluation technique is performed on brain cells as well as various other cells, such as astrocytes, microglia, oligodendrocytes, and myocytes. It can be. That is, the cells used for drug efficacy evaluation in the system according to various embodiments of the present invention are primary cultured cells cultured from various tissues, cell models such as genetically modified cell lines, and animals Alternatively, it means an animal cell line (human cells), and may include nerve cells, muscle cells, and the like. As a specific example, an embodiment of the case where the NeuroRG system is applied to muscle cells is as follows.
  • Muscle loss can occur in general aging, muscle diseases caused by genetic or environmental factors, and cancer. Muscle loss occurs for various reasons depending on the pathological condition, and eventually causes functional abnormalities of the muscles. Muscle loss due to aging can be caused by insufficient protein intake, mitochondrial dysfunction and cell death due to oxidative stress, changes in hormone production, and induction of inflammation. In the case of muscle diseases such as DMD (Duchenne Muscular Dystrophy), SMA (Spinal Muscular Atrophy), DM (Myotonic Dystrophy), and LGMD2B (Limb Girdle Muscular Dystrophy), muscle loss occurs due to mutations in the causative gene, and muscle cause degeneration
  • the module for promoting differentiation into muscle cells learns the degree of differentiation into muscle cells using muscle progenitor cells (myoblast, C2C12 cell line) and selects the effect of promoting differentiation of drugs through the shape of cells treated with drugs. am. Differentiation from muscle progenitor cells to muscle cells can be confirmed through immunofluorescence staining using an antibody against MHC (Mosin Heavy Chain) protein specifically expressed in muscle cells.
  • muscle progenitor cells myoblast, C2C12 cell line
  • FIG. 16 shows example images of muscle progenitor cells and muscle cells.
  • a first image 1602 is captured in a state in which differentiation from muscle progenitor cells into muscle cells has not been achieved.
  • the first image 1602 since most of them are muscle progenitor cells, there are few cells showing a positive signal (eg, green) in MHC staining.
  • the second image 1604 and the third image 1606 of FIG. 16 are captured in a state in which differentiation of muscle progenitor cells into muscle cells is induced.
  • the second image 1604 and the third image 1606 since the ratio of muscle cells increased, when the images were checked after staining for MHC, green, which is a positive signal, was shown. It is confirmed that the cells increase.
  • 17 shows another example of images of muscle progenitor cells and muscle cells. 17 illustrates a result of observing the images of FIG. 16 at high magnification.
  • the round-shaped muscle progenitor cells of the first image 1702 are differentiated into the muscle cells of the second image 1704 and the third image 1706, the cells become thin, and the third image (1706), the form in which multiple nuclei are included in one cytoplasm changes.
  • staining using a specific antibody called MHC is required.
  • the NeuroRG system in order to minimize the cost and time for promoting differentiation into muscle cells, the NeuroRG system according to an embodiment of the present invention induces differentiation into muscle progenitor cells and muscle cells without using antibodies, and then separates the cytoplasm and nucleus Morphological features can be imaged using H&E (Hematoxylin & Eosin) staining, which is a stainable dye.
  • H&E Hematoxylin & Eosin
  • Morphological features in H&E staining are similar to morphological features shown in images through immunofluorescence staining using MHC antibodies.
  • 18 shows examples of images of muscle progenitor cells and muscle cells imaged through H&E staining according to an embodiment of the present invention.
  • muscle progenitor cells before differentiation are shown in a round shape.
  • the first image 1802 of FIG. 18 shows whole muscle cells imaged using H&E staining.
  • the second image 1804 of FIG. 18 when differentiation is made into muscle cells, similar to the second image 1604 of FIG. 16 and the second image 1704 of FIG. 17 , the nucleus becomes smaller and , cells are elongated transversely in a pointed shape.
  • the third image 1806 and the fourth image 1808 of FIG. 18 are taken in a differentiated state. Referring to the third image 1806 and the fourth image 1808 of FIG. 18 , similar to the third image 1606 of FIG. 16 and the third image 1706 of FIG. 17 , as the differentiation is further made, the muscles It is confirmed that the cells are fused, the cytoplasmic boundary is blurred, and a plurality of smaller nuclei are included in one cell.
  • the NeuroRG system Based on the morphological changes confirmed through images such as FIG. 18, the NeuroRG system according to an embodiment cultures C2C12 cells, which are muscle progenitor cells, and cultures the cells under conditions with different degrees of differentiation into muscle cells, and H&E After dyeing, images are mass-produced for learning, and drugs having an effect of accelerating differentiation into muscle cells can be selected by processing drugs later.
  • Exemplary methods of the present invention are presented as a series of operations for clarity of explanation, but this is not intended to limit the order in which steps are performed, and each step may be performed concurrently or in a different order, if desired.
  • other steps may be included in addition to the exemplified steps, other steps may be included except for some steps, or additional other steps may be included except for some steps.
  • various embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • It may be implemented by a processor (general processor), controller, microcontroller, microprocessor, or the like.
  • the scope of the present invention is software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause operations according to methods of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium in which instructions and the like are stored and executable on a device or computer.
  • the present invention can be applied not only to the field for evaluating drug efficacy based on cell images, but also to various fields using artificial intelligence technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)

Abstract

본 발명은 약물의 약효를 평가하기 위한 방법 및 장치에 대한 것으로, 약물의 약효를 평가하는 방법에 있어서, 세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하는 단계, 상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하는 단계, 병적 상태에서 상기 약물이 투여된 세포의 이미지를 획득하는 단계, 상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 병적 상태를 예측하는 단계, 상기 약물이 투여되기 전의 병적 상태 및 상기 예측된 병적 상태에 기반하여 상기 약물의 약효를 추정하는 단계를 포함할 수 있다.

Description

세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치
본 발명은 의약 물질의 약효 평가에 관한 것으로, 특히, 인공지능 알고리즘을 이용하여 세포의 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치에 대한 것이다.
문명이 발달함에 따라 인간의 삶은 풍요로워졌지만, 새로운 질병들이 계속적으로 발생하고 있다. 질병으로부터 자유롭고 건강하게 오래 살고자 하는 사람들의 소망에 따라, 새로운 약을 만들기 위한 수많은 시도와 노력이 이루어지고 있다. 이러한 가운데, 제약산업 분야에서 4차 산업 혁명은 대규모 데이터를 바탕으로 인공지능, 바이오 융합기술 등을 통해 약물 개발에 새로운 방향을 제시하고 있다.
약물의 개발은 약물의 효과에 대한 평가를 포함한다. 약물의 개발 과정에서 다양한 후보 물질들이 도출될 수 있는데, 모든 후보 물질이 시판되는 의약 물질로까지 도달하는 것은 아니다. 예상치 못한 부작용이 있거나, 약효가 부족하다는 등의 이유로 인해 적어도 일부의 후보 물질은 연구 단계에서 제외될 수 있다. 따라서, 조기에 정확하게 약효를 평가할 수 있다면, 불필요한 연구를 위해 자원이 소모되는 것이 방지될 수 있다.
본 발명은 의약 물질의 약효를 효과적으로 평가하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 인공지능 알고리즘을 이용하여 세포 이미지를 분석함으로써 약효를 평가하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 약물의 약효를 평가하는 방법에 있어서, 세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하는 단계, 상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하는 단계, 제1 상태에서 상기 약물이 투여된 세포의 이미지를 획득하는 단계, 상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 제2 상태를 예측하는 단계, 및 상기 약물이 투여되기 전의 제1 상태 및 상기 예측된 제2 상태 중 적어도 하나에 기반하여 상기 약물의 약효를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 상태는, 상기 약물이 투여되기 전의 병적 또는 정상 상태이고, 상기 제2 상태는, 상기 약물이 투여된 후의 병적 상태 또는 정상 상태 일 수 있다.
본 발명의 일 실시 예에 따르면, 상기 학습 데이터를 획득하는 단계는, 외부로부터 공급된 조직을 분쇄하여 얻어진 세포들을 복수의 웰(well)들을 포함하는 플레이트(plate)들에 수용하도록 제어하는 단계, 목표한 병적 상태들에 기반하여 상기 플레이트 또는 상기 웰 별 배양 기간 및 병적 상태를 유발하는 물질의 농도를 결정하는 단계, 상기 세포들을 염색 처리하는 단계, 상기 농도 만큼의 병적 상태를 유발하는 물질을 투여하는 단계, 상기 배양 기간이 경과한 후, 상기 웰들을 촬영하도록 제어함으로써 세포의 이미지들을 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 방법은, 상기 학습 데이터를 획득하는 단계는, 상기 목표한 병적 상태들에 기반하여 상기 세포의 이미지들을 라벨링하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 학습 데이터를 획득하는 단계는, 상기 이미지들에 대한 전처리를 수행하는 단계를 포함하며, 상기 전처리는, 학습 데이터에 포함될 학습 이미지 추출, 추출된 영역의 크기 조절(resizing), 이미지의 증강(augmentation) 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 전처리를 수행하는 단계는, 상기 촬영을 통해 얻어진 제1 크기의 이미지에서 상기 제1 크기보다 작은 제2 크기의 후보 영역들을 추출하는 단계, 상기 후보 영역들 중 적어도 하나의 학습 이미지를 결정하는 단계, 및 상기 적어도 하나의 학습 이미지를 상기 제2 크기보다 작은 제3 크기로 크기 조절하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 후보 영역들은, 상기 이미지에서 상기 학습 이미지의 한 축의 길이보다 짧은 스텝 크기에 기반하여 추출되며, 상기 후보 영역들은, 적어도 일부 중첩되는 제1 후보 영역 및 제2 후보 영역을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 적어도 하나의 학습 이미지를 결정하는 단계는, 상기 후보 영역들 각각에 대하여 특정 컬러 채널의 픽셀 값들을 합산함으로써 상기 후보 영역들의 대표 값들을 결정하는 단계, 상기 대표 값들에 기반하여 상기 적어도 하나의 학습 이미지를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 대표 값에 대한 조건을 충족하는 후보 영역들 중 미리 정의된 비율 이상 중첩되는 후보 영역들이 존재하면, 중첩되는 후보 영역들 중 하나의 후보 영역만이 학습 이미지로서 결정될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 방법은, 모듈화된 질환 별 인공지능 모델들 중 상기 약물을 이용하여 치료하고자 하는 질환에 대응하는 상기 인공지능 모델을 확인하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 인공지능 모델은, 상기 세포들의 이미지 데이터를 포함하는 학습 데이터를 이용한 학습에 앞서, 이미지넷(ImageNet)에 포함된 이미지들을 이용하여 선-훈련(pre-train)될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 세포들은, 근육 세포들을 포함하며, 상기 제1 상태는, 분화되기 전 근육 세포인 근육 전구 세포인 상태이고, 상기 제2 상태는, 상기 근육 전구 세포가 분화된 근육 세포인 상태일 수 있다.
본 발명의 일 실시 예에 따른 약물의 약효를 평가하는 시스템은 세포의 배양을 위한 배양 장치, 상시 세포에 병적 상태를 유발하기 위한 물질 및 실험 대상 약물을 투여하기 위한 투약 장치, 상기 세포의 촬영을 위한 촬영 장치, 적어도 하나의 인공지능 모델을 저장한 메모리, 및 상기 배양 장치, 상기 투약 장치, 상기 촬영 장치, 상기 메모리와 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하고, 상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하고, 병적 상태에서 상기 약물이 투여된 세포의 이미지를 획득하고, 상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 병적 상태를 예측하고, 상기 약물이 투여되기 전의 병적 상태 및 상기 예측된 병적 상태에 기반하여 상기 약물의 약효를 추정하도록 제어할 수 있다.
본 발명의 일 실시 예에 따른 약물의 약효를 평가하는 시스템은, 근육 전구 세포를 근육 세포로 배양하기 위한 배양 장치, 상기 근육 세포에 대한 H&E(Hematoxylin & Eosin) 염색을 수행하는 스크리닝 장치, 상기 H&E 염색된 근육 세포의 촬영을 위한 촬영 장치, 적어도 하나의 인공지능 모델을 저장한 메모리, 및 상기 배양 장치, 상기 스크리닝 장치, 상기 촬영 장치, 상기 메모리와 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하고, 상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하고, 상기 약물이 투여된 근육 전구 세포의 이미지를 획득하고, 상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 분화 상태를 예측하고, 상기 예측된 분화 상태에 기반하여 상기 약물의 약효를 추정하도록 제어할 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 의약 물질의 약효 평가에 필요한 시간적, 인적, 물적 자원의 소요가 감소될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 약효 평가 시스템의 개념을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 인공지능 기반의 이미지 분석의 개념을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지 기반의 약효 평가의 개념을 도시한다.
도 4는 본 발명의 일 실시 예에 따른 약효 평가 시스템의 구조를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 약효 평가 시스템에 적용 가능한 인공 신경망의 예를 도시한다.
도 6는 본 발명의 일 실시 예에 따른 약효 평가 시스템의 모듈화 구조의 예를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 약효를 평가하는 절차의 예를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 학습 데이터를 획득하는 절차의 예를 도시한다.
도 9는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지 생산의 일 예를 도시한다.
도 10은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지에 대한 분석의 일 예를 도시한다.
도 11은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지의 크롭핑(cropping)의 일 예를 도시한다.
도 12는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지의 증강(augmentation)의 예들을 도시한다.
도 13은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 병적 상태에 따른 세포 이미지의 형태학적 변화의 예를 도시한다.
도 14는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 약효를 평가하는 절차의 예를 도시한다.
도 15는 본 발명의 일 실시 예에 따른 약효 평가 시스템의 구현 예를 도시한다.
도 16은 근육 전구 세포 및 근육 세포의 이미지들의 예를 도시한다.
도 17은 근육 전구 세포 및 근육 세포의 이미지들의 다른 예를 도시한다.
도 18을 본 발명의 일 실시 예에 따라 H&E 염색을 통해 이미지화된 근육 전구 세포 및 근육 세포의 이미지들의 예를 도시한다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 인공지능 알고리즘을 이용하여 의약 물질의 약효를 평가하기 위한 것으로, 구체적으로 세포의 이미지에 기반하여 의약 물질의 약효를 평가하는 기술에 관한 것이다.
신경계 질환에 대한 약효를 평가하는 경우, 질환을 대표하는 병리학적 상태의 변화를 확인하는 것이 효과적이다. 세포들은 정상 상태와 병적인 상태에 따라 다양한 형태를 띠게 된다. 따라서, 세포들에 대한 형태학적 분석을 통해 세포들의 병적 상태가 확인될 수 있다. 또한, 약물 투여 여부에 따른 세포의 형태 변화를 관찰하면, 신경계 질환에 대한 약효의 평가가 가능하다. 이에 따라, 본 발명은 신경 세포(Neuron), 성상 세포(Astrocyte), 소교 세포(Microglia), 희돌기교세포(Oligodendrocyte), 근세포(Mpyocyte) 등 신경계 질환의 병리학적 상태를 잘 나타내는 세포들의 이미지를 이용한 약효 평가 기술을 제안한다.
최근에 딥러닝으로 인해 이미지 분석 능력이 향상되었다. 딥러닝은 연구자의 수작업 없이 이미지의 특징을 추출하기 때문에, 복잡한 이미지를 인식하거나 분류하는 데 적합하다. 따라서, 딥러닝은 복잡한 세포 이미지 분석에도 활용될 수 있다. 딥러닝을 이용한 이미지 분석은 사람보다 빠르고 객관적이며, 이미지의 다양한 패턴을 분석할 수 있게 한다. 따라서, 딥러닝을 활용해 세포의 병적상태에 대한 형태학적 분석을 진행하면, 빠르고 높은 정확도가 기대된다.
이하 설명에서, 본 발명의 다양한 실시 예들에 따른 시스템은 'NeuroRG'라 명명될 수 있다. NeruoRG 시스템은, 신경계 질환 병변에 대한 약효를 확인하기 위해, 딥러닝을 이용해 세포 이미지를 분석할 수 있다. NeuroRG 시스템은 하나의 웰(well)의 병적 상태를 판단함에 있어서 99%의 정확도를 목표로 설계될 수 있다. 세포 이미지의 촬영은 자동화 장비를 이용하여 일관되고 빠르게 진행될 수 있다. 96개의 웰(well)들을 포함하는 플레이트(plate)를 촬영하기 위해 수십여분의 시간이 소요되며, 수십 주 이내에 하나의 병변에 대하여 3,000여 개의 약물 스크리닝이 진행될 수 있다. 약물 스크리닝 결과에 기반하여, 특정 병변에 대한 약효의 순위가 파악된다. 이와 같이, NeuroRG는 높은 정확도와 빠른 처리속도로 약효를 평가할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 약효 평가 시스템의 개념을 도시한다. 도 1을 참고하면, 약효 평가 시스템은 뇌 세포(brain cell) 배양(102), 세포 이미지 촬영(104), 모델 학습(106), 모듈화(108), 약물 처리(110), 약효 평가(112)의 단계들을 거쳐 약효를 평가한다. 구체적으로, 약효 평가 시스템은 뇌 세포 배양(102) 단계에서 많은 개수의 뇌 세포들을 확보하고, 세포 이미지 촬영(104) 단계에서 확보된 뇌 세포들에 대한 이미지들을 효율적으로 획득한다. 이후, 약효 평가 시스템은 모델 학습(106) 단계에서 획득된 이미지들을 이용하여 인공지능 모델에 대한 심층 학습(deep learning)을 수행하고, 모듈화(108) 단계에서 질환별로 모듈화된 구조를 구축한다. 최종적으로, 약효 평가 시스템은 약물 처리(110) 단계에서 병적 상태의 세포에 시험 대상 약물을 투여하고, 약효 평가(112) 단계에서 인공지능 모델을 이용하여 약물 투여에 의한 변화에 따른 병적 상태를 진단함으로써 약효를 평가할 수 있다. 이때, 인공지능 기반의 이미지 분석 및 세포 이미지 기반의 약효 평가의 개념들은 이하 도 2 및 도 3과 같다.
도 2는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 인공지능 기반의 이미지 분석의 개념을 도시한다. 도 2를 참고하면, 이미지 데이터(202)에 대한 심층 학습(204)에 기반하여 추정되는 스코어(score)(206)에 따라 병적 상태의 분류 결과(208)가 얻어질 수 있다. 약효 평가 시스템은 세포 이미지 분석에 딥러닝 모델을 이용할 수 있다. 약효 평가 시스템은 병적 상태에 따라 구분된 이미지들을 딥러닝 모델을 이용해 학습한다. 딥러닝의 모델 중 하나인 CNN(convolutional neural network)은 스스로 이미지의 특징을 다양하게 추출해 학습한다. 따라서, 세포 이미지의 특징을 학습한 CNN 모델을 이용하면, 추출된 특징으로부터 세포 이미지의 병적 상태 여부가 판단될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지 기반의 약효 평가의 개념을 도시한다. 도 3을 참고하면, 이미지 데이터(302)에 대한 심층 학습(304)에 기반하여 병적 상태의 분류(306)이 얻어지고, 이에 기반하여 약효 평가 결과(308)이 도출될 수 있다. 약효 평가 시스템은 질환을 대표하는 병적 상태에 대한 약효를 평가하고, 이는 신경계 질환에 매우 효과적인 방법이다. 이를 위해, 약효 평가 시스템은 정상 상태와 병적 상태의 세포 이미지를 이용해 모델을 학습한다. 이후, 약효 평가 시스템은 세포에 병적 상태를 유발하면서 약물을 투여한다. 약효 평가 시스템은 세포의 이미지를 촬영하고, 학습한 모델로 특정 약물이 병적 상태를 완화하는지 판단한다. 약효가 충분하다면, 모델은 세포의 상태를 병적 상태가 아닌 정상 상태로 분류된다.
도 4는 본 발명의 일 실시 예에 따른 약효 평가 시스템의 구조를 도시한다.
도 4를 참고하면, 약효 평가 시스템은 학습 데이터 생성부(410), 모델 학습부(420), 약효 평가부(430), 인공지능 모델 저장소(440)를 포함한다.
학습 데이터 생성부(410)는 인공지능 모델의 학습을 위한 학습 데이터를 생성한다. 본 발명의 다양한 실시 예들에 따라, 학습 데이터는 라벨링된(labeled) 세포 이미지들을 포함할 수 있다. 이를 위해, 학습 데이터 생성부(410)는 세포의 배양, 세포의 촬영, 촬영을 통해 획득된 이미지들의 전처리, 이미지에 대한 라벨링(labeling) 중 적어도 일부의 동작을 수행할 수 있다.
모델 학습부(420)는 학습 데이터 생성부(410)에 의해 생성된 학습 데이터를 이용하여 인공지능 모델 저장소(440)에 저장된 인공지능 모델을 학습한다. 다시 말해, 모델 학습부(420)는 인공지능 모델의 가중치들을 최적화한다. 이를 위해, 모델 학습부(420)는 예측 및 역전파(back-propagation) 과정을 통해 인공지능 모델의 가중치들을 갱신하고, 갱신된 가중치들을 가진 인공지능 모델의 성능을 검증할 수 있다.
약효 평가부(430)는 학습된 인공지능 모델을 이용하여 목표 약물의 약효를 평가한다. 이를 위해, 약효 평가부(430)는 세포에 병적 상태 유발, 세포에 약물 투여, 세포의 촬영, 인공지능 모델을 이용한 이미지 기반 병적 상태 진단 중 적어도 일부의 동작을 수행할 수 있다. 또한, 약효 평가부(430)는 평가된 약효를 나타내는 데이터를 제공할 수 있다.
인공지능 모델 저장소(440)은 인공지능 기반의 병적 상태 분류를 위한 인공지능 모델을 저장한 저장 장치, 즉 메모리이다. 인공지능 모델 저장소(440)에 포함된 인공지능 모델은 모델 학습부(420)에 의해 학습되고, 약효 평가부(430)에 의해 사용될 수 있다. 예를 들어, 인공지능 모델 저장소(440)에 포함되는 인공지능 모델은 도 5와 같은 구조를 가질 수 있다.
도 4를 참고하여 설명한 바와 같이, 본 발명의 실시 예에 따른 약효 평가 시스템은 학습 데이터 생성, 인공지능 모델 학습, 인공지능 모델을 이용한 예측에 기반한 약효 평가 등을 수행하기 위한 구성요소들을 포함할 수 있다. 이를 위해, 약효 평가 시스템은 적어도 하나의 프로세서, 적어도 하나의 메모리 장치를 포함할 수 있다. 또한, 약효 평가 시스템은 전술한 기능들을 위한 기계적/화학적/전자적/생물학적 동작을 처리하기 위한 적어도 하나의 구성요소를 포함할 수 있다. 예를 들어, 약효 평가 시스템은 학습 데이터 생성을 위해 세포 배양 장치, 세포에 병적 상태를 유발하기 위한 물질 및 실험 대상 약물을 투여하기 위한 투약 장치, 세포를 촬영하기 위한 촬영 장치를 포함할 수 있고, 사용자와의 상호 작용을 위한 표시 장치 및 입력 장치를 포함할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 약효 평가 시스템에 적용 가능한 인공 신경망의 예를 도시한다. 도 5와 같은 인공 신경망은 인공지능 모델 저장소(440)에 저장된 인공지능 모델의 구조로 이해될 수 있다. 도 5를 참고하면, 인공 신경망은 입력 계층(input layer)(510), 적어도 하나의 은닉 계층(hidden layer)(520), 출력 계층(output layer)(530)으로 이루어진다. 계층들(510, 520, 530) 각각은 복수의 노드(node)들로 구성되어 있으며, 노드들 각각은 이전 계층에 속한 적어도 하나의 노드의 출력과 연결되어 있다. 각 노드는 이전 계층의 노드들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 후, 비선형(non-linear)인 활성화 함수(activation function)와 곱한 출력 값을 다음 계층의 적어도 하나의 뉴런에게 전달한다. 각 계층은 입력 노드, 퍼셉트론, 출력 노드로 다시 구분될 수 있다.
도 5와 같은 인공 신경망은 학습(예: 기계 학습(machine learning), 딥 러닝(deep learning) 등)에 의해 형성될 수 있다. 또한, 본 발명의 다양한 실시 예에서 사용되는 인공 신경망 모델은 완전 합성곱 신경망(fully convolutional neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.
*본 발명의 다양한 실시 예들에 따른 약효 평가 시스템, 즉, NeuroRG는 각 병적 상태에 따라 시스템을 모듈화할 수 있다. 특정 신경계 질환을 대표하는 모듈들을 활용하여 분석을 진행하면, 약효 평가 시스템은 빠르고 일관된 기준으로 해당 신경계 질환에 대한 약효를 평가할 수 있다. 모듈화의 일 예는 이하 도 6과 같다.
도 6는 본 발명의 일 실시 예에 따른 약효 평가 시스템의 모듈화 구조의 예를 도시한다. 도 6을 참고하면, 약효 평가 시스템은 신경세포염증(neuroinflammation) 모듈(602), 분화(differentiation) 모듈(604), 시냅스 전달(synaptic transmission) 모듈(606), 산화 스트레스 유도 독성(oxidative stress induced toxicity) 모듈(608), 근발생(myogenesis) 모듈(610), 수지상극(dendritic spine) 모듈(612), 흥분성 독성(excitotoxicity) 모듈(614), 신경 돌기 성장(axonal growth) 또는 신경염성 확장(neuritic extension) 모듈(616) 중 적어도 하나를 포함할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 약효를 평가하는 절차의 예를 도시한다. 도 7은 약효 평가 시스템의 동작 방법을 예시한다.
도 7을 참고하면, S701 단계에서, 약효 평가 시스템은 배양된 세포에 대한 이미지 데이터를 포함하는 학습 데이터를 획득한다. 학습 데이터를 획득하기 위해, 약효 평가 시스템에 구비된 적어도 하나의 자동화 장치가 사용될 수 있다. 자동화 장치는 세포 배양 장치, 물질/약물 투여 장치, 자동 마이크로스코프(automated microscope) 등을 포함할 수 있다. 또한, 약효 평가 시스템은 병적 상태를 유발하기 위해 각 세포에 투여된 물질의 농도를 기록하고, 물질의 농도에 따라 병적 상태에 대한 라벨링을 수행할 수 있다.
S703 단계에서, 약효 평가 시스템은 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행한다. 즉, 약효 평가 시스템은 학습 데이터 중 이미지의 픽셀 값들을 인공지능 모델의 입력 값으로서 입력함으로써 예측 결과를 획득하고, 예측 결과 및 이미지의 라벨링 정보에 기반하여 역전파를 수행함으로써 인공지능 모델의 가중치 값들을 갱신할 수 있다. 이를 통해, 세포의 이미지로부터 병적 상태(예: 병적 수준)을 판단하는 학습된 인공지능 모델이 구축될 수 있다.
S705 단계에서, 약효 평가 시스템은 학습된 인공지능 모델을 이용하여 약효 평가를 수행한다. 구체적으로, 약효 평가 시스템은 병적 상태에 있는 세포에 실험 대상 약물을 투여하고, 약물 투여 후 세포의 이미지를 획득한 후, 학습된 인공지능 모델을 이용하여 획득된 이미지의 병적 상태를 예측한다. 그리고, 약효 평가 시스템은 약물 투여 전의 병적 상태 및 약물 투여 후의 예측된 병적 상태를 비교함으로써 해당 약물의 효과를 추정할 수 있다. 약효 평가 시스템이 질환 별로 모듈화된 경우, 약효 평가 시스템은 모듈화된 질환 별 인공지능 모델들 중 실험 대상 약물을 이용하여 치료하고자 하는 질환에 대응하는 인공지능 모델을 확인하고, 확인된 인공지능 모델을 이용하여 약효 평가를 수행할 수 있다.
도 7과 같은 절차에 따라, 약효 평가 시스템은 학습 데이터를 이용하여 학습된 인공지능 모델을 구축하고, 학습된 인공지능 모델에 기반하여 약효를 평가할 수 있다. 이때, 학습에 사용되는 세포 이미지는 그 형태가 다양하지 않기 때문에, CNN 모델이 이미지의 특징을 다양하게 추출하는데 어려울 수 있다. 따라서, 일 실시 예에 따라, 이미지넷(ImageNet)을 이용하여 선-훈련(pre-train)된 모델이 활용될 수 있다. 구체적인 예로, 염증 모듈의 경우, 선-훈련된 모델이 더 높은 성능을 보여준다. 세포 이미지의 경우, 각 세포의 종류에 따라 레드(red), 그린(green), 블루(blue) 중 하나의 색으로 염색이 될 수 있다. 이는 하나의 객체마다 레드, 그린, 블루가 다양하게 섞인 이미지넷에 포함된 이미지와 다르지만, 실제 학습하고 예측하는데 문제가 되지 않음이 알려져 있다. 일 실시 예에 따라, EfficientNet-B7 모델이 사용될 수 있다. 염증 모듈 테스트 결과 이미지 해상도가 높을수록 더 높은 정확도가 확보될 것이고, 높은 해상도의 이미지로 선-훈련된 EfficientNet-B7 모델이 활용될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 학습 데이터를 획득하는 절차의 예를 도시한다. 도 8은 약효 평가 시스템의 동작 방법을 예시한다.
도 8을 참고하면, S801 단계에서, 약효 평가 시스템은 실험체에서 적출된 조직을 획득한다. 예를 들어, 실험체로서 쥐 배아(mouse embryonic)(예: E16 내지 E18)가 사용될 수 있다. 일 실시 예에 따라, 적출 작업은 별도의 절차를 통해 이루어지고, 약효 평가 시스템은 세포 배양을 위한 장치에 조직을 수용할 수 있다. 예를 들어, 모체 쥐에서 적출된 태반으로부터 분리된 배아의 뇌가 적출되고, 대뇌 피질(cerebral cortical) 부분이 수확할 수 있다. 약효 평가 시스템은 외부로부터 공급되는 뇌 조직을 분쇄 장비를 이용하고 분쇄하고, 실험에 필요한 세포 수에 맞게 세포를 분주할 수 있다. 약효 평가 시스템은 분주된 세포를 웰 플레이트(well plate)에 공급할 수 있다. 예를 들어, 도 9와 같이, 쥐 배아(902)로부터 얻어진 세포들이 96-웰 플레이트(904)에 공급될 수 있다. 즉, 약효 평가 시스템은 외부로부터 공급된 조직을 분쇄하여 얻어진 세포들을 복수의 웰들을 포함하는 플레이트들에 수용할 수 있다.
S803 단계에서, 약효 평가 시스템은 유발하고자 하는 병적 상태에 따라 배양 기간을 결정한다. 약효 평가 시스템은 병적 상태에 대응하는 배양 기간에 대한 정보를 나타내는 맵핑 데이터를 저장하고 있으며, 맵핑 데이터를 이용하여 배양 기간을 결정할 수 있다. 이를 위해, 일 실시 예에 따라, 약효 평가 시스템은 목표하는 병적 상태에 대한 정보를 획득하고, 대응하는 배양 기간을 결정할 수 있다.
S805 단계에서, 약효 평가 시스템은 염색 처리 및 배양을 수행한다. 염색 처리는 세포의 형태 변화에 대한 관찰을 용이하게 하기 위한 처리로서, 예를 들어, 면역 세포 화학 염색법이 적용될 수 있다. 세포마다 다른 색으로 형광 염색을 해주면, 현미경을 통해 염색된 여러 세포의 형태를 촬영할 수 있다. 염증 모듈의 경우, 뉴런(neuron), 핵산(nuclear acid), 미크로글리아(microglia) 각각을 다른 색으로 염색하는 것이 바람직하다. 또한, 염증 모듈의 경우, 염증의 단계에 따른 약물의 농도로 약물 처리가 수행될 수 있다. 배양의 경우, 약효 평가 시스템은 뇌 세포를 공동 배양(co-culture)하며, 이를 통해 대량의 뇌 세포들을 획득할 수 있다. 즉, 다양하고 많은 양의 뇌 세포들이 확보될 수 있다.
S807 단계에서, 약효 평가 시스템은 배양된 세포의 이미지를 획득한다. 즉, 약효 평가 시스템은 S803 단계에서 결정된 배양 기간 만큼 대기한 후, 세포들을 촬영한다. 이를 통해, 약효 평가 시스템은 대량 배양한 뇌 세포의 세포 이미지를 생산할 수 있다. 약효 평가 시스템은 정상 상태 및 병적 상태에 대해 이미지를 생산한다. 병적 상태는 병적 상태의 심각도에 따라 구분된다. 염증 모듈의 경우, 이미지들은 가벼움(Mild)(예: Lipopolysaccharides 0.1 ㎍/㎖), 심각함(Severe)(예: Lipopolysaccharides 10 ㎍/㎖) 등 수준 별로 구분될 수 있다. 이미지를 획득하기 위한 촬영은 최고 60배율을 가진 자동화된 장비를 이용하여 수행되며, 일관되고 빠르게 촬영될 수 있다. 하루 동안 수십 개의 플레이트들에 대한 촬영이 가능하다. 예를 들어, 도 10과 같이, 플레이트(1004)에 포함되는 각 웰(well)(1006)에서 배양된 세포를 촬영함으로써 이미지(1008)가 획득될 수 있다.
S809 단계에서, 약효 평가 시스템은 이미지를 전처리한다. 다시 말해, 약효 평가 시스템은 효율적인 학습을 위해 이미지를 전처리할 수 있다. 예를 들어, 이미지의 전처리로서, 크기 조절(resizing), 크롭핑(cropping), 증강(augmentation) 중 적어도 하나가 수행될 수 있다.
도 8을 참고하여 설명한 실시 예에서, 약효 평가 시스템은 유발하고자 하는 병적 상태에 따라 배양 기간을 결정한다. 이때, 유발하고자 하는 병적 상태는 플레이트 단위로 또는 웰 단위로 결정될 수 있다. 예를 들어, 약효 평가 시스템은 일부 웰이나 플레이트에 대하여 심각한(severe) 병적 상태에 대응하는 배양 기간을, 나머지 웰이나 플레이트에 대하여 가벼운(mild) 병적 상태에 대응하는 배양 기간을 적용할 수 있다. 이때, 도 8에서 설명되지 아니하였으나, 배양 기간은 물론 병적 상태 유발을 위해 투여되는 물질(이하 '병적 증상 유발 물질')의 농도 역시, 목표하는 병적 상태에 따라 달라질 수 있다.
이때, 약효 평가 시스템은 현재 확보된 학습 데이터에 기반하여 목표하는 병적 상태를 결정한 후, 결정된 병적 상태에 기반하여 배양 기간, 투여되는 병적 상태 유발 물질의 농도를 결정할 수 있다. 이를 위해, 약효 평가 시스템은 학습 데이터를 구성하는 라벨링된 이미지들 중 병적 상태 별 이미지들의 목표 비율을 설정할 수 있다. 이에 따라, 학습 데이터를 생성함에 있어서, 약효 평가 시스템은 목표 비율을 달성할 수 있도록 플레이트 별 또는 웰 별로 목표하는 병적 상태를 할당할 수 있다. 예를 들어, 가벼운 병적 상태의 학습 데이터 및 심각한 병적 상태의 학습 데이터가 50:50의 목표 비율로 설정되었으나, 현재 확보된 학습 데이터가 가벼운 병적 상태의 이미지 1000 장, 심각한 병적 상태의 이미지 500장을 포함하는 경우, 약효 평가 시스템은 먼저 심각한 병적 상태의 이미지 500 장을 획득할 수 있는 분량의 플레이트(들) 또는 웰(들)에게 목표하는 병적 상태로서 심각한 병적 상태를 먼저 할당한 후, 나머지 플레이트들 또는 웰들에 대하여 1:1의 비율로 가벼운 병적 상태 및 심각한 병적 상태를 할당할 수 있다.
여기서, 원하는 이미지의 개수가 동일하더라도, 대응하는 플레이트 또는 웰의 분량은 병적 상태에 따라 다를 수 있다. 예를 들어, 심각한 병적 상태의 100 장의 이미지들은 N개의 플레이트들로부터 획득 가능하지만, 가벼운 병적 상태의 100 장의 이미지들은 M개의 플레이트들로부터 획득 가능할 수 있다. 여기서, N 및 M의 차이는 후술되는 이미지의 전처리 과정, 세포의 특성, 마킹된 세포 요소, 관심있는 질환 등에 기인할 수 있다. 일 실시 예에 따라, N 및 M 값은 통계에 기반하여 고정된 값으로 정의될 있다. 다른 실시 예에 따라, N 및 M 값은 통계에 기반하여 과거 이미지 획득 이력에 기반하여 적응적으로 결정될 수 있다. 즉, 약효 평가 시스템은, 과거 이미지 획득 이력에 기반하여, 최근 100 장의 이미지가 몇개의 플레이트(들) 또는 웰(들)로부터 획득되었는지 확인한 후, 확인된 분량을 적용할 수 있다.
도 8을 참고하여 설명한 실시 예에서, 세포에 대한 염색이 수행되며, 예를 들어, 면역 세포 화학 염색법이 사용될 수 있다. 면역 세포 화학 염색법은 세포에서 단백질 발현 정도를 확인하기 위한 기술로서, 세포에서 단백질의 발현 정도를 정성적으로 확인하기 위한 시험 용액의 조제, 시험 및 결과 등을 표준 양식으로 나타내고 관리하기 위해 적용될 수 있다.
도 8을 참고하여 설명한 실시 예에서, 촬영을 통해 획득된 이미지가 전처리된다. 전처리에 대한 구체적인 예들이 이하 도 11 내지 도 13을 참고하여 설명된다.
도 11은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지의 크롭핑(croping)의 일 예를 도시한다. 도 11은 촬영을 통해 획득된 이미지에서 일부를 크롭핑하는 것을 예시한다. 이하 예시된 이미지 크기의 구체적인 수치들은 일 예이며, 다른 해상도를 가지는 경우에도 유사한 동작이 적용될 수 있다.
도 11을 참고하면, 웰에서 촬영된 후 가공되지 아니한 세포 이미지(이하 '웰 이미지')(1112)는 가로 축 및 세로 축에서 5976개의 픽셀들, 즉, 5976×5976 크기를 가질 수 있다. 5976×5976 크기를 가지는 이미지(1112)를 그대로 딥러닝 모델에 적용하면, 연산량이 부담이 될 수 있다. 따라서, 해상도를 줄여주는 처리가 필요하다. 이를 위해, 약효 평가 시스템은 웰 이미지(1112)에서 중요 영역(1114)을 먼저 검색한다. 여기서, 중요 영역(1114)은 병적 상태의 변화에 따라 이미지 상에서 큰 변화를 보이는 요소가 상대적으로 많이 분포하는 영역이며, 학습 데이터에 포함되는 이미지(이하 '학습 이미지')이다. 그리고, 약효 평가 시스템은 검색된 영역을 크롭핑함으로써 중요 영역(1114)의 이미지를 획득한다. 이후, 도 11에 도시되지 아니하였으나, 크롭핑된 이미지는 보다 효과적인 학습을 위해 더 작은 크기로 스케일링(scaling)된 후, 학습을 위해 사용될 수 있다.
예를 들어, 염증 모듈의 경우, 이미지에 뉴런(neuron), 핵산(nuclear acid), 미크로글리아(microglia) 등이 포함되며, 염증 유무에 따라 큰 형태 변화를 보이는 것은 미크로글리아이다. 따라서, 약효 평가 시스템은 웰 이미지에서 미크로글리아가 많이 분포하는 영역을 검색하고, 해당 영역을 미리 정의된 크기로 추출한다. 구체적으로, 약효 평가 시스템은 5976×5976 크기의 이미지에서 미크로글리아가 많이 분포하는 2400×2400 크기의 영역을 추출하고, 추출된 영역의 이미지를 600×600으로 스케일링, 다시 말해, 크기 조절한다. 유사한 방식으로, 약효 평가 시스템은 하나의 5976×5976 크기를 가진 이미지로부터 복수의 600×600 크기 이미지들을 획득한 후, 획득된 이미지를 이용하여 인공지능 모델을 학습할 수 있다.
도 11을 참고하여 설명한 크롭핑 동작에서, 중요 영역(1114), 즉, 학습 이미지는 다양한 방식으로 검색될 수 있다. 일 실시 예에 따라, 약효 평가 시스템은 5976×5976 이미지에서, 일정 간격으로 2400×2400 크기의 후보 영역들을 추출할 수 있다. 예를 들어, 20 픽셀의 스텝 크기를 적용하면, 약효 평가 시스템은 (0,0), (0,2400), (2400,0), (2400,2400)의 4개 모서리들을 가지는 후보 영역를 추출하고, 그 다음으로 (20,0), (20,2400), (2420,0), (2420,2400)의 4개 모서리들을 가지는 후보 영역를 추출할 수 있다. 이를 반복하면, 5976×5976 크기의 이미지에서 약 30,000 개의 후보 영역들이 추출될 수 있다.
후보 영역들 각각에 대하여, 약효 평가 시스템은 병적 상태 판정의 기준이 되는 세포 요소에 염색된 컬러 채널의 값을 합산함으로써 대표 값을 결정한다. 한다. 예를 들어, 미크로글리아가 블루 색상으로 염색된 경우, 약효 평가 시스템은 각 후보 영역에 포함된 2400×2400개 픽셀들의 블루 채널 값들을 모두 합산한다. 그리고, 약효 평가 시스템은 후보 영역들의 대표 값들을 기반으로 학습 데이터의 기초가 되는 학습 이미지를 결정한다. 예를 들어, 임계치 이상의 대표 값을 가지는 후보 영역들, 상위 K개의 대표 값들을 가지는 후보 영역들, 상위 K%의 대표 값들을 가지는 후보 영역들이 학습 이미지들로서 결정될 수 있다.
대표 값들에 기반하여 학습 이미지를 결정함에 있어서, 약효 평가 시스템은 일정 비율(예: 50%) 이상 중첩되는 후보 영역들에서 복수의 학습 이미지가 결정되지 아니하도록 학습 이미지들을 결정할 수 있다. 예를 들어, 대표 값에 대한 조건을 만족하는 후보 영역#1 및 후보 영역#2가 일정 비율 이상 중첩되는 경우, 약효 평가 시스템은 후보 영역#1 및 후보 영역#2 중 더 큰 대표 값을 가지는 하나만을 학습 이미지로서 선택할 수 있다. 후보 영역의 한 축의 길이에 비해 스탭 크기가 작은 경우, 일정 비율 이상 중첩되는 후보 영역들이 다수 발생할 수 있다.
전술한 바와 같이, 일 실시 예에 따라, 학습 이미지를 결정하기 위해 후보 영역들의 특정 채널 값들의 합이 이용될 수 있다. 다른 실시 예에 따라, 특정 채널 값들의 합을 대신하여, 병적 상태 판정의 기준이 되는 세포 요소(예: 미크로글리아)의 개수가 대표 값으로서 사용될 수 있다. 이 경우, 약효 평가 시스템은 이미지에서 목표 세포 요소의 존재를 검출한 후, 검출된 목표 세포 요소의 개수를 카운팅함으로써 각 후보 영역의 대표 값을 결정할 수 있다. 여기서, 목표 세포 요소의 존재를 검출하기 위해, 별도의 인공지능 모델이 사용될 수 있다.
도 12는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 세포 이미지의 증강(augmentation)의 예들을 도시한다. 도 12는 원본 이미지(1214)에 대한 다양한 가공들에 의한 증강을 예시한다.
도 12를 참고하면, 원본 이미지(1214)에 플립(flip), 회전(rotation), 노이즈(noise) 추가, 블러링(blurring), 왜곡(distortion), RGB(red green blue) 변환(shift) 등의 이미지 변환 적용함으로써, 복수의 변화된 이미지들(1216a 내지 1216f)이 생성될 수 있다. 즉, 도 12와 같은 경우, 학습 데이터의 양이 7배로 증강될 수 있다. 세포의 이미지는 배양 조건과 촬영 조건에 영향을 받는다. 따라서, 학습에 쓰이는 데이터를 만들 때와 실제 예측에 쓰이는 데이터를 만드는 조건을 일정하게 설정하고, 데이터를 생산하는 것이 필요하다. 하지만, 조건을 일정하게 하여도 다른 날, 다른 시간에 실험하거나 실험 수행자가 바뀌는 등의 이유로 데이터에 약간의 차이가 있을 수 있으므로, 약효 평가 시스템은 환경 변화에 견고한 인공지능 모델을 구축하기 위해 도 12와 같이 이미지의 다양성을 증대한다.
전술한 다양한 실시 예들에 따라, 인공지능 모델의 학습이 수행될 수 있다. 이후, 약효 평가 시스템, 즉, NeuroRG는 세포 이미지에 대한 형태학적 분석을 기반으로 병리학적 상태를 파악한다. 병적 상태에 따라 형태적인 차이를 크게 보이는 세포의 이미지를 이용하면, 높은 정확도로 병적 상태가 분석될 수 있다.
도 13은 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 병적 상태에 따른 세포 이미지의 형태학적 변화의 예를 도시한다. 도 13은 염증 환경에서 미크로글리아의 형태학적 변화를 예시한다. 미크로글리아는 염증 반응에서 활성화되며, 활성화에 따라 형태학적 변화를 보인다. 구체적으로, 도 13을 참고하면, 미크로글리아는 정상 상태(1318a), 가벼운(mild) 병적 상태(1318a), 심각한(severe) 병적 상태(1318a)에 따라 형태적으로 다른 성질을 보인다. 따라서, 학습된 인공지능 모델을 이용하면, 형태적 차이점에 기반하여 병적 상태가 구분될 수 있다.
도 14는 본 발명의 일 실시 예에 따른 약효 평가 시스템에서 약효를 평가하는 절차의 예를 도시한다. 도 14는 약효 평가 시스템의 동작 방법을 예시한다.
도 14를 참고하면, S1401 단계에서, 약효 평가 시스템은 세포의 병적 상태를 유발한다. 병적 상태를 유발하기 위해, 약효 평가 시스템은 특정 물질을 세포에 투여할 수 있다. 예를 들어, 특정 물질은 지질다당류(lipopolysaccharides, LPS)일 수 있다. 세포는, LPS를 전혀 투여하지 않으면 정상 상태(예: CTL)이 되고, 일부(예: 0.1 ㎍/㎖) 투여하면 가벼운 병적 상태가 되고, 많이(예: 1 ㎍/㎖) 투여하면10 심각한 병적 상태가 될 수 있다. 병적 상태를 유발하는 동작은 자동화된 알고리즘에 따라 수행될 수 있다. 예를 들어, 약효 평가 시스템은 배양된 세포들을 수용하고 있는 적어도 하나의 플레이트에서 목표하는 병적 상태별로 웰들을 분류하고, 분류에 따라 각 웰에 병적 상태를 유발하는 물질(예: LPS)를 투여할 수 있다.
S1403 단계에서, 약효 평가 시스템은 병적 상태에 있는 세포에 실험 대상 약물을 투여한다. 즉, 세포들에 병적 상태가 유발되기 위해 필요한 시간이 경과한 후, 약효 평가 시스템은 각 세포에 실험 대상 약물을 투여한다. 이때, 투여되는 약물의 양은 고정적이거나 또는 차등화될 수 있다. 차등적인 양으로 약물이 투여되는 경우, 약효 평가 시스템은 세포 별, 즉, 웰 별로 투여된 약물의 양을 기록한다.
S1405 단계에서, 약효 평가 시스템은 인공지능 모델을 이용하여 약물 투여된 세포의 상태를 진단한다. 약효 평가 시스템은 약물 투여된 세포들을 촬영함으로써 이미지를 획득하고, 학습된 인공지능 모델을 이용하여 이미지들로부터 해당 세포의 병적 상태를 예측한다. 이때, 약물이 투여된 시점으로부터 일정한 대기 시간 경과 이후부터 평가 기간 동안 주기적으로 촬영 및 예측이 반복적으로 수행될 수 있다. 여기서, 대기 시간 및 평가 기간은 세포의 병적 상태, 세포에 투여된 약물의 양에 기반하여 결정될 수 있다.
전술한 다양한 실시 예들과 같이, NeuroRG 시스템은 실험 및 이미지 촬영에 기반하여 약물의 성능을 평가할 수 있다. 이를 위해, NeuroRG 시스템은 세포 추출/배양, 촬영 등을 위한 하드웨어 장치들을 포함하도록 구현될 수 있으며, 구현의 일 예는 이하 도 15와 같다.
도 15는 본 발명의 일 실시 예에 따른 약효 평가 시스템의 구현 예를 도시한다. 도 15를 참고하면, 약효 평가 시스템은 세포 추출 장치(1510), 세포 배양 장치(1520), 스크리닝(screening) 장치(1530), 촬영 장치(1540), 제어 장치(1550)를 포함한다.
세포 추출 장치(1510)는 쥐 배아(mouse embryonic)의 해부(dissection) 및 세포 추출을 위한 장비이다. 쥐 배아의 해부를 위해, 세포 추출 장치(1510)는 해부 및 세포 추출 동안 쥐 배아를 수용하기 위한 구조물(예: 작업 트레이(work tray) 등), 배기(Exhaust) 구조물(예: 송풍기, 필터 등), 쥐 배아의 상태를 관찰하기 위한 센서(예: 카메라), 쥐 배아를 해부하고 세포를 추출하기 위한 물리력을 가하는 해부 수단(예: 나이프, 집게 등) 등을 포함할 수 있다. 일 실시 예에 따라, 세포 추출 장치(1510)는 쥐 배아의 해부 및 세포 추출 동작을 수행하기 위해 자동화된 장치로서, 전자적 제어를 통해 해부 및 추출 동작을 수행할 수 있다. 일 실시 예에 따라, 해부 및 세포 추출이 완료되면, 세포 추출 장치(1510)는 제어 장치(1550)에게 완료를 통지할 수 있다.
세포 배양 장치(1520)는 쥐 배아로부터 추출된 세포를 배양하는 장비이다. 이를 위해, 세포 배양 장치(1520)는 인큐베이터 챔버, 필터, 제어 회로 등을 포함할 수 있다. 일 실시 예에 따라, 세포 배양 장치(1520)는 세포 배양 동작을 수행하기 위해 자동화된 장치로서, 전자적 제어를 통해 세포 배양 동작을 수행할 수 있다. 일 실시 예에 따라, 제어 장치(1550)에 의해 지시되는 상태까지의 배양이 완료되면, 세포 배양 장치(1520)는 제어 장치(1550)에게 완료를 통지할 수 있다.
스크리닝 장치(1530)는 세포 분주, 약물 희석/분주, 세포 고정 및 염색을 수행하는 장비이다. 이를 위해, 스크리닝 장치(1530)는 데크(deck), 프로브, 그리퍼, 포드 등을 포함할 수 있다. 일 실시 예에 따라, 스크리닝 장치(1530)는 세포 염색 등의 동작을 수행하기 위해 자동화된 장치로서, 전자적 제어를 통해 세포 염색 등을 수행할 수 있다. 일 실시 예에 따라, 스크리닝 장치(1530)는 제어 장치(1550)에 의해 지시되는 조건에 따라 세포 염색 등을 수행하고, 제어 장치(1550)에게 작업의 완료를 통지할 수 있다.
촬영 장치(1540)는 세포 이미지 촬영을 위한 장비이다. 촬영 장치(1540)는 촬영 대상을 수용하기 위한 플레이트, 플레이트를 이동시키기 위한 구동 수단, 촬영을 위한 카메라, 촬영 결과물을 전자적 파일 형식으로 변환하는 프로세서, 이미지 파일을 저장하는 저장 수단 등을 포함한다. 일 실시 예에 따라, 촬영 장치(1540)는 촬영 동작을 수행하기 위해 자동화된 장치로서, 전자적 제어를 통해 촬영 동작을 수행할 수 있다. 일 실시 예에 따라, 촬영 장치(1540)는 제어 장치(1550)에 의해 지시되는 조건에 따라 촬영을 수행하고, 제어 장치(1550)에게 작업의 완료 및 결과물(예: 이미지 파일)을 송신할 수 있다.
제어 장치(1550)는 세포 추출 장치(1510), 세포 배양 장치(1520), 스크리닝 장치(1530), 촬영 장치(1540)의 동작들을 제어하고, 세포 추출 장치(1510), 세포 배양 장치(1520), 스크리닝 장치(1530), 촬영 장치(1540)의 동작들에 의해 생성되는 데이터를 획득하고, 약물의 성능 평가를 수행한다. 세포 추출 장치(1510), 세포 배양 장치(1520), 스크리닝 장치(1530), 촬영 장치(1540)에 의한 일련의 동작들은 모두 제어 장치(1550)의 제어에 따라 자동화된 방식으로 수행될 수 있다. 이를 위해, 세포 추출 장치(1510), 세포 배양 장치(1520), 스크리닝 장치(1530), 촬영 장치(1540) 각각은 대응하는 동작을 보조하기 위한 기계 장치(예: 로봇 암 등), 동작의 진행을 모니터링하기 위한 센서(예: 카메라 등)을 포함할 수 있고, 세포 추출 장치(1510), 세포 배양 장치(1520), 스크리닝 장치(1530), 촬영 장치(1540) 상호 간 샘플들(예: 세포 조직 등)을 이동시키기 운송 장치들(예: 컨베이어 밸트 등)이 더 사용될 수 있다. 제어 장치(1550)는 수집된 데이터에 기반하여 다양한 실시 예들에 따른 연산, 동작들을 수행한다. 예를 들어, 도 4에 예시된 구조의 적어도 일부가 제어 장치(1550)의 기능적 구조로 이해될 수 있다.
전술한 바와 같이, 본 발명의 실시 예에 따른 NeuroRG는 자동화 장비를 통해 실험 및 이미지 촬영 과정을 표준화하고 샘플의 품질을 유지할 수 있다. 이를 통해, NeuroRG는 반복적이고 신뢰할 수 있는 데이터를 생산한다. 또한, NeuroRG는 높은 데이터 생산성을 확보할 수 있다. NeuroRG는 자동화 이미지 촬영 장비를 활용해 하루 동안 수십 개의 플레이트(plate)들을 자동으로 촬영할 수 있다. 또한, NeuroRG는 고속 대량 약물검색 시스템(high throughput screening, HTS) 장비를 이용해 대량의 약물 처리를 수행하며, 동시에 수십 개의 약물들을 처리할 수 있다.
본 발명의 실시 예에 따른 NeuroRG는 효율적인 신경계 질환 약효 평가를 지향한다. 이를 위해, NeuroRG는 병적 상태를 세포 이미지를 통해 형태학적으로 판단하고, 세포 이미지 분석에 딥러닝을 활용한다. 또한, NeuroRG는 약물이 병적 상태에 미치는 영향을 파악하고, 약효를 판단한다.
전술한 다양한 실시 예들은 약효 평가를 위해 뇌 세포를 이용하는 것으로 설명되었다. 하지만, 제안하는 약효 평가 기술은 뇌 세포는 물론, 다양한 다른 세포들, 예를 들어, 성상 세포(Astrocyte), 소교 세포(Microglia), 희돌기교세포(Oligodendrocyte), 근세포(Mpyocyte) 등을 대상으로 실시될 수 있다. 즉, 본 발명의 다양한 실시 예들에 따른 시스템에서 약효 평가를 위해 사용되는 세포들은, 다양한 조직으로부터 배양되는 일차세포(primary cultured cells), 유전자 변형 세포 라인(genetically modified cell line)과 같은 세포 모델 및 동물 또는 인간 세포 라인(animal cell line; human cells)을 의미하며, 신경 세포 근육세포 등을 포함할 수 있다. 구체적인 예로, 근육 세포에 NeuroRG 시스템이 적용되는 경우의 실시 예는 다음과 같다.
근육의 감소는 일반적인 노화, 유전적 또는 환경적 요인으로 인한 근육질환 및 암에서 발생할 수 있다. 근육의 감소는 병적인 상태에 따라 다양한 원인으로 발생되고, 결국엔 근육의 기능적인 이상을 초래한다. 노화로 인한 근육의 감소는 단백질의 섭취부족, 미토콘드리아의 기능부전 및 산화스트레스로 인한 세포사멸, 호르몬 생성변화 그리고 염증유발로 인해 발생할 수 있다. DMD (Duchenne Muscular Dystrophy), SMA(Spinal Muscular Atrophy), DM(Myotonic Dystrophy), LGMD2B(Limb Girdle Muscular Dystrophy) 등과 같은 근육질환의 경우, 원인 유전자의 돌연변이로 인해 근육의 감소가 발생되며, 근육의 지속적인 퇴화를 야기한다.
노화, 근육질환, 암에 의한 근육의 감소에 있어서, 원인 유전자 및 발병요인은 다르다. 하지만, 모든 경우에서, 근육 세포로의 분화를 촉진시킴으로써 손실된 근육이 보충될 수 있다. 따라서, 분화의 촉진을 활용하여 정상적인 상태에 가깝게 치료하려는 시도가 이루어지고 있다.
근육 세포로의 분화 촉진 모듈은 근육 전구 세포(myoblast, C2C12 cell line)를 이용하여 근육 세포로의 분화 정도를 학습시키고, 약물 처리한 세포의 형태를 통해 약물의 분화 촉진 효과를 선별할 수 있는 모듈이다. 근육 전구 세포에서 근육 세포로의 분화는, 근육 세포에서 특이적으로 발현하는 MHC(Mosin Heavy Chain) 단백질에 대한 항체를 이용한 면역 형광 염색을 통해서 확인될 수 있다.
도 16은 근육 전구 세포 및 근육 세포의 이미지들의 예를 도시한다. 도 16에서, 제1 이미지(1602)는 근육 전구 세포에서 근육 세포로의 분화가 이루어지지 않은 상태에서 촬영된 것이다. 제1 이미지(1602)를 참고하면, 대부분 근육 전구 세포이므로, MHC 염색에 긍정의 시그널(positive signal)(예: 녹색(green))으로 보여지는 세포가 거의 없다. 도 16의 제2 이미지(1604) 및 제3 이미지(1606)는 근육 전구 세포에서 근육 세포로의 분화를 유도시킨 상태에서 촬영된 것이다. 제2 이미지(1604) 및 제3 이미지(1606)를 참고하면, 근육 세포의 비율이 증가하였기 때문에, MHC에 대한 염색을 한 후 이미지를 확인해 보면, 긍정의 시그널(positive signal)인 녹색으로 보여지는 세포들이 증가하는 것이 확인된다.
도 17은 근육 전구 세포 및 근육 세포의 이미지들의 다른 예를 도시한다. 도 17은 도 16의 이미지들을 고배율로 관찰한 결과를 예시한다. 도 17을 참고하면, 제1 이미지(1702)와 같은 둥근 모양의 근육 전구 세포에서 제2 이미지(1704) 및 제3 이미지(1706)와 같은 근육 세포로 분화되면, 세포가 가늘어지고, 제3 이미지(1706)와 같이 하나의 세포질에 복수의 핵들이 포함되는 형태가 바뀌게 된다. 이를 위해, MHC라는 특정 항체를 이용한 염색이 필요하다.
본 발명의 실시 예에 따른 NeuroRG 시스템은, 근육 세포로의 분화 촉진을 위한 비용과 시간을 최소화하기 위해, 항체를 이용하지 아니하고, 근육 전구 세포, 근육 세포로 분화를 유도시킨 후, 세포질과 핵을 염색 시킬 수 있는 염료인 H&E(Hematoxylin & Eosin) 염색을 이용하여 형태학적인 특징을 이미지화할 수 있다.
H&E 염색에서의 형태학적인 특징은 MHC 항체를 이용한 면역 형광 염색을 통한 이미지에서 보여지는 형태학적인 특징과 유사하다. 도 18을 본 발명의 일 실시 예에 따라 H&E 염색을 통해 이미지화된 근육 전구 세포 및 근육 세포의 이미지들의 예를 도시한다.
분화가 되기 전인 근육 전구 세포는, 도 16의 제1 이미지(1602) 및 도 17의 제1 이미지(1702)와 유사하게, 둥그런 형태로 보여진다. 도 18의 제1 이미지(1802)는 H&E 염색을 이용하여 촬영된 근육 전수 세포를 보여준다. 또한, 도 18의 제2 이미지(1804)를 참고하면, 근육 세포로 분화가 이루어지면, 도 16의 제2 이미지(1604) 및 도 17의 제2 이미지(1704)와 유사하게, 핵이 작아지며, 세포가 뾰족한 형태로 가로로 길어진다. 도 18의 제3 이미지(1806) 및 제4 이미지(1808)은 분화가 더 이루어진 상태에서 촬영된 것이다. 도 18의 제3 이미지(1806) 및 제4 이미지(1808)를 참고하면, 도 16의 제3 이미지(1606) 및 도 17의 제3 이미지(1706)와 유사하게, 분화가 더 이루어짐에 따라 근육 세포가 융합되고, 세포질의 경계가 모호해지며 작아진 복수의 핵들이 하나의 세포에 포함되는 것이 확인된다.
도 18과 같은 이미지들을 통해 확인되는 형태적 변화에 기반하여, 일 실시 예에 따른 NeuroRG 시스템은 근육 전구 세포인 C2C12 세포를 배양하여 근육 세포로의 분화 정도를 달리한 조건에서 세포를 배양하고, H&E 염색을 시행한 후 이미지를 대량으로 생산하여 학습을 시키고, 추후 약물을 처리하여 근육 세포로의 분화 촉진효과를 가지는 약물을 선별할 수 있다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 발명은 세포 이미지에 기반하여 약효를 평가하기 위한 분야뿐만 아니라 인공지능 기술을 이용한 다양한 분야에서 적용될 수 있다.

Claims (14)

  1. 약물의 약효를 평가하는 방법에 있어서,
    세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하는 단계;
    상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하는 단계;
    제1 상태에서 상기 약물이 투여된 세포의 이미지를 획득하는 단계;
    상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 제2 상태를 예측하는 단계; 및
    상기 약물이 투여되기 전의 제1 상태 및 상기 예측된 제2 상태 중 적어도 하나에 기반하여 상기 약물의 약효를 추정하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 세포들은, 신경 세포들을 포함하며,
    상기 제1 상태는, 상기 약물이 투여되기 전의 병적 또는 정상 상태이고,
    상기 제2 상태는, 상기 약물이 투여된 후의 병적 또는 정상 상태인 방법.
  3. 청구항 2에 있어서,
    상기 학습 데이터를 획득하는 단계는,
    외부로부터 공급된 조직을 분쇄하여 얻어진 세포들을 복수의 웰(well)들을 포함하는 플레이트(plate)들에 수용하도록 제어하는 단계;
    목표한 병적 상태들에 기반하여 상기 플레이트 또는 상기 웰 별 배양 기간 및 병적 상태를 유발하는 물질의 농도를 결정하는 단계;
    상기 세포들을 염색 처리하는 단계;
    상기 농도 만큼의 병적 상태를 유발하는 물질을 투여하는 단계;
    상기 배양 기간이 경과한 후, 상기 웰들을 촬영하도록 제어함으로써 세포의 이미지들을 획득하는 단계를 포함하는 방법.
  4. 청구항 3에 있어서,
    상기 학습 데이터를 획득하는 단계는,
    상기 목표한 병적 상태들에 기반하여 상기 세포의 이미지들을 라벨링하는 단계를 더 포함하는 방법.
  5. 청구항 3에 있어서,
    상기 학습 데이터를 획득하는 단계는,
    상기 이미지들에 대한 전처리를 수행하는 단계를 포함하며,
    상기 전처리는, 학습 데이터에 포함될 학습 이미지 추출, 추출된 영역의 크기 조절(resizing), 이미지의 증강(augmentation) 중 적어도 하나를 포함하는 방법.
  6. 청구항 5에 있어서,
    상기 전처리를 수행하는 단계는,
    상기 촬영을 통해 얻어진 제1 크기의 이미지에서 상기 제1 크기보다 작은 제2 크기의 후보 영역들을 추출하는 단계;
    상기 후보 영역들 중 적어도 하나의 학습 이미지를 결정하는 단계; 및
    상기 적어도 하나의 학습 이미지를 상기 제2 크기보다 작은 제3 크기로 크기 조절하는 단계를 포함하는 방법.
  7. 청구항 6에 있어서,
    상기 후보 영역들은, 상기 이미지에서 상기 학습 이미지의 한 축의 길이보다 짧은 스텝 크기에 기반하여 추출되며,
    상기 후보 영역들은, 적어도 일부 중첩되는 제1 후보 영역 및 제2 후보 영역을 포함하는 방법.
  8. 청구항 6에 있어서,
    상기 적어도 하나의 학습 이미지를 결정하는 단계는,
    상기 후보 영역들 각각에 대하여 특정 컬러 채널의 픽셀 값들을 합산함으로써 상기 후보 영역들의 대표 값들을 결정하는 단계;
    상기 대표 값들에 기반하여 상기 적어도 하나의 학습 이미지를 결정하는 단계를 포함하는 방법.
  9. 청구항 8에 있어서,
    상기 대표 값에 대한 조건을 충족하는 후보 영역들 중 미리 정의된 비율 이상 중첩되는 후보 영역들이 존재하면, 중첩되는 후보 영역들 중 하나의 후보 영역만이 학습 이미지로서 결정되는 방법.
  10. 청구항 1에 있어서,
    모듈화된 질환 별 인공지능 모델들 중 상기 약물을 이용하여 치료하고자 하는 질환에 대응하는 상기 인공지능 모델을 확인하는 단계를 더 포함하는 방법.
  11. 청구항 1에 있어서,
    상기 인공지능 모델은, 상기 세포들의 이미지 데이터를 포함하는 학습 데이터를 이용한 학습에 앞서, 이미지넷(ImageNet)에 포함된 이미지들을 이용하여 선-훈련(pre-train)되는 방법.
  12. 청구항 1에 있어서,
    상기 세포들은, 근육 세포들을 포함하며,
    상기 제1 상태는, 분화되기 전 근육 세포인 근육 전구 세포인 상태이고,
    상기 제2 상태는, 상기 근육 전구 세포가 분화된 근육 세포인 상태인 방법.
  13. 약물의 약효를 평가하는 시스템에 있어서,
    세포의 배양을 위한 배양 장치;
    상기 세포에 병적 상태를 유발하기 위한 물질 및 실험 대상 약물을 투여하기 위한 투약 장치;
    상기 세포의 촬영을 위한 촬영 장치;
    적어도 하나의 인공지능 모델을 저장한 메모리; 및
    상기 배양 장치, 상기 투약 장치, 상기 촬영 장치, 상기 메모리와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하고,
    상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하고,
    병적 상태에서 상기 약물이 투여된 세포의 이미지를 획득하고,
    상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 병적 상태를 예측하고,
    상기 약물이 투여되기 전의 병적 상태 및 상기 예측된 병적 상태에 기반하여 상기 약물의 약효를 추정하도록 제어하는 시스템.
  14. 약물의 약효를 평가하는 시스템에 있어서,
    근육 전구 세포를 근육 세포로 배양하기 위한 배양 장치;
    상기 근육 세포에 대한 H&E(Hematoxylin & Eosin) 염색을 수행하는 스크리닝 장치;
    상기 H&E 염색된 근육 세포의 촬영을 위한 촬영 장치;
    적어도 하나의 인공지능 모델을 저장한 메모리; 및
    상기 배양 장치, 상기 스크리닝 장치, 상기 촬영 장치, 상기 메모리와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    세포들의 이미지 데이터를 포함하는 학습 데이터를 획득하고,
    상기 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행하고,
    상기 약물이 투여된 근육 전구 세포의 이미지를 획득하고,
    상기 학습된 인공지능 모델을 이용하여 획득된 이미지의 분화 상태를 예측하고,
    상기 예측된 분화 상태에 기반하여 상기 약물의 약효를 추정하도록 제어하는 시스템.
PCT/KR2022/010819 2021-08-31 2022-07-22 세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치 WO2023033361A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0115612 2021-08-31
KR1020210115612A KR102440373B1 (ko) 2021-08-31 2021-08-31 세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023033361A1 true WO2023033361A1 (ko) 2023-03-09

Family

ID=83279869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010819 WO2023033361A1 (ko) 2021-08-31 2022-07-22 세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102440373B1 (ko)
WO (1) WO2023033361A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210018919A (ko) * 2018-06-08 2021-02-18 노파르티스 아게 약물 산물 효능을 측정하기 위한 세포-기반 분석

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210018919A (ko) * 2018-06-08 2021-02-18 노파르티스 아게 약물 산물 효능을 측정하기 위한 세포-기반 분석

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANINDYA GUPTA, PHILIP J. HARRISON, HåKAN WIESLANDER, NICOLAS PIELAWSKI, KIMMO KARTASALO, GABRIELE PARTEL, LESLIE SOLORZANO, A: "Deep Learning in Image Cytometry: A Review", CYTOMETRY A, WILEY-LISS, HOBOKEN, USA, vol. 95, no. 4, 1 April 2019 (2019-04-01), Hoboken, USA, pages 366 - 380, XP055717804, ISSN: 1552-4922, DOI: 10.1002/cyto.a.23701 *
JUNHUA DING ; XINCHUAN LI ; XIAOJUN KANG ; VENKAT N. GUDIVADA: "A Case Study of the Augmentation and Evaluation of Training Data for Deep Learning", JOURNAL OF DATA AND INFORMATION QUALITY (JDIQ), ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, vol. 11, no. 4, 19 August 2019 (2019-08-19), 2 Penn Plaza, Suite 701 New York NY 10121-0701 USA , pages 1 - 22, XP058439587, ISSN: 1936-1955, DOI: 10.1145/3317573 *
MERGENTHALER PHILIPP, HARIHARAN SANTOSH, PEMBERTON JAMES M., LOURENCO COREY, PENN LINDA Z., ANDREWS DAVID W.: "Rapid 3D phenotypic analysis of neurons and organoids using data-driven cell segmentation-free machine learning", PLOS COMPUTATIONAL BIOLOGY, vol. 17, no. 2, 22 February 2021 (2021-02-22), pages e1008630, XP093042885, DOI: 10.1371/journal.pcbi.1008630 *
ZHU YANJING, HUANG RUIQI, ZHU RUI, XU WEI, ZHU RONGRONG, CHENG LIMING: "DeepScreen : An Accurate, Rapid, and Anti-Interference Screening Approach for Nanoformulated Medication by Deep Learning", ADVANCED SCIENCE, vol. 5, no. 9, 1 September 2018 (2018-09-01), pages 1800909, XP093042883, ISSN: 2198-3844, DOI: 10.1002/advs.201800909 *

Also Published As

Publication number Publication date
KR102440373B1 (ko) 2022-09-05

Similar Documents

Publication Publication Date Title
JP2021515586A (ja) 細胞療法、創薬および診断法における使用のための幹細胞およびその誘導体を検証するために機械学習および／またはニューラルネットワークを使用すること
KR20190080914A (ko) 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
Osman et al. Tuberculosis bacilli detection in Ziehl-Neelsen-stained tissue using affine moment invariants and Extreme Learning Machine
WO2023033361A1 (ko) 세포 이미지에 기반하여 약효를 평가하기 위한 방법 및 장치
US20130244318A1 (en) Automated Transient Image Cytometry
Gritti et al. Rethinking embryology in vitro: A synergy between engineering, data science and theory
WO2022092993A1 (ko) 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
Takekawa et al. Automatic sorting system for large calcium imaging data
Al-Jubouri et al. Efficient individual identification of zebrafish using Hue/Saturation/Value color model
Deng et al. Dynamics of dendritic spines and their afferent terminals: spines are more motile than presynaptic boutons
Dursun et al. Development of convolutional neural networks for recognition of tenogenic differentiation based on cellular morphology
Tanimoto et al. Tiltable objective microscope visualizes discrimination of static and dynamic head movement originates at hair cells
US20240104734A1 (en) Autonomous cell imaging and modeling system
Song et al. Design and experiment of a sorting system for haploid maize kernel
Dallmann et al. Presynaptic inhibition selectively suppresses leg proprioception in behaving Drosophila
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
Thomson et al. Gigapixel behavioral and neural activity imaging with a novel multi-camera array microscope
WO2021225422A1 (ko) 병리 슬라이드 이미지에 대한 면역 표현형과 연관된 정보를 제공하는 방법 및 장치
Kopaczka et al. Introducing CNN-Based Mouse Grim Scale Analysis for Fully Automated Image-Based Assessment of Distress in Laboratory Mice.
Khorrami et al. Deep learning-based nuclei segmentation of cleared brain tissue
Hanson et al. Automatic monitoring of whole-body neural activity in behaving Hydra
RU128761U1 (ru) Макет физиологической микросенсорной системы на основе нервных клеток
Alsup et al. BetaBuddy: An end-to-end computer vision pipeline for the automated analysis of insulin secreting β-cells
Fox et al. Quantitative description of fluid flows produced by left–right cilia in zebrafish

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE