WO2020145606A1 - 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치 - Google Patents

인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치 Download PDF

Info

Publication number
WO2020145606A1
WO2020145606A1 PCT/KR2020/000226 KR2020000226W WO2020145606A1 WO 2020145606 A1 WO2020145606 A1 WO 2020145606A1 KR 2020000226 W KR2020000226 W KR 2020000226W WO 2020145606 A1 WO2020145606 A1 WO 2020145606A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
image
network
transmission microscope
learning network
Prior art date
Application number
PCT/KR2020/000226
Other languages
English (en)
French (fr)
Inventor
조윤경
김동영
민유홍
Original Assignee
기초과학연구원
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기초과학연구원, 울산과학기술원 filed Critical 기초과학연구원
Publication of WO2020145606A1 publication Critical patent/WO2020145606A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers

Definitions

  • the present invention relates to a method for analyzing cells of a transmission microscope image using an artificial neural network, and a cell image processing apparatus.
  • Transmission microscopy shows the overall shape of the sample using the light transmission of the sample. For example, if the sample is a cell, the researcher can observe the overall structure of the cell with a transmission microscope. researchers should use devices such as fluorescence microscopy and electron microscopy to determine cell characteristics or conditions. Furthermore, in order to closely analyze the state of the cells, the researcher must determine whether the cells are cancer cells and the maturity of the cells through additional experiments.
  • Korean Patent No. 10-1704690 discloses a method for processing an image of a cell, but can only process a cell source image according to a preset brightness value, and can analyze the state of the cell according to the number of various cases. There is no disadvantage.
  • the present inventors as a result of diligent efforts to determine the state of cells using only a microscope image of a cell without additional equipment or experiment, when analyzing a microscope image of a cell using an artificial neural network learning network, the state of the cell with high accuracy It was confirmed that it can be analyzed, and the present invention was completed.
  • Patent Document 1 Korean Registered Patent No. 10-1704690
  • An object of the present invention is to provide a method for automatically analyzing the state of cells using transmission microscopy images.
  • Another object of the present invention is to provide a method for generating an image capable of confirming the state of a cell based on a transmission microscope image.
  • the present invention is an image processing apparatus receiving a transmission microscope image; Separating a cell region in the transmission microscope using a first learning network in which the image processing device recognizes an object; And generating, by the image processing apparatus, determination information about a state of a cell located in the cell region using a second learning network, wherein the second learning network includes a cell object in the transmission microscope image and the cell object. It provides a method for analyzing cell images using artificial neural networks, which is a model that has been previously learned about states.
  • the present invention also, the image processing apparatus receiving a first transmission microscope image at a first time point and a second transmission microscope image after the first time point; Recognizing cells in the first transmission microscope using the first learning network through which the image processing device recognizes an object; Identifying cells recognized in the first transmission microscope image from the second transmission microscope image using the second learning network through which the image processing device tracks the object; And generating, by the image processing apparatus, information about the state of the cell identified in the second transmission microscope image using a third learning network, wherein the third learning network includes the cell object in the transmission microscope image and the It provides a method of analyzing cell images using artificial neural networks, a model that has been previously learned about the state of cell objects.
  • the present invention also provides an input device for receiving a first transmission microscope image: a first learning network for classifying cell regions in a transmission microscope image and a second learning network for generating judgment information for cells located in the cell region.
  • Storage device And by inputting the first transmission microscope image to the first learning network to identify the cell region where the cell is located in the first transmission microscope image, and input the identified cell region to the second learning network
  • a computing device that generates judgment information on cells located in the identified cell region, wherein the second learning network comprises an artificial neural network, which is a model previously learned about a cell object in a transmission microscope image and the state of the cell object. It provides an image processing apparatus for processing a cell image using.
  • 1 is an example of a cell analysis process using an artificial neural network.
  • 3 is an example of a process for discriminating cells using a recognition network.
  • 5 is an example of a process of learning an analysis network.
  • 6 is an example of analyzing cells using an analysis network.
  • 10 is an example of a process for tracking cells in a transmission microscope image.
  • 11 is an example of a process of analyzing cells by tracking cells.
  • 13 is an example of a process for generating a feature image for cells.
  • 16 is an example of a process of generating a feature image for a cell by tracking the cell.
  • 17 is a result of generating a feature image showing the maturity of immune cells by tracking cells in a transmission microscope image.
  • 19 is an example of the configuration of an image processing apparatus for processing a transmission microscope image.
  • 20 is an example of a system for analyzing cells in a transmission microscope image.
  • Transmission microscope refers to an optical microscope that uses light such as visible light or ultraviolet light as a light source.
  • a transmission microscope means a bright-field microscopy, a phase contrast microscopy, a differential interference contrast microscopy, or the like. Transmission microscopy shows the overall shape of the sample using the light transmission of the sample.
  • a transmission microscope image means an image calculated using a transmission microscope.
  • the sample may vary depending on the object to be observed.
  • the specimen may be tissue, cells, or the like.
  • the technique described below analyzes the cells included in the transmission microscope image.
  • the technique described below analyzes the cell state by inputting a transmission microscope image into a learning network.
  • the technique described below generates a special microscope image using a machine learning model.
  • machine learning model There are various models of machine learning models as is well known.
  • representative artificial neural networks include a convolutional neural network (CNN) and a model of an improved CNN.
  • CNN convolutional neural network
  • a model usable in a related description will be described.
  • the technique described below is not implemented only with a specific neural network model.
  • the technique described below analyzes the cells included in the transmission microscope image, and generates a characteristic image representing the characteristics of the cell.
  • the technique described below generates a feature image by inputting a transmission microscope image into a series of learning networks.
  • the feature image is an image in which the results of the analysis by analyzing the cells included in the transmission microscope image are constantly expressed as images. The feature video will be described later.
  • the image processing is performed in an image processing apparatus that constantly processes image data.
  • the image processing device may be a hardware device such as a computer device, a server, a dedicated chipset, etc., which processes an image by driving a certain image processing program.
  • the image processing apparatus performs transmission microscope image analysis and feature image generation.
  • the image processing apparatus analyzes the image using the artificial neural network and generates a feature image.
  • the artificial neural network may be prepared in advance by the image processing apparatus using constant learning data. Alternatively, the artificial neural network may be prepared in advance using a separate computer device using constant learning data.
  • the first learning network is used to process the image to distinguish the cell region from the transmission microscope image, and then the processed image is second learning, an artificial neural network that is previously learned about the state of the cell.
  • the state of cells can be analyzed without additional experiments or equipment (FIGS. 1 and 6 to 10 ).
  • the present invention in one aspect, the image processing apparatus receiving a transmission microscope image; Separating a cell region in the transmission microscope using a first learning network in which the image processing device recognizes an object; And generating, by the image processing apparatus, determination information about a state of a cell located in the cell region using a second learning network, wherein the second learning network includes a cell object in the transmission microscope image and the cell object.
  • the present invention relates to a method of analyzing cell images using an artificial neural network, a model that has been previously learned.
  • the second learning network may be characterized by determining a state for each cell for a plurality of the cell regions.
  • the first learning network may be characterized by being a regional proposal convolutional neural network (R-CNN), but is not limited thereto.
  • R-CNN regional proposal convolutional neural network
  • the second learning network may be characterized by determining the state of the cell based on at least one item of whether the cell survives, the maturity of the cell, the type of cell, and whether the cancer cell progresses.
  • the second learning network may be characterized in that it includes at least one neural network model individually trained in advance for each of the at least one item.
  • the image processing apparatus further comprises the step of generating a feature image for the transmission microscope image based on the feature information used to derive the determination information using a third learning network. can do.
  • the second learning network is a convolutional neural network (CNN)
  • the third learning network is a mirror image structure of the second learning network
  • the third learning network is the determination information of the second learning network
  • the feature image may be generated based on the importance of the feature information by tracking the generation process in reverse.
  • a transmission microscope image is input (110).
  • the transmission microscope image acquires the image appearing in the microscope with an image sensor such as CCD or CMOS.
  • the detailed description of the process of acquiring the transmission microscope image is omitted.
  • the artificial neural network (N1) recognizes cells in an input transmission microscope image (120).
  • the artificial neural network (N1) can be output by classifying a cell region in a transmission microscope image.
  • the artificial neural network N1 is called a recognition network.
  • the recognition network N1 may be a supervised learning network.
  • the artificial neural network N2 analyzes the cell image output by the recognition network N1 (130).
  • the artificial neural network N2 is called an analysis network.
  • the analysis network N2 determines the state of the cells included in the cell image (140).
  • the analysis network N2 may output information (determination information) that determines the state of the cell separately from the image. Furthermore, the analysis network N2 may output judgment information in a form displayed on an image.
  • the analysis network N2 may use a model of a convolutional neural network (CNN) series.
  • CNN convolutional neural network
  • the result analyzed by the analysis network N2 may be generated as a constant image.
  • a result of determining (140) the cell state is illustrated.
  • individually recognized cells may be markedly marked, or the determination result of the corresponding cells may be displayed as text in the image.
  • the image processing apparatus may display the determination result constantly using various image processing functions.
  • the recognition network N1 identifies cells in the transmission microscopy image and distinguishes the location or area of the cells.
  • the recognition network N1 not only recognizes the object (cell) of the image, but also needs to distinguish the location of the cell (cell region). Therefore, the recognition network N1 uses a model that can grasp the location information of the object in the image.
  • 2 is an example of the learning process 200 of the recognition network N1.
  • the recognition network N1 is a model capable of identifying an object from an input image and extracting location (area) information of the object.
  • the recognition network N1 may be a regional proposal convolutional neural network (R-CNN).
  • R-CNN is a model that modeled a CNN that performs object analysis and a region proposal algorithm that proposes an area where an object will exist in the image.
  • the R-CNN determines a rectangular candidate region using an algorithm such as selective search on the input image.
  • the R-CNN cuts candidate regions to the same size, extracts features for each region, and classifies objects.
  • Fast R-CNN does not cut the image itself, but uses a method to cut the feature map, which is fast.
  • Faster R-CNN uses a regional proposal network (RPN) to determine candidate areas. R-CNN obtains information about the area where the object is located through the process of determining the constant area where the object is located.
  • RPN regional proposal network
  • 2 shows two learning methods.
  • 2(A) is an example of learning by using a transmission microscope image and a cell image manually identified in the transmission microscope image.
  • a transmission microscope image is input (210).
  • the cell region which is an object, is identified in the transmission microscope image using manual or a separate algorithm (230).
  • the recognition network N1 receives and learns the image in which the cell region has been identified. Through this, the recognition network N1 is trained to identify the cell region in the input image.
  • the 2(B) is an example of using information identifying a cell location in a transmission microscope image using a labeling network (N3).
  • the labeling network (N3) is previously trained with a special microscope image to identify the location for a particular cell of interest.
  • the labeling network N3 will be described later.
  • the special microscope image means an image labeled with the same color as the fluorescence microscope image.
  • the transmission microscope image 210 and the special microscope image 220 are input.
  • the special microscope image may be a special microscope image of cells located in the input transmission microscope image.
  • the labeling network N3 generates a learning image based on the input special microscope image (225).
  • the learning image represents a region of a specific object (eg, luminescent cells) in the transmission microscope image.
  • the learning image transmits location information about the cell region of interest.
  • the recognition network N1 is trained to identify cells of interest in the transmission microscope image using the input transmission microscope image and the learning image.
  • 3 is an example of a process 300 for determining cells using a recognition network.
  • 3 is an example of identifying a cell in a transmission microscope image using the learned recognition network N1 and extracting a region where the cell is located.
  • the recognition network N1 receives a transmission microscope image (310).
  • the recognition network N1 identifies a region in which the cell or the cell of interest is located in the input transmission microscope image (320).
  • the recognition network N1 may classify and extract the identified cell region (330 ).
  • the labeling network N3 includes a background removal model 410, a hypothesis verification model 420, and an unsupervised learning model 430.
  • the background removal model 410 removes noise corresponding to the background in order to clearly identify only cells corresponding to an object emitting light from the input special microscope image.
  • Special microscope images are generally acquired through an image detector such as a CCD or CMOS.
  • the noise in the image follows a Gaussian random or Poisson random distribution.
  • the background removal model 410 may be removed by constantly fitting a probability distribution model corresponding to noise.
  • the hypothesis test model defines a class for the composition to be learned in an unsupervised learning model.
  • a typical unsupervised learning model learns itself on the data, but requires minimal guidance for learning. This part can be set by the user, but provides criteria necessary for unsupervised learning through hypothesis verification in order to remove bias in the results.
  • the hypothesis verification model 420 finds unimodality through the Hartigan DIP test, and evaluates the probability distribution through gap statistic if it is not unimodal. Through this process, a statistical population is determined. That is, it defines the classification to be learned in unsupervised learning.
  • the unsupervised learning model 430 may use any one of various unsupervised learning methodologies.
  • unsupervised learning includes hierarchical clustering, K-means clustering, Gaussian mixture models, self-organizing maps, and Hidden Markov model. ) Etc.
  • the unsupervised learning model 430 may use a plurality of unsupervised learning methodologies and select the best result.
  • the unsupervised learning model 430 may generate a constant result using at least two or more of hierarchical clustering, K-average clustering, Gaussian mixture model, self-organizing map, and hidden markov model. Each model can produce different results (candidate images) depending on the quality or type of special microscope images.
  • the unsupervised learning model 430 may select the best result through cross-correlation maximization of a plurality of candidate images.
  • the labeling network N3 may generate a learning image for learning the recognition network N1 through such an operation.
  • the criterion for determining the cell by the analysis network N2 is based on experimental results.
  • the analysis network N2 is trained using cell images in transmission microscopy images and experimental analysis results on the cell images. Cell status can be divided into various categories. For example, the cell state may be divided into at least one of whether the cell survives, the maturity of the cell, the type of cell, and whether the cancer cell progresses. Basically, the analysis network N2 is trained using a plurality of samples and analysis results for the same criteria (eg, cell viability). 5 is an example of using K transmission microscope images and experimental results. The transmission microscope image is first input to the recognition network N1 (510).
  • the recognition network N1 recognizes cells in the transmission microscope image and distinguishes the cell regions (520). As shown in FIG. 5, the recognition network N1 may divide and output a plurality of cell regions present in the transmission microscope image.
  • the cell image (cell region) output by the recognition network N1 is transmitted to the analysis network N2 (530).
  • the analysis network N2 analyzes the input cell image and performs learning on the cell state existing in the image (540). Therefore, the analysis network N2 must receive the cell image and the state information of the cells present in the corresponding image. For example, (1) if the cell is alive or not, the status information indicates a living cell or a dead cell. (2) If cell maturity, the status information indicates mature or immature cells. Alternatively, the state information may indicate the maturity of the cells at a certain level. (3) If the cancer cell progresses, the status information indicates whether the cell is a normal cell or a cancer cell. Alternatively, the state information may indicate cancer cell progression information at a certain level.
  • 6 is an example of analyzing cells using an analysis network. 6 is an example of generating different results using a plurality of analysis networks. 6 shows a plurality of image analysis networks (N2-A, N2-B and N-2C). Multiple analytical networks (N2-A, N2-B and N21C) are learned from each other as experimental results for cell status categories. Multiple analytical networks (N2-A, N2-B and N21C) provide information about different cell states, even for the same transmission microscope image.
  • Each of the plurality of analysis networks receives the same transmission microscope image (Input 1) and generates different result values (Output 1, Output 2 and Output 3).
  • the result 1 (Output 1) represents the judgment information on whether or not cancer cells are present.
  • the result 2 (Output 1) represents judgment information on the maturity of the cell.
  • the output value 3 (Output 3) represents the judgment information on whether the cells survive.
  • the analysis network for analyzing the cell state includes a plurality of models, and the cell state can be analyzed using any one or a plurality of models, depending on the user's selection.
  • FIG. 7 is a result of analyzing the cell viability in the transmission microscope image.
  • 7 is a result of analyzing a transmission microscope image using the actual neural network described above.
  • Figure 7 (A) is a cell region is divided in the transmission microscope image.
  • Live means a living cell.
  • Death means dead cells.
  • Death 1 to Death 3 have different causes of cell death. These are permeabilization, phototoxicity and high temperature, respectively.
  • Cell morphology in transmission microscopy images may vary depending on the cause of cell death.
  • 7(B) is a table comparing the experimental results with the results of determining the cell state using a neural network. Cell state determination using a neural network is determined with accuracy of 99% or more for the cause of cell survival and cell death.
  • 8 is a result of analyzing the presence or absence of cancer cells in a transmission microscope image. 8 is a result of analyzing a transmission microscope image using the actual neural network described above.
  • 8(A) shows the cell region in the transmission microscope image. In FIG. 8(A), normal means normal cells. The remaining luminal, basal and HER2 amplified represent cancer cells. luminal, basal, HER2 amplified indicates the type of cancer cell or the characteristics of the cancer cell. Depending on the type or characteristics of the cancer cells, the cell morphology in the transmission microscope image may be different.
  • 8(B) is a table comparing the experimental results with the results of determining the cell state using a neural network. Cell state determination using a neural network is determined with accuracy of 99% or more with respect to cancer cells and characteristics/types of cancer cells.
  • FIG. 9 is a result of analyzing the maturity of immune cells in a transmission microscope image.
  • 9 is a result of analyzing a transmission microscope image using the above-described neural network.
  • Figure 9 (A) is a cell region is divided in the transmission microscope image.
  • immature DC immature cells.
  • matured DC mDC
  • the degree of maturation for immune cells is difficult to judge by fluorescence staining. In other words, it is difficult to judge the maturity even in the human eye or in fluorescently labeled form.
  • 9(B) is a table comparing the experimental results with the results of determining the cell state using a neural network. Cell state determination using a neural network is determined with an accuracy of 98% or more with respect to the maturity of immune cells.
  • the image is processed by a first learning network that recognizes the cells, and then the cells are It was confirmed that the cells recognized in the transmission microscope image at the first time point were identified in the second transmission microscope image using the tracking second learning network, and that the state of the cells could be analyzed using the third learning network ( 10 to 12).
  • the present invention in another aspect, the image processing apparatus receiving a first transmission microscope image of the first viewpoint and a second transmission microscope image after the first viewpoint; Recognizing cells in the first transmission microscope using the first learning network through which the image processing device recognizes an object; Identifying cells recognized in the first transmission microscope image from the second transmission microscope image using the second learning network through which the image processing device tracks the object; And generating, by the image processing apparatus, information about the state of the cell identified in the second transmission microscope image using a third learning network, wherein the third learning network includes the cell object in the transmission microscope image and the
  • the present invention relates to a method for analyzing cell images using artificial neural networks, which is a model previously learned about the state of a cell object.
  • the first learning network may be characterized by being a regional proposal convolutional neural network (R-CNN), but is not limited thereto.
  • R-CNN regional proposal convolutional neural network
  • the second learning network may be characterized by identifying the same cells in two transmission microscope images having time intervals.
  • the third learning network is a CNN (convolutional neural network) model that determines the state of the cell based on at least one item of whether the cell survives, the maturity of the cell, the type of cell, and whether the cancer cell progresses. It may be characterized by, but is not limited to this.
  • the image processing apparatus further comprises the step of generating a feature image for the transmission microscope image based on the feature information used to derive the determination information using a fourth learning network. can do.
  • the third learning network is a convolutional neural network (CNN)
  • the fourth learning network is a mirror image structure of the third learning network
  • the fourth learning network is the determination information of the third learning network
  • the feature image may be generated by reflecting the importance of the feature information by tracking the creation process in reverse.
  • the 10 is an example of a process 600 for tracking cells in a transmission microscope image.
  • Two neural networks (N1 and N4) are used in the cell tracking process.
  • the neural network (N4) tracks cells over time, starting with the recognized cells.
  • the neural network N4 is referred to as a tracking network.
  • the recognition network N1 receives a transmission microscope image (610), and identifies an object (cell) existing in the image (620).
  • the recognition network N1 can identify the identified area of the cell. Therefore, the recognition network N1 is a model that can grasp a specific object and a location of the object in the image.
  • the recognition network N1 generates image information including the location of the identified cell.
  • the tracking network N4 tracks the cells based on the cell and the location of the cell that the recognition network N1 initially identifies (630).
  • the tracking network N4 generates an image showing the result of tracking the location of the identified cell.
  • the tracking network N4 tracks cells in multiple transmission microscopic images over time. For example, the tracking network N4 may receive a transmission microscope image at a first time point and a transmission microscope image at a second time point after the first time point.
  • the transmission microscope image of the first viewpoint is an image in which the recognition network N1 identifies cells and cell regions.
  • the tracking network N4 tracks the position of the cell identified in the transmission microscope image at the second time point, starting with the cell position identified in the transmission time point image at the first time point.
  • the tracking network N4 can continue to track cells initially identified in a continuous transmission microscope image over time.
  • the tracking network N4 may perform tracking of a plurality of cells identified in the transmission microscope image.
  • Figure 10 shows the results of tracking the cells identified in the image using the tracking network (N4). Looking at the image generated by the tracking network (N4) in FIG. 10, it can be seen that the corresponding image has moved to C2 after a specific time has elapsed from the first C1 after the location-identified cell (square box display).
  • the solid line connecting C1 and C2 refers to the cell migration path over time.
  • the tracking network N4 corresponds to an unsupervised learning network that tracks objects.
  • the image processing apparatus may display a solid line indicating a rectangular box or a cell position as shown in FIG. 10 on the transmission microscope image using the output result of the tracking network N4.
  • the recognition network N1 receives a transmission microscope image (710).
  • the recognition network N1 identifies cells in the transmission microscope image and generates location (region) information for the identified cells.
  • the recognition network N1 may generate an image indicating a cell region in a transmission microscope image.
  • the tracking network N4 receives a transmission microscope image (referred to as a first transmission microscope image) at a first time point when the cell region is identified.
  • the tracking network N4 determines (tracks) the location of cells in the transmission microscope image at the second time point after the first time point, starting with the cells identified in the first transmission microscope image (720).
  • the tracking network N4 can continue tracking cells in a continuous transmission microscope image over time (730).
  • Figure 11 shows the results of tracking the same cells in K transmission microscopy images. That is, the tracking network N4 may generate a cell image over time and a plurality of images indicating the cell position at the time.
  • the analysis network N2 receives an image generated by the tracking network N4.
  • the analysis network N2 determines the state of the cells in the input image and generates determination information (740 ).
  • the analytical network (N2) identifies the cells over time and shows the change in viability for the identified cells. Referring to FIG. 11, it can be seen that cells to be analyzed have lost viability over time and have been killed.
  • the image processing apparatus may insert identification information (text information or color) into the image so that the user can easily identify the determination information generated by the analysis network N2. For example, the image processing apparatus may display information on the type and viability of the cells in the image, as shown at the bottom of FIG. 11.
  • 12 is a result of analyzing the cells after tracking the cells in the transmission microscope image.
  • 12 is a result of tracking cells and analyzing the cells in a transmission microscope using an actual neural network.
  • 12(A) is a result of tracking cells using a recognition network (N1) and a tracking network (N4) in a transmission microscope image.
  • FIG. 12(B) shows judgment information for cells tracked with “Track 01” and cells tracked with “Track 07” among cells in FIG. 12(A). It can be seen that cells tracked with "Track 01” are still alive over time, and cells tracked with "Track 07" have been killed over time.
  • an example of determining a state of a cell included in a transmission microscope image and generating an image (feature image) indicating the characteristics of the cell based on the determined information. 13 is an example of a process 800 for generating feature images for cells.
  • the transmission microscope image is first input to the recognition network N1 (510). 13 is an example in which K different transmission microscope images are input.
  • the recognition network N1 recognizes cells in the transmission microscope image and distinguishes the cell regions (820). As shown in FIG. 13, the recognition network N1 may divide and output a plurality of cell regions present in the transmission microscope image.
  • the cell image (cell region) output by the recognition network N1 is transmitted to the analysis network N2 (830).
  • the analysis network N2 analyzes the input cell image (840).
  • the analysis network N2 generates analysis information about the cell state.
  • the neural network N5 generates a certain feature image using the information output from the analysis network N2 (850 ).
  • the neural network N5 is called a generation network.
  • the analysis network N2 is a CNN model.
  • the generation network N5 has an opposite (mirror) structure to the analysis network N2.
  • the generation network N5 reversely tracks the process of determining the cell state of the analysis network N2 to identify information necessary for the determination.
  • the generation network N5 names information used in the determination process as feature information.
  • the characteristic information serves as a criterion for determining the cell state, and among the plurality of characteristic information, there is information having a large contribution.
  • the generation network N5 lists the characteristic information on the basis of importance (contribution).
  • the generation network N5 converts the magnitude of the importance into a constant image.
  • the generation network N5 may generate an image having different colors or different textures according to importance. 13 shows a feature image generated by the generation network N5. Characteristic images may not be directly related to the characteristics of a cell in a specific color or shape. However, the feature image may be information distinguishing characteristics of different cells in color or shape.
  • the generation network N5 receives the class information for the image, and detects what the image means.
  • the generation network N5 corresponds to a kind of weakly-supervised learning network.
  • the pharmacological guidance learning network is also used to detect the location of a lesion in an image based on findings (analysis results) of the entire image.
  • the generation network N5 uses the information of the analysis network N2 previously learned.
  • the 14 is an example of the structure of a generation network.
  • the image is processed with a previously learned CNN.
  • CNN generates classification information about the cells in the transmission microscope image. This process may be performed through the above-described judgment network N2.
  • 14 is an example of a determination network N2 at the top.
  • the determination network N2 analyzes the input transmission microscope image and outputs classification information (analysis information) for a specific cell image.
  • the generation network N5 has a mirror image structure and a CNN that analyzes an image.
  • the generation network N5 receives the classification information calculated by the CNN N2.
  • the generation network N5 performs a process of backtracking the results calculated by the analysis network N2.
  • classification information for cell(s) included in the transmission microscope image is expressed in color.
  • the generation network N5 calculates the probability of the corresponding neural node for all classification information about the image.
  • 14 is an example in which three classification information is displayed in separate colors.
  • FIG. 14 shows three generation networks N5, respectively, which shows a process of tracking the three classification informations in reverse.
  • the generation network N5 calculates a probability value for each classification based on the constructed analysis network N2.
  • the generation network N5 calculates a probability for the corresponding classification information, multiplies the probability for each layer, and removes a node for a probability whose value is less than 0. If the same operation is performed for each layer, the probability value after the final convolution layer means the degree (contribution) that each pixel contributes to the corresponding classification information in the image. Meanwhile, the generation network N5 performs probability value calculation on all possible classifications regardless of the classification result of the CNN. That is, the generation network N5 generates images corresponding to the total number of classifications. In addition, each generated image includes probability information of the corresponding classification. The probability value for each pixel can be expressed by the color or brightness value of the corresponding pixel.
  • the determination network N2 generates determination information for determining the state of the corresponding cell. At this time, information (pixels) that significantly contributes to the determination information generation may be divided into color or brightness values.
  • DIC transmission microscopic images. This is a feature image created by PAINT using the creation network. Overlay is a superimposed image of a transmission microscope image and a feature image.
  • immature DC represents immature cells
  • mature DC represents mature cells. As shown in Fig. 15(A), the feature image can distinguish mature cells and immature cells in color or shape.
  • DIC represents transmission microscopic images. This is a feature image created by PAINT using a neural network. Overlay is a superimposed image of a transmission microscope image and a feature image. On the horizontal axis, live represents living cells. Death represents dead cells. Death 1 to death3 are cases where the causes of cell death are different. As shown in FIG. 15(B), the feature image can distinguish between live cells and small cells. Furthermore, the feature image may express different colors or shapes depending on the cause of death.
  • 15(C) is an example of a feature image indicating whether cancer cells are present.
  • DIC transmission microscopic images. This is a feature image created by PAINT using the creation network.
  • Overlay is a superimposed image of a transmission microscope image and a feature image.
  • normal represents normal cells
  • HER2+ represents cancer cells.
  • HER2+ has different types and characteristics of cancer cells.
  • the characteristic image can distinguish normal cells from cancer cells.
  • the feature image may express different colors or shapes depending on the type or characteristics of the cancer cells.
  • the recognition network N1 receives a transmission microscope image (910).
  • the recognition network N1 identifies cells in the transmission microscope image and generates location (region) information for the identified cells.
  • the recognition network N1 may generate an image indicating a cell region in a transmission microscope image.
  • the tracking network N4 receives a transmission microscope image (referred to as a first transmission microscope image) at a first time point when the cell region is identified.
  • the tracking network N4 determines (tracks) the location of the cells in the transmission microscope image at the second time point after the first time point, starting with the cells identified in the first transmission microscope image (920).
  • the tracking network N4 can continue tracking cells in a continuous transmission microscope image over time (930). 16 shows the results of tracking the same cells in K transmission microscopy images. That is, the tracking network N4 may generate a cell image over time and a plurality of images indicating the cell position at the time.
  • the analysis network N2 receives an image generated by the tracking network N4.
  • the analysis network N2 determines the state of cells in the input image and generates judgment information.
  • the generation network N5 classifies the importance of the feature information based on the judgment based on the judgment information and generates a constant image according to the importance (940 ). Referring to Figure 16, it can be seen that the cells to be analyzed have lost viability over time and have died.
  • 17 is a result of generating a feature image showing the maturity of immune cells by tracking cells in a transmission microscope image.
  • 17 is an example of tracking a cell in an actual transmission microscope image using a neural network and generating a feature image for the tracked cell.
  • 17(A) is a result of tracking cells in a transmission microscope image. 17(A) is a case for two situations.
  • imDC refers to immature cells
  • imDC+LPS refers to a situation where LPS (lipopolysaccharide) is administered to immature cells.
  • FIG. 17(B) shows transmission microscopy images, cell status and feature images for traced cells.
  • the left side of FIG. 17(B) is an example of cells tracked as "Tack 04" in imDC.
  • the right side of FIG. 17(B) is an example of cells tracked with "Track 01" in imDC+LPS. It can be seen that the cells have changed into mature cells over time.
  • FIG. 18 is a result of generating a feature image showing the type and viability of cancer cells by tracking the cells in the transmission microscope image.
  • 18 is an example of tracking cells in an actual transmission microscope image using a neural network and generating feature images of the tracked cells.
  • Figure 18 (A) is a result of tracking the cells in the transmission microscope image.
  • 18(A) shows the results of tracking all 10 cells (Track 01 to Track 10).
  • FIG. 18(B) shows transmission microscopic images, cell status and feature images for the traced cells.
  • the left side of FIG. 18(B) is an example of a cell traced to “Tack 01”.
  • the right side of Figure 17(B) is an example of cells tracked with "Track 07". It can be seen that the cells were killed over time.
  • an input device for receiving a first transmission microscope image a first learning network for classifying cell regions in a transmission microscope image and a second learning network for generating judgment information for cells located in the cell region
  • Storage device for storing: And by inputting the first transmission microscope image to the first learning network to identify the cell region where the cell is located in the first transmission microscope image, the identified cell region is the second learning network
  • a computing device for generating judgment information on cells located in the identified cell region by inputting to the second learning network, wherein the second learning network is a model previously learned about a cell object in a transmission microscope image and the state of the cell object. It relates to an image processing apparatus for processing a cell image using an artificial neural network.
  • the image processing apparatus 1000 is a device that analyzes cells in a transmission microscope image.
  • the image processing apparatus 1000 is a device that generates a feature image based on cell analysis information.
  • the image processing apparatus 1000 may be physically implemented in various forms. 19 shows an example of the implementation of the image processing apparatus.
  • the image processing apparatus 1000 may take the form of a computer apparatus A such as a PC, a server B of a network, a chipset C dedicated to image processing, or the like.
  • the computer device may include a mobile device such as a smart device.
  • dedicated AI chipsets have been actively developed. Therefore, the image processing apparatus can be implemented as a chipset type product including a neural network model that generates a special microscope image.
  • the image processing apparatus 1000 includes a storage device 1010, a memory 1020, a computing device 1030, an interface device 1040, and a communication device 1050.
  • the storage device 1010 stores a neural network model for cell state analysis.
  • the storage device 1010 may store the recognition network N1 and the analysis network N2.
  • the storage device 1010 may store a recognition network N1, an analysis network N2, and a tracking network N4.
  • the storage device 1010 may store a neural network model for generating feature images.
  • the storage device 1010 may store the recognition network N1, the analysis network N2, and the generation network N5.
  • the storage device 1010 may store a recognition network N1, an analysis network N2, a generation network N5, and a tracking network N4.
  • the storage device 1010 may store an image processing program for uniformly displaying (mark, color, or text, etc.) the result of analyzing the image in the image.
  • the storage device 1010 may store a labeling network N3 and training data for training various neural networks. Furthermore, the storage device 1010 may store programs or source codes required for image processing. The storage device 1010 may store transmission microscope images, images generated by each neural network model, and special images.
  • the memory 1020 may store transmission microscope images received by the image processing apparatus 1000, images temporarily generated during a special microscope image generation process, and data and information generated during an image processing process using a neural network.
  • the interface device 1040 is a device that receives certain commands and data from the outside.
  • the interface device 1040 may receive a transmission microscope image from a physically connected input device or an external storage device.
  • the interface device 1040 may receive various neural network models for cell analysis or feature image generation.
  • the interface device 1040 may receive learning data, information, and parameter values for generating a neural network model.
  • the communication device 1050 refers to a configuration that receives and transmits certain information through a wired or wireless network.
  • the communication device 1050 may receive a transmission microscope image from an external object.
  • the communication device 1050 may also receive various neural network models and data for model training.
  • the communication device 1050 may transmit the generated special microscope image to an external object.
  • the communication device 1050 to the interface device 1040 are devices that receive certain data or commands from the outside.
  • the communication device 1050 to the interface device 1040 may be referred to as an input device.
  • the computing device 1030 processes a special microscope image using a neural network model or program stored in the storage device 1010.
  • the computing device 1030 may learn the neural network model used in the cell analysis process using the learning data given through the above-described process.
  • the computing device 1030 may construct at least one of the recognition network N1, the analysis network N2, the labeling network N3, the tracking network N4, and the generation network N5 in a learned form.
  • the computing device 1030 may analyze the cell state in the transmission microscope image using the neural network constructed through the above-described process.
  • the computing device 1030 may overlay the result analyzed on the transmission microscope image with a graphic, color, or text.
  • the computing device 1030 may generate a feature image of the cell state in the transmission microscope image using the neural network constructed through the above-described process.
  • the computing device 1030 may be a device such as a processor, a GPU, an AP, or a chip embedded with a program that processes data and processes a certain operation.
  • 20 is an example of a system for analyzing cells in a transmission microscope image. 20 is for an embodiment that provides cellular analysis using a network.
  • the service server 1180 corresponds to the above-described image processing apparatus.
  • FIG. 20 a detailed description of security or communication between objects is omitted. Each object may perform certain authentication before performing communication. For example, only a user who has successfully authenticated may request cell analysis from the service server 1180.
  • the user may request to provide a special microscope image to the service server 1180 through the user terminal.
  • the user may receive a transmission microscope image from the image DB 1150.
  • the image DB 1150 stores transmission microscope images derived during the experiment.
  • the image DB 1150 may be an object located in the network. Alternatively, the image DB 1150 may be a simple storage medium.
  • the user transmits the transmission microscope image to the service server 1180 through the user terminal 1110.
  • the service server 1180 receiving the request including the transmission microscope image performs analysis on the cells included in the transmission microscope image input through the above-described process.
  • the service server 1180 may generate a feature image indicating the state of cells included in the transmission microscope image input through the above-described process.
  • the service server 1180 needs to construct in advance various neural network models for cell analysis or feature image generation.
  • the service server 1180 may transmit a result of analyzing the cells or a feature image to the user terminal 1110.
  • the service server 1180 may store the analyzed result or feature image in a separate storage medium or deliver it to a separate object.
  • the user may transmit the transmission microscope image obtained in the experiment process to the service server 1180 through the user terminal 1120.
  • the service server 1180 receiving the request including the transmission microscope image performs analysis on the cells included in the transmission microscope image input through the above-described process. Furthermore, the service server 1180 may generate a feature image indicating the state of cells included in the transmission microscope image input through the above-described process.
  • the service server 1180 needs to construct in advance various neural network models for cell analysis or feature image generation.
  • the service server 1180 may transmit a result of analyzing the cells or a feature image to the user terminal 1110. Alternatively, although not shown in the drawings, the service server 1180 may store the analyzed result or feature image in a separate storage medium or deliver it to a separate object.
  • the method of learning the recognition network N1 as described above, the method of generating the learning image for constructing the recognition network N1, the method of generating the labeling network N3 for generating the learning image, and the analysis network N2 are learned. How to analyze cells in transmission microscopy images, tracking network (N4) generation methods, tracking cells to analyze cells in transmission microscopy images, feature image generation methods, tracking cells to generate feature images can be implemented as a program (or application) that contains executable algorithms that can run on a computer. The program may be stored and provided in a non-transitory computer readable medium.
  • the non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory.
  • a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • the present invention makes it possible to check the detailed state of cells without additional experiments or additional equipment. Furthermore, the technique described below accurately performs analysis on cell states that are difficult to grasp even with fluorescent staining.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Chemical & Material Sciences (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)

Abstract

인공신경망을 이용한 세포 영상 분석 방법은 영상 처리 장치가 투과 현미경 영상을 입력받는 단계, 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계, 상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태를 판단하는 단계 및 상기 제2 학습 네트워크에서의 판단으로부터 특징 영상 생성 네트워크를 이용하여 판단의 근거를 기술하는 이미지를 생성하는 단계를 포함한다. 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델이다.

Description

인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
본 발명은 인공신경망을 이용하여 투과 현미경 영상의 세포를 분석하는 방법 및 세포 영상 처리 장치에 관한 것이다.
투과 현미경은 표본의 광 투과성을 이용하여 표본의 전반적인 모양을 보여준다. 예컨대, 세포와 같은 표본이라면, 연구자는 투과 현미경으로 세포의 전반적인 구조를 관찰할 수 있다. 연구자는 세포의 특성이나 상태를 파악하기 위하여 형광 현미경, 전자 현미경과 같은 장치를 사용해야 한다. 나아가 세포의 상태를 면밀하게 분석하기 위해서 연구자는 추가적인 실험을 통해 암세포 여부, 세포의 성숙도 등을 판단해야 한다.
한국특허 제10-1704690호에는 세포의 이미지를 처리하는 방법이 개시되어 있으나, 미리 설정된 명도값에 따라 세포 소스 이미지를 처리할 수 있을 뿐, 다양한 경우의 수에 따른 세포의 상태 등을 분석할 수 없다는 단점이 있다.
이에 본 발명자들은, 추가 장비나 실험 없이 세포의 현미경 영상만으로 세포의 상태를 결정하기 위해 예의 노력한 결과, 세포의 현미경 영상을 인공신경망을 학습 네크워크를 이용하여 분석할 경우, 높은 정확도로 세포의 상태를 분석할 수 있다는 것을 확인하고, 본 발명을 완성하였다.
본 배경기술 부분에 기재된 상기 정보는 오직 본 발명의 배경에 대한 이해를 향상시키기 위한 것이며, 이에 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자에게 있어 이미 알려진 선행기술을 형성하는 정보를 포함하지 않을 수 있다.
선행기술문헌
특허문헌
(특허문헌 1) 한국등록특허 제10-1704690호
발명의 요약
본 발명의 목적은 투과 현미경 영상을 이용하여 세포의 상태를 자동으로 분석하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 투과 현미경 영상을 기준으로 세포의 상태를 확인할 수 있는 영상을 생성하는 방법을 제공하는 것이다.
상기 목적을 달성하기 위해서, 본 발명은 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계; 및 상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법을 제공한다.
본 발명은 또한, 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 상기 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계; 상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 제2 투과 현미경 영상에서 식별한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제3 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법을 제공한다.
본 발명은 또한, 제1 투과 현미경 영상을 입력받는 입력장치: 투과 현미경 영상에서 세포 영역을 구분하는 제1 학습 네트워크 및 상기 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 제2 학습 네트워크를 저장하는 저장 장치: 및 상기 제1 학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에서 세포가 위치하는 세포 영역을 식별하고, 상기 식별한 세포 영역을 상기 제2 학습 네트워크에 입력하여 상기 식별한 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 연산 장치를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치를 제공한다.
도 1은 인공신경망을 이용한 세포 분석 과정의 예이다.
도 2는 인식 네트워크의 학습 과정에 대한 예이다.
도 3은 인식 네트워크를 이용하여 세포를 판별하는 과정에 대한 예이다.
도 4는 학습용 영상을 생성하는 비지도학습 네트워크의 예이다.
도 5는 분석 네트워크를 학습하는 과정에 대한 예이다.
도 6은 분석 네트워크를 이용하여 세포를 분석하는 예이다.
도 7은 투과 현미경 영상에서 세포 생존 여부를 분석한 결과이다.
도 8은 투과 현미경 영상에서 암세포 여부를 분석한 결과이다.
도 9는 투과 현미경 영상에서 면역세포의 성숙도를 분석한 결과이다.
도 10은 투과 현미경 영상 내의 세포를 추적하는 과정의 예이다.
도 11은 세포를 추적하여 세포를 분석하는 과정의 예이다.
도 12는 투과 현미경 영상에서 세포를 추적한 후 세포를 분석한 결과이다.
도 13은 세포에 대한 특징 영상을 생성하는 과정의 예이다.
도 14는 분석 네트워크와 생성 네트워크의 구조에 대한 예이다.
도 15는 투과 현미경 영상에 대한 특징 영상을 생성한 결과이다.
도 16은 세포를 추적하여 세포에 대한 특징 영상을 생성하는 과정의 예이다.
도 17은 투과 현미경 영상에서 세포를 추적하여 면역 세포의 성숙도를 나타낸 특징 영상을 생성한 결과이다.
도 18은 투과 현미경 영상에서 세포를 추적하여 암세포의 종류 및 생동성 변화를 나타내는 특징 영상을 생성한 결과이다.
도 19는 투과 현미경 영상을 처리하는 영상 처리 장치의 구성에 대한 예이다.
도 20은 투과 현미경 영상 내의 세포를 분석하는 시스템에 대한 예이다.
발명의 상세한 설명 및 바람직한 구현예
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하 설명에서 사용하는 용어 내지 장치에 대하여 정의하거나 설명한다.
투과 현미경은 가시광선 또는 자외선과 같은 광을 광원으로 사용하는 광학 현미경을 의미한다. 예컨대, 투과 현미경은 일반 광학 현미경(bright-field Microscopy), 위상차 현미경(phase contrast microscopy), 미분간섭 현미경(Differential interference contrast microscopy) 등을 의미한다. 투과 현미경은 표본의 광 투과성을 이용하여 표본의 전반적인 모양을 보여준다. 투과 현미경 영상은 투과 현미경을 이용하여 산출한 영상을 의미한다. 여기서 표본은 관찰 대상에 따라 다양할 수 있다. 예컨대, 생물학 내지 의학 분야인 경우 표본은 조직, 세포 등일 수 있다.
이하 설명하는 기술은 투과 현미경 영상에 포함된 세포를 분석한다. 이하 설명하는 기술은 투과 현미경 영상을 학습 네트워크에 입력하여 세포 상태를 분석한다. 이하 설명하는 기술은 기계학습(machine learning)모델을 사용하여 특수 현미경 영상을 생성한다. 기계학습모델은 널리 알려진 바와 같이 다양한 모델이 있다. 설명의 편의를 위하여 이하 설명하는 기술은 인공신경망(artificial neural network)을 사용하여 영상을 생성한다고 가정한다. 예컨대, 대표적인 인공신경망은 CNN(Convolutional Neural Network) 및 CNN을 개량한 모델 등이 있다. 이하 관련된 설명에서 사용가능한 모델에 대하여 설명한다. 물론 이하 설명하는 기술은 특정한 신경망 모델로만 구현되는 것은 아님을 전제한다.
이하 설명하는 기술은 투과 현미경 영상에 포함된 세포를 분석하고, 세포의 특징에 나타내는 특징 영상을 생성한다. 이하 설명하는 기술은 투과 현미경 영상을 일련의 학습 네트워크에 입력하여 특징 영상을 생성한다. 특징 영상은 투과 현미경 영상에 포함된 세포를 분석하여 판단한 결과를 일정하게 이미지로 표현한 영상이다. 특징 영상에 대해서는 후술한다.
영상 처리는 영상 데이터를 일정하게 처리하는 영상 처리 장치에서 수행된다. 영상 처리 장치는 일정한 영상 처리 프로그램을 구동하여 영상을 처리하는 컴퓨터 장치, 서버, 전용 칩셋 등과 같은 하드웨어 장치일 수 있다. 이하 투과 현미경 영상 분석 및 특징 영상 생성은 영상 처리 장치가 수행한다고 가정한다. 영상 처리 장치가 인공신경망을 이용하여 영상을 분석하고, 특징 영상을 생성한다. 인공신경망은 영상 처리 장치가 일정한 학습 데이터를 이용하여 사전에 마련할 수 있다. 또는 인공신경망은 별도의 컴퓨터 장치가 일정한 학습 데이터를 이용하여 사전에 마련할 수 있다.
본 발명에서는 인공신경망을 이용한 학습네크워크를 이용하여 투과 현미경 이미지를 분석할 경우, 추가 실험이나 장비 없이 세포의 상태를 분석할 수 있음을 확인하고자 하였다.
즉, 본 발명의 일 실시예에서는 제1 학습네트워크를 이용하여 투과 현미경 이미지에서 세포 영역을 구분할 수 있도록 영상을 처리한 다음, 처리한 영상을 세포의 상태에 대하여 미리 학습된 인공신경망인 제2 학습 네트워크를 이용하여 분석할 경우, 별도의 추가 실험이나 장비없이 세포의 상태를 분석할 수 있다는 것을 확인하였다(도 1, 도 6 내지 10).
따라서, 본 발명은 일 관점에서, 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계; 및 상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법에 관한 것이다.
본 발명에 있어서, 상기 제2 학습 네트워크는 복수의 상기 세포 영역에 대하여 각각 세포에 대한 상태를 판단하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 제2 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제2 학습 네트워크는 상기 적어도 하나의 항목 각각에 대하여 개별적으로 사전에 학습된 적어도 하나의 신경망 모델을 포함하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 추가로 포함하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제2 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 거울상 구조로서, 상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 기준으로 상기 특징 영상을 생성하는 것을 특징으로 할 수 있다.
투과 현미경 영상 분석
도 1은 인공신경망을 이용한 세포 분석 과정(100)의 예이다. 투과 현미경 영상이 입력된다(110). 투과 현미경 영상은 현미경에서 나타나는 영상을 CCD, CMOS 등과 같은 이미지 센서로 획득한다. 투과 현미경 영상을 획득하는 과정은 자세한 설명을 생략한다.
인공신경망(N1)은 입력되는 투과 현미경 영상에서 세포를 인식한다(120). 인공신경망(N1)은 투과 현미경 영상에서 세포 영역을 구분하여 출력할 수 있다. 이하 인공신경망(N1)을 인식 네트워크라고 명명한다. 인식 네트워크(N1)는 지도학습 네트워크일 수 있다.
인공신경망(N2)은 인식 네트워크(N1)가 출력하는 세포 영상을 분석한다(130). 이하 인공신경망(N2)을 분석 네트워크라고 명명한다. 분석 네트워크(N2)는 세포 영상에 포함된 세포에 대한 상태를 판단한다(140). 분석 네트워크(N2)는 세포의 상태를 판단한 정보(판단 정보)를 영상과 별도로 출력할 수 있다. 나아가 분석 네트워크(N2)는 판단 정보를 영상에 표시한 형태로 출력할 수도 있다.
분석 네트워크(N2)는 CNN(convolutional neural network) 계열의 모델을 사용할 수 있다. 기본적으로 CNN은 컨볼루셔널(합성곱) 계층 (convolution layer)와 풀링 계층 (pooling layer)이 여러 층으로 이루어진 네트워크이다. 딥러닝 네트워크를 구현하는 모델 중 하나이다. 컨볼루셔널 계층을 통해 입력 이미지에 필터링을 수행하고 그 결과로 특징맵 (feature map)을 추출한다. 특징맵은 다음 층의 입력으로 사용하여 계층별로 연속하여 처리한다. CNN은 입력 영상에 대한 특징맵을 기준으로 입력 영상에 대한 분류 내지 분석 결과를 출력한다.
분석 네트워크(N2)가 분석한 결과를 일정한 영상으로 생성할 수 있다. 도 1에서 세포 상태를 판단(140)한 결과 영상을 도시하였다. 영상 처리 장치가 입력된 투과 현미경 영상에서 개별적으로 인식한 세포를 일정하게 표시(marking)하거나, 해당 세포의 대한 판단 결과를 영상 내의 텍스트로 표시할 수도 있다. 영상 처리 장치는 다양한 영상 처리 기능을 이용하여 판단 결과를 일정하게 표시할 수 있다.
인식 네트워크(N1)는 투과 현미경 영상에서 세포를 식별하고, 세포의 위치 내지 영역을 구분한다. 인식 네트워크(N1)는 영상의 객체(세포)를 인식할 뿐만 아니라 세포(세포 영역)의 위치도 구분해야 한다. 따라서 인식 네트워크(N1)는 영상에서 객체의 위치 정보까지 파악할 수 있는 모델을 사용한다. 도 2는 인식 네트워크(N1)의 학습 과정(200)에 대한 예이다. 인식 네트워크(N1)는 입력 영상에서 객체를 식별하고, 객체의 위치(영역) 정보도 추출할 수 있는 모델이다. 예컨대, 인식 네트워크(N1)는 R-CNN(region proposal convolutional neural network)일 수 있다.
R-CNN은 객체 분석을 수행하는 CNN과 해당 영상에서 객체가 존재할 영역을 제시하는 알고리즘(region proposal algorithm)을 연견한 모델이다. R-CNN은 입력 영상에서 선택적 선택(selective search) 등과 같은 알고리즘을 이용하여 사각형 후보 영역을 결정한다. R-CNN은 후보 영역을 동일한 크기로 잘라내고, 각 영역에 대한 특징을 추출하여 객체에 대한 분류를 수행한다. 한편 Fast R-CNN은 이미지 자체를 자르지 않고, 특징맵을 자르는 방식을 사용하여 속도가 빠르다. Faster R-CNN는 후보 영역을 결정하는 RPN(region proposal network)을 이용한다. R-CNN은 객체가 위치하는 일정한 영역을 결정하는 과정을 통해 해당 객체가 위치하는 영역에 대한 정보를 확보한다.
도 2는 두 가지 학습 방법을 나타낸다. 도 2(A)는 투과 현미경 영상 및 투과 현미경 영상에서 수동으로 식별된 세포 영상을 이용하여 학습되는 예이다. 투과 현미경 영상이 입력된다(210). 이후 수작업 또는 별도의 알고리즘을 이용하여 투과 현미경 영상에서 객체인 세포 영역을 식별한다(230). 인식 네트워크(N1)는 세포 영역이 식별된 영상을 입력받아 학습한다. 이를 통해 인식 네트워크(N1)는 입력 영상에서 세포 영역을 식별하도록 학습된다.
도 2(B)는 라벨링 네트워크(N3)를 이용하여 투과 현미경 영상에서 세포 위치를 식별한 정보를 이용하는 예이다. 라벨링 네트워크(N3)는 사전에 특수 현미경 영상으로 훈련되어, 특정한 관심 세포에 대한 위치를 식별한다. 라벨링 네트워크(N3)에 대해서는 후술한다. 특수 현미경 영상은 형광 현미경 영상과 같은 색상 등으로 표지된 영상을 의미한다. 투과 현미경 영상(210)과 특수 현미경 영상(220)이 입력된다. 특수 현미경 영상은 입력된 투과 현미경 영상에 위치하는 세포에 대한 특수 현미경 영상일 수 있다. 라벨링 네트워크(N3)는 입력된 특수 현미경 영상을 기준으로 학습용 영상을 생성(225)한다. 학습용 영상은 투과 현미경 영상에서 특정 객체(예컨대, 발광하는 세포)의 영역을 나타낸다. 학습용 영상은 이와 같이 관심있는 세포 영역에 대한 위치 정보를 전달한다. 인식 네트워크(N1)는 입력된 투과 현미경 영상 및 학습용 영상을 이용하여 투과 현미경 영상에서 관심있는 세포를 식별하도록 학습된다.
도 3은 인식 네트워크를 이용하여 세포를 판별하는 과정(300)에 대한 예이다. 도 3은 학습된 인식 네트워크(N1)를 이용하여 투과 현미경 영상에서 세포를 식별하고, 세포가 위치한 영역을 추출하는 예이다. 인식 네트워크(N1)는 투과 현미경 영상을 입력받는다(310). 인식 네트워크(N1)는 입력된 투과 현미경 영상에서 세포 또는 관심 있는 세포가 위치하는 영역을 식별한다(320). 인식 네트워크(N1)는 식별한 세포 영역을 구분하여 추출할 수도 있다(330).
도 4는 학습용 영상을 생성하는 비지도학습 네트워크에 대한 예이다. 도 4는 전술한 라벨링 네트워크(N3)의 동작 내지 구조에 대한 예이다. 라벨링 네트워크(N3)는 배경 제거 모델(410), 가설 검증 모델(420) 및 비지도학습 모델(430)을 포함한다.
배경 제거 모델(410)은 입력되는 특수 현미경 영상에서 발광하는 객체에 해당하는 세포만을 뚜렷하게 식별하기 위하여 배경에 해당하는 노이즈를 제거한다. 특수 현미경 영상은 일반적으로 CCD 나 CMOS 등의 이미지 센서(array detector)를 통해 획득된다. 해당 이미지 내 노이즈는 가우시안 랜덤(Gaussian random) 또는 포아송 랜덤(Poisson random) 분포를 따른다. 배경 제거 모델(410)은 노이즈에 해당하는 확률 분포 모델을 일정하게 피팅(fitting)하여 제거할 수 있다.
가설 검증 모델(statistical hypothesis test, 320)은 비지도학습 모델에서 학습하여야할 구성에 대한 분류(class)를 정의한다. 일반적인 비지도학습 모델은 데이터에 대해 스스로 학습하지만 학습을 위한 최소한의 지침이 필요하다. 이 부분을 사용자가 설정할 수도 있지만, 결과에 대한 편형을 제거 하고자 가설 검증을 통해 비지도학습에 필요한 기준을 제공한다. 가설 검증 모델(420)은 Hartigan 딥 테스트(DIP test)를 통해 유니모달리티(unimodality)를 찾고, 유니모달이 아닌 경우 갭 통계(Gap statistic)를 통해 확률분포를 평가한다. 이 과정을 통해 통계적 모집단(statistical population)을 결정한다. 즉, 비지도학습에서 학습해야할 분류를 정의한다.
비지도학습 모델(430)은 다양한 비지도학습 방법론 중 어느 하나를 이용할 수 있다. 예컨대, 비지도학습은 계층적 클러스터링(Hierarchical clustering), K 평균 클러스터링(K-Means clustering), 가우시안 혼합 모델(Gaussian mixture models), 자기 조직화 지도(Self-organizing maps) 및 은닉 마르코프 모델(Hidden Markov model) 등이 있다.
나아가 비지도학습 모델(430)은 복수의 비지도학습 방법론을 사용하고, 최상의 결과를 선택할 수도 있다. 예컨대, 비지도학습 모델(430)은 계층적 클러스터링, K 평균 클러스터링, 가우시안 혼합 모델, 자기 조직화 지도 및 은닉 마르코프 모델 중 적어도 2개 이상을 사용하여 일정한 결과를 산출할 수 있다. 각 모델은 특수 현미경 영상의 품질이나 종류에 따라 상이한 결과(후보 영상)를 산출할 수 있다. 비지도학습 모델(430)은 복수의 후보 영상에 대한 상호 상관관계 최대화(cross-correlation maximization)를 통해 최상의 결과를 선택할 수 있다.
라벨링 네트워크(N3)는 이와 같은 동작을 통해 인식 네트워크(N1) 학습을 위한 학습용 영상을 생성할 수 있다.
도 5는 분석 네트워크를 학습하는 과정(500)에 대한 예이다. 분석 네트워크(N2)가 세포를 판단하는 기준은 실험적 결과에 기반한다. 분석 네트워크(N2)는 투과 현미경 영상 내의 세포 영상과 해당 세포 영상에 대한 실험적 분석 결과를 이용하여 학습된다. 세포의 상태는 다양한 카테고리로 구분될 수 있다. 예컨대, 세포 상태는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나로 구분될 수 있다. 기본적으로 분석 네트워크(N2)는 동일한 기준(예컨대, 세포 생존 여부)에 대해서도 복수의 샘플과 그에 대한 분석 결과를 이용하여 학습된다. 도 5는 K개의 투과 현미경 영상과 실험 결과를 이용하는 예이다. 투과 현미경 영상은 먼저 인식 네트워크(N1)에 입력된다(510). 인식 네트워크(N1)는 투과 현미경 영상에서 세포를 인식하고, 세포 영역을 구분한다(520). 인식 네트워크(N1)는 도 5와 같이 투과 현미경 영상에 존재하는 복수의 세포 영역을 구분하여 출력할 수 있다. 인식 네트워크(N1)가 출력한 세포 영상(세포 영역)은 분석 네트워크(N2)에 전달된다(530). 분석 네트워크(N2)는 입력된 세포 영상을 분석하여 영상 내에 존재하는 세포 상태에 대한 학습을 수행한다(540). 따라서 분석 네트워크(N2)는 세포 영상과 함께 해당 영상에 존재하는 세포의 상태 정보를 입력받아야 한다. 예컨대, (1) 세포 생존 여부라면 상태 정보는 살아 있는 세포 또는 죽은 세포를 나타낸다. (2) 세포 성숙도라면, 상태 정보는 성숙한 세포 또는 미성숙한 세포를 나타낸다. 또는 상태 정보가 세포의 성숙도를 일정한 레벨로 나타낼 수도 있다. (3) 암세포 진행 여부라면, 상태 정보는 해당 세포가 정상 세포인지 또는 암세포인지를 나타낸다. 또는 상태 정보가 암세포 진행 정보를 일정한 레벨로 나타낼 수도 있다.
도 6은 분석 네트워크를 이용하여 세포를 분석하는 예이다. 도 6은 복수의 분석 네트워크를 사용하여 서로 다른 결과를 생성하는 예이다. 도 6은 복수의 영상 분석 네트워크(N2-A, N2-B 및 N-2C)를 도시한다. 복수의 분석 네트워크(N2-A, N2-B 및 N21C)는 서로 세포 상태 카테고리에 대한 실험 결과로 학습된다. 복수의 분석 네트워크(N2-A, N2-B 및 N21C)는 동일한 투과 현미경 영상에 대해서도 서로 다른 세포 상태에 대한 정보를 제공한다.
복수의 분석 네트워크(N2-A, N2-B 및 N21C) 각각은 동일한 투과 현미경 영상(Input 1)을 입력받아 서로 다른 결과값(Output 1, Output 2 및 Output 3)을 생성한다. 결과값 1(Output 1)은 암세포 여부에 대한 판단 정보를 나타낸다. 결과값 2(Output1)는 세포의 성숙도에 대한 판단 정보를 나타낸다. 결과값 3(Output 3)은 세포의 생존 여부에 대한 판단 정보를 나타낸다. 이와 같이 세포 상태를 분석하는 분석 네트워크는 복수의 모델을 포함하고, 사용자의 선택에 따라 특정한 어느 하나 또는 복수의 모델을 사용하여 세포 상태를 분석할 수 있다.
도 7은 투과 현미경 영상에서 세포 생존 여부를 분석한 결과이다. 도 7은 실제 전술한 신경망을 이용하여 투과 현미경 영상을 분석한 결과이다. 도 7(A)는 투과 현미경 영상에서 세포 영역이 구분된 것이다. 도 7(A)에서 Live는 살아 있는 세포를 의미한다. Death는 죽은 세포를 의미한다. 한편 Death 1 내지 Death 3는 세포가 사멸한 원인이 서로 다르다. 각각 permeabilization, phototoxicity, high temperature이다. 세포 사멸 원인에 따라 투과 현미경 영상 내의 세포 형태가 다를 수 있다. 도 7(B)는 신경망을 사용하여 세포 상태를 판단한 결과와 실험적 결과를 비교한 테이블이다. 신경망을 이용한 세포 상태 판단은 세포 생존 및 세포 사멸 원인에 대하여 99% 이상의 정확도로 판별하고 있다.
도 8은 투과 현미경 영상에서 암세포 여부를 분석한 결과이다. 도 8은 실제 전술한 신경망을 이용하여 투과 현미경 영상을 분석한 결과이다. 도 8(A)는 투과 현미경 영상에서 세포 영역이 구분된 것이다. 도 8(A)에서 normal은 정상 세포를 의미한다. 나머지 luminal, basal, HER2 amplified는 암세포를 나타낸다. luminal, basal, HER2 amplified는 암세포의 종류 내지 암세포의 특징을 나타낸다. 암세포의 종류 내지 특징에 따라 투과 현미경 영상 내의 세포 형태가 다를 수 있다. 도 8(B)는 신경망을 사용하여 세포 상태를 판단한 결과와 실험적 결과를 비교한 테이블이다. 신경망을 이용한 세포 상태 판단은 암세포 여부 및 암세포의 특징/종류에 대하여 99% 이상의 정확도로 판별하고 있다.
도 9는 투과 현미경 영상에서 면역세포의 성숙도를 분석한 결과이다. 도 9는 실제 전술한 신경망을 이용하여 투과 현미경 영상을 분석한 결과이다. 도 9(A)는 투과 현미경 영상에서 세포 영역이 구분된 것이다. 도 9(A)에서 immature DC(imDC)는 미성숙한 세포를 나타낸다. matured DC(mDC)는 성숙한 세포를 나타낸다. 한편 면역 세포에 대한 성숙도는 형광 염색으로도 판단하기 어려운 것이다. 즉, 사람의 육안이나 형광 표지된 형태로도 성숙도 판단이 어렵다는 것이다. 도 9(B)는 신경망을 사용하여 세포 상태를 판단한 결과와 실험적 결과를 비교한 테이블이다. 신경망을 이용한 세포 상태 판단은 면역 세포의 성숙도에 대하여 98% 이상의 정확도로 판별하고 있다.
한편 바이오/의학 분야는 살아 있는 세포에 대한 연구도 많다. 즉, 살아 있는 세포를 추적하여 이에 대한 분석이 필요할 것으로 예상하였다.
즉, 본 발명의 다른 실시예에서는 제1 시점에서의 투과 현미경 영상과, 제1 시점 이후의 제2 투과 현미경 영상을 입력하여, 세포를 인식하는 제1 학습 네트워크로 영상을 처리한 다음, 세포를 추적하는 제2 학습 네트워크를 이용하여 제1 시점에서의 투과 현미경 영상에서 인식된 세포를 제 2 투과 현미경 영상에서 식별하여, 제3 학습 네크워크를 이용하여 세포의 상태를 분석할 수 있다는 것을 확인하였다(도 10 내지 도 12).
따라서, 본 발명은 다른 관점에서, 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 상기 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계; 상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 제2 투과 현미경 영상에서 식별한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제3 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법에 관한 것이다.
본 발명에 있어서, 상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 제2 학습 네트워크는 시간 간격을 갖는 두 개의 투과 현미경 영상에서 동일 세포를 식별하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제3 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 CNN(convolutional neural network) 모델인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 영상 처리 장치가 제4 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 추가로 포함하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제3 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 거울상 구조로서, 상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 반영하여 상기 특징 영상을 생성하는 것을 특징으로 할 수 있다.
이하 투과 현미경 영상을 이용하여 세포를 추적하고, 추적한 세포에 대한 세포를 분석하는 예를 설명한다.
도 10은 투과 현미경 영상 내의 세포를 추적하는 과정(600)의 예이다. 세포 추적 과정에는 두 가지 신경망(N1 및 N4)가 사용된다. 신경망(N4)는 인식된 세포를 시작으로 시간의 흐름에 따라 세포를 추적한다. 이하 신경망(N4)을 추적 네트워크라고 명명한다.
인식 네트워크(N1)는 투과 현미경 영상을 입력받아(610), 영상 내에 존재하는 객체(세포)를 식별한다(620). 인식 네트워크(N1)는 식별한 세포의 영역을 구분할 수 있다. 따라서 인식 네트워크(N1)는 영상에서 특정 객체와 해당 객체의 위치를 파악할 수 있는 모델이다. 인식 네트워크(N1)는 식별한 세포의 위치를 포함하는 영상 정보를 생성한다.
추적 네트워크(N4)는 인식 네트워크(N1)가 최초 식별한 세포와 세포의 위치를 기준으로 세포를 추적한다(630). 추적 네트워크(N4)는 식별한 세포의 위치를 추적한 결과를 보여주는 영상을 생성한다. 추적 네트워크(N4)는 시간의 흐름에 따른 복수의 투과 현미경 영상에서 세포를 추적한다. 예컨대, 추적 네트워크(N4)는 제1 시점의 투과 현미경 영상 및 제1 시점 이후의 제2 시점의 투과 현미경 영상을 입력받을 수 있다. 제1 시점의 투과 현미경 영상은 인식 네트워크(N1)가 세포 및 세포 영역을 식별한 영상이다. 추적 네트워크(N4)는 제1 시점의 투과 현미경 영상에서 식별한 세포 위치를 시작으로 제2 시점의 투과 현미경 영상에서 식별한 세포의 위치를 추적한다. 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 최초 식별한 세포를 계속하여 추적할 수 있다. 또한 추적 네트워크(N4)는 투과 현미경 영상에서 식별된 복수의 세포에 대한 추적을 수행할 수 있다. 도 10은 추적 네트워크(N4)를 이용하여 영상에서 식별한 세포를 추적한 결과를 보여준다. 도 10에서 추적 네트워크(N4)가 생성한 영상을 살펴보면, 해당 영상은 위치 식별한 세포(사각형 박스 표시)가 최초 C1에서 특정 시간이 경과한 후 C2로 이동한 것을 알 수 있다. C1과 C2를 연결하는 실선은 시간 흐름에 따른 세포 이동 경로를 의미한다. 추적 네트워크(N4)는 객체를 추적하는 비지도학습 네트워크에 해당한다. 영상 처리 장치가 추적 네트워크(N4)의 출력 결과를 이용하여 투과 현미경 영상에 도 10과 같은 사각형 박스나 세포 위치를 나타내는 실선을 표시할 수 있다.
도 11은 세포를 추적하여 세포를 분석하는 과정(700)의 예이다. 먼저 인식 네트워크(N1)가 투과 현미경 영상을 입력받는다(710). 인식 네트워크(N1)은 투과 현미경 영상에서 세포를 식별하고, 식별한 세포에 대한 위치(영역) 정보를 생성한다. 인식 네트워크(N1)는 투과 현미경 영상에서 세포 영역을 표시한 영상을 생성할 수도 있다. 추적 네트워크(N4)는 세포 영역이 식별된 제1 시점의 투과 현미경 영상(제1 투과 현미경 영상이라 함)을 입력받는다. 추적 네트워크(N4)는 제1 투과 현미경 영상에서 식별된 세포를 시작으로 제1 시점 이후의 제2 시점의 투과 현미경 영상에서 세포의 위치를 결정(추적)한다(720). 나아가 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 계속 세포를 추적할 수 있다(730). 도 11은 K개의 투과 현미경 영상에서 동일한 세포를 추적한 결과를 도시한다. 즉, 추적 네트워크(N4)는 시간의 경과에 따른 세포 영상 및 해당 시점의 세포 위치를 나타내는 복수의 영상을 생성할 수 있다.
분석 네트워크(N2)는 추적 네트워크(N4)가 생성한 영상을 입력받는다. 분석 네트워크(N2)는 입력 영상에서 세포의 상태를 판단하여 판단 정보를 생성한다(740). 분석 네트워크(N2)는 시간의 흐름에 따라 세포의 식별하고, 식별한 세포에 대한 생동성(viability) 변화를 나타낸다. 도 11을 살펴보면 분석 대상인 세포가 시간의 흐름에 따라 생동성을 잃어 사멸한 것을 알 수 있다. 영상 처리 장치는 분석 네트워크(N2)가 생성한 판단 정보를 사용자가 쉽게 식별할 수 있도록 영상 내에 식별 정보(텍스트 정보 또는 색상)를 삽입할 수 있다. 예컨대, 영상 처리 장치는 도 11의 하단에 도시한 바와 같이 세포의 유형 및 생동성에 대한 정보를 영상 내에 표시할 수 있다.
도 12는 투과 현미경 영상에서 세포를 추적한 후 세포를 분석한 결과이다. 도 12는 실제 신경망을 이용하여 투과 현미경에서 세포를 추적하고, 세포를 분석한 결과이다. 도 12(A)는 투과 현미경 영상에서 인식 네트워크(N1) 및 추적 네트워크(N4)를 이용하여 세포를 추적한 결과이다. 도 12(B)는 도 12(A)에서 세포 중 "Track 01"로 추적한 세포와 "Track 07"로 추적한 세포에 대한 판단 정보를 도시한다. "Track 01"로 추적한 세포는 시간 경과에 따라 계속 살아 있고, "Track 07"로 추적한 세포는 시간 경과에 따라 사멸한 것을 알 수 있다.
판단 정보 기반한 특징 영상 생성
이하 투과 현미경 영상에 포함된 세포에 대한 상태를 판단하고, 판단한 정보를 기준으로 세포의 특징을 나타내는 영상(특징 영상)을 생성하는 예를 설명한다. 도 13은 세포에 대한 특징 영상을 생성하는 과정(800)의 예이다.
투과 현미경 영상은 먼저 인식 네트워크(N1)에 입력된다(510). 도 13은 K개의 서로 다른 투과 현미경 영상이 입력되는 예이다. 인식 네트워크(N1)는 투과 현미경 영상에서 세포를 인식하고, 세포 영역을 구분한다(820). 인식 네트워크(N1)는 도 13와 같이 투과 현미경 영상에 존재하는 복수의 세포 영역을 구분하여 출력할 수 있다. 인식 네트워크(N1)가 출력한 세포 영상(세포 영역)은 분석 네트워크(N2)에 전달된다(830). 분석 네트워크(N2)는 입력된 세포 영상을 분석한다(840). 분석 네트워크(N2)는 세포 상태에 대한 분석 정보를 생성한다.
신경망(N5)는 분석 네트워크(N2)가 출력한 정보를 이용하여 일정한 특징 영상을 생성한다(850). 이하 신경망(N5)를 생성 네트워크라고 명명한다. 전술한 바와 같이 분석 네트워크(N2)는 CNN 모델이다. 생성 네트워크(N5)는 분석 네트워크(N2)와는 반대되는(거울상) 구조를 갖는다. 생성 네트워크(N5)는 분석 네트워크(N2)의 세포 상태 판단 과정을 역으로 추적하여 해당 판단에 필요한 정보를 식별한다. 생성 네트워크(N5)는 판단 과정에 사용된 정보를 특징 정보라고 명명한다. 특징 정보는 세포 상태를 판단하는 기준이 되며, 복수의 특징 정보 중 기여도가 큰 정보가 있다. 생성 네트워크(N5)는 특징 정보를 중요도(기여도) 기준으로 나열한다. 이와 같이 특징 정보에 대한 중요도가 결정되면, 생성 네트워크(N5)는 해당 중요도의 크기를 일정한 이미지로 변환한다. 예컨대, 생성 네트워크(N5)는 중요도에 따라 색상을 달리하거나 질감을 달리하는 영상을 생성할 수 있다. 도 13은 생성 네트워크(N5)가 생성한 특징 영상을 도시하였다. 특징 영상은 특정 색상이나 형태 자체가 정량적으로 세포의 특성과 직접 연관되지 않을 수 있다. 다만 특징 영상은 색상이나 형태로 서로 다른 세포의 특성을 구분하는 정보가 될 수 있다.
생성 네트워크(N5)는 영상에 대한 분류 (class) 정보를 입력받아, 해당 분류 정보가 의미하는 영상이 무엇인지 검출한다. 생성 네트워크(N5)는 일종의 약지도학습(weakly-supervised learning) 네트워크에 해당한다. 의료 분야에서 약지도학습 네트워크는 영상 전체에 대한 소견(분석 결과)를 기준으로 영상에서 병변의 위치를 검출하는데 사용되기도 한다. 생성 네트워크(N5)는 사전에 학습된 분석 네트워크 (N2)의 정보를 사용한다.
도 14는 생성 네트워크의 구조에 대한 예이다. 먼저 사전에 학습된 CNN으로 영상을 처리한다. 이때 CNN은 투과 현미경 영상에서 세포에 대한 분류 정보를 생성한다. 이 과정은 전술한 판단 네트워크(N2)를 통해 수행할 수도 있다. 도 14는 상부에는 판단 네트워크(N2)를 도시한 예이다. 판단 네트워크(N2)는 입력된 투과 현미경 영상을 분석하여 특정 세포 영상에 대한 분류 정보(분석 정보)를 출력한다.
생성 네트워크(N5)는 영상을 분석한 CNN과 거울상 구조를 갖는다. 생성 네트워크(N5)는 CNN(N2)이 산출한 분류 정보를 입력받는다. 생성 네트워크(N5)는 분석 네트워크(N2)가 산출한 결과를 역추적하는 과정을 수행한다. 도 14에서 투과 현미경 영상에 포함된 세포(들)에 대한 분류 정보를 색상으로 표현하였다.
생성 네트워크(N5)는 영상에 대한 모든 분류 정보에 대하여 해당 신경 노드의 확률을 계산한다. 도 14는 3개의 분류 정보를 별도의 색상으로 표시한 예이다. 도 14는 3개의 생성 네트워크(N5)를 각각 도시하였는데, 이는 3개의 분류 정보를 역으로 추적하는 과정을 도시한 것이다. 생성 네트워크(N5)는 기구축된 분석 네트워크(N2)를 기준으로 각 분류에 대한 확률값을 연산한다.
생성 네트워크(N5) 동작에 대하여 설명한다. 생성 네트워크(N5)는 해당 분류 정보에 대한 확률을 계산하고, 각 계층별로 확률을 곱하여 그 값이 0보다 작은 확률에 대한 노드를 제거한다. 각 계층에 대하여 동일한 동작을 수행하면, 최종 컨볼루션 계층 후의 확률값은 영상에서 각 픽셀이 해당 분류 정보에 기여하는 정도(기여도)를 의미하게 된다. 한편 생성 네트워크(N5)는 CNN의 분류 결과와 관계없이 가능한 모든 분류에 대하여, 확률값 연산을 수행한다. 즉, 생성 네트워크(N5)는 전체 분류의 개수만큼의 영상을 생성하게 된다. 또 생성한 각 영상은 해당 분류의 확률 정보를 포함하게 된다. 각 픽셀에 대한 확률값은 해당 픽셀의 색상 내지 밝기값으로 표현될 수 있다. 도 14는 3개의 분류 정보에 대하여 생성 네트워크(N5)가 생성한 영상을 예시한다. 3개의 분류 정보는 일반적으로 확률을 역추적하는 시작점이 서로 다르다. 따라서 결과적으로 최종 생성되는 각 픽셀의 확률값도 서로 다른 결과를 갖는다. 세포 영상에 대하여 판단 네트워크(N2)가 해당 세포의 상태를 판단한 판단 정보를 생성하는데, 이때 판단 정보 생성에 중요하게 기여한 정보(픽셀)는 색상이나 밝기값으로 구분될 수 있다.
도 15는 투과 현미경 영상에 대한 특징 영상을 생성한 결과이다.
도 15(A)는 면역 세포의 성숙도를 나타내는 특징 영상의 예이다. 세로축에서 DIC는 투과 현미경 영상을 나타낸다. PAINT가 생성 네트워크를 이용하여 생성한 특징 영상이다. Overlay는 투과 현미경 영상과 특징 영상을 중첩시킨 영상이다. 가로축에서 immature DC는 미성숙 세포를 나타내고, mature DC는 성숙한 세포를 나타낸다. 도 15(A)와 같이 특징 영상은 성숙한 세포와 미성숙한 세포를 색상이나 형태로 구분할 수 있다.
도 15(B)는 세포의 생존 여부를 나타내는 특징 영상의 예이다. 세로축에서 DIC는 투과 현미경 영상을 나타낸다. PAINT가 신경망을 이용하여 생성한 특징 영상이다. Overlay는 투과 현미경 영상과 특징 영상을 중첩시킨 영상이다. 가로축에서 live는 살아 있는 세포를 나타낸다. death는 죽은 세포를 나타낸다. death 1 내지 death3은 세포 사멸 원인이 서로 다른 경우이다. 도 15(B)와 같이 특징 영상은 살아 있는 세포와 작은 세포를 구분할 수 있다. 나아가 특징 영상은 사멸 원인에 따라 서로 다른 색상이나 형태를 표현할 수도 있다.
도 15(C)는 암세포 여부를 나타내는 특징 영상의 예이다. 세로축에서 DIC는 투과 현미경 영상을 나타낸다. PAINT가 생성 네트워크를 이용하여 생성한 특징 영상이다. Overlay는 투과 현미경 영상과 특징 영상을 중첩시킨 영상이다. 가로축에서 normal은 정상 세포를 나타내고, luminal, basal. HER2+는 암세포를 나타낸다. luminal, basal. HER2+는 암세포의 종류 내지 특성이 서로 다르다. 도 15(C)와 같이 특징 영상은 정상 세포와 암세포를 구분할 수 있다. 나아가 특징 영상은 암세포의 종류 내지 특징에 따라 서로 다른 색상이나 형태를 표현할 수도 있다.
도 16은 세포를 추적하여 세포에 대한 특징 영상을 생성하는 과정(900)의 예이다. 먼저 인식 네트워크(N1)가 투과 현미경 영상을 입력받는다(910). 인식 네트워크(N1)은 투과 현미경 영상에서 세포를 식별하고, 식별한 세포에 대한 위치(영역) 정보를 생성한다. 인식 네트워크(N1)는 투과 현미경 영상에서 세포 영역을 표시한 영상을 생성할 수도 있다. 추적 네트워크(N4)는 세포 영역이 식별된 제1 시점의 투과 현미경 영상(제1 투과 현미경 영상이라 함)을 입력받는다. 추적 네트워크(N4)는 제1 투과 현미경 영상에서 식별된 세포를 시작으로 제1 시점 이후의 제2 시점의 투과 현미경 영상에서 세포의 위치를 결정(추적)한다(920). 나아가 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 계속 세포를 추적할 수 있다(930). 도 16은 K개의 투과 현미경 영상에서 동일한 세포를 추적한 결과를 도시한다. 즉, 추적 네트워크(N4)는 시간의 경과에 따른 세포 영상 및 해당 시점의 세포 위치를 나타내는 복수의 영상을 생성할 수 있다.
분석 네트워크(N2)는 추적 네트워크(N4)가 생성한 영상을 입력받는다. 분석 네트워크(N2)는 입력 영상에서 세포의 상태를 판단하여 판단 정보를 생성한다. 생성 네트워크(N5)는 판단 정보를 기준으로 판단에 기초가된 특징 정보의 중요도를 구분하고, 중요도에 따라 일정한 이미지를 생성한다(940). 도 16을 살펴보면 분석 대상인 세포가 시간의 흐름에 따라 생동성을 잃어 사멸한 것을 알 수 있다.
도 17은 투과 현미경 영상에서 세포를 추적하여 면역 세포의 성숙도를 나타낸 특징 영상을 생성한 결과이다. 도 17은 신경망을 이용하여 실제 투과 현미경 영상에서 세포를 추적하고, 추적한 세포에 대한 특징 영상을 생성한 예이다. 도 17(A)는 투과 현미경 영상에서 세포를 추적한 결과이다. 도 17(A)는 두 가지 상황에 대한 경우이다. "imDC"는 미성숙 세포를 나타낸고, "imDC+LPS"는 미성숙 세포에 LPS(리포폴리사카라이드)가 투여된 상황이다. 도 17(B)는 추적된 세포에 대한 투과 현미경 영상, 세포 상태 및 특징 영상을 도시한다. 도 17(B) 좌측은 imDC에서 "Tack 04"로 추적된 세포에 대한 예이다. 도 17(B) 우측은 imDC+LPS에서 "Track 01"로 추적된 세포에 대한 예이다. 해당 세포는 시간 경과에 따라 성숙한 세포로 변화된 것을 알 수 있다.
도 18은 투과 현미경 영상에서 세포를 추적하여 암세포의 종류 및 생동성 변화를 나타내는 특징 영상을 생성한 결과이다. 도 18은 신경망을 이용하여 실제 투과 현미경 영상에서 세포를 추적하고, 추적한 세포에 대한 특징 영상을 생성한 예이다. 도 18(A)는 투과 현미경 영상에서 세포를 추적한 결과이다. 도 18(A)는 모두 세포 10개(Track 01 내지 Track 10)을 추적한 결과를 도시한다. 도 18(B)는 추적된 세포에 대한 투과 현미경 영상, 세포 상태 및 특징 영상을 도시한다. 도 18(B) 좌측은 "Tack 01"로 추적된 세포에 대한 예이다. 도 17(B) 우측은 "Track 07"로 추적된 세포에 대한 예이다. 해당 세포는 시간 경과에 따라 사멸한 것을 알 수 있다.
본 발명은 또다른 관점에서, 제1 투과 현미경 영상을 입력받는 입력장치: 투과 현미경 영상에서 세포 영역을 구분하는 제1 학습 네트워크 및 상기 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 제2 학습 네트워크를 저장하는 저장 장치: 및 상기 제1 학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에서 세포가 위치하는 세포 영역을 식별하고, 상기 식별한 세포 영역을 상기 제2 학습 네트워크에 입력하여 상기 식별한 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 연산 장치를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치에 관한 것이다.
이하 도면을 통해 영상 처리 장치에 관해 상세히 설명한다.
도 19는 투과 현미경 영상을 처리하는 영상 처리 장치(1000)의 구성에 대한 예이다. 영상 처리 장치(1000)는 투과 현미경 영상에서 세포를 분석하는 장치이다. 또 영상 처리 장치(1000)는 세포 분석 정보에 기반하여 특징 영상을 생성하는 장치이다.
영상 처리 장치(1000)는 물리적으로 다양한 형태로 구현될 수 있다. 도 19 하단에 영상 처리 장치의 구현 예를 도시하였다. 영상 처리 장치(1000)는 PC와 같은 컴퓨터 장치(A), 네트워크의 서버(B), 영상 처리 전용 칩셋(C) 등의 형태를 가질 수 있다. 컴퓨터 장치는 스마트 기기 등과 같은 모바일 기기를 포함할 수 있다. 최근 AI 전용 칩셋이 활발하게 개발되고 있다. 따라서 영상 처리 장치는 특수 현미경 영상을 생성하는 신경망 모델을 포함하는 칩셋 형태의 제품으로도 구현 가능하다.
영상 처리 장치(1000)는 저장 장치(1010), 메모리(1020), 연산장치(1030), 인터페이스 장치(1040) 및 통신 장치(1050)를 포함한다.
저장 장치(1010)는 세포 상태 분석을 위한 신경망 모델을 저장한다. 예컨대, 저장 장치(1010)는 인식 네트워크(N1) 및 분석 네트워크(N2)를 저장할 수 있다. 세포 추적하여 세포를 분석하는 경우 저장 장치(1010)는 인식 네트워크(N1), 분석 네트워크(N2) 및 추적 네트워크(N4)를 저장할 수 있다.
저장 장치(1010)는 특징 영상 생성을 위한 신경망 모델을 저장할 수 있다. 저장 장치(1010)는 인식 네트워크(N1), 분석 네트워크(N2) 및 생성 네트워크(N5)를 저장할 수 있다. 세포 추적하여 세포를 분석하는 경우 저장 장치(1010)는 인식 네트워크(N1), 분석 네트워크(N2), 생성 네트워크(N5) 및 추적 네트워크(N4)를 저장할 수 있다. 또 저장 장치(1010)는 영상을 분석한 결과를 영상 내에 일정하게 표기(마크, 색상 또는 텍스트 등)하기 위한 영상 처리 프로그램을 저장할 수도 있다.
저장 장치(1010)는 각종 신경망을 훈련하기 위한 라벨링 네트워크(N3) 및 학습 데이터를 저장할 수도 있다. 나아가 저장 장치(1010)는 영상 처리에 필요한 프로그램내지 소스 코드 등을 저장할 수 있다. 저장 장치(1010)는 투과 현미경 영상, 각 신경망 모델이 생성하는 영상 및 특수 영상을 저장할 수 있다.
메모리(1020)는 영상 처리 장치(1000)가 수신한 투과 현미경 영상, 특수 현미경영상 생성과정에서 임시로 생성되는 영상, 신경망을 이용한 영상 처리 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(1040)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(1040)는 물리적으로 연결된 입력 장치 또는 외부 저장 장치로부터 투과 현미경 영상을 입력받을 수 있다. 인터페이스 장치(1040)는 세포 분석이나 특징 영상 생성을 위한 각종 신경망 모델을 입력받을 수 있다. 인터페이스 장치(1040)는 신경망 모델 생성을 위한 학습데이터, 정보 및 파라미터값을 입력받을 수도 있다.
통신 장치(1050)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(1050)는 외부 객체로부터 투과 현미경 영상을 수신할 수 있다. 통신 장치(1050)는 각종 신경망 모델 및 모델 학습을 위한 데이터도 수신할 수 있다. 통신 장치(1050)는 생성한 특수 현미경 영상을 외부 객체로 송신할 수 있다.
통신 장치(1050) 내지 인터페이스 장치(1040)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신 장치(1050) 내지 인터페이스 장치(1040)를 입력장치라고 명명할 수 있다.
연산 장치(1030)는 저장장치(1010)에 저장된 신경망 모델 내지 프로그램을 이용하여 특수 현미경 영상을 처리한다. 연산 장치(1030)는 전술한 과정을 통해 주어진 학습 데이터를 이용하여 세포 분석 과정에 사용되는 신경망 모델을 학습할 수 있다. 연산 장치(1030)는 인식 네트워크(N1), 분석 네트워크(N2), 라벨링 네트워크(N3), 추적 네트워크(N4) 및 생성 네트워크(N5) 중 적어도 하나를 학습된 형태로 구축할 수 있다. 연산 장치(1030)는 전술한 과정을 통해 구축된 신경망을 이용하여 투과 현미경 영상에서 세포 상태를 분석할 수 있다. 연산 장치(1030)는 투과 현미경 영상에 분석된 결과를 도형, 색상 또는 텍스트 등으로 화면에 부가(overlay)할 수도 있다. 나아가 연산 장치(1030)는 전술한 과정을 통해 구축된 신경망을 이용하여 투과 현미경 영상에서 세포 상태에 대한 특징 영상을 생성할 수 있다. 연산 장치(1030)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, GPU, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
도 20은 투과 현미경 영상 내의 세포를 분석하는 시스템에 대한 예이다. 도 20은 네트워크를 이용하여 세포 분석을 제공하는 실시예에 대한 것이다. 도 20에서 서비스 서버(1180)가 전술한 영상 처리 장치에 해당한다. 도 20에서 각 객체 간 보안이나 통신에 대한 자세한 설명은 생략한다. 각 객체는 통신 수행하기 전에 일정한 인증을 수행할 수도 있다. 예컨대, 인증에 성공한 사용자만이 서비스 서버(1180)에 세포 분석을 요청할 수 있다.
사용자는 사용자 단말을 통해 서비스 서버(1180)에 특수 현미경 영상 제공을 요청할 수 있다. 사용자는 영상 DB(1150)로부터 투과 현미경 영상을 수신할 수 있다. 영상 DB(1150)는 실험과정에서 도출한 투과 현미경 영상을 저장한다. 영상 DB(1150)는 네트워크에 위치하는 객체일 수 있다. 또는 영상 DB(1150)는 단순한 저장 매체일 수도 있다. 사용자는 사용자 단말(1110)을 통해 투과 현미경 영상을 서비스 서버(1180)에 전달한다. 투과 현미경 영상을 포함한 요청을 수신한 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포에 대한 분석을 수행한다. 나아가 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포의 상태를 나타내는 특징 영상을 생성할 수도 있다. 서비스 서버(1180)는 세포 분석 내지 특징 영상 생성을 위한 각종 신경망 모델을 사전에 구축하여야 한다. 서비스 서버(1180)는 세포를 분석한 결과 또는 특징 영상을 사용자 단말(1110)에 전송할 수 있다. 또는 도면에 도시하지 않았지만, 서비스 서버(1180)는 분석한 결과 또는 특징 영상을 별도의 저장 매체에 저장하거나, 별도의 객체에 전달할 수도 있다.
사용자는 실험 과정에서 획득한 투과 현미경 영상을 사용자 단말(1120)을 통해 서비스 서버(1180)에 전달할 수도 있다. 투과 현미경 영상을 포함한 요청을 수신한 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포에 대한 분석을 수행한다. 나아가 서비스 서버(1180)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 포함된 세포의 상태를 나타내는 특징 영상을 생성할 수도 있다. 서비스 서버(1180)는 세포 분석 내지 특징 영상 생성을 위한 각종 신경망 모델을 사전에 구축하여야 한다. 서비스 서버(1180)는 세포를 분석한 결과 또는 특징 영상을 사용자 단말(1110)에 전송할 수 있다. 또는 도면에 도시하지 않았지만, 서비스 서버(1180)는 분석한 결과 또는 특징 영상을 별도의 저장 매체에 저장하거나, 별도의 객체에 전달할 수도 있다.
또한, 상술한 바와 같은 인식 네트워크(N1)를 학습하는 방법, 인식 네트워크(N1)를 구축하기 위한 학습 영상 생성 방법, 학습용 영상을 생성하는 라벨링 네트워크(N3) 생성 방법, 분석 네트워크(N2)를 학습하는 방법, 투과 현미경 영상 내의 세포를 분석하는 방법, 추적 네트워크(N4) 생성 방법, 세포를 추적하여 투과 현미경 영상 내의 세포를 분석하는 방법, 특징 영상 생성 방법, 세포를 추적하여 특징 영상을 생성하는 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명은 별도의 실험이나 추가 장비 없이 세포의 상세한 상태를 확인하게 한다. 나아가 이하 설명하는 기술은 형광 염색 등으로도 파악이 어려운 세포 상태에 대한 분석도 정확하게 수행한다.
부호의 설명
1000 : 영상 처리 장치
1010 : 저장장치
1020 : 메모리
1030 : 연산장치
1040 : 인터페이스 장치
1050 : 통신장치
1100 : 특수 현미경 영상을 제공하는 시스템
1110, 1120 : 사용자 단말
1150 : 영상 DB
1180 : 서비스 서버
N1: 인식 네트워크
N2: 분석 네트워크
N3: 라벨링 네트워크
N4: 추적 네트워크
N5: 생성 네트워크
100: 인공신경망을 이용한 세포 분석 과정
200: 인식 네트워크(N1)의 학습 과정
300: 인식 네트워크를 이용하여 세포를 판별하는 과정
400: 라벨링 네트워크(N3)의 동작 내지 구조
500: 분석 네트워크를 학습하는 과정
600: 투과 현미경 영상 내의 세포를 추적하는 과정
700: 세포를 추적하여 세포를 분석하는 과정
800: 세포에 대한 특징 영상을 생성하는 과정
900: 세포를 추적하여 세포에 대한 특징 영상을 생성하는 과정

Claims (17)

  1. 영상 처리 장치가 투과 현미경 영상을 입력받는 단계;
    상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 투과 현미경에서 세포 영역을 구분하는 단계; 및
    상기 영상 처리 장치가 제2 학습 네트워크를 이용하여 상기 세포 영역에 위치한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법.
  2. 제1항에 있어서,
    상기 제2 학습 네트워크는 복수의 상기 세포 영역에 대하여 각각 세포에 대한 상태를 판단하는 인공신경망을 이용한 세포 영상 분석 방법.
  3. 제1항에 있어서,
    상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 인공신경망을 이용한 세포 영상 분석 방법.
  4. 제1항에 있어서,
    상기 제2 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 인공신경망을 이용한 세포 영상 분석 방법.
  5. 제4항에 있어서,
    상기 제2 학습 네트워크는 상기 적어도 하나의 항목 각각에 대하여 개별적으로 사전에 학습된 적어도 하나의 신경망 모델을 포함하는 인공신경망을 이용한 세포 영상 분석 방법.
  6. 제1항에 있어서,
    상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 더 포함하는 인공신경망을 이용한 세포 영상 분석 방법.
  7. 제6항에 있어서,
    상기 제2 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 거울상 구조로서,
    상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 기준으로 상기 특징 영상을 생성하는 인공신경망을 이용한 세포 영상 분석 방법.
  8. 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계;
    상기 영상 처리 장치가 객체를 인식하는 상기 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계;
    상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계;
    상기 영상 처리 장치가 제3 학습 네트워크를 이용하여 상기 제2 투과 현미경 영상에서 식별한 세포의 상태에 대한 판단 정보를 생성하는 단계를 포함하되, 상기 제3 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용한 세포 영상 분석 방법.
  9. 제8항에 있어서,
    상기 제3 학습 네트워크는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 CNN(convolutional neural network) 모델인 인공신경망을 이용한 세포 영상 분석 방법.
  10. 제9항에 있어서,
    상기 영상 처리 장치가 제4 학습 네트워크를 이용하여 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 단계를 더 포함하는 인공신경망을 이용한 세포 영상 분석 방법.
  11. 제10항에 있어서,
    상기 제3 학습 네트워크는 CNN(convolutional neural network)이고, 상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 거울상 구조로서,
    상기 제4 학습 네트워크는 상기 제3 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 반영하여 상기 특징 영상을 생성하는 인공신경망을 이용한 세포 영상 분석 방법.
  12. 제8항에 있어서,
    상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 인공신경망을 이용한 세포 영상 분석 방법.
  13. 제8항에 있어서,
    상기 제2 학습 네트워크는 시간 간격을 갖는 두 개의 투과 현미경 영상에서 동일 세포를 식별하는 인공신경망을 이용한 세포 영상 분석 방법.
  14. 제1 투과 현미경 영상을 입력받는 입력장치:
    투과 현미경 영상에서 세포 영역을 구분하는 제1 학습 네트워크 및 상기 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 제2 학습 네트워크를 저장하는 저장 장치: 및
    상기 제1 학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에서 세포가 위치하는 세포 영역을 식별하고, 상기 식별한 세포 영역을 상기 제2 학습 네트워크에 입력하여 상기 식별한 세포 영역에 위치한 세포에 대한 판단 정보를 생성하는 연산 장치를 포함하되, 상기 제2 학습 네트워크는 투과 현미경 영상 내의 세포 객체와 상기 세포 객체의 상태에 대하여 사전에 학습된 모델인 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 연산 장치는 세포의 생존 여부, 세포의 성숙도, 세포의 종류 및 암세포 진행 여부 중 적어도 하나의 항목을 기준으로 상기 세포의 상태를 판단하는 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
  16. 제15항에 있어서,
    상기 저장 장치는 상기 판단 정보의 도출에 사용된 특징 정보를 기준으로 상기 투과 현미경 영상에 대한 특징 영상을 생성하는 제3 학습 네트워크를 더 저장하고,
    상기 연산 장치는 상기 판단 정보를 상기 제3 학습 네트워크에 입력하여 상기 특징 영상을 생성하되,
    상기 제2 학습 네트워크는 상기 판단 정보라는 잠재 변수를 산출하는 인코더이고, 상기 제3 학습 네트워크는 상기 잠재 변수를 입력으로 영상을 생성하는 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 제3 학습 네트워크는 상기 제2 학습 네트워크의 상기 판단 정보 생성 과정을 역으로 추적하여 상기 특징 정보의 중요도를 반영하여 상기 특징 영상을 생성하는 인공신경망을 이용하여 세포 영상을 처리하는 영상 처리 장치.
PCT/KR2020/000226 2019-01-07 2020-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치 WO2020145606A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0001741 2019-01-07
KR1020190001741A KR102084683B1 (ko) 2019-01-07 2019-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Publications (1)

Publication Number Publication Date
WO2020145606A1 true WO2020145606A1 (ko) 2020-07-16

Family

ID=69783217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000226 WO2020145606A1 (ko) 2019-01-07 2020-01-07 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Country Status (2)

Country Link
KR (1) KR102084683B1 (ko)
WO (1) WO2020145606A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533080B1 (ko) 2020-09-25 2023-05-15 고려대학교 산학협력단 선 레이블을 이용한 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20230059734A (ko) 2021-10-25 2023-05-03 고려대학교 산학협력단 인공지능을 이용한 세포 판별 방법 및 장치
KR102557748B1 (ko) 2022-12-14 2023-07-20 고려대학교 산학협력단 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101704690B1 (ko) 2015-09-02 2017-02-09 선문대학교 산학협력단 세포 분석 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MESBAH, RASSOUI ET AL.: "Deep convolutional encoder-decoder for myelin and axon segmentation", 2016 INTERNATIONAL CONFERENCE ON IMAGE AND VISION COMPUTING NEW ZEALAND (IVCNZ), 5 January 2017 (2017-01-05), XP055725543 *
VELUCHAMY, MAGUDEESWARAN ET AL.: "Feature extraction and classification of blood cells using artificial neural network", AMERICAN JOURNAL OF APPLIED SCIENCES, vol. 9, no. 5, February 2012 (2012-02-01), pages 615 - 619, XP055725530, Retrieved from the Internet <URL:https://www.researchgate.net/publication/265729320> [retrieved on 20200409] *
ZHANG, JUNKANG ET AL.: "Cancer Cells Detection in Phase-Contrast Microscopy Images Based on Faster R-CNN", 2016 9TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN (ISCID, 26 January 2017 (2017-01-26), XP033049877 *

Also Published As

Publication number Publication date
KR102084683B1 (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
WO2020145606A1 (ko) 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
WO2020045848A1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
EP2889367B1 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2023008884A1 (ko) 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
WO2019132587A1 (ko) 영상 분석 장치 및 방법
WO2006080355A1 (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
WO2021225279A1 (en) Method for explainable active learning, to be used for object detector, by using bayesian dual autoencoder and active learning device using the same
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021006482A1 (en) Apparatus and method for generating image
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2017135496A1 (ko) 약물과 단백질 간 관계 분석 방법 및 장치
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2019054792A1 (ko) 컨텐트를 제공하는 방법 및 단말기
WO2021010671A9 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2020233055A1 (zh) 基于活体检测的产品推广方法、装置、设备及存储介质
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2020145605A1 (ko) 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
Sharma et al. Image-based automatic segmentation of leaf using clustering algorithm
WO2023132657A1 (ko) 상품 트렌드 예측 서비스 제공 장치, 방법 및 프로그램
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20738485

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20738485

Country of ref document: EP

Kind code of ref document: A1