WO2020145605A1 - 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치 - Google Patents

인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치 Download PDF

Info

Publication number
WO2020145605A1
WO2020145605A1 PCT/KR2020/000225 KR2020000225W WO2020145605A1 WO 2020145605 A1 WO2020145605 A1 WO 2020145605A1 KR 2020000225 W KR2020000225 W KR 2020000225W WO 2020145605 A1 WO2020145605 A1 WO 2020145605A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
microscope image
network
special
learning
Prior art date
Application number
PCT/KR2020/000225
Other languages
English (en)
French (fr)
Inventor
조윤경
김동영
민유홍
Original Assignee
기초과학연구원
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기초과학연구원, 울산과학기술원 filed Critical 기초과학연구원
Publication of WO2020145605A1 publication Critical patent/WO2020145605A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method for generating a special microscope image by analyzing a transmission microscope image using an artificial neural network, and a special microscope image generating apparatus.
  • Optical microscopy is an essential tool for natural science and engineering research.
  • Transmission microscopy shows the overall shape of the sample using the light transmission of the sample.
  • Fluorescence microscopy or color staining microscopy shows the specific structure and function of the specimen in fluorescence or color.
  • the characteristics of the sample can be studied through special microscope equipment such as a Raman spectroscopy microscope or an atomic force microscope. Transmission microscopy is the most popular and simplest instrument.
  • Special microscopes, such as fluorescence microscopy generally require a sample preparation process, which takes longer to observe.
  • Korean Patent No. 10-2016-0078955 discloses the identification of cells in a microscope image using machine learning, and discloses the identification of cells through an image of a cell that is not labeled with a marker. There is a problem in that it is not possible to generate a cell image such as a photograph taken with a special/fluorescence microscope.
  • the present inventors tried to generate a special microscope image from a transmission microscope image.
  • a transmission microscope image is input and analyzed in a pre-trained supervised learning network, a special microscope image can be generated without additional equipment or experiment. It confirmed, and completed this invention.
  • Patent Document 1 Korean Patent Publication No. 10-2016-0078955
  • An object of the present invention is to provide a method for generating a special microscope image based on a transmission microscope image.
  • Another object of the present invention is to provide a method of tracking live cells in a transmission microscope image and fishing a special microscope image of the tracked cells.
  • Another object of the present invention is to provide an image processing apparatus and system including a computing device that receives a transmission microscope image and generates a special microscope image.
  • the present invention is an image processing apparatus receiving a transmission microscope image; And generating, by the image processing apparatus, a special microscope image for the transmission microscope image by inputting the transmission microscope image into a previously learned supervised learning network, wherein the supervised learning network is a separate transmission microscope image and learning. It is learned using an image, and the learning image provides a method for generating a special microscope image using an artificial neural network provided from a separate special microscope image through an unsupervised learning network.
  • the present invention also, the image processing apparatus receiving a first transmission microscope image at a first time point and a second transmission microscope image after the first time point; Recognizing cells in the first transmission microscope using a first learning network in which the image processing device recognizes an object; Identifying cells recognized in the first transmission microscope image from the second transmission microscope image using the second learning network through which the image processing device tracks the object; And generating, by the image processing apparatus, a special microscope image for the second transmission microscope image by inputting the second transmission microscope image to a third learning network.
  • the present invention also provides an input device that receives a first transmission microscope image: a storage device that stores a supervised learning network that generates a special microscope image based on the transmission microscope image: and the first transmission microscope image in the supervised learning network. And a computing device for inputting and generating a special microscope image for the first transmission microscope image, wherein the supervised learning network is trained using a second transmission microscope image and a learning image, and the learning image is an unsupervised learning network. It provides an image processing apparatus for generating a special microscope image provided from a separate special microscope image through.
  • the present invention also provides a communication device that receives a first transmission microscope image from a client device: a storage device that stores a supervised learning network that generates a special microscope image based on a transmission microscope image: and the first transmission to the supervised learning network And a processor for inputting a microscope image to generate a special microscope image for the first transmission microscope image, wherein the supervised learning network is trained using a second transmission microscope image and a learning image, and the learning image is unsupervised learning.
  • a communication device that receives a first transmission microscope image from a client device: a storage device that stores a supervised learning network that generates a special microscope image based on a transmission microscope image: and the first transmission to the supervised learning network
  • a processor for inputting a microscope image to generate a special microscope image for the first transmission microscope image, wherein the supervised learning network is trained using a second transmission microscope image and a learning image, and the learning image is unsupervised learning.
  • 1 is an example of a special microscope image generation process using an artificial neural network.
  • 3 is an example of an unsupervised learning network generating a learning image.
  • FIG. 6 is an example of a process for tracking cells in a transmission microscope image.
  • 9 is an example of a process of generating a special microscope image by tracking cells.
  • 10 is an example of the configuration of an image processing apparatus for generating a special microscope image.
  • 11 is an example of a system for providing a special microscope image.
  • the technique described below relates to a technique for converting an input image into a special microscope image. Terms or devices used in the following description are defined or described.
  • Microscopes are used for the analysis of various samples or samples.
  • Transmission microscope refers to an optical microscope that uses light such as visible light or ultraviolet light as a light source.
  • a transmission microscope means a bright-field microscopy, a phase contrast microscopy, a differential interference contrast microscopy, or the like. Transmission microscopy shows the overall shape of the sample using the light transmission of the sample.
  • a transmission microscope image means an image calculated using a transmission microscope.
  • the sample may vary depending on the object to be observed.
  • the specimen may be tissue, cells, or the like.
  • a fluorescence microscope is a microscope that observes a microstructure with fluorescence emitted by a fluorescence- or fluorescent substance-labeled sample.
  • a fluorescent microscope irradiates ultraviolet rays to a sample, but harvests only light emitted by fluorescent molecules to make an image. Histological microscopy shows the specimen in a specific color. Fluorescence microscopy or color staining microscopy show the specific structure and function of the specimen in fluorescence or color. Furthermore, Raman spectromicroscopy or atomic force microscopy is also used for characterization of specimens. Various other special microscopes are also used in research.
  • the transmission microscope image is an image generated or displayed by a special microscope.
  • a special microscope refers to various types of microscopes other than a normal transmission microscope.
  • the special microscope may include a fluorescence microscope, a color dye microscope, a Raman spectroscopy microscope, an electron microscope, an atomic force microscope, and the like.
  • Special microscopes show the fluorescence emitted by the sample, or display the sample in a specific color, or accurately show the external or three-dimensional structure of the sample.
  • the transmission microscope image acquires the image appearing in the microscope with an image sensor such as CCD or CMOS.
  • Microscopes are used in a variety of fields. Therefore, objects to be observed under a microscope may be various, such as cells, tissues, materials, and electronic components. However, for convenience of explanation below, it is assumed that the specimen observed under a microscope is an object such as a cell.
  • the drawings or description will be described based on the cells.
  • the technique described below converts a transmission microscope image into a special microscope image.
  • the technique described below generates a special microscope image by inputting a transmission microscope image into a learning network.
  • the technique described below generates a special microscope image using a machine learning model.
  • machine learning model There are various models of machine learning models as is well known.
  • representative artificial neural networks include a convolutional neural network (CNN) and a model of an improved CNN.
  • CNN convolutional neural network
  • a model usable in a related description will be described.
  • the technique described below is not implemented only with a specific neural network model.
  • the image processing is performed in an image processing apparatus that constantly processes image data.
  • the image processing device may be a hardware device such as a computer device, a server, a dedicated chipset, etc., which processes an image by driving a certain image processing program.
  • the image processing device generates a special microscope image using an artificial neural network.
  • the artificial neural network may be prepared in advance by the image processing apparatus using constant learning data. Alternatively, the artificial neural network may be prepared in advance using a separate computer device using constant learning data.
  • a special microscope image can be generated by analyzing a transmission microscope image with a pre-trained supervised learning network (FIGS. 1 to 5 ).
  • the image processing apparatus receiving a transmission microscope image; And generating, by the image processing apparatus, a special microscope image for the transmission microscope image by inputting the transmission microscope image into a previously learned supervised learning network, wherein the supervised learning network is a separate transmission microscope image and learning. It is learned using an image, and the learning image relates to a method for generating a special microscope image using an artificial neural network provided from a separate special microscope image through an unsupervised learning network.
  • the learning image may be characterized in that it is generated from the object signal of the separate special microscope image using the unsupervised learning network.
  • the learning image removes noise generated in the process of acquiring the separate special microscope image using a probability model, and inputs a separate special microscope image from which the noise has been removed into the unsupervised learning network. It can be characterized by being generated.
  • the learning image is by fitting a probability model (fitting) to remove the noise signal generated during the capture process of the separate special microscope image, and the image from which the noise signal is removed using the unsupervised learning network It may be characterized in that it is generated by displaying a signal generated in the object region in color.
  • the unsupervised learning network uses a plurality of unsupervised learning models to generate a plurality of candidate images displaying object regions in the special microscope image, and maximize cross-correlation of the candidate images (cross) It may be characterized by generating the learning image through -correlation maximization).
  • the plurality of unsupervised learning models include hierarchical clustering, K-Means clustering, Gaussian mixture models, and self-organizing maps. It may be characterized by at least two of the hidden Markov model (Hidden Markov model), but is not limited thereto.
  • the supervised learning network may be characterized by a semantic segmentation model, but is not limited thereto.
  • the supervised learning network may be characterized in that it is a neural network model that classifies objects while processing the transmission microscope image in units of pixels.
  • a transmission microscope image is input (110).
  • the transmission microscope image acquires the image appearing in the microscope with an image sensor such as CCD or CMOS.
  • the detailed description of the process of acquiring the transmission microscope image is omitted.
  • the artificial neural network N1 processes the input transmission microscope image (120).
  • the artificial neural network N1 outputs a special microscope image for the transmission microscope image (130).
  • the artificial neural network N1 is referred to as an image transform neural network to image transform network.
  • the image conversion network N1 generally corresponds to a supervised learning network.
  • the image conversion network N1 may be implemented with various neural network models. There are various models that can recognize and classify objects in images. (1) Representative examples include AlexNet, GoogLeNet, and VGGNet. All correspond to the Convolutional Neural Network (CNN). The CNN family model loses information about its location or space as it passes through the fully connected layer. (2) Models for identifying specific objects in an image and including location information have also been studied. There are models that analyze an image based on a certain rectangular area in the image to grasp a certain location information. For example, R-CNN, SPPNet, Fast R-CNN, and the like. (3) Furthermore, the image conversion network N1 may be a semantic segmentation model capable of classifying and classifying objects in an image. The semantic segmentation model performs prediction on a pixel-by-pixel basis to separate objects into meaningful units. Therefore, the semantic segmentation model can identify and classify objects in an image and accurately grasp the location. A typical semantic segmentation model is FCN (fully convolutional networks).
  • FCN structures can vary. In terms of the typical FCN structure, there are some characteristics different from the general CNN. FCN consists of 1 ⁇ 1 convolution of all connection layers at the back of CNN. Repeating convolution and pooling reduces the size of the feature map. FCN uses backward deconvolution to do some kind of upsampling. Alternatively, the FCN may use a method (skip layer) to reinforce the current prediction by utilizing results that are earlier than the current step.
  • the image conversion network N1 may be implemented with FCN to predict a transmission microscope image in units of pixels, and identify objects located in the predicted region. Object identification may be represented visually.
  • the image conversion network may convert a transmission microscope image into a special microscope image (eg, a fluorescence microscope image) having a certain color characteristic.
  • the image conversion network N1 identifies an object cell in a transmission microscope image and processes the region where the cell is located in accordance with the type of image.
  • the image conversion network N1 performs processing to give a certain meaning to the area of the cell. For example, the image conversion network N1 changes a color of a cell (cell region) or displays a certain texture.
  • the image conversion network N1 constantly expresses the color or texture of the cell region according to the type of the special microscope image to be generated (converted). To this end, the image conversion network N1 must be learned in advance.
  • the image conversion network N1 identifies a cell as an object in a given transmission microscope image, and learns which cells or regions should express a certain color/texture based on a special microscope image for the transmission microscope image.
  • the image conversion network N1 needs a transmission microscope image and a special microscope image corresponding to the transmission microscope image for learning. Basically, the video for learning should be labeled. That is, although it is necessary to indicate which object or region of the output image corresponds to a specific object or region of the output image, the image conversion network N1 can be learned. Labeling very large amounts of training data by hand is not only time consuming, but its accuracy is also limited to manual errors.
  • the image conversion network N1 uses a separate learning image for learning.
  • the learning image is generated through a separate learning network (N2). 2 is an example of a learning process 200 for the image conversion network N1.
  • the image conversion network N1 is trained by receiving the transmission microscope image 210 and the learning image 230.
  • the learning image is a newly generated image based on a special microscope image.
  • the learning image is generated through a separate neural network (N2).
  • a separate neural network (N2) receives a special microscope image (330) and generates a learning image (230).
  • the neural network N2 is referred to as a labeling network.
  • the labeling network N2 is an unsupervised learning network.
  • the labeling network N2 receives a special microscope image (220), and identifies a specific object emitted from the input special microscope image (in the case of a fluorescent microscope).
  • the labeling network N2 generates 230 a learning image in which a specific object (cell) is defined as a cluster of constant illuminance.
  • the image conversion network N1 uses the transmission microscope image and the learning image to identify cells present in the transmission microscope image, and learns cells to be expressed with a certain color or texture.
  • the labeling network N2 includes a background removal model 310, a hypothesis verification model 320, and an unsupervised learning model 330.
  • the background removal model 310 removes noise corresponding to the background in order to clearly identify only cells corresponding to the object emitting light from the input special microscope image.
  • Special microscope images are generally acquired through an image detector such as a CCD or CMOS.
  • the noise in the image follows a Gaussian random or Poisson random distribution.
  • the background removal model 410 may be removed by constantly fitting a probability distribution model corresponding to noise.
  • the hypothesis test model defines a class for the composition to be learned in an unsupervised learning model.
  • a typical unsupervised learning model learns itself on the data, but requires minimal guidance for learning. This part can be set by the user, but provides criteria necessary for unsupervised learning through hypothesis verification in order to remove bias in the results.
  • the hypothesis verification model 320 finds unimodality through the Hartigan DIP test and, if not unimodal, evaluates the statistical distribution through gap statistic. Through this process, a statistical population is determined. That is, it defines the classification to be learned in unsupervised learning.
  • the unsupervised learning model 330 may use any one of various unsupervised learning methodologies.
  • unsupervised learning includes hierarchical clustering, K-means clustering, Gaussian mixture models, self-organizing maps, and Hidden Markov model. ) Etc.
  • the unsupervised learning model 330 may use a plurality of unsupervised learning methodologies and select the best result.
  • the unsupervised learning model 330 may generate a constant result using at least two or more of hierarchical clustering, K-average clustering, Gaussian mixture model, self-organizing map, and hidden markov model. Each model can produce different results (candidate images) depending on the quality or type of special microscope images.
  • the unsupervised learning model 330 may select the best result through cross-correlation maximization of a plurality of candidate images.
  • the labeling network N2 may generate a training image for learning the image conversion network N1 through such an operation.
  • 4 is an example of generating a special microscope image using an image conversion network.
  • 4 is an example of generating different results using a plurality of image conversion networks.
  • 4 shows a plurality of image conversion networks N1-A, N1-B and N-1C.
  • the plurality of image conversion networks N1-A, N1-B and N-1C are trained using different learning images.
  • the plurality of image conversion networks (N1-A, N1-B, and N-1C) may have different types of special microscopes to be generated.
  • the image conversion networks N1-A, N1-B, and N-1C may be models trained to have different shapes or colors for special microscope images of the same type.
  • Each of the plurality of image conversion networks N1-A, N1-B and N-1C may receive the same transmission microscope image (Input 1) and generate different result values (Output 1, Output 2 and Output 3).
  • the image conversion network for generating a special microscope image includes a plurality of models, and may generate a special microscope image using any one or a plurality of models specific according to a user's selection.
  • 5 is an example of generating an actual special microscope image using an image conversion network.
  • 5(A) is an example of making a cell nucleus photograph from a transmission micrograph (DIC) of a cell using an image conversion network.
  • DAPI is a fluorescent microscopic image of an experimentally generated cell nucleus.
  • AI is an image created using an image conversion network. If you compare AI (blue) and DAPI (red), you can see the same thing. Overlay is a superimposed image of AI and DAPI. As a result of analyzing the accuracy, the accuracy of the progress was found to be close to 99%.
  • 5(B) is an example of making a mitochondrial picture from a transmission micrograph (DIC) of cells using an image conversion network.
  • Mitotracker is a mitochondrial fluorescence microscope image experimentally generated using a commercial tool.
  • AI is an image created using an image conversion network.
  • AI and Mitotracker match with an accuracy of 96.88%.
  • 5(C) is an example of making a cytoskeleton picture from a transmission micrograph (DIC) of a cell using an image conversion network.
  • Phalloidin is an actual cytoskeleton fluorescence microscopic image generated experimentally using a commercial tool.
  • AI is an image created using an image conversion network. AI and Phalloidin match with an accuracy of 90.12%.
  • a cell is recognized by processing an image with a first learning network that recognizes an object by inputting a first transmission microscope image at a first time point and a second transmission microscope image after the first time point. Then, cells identified in the first transmission microscope image are identified in the second transmission microscope image using the second learning network that tracks the cells, and a special microscope image for the second transmission microscope image is used using the third learning network. It was confirmed that can be produced (Fig. 6 to Fig. 9).
  • the present invention includes an image processing apparatus receiving a first transmission microscope image at a first viewpoint and a second transmission microscope image after the first viewpoint; Recognizing cells in the first transmission microscope using a first learning network in which the image processing device recognizes an object; Identifying cells recognized in the first transmission microscope image from the second transmission microscope image using the second learning network through which the image processing device tracks the object; And generating, by the image processing apparatus, a special microscope image for the second transmission microscope image by inputting the second transmission microscope image to a third learning network.
  • the third learning network is learned using separate transmission microscope images and learning images, and the learning images may be provided from separate special microscope images through an unsupervised learning network.
  • the unsupervised learning network may be characterized by generating the learning image by using a signal generated in an object region of the image.
  • using the probability model further comprises the step of removing the noise generated in the process of obtaining the separate special microscope image
  • the non-supervised learning network is a separate special microscope image from which the noise is removed It may be characterized by generating the learning image.
  • the first learning network may be characterized by learning in advance using a separate transmission microscope image and an image in which cells are identified in the separate transmission microscope image.
  • the first learning network may be characterized by being a regional proposal convolutional neural network (R-CNN), but is not limited thereto.
  • R-CNN regional proposal convolutional neural network
  • the second learning network may be characterized in that it is an unsupervised learning network that identifies the same cells in two transmission microscope images having time intervals.
  • the 6 is an example of a process 400 for tracking cells in a transmission microscope image.
  • Two neural networks (N3 and N4) are used in the cell tracking process.
  • the neural network (N3) recognizes cells in transmission microscopy images.
  • the neural network N3 is referred to as a recognition network.
  • the neural network (N4) tracks cells over time, starting with the recognized cells.
  • the neural network N4 is referred to as a tracking network.
  • the recognition network N3 receives the transmission microscope image (410), and identifies an object (cell) existing in the image (420).
  • the recognition network N3 can identify the area of the identified cell. Therefore, the recognition network N3 is a model that can grasp a specific object and a location of the object in the image.
  • the recognition network N3 generates image information including the location of the identified cell.
  • the tracking network N4 tracks the cells based on the cell and the cell location initially identified by the recognition network N3 (430).
  • the tracking network N4 generates an image showing the result of tracking the location of the identified cell.
  • the tracking network N4 tracks cells in multiple transmission microscopic images over time. For example, the tracking network N4 may receive a transmission microscope image at a first time point and a transmission microscope image at a second time point after the first time point.
  • the transmission microscope image of the first viewpoint is an image in which the recognition network N3 identifies cells and cell regions.
  • the tracking network N4 tracks the position of the cell identified in the transmission microscope image at the second time point, starting with the cell position identified in the transmission time point image at the first time point.
  • the tracking network N4 can continue to track cells initially identified in a continuous transmission microscope image over time.
  • the tracking network N4 may perform tracking of a plurality of cells identified in the transmission microscope image.
  • Figure 6 shows the results of tracking the cells identified in the image using the tracking network (N4). Looking at the image generated by the tracking network (N4) in FIG. 6, it can be seen that the image moves to C2 after a specific time has elapsed from the first C1 after the location-identified cells (square box display).
  • the solid line connecting C1 and C2 refers to the cell migration path over time.
  • the tracking network N4 may be a supervised learning network or an unsupervised learning network that tracks objects.
  • the learning process for the recognition network N3 will be described.
  • 7 is an example of a learning process 500 of the recognition network.
  • 7 is an example of a learning process for the recognition network N3.
  • the recognition network N3 is a model capable of identifying an object from an input image and extracting location (area) information of the object.
  • the recognition network N3 may be a regional proposal convolutional neural network (R-CNN).
  • R-CNN has various models such as R-CNN, Fast R-CNN, SPPNet, and Faster R-CNN.
  • R-CNN is a model that connects a CNN that performs object analysis and a region proposal algorithm that proposes an area where an object will exist in the image.
  • the R-CNN determines a rectangular candidate region using an algorithm such as selective search on the input image.
  • the R-CNN cuts candidate regions to the same size, extracts features for each region, and classifies objects.
  • Fast R-CNN does not cut the image itself, but uses a method to cut the feature map, which is fast.
  • Faster R-CNN uses a regional proposal network (RPN) to determine candidate areas. R-CNN obtains information about the area where the object is located through the process of determining the constant area where the object is located.
  • RPN regional proposal network
  • 7 shows two learning methods for the recognition network N3.
  • 7(A) is an example of learning by using a transmission microscope image and a cell image manually identified in the transmission microscope image.
  • a transmission microscope image is input (510).
  • the cell region which is an object, is identified in the transmission microscope image using manual or separate algorithm (530).
  • the recognition network N3 receives and learns the image in which the cell region has been identified. Through this, the recognition network N3 is trained to identify the cell region in the input image.
  • the transmission microscope image 510 and the special microscope image 520 are input.
  • the special microscope image may be a special microscope image of cells located in the input transmission microscope image.
  • the label network N2 generates a learning image based on the special microscope image input according to the method described above (525).
  • the learning image represents a region of a specific object (eg, luminescent cells) in the transmission microscope image.
  • the learning image transmits location information about the cell region of interest.
  • the recognition network N3 is trained to identify cells of interest in the transmission microscope image using the input transmission microscope image and the learning image.
  • 8 is an example of a process 600 for determining cells using a recognition network. 8 is an example of identifying a cell in a transmission microscope image using the learned recognition network N3 and extracting a region where the cell is located.
  • the recognition network N3 receives a transmission microscope image (610).
  • the recognition network N3 identifies a region in which the cell or the cell of interest is located in the input transmission microscope image (620).
  • the recognition network N3 may classify and extract the identified cell region (630).
  • the recognition network N3 receives a transmission microscope image (710).
  • the recognition network N3 identifies cells in the transmission microscope image and generates location (region) information for the identified cells.
  • the recognition network N3 may generate an image indicating a cell region in a transmission microscope image.
  • the tracking network N4 receives a transmission microscope image (referred to as a first transmission microscope image) at a first time point when the cell region is identified.
  • the tracking network N4 determines (tracks) the location of cells in the transmission microscope image at the second time point after the first time point, starting with the cells identified in the first transmission microscope image (720).
  • the tracking network N4 can continue tracking cells in a continuous transmission microscope image over time (730).
  • Figure 9 shows the results of tracking the same cells in K transmission microscopy images. That is, the tracking network N4 may generate a cell image over time and a plurality of images indicating the cell position at the time.
  • the image conversion network N1 receives an image generated by the tracking network N4.
  • the image conversion network N1 converts the input image into a special microscope image (740). Referring to FIG. 9, it can be seen that the fluorescently labeled portion gradually disappears with time.
  • an input device that receives a first transmission microscope image: a storage device that stores a supervised learning network that generates a special microscope image based on a transmission microscope image: and the first transmission to the supervised learning network And a computing device for inputting a microscope image to generate a special microscope image for the first transmission microscope image, wherein the supervised learning network is trained using a second transmission microscope image and a learning image, and the learning image is unsupervised. It relates to an image processing apparatus for generating a special microscope image provided from a separate special microscope image through the learning network.
  • the image processing apparatus 800 is a device that converts a transmission microscope image into a special microscope image. As described above, the process of generating the special microscope image has been explained that the image processing apparatus performs.
  • the image processing apparatus 800 may be physically implemented in various forms. An example of the implementation of the image processing apparatus is shown at the bottom of FIG. 10.
  • the image processing device 800 may take the form of a computer device (A) such as a PC, a server (B) of a network, or a chipps (C) dedicated to image processing.
  • the computer device may include a mobile device such as a smart device. Recently, dedicated AI chipsets have been actively developed. Therefore, the image processing apparatus can be implemented as a chipset type product including a neural network model that generates a special microscope image.
  • the image processing device 800 includes a storage device 810, a memory 820, a computing device 830, an interface device 840, and a communication device 850.
  • the storage device 810 stores a neural network model involved in generating a special microscope image.
  • the storage device 810 may store an image conversion network N1, a labeling network N2, a recognition network N3, and a tracking network N4. If there is no cell tracking function, the storage device 810 may store only the image conversion network N1 and the labeling network N2.
  • the storage device 810 may store programs or source codes required for image processing.
  • the storage device 810 may store transmission microscope images, images generated by each neural network model, and special microscope images.
  • the memory 820 may store transmission microscope images received by the image processing apparatus 800, images temporarily generated in a special microscope image generation process, data and information generated in an image processing process using a neural network, and the like.
  • the interface device 840 is a device that receives certain commands and data from the outside.
  • the interface device 840 may receive a transmission microscope image from a physically connected input device or an external storage device.
  • the interface device 840 may receive various neural network models for generating special microscope images.
  • the interface device 840 may also receive learning data, information, and parameter values for generating a neural network model.
  • the communication device 850 means a configuration for receiving and transmitting certain information through a wired or wireless network.
  • the communication device 850 may receive a transmission microscope image from an external object.
  • the communication device 850 may also receive various neural network models and data for model training.
  • the communication device 850 may transmit the generated special microscope image to an external object.
  • the communication device 850 to the interface device 840 are devices that receive certain data or commands from the outside.
  • the communication device 850 to the interface device 840 may be referred to as an input device.
  • the computing device 830 processes a process of generating a special microscope image using a neural network model or program stored in the storage device 810.
  • the computing device 830 may learn a neural network model used in a special microscope image generation process using learning data given through the above-described process.
  • the computing device 830 may construct at least one of the image conversion network N1, the labeling network N2, the recognition network N3, and the tracking network N4 in a learned form.
  • the computing device 830 may generate a special microscope image for the transmission microscope image using the neural network constructed through the above-described process.
  • the computing device 830 may be a device such as a processor, a GPU, an AP, or a chip in which a program is embedded, which processes data and processes certain operations.
  • the present invention provides a communication device that receives a first transmission microscope image from a client device: a storage device that stores a supervised learning network that generates a special microscope image based on a transmission microscope image: and the agent in the supervised learning network. And a processor that generates a special microscope image for the first transmission microscope image by inputting one transmission microscope image, wherein the supervised learning network is trained using a second transmission microscope image and a learning image, and the learning image is It relates to a system for generating a special microscope image prepared from a separate special microscope image through a supervised learning network.
  • 11 is an example of a system 900 for providing special microscope images.
  • 11 is for an embodiment of providing a special microscope image using a network.
  • the system 900 includes user terminals 910 and 920 and a service server 980.
  • the user terminals 910 and 920 correspond to the client device.
  • the service server 980 corresponds to the image processing apparatus described above.
  • a detailed description of security or communication between objects is omitted. Each object may perform certain authentication before performing communication. For example, only a user who has successfully authenticated may request the service server 980 to provide a special microscope image.
  • the user may request to provide a special microscope image to the service server 980 through the user terminal.
  • the user may receive a transmission microscope image from the image DB 950.
  • the image DB 950 stores transmission microscope images derived in the course of the experiment.
  • the image DB 950 may be an object located in the network. Alternatively, the image DB 950 may be a simple storage medium.
  • the user transmits the transmission microscope image to the service server 980 through the user terminal 910.
  • the service server 980 Upon receiving the request including the transmission microscope image, the service server 980 generates a special microscope image corresponding to the transmission microscope image input through the above-described process.
  • the service server 980 must construct various neural network models in advance for generating special microscope images. Meanwhile, a transmission microscope image may be plural.
  • the service server 980 may transmit the generated special microscope image to the requested user terminal 910.
  • the service server 980 may store the generated special microscope image in a separate storage medium or deliver it to a separate object.
  • the user may transmit the transmission microscope image obtained in the experiment process to the service server 980 through the user terminal 920.
  • the service server 980 Upon receiving the request including the transmission microscope image, the service server 980 generates a special microscope image corresponding to the transmission microscope image input through the above-described process. Meanwhile, a transmission microscope image may be plural.
  • the service server 980 may transmit the generated special microscope image to the requested user terminal 920.
  • the service server 980 may store the generated special microscope image in a separate storage medium or deliver it to a separate object.
  • the learning image generation method for learning the image conversion network N1 as described above, the image conversion network N1 generation method, the labeling network N2 generation method, the special microscope image generation method, and the recognition network N3 generation method may be implemented as a program (or application) including executable algorithms that can be executed on a computer.
  • the program may be stored and provided in a non-transitory computer readable medium.
  • the non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory.
  • a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • the present invention converts a special microscope image into a special microscope image very simply using an artificial neural network.
  • the technique described below provides a special microscope image in a short time without using expensive equipment.
  • the present invention provides a special microscope image for the cell by tracking the cell in the transmission microscope image using an artificial neural network, without the researcher having to observe the living cell.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

인공신경망을 이용한 특수 현미경 영상 생성 방법은 영상 처리 장치가 투과 현미경 영상을 입력받는 단계 및 상기 영상 처리 장치가 사전에 학습된 지도학습 네트워크에 상기 투과 현미경 영상을 입력하여 상기 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함한다. 상기 지도학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련된다.

Description

인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치
본 발명은 인공신경망을 이용하여 투과 현미경 영상을 분석하여 특수 현미경 영상을 생성하는 방법 및 특수 현미경 영상 생성 장치에 관한 것이다.
광학 현미경은 자연과학 및 공학 연구에 있어 필수적인 도구이다. 광학 현미경은 다양한 종류가 있다. 투과 현미경은 표본의 광 투과성을 이용하여 표본의 전반적인 모양을 보여준다. 형광 현미경 또는 색상 염색 현미경은 표본의 특정 구조 및 기능을 형광 또는 색상으로 보여준다. 이 외에도 라만 분광현미경 또는 원자력 현미경 등의 특수 현미경 장비를 통해 표본의 특성연구를 할 수 있다. 투과 현미경이 가장 대중적이고 단순한 장비이다. 형광 현미경 등 특수 현미경은 일반적으로 표본 전처리 과정이 필요하여 표본 관찰이 시간이 보다 오래 소요된다.
한국특허 제10-2016-0078955호에는 기계 학습을 이용하여 현미경 이미지의 세포를 식별하는 내용을 개시하고, 마커로 라벨링 되지 않은 세포의 이미지를 통해 세포를 식별하는 내용을 개시하고 있으나, 투과 현미경 사진으로부터 특수/형광 현미경으로 촬영한 사진과 같은 세포 이미지를 생성할 수는 없는 문제점이 있다.
이에 본 발명자들은 투과 현미경 이미지로부터 특수 현미경 이미지를 생성하기 위해 예의 노력한 결과, 사전에 학습된 지도학습 네트워크에 투과 현미경 영상을 입력하여 분석할 경우, 추가 장비나 실험 없이 특수 현미경 이미지를 생성할 수 있다는 것을 확인하고, 본 발명을 완성하였다.
선행기술문헌
특허문헌
(특허문헌 1) 한국공개특허 제10-2016-0078955호
본 배경기술 부분에 기재된 상기 정보는 오직 본 발명의 배경에 대한 이해를 향상시키기 위한 것이며, 이에 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자에게 있어 이미 알려진 선행기술을 형성하는 정보를 포함하지 않을 수 있다.
발명의 요약
본 발명의 목적은 투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 투과 현미경 영상에서 살아있는 세포를 추적하고, 추적한 세포에 대한 특수 현미경 영상을 생선하는 방법을 제공하는 것이다.
본 발명의 또다른 목적은 투과 현미경 영상을 입력받아, 특수 현미경 영상을 생성하는 연산 장치를 포함하는 영상 처리 장치 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해서, 본 발명은 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 및 상기 영상 처리 장치가 사전에 학습된 지도학습 네트워크에 상기 투과 현미경 영상을 입력하여 상기 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함하되, 상기 지도학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 인공신경망을 이용한 특수 현미경 영상 생성 방법을 제공한다.
본 발명은 또한, 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계; 상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 및 상기 영상 처리 장치가 제3 학습 네트워크에 상기 제2 투과 현미경 영상을 입력하여 상기 제2 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함하는 인공신경망을 이용한 특수 현미경 영상 생성 방법을 제공한다.
본 발명은 또한, 제1 투과 현미경 영상을 입력받는 입력장치: 투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 지도학습 네트워크를 저장하는 저장 장치: 및 상기 지도학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 연산 장치를 포함하되, 상기 지도학습 네트워크는 제2 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 특수 현미경 영상을 생성하는 영상 처리 장치를 제공한다.
본 발명은 또한, 클라이언트 장치로부터 제1 투과 현미경 영상을 입력받는 통신 장치: 투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 지도학습 네트워크를 저장하는 저장 장치: 및 상기 지도학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 프로세서를 포함하되, 상기 지도학습 네트워크는 제2 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 특수 현미경 영상을 생성하는 시스템을 제공한다.
도 1은 인공신경망을 이용한 특수 현미경 영상 생성 과정의 예이다.
도 2는 영상 변환 네트워크에 대한 학습 과정의 예이다.
도 3은 학습용 영상을 생성하는 비지도학습 네트워크의 예이다.
도 4는 영상 변환 네트워크를 이용하여 특수 현미경 영상을 생성하는 예이다.
도 5는 영상 변환 네트워크를 이용하여 실제 특수 현미경 영상을 생성한 예이다.
도 6은 투과 현미경 영상 내의 세포를 추적하는 과정의 예이다.
도 7은 인식 네트워크의 학습 과정에 대한 예이다.
도 8은 인식 네트워크를 이용하여 세포를 판별하는 과정에 대한 예이다.
도 9는 세포를 추적하여 특수 현미경 영상을 생성하는 과정의 예이다.
도 10은 특수 현미경 영상을 생성하는 영상 처리 장치의 구성에 대한 예이다.
도 11은 특수 현미경 영상을 제공하는 시스템에 대한 예이다.
발명의 상세한 설명 및 바람직한 구현예
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하 설명하는 기술은 입력 영상을 특수한 현미경 영상으로 변환하는 기술에 관한 것이다. 이하 설명에서 사용하는 용어 내지 장치에 대하여 정의하거나 설명한다.
현미경은 다양한 표본 내지 시료 분석을 위해 사용된다.
투과 현미경은 가시광선 또는 자외선과 같은 광을 광원으로 사용하는 광학 현미경을 의미한다. 예컨대, 투과 현미경은 일반 광학 현미경(bright-field Microscopy), 위상차 현미경(phase contrast microscopy), 미분간섭 현미경(Differential interference contrast microscopy) 등을 의미한다. 투과 현미경은 표본의 광 투과성을 이용하여 표본의 전반적인 모양을 보여준다. 투과 현미경 영상은 투과 현미경을 이용하여 산출한 영상을 의미한다. 여기서 표본은 관찰 대상에 따라 다양할 수 있다. 예컨대, 생물학 내지 의학 분야인 경우 표본은 조직, 세포 등일 수 있다.
형광 현미경은 형광을 띄거나 형광물질로 표지한 표본이 발산하는 형광으로 미세구조를 관찰하는 현미경이다. 일반적으로 형광 현미경은 자외선을 표본에 조사하되 형광분자에 의해 발산되는 빛만을 수확하여 영상을 만든다. 색상 염색 현미경 (histological microscopy)은 표본을 특정 색상으로 보여준다. 형광 현미경 내지 색상 염색 현미경은 표본의 특정 구조 및 기능을 형광 또는 색상으로 보여준다. 나아가 라만 분광현미경 (Raman spectromicroscopy)또는 원자력 현미경 (atomic force microscopy)도 표본의 특성연구에 사용된다. 기타 다양한 특수 현미경들이 연구에 사용되기도 한다.
이하 설명에서 현미경 영상은 크게 두 가지 종류로 구분된다. 하나는 전술한 투과 현미경 영상이다. 다른 하나는 특수 현미경 영상이다. 특수 현미경 영상은 특수 현미경이 생성하거나 보여주는 영상이다. 특수 현미경은 일반적인 투과 현미경이 아닌 다른 다양한 종류의 현미경을 의미한다. 예컨대, 특수 현미경은 형광 현미경, 색상 염색 현미경, 라만 분광현미경, 전자현미경, 원자력 현미경 등을 포함할 수 있다. 특수 현미경은 표본이 방출하는 형광을 보여주거나, 표본을 특정 색상으로 표시하건, 표본의 외부 구조 또는 삼차원 구조를 정밀하게 보여준다. 투과 현미경 영상은 현미경에서 나타나는 영상을 CCD, CMOS 등과 같은 이미지 센서로 획득한다.
현미경은 다양한 분야에서 사용된다. 따라서 현미경으로 관찰하는 대상은 세포, 조직, 소재, 전자 부품 등 다양할 수 있다. 다만 이하 설명의 편의를 위하여 현미경으로 관찰하는 표본은 세포와 같은 객체라고 가정하고 설명한다. 이하 도면이나 설명은 세포를 기준으로 설명한다.
이하 설명하는 기술은 투과 현미경 영상을 특수 현미경 영상으로 변환한다. 이하 설명하는 기술은 투과 현미경 영상을 학습 네트워크에 입력하여 특수 현미경 영상을 생성한다. 이하 설명하는 기술은 기계학습(machine learning)모델을 사용하여 특수 현미경 영상을 생성한다. 기계학습모델은 널리 알려진 바와 같이 다양한 모델이 있다. 설명의 편의를 위하여 이하 설명하는 기술은 인공신경망(artificial neural network)을 사용하여 영상을 생성한다고 가정한다. 예컨대, 대표적인 인공신경망은 CNN(Convolutional Neural Network) 및 CNN을 개량한 모델 등이 있다. 이하 관련된 설명에서 사용가능한 모델에 대하여 설명한다. 물론 이하 설명하는 기술은 특정한 신경망 모델로만 구현되는 것은 아님을 전제한다.
영상 처리는 영상 데이터를 일정하게 처리하는 영상 처리 장치에서 수행된다. 영상 처리 장치는 일정한 영상 처리 프로그램을 구동하여 영상을 처리하는 컴퓨터 장치, 서버, 전용 칩셋 등과 같은 하드웨어 장치일 수 있다. 이하 특수 현미경 영상을 생성하는 과정은 영상 처리 장치가 수행한다고 가정한다. 영상 처리 장치가 인공신경망을 이용하여 특수 현미경 영상을 생성한다. 인공신경망은 영상 처리 장치가 일정한 학습 데이터를 이용하여 사전에 마련할 수 있다. 또는 인공신경망은 별도의 컴퓨터 장치가 일정한 학습 데이터를 이용하여 사전에 마련할 수 있다.
본 발명에서는 인공신경망을 이용한 학습 네트워크를 이용하여 투과 현미경 이미지를 분석할 경우, 추가 실험이나 장비 없이 특수/형광 현미경 이미지를 생성할 수 있음을 확인하고자 하였다.
즉 본 발명의 일실시예에서는 투과 현미경 영상을 사전 학습된 지도학습 네트워크로 분석하여 특수 현미경 영상을 생성할 수 있다는 것을 확인하였다(도 1 내지 도 5).
따라서, 본 발명은 일 관점에서, 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 및 상기 영상 처리 장치가 사전에 학습된 지도학습 네트워크에 상기 투과 현미경 영상을 입력하여 상기 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함하되, 상기 지도학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 인공신경망을 이용한 특수 현미경 영상 생성 방법에 관한 것이다.
본 발명에 있어서, 상기 학습용 영상은 상기 비지도학습 네트워크를 이용하여 상기 별도의 특수 현미경 영상의 객체 신호로부터 생성되는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 학습용 영상은 확률모델을 이용하여 상기 별도의 특수 현미경 영상의 획득 과정에서 발생하는 노이즈를 제거하고, 상기 노이즈가 제거된 별도의 특수 현미경 영상을 상기 비지도학습 네트워크에 입력하여 생성되는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 학습용 영상은 확률 모델을 피팅(fitting)하여 상기 별도의 특수 현미경 영상의 캡쳐 과정에서 발생하는 노이즈 신호를 제거하고, 상기 비지도학습 네트워크를 이용하여 상기 노이즈 신호가 제거된 영상의 객체 영역에서 발생하는 신호를 색상으로 표시하여 생성되는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 비지도학습 네트워크는 복수의 비지도학습 모델을 각각 사용하여 상기 특수 현미경 영상에서 객체 영역을 표시한 복수의 후보 영상을 생성하고, 상기 후보 영상에 대한 상호 상관관계 최대화(cross-correlation maximization)를 통해 상기 학습용 영상을 생성하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 복수의 비지도학습 모델은 계층적 클러스터링(Hierarchical clustering), K 평균 클러스터링(K-Means clustering), 가우시안 혼합 모델(Gaussian mixture models), 자기 조직화 지도(Self-organizing maps) 및 은닉 마르코프 모델(Hidden Markov model) 중 적어도 2개인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 지도학습 네트워크는 시맨틱 분할 (Semantic segmentation) 모델인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 지도학습 네트워크는 상기 투과 현미경 영상을 픽셀 단위로 처리하면서 객체를 분류하는 신경망 모델인 것을 특징으로 할 수 있다.
특수 현미경 영상 생성
도 1은 인공신경망을 이용한 특수 현미경 영상 생성 과정(100)의 예이다. 투과 현미경 영상이 입력된다(110). 투과 현미경 영상은 현미경에서 나타나는 영상을 CCD, CMOS 등과 같은 이미지 센서로 획득한다. 투과 현미경 영상을 획득하는 과정은 자세한 설명을 생략한다.
인공신경망(N1)은 입력되는 투과 현미경 영상을 처리한다(120). 인공신경망(N1)은 투과 현미경 영상에 대한 특수 현미경 영상을 출력한다(130). 이하 인공신경망(N1)을 영상 변환 신경망 내지 영상 변환 네트워크라고 명명한다. 영상 변환 네트워크(N1)는 일반적으로 지도학습 네트워크에 해당한다.
영상 변환 네트워크(N1)는 다양한 신경망 모델로 구현될 수 있다. 영상에서 객체를 인식하고 분류할 수 있는 모델은 다양하다. (1) 대표적으로 AlexNet, GoogLeNet, VGGNet 등이 있다. 모두 CNN(Convolutional Neural Network)에 해당한다. CNN 계열 모델은 전연결 계층(fully connected layer)을 지나면서 위치나 공간에 대한 정보를 잃는다. (2) 영상에서 특정 객체를 식별하면서 위치 정보까지 포함하기 위한 모델들도 연구되었다. 영상에서 일정한 사각형 영역을 기준으로 영상을 분석하여 일정한 위치 정보를 파악하는 모델들이 있다. 예컨대, R-CNN, SPPNet, Fast R-CNN 등이 있다. (3) 나아가 영상 변환 네트워크(N1)는 영상에서 객체를 구분하고 분류할 수 있는 시멘틱 분할(semantic segmentation) 모델일 수 있다. 시멘틱 분할 모델은 픽셀 단위로 예측을 수행하여 의미 있는 단위로 대상을 분리한다. 따라서 시멘틱 분할 모델은 영상에 있는 객체를 식별 및 분류하고, 위치까지 정확하게 파악할 수 있다. 대표적인 시멘틱 분할 모델은 FCN(fully convolutional networks)이다.
FCN 구조는 다양할 수 있다. 대표적인 FCN 구조를 기준으로 설명하자면 일반 CNN과 다른 몇 가지 특징이 있다. FCN은 CNN의 뒷단에 있는 전연결 계층을 1×1 컨볼루션(convolution)으로 구성한다. 컨볼루션과 풀링(pooling)을 반복하면 특징맵의 크기가 줄어드는데, FCN은 백워드 컨볼루션(deconvolution)을 사용하여 일종의 업샘플링(upsampling)을 한다. 또는 FCN은 현재 단계보다 앞선 결과를 활용하여 활용하여 현재 예측을 보강하는 방법(skip layer)을 사용하기도 한다.
영상 변환 네트워크(N1)는 FCN으로 구현하여 투과 현미경 영상을 픽셀 단위로 예측하고, 예측된 영역에 위치하는 객체를 식별할 수 있다. 객체 식별은 시각적으로 표현될 수도 있다. 영상 변환 네트워크는 투과 현미경 영상을 일정한 색상 특징을 갖는 특수 현미경 영상(예컨대, 형광 현미경 영상)으로 변환할 수 있다.
영상 변환 네트워크(N1)는 투과 현미경 영상에서 객체인 세포를 식별하고, 세포가 위치하는 영역을 영상의 종류에 따라 일정하게 처리한다. 영상 변환 네트워크(N1)는 세포의 영역에 일정한 의미를 부여하는 처리를 수행한다. 예컨대, 영상 변환 네트워크(N1)는 세포(세포 영역)의 색상을 변경하거나, 일정한 질감(texture)을 나타내도록 한다. 영상 변환 네트워크(N1)는 생성(변환)하고자 하는 특수 현미경 영상의 종류에 따라 세포 영역의 색상 내지 질감을 일정하게 표현한다. 이를 위해 영상 변환 네트워크(N1)는 사전에 학습되어야 한다. 영상 변환 네트워크(N1)는 주어진 투과 현미경 영상에서 객체인 세포를 식별하고, 해당 투과 현미경 영상에 대한 특수 현미경 영상을 기준으로 어떤 세포 내지 영역에 일정한 색상/질감을 표현해야 하는지 학습한다.
영상 변환 네트워크(N1)는 학습을 위해서 투과 현미경 영상 및 해당 투과 현미경 영상에 대응하는 대한 특수 현미경 영상이 필요하다. 기본적으로 학습을 위한 영상은 라벨링(labeling)이 되어야 한다. 즉, 입력 영상의 특정 객체가 출력 영상의 어떤 객체 내지 영역에 해당하는지 표시해야지만 영상 변환 네트워크(N1)가 학습될 수 있다. 수작업으로 매우 많은 학습 데이터를 라벨링한다면 시간이 많이 소요될 뿐 만 아니라 그 정확도 또한 수작업의 오류로 제한된다.
영상 변환 네트워크(N1)는 학습을 위한 별도의 학습용 영상을 사용한다. 학습용 영상은 별도의 학습 네트워크(N2)를 통해 생성한다. 도 2는 영상 변환 네트워크(N1)에 대한 학습 과정(200)의 예이다.
영상 변환 네트워크(N1)는 투과 현미경 영상(210)과 학습용 영상(230)을 입력받아 학습된다. 학습용 영상은 특수 현미경 영상을 기준으로 새롭게 생성된 영상이다. 학습용 영상은 별도의 신경망(N2)을 통해 생성된다. 별도의 신경망(N2)은 특수 현미경 영상을 입력(330)받아 학습용 영상을 생성(230)한다. 이하 신경망(N2)을 라벨링 네트워크라고 명명한다. 라벨링 네트워크(N2)는 비지도학습(Unsupervised Learning) 네트워크이다. 라벨링 네트워크(N2)는 특수 현미경 영상을 입력받고(220), 입력된 특수 현미경 영상에서 발광(형광 현미경인 경우)된 특정 객체를 식별한다. 라벨링 네트워크(N2)는 특정 객체(세포)를 일정한 조도의 군집으로 정의한 학습용 영상을 생성(230)한다. 이제 영상 변환 네트워크(N1)는 투과 현미경 영상과 학습용 영상을 이용하여, 투과 현미경 영상에 존재하는 세포를 식별하고, 그 중에서 일정한 색상 내지 질감으로 표현해야할 세포를 학습하게 된다.
도 3은 학습용 영상을 생성하는 비지도학습 네트워크(300)에 대한 예이다. 도 3은 전술한 라벨링 네트워크(N2)의 동작 내지 구조에 대한 예이다. 라벨링 네트워크(N2)는 배경 제거 모델(310), 가설 검증 모델(320) 및 비지도학습 모델(330)을 포함한다.
배경 제거 모델(310)은 입력되는 특수 현미경 영상에서 발광하는 객체에 해당하는 세포만을 뚜렷하게 식별하기 위하여 배경에 해당하는 노이즈를 제거한다. 특수 현미경 영상은 일반적으로 CCD 나 CMOS 등의 이미지 센서(array detector)를 통해 획득된다. 해당 이미지 내 노이즈는 가우시안 랜덤(Gaussian random) 또는 포아송 랜덤(Poisson random) 분포를 따른다. 배경 제거 모델(410)은 노이즈에 해당하는 확률 분포 모델을 일정하게 피팅(fitting)하여 제거할 수 있다.
가설 검증 모델(statistical hypothesis test, 320)은 비지도학습 모델에서 학습하여야할 구성에 대한 분류(class)를 정의한다. 일반적인 비지도학습 모델은 데이터에 대해 스스로 학습하지만 학습을 위한 최소한의 지침이 필요하다. 이 부분을 사용자가 설정할 수도 있지만, 결과에 대한 편형을 제거 하고자 가설 검증을 통해 비지도학습에 필요한 기준을 제공한다. 가설 검증 모델(320)은 Hartigan 딥 테스트(DIP test)를 통해 유니모달리티(unimodality)를 찾고, 유니모달이 아닌 경우 갭 통계(Gap statistic)를 통해 통계적 분포를 평가한다. 이 과정을 통해 통계적 모집단(statistical population)을 결정한다. 즉, 비지도학습에서 학습해야할 분류를 정의한다.
비지도학습 모델(330)은 다양한 비지도학습 방법론 중 어느 하나를 이용할 수 있다. 예컨대, 비지도학습은 계층적 클러스터링(Hierarchical clustering), K 평균 클러스터링(K-Means clustering), 가우시안 혼합 모델(Gaussian mixture models), 자기 조직화 지도(Self-organizing maps) 및 은닉 마르코프 모델(Hidden Markov model) 등이 있다.
나아가 비지도학습 모델(330)은 복수의 비지도학습 방법론을 사용하고, 최상의 결과를 선택할 수도 있다. 예컨대, 비지도학습 모델(330)은 계층적 클러스터링, K 평균 클러스터링, 가우시안 혼합 모델, 자기 조직화 지도 및 은닉 마르코프 모델 중 적어도 2개 이상을 사용하여 일정한 결과를 산출할 수 있다. 각 모델은 특수 현미경 영상의 품질이나 종류에 따라 상이한 결과(후보 영상)를 산출할 수 있다. 비지도학습 모델(330)은 복수의 후보 영상에 대한 상호 상관관계 최대화(cross-correlation maximization)를 통해 최상의 결과를 선택할 수 있다.
라벨링 네트워크(N2)는 이와 같은 동작을 통해 영상 변환 네트워크(N1) 학습을 위한 훈련용 영상을 생성할 수 있다.
도 4는 영상 변환 네트워크를 이용하여 특수 현미경 영상을 생성하는 예이다. 도 4는 복수의 영상 변환 네트워크를 사용하여 서로 다른 결과를 생성하는 예이다. 도 4는 복수의 영상 변환 네트워크(N1-A, N1-B 및 N-1C)를 도시한다. 복수의 영상 변환 네트워크(N1-A, N1-B 및 N-1C)는 서로 다른 학습용 영상을 사용하여 학습된다. 복수의 영상 변환 네트워크(N1-A, N1-B 및 N-1C)는 생성하고자 하는 특수 현미경의 종류가 다를 수 있다. 또는 영상 변환 네트워크(N1-A, N1-B 및 N-1C)는 동일한 종류의 특수 현미경 영상에 대하여 서로 다른 형태 내지 색상을 갖도록 학습된 모델일 수도 있다.
복수의 영상 변환 네트워크(N1-A, N1-B 및 N-1C) 각각은 동일한 투과 현미경 영상(Input 1)을 입력받아 서로 다른 결과값(Output 1, Output 2 및 Output 3)을 생성할 수 있다. 이와 같이 특수 현미경 영상을 생성하는 영상 변환 네트워크는 복수의 모델을 포함하고, 사용자의 선택에 따라 특정한 어느 하나 또는 복수의 모델을 사용하여 특수 현미경 영상을 생성할 수 있다.
도 5는 영상 변환 네트워크를 이용하여 실제 특수 현미경 영상을 생성한 예이다. 도 5(A)는 영상 변환 네트워크를 이용하여 세포의 투과 현미경 사진(DIC) 으로부터 세포핵 사진을 만드는 실시예이다. DAPI는 실험적으로 생성한 세포 핵의 형광 현미경 영상이다. AI는 영상 변환 네트워크를 이용하여 생성한 영상이다. AI(파란색)와 DAPI(붉은색)를 비교해보면 동일한 것을 알 수 있다. Overlay는 AI와 DAPI를 중첩한 영상이다. 정확도를 분석한 경과 정확도는 99%에 가까운 것으로 나타났다. 도 5(B)는 영상 변환 네트워크를 이용하여 세포의 투과 현미경 사진(DIC) 으로부터 미토콘드리아 사진을 만드는 실시예이다. Mitotracker는 상용툴을 이용하여 실험적으로 생성한 미토콘드리아 형광 현미경 영상이다. AI는 영상 변환 네트워크를 이용하여 생성한 영상이다. AI와 Mitotracker는 96.88%의 정확도로 일치한다. 도 5(C)는 영상 변환 네트워크를 이용하여 세포의 투과 현미경 사진(DIC) 으로부터 세포골격사진을 만드는 실시예이다. Phalloidin은 상용툴을 이용하여 실험적으로 생성한 실제 세포골격 형광 현미경 영상이다. AI는 영상 변환 네트워크를 이용하여 생성한 영상이다. AI와 Phalloidin은 90.12%의 정확도로 일치한다.
세포 추적 및 특수 현미경 영상 생성
한편 바이오/의학 분야는 살아 있는 세포에 대한 연구도 많다. 즉, 살아 있는 세포를 추적하여 이에 대한 분석이 필요할 것으로 예상하였다.
즉, 본 발명의 다른 실시예에서는 제1 시점에서의 제1 투과 현미경 영상과 제 1시점 이후의 제2 투과 현미경 영상을 입력하여, 객체를 인식하는 제1 학습 네트워크로 영상을 처리하여 세포를 인식한 다음, 세포를 추적하는 제2 학습 네트워크를 이용하여 제1 투과 현미경 영상에서 인식된 세포를 제2 투과 현미경 영상에서 식별하여, 제3 학습 네트워크를 이용하여 제2 투과 현미경 영상에 대한 특수 현미경 영상을 생성할 수 있다는 것을 확인하였다(도 6 내지 도 9).
따라서, 본 발명은 다른 관점에서 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계; 상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계; 상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 및 상기 영상 처리 장치가 제3 학습 네트워크에 상기 제2 투과 현미경 영상을 입력하여 상기 제2 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함하는 인공신경망을 이용한 특수 현미경 영상 생성 방법에 관한 것이다.
본 발명에 있어서, 상기 제3 학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 비지도학습 네트워크는 영상의 객체 영역에서 발생하는 신호를 이용하여 상기 학습용 영상을 생성하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 확률모델을 이용하여 상기 별도의 특수 현미경 영상의 획득 과정에서 발생하는 노이즈를 제거하는 단계를 추가로 포함하고, 상기 비지도학습 네트워크는 상기 노이즈가 제거된 별도의 특수 현미경 영상을 이용하여 상기 학습용 영상을 생성하는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제1 학습 네트워크는 별도의 투과 현미경 영상과 상기 별도의 투과 현미경 영상에서 세포를 식별한 영상을 이용하여 사전에 학습되는 것을 특징으로 할 수 있다.
본 발명에 있어서, 상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 것을 특징으로 할 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 상기 제2 학습 네트워크는 시간 간격을 갖는 두 개의 투과 현미경 영상에서 동일 세포를 식별하는 비지도학습 네트워크인 것을 특징으로 할 수 있다.
이하, 투과 현미경 영상을 이용하여 세포를 추적하고, 추적한 세포에 대한 특수 현미경 영상을 생성하는 예를 설명한다.
도 6은 투과 현미경 영상 내의 세포를 추적하는 과정(400)의 예이다. 세포 추적 과정에는 두 가지 신경망(N3 및 N4)가 사용된다. 신경망(N3)는 투과 현미경 영상에서 세포를 인식한다. 이하 신경망(N3)을 인식 네트워크라고 명명한다. 신경망(N4)는 인식된 세포를 시작으로 시간의 흐름에 따라 세포를 추적한다. 이하 신경망(N4)을 추적 네트워크라고 명명한다.
인식 네트워크(N3)는 투과 현미경 영상을 입력받아(410), 영상 내에 존재하는 객체(세포)를 식별한다(420). 인식 네트워크(N3)는 식별한 세포의 영역을 구분할 수 있다. 따라서 인식 네트워크(N3)는 영상에서 특정 객체와 해당 객체의 위치를 파악할 수 있는 모델이다. 인식 네트워크(N3)는 식별한 세포의 위치를 포함하는 영상 정보를 생성한다.
추적 네트워크(N4)는 인식 네트워크(N3)가 최초 식별한 세포와 세포의 위치를 기준으로 세포를 추적한다(430). 추적 네트워크(N4)는 식별한 세포의 위치를 추적한 결과를 보여주는 영상을 생성한다. 추적 네트워크(N4)는 시간의 흐름에 따른 복수의 투과 현미경 영상에서 세포를 추적한다. 예컨대, 추적 네트워크(N4)는 제1 시점의 투과 현미경 영상 및 제1 시점 이후의 제2 시점의 투과 현미경 영상을 입력받을 수 있다. 제1 시점의 투과 현미경 영상은 인식 네트워크(N3)가 세포 및 세포 영역을 식별한 영상이다. 추적 네트워크(N4)는 제1 시점의 투과 현미경 영상에서 식별한 세포 위치를 시작으로 제2 시점의 투과 현미경 영상에서 식별한 세포의 위치를 추적한다. 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 최초 식별한 세포를 계속하여 추적할 수 있다. 또한 추적 네트워크(N4)는 투과 현미경 영상에서 식별된 복수의 세포에 대한 추적을 수행할 수 있다. 도 6은 추적 네트워크(N4)를 이용하여 영상에서 식별한 세포를 추적한 결과를 보여준다. 도 6에서 추적 네트워크(N4)가 생성한 영상을 살펴보면, 해당 영상은 위치 식별한 세포(사각형 박스 표시)가 최초 C1에서 특정 시간이 경과한 후 C2로 이동한 것을 알 수 있다. C1과 C2를 연결하는 실선은 시간 흐름에 따른 세포 이동 경로를 의미한다. 추적 네트워크(N4)는 객체를 추적하는 지도학습 네트워크 또는 비지도학습 네트워크일 수 있다.
인식 네트워크(N3)에 대한 학습 과정을 설명한다. 도 7은 인식 네트워크의 학습 과정(500)에 대한 예이다. 도 7은 인식 네트워크(N3)에 대한 학습 과정의 예이다. 인식 네트워크(N3)는 입력 영상에서 객체를 식별하고, 객체의 위치(영역) 정보도 추출할 수 있는 모델이다. 예컨대, 인식 네트워크(N3)는 R-CNN(region proposal convolutional neural network)일 수 있다. 한편 R-CNN은 기본적은 R-CNN, Fast R-CNN, SPPNet, Faster R-CNN 등 다양한 모델이 있다.
R-CNN은 객체 분석을 수행하는 CNN과 해당 영상에서 객체가 존재할 영역을 제시하는 알고리즘(region proposal algorithm)을 연결한 모델이다. R-CNN은 입력 영상에서 선택적 선택(selective search) 등과 같은 알고리즘을 이용하여 사각형 후보 영역을 결정한다. R-CNN은 후보 영역을 동일한 크기로 잘라내고, 각 영역에 대한 특징을 추출하여 객체에 대한 분류를 수행한다. 한편 Fast R-CNN은 이미지 자체를 자르지 않고, 특징맵을 자르는 방식을 사용하여 속도가 빠르다. Faster R-CNN는 후보 영역을 결정하는 RPN(region proposal network)을 이용한다. R-CNN은 객체가 위치하는 일정한 영역을 결정하는 과정을 통해 해당 객체가 위치하는 영역에 대한 정보를 확보한다.
도 7은 인식 네트워크(N3)에 대한 두 가지 학습 방법을 나타낸다. 도 7(A)는 투과 현미경 영상 및 투과 현미경 영상에서 수동으로 식별된 세포 영상을 이용하여 학습되는 예이다. 투과 현미경 영상이 입력된다(510). 이후 수작업 또는 별도의 알고리즘을 이용하여 투과 현미경 영상에서 객체인 세포 영역을 식별한다(530). 인식 네트워크(N3)는 세포 영역이 식별된 영상을 입력받아 학습한다. 이를 통해 인식 네트워크(N3)는 입력 영상에서 세포 영역을 식별하도록 학습된다.
도 7(B)는 전술한 라벨 네트워크(N2)를 이용하여 투과 현미경 영상에서 세포 위치를 식별한 정보를 이용하는 예이다. 투과 현미경 영상(510)과 특수 현미경 영상(520)이 입력된다. 특수 현미경 영상은 입력된 투과 현미경 영상에 위치하는 세포에 대한 특수 현미경 영상일 수 있다. 라벨 네트워크(N2)는 전술한 방법에 따라 입력된 특수 현미경 영상을 기준으로 학습용 영상을 생성(525)한다. 학습용 영상은 투과 현미경 영상에서 특정 객체(예컨대, 발광하는 세포)의 영역을 나타낸다. 학습용 영상은 이와 같이 관심있는 세포 영역에 대한 위치 정보를 전달한다. 인식 네트워크(N3)는 입력된 투과 현미경 영상 및 학습용 영상을 이용하여 투과 현미경 영상에서 관심있는 세포를 식별하도록 학습된다.
도 8은 인식 네트워크를 이용하여 세포를 판별하는 과정(600)에 대한 예이다. 도 8은 학습된 인식 네트워크(N3)를 이용하여 투과 현미경 영상에서 세포를 식별하고, 세포가 위치한 영역을 추출하는 예이다. 인식 네트워크(N3)는 투과 현미경 영상을 입력받는다(610). 인식 네트워크(N3)는 입력된 투과 현미경 영상에서 세포 또는 관심 있는 세포가 위치하는 영역을 식별한다(620). 인식 네트워크(N3)는 식별한 세포 영역을 구분하여 추출할 수도 있다(630).
도 9는 세포를 추적하여 특수 현미경 영상을 생성하는 과정(700)의 예이다. 먼저 인식 네트워크(N3)가 투과 현미경 영상을 입력받는다(710). 인식 네트워크(N3)은 투과 현미경 영상에서 세포를 식별하고, 식별한 세포에 대한 위치(영역) 정보를 생성한다. 인식 네트워크(N3)는 투과 현미경 영상에서 세포 영역을 표시한 영상을 생성할 수도 있다. 추적 네트워크(N4)는 세포 영역이 식별된 제1 시점의 투과 현미경 영상(제1 투과 현미경 영상이라 함)을 입력받는다. 추적 네트워크(N4)는 제1 투과 현미경 영상에서 식별된 세포를 시작으로 제1 시점 이후의 제2 시점의 투과 현미경 영상에서 세포의 위치를 결정(추적)한다(720). 나아가 추적 네트워크(N4)는 시간 흐름에 따라 연속된 투과 현미경 영상에서 계속 세포를 추적할 수 있다(730). 도 9는 K개의 투과 현미경 영상에서 동일한 세포를 추적한 결과를 도시한다. 즉, 추적 네트워크(N4)는 시간의 경과에 따른 세포 영상 및 해당 시점의 세포 위치를 나타내는 복수의 영상을 생성할 수 있다.
영상 변환 네트워크(N1)는 추적 네트워크(N4)가 생성한 영상을 입력받는다. 영상 변환 네트워크(N1)는 입력 영상을 특수 현미경 영상으로 변환한다(740). 도 9를 살펴보면, 시간 흐름에 따라 형광으로 표지된 부분이 점차 사라지는 것을 알 수 있다.
본 발명은 또다른 관점에서, 제1 투과 현미경 영상을 입력받는 입력장치: 투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 지도학습 네트워크를 저장하는 저장 장치: 및 상기 지도학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 연산 장치를 포함하되, 상기 지도학습 네트워크는 제2 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 특수 현미경 영상을 생성하는 영상 처리 장치에 관한 것이다.
이하 도면을 통해 영상 처리 장치에 관해 상세히 설명한다.
도 10은 특수 현미경 영상을 생성하는 영상 처리 장치(800)의 구성에 대한 예이다. 영상 처리 장치(800)는 투과 현미경 영상을 특수 현미경 영상으로 변환하는 장치이다. 앞서 특수 현미경 영상을 생성하는 과정은 영상 처리 장치가 수행한다고 설명한 바 있다. 영상 처리 장치(800)는 물리적으로 다양한 형태로 구현될 수 있다. 도 10 하단에 영상 처리 장치의 구현 예를 도시하였다. 영상 처리 장치(800)는 PC와 같은 컴퓨터 장치(A), 네트워크의 서버(B), 영상 처리 전용 칩셉(C) 등의 형태를 가질 수 있다. 컴퓨터 장치는 스마트 기기 등과 같은 모바일 기기를 포함할 수 있다. 최근 AI 전용 칩셋이 활발하게 개발되고 있다. 따라서 영상 처리 장치는 특수 현미경 영상을 생성하는 신경망 모델을 포함하는 칩셋 형태의 제품으로도 구현 가능하다.
영상 처리 장치(800)는 저장 장치(810), 메모리(820), 연산장치(830), 인터페이스 장치(840) 및 통신 장치(850)를 포함한다.
저장 장치(810)는 특수 현미경 영상을 생성하는데 관여하는 신경망 모델을 저장한다. 예컨대, 저장 장치(810)는 영상 변환 네트워크(N1), 라벨링 네트워크(N2), 인식 네트워크(N3) 및 추적 네트워크(N4)를 저장할 수 있다. 세포 추적 기능이 없는 경우 저장 장치(810)는 영상 변환 네트워크(N1) 및 라벨링 네트워크(N2)만을 저장할 수도 있다. 나아가 저장 장치(810)는 영상 처리에 필요한 프로그램 내지 소스 코드 등을 저장할 수 있다. 저장 장치(810)는 투과 현미경 영상, 각 신경망 모델이 생성하는 영상 및 특수 현미경 영상을 저장할 수 있다.
메모리(820)는 영상 처리 장치(800)가 수신한 투과 현미경 영상, 특수 현미경영상 생성과정에서 임시로 생성되는 영상, 신경망을 이용한 영상 처리 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(840)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(840)는 물리적으로 연결된 입력 장치 또는 외부 저장 장치로부터 투과 현미경 영상을 입력받을 수 있다. 인터페이스 장치(840)는 특수 현미경 영상 생성을 위한 각종 신경망 모델을 입력받을 수 있다. 인터페이스 장치(840)는 신경망 모델 생성을 위한 학습데이터, 정보 및 파라미터값을 입력받을 수도 있다.
통신 장치(850)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(850)는 외부 객체로부터 투과 현미경 영상을 수신할 수 있다. 통신 장치(850)는 각종 신경망 모델 및 모델 학습을 위한 데이터도 수신할 수 있다. 통신 장치(850)는 생성한 특수 현미경 영상을 외부 객체로 송신할 수 있다.
통신 장치(850) 내지 인터페이스 장치(840)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신 장치(850) 내지 인터페이스 장치(840)를 입력장치라고 명명할 수 있다.
연산 장치(830)는 저장장치(810)에 저장된 신경망 모델 내지 프로그램을 이용하여 특수 현미경 영상을 생성하는 과정을 처리한다. 연산 장치(830)는 전술한 과정을 통해 주어진 학습 데이터를 이용하여 특수 현미경 영상 생성 과정에 사용되는 신경망 모델을 학습할 수 있다. 연산 장치(830)는 영상 변환 네트워크(N1), 라벨링 네트워크(N2), 인식 네트워크(N3) 및 추적 네트워크(N4) 중 적어도 하나를 학습된 형태로 구축할 수 있다. 연산 장치(830)는 전술한 과정을 통해 구축된 신경망을 이용하여 투과 현미경 영상에 대한 특수 현미경 영상을 생성할 수 있다. 연산 장치(830)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, GPU, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
본 발명은 또다른 관점에서 클라이언트 장치로부터 제1 투과 현미경 영상을 입력받는 통신 장치: 투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 지도학습 네트워크를 저장하는 저장 장치: 및 상기 지도학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 프로세서를 포함하되, 상기 지도학습 네트워크는 제2 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 특수 현미경 영상을 생성하는 시스템에 관한 것이다.
이하 도면을 통해 영상 생성 시스템에 관해 상세히 설명한다.
도 11은 특수 현미경 영상을 제공하는 시스템(900)에 대한 예이다. 도 11은 네트워크를 이용하여 특수 현미경 영상을 제공하는 실시예에 대한 것이다. 도 11은 시스템(900)은 사용자 단말(910, 920) 및 서비스 서버(980)를 포함한다. 사용자 단말(910, 920)은 클라이언트 장치에 해당한다. 도 11에서 서비스 서버(980)가 전술한 영상 처리 장치에 해당한다. 도 11에서 각 객체 간 보안이나 통신에 대한 자세한 설명은 생략한다. 각 객체는 통신 수행하기 전에 일정한 인증을 수행할 수도 있다. 예컨대, 인증에 성공한 사용자만이 서비스 서버(980)에 특수 현미경 영상 제공을 요청할 수 있다.
사용자는 사용자 단말을 통해 서비스 서버(980)에 특수 현미경 영상 제공을 요청할 수 있다. 사용자는 영상 DB(950)로부터 투과 현미경 영상을 수신할 수 있다. 영상 DB(950)는 실험과정에서 도출한 투과 현미경 영상을 저장한다. 영상 DB(950)는 네트워크에 위치하는 객체일 수 있다. 또는 영상 DB(950)는 단순한 저장 매체일 수도 있다. 사용자는 사용자 단말(910)을 통해 투과 현미경 영상을 서비스 서버(980)에 전달한다. 투과 현미경 영상을 포함한 요청을 수신한 서비스 서버(980)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 대응하는 특수 현미경 영상을 생성한다. 서비스 서버(980)는 특수 현미경 영상 생성을 위한 각종 신경망 모델을 사전에 구축하여야 한다. 한편 투과 현미경 영상은 복수 일 수도 있다. 서비스 서버(980)는 생성한 특수 현미경 영상을 요청한 사용자 단말(910)에 전송할 수 있다. 또는 도면에 도시하지 않았지만, 서비스 서버(980)는 생성한 특수 현미경 영상을 별도의 저장 매체에 저장하거나, 별도의 객체에 전달할 수도 있다.
사용자는 실험 과정에서 획득한 투과 현미경 영상을 사용자 단말(920)을 통해 서비스 서버(980)에 전달할 수도 있다. 투과 현미경 영상을 포함한 요청을 수신한 서비스 서버(980)는 전술한 과정을 통하여 입력된 투과 현미경 영상에 대응하는 특수 현미경 영상을 생성한다. 한편 투과 현미경 영상은 복수 일 수도 있다. 서비스 서버(980)는 생성한 특수 현미경 영상을 요청한 사용자 단말(920)에 전송할 수 있다. 또는 도면에 도시하지 않았지만, 서비스 서버(980)는 생성한 특수 현미경 영상을 별도의 저장 매체에 저장하거나, 별도의 객체에 전달할 수도 있다.
또한, 상술한 바와 같은 영상 변환 네트워크(N1)를 학습할 학습 영상 생성 방법, 영상 변환 네트워크(N1) 생성 방법, 라벨링 네트워크(N2) 생성 방법, 특수 현미경 영상 생성 방법, 인식 네트워크(N3) 생성 방법, 추적 네트워크(N4) 생성 방법 및 살아 있는 세포를 추적하여 특수 현미경 영상을 생성하는 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명은 인공신경망을 이용하여 특수 현미경 영상을 매우 간단하게 특수 현미경 영상으로 변환한다. 이하 설명하는 기술은 고비용 장비를 이용하지 않고, 빠른 시간에 특수 현미경 영상을 제공한다.
나아가 본 발명은 연구자가 살아있는 세포를 관찰할 필요 없이, 인공신경망을 이용하여 투과 현미경 영상에서 세포를 추적하여 해당 세포에 대한 특수 현미경 영상을 제공한다.
부호의 설명
800 : 영상 처리 장치
810 : 저장장치
820 : 메모리
830 : 연산장치
840 : 인터페이스 장치
850 : 통신장치
900 : 특수 현미경 영상을 제공하는 시스템
910, 920 : 사용자 단말
950 : 영상 DB
980 : 서비스 서버
100: 특수 현미경 영상 생성 과정
200: 영상 변환 네트워크(N1)에 대한 학습 과정
300: 학습용 영상을 생성하는 비지도학습 네트워크
400: 투과 현미경 영상 내의 세포를 추적하는 과정
500: 인식 네트워크의 학습 과정
600: 인식 네트워크를 이용하여 세포를 판별하는 과정
700: 세포를 추적하여 특수 현미경 영상을 생성하는 과정
N1: 영상 변환 네트워크
N2: 라벨링 네트워크
N3: 인식 네트워크
N4: 추적 네트워크

Claims (21)

  1. 영상 처리 장치가 투과 현미경 영상을 입력받는 단계; 및
    상기 영상 처리 장치가 사전에 학습된 지도학습 네트워크에 상기 투과 현미경 영상을 입력하여 상기 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함하되,
    상기 지도학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  2. 제1항에 있어서,
    상기 학습용 영상은 상기 비지도학습 네트워크를 이용하여 상기 별도의 특수 현미경 영상의 객체 신호로부터 생성되는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  3. 제2항에 있어서,
    상기 학습용 영상은 확률모델을 이용하여 상기 별도의 특수 현미경 영상의 획득 과정에서 발생하는 노이즈를 제거하고, 상기 노이즈가 제거된 별도의 특수 현미경 영상을 상기 비지도학습 네트워크에 입력하여 생성되는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  4. 제1항에 있어서,
    상기 학습용 영상은
    확률 모델을 피팅(fitting)하여 상기 별도의 특수 현미경 영상의 캡쳐 과정에서 발생하는 노이즈 신호를 제거하고, 상기 비지도학습 네트워크를 이용하여 상기 노이즈 신호가 제거된 영상의 객체 영역에서 발생하는 신호를 색상으로 표시하여 생성되는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  5. 제1항에 있어서,
    상기 비지도학습 네트워크는 복수의 비지도학습 모델을 각각 사용하여 상기 특수 현미경 영상에서 객체 영역을 표시한 복수의 후보 영상을 생성하고, 상기 후보 영상에 대한 상호 상관관계 최대화(cross-correlation maximization)를 통해 상기 학습용 영상을 생성하는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  6. 제5항에 있어서,
    상기 복수의 비지도학습 모델은 계층적 클러스터링(Hierarchical clustering), K 평균 클러스터링(K-Means clustering), 가우시안 혼합 모델(Gaussian mixture models), 자기 조직화 지도(Self-organizing maps) 및 은닉 마르코프 모델(Hidden Markov model) 중 적어도 2개인 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  7. 제1항에 있어서,
    상기 지도학습 네트워크는 시맨틱 분할 (Semantic segmentation) 모델인 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  8. 제1항에 있어서,
    상기 지도학습 상기 투과 현미경 영상을 픽셀 단위로 처리하면서 객체를 분류하는 신경망 모델인 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  9. 영상 처리 장치가 제1 시점의 제1 투과 현미경 영상과 상기 제1 시점 이후의 제2 투과 현미경 영상을 입력받는 단계;
    상기 영상 처리 장치가 객체를 인식하는 제1 학습 네트워크를 이용하여 상기 제1 투과 현미경에서 세포를 인식하는 단계;
    상기 영상 처리 장치가 객체를 추적하는 제2 학습 네트워크를 이용하여 상기 제1 투과 현미경 영상에서 인식된 세포를 상기 제2 투과 현미경 영상에서 식별하는 단계; 및
    상기 영상 처리 장치가 제3 학습 네트워크에 상기 제2 투과 현미경 영상을 입력하여 상기 제2 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 단계를 포함하는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  10. 제9항에 있어서,
    상기 제3 학습 네트워크는 별도의 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  11. 제10항에 있어서,
    상기 비지도학습 네트워크는 영상의 객체 영역에서 발생하는 신호를 이용하여 상기 학습용 영상을 생성하는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  12. 제11항에 있어서,
    확률모델을 이용하여 상기 별도의 특수 현미경 영상의 획득 과정에서 발생하는 노이즈를 제거하는 단계를 더 포함하고, 상기 비지도학습 네트워크는 상기 노이즈가 제거된 별도의 특수 현미경 영상을 이용하여 상기 학습용 영상을 생성하는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  13. 제9항에 있어서,
    상기 제1 학습 네트워크는 별도의 투과 현미경 영상과 상기 별도의 투과 현미경 영상에서 세포를 식별한 영상을 이용하여 사전에 학습되는 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  14. 제9항에 있어서,
    상기 제1 학습 네트워크는 R-CNN(region proposal convolutional neural network)인 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  15. 제9항에 있어서,
    상기 제2 학습 네트워크는 시간 간격을 갖는 두 개의 투과 현미경 영상에서 동일 세포를 식별하는 비지도학습 네트워크인 인공신경망을 이용한 특수 현미경 영상 생성 방법.
  16. 제1 투과 현미경 영상을 입력받는 입력장치:
    투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 지도학습 네트워크를 저장하는 저장 장치: 및
    상기 지도학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 연산 장치를 포함하되,
    상기 지도학습 네트워크는 제2 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 특수 현미경 영상을 생성하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 학습용 영상은 상기 비지도학습 네트워크를 통해 영상의 객체 영역에서 발생하는 신호로부터 생성된 영상인 특수 현미경 영상을 생성하는 영상 처리 장치.
  18. 제16항에 있어서,
    상기 학습용 영상은 확률모델을 이용하여 상기 별도의 특수 현미경 영상의 획득 과정에서 발생하는 노이즈를 제거하고, 상기 비지도학습 네트워크에 상기 노이즈가 제거된 별도의 특수 현미경 영상을 입력하여 생성되는 특수 현미경 영상을 생성하는 영상 처리 장치.
  19. 제16항에 있어서,
    상기 학습용 영상은 복수의 비지도학습 모델을 각각 사용하여 상기 별도의 특수 현미경 영상에서 객체 영역을 표시한 복수의 후보 영상을 생성하고, 상기 후보 영상에 대한 상호 상관관계 최대화(cross-correlation maximization)를 통해 생성되는 특수 현미경 영상을 생성하는 영상 처리 장치.
  20. 제16항에 있어서,
    상기 지도학습 네트워크는 시맨틱 분할 (Semantic segmentation) 모델인 특수 현미경 영상을 생성하는 영상 처리 장치.
  21. 클라이언트 장치로부터 제1 투과 현미경 영상을 입력받는 통신 장치:
    투과 현미경 영상을 기준으로 특수 현미경 영상을 생성하는 지도학습 네트워크를 저장하는 저장 장치: 및
    상기 지도학습 네트워크에 상기 제1 투과 현미경 영상을 입력하여 상기 제1 투과 현미경 영상에 대한 특수 현미경 영상을 생성하는 프로세서를 포함하되,
    상기 지도학습 네트워크는 제2 투과 현미경 영상 및 학습용 영상을 이용하여 학습되고, 상기 학습용 영상은 비지도학습 네트워크를 통해 별도의 특수 현미경 영상으로부터 마련되는 특수 현미경 영상을 생성하는 시스템.
PCT/KR2020/000225 2019-01-07 2020-01-07 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치 WO2020145605A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190001740A KR102084682B1 (ko) 2019-01-07 2019-01-07 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치
KR10-2019-0001740 2019-01-07

Publications (1)

Publication Number Publication Date
WO2020145605A1 true WO2020145605A1 (ko) 2020-07-16

Family

ID=69783047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000225 WO2020145605A1 (ko) 2019-01-07 2020-01-07 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치

Country Status (2)

Country Link
KR (1) KR102084682B1 (ko)
WO (1) WO2020145605A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223002A (zh) * 2022-05-09 2022-10-21 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109758A (ja) * 2011-10-28 2013-06-06 Panasonic Corp 画像処理方法、および画像処理装置
KR20150036446A (ko) * 2012-07-09 2015-04-07 내셔날 헬스 리서치 인스티튜트 투과 전자 현미경용 시편 제작
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180110455A (ko) * 2017-03-29 2018-10-10 울산과학기술원 이중 사전 학습을 이용한 영상 분할 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273115B1 (ko) 2013-10-28 2021-07-06 몰레큘라 디바이스 엘엘씨 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109758A (ja) * 2011-10-28 2013-06-06 Panasonic Corp 画像処理方法、および画像処理装置
KR20150036446A (ko) * 2012-07-09 2015-04-07 내셔날 헬스 리서치 인스티튜트 투과 전자 현미경용 시편 제작
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180110455A (ko) * 2017-03-29 2018-10-10 울산과학기술원 이중 사전 학습을 이용한 영상 분할 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223002A (zh) * 2022-05-09 2022-10-21 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备
CN115223002B (zh) * 2022-05-09 2024-01-09 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备

Also Published As

Publication number Publication date
KR102084682B1 (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2020145606A1 (ko) 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
US11226280B2 (en) Automated slide assessments and tracking in digital microscopy
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
EP3407258B1 (en) Image processing device, image processing system, and program
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
Markert et al. Filling the gap: adding super-resolution to array tomography for correlated ultrastructural and molecular identification of electrical synapses at the C. elegans connectome
WO2006080355A1 (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
JPWO2019180848A1 (ja) 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
WO2017221592A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2021187683A1 (ko) 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
WO2021225279A1 (en) Method for explainable active learning, to be used for object detector, by using bayesian dual autoencoder and active learning device using the same
EP3006551A1 (en) Image processing device, image processing method, program, and storage medium
WO2024051067A1 (zh) 红外图像处理方法、装置及设备、存储介质
WO2020145605A1 (ko) 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
JP2000088563A (ja) 外観検査方法および外観検査装置
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
Jahani et al. Automatic identification of overlapping/touching chromosomes in microscopic images using morphological operators
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
WO2021060748A1 (ko) 연결성 학습 장치 및 연결성 학습 방법
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20738815

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20738815

Country of ref document: EP

Kind code of ref document: A1