KR20230160440A - Device and method for digital pathological dyeing restoration using generative adversarial network - Google Patents
Device and method for digital pathological dyeing restoration using generative adversarial network Download PDFInfo
- Publication number
- KR20230160440A KR20230160440A KR1020220059873A KR20220059873A KR20230160440A KR 20230160440 A KR20230160440 A KR 20230160440A KR 1020220059873 A KR1020220059873 A KR 1020220059873A KR 20220059873 A KR20220059873 A KR 20220059873A KR 20230160440 A KR20230160440 A KR 20230160440A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- network
- digital pathology
- gan
- restoration device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004043 dyeing Methods 0.000 title claims abstract description 19
- 230000001575 pathological effect Effects 0.000 title description 2
- 230000007170 pathology Effects 0.000 claims abstract description 88
- 238000010186 staining Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000002860 competitive effect Effects 0.000 claims abstract description 14
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
- G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
- G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Abstract
본 발명은 GAN을 활용한 디지털병리 염색 복원 장치 및 방법에 관한 것으로서, 보다 구체적으로는 GAN(Generative Adversarial Network)을 활용한 디지털병리 염색 복원 장치로서, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망; 및 상기 생성망으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망을 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명의 특징에 따른 GAN을 활용한 디지털병리 염색 복원 방법은, GAN(Generative Adversarial Network)을 활용한 디지털병리 염색 복원 방법으로서, (1) 디지털병리 염색 복원 장치의 판별망이 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행하는 단계; (2) 디지털병리 염색 복원 장치의 생성망이 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 단계; 및 (3) 디지털병리 염색 복원 장치의 판별망이 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 GAN을 활용한 디지털병리 염색 복원 장치 및 방법에 따르면, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망과, 생성망으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망을 포함하여 구성함으로써, 현재 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원할 수 있도록 할 수 있다.
또한, 본 발명의 GAN을 활용한 디지털병리 염색 복원 장치 및 방법에 따르면, 실제 학습 데이터를 기반으로 거짓 데이터를 생성하는 생성망(Generator)과, 실제 학습 데이터와 생성망을 거쳐 만들어진 거짓 데이터를 이용해 학습하며 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 구별하는 역할을 하는 판별망(Discriminator)을 포함하여 구성하되, 생성망(Generator)과 판별망(Discriminator)이라는 두 개의 인공지능 네트워크를 경쟁적으로 학습시킴으로써, 원본 이미지, 염색 이미지를 트레이닝 하여 가짜 이미지를 도출해내는 과정으로 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원하되, 생성되는 데이터가 진짜인지 혹은 가짜인지 구별하기 힘든 수준까지 복원할 수 있도록 할 수 있다.The present invention relates to a digital pathology stain restoration device and method using GAN, and more specifically, to a digital pathology stain restoration device using GAN (Generative Adversarial Network), which provides similar false data based on original data, which is actual learning data. A generating network that generates; and a discrimination network that learns using false data generated from the generation network and original data that is actual training data, and determines whether the input data is real training data or false data.
In addition, the digital pathology stain restoration method using GAN according to the characteristics of the present invention is a digital pathology stain restoration method using GAN (Generative Adversarial Network), which includes (1) data input to the discriminant network of the digital pathology dye restoration device; A step of performing learning to increase the ability to accurately distinguish; (2) a step in which the generation network of the digital pathology stain restoration device generates similar false data based on the original data, which is actual learning data; and (3) a step in which the discrimination network of the digital pathology dye restoration device determines whether the input data is actual learning data or false data.
According to the digital pathology staining restoration device and method using GAN proposed in the present invention, a generative network that generates similar false data based on original data, which is actual learning data, and false data and actual learning data generated from the generative network. By learning using the original data and constructing a discrimination network that determines whether the input data is real learning data or false data, data that cannot be used due to loss of dyeing among the dyed data currently produced is digitalized back to its original state. It can be restored.
In addition, according to the digital pathology stain restoration device and method using GAN of the present invention, a generator that generates false data based on actual learning data and false data created through the actual learning data and the generation network are used. It is composed of a discriminator network that plays the role of distinguishing whether the data coming in as input during learning is real learning data or false data, and uses two artificial intelligence networks, a generator and a discriminator, in a competitive manner. By training the original image and the dyed image to derive a fake image, the data that cannot be used due to the dye being lost is digitally restored to its original state, but it can be restored to a level where it is difficult to distinguish whether the generated data is real or fake. You can do it.
Description
본 발명은 GAN(Generative Adversarial Network)을 활용한 디지털병리 염색 복원 장치 및 방법에 관한 것으로서, 보다 구체적으로는 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원할 수 있도록 하는 GAN을 활용한 디지털병리 염색 복원 장치 및 방법에 관한 것이다.The present invention relates to a digital pathology stain restoration device and method using GAN (Generative Adversarial Network). More specifically, the GAN enables digital restoration of unusable data due to missing staining among the produced dye data. It relates to a digital pathology stain restoration device and method using .
일반적으로 병리학(pathology)이란, 병의 원리를 밝히기 위하여 병의 상태나 병체의 조직 구조, 기관의 형태 및 기능의 변화 등을 연구하는 기초 의학이다. 특히, 디지털 병리학(digital pathology)은 디지털 슬라이드로부터 생성되는 정보를 관리하는 컴퓨터 기술로 구현된 영상 기반 정보 환경을 말하는 것으로, 부분적으로는 현미경으로 영상을 촬영하여 컴퓨터 네트워크로 전달하는 가상 현미경 관찰에 의해서 구현된다.In general, pathology is a basic medical science that studies the state of a disease, the tissue structure of a diseased body, and changes in the form and function of an organ in order to reveal the principles of the disease. In particular, digital pathology refers to an image-based information environment implemented with computer technology that manages information generated from digital slides, partly through virtual microscopic observation in which images are captured with a microscope and transmitted to a computer network. It is implemented.
이와 같은 디지털 병리학은 전 세계적으로 가장 유망한 진단 의학의 한 분야로 인식되고 있다. 이것은 일반적으로 현대인의 건강의 가장 큰 적이라 할 수 있는 암이나 다른 중요한 질병을 진단 및 예측을 하는데 있어서, 기존에 알려진 진단 방식과 비교하여 훨씬 빠르고 저렴하고 그러면서도 월등하게 정확하게 진단하는 것이 가능하기 때문이다. 이와 같이 유망한 진단 의학의 한 분야로 각광받기 시작하였으나, 그 연구개발의 단계는 아직 초기에 불과한 상태이다. 이와 같은 디지털 병리학 시스템에서는 염색 과정이나 이미지 획득 과정 등 디지털 슬라이드 이미지 처리 단계 도중에 이미지 품질에 영향을 받을 수 있다.Digital pathology is recognized worldwide as one of the most promising fields of diagnostic medicine. This is because, in diagnosing and predicting cancer and other important diseases, which are generally the biggest enemies of modern people's health, it is possible to diagnose much faster, cheaper, and yet more accurately than existing diagnostic methods. . Although it has begun to receive attention as a promising field of diagnostic medicine, its research and development is still in its early stages. In such digital pathology systems, image quality may be affected during digital slide image processing steps, such as the staining process or image acquisition process.
이와 같이, 현대인 건강의 가장 큰 적이라 할 수 있는 암을 진단하는 데 있어서, 병리 시편은 결정적인 역할을 한다. CT나 MRI 등의 촬영이나 혈액 검사, 내시경 등으로 암이 의심되는 조직의 샘플을 떼어내고, 떼어낸 조직의 샘플을 육안검사, 고정화, 탈수화 등의 과정을 거쳐 슬라이드 글라스(slide glass) 위에 얇은 시편으로 절단하여 올린 후, 이를 H&E, IHC 등의 염색을 통해 핵과 비핵물질, 혹은 특정 마커(marker)의 존재 여부 및 그 양을 눈으로 가늠할 수 있도록 하여, 병리학자가 염색된 이미지(image)를 통해 병변을 현미경으로 관찰하고 판별하는 것이 일반적인 조직검사의 흐름이다.In this way, pathological specimens play a crucial role in diagnosing cancer, which can be said to be the biggest enemy of modern human health. A sample of tissue suspected of being cancerous is removed through imaging such as CT or MRI, a blood test, or an endoscope, and the sample of the removed tissue goes through a process of visual inspection, immobilization, and dehydration, and is placed in a thin layer on a slide glass. After cutting and uploading the specimen, the specimen can be stained with H&E, IHC, etc. to visually determine the presence and amount of nuclei, non-nuclear substances, or specific markers, and the pathologist can use the stained image to visually determine the presence and amount of nuclei, non-nuclear substances, or specific markers. The general flow of biopsy is to observe and determine lesions under a microscope.
현재는 디지털 카메라 기술의 발달과 더불어 현미경을 통해 눈으로 보면서 판독하는 방법으로부터 디지털 이미지를 찍어 컴퓨터 모니터 상에서 판별을 하는 단계로 발전하였으며, 이러한 방법으로 얻은 이미지를 여러 병리학자가 공유하여 원거리에서도 의견을 교환하여 판독의 정확성을 높이기 위한 노력을 하고 있다.Nowadays, with the development of digital camera technology, the method has evolved from visual reading through a microscope to taking digital images and making judgments on a computer monitor. Images obtained through this method are shared by multiple pathologists to exchange opinions even from a distance. Efforts are being made to improve the accuracy of reading.
하지만, 과거나 현재 모두, 이미지를 현미경으로 보든 디지털 이미지로 얻든 간에 조직을 염색하여 보는 과정은 변함이 없으며, H&E(Hematoxylin and Eosin) 등 일반적인 세포 염색을 통한 염색 방법은 보존처리를 했다고 해도 시간이 지나면 색이 빠져 원래대로 돌아가는 특징이 있다. 그렇기에 현재 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터가 발생되는 문제가 있었다. 대한민국 등록특허공보 제1559798호가 선행기술 문헌으로 개시되고 있다.However, both in the past and present, the process of staining and viewing tissue remains the same regardless of whether the image is viewed under a microscope or obtained as a digital image, and staining methods using general cell staining such as H&E (Hematoxylin and Eosin) take time even if preserved. It has the characteristic of losing color over time and returning to its original state. Therefore, there was a problem that among the currently produced dyeing data, unusable data was generated due to missing dyeing. Republic of Korea Patent Publication No. 1559798 is disclosed as a prior art document.
이에 본 출원인은 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 돌리기 위한 디지털 복원 방법을 제안하고자 한다.Accordingly, the present applicant would like to propose a digital restoration method to restore the produced dyed data that is unusable due to loss of dyeing back to its original state.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망과, 생성망으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망을 포함하여 구성함으로써, 현재 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원할 수 있도록 하는, GAN을 활용한 디지털병리 염색 복원 장치 및 방법을 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above-mentioned problems of previously proposed methods, and includes a generation network that generates similar false data based on original data, which is actual learning data, and false data generated from the generation network and actual learning data. By learning using the original data and constructing a discrimination network that determines whether the input data is real learning data or false data, data that cannot be used due to loss of dyeing among the dyed data currently produced is restored to its original state. The purpose is to provide a digital pathology staining restoration device and method using GAN that allows digital restoration.
또한, 본 발명은, 실제 학습 데이터를 기반으로 거짓 데이터를 생성하는 생성망(Generator)과, 실제 학습 데이터와 생성망을 거쳐 만들어진 거짓 데이터를 이용해 학습하며 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 구별하는 역할을 하는 판별망(Discriminator)을 포함하여 구성하되, 생성망(Generator)과 판별망(Discriminator)이라는 두 개의 인공지능 네트워크를 경쟁적으로 학습시킴으로써, 원본 이미지, 염색 이미지를 트레이닝 하여 가짜 이미지를 도출해내는 과정으로 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원하되, 생성되는 데이터가 진짜인지 혹은 가짜인지 구별하기 힘든 수준까지 복원할 수 있도록 하는, GAN을 활용한 디지털병리 염색 복원 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention uses a generator that generates false data based on actual learning data, and false data created through the actual learning data and the generation network to learn, and whether the input data is real learning data or false data. It is composed of a discriminator that plays a role in distinguishing recognition, and by competitively learning two artificial intelligence networks, a generator and a discriminator, the original image and the dyed image are trained to detect fakes. A digital pathology stain restoration device using GAN that digitally restores data that cannot be used due to loss of stain through the process of deriving an image to its original state, but restores the data to a level where it is difficult to distinguish whether the generated data is real or fake. Another purpose is to provide a method and method.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 GAN을 활용한 디지털병리 염색 복원 장치는,A digital pathology staining restoration device using GAN according to the characteristics of the present invention to achieve the above object,
GAN(Generative Adversarial Network)을 활용한 디지털병리 염색 복원 장치로서,A digital pathology staining restoration device using GAN (Generative Adversarial Network),
실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망; 및A generating network that generates similar false data based on the original data, which is actual learning data; and
상기 생성망으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망을 포함하는 것을 그 구성상의 특징으로 한다.Its structural feature is that it learns using false data generated from the generation network and original data that is actual training data, and includes a discrimination network that determines whether the input data is real training data or false data.
바람직하게는, 상기 생성망은,Preferably, the production network is:
실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하되, 실제 학습 데이터인 원본 데이터와 구별이 불가능할 정도로 비슷한 거짓 데이터를 생성할 수 있다.Similar false data is generated based on the original data, which is actual learning data, but false data that is so similar to the original data, which is actual learning data, can be generated.
더욱 바람직하게는, 상기 생성망은,More preferably, the production network is:
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다.It can be implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
바람직하게는, 상기 판별망은,Preferably, the discriminant network is:
상기 생성망을 사용하지 않고 정확한 데이터를 구별할 수 있는 능력을 올리기 위한 학습을 먼저 수행할 수 있다.Learning to increase the ability to distinguish accurate data can be performed first without using the generative network.
더욱 바람직하게는, 상기 판별망은,More preferably, the discriminant network is:
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다.It can be implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
바람직하게는, 상기 디지털병리 염색 복원 장치는,Preferably, the digital pathology dye restoration device,
상기 생성망(110)과 판별망(120)의 두 개의 인공지능 네트워크를 경쟁적으로 학습시킬 수 있다.The two artificial intelligence networks, the
더욱 바람직하게는, 상기 디지털병리 염색 복원 장치는,More preferably, the digital pathology dye restoration device,
상기 생성망의 경쟁 네트워크를 통해 거짓 데이터를 생성하고, 이를 상기 판별망에서 판별하는 과정을 계속 반복하여 학습할 수 있다.The process of generating false data through the competition network of the generation network and discriminating it through the discriminator network can be continuously repeated and learned.
더욱 더 바람직하게는, 상기 디지털병리 염색 복원 장치는,Even more preferably, the digital pathology dye restoration device,
생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망의 거짓 데이터 생성과 판별망의 판별 과정의 반복된 학습으로 원본 이미지와 염색 이미지를 트레이닝 하여 가짜 이미지를 도출할 수 있다.Among the dyed data produced, the original image and the dyed image are trained through repeated learning of the generation of false data in the generative network and the discrimination process in the discriminant network so that data with missing dye that cannot be used can be restored through dyeing processing to create a fake image. can be derived.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 GAN을 활용한 디지털병리 염색 복원 방법은,The digital pathology staining restoration method using GAN according to the characteristics of the present invention to achieve the above object is,
GAN(Generative Adversarial Network)을 활용한 디지털병리 염색 복원 방법으로서,A digital pathology staining restoration method using GAN (Generative Adversarial Network),
(1) 디지털병리 염색 복원 장치의 판별망이 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행하는 단계;(1) performing learning to increase the ability of the discriminant network of the digital pathology dye restoration device to accurately distinguish input data;
(2) 디지털병리 염색 복원 장치의 생성망이 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 단계; 및(2) a step in which the generation network of the digital pathology stain restoration device generates similar false data based on the original data, which is actual learning data; and
(3) 디지털병리 염색 복원 장치의 판별망이 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(3) A characteristic of the digital pathology dye restoration device is that it includes a step of determining whether the input data is actual learning data or false data.
바람직하게는, 상기 단계 (2)에서의 생성망은,Preferably, the generating network in step (2) is:
실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하되, 실제 학습 데이터인 원본 데이터와 구별이 불가능할 정도로 비슷한 거짓 데이터를 생성할 수 있다.Similar false data is generated based on the original data, which is actual learning data, but false data that is so similar to the original data, which is actual learning data, can be generated.
더욱 바람직하게는, 상기 생성망은,More preferably, the production network is:
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다.It can be implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
바람직하게는, 상기 단계 (3)에서의 판별망은,Preferably, the discriminant network in step (3) is:
상기 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하는 과정을 더 포함할 수 있다.It may further include a learning process using false data generated from the
더욱 바람직하게는, 상기 판별망은,More preferably, the discriminant network is:
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다.It can be implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
바람직하게는, 상기 디지털병리 염색 복원 장치는,Preferably, the digital pathology dye restoration device,
상기 생성망(110)과 판별망(120)의 두 개의 인공지능 네트워크를 경쟁적으로 학습시킬 수 있다.The two artificial intelligence networks, the
더욱 바람직하게는, 상기 디지털병리 염색 복원 장치는,More preferably, the digital pathology dye restoration device,
상기 생성망의 경쟁 네트워크를 통해 거짓 데이터를 생성하고, 이를 상기 판별망에서 판별하는 과정을 계속 반복하여 학습할 수 있다.The process of generating false data through the competition network of the generation network and discriminating it through the discriminator network can be continuously repeated and learned.
더욱 더 바람직하게는, 상기 디지털병리 염색 복원 장치는,Even more preferably, the digital pathology dye restoration device,
생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망의 거짓 데이터 생성과 판별망의 판별 과정의 반복된 학습으로 원본 이미지와 염색 이미지를 트레이닝 하여 가짜 이미지를 도출할 수 있다.Among the dyed data produced, the original image and the dyed image are trained through repeated learning of the generation of false data in the generative network and the discrimination process in the discriminant network so that data with missing dye that cannot be used can be restored through dyeing processing to create a fake image. can be derived.
본 발명에서 제안하고 있는 GAN을 활용한 디지털병리 염색 복원 장치 및 방법에 따르면, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망과, 생성망으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망을 포함하여 구성함으로써, 현재 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원할 수 있도록 할 수 있다.According to the digital pathology staining restoration device and method using GAN proposed in the present invention, a generative network that generates similar false data based on original data, which is actual learning data, and false data and actual learning data generated from the generative network. By learning using the original data and constructing a discrimination network that determines whether the input data is real learning data or false data, data that cannot be used due to loss of dyeing among the dyed data currently produced is digitalized back to its original state. It can be restored.
또한, 본 발명의 GAN을 활용한 디지털병리 염색 복원 장치 및 방법에 따르면, 실제 학습 데이터를 기반으로 거짓 데이터를 생성하는 생성망(Generator)과, 실제 학습 데이터와 생성망을 거쳐 만들어진 거짓 데이터를 이용해 학습하며 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 구별하는 역할을 하는 판별망(Discriminator)을 포함하여 구성하되, 생성망(Generator)과 판별망(Discriminator)이라는 두 개의 인공지능 네트워크를 경쟁적으로 학습시킴으로써, 원본 이미지, 염색 이미지를 트레이닝 하여 가짜 이미지를 도출해내는 과정으로 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원하되, 생성되는 데이터가 진짜인지 혹은 가짜인지 구별하기 힘든 수준까지 복원할 수 있도록 할 수 있다.In addition, according to the digital pathology stain restoration device and method using GAN of the present invention, a generator that generates false data based on actual learning data and false data created through the actual learning data and the generation network are used. It is composed of a discriminator network that plays a role in distinguishing whether the data coming in as input during learning is real learning data or false data, and uses two artificial intelligence networks, a generator and a discriminator, in a competitive manner. By training the original image and the dyed image to derive a fake image, the data that cannot be used due to the dye being lost is digitally restored to its original state, but it can be restored to a level where it is difficult to distinguish whether the generated data is real or fake. You can do it.
도 1은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 생성망에서 실제 학습 데이터를 입력으로 하여 거짓 데이터를 생성하는 처리 구성을 개략적으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 판별망에서 거짓 데이터와 실제 학습 데이터를 입력으로 하여 학습하고, 데이터의 거짓 유무를 판단하는 처리 구성을 개략적으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법에 사용되는 원본 이미지의 일례의 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법에 사용되는 염색 이미지의 일례의 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법을 통해 도출된 가짜 이미지의 일례의 구성을 도시한 도면.Figure 1 is a diagram showing the configuration of a digital pathology staining restoration device using GAN according to an embodiment of the present invention in functional blocks.
Figure 2 is a diagram schematically showing a processing configuration for generating false data using actual learning data as input in a generation network of a digital pathology stain restoration device using GAN according to an embodiment of the present invention.
Figure 3 schematically shows the processing configuration of learning by inputting false data and actual learning data in the discriminant network of the digital pathology stain restoration device using GAN according to an embodiment of the present invention, and determining whether the data is false. One drawing.
Figure 4 is a diagram showing the flow of a digital pathology staining restoration method using GAN according to an embodiment of the present invention.
Figure 5 is a diagram showing the configuration of an example of an original image used in a digital pathology staining restoration method using GAN according to an embodiment of the present invention.
Figure 6 is a diagram showing the configuration of an example of a staining image used in a digital pathology staining restoration method using GAN according to an embodiment of the present invention.
Figure 7 is a diagram showing the configuration of an example of a fake image derived through a digital pathology staining restoration method using GAN according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Additionally, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.
도 1은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 생성망에서 실제 학습 데이터를 입력으로 하여 거짓 데이터를 생성하는 처리 구성을 개략적으로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 판별망에서 거짓 데이터와 실제 학습 데이터를 입력으로 하여 학습하고, 데이터의 거짓 유무를 판단하는 처리 구성을 개략적으로 도시한 도면이다. 도 1 내지 도 3에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치(100)는, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망(110), 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망(120)을 포함하여 구성될 수 있다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치의 구체적인 구성에 대해 설명하기로 한다.Figure 1 is a diagram showing the configuration of a digital pathology dye restoration device using GAN according to an embodiment of the present invention in functional blocks, and Figure 2 is a diagram showing digital pathology dye restoration using GAN according to an embodiment of the present invention. It is a diagram schematically showing the processing configuration of generating false data by inputting actual learning data from the device's generation network, and Figure 3 is a discriminant network of a digital pathology staining restoration device using GAN according to an embodiment of the present invention. This is a diagram schematically showing the processing configuration for learning with false data and actual learning data as input and determining whether the data is false. As shown in FIGS. 1 to 3, the digital pathology
생성망(110)은, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 구성이다. 이러한 생성망(110)은 도 2에 도시된 바와 같이, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하되, 실제 학습 데이터인 원본 데이터와 구별이 불가능할 정도로 비슷한 거짓 데이터를 생성할 수 있다.The
또한, 생성망(110)은 생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다. 이러한 생성망(110)은 생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 판별망(120)과 경쟁적으로 학습하여 진짜인지 혹은 가짜인지 구별하기 힘든 수준까지 만들 수 있는 인공지능 네트워크로 기능할 수 있다.Additionally, the
판별망(120)은, 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 구성이다. 이러한 판별망(120)은 생성망(110)을 사용하지 않고 정확한 데이터를 구별할 수 있는 능력을 올리기 위한 학습을 먼저 수행할 수 있다.The
또한, 판별망(120)은 생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다. 이러한 판별망(120)은 생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 생성망(110)과 경쟁적으로 학습하여 진짜인지 혹은 가짜인지 구별하기 힘든 수준까지 만들 수 있는 인공지능 네트워크로 기능할 수 있다.Additionally, the
이와 같이, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망(110)과, 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망(120)을 포함하는 디지털병리 염색 복원 장치(100)는 생성망(110)과 판별망(120)의 두 개의 인공지능 네트워크를 경쟁적으로 학습시킬 수 있도록 기능할 수 있다.In this way, learning is performed using the
또한, 디지털병리 염색 복원 장치(100)는 생성망(110)의 경쟁 네트워크를 통해 거짓 데이터를 생성하고, 이를 상기 판별망(120)에서 판별하는 과정을 계속 반복하여 학습할 수 있다.In addition, the digital pathology
또한, 디지털병리 염색 복원 장치(100)는 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망(110)의 거짓 데이터 생성과 판별망(120)의 판별 과정의 반복된 학습으로 원본 이미지와 염색 이미지를 트레이닝 하여 가짜 이미지를 도출할 수 있다. 즉, 디지털병리 염색 복원 장치(100)는 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망(110) 및 판별망(120)을 통해 원본 이미지, 염색 이미지를 트레이닝 하여 가짜 이미지, 즉 염색이 빠진 데이터를 염색 처리한 복원 데이터를 생성할 수 있게 된다.In addition, the digital pathology
도 4는 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법의 흐름을 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법에 사용되는 원본 이미지의 일례의 구성을 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법에 사용되는 염색 이미지의 일례의 구성을 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법을 통해 도출된 가짜 이미지의 일례의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 방법은, 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행하는 단계(S110), 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 단계(S120), 및 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단하는 단계(S130)를 포함하여 구현될 수 있다.Figure 4 is a diagram showing the flow of a digital pathology stain restoration method using GAN according to an embodiment of the present invention, and Figure 5 is a diagram showing the flow of a digital pathology dye restoration method using GAN according to an embodiment of the present invention. It is a diagram showing the configuration of an example of an original image, and FIG. 6 is a diagram showing the configuration of an example of a staining image used in a digital pathology staining restoration method using GAN according to an embodiment of the present invention, and FIG. 7 is a diagram showing the configuration of an example of a fake image derived through a digital pathology stain restoration method using GAN according to an embodiment of the present invention. As shown in Figure 4, the digital pathology stain restoration method using GAN according to an embodiment of the present invention includes the step of performing learning to increase the ability to accurately distinguish input data (S110), the original It may be implemented including a step of generating similar false data based on the data (S120), and a step of determining whether the input data is actual learning data or false data (S130).
단계 S110에서는, 디지털병리 염색 복원 장치(100)의 판별망(120)이 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행한다.In step S110, the
단계 S120에서는, 디지털병리 염색 복원 장치(100)의 생성망(110)이 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성한다. 이러한 단계 S120에서의 생성망(110)은 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하되, 실제 학습 데이터인 원본 데이터와 구별이 불가능할 정도로 비슷한 거짓 데이터를 생성할 수 있다. 여기서, 생성망(110)은 생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다.In step S120, the
단계 S130에서는, 디지털병리 염색 복원 장치(100)의 판별망(120)이 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단한다. 이러한 단계 S130에서의 판별망(120)은 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하는 과정을 더 포함할 수 있다. 여기서, 판별망(120)은 생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현될 수 있다.In step S130, the
이와 같이, 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행하는 단계(S110), 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 단계(S120), 및 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단하는 단계(S130)를 수행하는 디지털병리 염색 복원 장치(100)는 생성망(110)과 판별망(120)의 두 개의 인공지능 네트워크를 경쟁적으로 학습시킬 수 있다.In this way, a step of performing learning to increase the ability to accurately distinguish input data (S110), a step of generating similar false data based on the original data (S120), and the input data are actual learning data. The digital pathology
또한, 디지털병리 염색 복원 장치(100)는 생성망(110)의 경쟁 네트워크를 통해 거짓 데이터를 생성하고, 이를 판별망(120)에서 판별하는 과정을 계속 반복하여 학습할 수 있다.In addition, the digital pathology
또한, 디지털병리 염색 복원 장치(100)는 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망(110)의 거짓 데이터 생성과 판별망(120)의 판별 과정의 반복된 학습으로 원본 이미지와 염색 이미지를 트레이닝 하여 가짜 이미지를 도출할 수 있다.In addition, the digital pathology
상술한 바와 같이, 본 발명의 일실시예에 따른 GAN을 활용한 디지털병리 염색 복원 장치 및 방법은, 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망과, 생성망으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망을 포함하여 구성함으로써, 현재 생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원할 수 있도록 할 수 있으며, 특히, 실제 학습 데이터를 기반으로 거짓 데이터를 생성하는 생성망(Generator)과, 실제 학습 데이터와 생성망을 거쳐 만들어진 거짓 데이터를 이용해 학습하며 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 구별하는 역할을 하는 판별망(Discriminator)을 포함하여 구성하되, 생성망(Generator)과 판별망(Discriminator)이라는 두 개의 인공지능 네트워크를 경쟁적으로 학습시킴으로써, 원본 이미지, 염색 이미지를 트레이닝 하여 가짜 이미지를 도출해내는 과정으로 염색이 빠져서 사용할 수 없는 데이터를 다시 원래대로 디지털 복원하되, 생성되는 데이터가 진짜인지 혹은 가짜인지 구별하기 힘든 수준까지 복원할 수 있도록 할 수 있게 된다.As described above, the digital pathology staining restoration device and method using GAN according to an embodiment of the present invention includes a generation network that generates similar false data based on original data, which is actual learning data, and a generation network generated from the generation network. By learning using the original data, which is false data and real learning data, and including a discriminator network that determines whether the input data is real learning data or false data, the dyeing data currently produced cannot be used due to missing dyeing data. Data can be digitally restored to its original state. In particular, it is inputted by learning using a generator that generates false data based on actual learning data, and false data created through the actual learning data and the generation network. It consists of a discriminator network that plays a role in distinguishing whether the incoming data is real learning data or false data, by competitively learning two artificial intelligence networks, a generator and a discriminator. , a process of deriving fake images by training the original image and dyed image, digitally restores data that is unusable due to loss of dye to its original state, and restores it to a level where it is difficult to distinguish whether the generated data is real or fake. It becomes possible.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.
100: 본 발명의 일실시예에 따른 디지털병리 염색 복원 장치
110: 생성망(Generator Network)
120: 판별망(Discriminator Network)
S110: 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행하는 단계
S120: 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 단계
S130: 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단하는 단계100: Digital pathology staining restoration device according to an embodiment of the present invention
110: Generator Network
120: Discriminator Network
S110: Step of performing learning to increase the ability to accurately distinguish input data
S120: Generating similar false data based on the original data
S130: Step to determine whether the input data is actual learning data or false data
Claims (16)
실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 생성망(110); 및
상기 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하고, 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판별하는 판별망(120)을 포함하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
A digital pathology staining restoration device (100) using GAN (Generative Adversarial Network),
A generation network 110 that generates similar false data based on the original data, which is actual learning data; and
Characterized by learning using false data generated from the generation network 110 and original data that is actual training data, and comprising a discrimination network 120 that determines whether the input data is real training data or false data. A digital pathology staining restoration device using GAN.
실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하되, 실제 학습 데이터인 원본 데이터와 구별이 불가능할 정도로 비슷한 거짓 데이터를 생성하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 1, wherein the generating network 110 is:
A digital pathology stain restoration device using GAN, which generates similar false data based on the original data, which is actual learning data, but is so similar to the original data, which is actual learning data, that it is indistinguishable from the original data, which is actual learning data.
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현되는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 2, wherein the generating network 110,
A digital pathology stain restoration device using GAN, characterized in that it is implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
상기 생성망(110)을 사용하지 않고 정확한 데이터를 구별할 수 있는 능력을 올리기 위한 학습을 먼저 수행하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 1, wherein the discrimination network 120 is:
A digital pathology dye restoration device using GAN, characterized in that learning is first performed to increase the ability to distinguish accurate data without using the generation network 110.
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현되는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 4, wherein the discrimination network 120 is:
A digital pathology stain restoration device using GAN, characterized in that it is implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
상기 생성망(110)과 판별망(120)의 두 개의 인공지능 네트워크를 경쟁적으로 학습시키는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method according to any one of claims 1 to 5, wherein the digital pathology dye restoration device 100,
A digital pathology staining restoration device using GAN, characterized in that it competitively learns two artificial intelligence networks, the generation network (110) and the discriminator network (120).
상기 생성망(110)의 경쟁 네트워크를 통해 거짓 데이터를 생성하고, 이를 상기 판별망(120)에서 판별하는 과정을 계속 반복하여 학습하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 6, wherein the digital pathology dye restoration device 100,
A digital pathology stain restoration device using GAN, characterized in that it learns by continuously repeating the process of generating false data through the competition network of the generation network (110) and discriminating it in the discrimination network (120).
생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망(110)의 거짓 데이터 생성과 판별망(120)의 판별 과정의 반복된 학습으로 원본 이미지와 염색 이미지를 트레이닝 하여 가짜 이미지를 도출하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 7, wherein the digital pathology dye restoration device 100,
The original image and dyeing are performed through repeated learning of the false data generation of the generating network 110 and the discrimination process of the discriminant network 120 so that data with missing dyeing that cannot be used among the produced dyeing data can be restored by dyeing. A digital pathology staining restoration device using GAN, which is characterized by training images to derive fake images.
(1) 디지털병리 염색 복원 장치(100)의 판별망(120)이 입력되는 데이터를 정확히 구별할 수 있는 능력을 올리기 위한 학습을 수행하는 단계;
(2) 디지털병리 염색 복원 장치(100)의 생성망(110)이 실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하는 단계; 및
(3) 디지털병리 염색 복원 장치(100)의 판별망(120)이 입력으로 들어오는 데이터가 실제 학습 데이터인지 거짓 데이터인지를 판단하는 단계를 포함하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.
A digital pathology staining restoration method using GAN (Generative Adversarial Network),
(1) performing learning to increase the ability of the discrimination network 120 of the digital pathology dye restoration device 100 to accurately distinguish input data;
(2) the generation network 110 of the digital pathology stain restoration device 100 generates similar false data based on the original data, which is actual learning data; and
(3) Digital pathology staining restoration using GAN, characterized in that it includes a step where the discrimination network 120 of the digital pathology staining restoration device 100 determines whether the input data is actual learning data or false data. method.
실제 학습 데이터인 원본 데이터를 기반으로 비슷한 거짓 데이터를 생성하되, 실제 학습 데이터인 원본 데이터와 구별이 불가능할 정도로 비슷한 거짓 데이터를 생성하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.
The method of claim 9, wherein the generating network 110 in step (2) is,
A digital pathology stain restoration method using GAN, which is characterized by generating similar false data based on the original data, which is actual learning data, but generating false data that is so similar to the original data, which is actual learning data, that it is indistinguishable from the original data, which is actual learning data.
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현되는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.
The method of claim 10, wherein the generating network 110 is:
A digital pathology staining restoration method using GAN, characterized in that it is implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
상기 생성망(110)으로부터 생성된 거짓 데이터와 실제 학습 데이터인 원본 데이터를 이용하여 학습하는 과정을 더 포함하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 장치.
The method of claim 9, wherein the discriminant network 120 in step (3) is,
A digital pathology stain restoration device using GAN, further comprising a learning process using false data generated from the generation network 110 and original data, which is actual learning data.
생산적 적대 신경망(Generative Adversarial Network, GAN) 알고리즘의 경쟁 네트워크로 구현되는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.
The method of claim 12, wherein the discrimination network 120 is:
A digital pathology staining restoration method using GAN, characterized in that it is implemented as a competitive network of the Generative Adversarial Network (GAN) algorithm.
상기 생성망(110)과 판별망(120)의 두 개의 인공지능 네트워크를 경쟁적으로 학습시키는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.
The method according to any one of claims 9 to 13, wherein the digital pathology dye restoration device 100,
A digital pathology staining restoration method using GAN, characterized by competitively learning two artificial intelligence networks, the generation network 110 and the discriminator network 120.
상기 생성망(110)의 경쟁 네트워크를 통해 거짓 데이터를 생성하고, 이를 상기 판별망(120)에서 판별하는 과정을 계속 반복하여 학습하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.
The method of claim 14, wherein the digital pathology dye restoration device 100,
A digital pathology stain restoration method using GAN, characterized in that the process of generating false data through the competition network of the generation network (110) and discriminating it in the discrimination network (120) is continuously repeated and learned.
생산된 염색 데이터 중에 염색이 빠져서 사용할 수 없는 염색이 빠진 데이터를 염색 처리하여 복원할 수 있도록 생성망(110)의 거짓 데이터 생성과 판별망(120)의 판별 과정의 반복된 학습으로 원본 이미지와 염색 이미지를 트레이닝 하여 가짜 이미지를 도출하는 것을 특징으로 하는, GAN을 활용한 디지털병리 염색 복원 방법.The method of claim 15, wherein the digital pathology dye restoration device 100,
The original image and dyeing are performed through repeated learning of the false data generation of the generating network 110 and the discrimination process of the discriminant network 120 so that data with missing dyeing that cannot be used among the produced dyeing data can be restored by dyeing. A digital pathology staining restoration method using GAN, which is characterized by training images to derive fake images.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220059873A KR20230160440A (en) | 2022-05-17 | 2022-05-17 | Device and method for digital pathological dyeing restoration using generative adversarial network |
| PCT/KR2023/006259 WO2023224302A1 (en) | 2022-05-17 | 2023-05-09 | Device and method for restoring digital pathology staining by using gan |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220059873A KR20230160440A (en) | 2022-05-17 | 2022-05-17 | Device and method for digital pathological dyeing restoration using generative adversarial network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230160440A true KR20230160440A (en) | 2023-11-24 |
Family
ID=88835777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220059873A KR20230160440A (en) | 2022-05-17 | 2022-05-17 | Device and method for digital pathological dyeing restoration using generative adversarial network |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230160440A (en) |
| WO (1) | WO2023224302A1 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112106061A (en) * | 2018-03-30 | 2020-12-18 | 加利福尼亚大学董事会 | Method and system for digital staining of unlabeled fluorescent images using deep learning |
| KR102284356B1 (en) * | 2019-01-31 | 2021-08-02 | 동서대학교 산학협력단 | Data imbalance solution method using Generative adversarial network |
-
2022
- 2022-05-17 KR KR1020220059873A patent/KR20230160440A/en not_active Application Discontinuation
-
2023
- 2023-05-09 WO PCT/KR2023/006259 patent/WO2023224302A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023224302A1 (en) | 2023-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110326024B (en) | Method and apparatus for processing histological images captured by a medical imaging apparatus | |
| CN111539930B (en) | Dynamic ultrasonic breast nodule real-time segmentation and identification method based on deep learning | |
| CN115019049B (en) | Bone imaging bone lesion segmentation method, system and equipment based on deep neural network | |
| CN110189293A (en) | Cell image processing method, device, storage medium and computer equipment | |
| JP2024027078A (en) | Multi-scale whole slide pathological feature fusion extraction method, system, electronic equipment and storage medium | |
| US20220012879A1 (en) | Cellular diagnostic and analysis methods | |
| Wang et al. | Optical visualization of cerebral cortex by label-free multiphoton microscopy | |
| JP2022126373A (en) | Information processing device, information processing method, computer program, and medical diagnostic system | |
| Do et al. | Supporting thyroid cancer diagnosis based on cell classification over microscopic images | |
| Sun et al. | Detection of breast tumour tissue regions in histopathological images using convolutional neural networks | |
| CN111640097A (en) | Skin mirror image identification method and equipment | |
| KR20230160440A (en) | Device and method for digital pathological dyeing restoration using generative adversarial network | |
| CN114998644B (en) | Tumor diagnosis system, construction method thereof, terminal device and storage medium | |
| JP6710853B2 (en) | Probe-type confocal laser microscope endoscopic image diagnosis support device | |
| CN111798427B (en) | System for detecting karyokiness in gastrointestinal stromal tumor based on migration learning | |
| CN114494132A (en) | Disease classification system based on deep learning and fiber bundle spatial statistical analysis | |
| CN114372985A (en) | Diabetic retinopathy focus segmentation method and system adapting to multi-center image | |
| KR20220094791A (en) | Method and system for data augmentation | |
| Abinaya et al. | A systematic review: Intellectual detection and prediction of cancer using dl techniques | |
| Tirmén | Using Generative Adversarial Networks for H&E-to-HER2 Stain Translation in Digital Pathology Images | |
| RU2785853C1 (en) | Method for differential diagnostics of a malignant tumour and a benign process of bone tissue based on scanned images of a histological glass | |
| US20220012882A1 (en) | Device for the qualitative evaluation of human organs | |
| Flores et al. | Identifying precursory cancer lesions using temporal texture analysis | |
| Arjun et al. | A combined approach of VGG 16 and LSTM transfer learning technique for skin melanoma classification | |
| Murali | Multi-Compartment Segmentation in Renal Transplant Pathology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |