KR102603319B1 - 딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 - Google Patents
딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 Download PDFInfo
- Publication number
- KR102603319B1 KR102603319B1 KR1020210017691A KR20210017691A KR102603319B1 KR 102603319 B1 KR102603319 B1 KR 102603319B1 KR 1020210017691 A KR1020210017691 A KR 1020210017691A KR 20210017691 A KR20210017691 A KR 20210017691A KR 102603319 B1 KR102603319 B1 KR 102603319B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- deep learning
- synthetic image
- synthetic
- training
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013135 deep learning Methods 0.000 title claims abstract description 56
- 238000013145 classification model Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 45
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000002575 gastroscopy Methods 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 15
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 description 16
- 230000002159 abnormal effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000002496 gastric effect Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 208000005718 Stomach Neoplasms Diseases 0.000 description 5
- 206010017758 gastric cancer Diseases 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 201000011549 stomach cancer Diseases 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 208000007882 Gastritis Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 206010017788 Gastric haemorrhage Diseases 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 208000009453 Thyroid Nodule Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
컴퓨터에 의해 구현되는 영상 분류 방법으로서, 제1 딥러닝 알고리즘에 따라, 복수의 실제 촬영 영상 데이터를 제1 훈련 데이터 세트로서 이용하여 훈련함으로써, 제1 딥러닝 기반 영상 분류 모델을 형성하는 단계, 상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용한 머신러닝에 의해 합성 영상 데이터 세트를 획득하는 단계, 상기 합성 영상 데이터 세트의 각 합성 영상 데이터 중 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계, 상기 제1 딥러닝 기반 영상 분류 모델을, 상기 선별된 합성 영상 데이터들에 기초하여 더 훈련시킴으로써, 상기 제2 딥러닝 기반 영상 분류 모델을 형성하는 단계, 영상 데이터를 수신하는 단계, 상기 제2 딥러닝 기반 영상 분류 모델에 기초하여, 수신된 상기 영상 데이터를 분석하는 단계, 및 수신된 상기 영상 데이터를 복수의 카테고리 중 하나의 카테고리로 분류하는 단계를 포함하는, 영상 분류 방법이 제공된다.
Description
본 개시는, 머신러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 등에 관한 것이며, 보다 구체적으로는 머신러닝 기반 영상 분류 모델에 기초하여 위 내시경 영상의 병변 여부를 판별하는 방법 등에 관한 것이다.
2018년 Global Cancer Observatory에서 발표한 통계에 따르면, 위암은 전세계적으로 5번째로 가장 빈번하게 진단되는 암이자 3번째로 주요한 암 사망 원인이다. 위암을 유발하는 전암성 병변에는 위염, 위궤양 및 위 출혈 등이 있는데, 이러한 병변들은 대부분은 위암으로 발전할 때까지 큰 증상이 없기 때문에 조기 발견이 어려운 문제가 있다. 따라서 위암으로 진행될 수 있는 병변을 위 내시경 검사를 통해 조기에 발견하여 위암을 예방하는 것이 중요하다. 최근 위 내시경 검사의 중요성이 부각됨에 따라 위 내시경 수험자의 수 역시 증가하고 있다.
한편, 의료 영상 진단의 수가 급격히 증가함에 따라 육안으로 진단을 수행하는 전문의의 피로가 증가하고 있다, 그러므로 의료 영상을 분석하여 병변을 감지하는 전문가의 진단 작업을 간소화시켜주고 진단의 정확도를 향상시키도록 돕는, 컴퓨터 진단 지원 시스템(Computer-Aided Diagnosis; CADx)의 필요성이 증가하고 있다. 특히, 최근에는, 딥러닝을 이용한 컴퓨터 기반 진단 지원 시스템에 대한 연구가 활발히 진행되고 있다.
딥러닝 기술은 충분한 양질의 데이터 확보가 우수한 성능 확보를 위하여 반드시 선행되어야 한다. 파라미터들을 훈련시키기에 충분한 훈련 데이터를 확보하지 못할 경우 과적합 문제가 쉽게 발생하며 좋은 성능을 기대하기 어렵다. 그런데 의료 영상 데이터의 수집은, 특성상, 환자의 개인정보보호를 위해 기관 생명윤리 위원회의 승인이 선행되어야 하고, 건강 검진이나 생검 검사를 포함한 복잡한 관련 검증 프로세스가 필요하여, 비용과 시간이 많이 소요되는 문제가 있다. 그에 따라, 최근에는 많은 연구들이, 데이터 증강(data augmentation)을 통해 실제 데이터와 유사한 데이터를 생성 및 활용하는 방법을 제안하고 있다.
예컨대, Frid-Adar 등은 간의 컴퓨터 단층 촬영(CT) 이미지에 대하여 회전(rotation), 뒤집기(flipping), 트랜스미션(transmission) 및 스케일링(scaling) 등을 통한 데이터 증강 방법들과 일반적 적대 신경망(GAN)의 적용을 도입한 바 있다. Zafar 등은 피부 병변 이미지에 랜덤한 이미지-밝기와 색-대비 값을 적용하여 데이터를 증강(augmenting)시키고 흑색종을 분류하는 방법을 제안한 바 있다. Shin 등은 뇌 MRI 영상으로부터 GAN을 이용하여 뇌종양을 갖는 합성 비정상 자기 공명 영상(MRI) 영상들을 생성하는 방법을 제안한 바 있다. 또 Dai 등은 흉부 X-선 이미지로 훈련된 GAN을 통해 폐와 심장의 분할 이미지들(split images)을 생성한 바 있고, Gomes Ataide 등은 갑상선 결절 초음파 이미지를 뒤집고, 회전하고, 블러링하여 랜덤 포레스트 분류 모델(random forest classifier)을 통해, 데이터를 증강하고, 특징을 추출하고, 양성 또는 악성으로 분류하도록 하였다. Lyu 등은 다단계 교차 잔류(multi-level cross-residual) 컨볼루션 신경망(CNN)을 통해 다양한 유형의 폐 결절 악성 종양을 분류하였다. 이러한 연구들은 대부분 폐, 피부, 뇌 병변 등과 관련한 것이며, 기초적인 증강(basic augmentation) 방법이나 GAN을 적용하여 수행된 것들이었다.
한편 위 병변에 관한 연구로는, Asperti 등이 위 내시경 영상을 특정 범위 내에서 회전(rotation), 폭 이동(width shift), 높이 이동(height shift), 전단(shear), 확대/축소(zoom) 방법을 랜덤하게 적용하여 데이터 양을 증가시킨 바 있고, Togo 등이 손실 함수-기반 조건부 점진적 성장 GAN(loss function-based conditional progressive growing generative adversarial network)을 사용하여 X선 위염 이미지를 생성함으로써 모델의 성능을 개선한 바 있다. 또, Nguyen 등은 앙상블 러닝(ensemble learning)을 이용하여 VGG, DenseNet 및 Inception-기반 네트워크를 통해 생체 내시경 영상들을 정상 또는 비정상으로 분류하는 방법을 제안한 바 있다. 이러한 연구들은 위 내시경과 위 X-선 이미지를 사용한 연구이지만, 기초적인 증강 방법이나 GAN을 적용하여 데이터를 증강하여 수행된 것들이었다.
더욱 개선된 성능을 갖는, 머신러닝/딥러닝 기반의 컴퓨터 진단 지원 방법 등이 필요로 된다. 특히, 위내시경 영상의 정상(normal)/비정상(abnormal) 분류를 통한 위 병변 진단과 관련하여, 우수한 성능을 갖는 머신러닝/딥러닝 기반의 영상 분류 모델에 기초한 컴퓨터 진단 지원 방법 등이 필요로 된다. 또한 이러한 머신러닝/딥러닝 기반의 영상 분류 모델 및 그에 따른 컴퓨터 진단 지원 방법 등의 성능을 향상시키기 위하여, 양질의 우수한 훈련 데이터를 확보할 효과적인 방안이 필요로 된다.
본 개시의 일 특징에 의하면, 컴퓨터에 의해 구현되는 영상 분류 방법으로서, 제1 딥러닝 알고리즘에 따라, 복수의 실제 촬영 영상 데이터를 제1 훈련 데이터 세트로서 이용하여 훈련함으로써, 제1 딥러닝 기반 영상 분류 모델을 형성하는 단계, 상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용한 머신러닝에 의해 합성 영상 데이터 세트를 획득하는 단계, 상기 합성 영상 데이터 세트의 각 합성 영상 데이터 중 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계, 상기 제1 딥러닝 기반 영상 분류 모델을, 상기 선별된 합성 영상 데이터들에 기초하여 더 훈련시킴으로써, 상기 제2 딥러닝 기반 영상 분류 모델을 형성하는 단계, 영상 데이터를 수신하는 단계, 상기 제2 딥러닝 기반 영상 분류 모델에 기초하여, 수신된 상기 영상 데이터를 분석하는 단계, 및 수신된 상기 영상 데이터를 복수의 카테고리 중 하나의 카테고리로 분류하는 단계를 포함하는, 영상 분류 방법이 제공된다.
본 개시의 일 실시예에 의하면, 상기 제1 훈련 데이터 세트의 각 데이터 및 상기 합성 영상 데이터 세트의 각 데이터는, 각각, 상기 복수의 카테고리 중 하나의 카테고리로 레이블링될 수 있다.
본 개시의 일 실시예에 의하면, 상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용한 머신러닝에 의해 합성 영상 데이터 세트를 획득하는 단계는, 제2 딥러닝 알고리즘에 따라, 상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용하여 훈련함으로써, 딥러닝 기반 영상 생성 모델을 형성하는 단계, 상기 딥러닝 기반 영상 생성 모델에 의해 제1 세트의 합성 영상 데이터를 생성하는 단계, 소정의 정책에 기초하여, 상기 제1 세트의 합성 영상 데이터 각각을 변형함으로써 제2 세트의 합성 영상 데이터를 생성하는 단계, 및 상기 제1 세트의 합성 영상 데이터 및 상기 제2 세트의 합성 영상 데이터를 상기 합성 영상 데이터 세트로서 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 상기 합성 영상 데이터 세트의 각 합성 영상 데이터 중 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계는, 상기 제1 딥러닝 기반 영상 분류 모델에, 상기 합성 영상 데이터 세트의 각 합성 영상 데이터를 적용함으로써, 상기 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 상기 제1 딥러닝 기반 영상 분류 모델에, 상기 합성 영상 데이터 세트의 각 영상 데이터를 적용함으로써, 상기 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계는, 상기 합성 영상 데이터 세트의 각 합성 영상 데이터를 상기 제1 딥러닝 기반 분류 모델에 기초하여 분류하는 단계, 각각의 합성 영상 데이터에 대한 상기 분류의 정확도를 획득하는 단계, 및 상기 정확도가 소정의 값 이상인 합성 영상 데이터를, 상기 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 상기 제1 딥러닝 알고리즘은 Xception 알고리즘일 수 있다.
본 개시의 일 실시예에 의하면, 상기 제2 딥러닝 알고리즘은 DCGAN 알고리즘일 수 있다.
본 개시의 일 실시예에 의하면, 상기 소정의 정책은, AutoAugment 강화학습 알고리즘에 따라 결정된 정책일 수 있다.
본 개시의 일 실시예에 의하면, 상기 소정의 정책은, AutoAugment 강화학습 알고리즘에 따라 결정된, CIFAR-10 데이터 세트에 최적화된 정책일 수 있다.
본 개시의 일 실시예에 의하면, 상기 영상 데이터는 촬영된 위 내시경 영상 데이터이고, 상기 영상 데이터를 복수의 카테고리 중 하나의 카테고리로 분류하는 단계는, 상기 영상 데이터를 병변이 있는 카테고리와 병변이 없는 카테고리로 분류하는 단계를 포함할 수 있다.
본 개시의 다른 특징에 의하면, 하나 이상의 컴퓨터 실행 가능 명령을 기록한 컴퓨터 판독가능 기록 매체로서, 상기 하나 이상의 컴퓨터 실행 가능 명령은, 컴퓨터에 의해 실행될 경우, 상기 컴퓨터로 하여금, 전술한 방법들 중 어느 하나의 방법을 수행하도록 동작하게 하는, 컴퓨터 판독가능 기록 매체가 제공된다.
본 개시의 일 실시예는, 위 내시경 진단 분야에 활용되어, 전문의가 위 내시경 영상으로부터의 병변 여부 진단을 정확하고 신속하게 하도록 지원할 수 있다. 본 개시의 일 실시예는, 기타 다양한 의료 영상 분류 분야에 적용되어 우수한 성능을 갖는 딥러닝 기반 진단 시스템을 제공할 수 있다. 본 개시의 실시예는, 그외에도 다양한 분야의 딥러닝 기반 모델 구축과 관련하여, 충분한 훈련 데이터 확보가 어려운 다양한 분야에 활용되어, 딥러닝 기반 모델의 성능을 크게 개선할 수 있다.
도 1은, 본 개시의 일 실시예에 따라, 딥러닝 기반 영상 분류 모델을 확보하고 그에 따라 영상을 분류하는 방법에 관한 개략적 절차 흐름을 보여주는 흐름도이다.
도 2는, 도 1의 절차 흐름을 각 단계별로 적용 가능한 예시적 알고리즘과 함께 다차원적으로 보여주는 설명 참고도이다.
도 3은, 표준 컨볼루션과 Depth-wise separable 컨볼루션의 과정을 개념적으로 도시한 도면이다.
도 4는, GAN 알고리즘의 개념적 구조와, DCGAN에 따른 이미지 생성 과정의 일 예를 개념적으로 도시한 도면이다.
도 5는, AutoAugment 알고리즘의 동작 흐름을 개념적으로 간략히 도시한 도면이다.
도 6은, 본 개시의 일 실시예에 따른, 이미지 품질 측정 과정을 개략적으로 도시한 도면이다.
도 7은, 본 개시의 일 실시예에 따라, 다양한 상황에서의 딥러닝 기반 영상 분류 모델의 성능들을 나타낸 도면이다.
도 2는, 도 1의 절차 흐름을 각 단계별로 적용 가능한 예시적 알고리즘과 함께 다차원적으로 보여주는 설명 참고도이다.
도 3은, 표준 컨볼루션과 Depth-wise separable 컨볼루션의 과정을 개념적으로 도시한 도면이다.
도 4는, GAN 알고리즘의 개념적 구조와, DCGAN에 따른 이미지 생성 과정의 일 예를 개념적으로 도시한 도면이다.
도 5는, AutoAugment 알고리즘의 동작 흐름을 개념적으로 간략히 도시한 도면이다.
도 6은, 본 개시의 일 실시예에 따른, 이미지 품질 측정 과정을 개략적으로 도시한 도면이다.
도 7은, 본 개시의 일 실시예에 따라, 다양한 상황에서의 딥러닝 기반 영상 분류 모델의 성능들을 나타낸 도면이다.
이하, 첨부 도면을 참조하여 본 개시의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 개시의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 개시의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.
본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는 "및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다' 또는 '가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.
본 개시의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.
이하, 첨부된 도면을 참조하여, 본 개시의 실시예에 대해 구체적으로 설명하기로 한다.
도 1은, 본 개시의 일 실시예에 따라, 딥러닝 기반 영상 분류 모델을 확보하고 그에 따라 영상을 분류하는 방법에 관한 개략적 절차 흐름을 보여주는 흐름도이다. 도 2는, 도 1의 절차 흐름을 각 단계별로 적용 가능한 예시적 알고리즘과 함께 다차원적으로 보여주는 설명 참고도이다.
우선, 도 1의 단계(102)에서는, 딥러닝 기반 영상 분류 모델의 생성을 위한 훈련 데이터 세트의 확보가 이루어질 수 있다. 본 개시의 일 실시예에 의하면, 훈련 데이터 세트의 각 데이터는 실제 검사에서 촬영된 위 내시경 영상 데이터로서, 전문의에 의해 정상 또는 비정상으로의 분류가 완료된 데이터일 수 있다. 본 개시의 일 실시예에 의하면, 각 훈련 데이터는 백색광 하에서 촬영된 위 내시경 영상 데이터로서 필요한 심의나 승인을 거쳐 수집된 데이터일 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 도 2에는, 확보된 훈련 데이터 세트(202)가 도시되어 있다.
다음으로, 단계(104)에서는, 딥러닝 기반 영상 분류 모델이 형성될 수 있다. 본 개시의 일 실시예에 의하면, 단계(104)에서는, 소정의 딥러닝 분류 알고리즘에 따라, 단계(102)에서 확보된 훈련 데이터 세트를 이용하여 훈련 또는 학습을 수행하여 딥러닝 기반 영상 분류 모델이 형성될 수 있다. 본 개시의 일 실시예에 의하면, 단계(104)에서 이용되는 딥러닝 분류 알고리즘은 Xception 알고리즘일 수 있다. 도 2에는, 훈련 데이터 세트(202)가, Xception 알고리즘(204)에 적용되어, 분류 모델(208)을 형성하는 과정이 도시되어 있다.
참고로, Xception 알고리즘은 Inception 알고리즘을 기반으로 한 알고리즘으로서, GoogLeNet의 Inception 모듈을 사용하여 노드 간의 연결을 줄일 뿐 아니라 모든 채널들 간의 관계 찾기와 로컬 정보 찾기를 분리하도록 구성된 신경망 알고리즘이다. Xception 알고리즘에서는, depth-wise separable 컨볼루션이 사용되는데, depth-wise separable 컨볼루션에서는 입력 채널이 각각 분리되어 각 채널마다에 대해 컨볼루션 연산이 수행되고 1x1 컨볼루션 레이어가 획득된다. 표준 컨볼루션과 depth-wise separable 컨볼루션을 비교하면, 도 3에 도시된 바와 같이, 표준 컨볼루션의 경우 모든 채널 및 영역 정보가 고려되어 하나의 피쳐맵(Feature Map)이 형성되는데 반해, depth-wise separable 컨볼루션의 경우 각 채널마다 하나의 피쳐맵을 생성하는 depth-wise 컨볼루션을 수행한 후 point-wise 컨볼루션이라고 불리는 1x1 컨볼루션 동작을 수행함으로써 출력 피쳐맵의 수를 조정하도록 동작한다.
도 1로 돌아가서, 단계(106)에서는, 하나 이상의 머신러닝 알고리즘에 따라 소정의 합성 영상 데이터 세트가 생성될 수 있다. 본 개시의 일 실시예에 의하면, 단계(106)에서는, 예컨대 단계(102)에서 획득된 훈련 데이터 세트(정상으로 분류된 훈련 데이터들 및 비정상으로 분류된 훈련 데이터들)의 전체 또는 적어도 일부를, 소정의 신경망 알고리즘에 적용하여, 합성 영상 데이터들(정상 합성 영상 데이터들 및 비정상 합성 영상 데이터들을 포함)을 생성할 수 있다. 본 개시의 일 실시예에 의하면, 단계(106)에서는 딥컨볼루션 생성적 적대 신경망(DCGAN) 알고리즘에 기초하여, 단계(102)에서 획득된 훈련 데이터 세트, 예컨대 실제 촬영에 의해 획득된 위 내시경 영상 데이터들을 이용한 훈련을 통해, 합성 영상 데이터들을 생성해낼 수 있다.
참고로, 주지하듯이, GAN은 두 개의 신경망, 즉 생성자(generator) 신경망과 판별자(discriminator) 신경망으로 구성된 심층 신경망 아키텍처이다. 생성자 신경망은 잠재 공간(latent space)이라고 하는 무작위로 생성된 벡터에 기초하여 실제 데이터와 유사한 새로운 데이터를 생성하는 것을 목표로 하고, 판별자 신경망은 생성자 신경망을 통해 생성된 합성 데이터와 실제 데이터를 판별하고자 한다. 도 4의 (a)에 도시된 바와 같이, 두 개의 신경망은 생성 및 판별 프로세스를 반복하여 서로에 대해 훈련되며, 훈련 중에 두 신경망 각각은 자체 목적 함수를 최소화하려고 노력한다. 수학식 1은 GAN의 최종 목적 함수를 나타낸다.
한편, DCGAN 알고리즘은 이러한 GAN 알고리즘을 개선한 것이다. GAN에서는 완전 연결 레이어(fully connected layer)가 사용되기 때문에 생성자 신경망에 의한 고해상도 이미지 생성이 제한되고 학습이 안정적이지 않은 문제가 있었는데, DCGAN은 양측 하위 신경망에서 컨볼루션 레이어를 사용하여 이러한 제한을 해결하도록 한 것이다. DCGAN에서, 판별자 신경망은 고밀도 분류 레이어(dense classification layer)를 사용하여 이미지를 실제 또는 가짜로 분류한다. 생성자 신경망은 균일 분포에서 랜덤 노이즈 벡터를 가져와 최종 이미지를 생성할 때까지 이를 변환한다. 도 4의 (b)는 128 x 128 이미지를 생성하는 생성자의 구조를 보여주고 있다. 도시된 바에 의하면, 생성자 신경망은, (배치 크기, 100) 모양의 텐서를 1개 가져와 (배치 크기, 128 x 128 x 3) 모양의 텐서를 출력할 수 있다.
도 1의 단계(108)에서는, 소정의 변형 정책에 기초하여, 단계(106)에서 획득된 합성 영상 데이터(정상 합성 영상 데이터들 및 비정상 합성 영상 데이터들 포함)의 및/또는 단계(102)에서 확보된 훈련 데이터(예컨대 실제 검사에서 촬영된 위 내시경 영상 데이터들로서, 정상 훈련 데이터들 및 비정상 훈련 데이터들 포함) 각각을 변형함으로써, 추가적인 합성 영상 데이터들이 획득될 수 있다. 본 개시의 일 실시예에 의하면, 단계(108)에서는, 예컨대 AutoAugment 알고리즘이 이용될 수 있다. 본 개시의 일 실시예에 의하면, 단계(108)에서는, 예컨대 AutoAugment 알고리즘에 따라, 예컨대 CIFAR-10 데이터 세트에 최적화된 총 25개의 증강 정책(예컨대, 균등화(Equalize), 자동대비(AutoContrast), 색상(Color), 및 밝기(Brightness) 변환 등)이 선택 및 이용될 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 단계(108)에서는, 단계(106)에서 획득된 합성 영상 데이터 각각에 대해, AutoAugment 알고리즘에 따라 CIFAR-10 데이터 세트에 최적화된 총 25개의 증강 정책이 선택 및 적용되어, 각 데이터를 크게 증대할 수 있다.
참고로, 주지하듯이 Augmentation은 딥러닝 모델 훈련을 위한 충분한 데이터 확보를 위한 기술 중 하나일 수 있다. Augmentation은 소량의 훈련 데이터에 인위적인 변경을 적용하여 새로운 훈련 데이터를 얻는 방법론이라 할 수 있는데, 목표는 실제 데이터와 유사한 데이터를 만들고 그 이미지를 뒤집거나 잘라서 새 이미지들을 확보하는 것이다. 그러나 이러한 방법은 비용이 많이 들고 주어진 데이터에 적합한 집계 기법을 찾는데 상당한 시간이 걸리는 문제가 있었다. Google은 이러한 문제를 해결하고자 새로이 AutoAugment 알고리즘을 개발하였다. AutoAugment 알고리즘은, 강화 학습을 통해 주어진 이미지 데이터 세트에 가장 적합한 증강 정책을 자동으로 찾는 알고리즘이다. 2019년 컴퓨터 비전 및 패턴 인식에 관한 컨퍼런스에서 Google Brain팀이 발표한 방법은 ImageNet, SVHN(Street View House Number) 및 CIFAR-10과 같은 검증된 데이터 세트에 대한 최적의 증강 방법을 제공한다. 도 5에 도시된 바와 같이, AutoAugment는, 증강 기법 정책을 결정하는 컨트롤러인 순환 신경망(RNN)과, 그 컨트롤러가 생성한 자식 네트워크를 통하여, 주어진 데이터 세트에 다양한 증강 정책들을 적용하고, 그에 따라 성능 정확도 R을 획득하며, 그런 다음 컨트롤러의 R을 업데이트함으로써, 최적의 정책을 획득하고자 한다. Google Brain 팀에 의하면, CIFAR-10 데이터 세트에 최적화된 총 25개의 증강 정책이 제시되고, 하나의 정책은 데이터에 대한 다양한 증강 기법들을 찾기 위한 5개의 하위 정책으로 구성되며, 각 하위 정책은 두 가지 연산으로 구성된다. 연산 방법은 ShearX/Y, TranslateX/Y, Rotate, AutoContrast, Invert, Equalize, Solarize, Posterize, Contrast, Color, Brightness, Sharpness, Cutout 및 Sample Pairing 함수들과, n(T) = 16으로 구성되고, 각 연산마다, 확률 값(P = {0, 0, 1, ..., 1}, n(P) = 11) 및 강도 값(M = {0, 1, ..., 9} 및 n(M) = 10)이 사용된다. 그 결과, AutoAugment에서는 이미지 증강을 위한 총 개의 후보 그룹들이 정의될 수 있고, 학습 과정에서 이들 정책이 무작위로 선택되고 학습을 위한 훈련 데이터로 적용되며, 최적의 정책을 결정하기 위한 개선된 성능을 갖는 정책을 찾기 위해 분류가 반복 수행될 수 있다.
도 2에는, 예컨대 훈련 데이터 세트(202)의 전체 또는 적어도 일부가, DCGAN 알고리즘 및 AutoAugment 알고리즘(206)에 적용되어, 합성 영상 데이터들(210)이 확보되는 과정이 도시되어 있다.
다시 도 1로 돌아가서, 단계(110)에서는, 단계(106)에서 생성된 합성 영상 데이터 세트 및 단계(108)에서 획득된 합성 영상 데이터 세트의 각 합성 영상 데이터 중에서 소정의 기준 이상의 양호한 품질을 갖춘 합성 영상 데이터가 선별될 수 있다. 본 개시의 일 실시예에 의하면, 앞서 단계(104)에서 훈련에 의해 생성된 딥러닝 기반 영상 분류 모델에 대해, 전술한 단계(106)에서 생성된 합성 영상 데이터 세트(예컨대, DCGAN 알고리즘에 기초한 영상 생성 모델에 따라 생성된 합성 영상 데이터들)와, 단계(108)에서 획득된 합성 영상 데이터 세트(예컨대, 단계(106)에서 DCGAN 알고리즘에 기초한 영상 생성 모델에 따라 생성된 상기 합성 영상 데이터들을, AutoAugment 알고리즘에 따라 정해진 소정의 최적 정책들에 따라 변형함으로써 획득된 합성 영상 데이터들)의 각 영상 데이터가 적용되고 분류될 수 있다. 본 개시의 일 실시예에 의하면, 전술한 딥러닝 기반 영상 분류 모델에 따라, 각 합성 영상 데이터는, 정상(normal) 또는 비정상(abnormal) 영상으로 분류될 수 있고, 그 분류 결과에 따라 각각의 분류 정확도가 결정될 수 있다. 본 개시의 일 실시예에 의하면, 각 합성 영상 데이터에 대한 분류가 이루어진 후, 분류 정확도가 소정의 기준을 충족하는 합성 영상 데이터만이 양호한 품질의 합성 영상 데이터로 선별될 수 있다. 본 개시의 일 실시예에 의하면, 단계(110)에서는, 예컨대 합성 영상 데이터 중에서 그에 대한 분류 결과의 예측 정확도가 0.8 이상인 영상 데이터만이 실제 이미지와 유사한 양질의 이미지로서 선별될 수 있다. 예컨대, 도 6에는, 실제 위 내시경 이미지로 훈련된 Xception 알고리즘 기반 모델에, DCGAN 알고리즘에 따라 생성된 합성 영상들 및 AutoAugment 알고리즘 기반 증강 정책들에 기초하여 생성된 합성 영상들 각각이 적용되고, 그 중 예측 정확도가 80%를 넘는 이미지만이 선별되는 과정이 개념적으로 도시되어 있다.
도 2에는, 예컨대 Xception 알고리즘(204)에 따라 형성된 딥러닝 기반 영상 분류 모델(208)에 대해, 합성 영상 데이터들(210) 각각을 적용 및 분류하는, 영상 품질 측정 과정이 박스 A로 표시되어 있다.
도 1에서, 절차는 단계(112)로 진행할 수 있다. 단계(112)에서는, 전술한 딥러닝 기반 영상 분류 모델이, 단계(110)에서 선별된 양호한 품질의 합성 영상 데이터들에 기초하여 더 훈련되고, 또한 별도로 미리 준비된 테스트 데이터 세트(예컨대, 단계(102)에서 확보된 훈련 데이터와 마찬가지로, 실제 위 내시경 촬영으로 획득된 영상 데이터로서 전문의에 의해 정상 또는 비정상으로의 분류가 완료된 데이터 등)에 의해 테스트 및 피드백 갱신될 수 있다. 도 2에는, 전술한 딥러닝 기반 영상 분류 모델(208)이 선별된 양질의 합성 영상 데이터를 이용하여 더 훈련되고 테스트 데이터에 의해 테스트 및 개량되는 과정이 박스 B로 표시되어 있다.
도 1로 돌아가서, 절차는 단계(114)로 진행하고, 실제로 정상 또는 비정상 여부의 판별이 필요로 되는 판단 대상 영상이 수신될 수 있다. 그런 다음 단계(116)에서는, 그 수신된 판단 대상 영상이 위 단계(112)를 거친 딥러닝 기반 영상 분류 모델에 적용되어 정상 또는 비정상으로 분류될 수 있다. 본 개시의 일 실시예에 의하면, 단계(114)에서 수신되는 영상은 환자로부터 촬영된 위 내시경 영상일 수 있고, 단계(116)에서 해당 영상이 병변이 없는 정상 영상인지 병변이 있는 비정상 영상인지가 판별될 수 있다.
도 7은, 본 개시의 일 실시예에 따라, 수집된 훈련 영상 데이터에 의하여 Xception 알고리즘 기반 영상 분류 모델을 생성하고, 그로부터 DCGAN 및 AutoAugment 알고리즘 기반 CIFAR-10 최적화 정책에 따라 합성 영상 데이터를 생성하여 위 영상 분류 모델의 훈련에 사용하는 경우로서, 도 1 및 2에 도시된 실시예에 따라 단계(110)의 이미지 품질 측정 및 그에 따른 양질의 데이터 선별의 과정이 채택된 경우의 영상 분류 모델의 성능(도 7의 (a))과, 그러한 이미지 품질 측정 및 양질의 데이터 선별의 과정이 채택되지 않은 경우의 영상 분류 모델의 성능(도 7의 (b))의 비교를 보여주는 예시적 도면이다. 본 도면에서는, 성능을 평가하는 기준으로서 ROC 커브 및 해당 커브 아래 영역의 Az 값(AUC)이 이용된다.
참고로, 본 도면에 사용된 실시예는, i) 훈련 데이터로서 정상 655개의 위 내시경 이미지와 비정상 655개의 위 내시경 이미지(총 1,310개)가 확보 및 이용된 경우, ii) i)에 더하여 DCGAN 알고리즘에 따른 합성 영상 생성 과정이 적용되어 정상 200개와 비정상 200개의 합성 이미지(총 400개)가 생성 및 추가 확보되어 이용 된 경우, iii) i)에 더하여 CIFAR-10 데이터 세트 최적화 증대 정책이 적용되어 주어진 이미지가 25배 증대된 경우, 및 iv) ii)에 더하여 CIFAR-10 데이터 세트 최적화 증대 정책이 적용되어 주어진 이미지가 25배 증대된 경우에 각각에 관한 것이며, 도 7에는 이들 각 경우에 관하여 이미지 품질 평가 및 양질의 데이터 선별 절차가 적용되지 않은 경우(도 7의 (a))와 이미지 품질 평가 및 양질의 데이터 선별 절차가 적용된 경우(도 7의 (b), 이때 이미지 품질 평가의 선별 기준은 0.8 이상의 예측 정확도)에 대한, ROC 커브 및 Az 값(AUC)이 도시되어 있다. 본 도면에 도시된 바에 의하면, 전술한 iv)의 경우로서 DCGAN 알고리즘에 따른 합성 영상 생성 과정과 CIFAR-10 데이터 세트 최적화 증대 정책의 적용이 모두 수행되고, 도 7의 (b)에 도시된 바와 같이 이미지 품질 측정 및 양질의 데이터 선별 절차가 적용된 경우의 Az 값(AUC)이 0.9로 가장 높은 것을 알 수 있다. 또한, 전술한 ii) 및 iii)의 경우에도, 도 7의 (b)의 이미지 품질 측정 및 양질의 데이터 선별 절차가 수행된 경우가 도 7의 (a)의 대응하는 경우에 비해 더 우수한 성능을 보이는 것으로 나타나 있다.
본 개시에서는, 주로, 위 내시경 영상의 병변 여부의 판별에 관한 실시예를 중심으로 설명되었으나 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예는, 위 내시경 영상 판단 뿐만 아니라, 그외 다양한 의료 영상 데이터의 분류에도 적용될 수 있으며, 나아가 기타 다양한 분야의 딥러닝 기반 데이터 분류 모델 및 방법에 적용될 수 있을 것이다. 본 개시에 따른 다른 실시예는 데이터 부족으로 딥러닝 기반 모델의 성능 저하 문제를 해결하고자 하는 다양한 분야에 적용될 수 있을 것이다.
당업자라면 알 수 있듯이, 본 발명이 본 개시에 기술된 예시에 한정되는 것이 아니라 본 개시의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 본 명세서에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있음을 알아야 한다.
Claims (11)
- 컴퓨터에 의해 구현되는 영상 분류 방법으로서,
제1 딥러닝 알고리즘에 따라, 복수의 실제 촬영 영상 데이터를 제1 훈련 데이터 세트로서 이용하여 훈련함으로써, 제1 딥러닝 기반 영상 분류 모델을 형성하는 단계,
상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용한 머신러닝에 의해 합성 영상 데이터 세트를 획득하는 단계,
상기 합성 영상 데이터 세트의 각 합성 영상 데이터 중 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계,
상기 제1 딥러닝 기반 영상 분류 모델을, 상기 선별된 합성 영상 데이터들에 기초하여 더 훈련시킴으로써, 제2 딥러닝 기반 영상 분류 모델을 형성하는 단계,
영상 데이터를 수신하는 단계,
상기 제2 딥러닝 기반 영상 분류 모델에 기초하여, 수신된 상기 영상 데이터를 분석하는 단계, 및
수신된 상기 영상 데이터를 복수의 카테고리 중 하나의 카테고리로 분류하는 단계를 포함하고,
상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용한 머신러닝에 의해 합성 영상 데이터 세트를 획득하는 단계는,
제2 딥러닝 알고리즘에 따라, 상기 제1 훈련 데이터 세트 중 적어도 일부를 훈련 데이터로 이용하여 훈련함으로써, 딥러닝 기반 영상 생성 모델을 형성하는 단계,
상기 딥러닝 기반 영상 생성 모델에 의해 제1 세트의 합성 영상 데이터를 생성하는 단계,
AutoAugment 강화학습 알고리즘에 따라 결정된 정책에 기초하여, 상기 제1 세트의 합성 영상 데이터 각각을 변형함으로써 제2 세트의 합성 영상 데이터를 생성하는 단계, 및
상기 제1 세트의 합성 영상 데이터 및 상기 제2 세트의 합성 영상 데이터를 상기 합성 영상 데이터 세트로서 획득하는 단계를 포함하는, 영상 분류 방법. - 제1항에 있어서,
상기 제1 훈련 데이터 세트의 각 데이터 및 상기 합성 영상 데이터 세트의 각 데이터는, 각각, 상기 복수의 카테고리 중 하나의 카테고리로 레이블링된, 영상 분류 방법. - 삭제
- 제1항에 있어서,
상기 합성 영상 데이터 세트의 각 합성 영상 데이터 중 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계는,
상기 제1 딥러닝 기반 영상 분류 모델에, 상기 합성 영상 데이터 세트의 각 합성 영상 데이터를 적용함으로써, 상기 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계를 포함하는, 영상 분류 방법. - 제4항에 있어서,
상기 제1 딥러닝 기반 영상 분류 모델에, 상기 합성 영상 데이터 세트의 각 영상 데이터를 적용함으로써, 상기 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계는,
상기 합성 영상 데이터 세트의 각 합성 영상 데이터를 상기 제1 딥러닝 기반 분류 모델에 기초하여 분류하는 단계,
각각의 합성 영상 데이터에 대한 상기 분류의 정확도를 획득하는 단계, 및
상기 정확도가 소정의 값 이상인 합성 영상 데이터를, 상기 소정의 기준 이상의 품질을 갖춘 합성 영상 데이터를 선별하는 단계를 포함하는, 영상 분류 방법. - 제1항에 있어서,
상기 제1 딥러닝 알고리즘은 Xception 알고리즘인, 영상 분류 방법. - 제1항에 있어서,
상기 제2 딥러닝 알고리즘은 DCGAN 알고리즘인, 영상 분류 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 영상 데이터는 촬영된 위 내시경 영상 데이터이고,
상기 영상 데이터를 복수의 카테고리 중 하나의 카테고리로 분류하는 단계는, 상기 영상 데이터를 병변이 있는 카테고리와 병변이 없는 카테고리로 분류하는 단계를 포함하는, 영상 분류 방법. - 하나 이상의 컴퓨터 실행 가능 명령을 기록한 컴퓨터 판독가능 기록 매체로서, 상기 하나 이상의 컴퓨터 실행 가능 명령은, 컴퓨터에 의해 실행될 경우, 상기 컴퓨터로 하여금, 제1항, 제2항, 제4항 내지 제7항, 및 제10항 중 어느 한 항에 따른 방법을 수행하도록 동작하게 하는, 컴퓨터 판독가능 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210017691A KR102603319B1 (ko) | 2021-02-08 | 2021-02-08 | 딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210017691A KR102603319B1 (ko) | 2021-02-08 | 2021-02-08 | 딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220114329A KR20220114329A (ko) | 2022-08-17 |
| KR102603319B1 true KR102603319B1 (ko) | 2023-11-16 |
Family
ID=83110319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210017691A KR102603319B1 (ko) | 2021-02-08 | 2021-02-08 | 딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102603319B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240035297A (ko) * | 2022-09-08 | 2024-03-15 | 주식회사 메디컬에이아이 | 생체 신호의 품질을 정량화 하는 방법, 프로그램 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190197358A1 (en) | 2017-12-21 | 2019-06-27 | International Business Machines Corporation | Generative Adversarial Network Medical Image Generation for Training of a Classifier |
| KR102033743B1 (ko) * | 2017-11-20 | 2019-11-08 | 주식회사 클라리파이 | 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 |
| KR102095730B1 (ko) * | 2019-06-20 | 2020-04-02 | 주식회사 딥노이드 | 딥러닝 기반의 대장 병변 검출 방법 |
| KR102190303B1 (ko) * | 2018-11-30 | 2020-12-14 | 서울대학교 산학협력단 | Cnn기반의 딥러닝 모델 학습장치 및 그 방법 |
-
2021
- 2021-02-08 KR KR1020210017691A patent/KR102603319B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102033743B1 (ko) * | 2017-11-20 | 2019-11-08 | 주식회사 클라리파이 | 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 |
| US20190197358A1 (en) | 2017-12-21 | 2019-06-27 | International Business Machines Corporation | Generative Adversarial Network Medical Image Generation for Training of a Classifier |
| KR102190303B1 (ko) * | 2018-11-30 | 2020-12-14 | 서울대학교 산학협력단 | Cnn기반의 딥러닝 모델 학습장치 및 그 방법 |
| KR102095730B1 (ko) * | 2019-06-20 | 2020-04-02 | 주식회사 딥노이드 | 딥러닝 기반의 대장 병변 검출 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220114329A (ko) | 2022-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Raja et al. | Contrast enhanced medical MRI evaluation using Tsallis entropy and region growing segmentation | |
| JP7069359B2 (ja) | 深層学習を使用して癌検出を改善するための方法およびシステム | |
| Zhou et al. | Sparse-gan: Sparsity-constrained generative adversarial network for anomaly detection in retinal oct image | |
| JP7123983B2 (ja) | ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法 | |
| US8634628B2 (en) | Medical image processing apparatus, method and program | |
| US6125194A (en) | Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing | |
| JP4669268B2 (ja) | 画像の経時変化を検出し表示する方法及び装置 | |
| CN111563523B (zh) | 利用机器训练的异常检测的copd分类 | |
| KR20190105452A (ko) | 딥러닝 기반 뇌 질환 진단 방법 | |
| Fantini et al. | Automatic detection of motion artifacts on MRI using Deep CNN | |
| Lee et al. | Identifying women with mammographically-occult breast cancer leveraging GAN-simulated mammograms | |
| US7873196B2 (en) | Medical imaging visibility index system and method for cancer lesions | |
| JP2009531117A (ja) | 解剖学的構造において前癌異常を自動認識するための方法及びシステム、及び対応するコンピュータプログラム | |
| KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| Jung et al. | A deep learning system for diagnosing ischemic stroke by applying adaptive transfer learning | |
| KR102603319B1 (ko) | 딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| Hong et al. | Automated coronary artery calcium scoring using nested U-Net and focal loss | |
| Ukwuoma et al. | Boosting breast cancer classification from microscopic images using attention mechanism | |
| Zhuang et al. | Knee cartilage defect assessment by graph representation and surface convolution | |
| Ramana | Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN) | |
| Zhu et al. | OTRE: where optimal transport guided unpaired image-to-image translation meets regularization by enhancing | |
| Tiwari et al. | Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images | |
| Buongiorno et al. | Uip-net: a decoder-encoder cnn for the detection and quantification of usual interstitial pneumoniae pattern in lung ct scan images | |
| KR102267219B1 (ko) | 혈관 세그멘테이션 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |