KR102559616B1 - 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 - Google Patents

약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 Download PDF

Info

Publication number
KR102559616B1
KR102559616B1 KR1020210019446A KR20210019446A KR102559616B1 KR 102559616 B1 KR102559616 B1 KR 102559616B1 KR 1020210019446 A KR1020210019446 A KR 1020210019446A KR 20210019446 A KR20210019446 A KR 20210019446A KR 102559616 B1 KR102559616 B1 KR 102559616B1
Authority
KR
South Korea
Prior art keywords
deep learning
image
map
input data
ultrasound
Prior art date
Application number
KR1020210019446A
Other languages
English (en)
Other versions
KR20220115757A (ko
Inventor
김재일
김원화
김혜정
Original Assignee
주식회사 빔웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 빔웍스 filed Critical 주식회사 빔웍스
Priority to KR1020210019446A priority Critical patent/KR102559616B1/ko
Priority to PCT/KR2022/002012 priority patent/WO2022173233A1/ko
Priority to EP22752993.0A priority patent/EP4292538A1/en
Priority to JP2023572502A priority patent/JP2024507290A/ja
Publication of KR20220115757A publication Critical patent/KR20220115757A/ko
Priority to KR1020230026497A priority patent/KR102620046B1/ko
Application granted granted Critical
Publication of KR102559616B1 publication Critical patent/KR102559616B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법은, 유방 초음파 이미지에서 환자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 단계; 상기 입력 데이터를 수신하고, 콘볼루션 신경망(CNN) 및 광역 평균 풀링(GAP)을 이용하여 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 단계; 광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(POM)을 계산하는 감별 진단 단계; 및 판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 단계를 포함하고, 상기 딥러닝 학습 단계는 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습된다. 본 발명에 의하여, 병변을 표시하는 추가적인 주석 작업을 피할 수 있기 때문에 완전 지도 알고리즘에 비해서 작업 효율이 개선되고, 관심 영역을 악성 확률과 함께 시각화하여 제공하기 때문에 진단의 정확도가 향상된다.

Description

약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템{Method and system for breast ultrasonic image diagnosis using weakly-supervised deep learning artificial intelligence}
본 발명은 유방 초음파 이미지를 이용하여 유방암을 진단하기 위한 인공 지능 기술에 관한 것이고, 특히 약지도 딥러닝 알고리즘을 개발하여 관심 영역에 대한 이미지 주석과정이 없이도 초음파 이미지로부터 유방암을 진단하고 진단에 기여한 영역을 국지화하여 시각화하는 방법 및 시스템에 관한 것이다.
유방 초음파는 양성 및 악성 유방 종괴(breast mass)를 감별 진단하는 주된 검사 장비이고, 진단적 및 검진적 목적으로 사용한다. 초음파는, 특히 치밀 유방을 가진 여성에서 유방 촬영 영상으로는 발견하기 어려운 잠재암(occult cancer)을 검출할 수 있다는 증거가 계속 밝혀지면서, 더욱 더 관심을 받고 있다. 유방암은 여성암 중 발생률 1위를 기록하고 있고, 유방암의 조기 진단은 유방암 치사율를 낮추기 위한 중요한 과정이다. 초음파를 이용한 유방암 진단은 편리성, 안정성 및 높은 정확성에 기반하여, 유방 병변의 진단과 관찰에 광범위하게 응용되고 있다.
초음파 진단 원리는 다음과 같다. 우선 초음파 프로브로부터 발사된 음파는 유선 속으로 들어가 서로 다른 조직 구조에 흡수되거나 반사된다. 반사파는 프로브에 잡혀, 초음파 장치에 의해 영상으로 처리된다. 일반적인 경우, 초음파 영상에서 종양의 양·악성을 발견하고, 관심 영역을 분할하는 것은 자연 영상에서 보다 더욱 어려운데, 그 이유는 1) 초음파 영상의 대비율이 낮고, 스페클노이즈가 많으며, 2) 서로 다른 종양은 형상 및 외관 상의 차이가 크고 특히 양성 종양과 악성 종양 사이에서 차이가 크며, 3) 종양과 유사한 정상적인 조직과 초음파 허상이 존재하고, 4) 종양의 경계 자체에 대해 명확한 정의가 없기 때문이다.
대한민국 특허출원 공개 번호 제 1020140109320(공개일 2014년 9월 15일, 발명의 명칭 "초음파 영상 처리 방법과 장치 및 유방암 진단 장치")은 수신된 초음파 영상에 대해 영상 과분할을 진행하여 다층구조의 세그먼트를 획득하는 단계; 획득한 다층구조의 세그먼트 중에서 각 세그먼트 특징을 추출하는 단계; 검사창으로서 오버컴플릿 슬라이딩 윈도를 생성하도록 수신된 초음파 영상에 대해 목표 대상 검사를 진행하는 단계, 검사창으로부터 영상 특징을 획득한 다층구조의 세그먼트에 전달하는 단계; 세그먼트 분류기의 트레닝을 진행하도록, 추출된 각 세그먼트 특징과 검사창으로부터 세그먼트에 전달된 특징을 통합하는 단계; 세그먼트 분류기의 출력을 수신하여 통합 전압을 짝을 이루는 CRF모델에 제공함으로써, 세그먼트의 목표 대상을 얻는 단계를 포함하는 유방암 진단 장치를 개시한다.
그런데, 이러한 기술을 사용하더라도 유방 초음파는 전문가들 사이에도 진단 능력이 차이가 날 수 있고 특히, 비전문가와 전문가 사이에는 상당한 진단 능력의 격차가 있어 거짓-양성 및 거짓-음성 판정이 많아 불필요한 조직검사 및 수술로 환자에게 큰 위해가 될 뿐만 아니라 의료비용이 증가하여 사회적으로 매우 문제가 되고 있다.
이러한 한계를 극복하기 위하여, 초음파 이미지로부터 유방암 진단을 보조하기 위한 여러 연구가 수행되었고, 최근 인공 지능의 기술 중 의료영상 분야에서 가장 각광받고 있는 딥러닝 알고리즘(deep learning algorithm)을 적용하고자 하는 노력이 점점 더 커지고 있다. 초음파 영상을 이용하여 암을 진단하기 위한 종래의 딥러닝 알고리즘 연구들은 종양 병변을 관심 영역(region of interest, ROI)으로 수동 분할하고, 분할된 ROI를 입력으로 양성/악성 병변을 판별하도록 하는 완전 지도 학습(fully-supervised learning)을 기반으로 하는데, 이것은 일반적으로 전문가가 병변의 관심 영역(ROI)을 이미지 내에서 수동적으로 그려주는 주석 프로세스를 요구한다. 또한, 수동 주석 작업이 아니라 자동화된 ROI 분할(segmentation) 방법을 이용하더라도, 전문가에 의해 ROI를 검증하는 것이 여전히 필요하다. 이러한 관심 영역에 대한 이미지 주석과정은 다음과 같은 한계를 수반한다. 첫째, 관심 영역에 대한 이미지 주석과정이 시간이 많이 들고 노동 집약적이기 때문에 방대한(보통 수천, 수만개 이상의 영상이 학습에 필요) 학습 데이터를 바탕으로 견실한(진단 성능이 좋고, 다른 데이터에 적용이 가능한) 딥러닝 모델을 개발하는 데 한계가 있다. 둘째, 관심 영역에 대한 이미지 주석 과정을 위한 수동 작업은 병변 특성(양성/악성 가능성에 따른 경계, 모양)에 대한 주관적인 사전 판정을 한 후에 이루어지므로 데이터에 기반하여 파라미터를 정하는 딥러닝 알고리즘에 편향(bias)을 추가하여 모델의 성능에 부정적인 영향을 줄 수 있다. 셋째, 관심 영역에 대한 이미지 주석에 기반한 모델은 임상적으로 적용할 때 입력값 역시 주석이 처리된 영상을 필요로 하므로 영상에 대한 딥러닝 모델 예측값을 얻기 위해서는 사용자가 매번 관심 영역을 지정하고 ROI 세그멘테이션을 해주어야 하는 번거로움이 있어 임상적으로 활용되기가 어렵다. 넷째, 병변을 감별 진단하는데 병변 영역이 아닌 병변 주변 영역(예, 주변 조직의 변화 및 에코도)이 도움이 되는 경우가 많은데 현재까지의 완전 지도 기반의 보조 진단 방식은 병변만을 학습에 활용함으로써 포괄적 영상적 정보를 학습하는데 한계가 있다. 다섯째, 기존의 진단 방식은 유방 종괴를 감별 진단하는 과제에 국한하여 정상인 영상들을 입력값으로 활용하지 못한다. 이는 실제 유방 초음파 영상에서 제일 많은 영역을 차지 않는 것이 정상(병변이 없는) 유방 영상이므로 임상적으로 활용하는데 중요한 장애라고 할 수 있다.
그러므로, 관심 영역(ROI)에 대한 이미지 주석 과정이 없이도 딥러닝 알고리즘을 개발할 수 있는 약지도(weakly-supervised) 기반 인공 지능 학습 방법과 시스템이 초음파 영상에서 유방암 진단을 위해 절실히 요구된다.
대한민국 특허출원 공개 번호 제 1020140109320(공개일 2014년 9월 15일, 발명의 명칭 "초음파 영상 처리 방법과 장치 및 유방암 진단 장치"
본 발명의 목적은 약지도(weakly-supervised) 기반 인공 지능 학습 방법을 이용한 관심 영역(ROI)에 대한 이미지 주석 과정이 없는 효율적인 딥러닝(deep learning) 알고리즘을 개발하여 유방 초음파 영상에서 정상/양성/악성을 구분하는 감별 진단을 수행하면서, 진단에 기여한 영역을 시각화하여 유방암을 진단할 수 있는 시스템을 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 약지도(weakly-supervised) 기반 딥러닝(deep learning) 알고리즘을 개발하여 관심 영역(ROI)에 대한 이미지 주석이 없는 유방 초음파 이미지로부터 정상/양성/악성을 구분하는 감별 진단을 수행하면서, 진단에 기여한 영역을 시각화하여 유방암을 진단할 수 있는 방법에 관한 것이다. 이러한 약지도(weakly-supervised) 딥러닝(deep learning; DL) 인공 지능을 이용한 유방 초음파 진단 방법은, 유방 초음파 이미지에서 환자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 단계; 상기 입력 데이터를 수신하고, 콘볼루션 신경망(convolutional neural network; CNN) 및 광역 평균 풀링(global average pooling; GAP)을 이용하여 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 단계; 광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(probability of malignancy; POM)을 계산하는 감별 진단 단계; 및 판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기(gradient)와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역(relevant region)을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 단계를 포함하고, 상기 딥러닝 학습 단계는 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습되는 것을 특징으로 한다. 특히, 상기 초음파 영상 전처리 단계는, 초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(Digital Imaging and Communications in Medicine; DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하는 것; 초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출하거나 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 생성하는 것; 및 상기 익명화된 이미지 또는 영상 데이터를 동일한 크기를 가지는 입력 데이터로 크기조절(resizing)하는 것을 포함하는 것을 특징으로 한다. 상기 딥러닝 학습 단계는, 검증의 오류를 줄이고 재현성 있는 모델을 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강(augmentation) 프로세스를 적용하는 것; 상기 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여, 영상 판별(image classification)을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성하여 각 합성곱 층에 대한 피쳐 맵을 획득하는 것; 및 획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습하는 것을 포함하는 것을 특징으로 한다. 더 나아가, 상기 감별 진단 단계는, 상기 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하는 것; 획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산하고, 계산된 클래스 점수로부터 악성 확률(POM)을 계산하는 것을 포함하는 것을 특징으로 한다. 또한, 상기 기여 영역 결정 및 시각화 단계는, 상기 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(class activation map; CAM)을 획득하는 것; 획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하는 것; 스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 상기 기여 영역을 결정하는 것; 및 상기 클래스 활성화 맵(CAM)을 히트 맵으로서 상기 악성 확률(POM)과 함께 시각화하는 것을 포함하는 것을 특징으로 한다. 특히, 상기 기하학적 변이는 수평 플립, 수직 플립, 회전, 스케일링, 병진 중 적어도 하나를 포함하고, 상기 광학적 변이는 삭제, 스페클 잡음(speckle noise) 처리, 첨예화(sharpening), 가우시안 블러링(Gaussian blurring) 중 적어도 하나를 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 약지도 기반 딥러닝 알고리즘을 개발하여 관심 영역(ROI)에 대한 이미지 주석이 없는 유방 초음파 이미지로부터 정상/양성/악성을 구분하는 감별 진단을 수행하면서, 진단에 기여한 영역을 시각화하여 유방암을 진단할 수 있는 시스템에 관한 것이다. 이와 같은 약지도 딥러닝(DL) 인공 지능을 이용한 유방 초음파 진단 시스템은, 유방 초음파 이미지에서 환자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 모듈; 상기 입력 데이터를 수신하고, 콘볼루션 신경망(CNN) 및 광역 평균 풀링(GAP)을 이용하여 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 모듈; 광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(POM)을 계산하는 감별 진단 모듈; 및 판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 모듈을 포함하고, 상기 약지도 딥러닝 알고리즘은 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습되는 특징으로 한다. 특히, 상기 초음파 영상 전처리 모듈은, 초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하고, 초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출하거나 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 생성하며, 상기 익명화된 이미지 또는 영상 데이터를 동일한 크기를 가지는 입력 데이터로 크기조절하도록 구성된다. 또한, 상기 딥러닝 학습 모듈은, 검증의 오류를 줄이고 재현성 있는 모델을 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강 프로세스를 적용하고, 상기 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여, 영상 판별을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성하여 각 합성곱 층에 대한 피쳐 맵을 획득하며, 획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습하도록 구성된다. 더 나아가, 상기 감별 진단 모듈은, 상기 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하고, 획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산하고, 계산된 클래스 점수로부터 악성 확률(POM)을 계산하도록 구성된다. 또한, 상기 기여 영역 결정 및 시각화 모듈은, 상기 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(CAM)을 획득하고, 획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하며, 스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 상기 기여 영역을 결정하고, 상기 클래스 활성화 맵(CAM)을 히트 맵으로서 상기 악성 확률(POM)과 함께 시각화하도록 구성된다. 더 나아가, 상기 기하학적 변이는 수평 플립, 수직 플립, 회전, 스케일링, 병진 중 적어도 하나를 포함하고, 상기 광학적 변이는 삭제, 스페클 잡음 처리, 첨예화, 가우시안 블러링 중 적어도 하나를 포함한다.
본 발명에 의한 약지도 딥러닝 기법은, 관심 영역에 대한 이미지 주석과정이 없이, 이미지-단위 라벨(정상/양성/악성)만을 가지는 무주석 이미지만으로도 이미지 분류를 위한 학습이 가능한 딥러닝의 형태이다. 이러한 약지도 딥러닝 알고리즘은 다음의 장점을 가진다.
첫째, 관심 영역에 대한 이미지 주석이 필요한 완전 지도 학습에 비해 이미지-단위 라벨(정상/양성/악성)만으로도 학습이 가능하므로, 시간과 노동력 및 비용을 절약하여 이미지 데이터를 효율적인 과정으로 학습하게 되어 견고한(진단 성능이 좋고, 다른 데이터에 적용이 가능한) 딥러닝 모델을 개발할 수 있다. 특히, 딥러닝은 데이터에 기반하여 성능이 결정되므로 약지도 딥러닝 알고리즘을 이용한 효율적인 데이터 학습과정은 빅데이터 학습을 용이하게 함으로써 딥러닝 모델의 성능 개선을 가져올 수 있고 모델을 적용하는 데 검증의 오류를 줄여 재현이 가능한 모델을 개발할 수 있다.
둘째, 약지도 딥러닝 알고리즘은 관심 영역에 대한 이미지 주석과정을 위한 수동 작업을 필요로 하지 않아 병변 특성(양성/악성 가능성에 따른 경계, 모양)에 대한 주관적인 사전 판정에서 비롯될 수 있는 편향을 최소화하여 외부 검증 데이터에도 안정적으로 작동할 수 있는 재현성 있는 모델을 개발할 수 있다.
셋째, 관심 영역에 대한 이미지 주석에 기반한 모델은 임상적으로 적용할 때 입력값 역시 주석이 처리된 영상을 필요로하므로 영상에 대한 딥러닝 모델 예측값을 얻기 위해서는 사용자가 매번 관심 영역을 지정하고 ROI 세그멘테이션을 해주어야 하는 번거로움이 있어 임상적으로 활용도가 떨어지는 한계가 있으나, 발명된 약지도 학습은 함께 개발된 전처리 방법을 통해 초음파 영상을 쉽게 입력할 수 있어 모델을 이용한 작업흐름이 훨씬 더 효율적이다.
넷째, 병변을 감별 진단하는데 병변 영역이 아닌 병변 주변 영역이 도움이 되는 경우가 많은데 현재까지의 완전 지도 기반의 보조 진단 방식은 병변만을 학습에 활용함으로써 포괄적 영상적 정보를 학습하는데 한계가 있었으나, 약지도 학습은 병변 영역뿐만 아니라 병변의 주변 영역을 학습함으로써 감별진단에 도움이 되는 정보를 포괄적으로 학습하여 결과적으로 진단 성능에 좀 더 개선을 유도할 수 있다.
다섯째, 기존의 진단 방식은 유방 종괴를 감별 진단하는 과제에 국한하여 많은 정상(병변이 없는)인 영상들을 입력값으로 활용하지 못하였으나, 약지도 학습에 기반한 딥러닝 모델은 초음파 영상 전체를 입력값으로 활용할 수 있으므로 수많은 정상에서 비정상을 발견해야 하는 검진적 목적의 초음파 활용에 좀 더 부합할 수 있다.
마지막으로, 개발된 딥러닝 알고리즘은 대량의 데이터를 학습한 파라미터 값으로 정확하고 재현성이 높은 악성 확률을 제시하여 사용자간의 진단 격차를 줄일 수 있고 시각화된 기여 영역을 제공함으로써 사용자의 발견 오류를 줄일 수 있다. 이러한, 진단 보조 기능은 불필요한 조직검사 및 수술을 줄여 환자에게 가하는 위해를 최소화하고 사회적 의료 비용을 감소하게 할 수 있다.
도 1은 본 발명의 일면에 의한 정상/양성/악성 이미지로 분류하고 기여 영역을 시각화(국지화)하는 방법을 개략적으로 나타내는 흐름도이다.
도 2a는 본 발명의 일면에 의한 악성 종양을 국지화하고 시각화하는 방법의 일 실시예의 동작을 종래 기술과 비교하여 설명하는 블록도이다.
도 2b는 도 2a에 도시된 방법의 동작을 검증하기 위해 사용된 테스트 데이터세트를 설명하는 블록도이다.
도 2c는 도 2a에 도시된 방법의 성능을 나타내는 그래프이다.
도 2d는 도 2a에 도시된 방법에 의해 시각화된 결과를 예시하는 도면이다.
도 3은 본 발명의 다른 면에 의한 악성 종양을 국지화하고 시각화하는 시스템의 일 실시예의 구성 및 동작을 설명하는 블록도이다.
도 4는 도 3의 악성 종양을 국지화하고 시각화하는 시스템에 적용될 수 있는 팽탕된 콘볼루션 프로세스를 설명하는 도면이다.
도 5a 내지 도 5e는 도 3의 악성 종양을 국지화하고 시각화하는 시스템에 적용될 수 있는 학습가능 박스 필터의 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 면에 의한 악성 종양을 국지화하고 시각화하는 시스템의 다른 실시예의 구성 및 동작을 설명하는 블록도이다.
도 7은 도 3의 악성 종양을 국지화하고 시각화하는 시스템에 적용될 수 있는 CAM 알고리즘을 설명하기 위한 도면이다.
도 8은 도 3의 악성 종양을 국지화하고 시각화하는 시스템의 아키텍처를 개략적으로 요약한 도면이다.
도 9는 도 3의 악성 종양을 국지화하고 시각화하는 시스템의 성능을 나타내는 그래프이다.
도 10은 도 3 의 시스템에 의해 구현된 히트맵의 몇 가지 예를 예시하는 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
도 1은 본 발명의 일면에 의한 정상/양성/악성 이미지로 분류하고 기여 영역을 시각화(국지화)하는 방법을 개략적으로 나타내는 흐름도이다.
본 발명에 의한 약지도(weakly-supervised) 딥러닝(deep learning; DL) 알고리즘이 적용된 콘볼루션 신경망(convolutional neural network; CNN)을 활용하여 주석이 없는 유방 초음파 이미지로부터 악성 종양을 국지화하고 시각화하는 방법에 따르면, 우선 초음파 이미지가 수신된다(S110). 수신된 이미지는 환자를 식별하는 정보와 초음파 모달리티에 대한 정보 등이 포함되어 있을 수 있으므로, 이러한 정보를 제거하여 이미지 정보만을 남긴다(S130). 초음파 이미지에서 자동으로 이미지 영역을 구분하는 비식별화 기술은 초음파 영상 모달리티별 프리셋과 영상 처리 기술(Region Growing + Hole filling 등)을 이용하여 구현될 수 있다. 하지만, 이것은 오직 예시를 위하여 제공된 것으로서, 본 발명을 한정하는 것이 아님에 주의한다.
입력 이미지는 악성 종양 및 양성 종양을 포함할 수 있다. 이제, 입력 데이터를 수신하고, 콘볼루션 신경망(convolutional neural network; CNN) 및 광역 평균 풀링(global average pooling; GAP)을 이용하여, 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습한다(S150). 이와 같이, 종래 기술과 달리 본 발명에서는 입력 이미지의 병변 의심 부위를 마크하고 주석화하는 과정이 필요없이 입력 이미지로부터 직접 피쳐 맵을 획득하고 재학습한다. 따라서, 수동 주석화 과정에 들어가는 시간과 인력을 크게 절감할 수 있어서 학습 효과가 향상되고, 결과의 신뢰도가 높아진다.
그러면, 광역 평균 풀링(GAP)을 이용하여 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(probability of malignancy; POM)을 계산한다(S170). 즉, 본 발명에서는 악성으로 판별된 결과의 확률을 함께 제공함으로써, 판별 결과의 검증을 용이하게 할 수 있다.
악성 확률(POM)이 계산되면, 상기 입력 데이터가 판별한 결과를 콘볼루션 신경망(CNN)을 통해 역전파하여, 판별 결과에 기여한 픽셀별 기여도를 기울기(gradient)와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역(relevant region)을 상기 악성 확률(POM)과 함께 시각화한다(S190). 즉, 본 발명에 의한 악성 종양을 국지화하고 시각화하는 방법은 입력 이미지가 없이 기여 영역만을 표시하는 것이 아니라, 입력 이미지 전체에서 분류된 기여 영역을 직접 표시하고, 악성 확률(POM)에 따라 다른 컬러를 사용하여 다르게 시각화한다. 따라서, 병변 주위의 형상이나 특성을 참조하여 진단을 할 수 있게 되어 진단 정확도가 향상되고, 사용자의 편의성이 제고되어 유방암 진단 과정에서 유용하게 사용될 수 있다.
이러한 약지도 딥러닝 알고리즘은 진단 결과의 성능을 검증하고 검증된 성능에 기반하여 약지도 딥러닝 알고리즘을 반복하여 학습된다. 이와 같이 진단 결과를 사용하여 약지도 딥러닝 알고리즘을 학습시키기 때문에, 수동 주석 작업이 없이 신속하고 정확하게 진단 성능을 향상시킬 수 있다.
도 2a는 본 발명의 일면에 의한 악성 종양을 국지화하고 시각화하는 방법의 일 실시예의 동작을 종래 기술과 비교하여 설명하는 블록도이다.
도 2a에 도시된 바와 같이, 본 발명에 의한 악성 종양을 국지화하고 시각화하는 방법은 종래 기술과 다르게 입력 이미지에서 병변 부위를 수동 또는 자동으로 추출(또는 크롭)하여 주석을 붙이는 과정이 필요 없고, 비식별화 과정을 거친 입력 이미지를 그대로 분류기에 입력한다. 즉, 병변의 이미지만 CNN에 입력되는 것이 아니라, 병변을 포함하는 입력 이미지 거의 전부가 입력된다. 또한, 진단 결과와 함께 히트맵을 함께 제공하여 사용자 편의를 도모하고, 병변 부위가 확률과 함께 더 잘 현출될 수 있도록 돕는다.
도 2b는 도 2a에 도시된 방법의 동작을 검증하기 위해 사용된 테스트 데이터세트를 설명하는 블록도이다.
우선 1400 개의 초음파 이미지를 두 병원으로부터 수집했다. 약지도 딥러닝 알고리즘은 세 개의 네트워크(VGG16, ResNet34, 및 GoogLeNet)로 구현되고, 1000 개의 무주석 초음파 이미지(500 개의 양성 및 500 개의 악성괴)를 사용하여 학습된다. 200 개의 이미지(100 개의 양성 및 100 개의 악성괴)의 두 개의 세트가 내부 및 외부 검증 세트에 대해서 사용된다.
그리고, 완전 지도 알고리즘과 비교하기 위하여, 딥 세그멘테이션 네트워크(U-Net)를 사용하여 ROI 주석이 수동으로 그리고 자동으로 수행된다. 진단 성능이 수용자 작용 특성 곡선(AUC) 아래의 면적으로서 계산되고, 약지도 및 완전 지도 딥러닝 알고리즘에서 비교된다. 클래스 활성화 맵을 사용하여, 약지도 딥러닝 알고리즘이 얼마나 정확하게 유방괴를 국지화했는지가 결정된다.
도 2c는 도 2a에 도시된 방법의 성능을 나타내는 그래프이다. 내부(A) 및 외부(B) 검증 세트에서, 약지도 알고리즘 및 수동 및 자동화된 ROI 주석이 있는 완전 지도 딥러닝(DL) 알고리즘을 사용한 상이한 분류기에 대한 수용자 작용 특성 곡선(ROC). (A) 약지도 딥러닝 알고리즘의 수용자 작용 특성 곡선 아래의 면적(AUC)은 완전 지도 딥러닝 알고리즘의 것과 다르지 않다(모든 Ps > 0.05). (B) 약지도 딥러닝의 AUC는 완전 지도 딥러닝 알고리즘의 것보다 통계적으로 다르지 않거나(Ps > 0.05) 더 높다(P = 0.04, 자동화된 ROI 주석이 수반된 VGG16).
도 2c에서 알 수 있는 바와 같이, 본 발명에 의한 악성 종양을 국지화하고 시각화하는 방법은 주석이 없는 입력 이미지를 CNN에 입력시킴에도 불구하고, 종래의 완전 지도 학습과 동등하거나 그 이상의 성능을 나타냈다.
도 2d는 도 2a에 도시된 방법에 의해 시각화된 결과를 예시하는 도면이다. 참-양성(A), 거짓-음성(B), 거짓-양성(C), 및 참-음성(D)의 예들이 각각의 네트워크(VGG16, ResNet34, 및 GoogLeNet)에 대해 표시된다. (A) 초음파 이미지는 17-mm의 불규칙하고 뾰족한 침습성 관상 피내암(ductal carcinoma)을 보여주는데, 이것은 VGG16, ResNet34, 및 GoogLeNet 각각에서 1.00, 1.00, 및 0.999 의 악성 확률(POM)로 악성으로 예측되었다. (B) 초음파 이미지는 11-mm의 계란형, 국한(circumscribed), 동반향 점액암(isoechoic mucinous carcinoma)을 보여주는데, 이것은 0.007, 0.000, 및 0.000 각각의 POM으로 양성으로 예측되었다. (C) 초음파 이미지는 양성으로 간주되는 29-mm 계란형, 과석회화(macrocalcification)(46-개월의 추적 기간 동안 변하지 않음)을 보여주는데, 이것은 1.000, 0.994, 및 1.000 각각의 POM으로 악성이라고 예측되었다. (D) 초음파 이미지는 양성으로 간주되는 6-mm 달걀형, 국한 괴를 보여주는데(55 개월 추적 기간 동안 변하지 않음), 이것은 0.434, 0.006, 및 0.006 각각의 POM으로 양성이라고 예측되었다.
결과적으로, 내부 검증 세트의 경우, 약지도 딥러닝 알고리즘은 훌륭한 진단 성능을 달성했고, AUC 값은 0.92-0.96 인데, 이것은 수동 또는 자동화된 ROI 주석을 동반하는 완전 지도 딥러닝 알고리즘의 그것(AUC, 0.92-0.96)과 통계적으로 다르지 않았다(모든 Ps > 0.05). 외부 검증 세트의 경우, 약지도 딥러닝 알고리즘은 0.86-0.90의 AUC 값을 달성했는데, 이것은 완전 지도 딥러닝 알고리즘의 그것(AUC, 0.84-0.92)과 통계적으로 다르지 않거나(Ps > 0.05) 또는 더 높았다(자동화된 ROI 주석의 경우 P = 0.04, VGG16). 내부 및 외부 검증 세트에서, 약지도 알고리즘은 ResNet34(98%)를 제외하고는 악성괴를 100% 국지화할 수 있었다.
좀 더 자세히 설명하면, 본 발명의 양성괴로부터 악성을 확률 점수와 함께 예측하기 위하여 세 개의 대표적인 네트워크(VGG16, ResNet34, 및 GoogLeNet)를 사용하는 약지도 딥러닝 알고리즘이 활용된다. 또한, 예측된 결과에 기여하는 입력 이미지의 영역을 강조하기 위하여 클래스 활성화 맵(CAM)을 사용하는 약지도 딥러닝 알고리즘의 변별성 국지화 성능이 검사된다. 또한, 수집된 1400 개의 이미지 중에서, 700 개는 생검 또는 수술에 의해 확정된 암이 있는 이미지였고, 700 개는 생검에 의해서(n = 163) 또는 적어도 2 년의 후속 이미징에 의해 확정된(n = 537) 양성괴의 이미지였다. 데이터세트는 학습 세트와 검증 세트를 포함했다. 학습 세트는 기관 A로부터 얻어진 500 개의 양성 및 500 개의 악성괴를 포함했다(데이터 수집 기간: 2011 1월 -2013년 8월). 검증 세트는 내부 및 외부 검증 세트로 나뉘었고, 각각에는 이미지(200 개는 100 양성, 100 개는 악성괴)가 있었다. 내부 검증을 이미지는 기관 A로부터 임시로 분리되었고(데이터 수집 기간: 2013년 9월 -2014 년 7월) 및 알고리즘 학습을 위해 사용되지 않았다. 그리고, 외부 검증을 위한 이미지는 기관 B로부터 계속 획득되었다(데이터 수집 기간: 2011 년 5월 -2015 년 8월). 모든 유방 초음파 이미지는 영상 보관 및 통신 시스템으로부터 추출되었고 JPEG 포맷으로 저장되었다. 기관 A로부터 얻어진 학습 및 내부 검증 세트의 경우, 하나의 초음파 장비가 이미지를 생성하기 위하여 사용된 반면에, 외부 검증 세트(기관 B로부터 얻어짐)에 대해서는 여러 초음파 장비가 사용되었다.
도 3은 본 발명의 다른 면에 의한 악성 종양을 국지화하고 시각화하는 시스템의 일 실시예의 구성 및 동작을 설명하는 블록도이다.
본 발명에 의한 악성 종양을 국지화하고 시각화하는 시스템은 비식별화 모듈(310), 데이터 강화 모듈(330), CNN(350), 및 기여 영역 결정 및 시각화 모듈(370)을 포함한다.
비식별화 모듈(310)은 초음파 영상 전처리 모듈(미도시)의 일부로서, 유방 초음파 이미지에서 진단 대상이고 악성 종양 및 양성 종양 중 하나 이상을 포함할 수 있는 입력 이미지를 생성한다. 이를 위하여, 비식별화 모듈(310)은 유방 초음파 이미지의 에지를 트리밍함으로써 환자의 신체 마크 및 텍스트 주석을 제거하여 익명화된 이미지를 생성하고, 동일한 크기를 가지는 익명화된 이미지를 입력 이미지로서 추출하도록 구성될 수 있다.
데이터 강화 모듈(330)도 역시 초음파 영상 전처리 모듈(미도시)에 포함되며, 익명화된 이미지 기하학적 변이 및 광학적 변이 중 하나를 추가하여 진단 성능을 높일 수 있다. 기하학적 변이에는 수평 플립, 수직 플립, 회전, 스케일링, 병진 등이 포함되고, 광학적 변이에는 삭제, 스페클 잡음 처리, 첨예화, 가우시안 블러링 등이 포함될 수 있다. 하지만, 이것은 오직 예시를 위하여 제공된 것으로서, 본 발명을 한정하는 것이 아님에 주의한다.
데이터 강화 모듈(330)의 출력은 CNN(350)에 입력된다. 본 발명에서 CNN(350)은 기능에 따라 딥러닝 학습 모듈(미도시) 및 감별 진단 모듈(미도시)의 기능을 수행하는 것으로 여겨질 수 있다.
그러면, 딥러닝 학습 모듈(미도시)이 입력 데이터를 수신하고, 콘볼루션 신경망(CNN) 및 광역 평균 풀링(GAP)을 이용하여 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습한다. 또한, 감별 진단 모듈(미도시)은 광역 평균 풀링(GAP)을 이용하여 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(POM)을 계산한다.
그러면, 기여 영역 결정 및 시각화 모듈(170)은 입력 데이터로부터 판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 판별 결과에 기여한 픽셀별 기여도를 기울기와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역을 상기 악성 확률(POM)과 함께 시각화한다.
좀더 상세히 설명하면, 비식별화 모듈(310)은 초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하고, 초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출한다. 또는, 비식별화 모듈(310)은 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 직접 생성할 수도 있다. 이 경우, 익명화된 이미지 또는 영상 데이터는 동일한 크기를 가지는 입력 데이터로 크기조절되는 것이 바람직하다.
또한, 딥러닝 학습 모듈은, 검증의 오류를 줄이고 재현성 있는 모델을 생성하기 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강 프로세스를 적용할 수 있다. 더 나아가, 딥러닝 학습 모듈은, 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여 VGG16, ResNet34, 및 GoogLeNet과 같이 영상 판별을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성함으로써, 각 합성곱 층에 대한 피쳐 맵을 획득한다. 딥러닝 학습 모듈은 획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습함으로써 학습 정확도를 향상시킨다.
감별 진단 모듈에 대해서 설명하면, 감별 진단 모듈은 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하고, 획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산한다. 그러면, 감별 진단 모듈은 계산된 클래스 점수로부터 악성 확률(POM)을 계산한다.
악성 확률(POM)이 계산되면, 기여 영역 결정 및 시각화 모듈은 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(CAM)을 획득하고, 획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하며, 스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 기여 영역을 결정한다. 그러면, 기여 영역 결정 및 시각화 모듈은 결정된 클래스 활성화 맵(CAM)을 히트 맵으로서 악성 확률(POM)과 함께 시각화한다.
시각화된 결과는 관심 영역(ROI) 및 악성 확률(POM)의 검증된 성능에 기반하여 약지도 딥러닝 알고리즘을 학습시키기 위해 사용될 수 있다.
표 1은 강화된 데이터를 사용하여 얻어진 결과를 나타낸다.
이하, 본 발명의 구체적인 실시예를 이용하여 본 발명의 전체 동작을 더욱 상세히 설명한다.
이미지 주석작업 및 전처리
이미지는 신체 마크 및 텍스트 주석을 제거하기 위해서 이미지의 에지를 트리밍함으로써 익명화된다. 약지도 딥러닝 알고리즘의 경우, ROI 주석이 없는 제안된 시스템의 성능을 테스트하기 위하여 추가적인 데이터 큐레이션이 수행되지 않았다. 완전 지도 딥러닝 알고리즘과 비교하기 위하여, ROI 주석은 수동 드로잉 및 자동화된 딥러닝 기반 세그멘테이션의 두 가지 방법을 사용하여 수행된다. 수동 드로잉의 경우, 방사선 촬영기사가 ROI를 표시했고 인하우스 드로잉 툴을 사용하여 각각의 괴(mass)에 대해 이진 마스크를 표시했다. 자동화된 딥러닝 기반 세그멘테이션의 경우, 딥 세그멘테이션 네트워크 U-Net이 채용되는데, 이것은 의료용 이미지를 세그멘트하기 위해 개발된 것이다. ROI 주석작업 이후에, 대응하는 괴를 둘러싸는 30 픽셀의 고정된 마진이 있는 사각형 이미지를 추출했고, 해당 이미지를 224x224 픽셀로 리사이징한 후, 픽셀 세기를 최대 세기 값을 사용하여 0 내지 1로 정규화했다.
딥 분류 모델
딥 분류기의 경우, 다양한 컴퓨터 비전 작업에서 최첨단의 성능을 달성한 세 개의 대표적인 콘볼루션 신경망인 VGG16, ResNet34, 및 GoogLeNet이 채용된다. 하지만, 이것은 오직 예시를 위하여 제공된 것으로서, 본 발명을 한정하는 것이 아님에 주의한다. 이러한 CNN 모델의 분류 성능이 여러 연구에서 평가된 바 있다.
VGG16은 다섯 개의 콘볼루션 블록을 쌓아 올린 피드포워드 신경망인데, 각각의 블록은 두 개의 3x3 콘볼루션 층과 맥스풀링(max-pooling) 층으로 이루어져 분류 작업을 위한 관련 이미지 피쳐를 학습한다. ResNet34 아키텍처는 가중층(weighting layer) 이후의 쇼트컷으로서 그레디언트가 사라지는 문제점을 해결할 수 있는, 잔여 연계(residual connection)기능이 있는 심화 CNN이다. 마지막으로, GoogLeNet은 상이한 스케일에 대한 시각적 패턴을 학습하기 위한 인셉션 모듈(Inception module)의 스택으로 이루어진다. 단일 인셉션 모듈은 수용 필드를 비용 효과적으로 강화시키기 위한, 1x1 내지 5x5까지의 상이한 필터 크기를 가지는 여러 콘볼루션 브랜치를 포함한다. CNN 모델의 아키텍처의 세부사항들은 공지되어 있다.
약지도 딥러닝 알고리즘에 의한 변별성 국지화(discriminative localization)의 성능을 테스트하기 위하여, 분류 모델을 각각의 모델의 최종 콘볼루션 층에 추가된 광역 평균 풀링(global average pooling; GAP) 층을 사용하여 확장할 수 있다. 그러면, GAP는 마지막 콘볼루션 층의 각각의 피쳐 맵()을 다음과 같이 평균화하여 피쳐 점수()를 만든다.
여기에서 및 는 의 공간적 인덱스이다.
피쳐 맵의 개수는 클래스의 개수()와 같다. 그러면, 모델은 완전 연결된 층 및 소프트맥스(softmax) 함수를 사용하여 선형 분류를 수행한다. 학습가능한 가중치( 가 있는 완전 연결된 층은 각각의 클래스에 대한 클래스 점수()를 다음과 같이 계산할 수 있다.
클래스 점수가 소프트맥스 함수에 주어져서 모든 클래스의 예측된 확률을 얻는다. 각각의 클래스의 예측된 확률() 및 악성 확률(POM)이 다음과 같이 계산된다.
변별성 국지화
각각의 클래스의 클래스 활성화 맵(class activation map; CAM)()은 피쳐 맵들을 클래스 점수의 추정 시에 학습된 가중치를 사용하여 병합함으로써 획득될 수 있다.
의 상대적 세기는 대상-상호간 비교 및 시각화를 위하여 min-max 정규화를 사용하여 스케일링된다. 스케일링된 클래스 활성화 맵()은 다음과 같이 얻어진다.
종양 특성 내의 집중된 영역은 스케일링된 맵을 임계치()를 사용하여 이진화함으로써 결정된다. 임계치는 학습 세트 내의 수동 ROI 주석이 있는 이진화된 맵들의 중첩을 고려하여 경험적으로 선택될 수 있다.
성능 메트릭 및 통계적인 분석
구별된 진단을 위하여, 수용자 작용 특성 곡선 아래의 면적(AUC)을 알고리즘 성능을 비교하기 위한 일차 메트릭으로서 사용했고, 두 개의 상관된 수용자 작용 특성 곡선(ROC)의 AUC를 비교하기 위하여 중요도의 DeLong 테스트를 사용했다. 엄격(exact) McNemar 테스트가 민감도 및 특이도(specificity)에서의 차이를 테스트하기 위하여 사용된다. 변별성 국지화는 세그멘트화된 구역들이 수동으로 주석처리된 구역과 중첩할 때 정확한 것으로 간주된다. MedCalc 통계 소프트웨어, 버전 17.1(Mariakerke, Belgium)을 사용하여 모든 통계적인 분석이 수행된다. 양측 P 값 <0.05 이 통계적으로 의미가 있다고 여겨진다.
성능 메트릭
내부 검증 테스트 세트의 경우, 약지도 딥러닝 모델은 양성 및 악성 유방괴의 구별된 진단에서 높은 성능을 달성했고, AUC 값은 VGG16, ResNet34, 및 GoogLeNet 모델 각각에서 0.96(95% CI: 0.92, 0.98), 0.92(95% CI: 0.88, 0.96), 및 0.94(95% CI: 0.90, 0.97) 이다(표 2). 수동 주석을 동반한 완전 지도 딥러닝 모델의 AUC는 VGG16, ResNet34, 및 GoogLeNet 모델 각각에서0.96(95% CI: 0.93, 0.98), 0.94(95% CI: 0.89, 0.97), 및 0.96(95% CI: 0.92, 0.98)이다. 자동화된 주석을 수반한 완전 지도 딥러닝 모델의 AUC는 각각 0.96(95% CI: 0.92, 0.98), 0.92(95% CI: 0.87, 0.95), 및 0.95(95% CI: 0.91, 0.98이다. 이와 같이, 약지도 딥러닝 모델의 AUC는 수동 또는 자동화된 ROI 주석이 있는 완전 지도 딥러닝 모델의 것과 다르지 않았다(모든 Ps > 0.05).
약지도 딥러닝 모델의 민감도는 VGG16, ResNet34, 및 GoogLeNet 모델 각각에서 87%(87/100), 82%(82/100), 및 87%(87/100) 이고, 특이도는 각각 91%(91/100), 91%(91/100), 및 94%(94/100)이다. 민감도 및 특이도는 약지도 및 완전 지도 딥러닝 모델 사이에서 다르지 않았다(모든 Ps > 0.05).
외부 검증 테스트 세트의 경우, 약지도 딥러닝 모델은 높은 진단 성능을 달성했고, AUC 값이 VGG16, ResNet34, 및 GoogLeNet 모델 각각에서 0.89(95% CI: 0.84, 0.93), 0.86(95% CI: 0.81, 0.91), 및 0.90(95% CI: 0.85, 0.94)여서 다소 낮았다. 수동 주석이 수반된 완전 지도 딥러닝 모델의 AUC는 VGG16, ResNet34, 및 GoogLeNet 모델 각각에서 0.91(95% CI: 0.86, 0.95), 0.89(95% CI: 0.84, 0.93), 및 0.92(95% CI: 0.87, 0.95)였다. 자동화된 주석이 수반된 완전 지도 딥러닝 모델의 AUC는 각각 0.85(95% CI: 0.79, 0.89), 0.84(95% CI: 0.78, 0.88), 및 0.87(95% CI: 0.82, 0.92)였다. 약지도 딥러닝 모델의 AUC는 수동 ROI 주석이 수반된 완전 지도 딥러닝 모델의 것들과 통계적으로 다르지 않았다(모든 Ps > 0.05).
VGG16 네트워크의 경우, AUC는 자동화된 ROI 주석이 수반된 완전 지도 딥러닝 모델보다 약지도 딥러닝 모델에서 훨씬 높았다(P = 0.04). ResNet34 및 GoogLeNet 네트워크는 약지도 딥러닝 모델 및 자동화된 ROI 주석이 수반된 완전 지도 딥러닝 모델 사이에 중요한 차이를 보이지 않았다(모든 Ps > 0.05). 민감도는 VGG16 및GoogLeNet에서 약지도(91% [91/100] 및 88% [88/100]) 및 완전 지도 딥러닝 모델(85% [85/100] 및 87% [87/100]) 사이에 크게 다르지 않았다(모든 Ps > 0.05).
ResNet34 모델의 경우, 민감도는 수동 주석이 수반된 완전 지도 모델(89% [89/100], P < 0.001) 보다 약지도 딥러닝 모델(78% [78/100])에서 낮았지만, 자동화된 ROI 주석이 수반된 완전 지도 딥러닝 모델과 크게 다르지 않았다(81% [81/100], P = 0.66). 약지도 딥러닝 모델의 특이도(VGG16, ResNet34, 및 GoogLeNet 네트워크 각각에서 72% [72/100], 80% [80/100], 및 76% [76/100])는 수동 ROI 주석이 수반된 완전 지도 딥러닝 모델과 VGG16(52% [52/100]) 및 GoogLeNet 모델(63% [63/100])에서 크게 다르지 않았고(모든 Ps > 0.05), ResNet34 모델(90% [90/100], P< 0.001)보다는 낮았다.
특이도는 자동화된 ROI 주석이 수반된 완전 지도 딥러닝 모델 보다 약지도 딥러닝 모델에서 통계적인 중요도 또는 경계선 중요도(VGG16, ResNet34, 및 GoogLeNet 모델 각각에서 P < 0.001, P= 0.07, 및 P = 0.04)를 가지고 더 높았다.
변별성 국지화의 성능 메트릭
내부 검증 세트에서, VGG16 및 ResNet34 네트워크를 사용한 약지도 딥러닝 모델은 양성괴의 99%(99/100) 및 악성괴의 100%(100/100)들 국지화할 수 있다. GoogLeNet 네트워크는 양성 및 악성괴 모두의 100%(100/100)들 국지화할 수 있다. 외부 검증 세트에서, VGG16, ResNet34, 및 GoogLeNet 네트워크를 사용한 약지도 딥러닝 모델은 양성의 99%(99/100), 96%(96/100), 97%(97/100), 및 악성괴의 100%(100/100), 98%(98/100), 100%(100/100)들 각각 국지화할 수 있다.
이와 같이, 종래 기술에 의한 완전 지도 딥러닝 알고리즘과 비교할 때, 본 발명의 약지도 딥러닝 알고리즘이 훌륭한 진단 성능(AUC: 0.86-0.96)을 가지며 수동 주석이 수반된 완전 지도 딥러닝 알고리즘(AUC: 0.89-0.96) 및 자동화된 주석이 수반된 완전 지도 딥러닝 알고리즘(AUC: 0.84-0.96)에 비해 부족하지 않다는 것을 발견했다. 더 나아가, 약지도 딥러닝 알고리즘은 양성 및 악성괴를 거의 완벽한 비율로(96%-100%) 정확하게 국지화할 수 있다.
이러한 훌륭한 분류 및 국지화 성능은 상대적으로 작은 데이터세트 및 상이한 유방 이미지 및 초음파 장비를 사용한 외부 검증 세트에서도 달성된다. 이를 종합하면, 약지도 딥러닝 알고리즘을 사용하여 판정을 지원하는 것이 가능하며, 수동 드로잉 또는 자동화된 ROI 세그멘테이션이 필요하지 않는 매우 효율적인 데이터-큐레이션 프로세스를 통해서 초음파 이미지에서 유방암을 검출 및 진단하는 것을 도울 수 있다는 것이 확인된다.
딥러닝 알고리즘이 유방촬영 해석법에 성공적으로 적용되어 왔지만, 유방 초음파 이미지의 딥러닝 알고리즘의 개발은 여전히 시작 단계에 불과하다. 그럼에도 불구하고, 딥러닝 알고리즘이 초음파 이미지 내의 유방괴를 양호한 성능으로 진단할 것이 유망하다.
종래 기술의 CAD 시스템을 활용한 진단은 다른 장비로 얻어진 이미지에 적용되기에는 여전히 한계가 있지만, 본원 발명에 의한 악성 종양을 국지화하고 시각화하는 방법 및 시스템은 동일한 크기의 입력 이미지를 그대로 입력하기 때문에 범용성을 가진다. 즉, 본 발명은 흉부 x-레이, MRI, 또는 조직병리학 이미지를 사용한 이미지 기반 분류 및 유방 초음파 이미지를 사용한 영역 기반 분류에 널리 적용될 수 있다.
도 4는 도 3의 악성 종양을 국지화하고 시각화하는 시스템에 적용될 수 있는 팽창된 콘볼루션 프로세스를 설명하는 도면이다.
수용 필드(receptive filed)는 입력 공간에서 주어진 태스크를 수행하기 위하여 CNN 모델이 동작할 수 있는 영역을 의미하는데, 수용 필드를 넓히려면 필터의 크기를 증가시키거나 더 많은 층을 스택하는 것이 필요하다. 하지만, 그렇게 되면 학습가능한 파라미터와 신경망에서의 수치 연산이 폭발적으로 증가할 수 있다.
이러한 문제를 해결하기 위하여, 팽창된 콘볼루션 프로세스는 픽셀들 사이에 미리 규정된 갭을 두고서 콘볼루션 연산을 수행하는 것을 제안한다. 도 4에 도시된 바와 같이, 팽창 콘볼루션 프로세스를 사용하면 연산량을 증가시키지 않으면서 수용 필드를 확장시킬 수 있다.
도 5a 내지 도 5e는 도 3의 악성 종양을 국지화하고 시각화하는 시스템에 적용된 학습가능 박스 필터의 개념을 설명하기 위한 도면이다.
도 5a를 참조하면, 학습가능 박스 필터는 모든 위치에서 평균을 구하고, 박스의 좌표를 학습가능한 파라미터로 취급한다.
도 5b를 참조하면, 콘볼루션 평균 필터는 필터 내의 모든 값을 합산한 후 이들을 필터의 크기로 나눈다. 이와 유사하게, 박스 필터는 필터 값은 고정된 채 필터의 크기를 결정하는 파라미터 들 학습한다. 도 5b에는 3x3 박스 평균 필터가 예시되지만, 이것은 오직 예시를 위하여 제공된 것으로서, 본 발명을 한정하는 것이 아님에 주의한다.
도 5c를 참조하면, 박스 콘볼루션층은 채널별 연산을 지원하여 C 개의 입력 채널에 대해여 각각 B 개의 상이한 박스 필터를 훈련시킨다. 그러므로, 출력은 CB 개의 채널로 이루어지고, 학습가능한 파라미터의 개수는 필터 크기와 무관하게 일정한 크기인 4CB가 된다.
그러면, 출력 피쳐 맵 O의 크기를 유지하기 위하여 제로 패딩을 사용하여 입력 맵 I를 확장시킬 수 있다. 순방향 패스에서, O는 박스 필터와의 콘볼루션 연산에 의해서 결정될 수 있다.
도 5d는 적분 이미지를 설명하는 도면이다. 도 5d에 예시된 바와 같이, 적분 이미지는 격자의 사각형 서브셋 내의 값들의 합을 생성하기 위한 알고리즘이다. 도 5d는 이해의 편의를 위하여 제공된 것일 뿐이고, 본 발명을 한정하는 것이 아님에 주의한다.
도 5e는 본 발명에 적용될 수 있는 박스 블록을 예시한다. 박스 블록은 크로스-채널 1x1 콘볼루션층을 가지는데, 그 이유는 박스 콘볼루션층이 각각의 채널에 대해서 독립적으로 동작하기 때문이다. 박스 블록은 배치 정규화 및 잔여 연계(residual connection)을 통하여 확장될 수도 있다.
도 6은 본 발명의 다른 면에 의한 악성 종양을 국지화하고 시각화하는 시스템의 다른 실시예의 구성 및 동작을 설명하는 블록도이다.
도 6은 CNN의 구성 요소로서 콘볼루션블록(CB) 및 박스 콘볼루션 블록(BB)이 포함된다는 점을 제외하고는 도 3 의 블록도와 동일하다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
도 7은 도 3의 악성 종양을 국지화하고 시각화하는 시스템에 적용된 CAM 알고리즘을 설명하기 위한 도면이다.
클래스 활성화 맵(CAM)은 국지화 성능을 평가하기 위한, 특정 클래스에 대한 맵이다. 클래스 활성화 맵(CAM)을 사용하면 입력 이미지 중에서 병변에 해당하는 영역을 강조하여 시각화할 수 있게 된다.
딥러닝 알고리즘을 사용한 분류 방법은 영역 기반 및 이미지 기반 분류로 범주화될 수 있다. 영역 기반 분류의 경우, 종양 ROI 추출이 분류 프로세스에 선행한다. 본 발명에서, U-Net, 완전-콘볼루션 네트워크, 및 고속 R-CNN과 같은 이미지 세그멘테이션 방법이 기여 영역의 추출을 위해 채용된다. 이미지 기반 분류는 전체 초음파 이미지(종양 주위의 전체 유방 조직을 포함)를 입력으로서 수신하고 종양 분류에 관련된 초음파 피쳐를 학습한다. 본 발명의 약지도 딥러닝 알고리즘은 초음파 이미지에서 악성괴를 양성 유방괴를 분별할 때 완전 지도 딥러닝 알고리즘보다 사람을 더 잘 모방하는 알고리즘에 더 가까운 역할을 한다. 유방 이미징 보고 및 데이터 시스템(BI-RADS)에서 채용된 사람이 구축한 알고리즘은 괴 및 주위의 유방 조직 양자 모두를 고려한다. 그러므로, 이미지 전체의 정보를 사용하는 약지도 딥러닝은(괴 또는 그 주위로 한정되지 않음), 완전 지도 딥러닝보다 장점을 가질 수 있다.
제안된 알고리즘은, 차분 진단을 위해 도움이 되는 것으로 알려진 괴 외부의 BI-RADS 렉시콘 기술 정보의 중요한 부분(예를 들어 후부(posterior) 피쳐, 구조적 왜곡, 및 피부 변화 및 부종)을 학습할 수 있다.
더 나아가, 약지도 딥러닝 알고리즘은 초음파 유방 병변을 위한 딥러닝-보조 검출 프레임워크 에도 적용될 수 있는데 그 이유는 제안된 알고리즘이 유방 조직 내의 질병 영역과 무질병 영역 모두를 학습할 수 있기 때문이다. 검출 프레임워크를 개발하기 위하여, 무질병 구역을 학습하는 것이 특히 중요한데, 그 이유는 유방 조직의 초음파 외관(특히 유선 구역)이 사람마다 크게 다르고 특히 섬유(fibrous element) 및 선의 요소(glandular element)의 양과 분포에 따라서 유방의 부분마다 크게 다르기 때문이다. 더 나아가, 피부로부터 흉부까지의 해부학적 구조의 정상 외관을 알게 되면, 흉벽이 병리학적 구조를 검출하는 데 있어서 필수적이다.
요약하면, 본 발명에서 사용된 GAP는 다음의 장점을 가진다.
첫째, 계산 부하와 파라미터를 크게 감소시킬 수 있고, 따라서 네트워크를 더 빠르게 하고 과맞춤(overfitting) 문제점에 대해 더 견고하게 한다.
둘째, 본 발명은 피쳐 맵을 강화시켜서 클래스에 관련된 공간적 정보를 보존함으로써 이들이 CNN 모델의 판정을 해석하기 위하여 사용될 수 있게 한다. CAM이 있는 GAP를 사용한 구별된 진단에 영향을 주는 영역들을 식별하기 위한 이러한 방법은 eXplainable AI(XAI)의 개념에 이르게 된다. XAI 또는 responsible-AI는 딥 프레임워크에 의해 생기는, 판정들이 어떻게 이루어졌는지를 이해하는 것이 불가능한 내재적인 "블랙박스 문제점" 을 극복하기 위해 새롭게 대두되는 패러다임이다. CAM은 AI에 의해 구현된 판정 결정 프로세스를 해석하기 위한 직관을 제공한다. 또한, CAM이 있는 약지도 딥러닝은 헬스케어 제공자들에게 임상적으로 중요한 영역에 대한 딥러닝-보조 검출 프레임워크를 개발할 수 있게 한다.
셋째, 본 발명의 장점은, 제안된 약지도 딥러닝 알고리즘이 구현되기 위하여 반드시 대량의 데이터세트를 사용한 훈련이 필요하지 않다는 것이다.
넷째, 양성 유방괴로부터 악성을 검출 및 진단하기 위한, 이미지 ROI 주석이 없는 약지도 딥러닝 알고리즘은 유방괴를 정확하게 검출하고 종래의 완전 지도 딥러닝 알고리즘에 비해 비견되는 성능을 보여준다. 구별된 진단 및 변별성 국지화가 양호하게 수행되고 약지도 딥러닝 알고리즘에 의해 얻어진 데이터 큐레이션의 효율이 높다는 것은, 본 발명이 구현가능하며 추후의 임상 연구에서 테스트를 위한 소중한 후보가 된다는 것을 나타낸다.
도 8은 도 3의 악성 종양을 국지화하고 시각화하는 시스템의 아키텍처를 개략적으로 요약한 도면이고, 도 9는 도 3의 악성 종양을 국지화하고 시각화하는 시스템의 성능을 나타내는 그래프이다.
전술된 바와 같이, 약지도 딥러닝 알고리즘은 병변의 관심 영역(ROI)의 이미지 주석을 요구하지 않는 반면에, 완전 지도 딥러닝 알고리즘은 종양 세그멘테이션(수동 또는 자동) 및 분류기에 들어가기 전에 ROI에 대한 크롭이 필요하다. 약지도 딥러닝 알고리즘의 경우, 클래스 활성화 맵(CAM)이 생성되어, 마지막 콘볼루션 층에 추가되는 광역 평균 풀링 층(GAP)을 사용하여 이러한 알고리즘에 의해 검출된 구역을 시각화한다.
이러한 성능은 다음의 수학식에 의해 판정될 수 있다.
수학식 8에 대해서는 Chanho Kim, Won Hwa Kim, Hye Jung Kim, and Jaeil Kim, "Weakly-supervised US breast Tumor Characterization and Localization with a Box Convolution Network"를 참조한다.
도 10은 도 3 의 시스템에 의해 구현된 히트맵의 몇 가지 예를 예시하는 도면이다.
도 10을 참조하면, 본 발명에 의한 악성 종양을 국지화하고 시각화하는 방법및 시스템은 종래 기술에 의한 완전 지도에 의한 학습과 비견되거나 그 이상의 성능을 제공하며, 병변 주위의 조직에 대한 이미지 정보를 그대로 표출하기 때문에 검진 정확도를 향상시킨다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 약지도 딥러닝 알고리즘이 의료용 이미지에서 더 넓게 사용되게 하기 위하여, 이러한 알고리즘이 다른 신체 부분 또는 다른 이미징 모달리티로부터 얻어진 이미지에도 적용될 수 있다.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명에서 개발된 약지도 딥러닝 알고리즘은 양호한 국지화 및 구별된 진단이 가능한 유방암의 초음파 진단에 대해서 사용될 수 있다.
310 : 비식별화 모듈 330 : 데이터 강화 모듈
350 : CNN 370 : 기여 영역 결정 및 시각화 모듈

Claims (12)

  1. 약지도(weakly-supervised) 딥러닝(deep learning; DL) 인공 지능을 이용한 유방 초음파 진단 방법으로서,
    유방 초음파 이미지에서 환자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 단계;
    상기 입력 데이터를 수신하고, 콘볼루션 신경망(convolutional neural network; CNN) 및 광역 평균 풀링(global average pooling; GAP)을 이용하여, 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 단계;
    광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(probability of malignancy; POM)을 계산하는 감별 진단 단계; 및
    판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기(gradient)와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역(relevant region)을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 단계를 포함하고,
    상기 딥러닝 학습 단계는 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법.
  2. 제1항에 있어서,
    상기 초음파 영상 전처리 단계는,
    초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(Digital Imaging and Communications in Medicine; DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하는 것;
    초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출하거나 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 생성하는 것; 및
    상기 익명화된 이미지 또는 영상 데이터를 동일한 크기를 가지는 입력 데이터로 크기조절(resizing)하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법.
  3. 제2항에 있어서,
    상기 딥러닝 학습 단계는,
    검증의 오류를 줄이고 재현성 있는 모델을 생성하기 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강(augmentation) 프로세스를 적용하는 것;
    상기 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여, 영상 판별(image classification)을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성하여 각 합성곱 층에 대한 피쳐 맵을 획득하는 것; 및
    획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법.
  4. 제3항에 있어서,
    상기 감별 진단 단계는,
    상기 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하는 것;
    획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산하고, 계산된 클래스 점수로부터 악성 확률(POM)을 계산하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법.
  5. 제4항에 있어서,
    상기 기여 영역 결정 및 시각화 단계는,
    상기 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(class activation map; CAM)을 획득하는 것;
    획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하는 것;
    스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 상기 기여 영역을 결정하는 것; 및
    상기 클래스 활성화 맵(CAM)을 히트 맵으로서 상기 악성 확률(POM)과 함께 시각화하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법.
  6. 제3항에 있어서,
    상기 기하학적 변이는 수평 플립, 수직 플립, 회전, 스케일링, 병진 중 적어도 하나를 포함하고,
    상기 광학적 변이는 삭제, 스페클 잡음(speckle noise) 처리, 첨예화(sharpening), 가우시안 블러링(Gaussian blurring) 중 적어도 하나를 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법.
  7. 약지도 딥러닝(DL) 인공 지능을 이용한 유방 초음파 진단 시스템으로서,
    유방 초음파 이미지에서 환자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 모듈;
    상기 입력 데이터를 수신하고, 콘볼루션 신경망(CNN) 및 광역 평균 풀링(GAP)을 이용하여 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 모듈;
    광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(POM)을 계산하는 감별 진단 모듈; 및
    판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 모듈을 포함하고,
    상기 약지도 딥러닝 알고리즘은 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습되는 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템.
  8. 제7항에 있어서,
    상기 초음파 영상 전처리 모듈은,
    초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하고,
    초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출하거나 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 생성하며,
    상기 익명화된 이미지 또는 영상 데이터를 동일한 크기를 가지는 입력 데이터로 크기조절하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템.
  9. 제8항에 있어서,
    상기 딥러닝 학습 모듈은,
    검증의 오류를 줄이고 재현성 있는 모델을 생성하기 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강 프로세스를 적용하고,
    상기 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여, 영상 판별을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성하여 각 합성곱 층에 대한 피쳐 맵을 획득하며,
    획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템.
  10. 제9항에 있어서,
    상기 감별 진단 모듈은,
    상기 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하고,
    획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산하고, 계산된 클래스 점수로부터 악성 확률(POM)을 계산하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템.
  11. 제7항에 있어서,
    상기 기여 영역 결정 및 시각화 모듈은,
    상기 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(CAM)을 획득하고,
    획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하며,
    스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 상기 기여 영역을 결정하고,
    상기 클래스 활성화 맵(CAM)을 히트 맵으로서 상기 악성 확률(POM)과 함께 시각화하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템.
  12. 제9항에 있어서,
    상기 기하학적 변이는 수평 플립, 수직 플립, 회전, 스케일링, 병진 중 적어도 하나를 포함하고,
    상기 광학적 변이는 삭제, 스페클 잡음 처리, 첨예화, 가우시안 블러링 중 적어도 하나를 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템.
KR1020210019446A 2021-02-10 2021-02-10 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 KR102559616B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210019446A KR102559616B1 (ko) 2021-02-10 2021-02-10 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템
PCT/KR2022/002012 WO2022173233A1 (ko) 2021-02-10 2022-02-10 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템
EP22752993.0A EP4292538A1 (en) 2021-02-10 2022-02-10 Breast ultrasound diagnosis method and system using weakly supervised deep-learning artificial intelligence
JP2023572502A JP2024507290A (ja) 2021-02-10 2022-02-10 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝
KR1020230026497A KR102620046B1 (ko) 2021-02-10 2023-02-28 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210019446A KR102559616B1 (ko) 2021-02-10 2021-02-10 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230026497A Division KR102620046B1 (ko) 2021-02-10 2023-02-28 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220115757A KR20220115757A (ko) 2022-08-18
KR102559616B1 true KR102559616B1 (ko) 2023-07-27

Family

ID=82838022

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210019446A KR102559616B1 (ko) 2021-02-10 2021-02-10 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템
KR1020230026497A KR102620046B1 (ko) 2021-02-10 2023-02-28 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230026497A KR102620046B1 (ko) 2021-02-10 2023-02-28 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템

Country Status (4)

Country Link
EP (1) EP4292538A1 (ko)
JP (1) JP2024507290A (ko)
KR (2) KR102559616B1 (ko)
WO (1) WO2022173233A1 (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154733B1 (ko) * 2013-01-16 2020-09-11 삼성전자주식회사 의료 영상을 이용하여 대상체에 악성 종양이 존재하는지 여부를 예측하는 장치 및 방법
CN104021391B (zh) 2013-03-01 2019-03-26 北京三星通信技术研究有限公司 处理超声图像的方法和装置以及乳腺癌诊断设备
US20200327409A1 (en) * 2017-11-16 2020-10-15 Samsung Electronics Co., Ltd. Method and device for hierarchical learning of neural network, based on weakly supervised learning
KR102223255B1 (ko) * 2018-08-07 2021-03-05 한국과학기술원 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템
KR102209382B1 (ko) * 2018-12-27 2021-01-28 연세대학교 산학협력단 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
KR20200108685A (ko) * 2019-03-11 2020-09-21 가천대학교 산학협력단 딥러닝 알고리즘을 이용한 유방의 병변 검출 프로그램
KR102281988B1 (ko) * 2019-04-04 2021-07-27 한국과학기술원 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템
KR102214123B1 (ko) * 2020-02-17 2021-03-08 주식회사 제이엘케이 인공지능 기반 pwi-dwi 미스매치 병변 추출 및 통합 평가 방법 및 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Artificial intelligence in breast ultrasonography", Ultrasonography. 2021 Apr; 40(2): 183-190
"Deep Learning-Based Breast Cancer Diagnosis at Ultrasound: Initial Application of Weakly-Supervised Algorithm Without Image Annotation", DOI:10.21203/RS.3.RS-579221/V1
"Weakly-supervised deep learning for ultrasound diagnosis of breast cancer", Scientific Reports volume 11, Article number: 24382 (2021.12.21.)
"Weakly-supervised US breast tumor characterization and localization with a box convolution network", Medical Imaging 16 March 2020

Also Published As

Publication number Publication date
WO2022173233A9 (ko) 2022-12-08
WO2022173233A1 (ko) 2022-08-18
JP2024507290A (ja) 2024-02-16
KR20230035297A (ko) 2023-03-13
KR102620046B1 (ko) 2024-01-02
KR20220115757A (ko) 2022-08-18
EP4292538A1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US10192099B2 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
Masood et al. Computer aided diagnostic support system for skin cancer: a review of techniques and algorithms
George et al. Remote computer-aided breast cancer detection and diagnosis system based on cytological images
JP3947109B2 (ja) コンピュータ利用画像分析
US20120283574A1 (en) Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
Sengan et al. A fuzzy based high-resolution multi-view deep CNN for breast cancer diagnosis through SVM classifier on visual analysis
Zyout et al. A computer-aided detection of the architectural distortion in digital mammograms using the fractal dimension measurements of BEMD
Isfahani et al. Presentation of novel hybrid algorithm for detection and classification of breast cancer using growth region method and probabilistic neural network
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
Jubeen et al. An automatic breast cancer diagnostic system based on mammographic images using convolutional neural network classifier
Mahalaxmi et al. Liver Cancer Detection Using Various Image Segmentation Approaches: A Review.
KR102559616B1 (ko) 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템
Singh et al. Detection of Brain Tumors Through the Application of Deep Learning and Machine Learning Models
Kaur et al. Lung cancer detection using textural feature extraction and hybrid classification model
Thakur et al. A systematic review of machine and deep learning techniques for the identification and classification of breast cancer through medical image modalities
Manju et al. Computer-Aided Detection of Skin Cancer Detection from Lesion Images Via Deep Learning Techniques: 3d CNN Integrated Inception V3 Networks
Bhojane et al. Lung Tomography Using Convolutional Neural Networks
Mao et al. Studies on Category Prediction of Ovarian Cancers Based on Magnetic Resonance Images
Crasta et al. A novel Deep Learning architecture for lung cancer detection and diagnosis from Computed Tomography image analysis
Divya et al. Transforming Lung Carcinoma Analysis: Deep Learning‘s Efficient Segmentation and Classification
Sharma et al. Enhancing diagnosis of breast cancer through mammographic image segmentation using Fuzzy C-Means
Krithiga Improved Deep CNN Architecture based Breast Cancer Detection for Accurate Diagnosis
Kumar et al. ENHANCED APPROACH FOR BRAIN TUMOR DETECTION.
Chauhan et al. Identification and Localization of Malanoma Skin Cancer in Neuropathological Images.
Priya et al. Artificial Intelligence Techniques and Methodology Available for Lung Cancer Detection

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right