KR20230059454A - 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 - Google Patents
초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 Download PDFInfo
- Publication number
- KR20230059454A KR20230059454A KR1020210143665A KR20210143665A KR20230059454A KR 20230059454 A KR20230059454 A KR 20230059454A KR 1020210143665 A KR1020210143665 A KR 1020210143665A KR 20210143665 A KR20210143665 A KR 20210143665A KR 20230059454 A KR20230059454 A KR 20230059454A
- Authority
- KR
- South Korea
- Prior art keywords
- pancreatic
- pancreatic cancer
- image
- endoscopic
- blood vessel
- Prior art date
Links
- 206010061902 Pancreatic neoplasm Diseases 0.000 title claims abstract description 109
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 title claims abstract description 109
- 201000002528 pancreatic cancer Diseases 0.000 title claims abstract description 109
- 208000008443 pancreatic carcinoma Diseases 0.000 title claims abstract description 109
- 230000009790 vascular invasion Effects 0.000 title claims abstract description 86
- 238000004458 analytical method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000009558 endoscopic ultrasound Methods 0.000 title claims description 22
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 91
- 230000011218 segmentation Effects 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 40
- 238000002604 ultrasonography Methods 0.000 claims abstract description 28
- 210000000496 pancreas Anatomy 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000002792 vascular Effects 0.000 claims description 11
- 230000009545 invasion Effects 0.000 claims description 9
- 238000001839 endoscopy Methods 0.000 claims 6
- 238000012336 endoscopic ultrasonography Methods 0.000 description 94
- 206010028980 Neoplasm Diseases 0.000 description 23
- 230000008569 process Effects 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000005259 peripheral blood Anatomy 0.000 description 3
- 239000011886 peripheral blood Substances 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000001363 mesenteric artery superior Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
- A61B8/4472—Wireless probes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
- A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Vascular Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법은 분석장치가 대상자의 췌장 초음파 내시경 영상을 입력받는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하는 단계 및 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 단계를 포함한다.
Description
이하 설명하는 기술은 췌장 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범에 대한 정보를 산출하는 기법에 관한 것이다.
췌장암은 예후가 매우 좋지 않은 대표적인 종양이다. 췌장암 진단시 수술적 치료가 가능한 경우는 20% 미만이며, 수술 시행 후 5년 생존율도 25% 미만으로 전체 췌장암 환자 5년 생존율은 5% 정도로 보고된다. 현재 췌장암 완치가 가능한 방법은 침습적 수술 절제술이 유일하다. 한편, 복강 내 주요 혈관(상장간막동맥, 문맥)이 침범되었을 경우 종양 크기가 작다고 하더라도 수술적 절제가 불가능하다.
초음파 내시경(endoscopic ultrasonography, EUS) 개발로 소화관 벽에 발생되는 상피하종양에 대한 평가가 가능하게 되었다. 그러나, EUS를 이용하여도 췌장암에서 혈관 침범은 확인하기 어렵다.
이하 설명하는 기술은 췌장 초음파 내시경 영상을 이용하여 췌장암 혈관 침범 여부를 확인하는 기법을 제공하고자 한다. 나아가, 이하 설명하는 기술은 췌장암 혈관 침범 영역을 시각적으로 제공하는 기법을 제공하고자 한다.
초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법은 분석장치가 대상자의 췌장 초음파 내시경 영상을 입력받는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하는 단계, 상기 분석장치가 상기 췌장 초음파 내시경 영상을 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하는 단계 및 상기 분석장치가 상기 췌장 초음파 내시경 영상을 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 단계를 포함한다.
초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치는 대상자의 췌장 초음파 내시경 영상을 입력받는 입력장치, 췌장 초음파 내시경 영상에서 췌장암 영역을 구분하는 제1 세그멘테이션 모델, 췌장 초음파 내시경 영상에서 췌장암의 혈관 침범 여부를 분류하는 분류 모델 및 췌장 초음파 내시경 영상에서 혈관 영상을 구분하는 제2 세그멘테이션 모델을 저장하는 저장장치 및 상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하고, 상기 입력된 췌장 초음파 내시경 영상을 상기 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하고, 혈관 침범이 발생했다고 판단한 경우 상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 연산장치를 포함한다.
이하 설명하는 기술은 딥러닝 모델로 췌장 초음파 내시경 영상을 분석하여 췌장암 환자에 대한 수술적 절제술 시행 또는 최소침습적인 다른 치료 방법에 대한 의사 결정을 가능하게 한다. 나아가, 이하 설명하는 기술은 췌장암 혈관 침범 영역에 대한 시각 정보를 제공하여 췌장암 환자에 대한 적합한 치료 방법을 찾는 데 도움을 줄 수 있다.
도 1은 췌장암 혈관 침범을 분석하는 시스템에 대한 예이다.
도 2는 췌장 초음파 내시경 영상을 분석하는 학습 모델에 대한 예이다.
도 3은 혈관 영상 생성 모델의 학습 과정 및 3D 혈관 영상을 생성하는 과정에 대한 예이다.
도 4는 환자의 췌장 초음파 내시경 영상을 분석하는 과정에 대한 예이다.
도 5는 췌장암 혈관 침범을 분석하는 분석장치에 대한 예이다.
도 2는 췌장 초음파 내시경 영상을 분석하는 학습 모델에 대한 예이다.
도 3은 혈관 영상 생성 모델의 학습 과정 및 3D 혈관 영상을 생성하는 과정에 대한 예이다.
도 4는 환자의 췌장 초음파 내시경 영상을 분석하는 과정에 대한 예이다.
도 5는 췌장암 혈관 침범을 분석하는 분석장치에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 췌장 초음파 내시경 영상을 기준으로 췌장암 영역 및 혈관 침범에 대한 정보를 제공하는 기법이다.
EUS는 방사형 스캔(radial scan) 시스템과 선형주사(linear-array) 시스템으로 나눌 수 있다. 또한, 장기 내 관심 영역에 대한 혈관계 특징을 부각하기 위한 조영 증강 EUS도 개발되었다. 이하 설명하는 기술은 췌장 영역에 대한 EUS 영상을 이용하는 것으로 장비나 영상의 종류에 제한을 두지 않는다. 따라서, 이하 초음파 내시경 영상 또는 EUS 영상은 다양한 형태의 장비 중 어느 하나 또는 다양한 영상 생성 기법 중 어느 하나를 이용하여 산출된 결과물을 포함하는 의미이다.
이하 분석장치가 기계학습모델을 이용하여 EUS 영상에서 혈관 침범을 분류한다고 설명한다. 분석 장치는 데이터 처리가 가능한 다양한 장치로 구현될 수 있다. 예컨대, 분석 장치는 PC, 네트워크상의 서버, 스마트 기기, 전용 프로그램이 임베딩된 칩셋 등으로 구현될 수 있다.
기계 학습 모델은 결정 트리, 랜덤 포레스트(random forest), KNN(K-nearest neighbor), 나이브 베이즈(Naive Bayes), SVM(support vector machine), ANN(artificial neural network) 등이 있다. 특히 이하 설명하는 기술은 ANN을 이용하여 CT 영상에서 병변을 예측할 수 있다.
ANN은 생물의 신경망을 모방한 통계학적 학습 알고리즘이다. 다양한 신경망 모델이 연구되고 있다. 최근 딥러닝 신경망(deep learning network, DNN)이 주목받고 있다. DNN은 입력 계층(input layer)과 출력 계층(output layer) 사이에 여러 개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망 모델이다. DNN은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. DNN은 다양한 유형의 모델이 연구되었다. 예컨대, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), GAN(Generative Adversarial Network), RL(Relation Networks) 등이 있다.
도 1은 췌장암 혈관 침범을 분석하는 시스템(100)에 대한 예이다. 도 1에서 분석장치는 컴퓨터 단말(130) 및 서버(140)인 예를 도시하였다.
EUS 장비(110)는 대상자에 대한 EUS 영상을 획득하는 장치이다. EUS 장비(110)가 생성하는 영상은 EMR(Electronic Medical Record, 120)에 저장될 수 있다.
도 1에서 사용자(A)는 컴퓨터 단말(130)을 이용하여 대상자의 영상을 이용하여 병변을 예측할 수 있다. 컴퓨터 단말(130)은 대상자의 EUS 영상을 입력받는다. 컴퓨터 단말(130)은 유선 또는 무선 네트워크를 통해 EUS 장비(110) 또는 EMR(120)로부터 EUS 영상을 입력받을 수 있다. 경우에 따라 컴퓨터 단말(130)은 EUS 장비(110)와 물리적으로 연결된 장치일 수도 있다.
컴퓨터 단말(130)은 딥러닝 모델을 이용하여 EUS 영상을 분석한다. 컴퓨터 단말(130)은 EUS 영상에서 췌장암 영역을 구분할 수 있다. 컴퓨터 단말(130)은 EUS 영상을 분석하여 췌장암 혈관 침범을 분류할 수 있다. 컴퓨터 단말(130)은 EUS 영상을 분석하여 췌장암 혈관 침범에 대한 확률을 산출할 수 있다. 나아가, 컴퓨터 단말(130)은 EUS 영상에서 췌장암 주변 혈관 영역을 재구성하여 3D 영상을 제공할 수도 있다. 사용자 A는 분석 결과 및 영상을 확인할 수 있다.
서버(140)는 EUS 장비(110) 또는 EMR(120)로부터 대상자의 EUS 영상을 수신할 수 있다.
서버(140)는 딥러닝 모델을 이용하여 EUS 영상을 분석한다. 서버(140)는 EUS 영상에서 췌장암 영역을 구분할 수 있다. 서버(140)는 EUS 영상을 분석하여 췌장암 혈관 침범을 분류할 수 있다. 서버(140)는 EUS 영상을 분석하여 췌장암 혈관 침범에 대한 확률을 산출할 수 있다. 나아가, 서버(140)는 EUS 영상에서 췌장암 주변 혈관 영역을 재구성하여 3D 영상을 제공할 수도 있다. 서버(140)는 분석 결과 및 영상은 사용자 A의 단말에 전송할 수 있다. 사용자 A는 분석 결과 및 영상을 확인할 수 있다.
컴퓨터 단말(130) 및/또는 서버(140)는 분석 결과 및 영상을 EMR(120)에 저장할 수도 있다.
도 2는 췌장 초음파 내시경 영상을 분석하는 학습 모델(200)에 대한 예이다. 도 2는 3가지 학습 모델들을 도시한다. 학습 모델들은 종양 영역 분할 모델(210), 혈관 침범 분류 모델(220) 및 혈관 영상 생성 모델(230)이다. 한편, 연구자는 2010년부터 2020년 사이의 췌장암 EUS 검사를 실행한 152명의 환자의 영상 데이터를 활용하여 아래 학습 모델을 구축하였다.
종양 영역 분할 모델(210)은 췌장 EUS 영상에서 췌장암 영역을 분할하는 모델이다. 종양 영역 분할 모델(210)은 딥러닝 모델 중 영상에서 특정 객체를 구분(분할)하는 시멘틱 세그멘테이션(semantic segmentation) 모델일 수 있다.
시멘틱 세그멘테이션 모델은 대표적으로 FCN (fully convolutional network) 과 인코더-디코더 구조를 기반으로 한 U-net 등이 있다. 도 2는 U-net 기반의 세그멘테이션 모델을 예로 도시하였다. U-net은 영상에서 컨텍스트 정보를 얻기 위한 네트워크와 영역화(localization)를 위한 네트워크가 대칭적 구조를 갖는다.
통상적으로 U-net은 마지막 계층을 제외한 나머지 계층들은 각각 ReLU 활성화 함수를 갖는 컨볼루션 계층 및 맥스 풀링 계층을 갖는다. 마지막 계층은 컨볼루션 계층만을 갖는다. 좌측 네트워크는 계층 이동시 다운샘플링이 수행되고, 우측 네트워크는 계층 이동시 업 샘플링이 수행된다.
종양 영역 분할 모델(210)은 췌장 EUS 영상을 입력받아 췌장암 영역을 구분한다. 종양 영역 분할 모델(210)은 췌장 EUS 영상에서 췌장암 영역이 다른 색으로 구분되는 영상을 출력할 수도 있다.
종양 영역 분할 모델(210)은 학습 데이터를 이용하여 사전에 학습되어야 한다. 연구자는 컴퓨터 장치를 이용하여 췌장 EUS 영상에 대한 전처리 및 라벨 데이터를 생성하였다. 연구자는 학습 데이터 각각에 대하여 원본 췌장 EUS 영상에서 초음파 내시경 영역만을 자르고, 췌장암에 해당하는 영역을 마스킹(masking)하여 라벨 데이터를 생성하였다.
일반적으로 의료 영상은 대량의 영상 확보가 어렵기 때문에 학습 데이터 증강(data augmentation)을 수행하기도 한다. 연구자도 학습 데이터 증강을 위하여 전처리된 영상을 일정하게 회전(rotation 및/또는 flip)하여 학습 데이터의 양을 증가시키는 작업을 하였다.
혈관 침범 분류 모델(220)은 췌장 EUS 영상을 입력받아 췌장암이 주변 혈관을 침범하였는지 분류한다. 혈관 침범 분류 모델(220)은 입력 영상의 특징을 추출하여 혈관 침범에 대한 확률값을 산출하는 모델이다. 혈관 침범 분류 모델(220)은 CNN과 같은 모델로 구현될 수 있다. 예컨대, 혈관 침범 분류 모델(220)은 입력 영상의 특징을 추출하는 다수의 컨볼루션 계층들 및 컨볼루션 계층들이 출력하는 특징값을 입력받아 혈관 침범에 대한 확률값을 산출하는 전연결 계층을 포함할 수 있다. 전연결 계층은 소프트맥스 활성 함수를 사용할 수 있다.
혈관 침범 분류 모델(220)은 학습 데이터를 이용하여 사전에 학습되어야 한다. 학습 데이터는 췌장 EUS 영상과 해당 영상의 혈관 침범 정보를 포함한다. 혈관 침범 정보는 해당 환자에 대한 임상적 판단에 해당한다. 한편, 학습 데이터는 전술한 바와 같이 일정하게 전처리 될 수 있고, 데이터 증강되어 마련될 수 있다. 나아가, 전이 학습(transfer learning)을 사용하여 다른 종류의 영상을 이용하여 모델을 초기 학습한 후 췌장 EUS 영상들을 이용하여 혈관 침범 분류 모델(220)을 구축할 수도 있다.
학습된 혈관 침범 분류 모델(220)은 입력되는 췌장 EUS 영상에 대하여 혈관 침범 확률값을 산출한다. 혈관 침범 분류 모델(220)이 출력하는 값은 0~1 사이의 값일 수 있다. 분석장치는 혈관 침범 분류 모델(220)이 출력하는 값을 사용자에게 친숙한 확률 정보로 변환할 수 있다. 분석장치는 췌장 EUS 영상 또는 종양 영역 분할 모델(210)이 산출하는 영상에 혈관 침범에 대한 확률값을 표시할 수 있다. 도 2는 췌장암 영역이 구분된 췌장 EUS 영상에 혈관 침범 확률 75.56%를 표시한 예를 도시한다.
혈관 영상 생성 모델(230)은 입력되는 췌장 EUS 영상에서 췌장암 주변의 혈관을 재구성하여 생성한다. 혈관 영상 생성 모델(230)은 2D 영상에서 혈관 영역만을 구분할 수 있다. 또한, 혈관 영상 생성 모델(230)은 다수의 췌장 EUS 영상에서 혈관 영역을 구분하고, 구분한 영상을 적층(stacking)하여 혈관 영상을 재구성할 수도 있다. 혈관 영상 생성 모델(230)은 췌장암 영역 주변 전체의 혈관을 재구성하지 않고, 혈관 침범이 발생한 영역의 혈관만을 재구성할 수 있다.
혈관 영상 생성 모델(230)은 다양한 유형의 세그멘테이션 모델들 중 어느 하나를 이용하여 구현될 수 있다. 예컨대, 혈관 영상 생성 모델(230)은 U-net과 같은 세그멘테이션 모델로 구현될 수 있다. 연구자는 U-net 기반 세그멘테이션 모델을 이용하여 3차원 혈관 영상을 생성하였다.
도 3은 혈관 영상 생성 모델의 학습 과정 및 3D 혈관 영상을 생성하는 과정에 대한 예이다. 도 3(A)는 혈관 영상 생성 모델(230)의 학습 과정에 대한 예이다. 학습 데이터는 전술한 것과 유사하게 원본 췌장 EUS 영상을 전처리하고 증강하여 마련될 수 있다. 연구자는 U-net 기반 세그멘테이션 모델을 구축하였다. 연구자는 원본 췌장 EUS 영상에서 초음파 내시경 영역을 분리하고, 혈관 영역을 일정하게 마스킹한 영상(라벨값)을 학습 데이터로 마련하였다. 학습 과정에서 혈관 영상 생성 모델(230)은 입력되는 췌장 EUS 영상에 대하여 혈관 영역을 구분한 영상을 생성하고, 알려진 라벨값과 비교하면서 모델의 파라미터를 갱신하는 과정을 반복한다.
도 3(B)는 3D 혈관 영상을 생성하는 예이다. 학습된 혈관 영상 생성 모델(230)은 췌장 EUS 영상을 입력받아 혈관 영역이 분할된 영상을 출력한다. 분석장치는 실제 췌장 EUS 영상에 분할된 영역을 오버레이(overlay)할 수 있다. 이 과정은 하나의 2D 프레임에 대한 처리 과정이다. EUS 장비는 내시경 끝에 장착된 고주파의 초음파 진동자를 이용하여 영상을 생성한다. 이때, 의료진은 내시경을 일정한 방향으로 이동시키면서 연속적인 EUS 영상들을 획득한다. 따라서, 췌장 EUS 영상은 일반적으로 일정 방향의 연속적인 영상들로 구성된다. 혈관 영상 생성 모델(230)은 일정 방향의 연속적인 췌장 EUS 영상들을 하나의 프레임별로 처리하면서 각 영상에 대한 혈관 영역을 분할할 수 있다. 분석장치는 연속적인 췌장 EUS 영상들과 혈관 영역이 표시된 영상을 쌓아가면서 3D 혈관 영상을 재구성할 수 있다.
도 2의 종양 영역 분할 모델(210), 혈관 침범 분류 모델(220) 및 혈관 영상 생성 모델(230)은 서로 개별적인 모델이다. 다만, 다음과 같이 하나의 모델에서 획득한 정보를 다른 모델에 전달하여 협력적으로 영상을 분석하거나 처리할 수도 있다.
먼저, 종양 영역 분할 모델(210)은 입력된 췌장 EUS 영상에서 췌장암 영역을 구분한다. 혈관 침범 분류 모델(220)은 입력된 췌장 EUS 영상에서 혈관 침범 확률을 산출한다. 혈관 침범은 췌장암 주변 영역에서 발생할 가능성이 매우 높다. 따라서, 혈관 침범 분류 모델(220)은 종양 영역 분할 모델(210)이 구분한 췌장암 영역 및 주변 영역을 중심으로 혈관이 침범하였는지 판단할 수 있다. 예컨대, 혈관 침범 분류 모델(220)은 췌장 EUS 영상 및 종양 영역 분할 모델(210)이 산출한 췌장암 영역에 대한 정보를 입력받을 수 있다. 혈관 침범 분류 모델(220)은 췌장암 영역에 대한 정보를 처리하는 어텐션(attention) 계층을 포함할 수 있다. 어텐션 계층은 췌장암 영역에 대하여 중요도를 가중하여 혈관 침범 분류 모델(220)이 췌장암 영역 내지 췌장암 영역의 주변 영역을 중심으로 혈관 침범을 분류하게 할 수 있다.
혈관 영상 생성 모델(230)은 췌장암 주변 혈관을 구분한다. 혈관 영상 생성 모델(230)은 췌장암 영역과 관련 없는 영역의 혈관을 구분할 필요가 없다. 물론, 혈관 영상 생성 모델(230)이 학습 과정에서 췌장암 주변 혈관만을 구분하도록 학습될 수 있다. 나아가, 혈관 영상 생성 모델(230)은 종양 영역 분할 모델(210) 또는 혈관 침범 분류 모델(220)로부터 췌장암 영역 및 췌장암 주변 영역에 대한 정보를 입력받아, 췌장암 주변 영역을 중심으로 혈관을 구분할 수 있다. 예컨대, 혈관 영상 생성 모델(230)은 췌장암 영역에 대한 정보를 입력받은 어텐션 계층을 포함하여 컨텍스트 추출 과정에서 췌장암 영역 및 주변 영역에 대한 정보를 중심으로 혈관 영역의 특징을 추출할 수 있다. 또한, 혈관 영상 생성 모델(230)은 혈관 침범 분류 모델(220)로부터 혈관 침범이 발생한 영상(프레임)에 대한 정보를 입력받을 수 있다. 이 경우, 혈관 영상 생성 모델(230)은 혈관 침범 확률이 높은 영상을 대상으로 혈관을 구분하여 영상을 재구성할 수 있다.
도 4는 환자의 췌장 초음파 내시경 영상을 분석하는 과정(300)에 대한 예이다. 도 2에서 설명한 학습 모델들은 사전에 구축되었다고 전제한다. 분석장치는 특정 환자에 대한 췌장 EUS 영상을 입력받는다(310).
분석장치는 입력된 원본 췌장 EUS 영상에 대하여 일정한 전처리를 할 수도 있다. 이 과정은 학습 데이터를 생성하는 과정에 대응될 수 있다.
분석장치는 세그멘테이션 모델(전술한 종양 영역 분할 모델)에 췌장 EUS 영상을 입력하여 췌장 EUS 영상에서 췌장암 영역을 분할한다(320). 종양 영역 분할 모델은 췌장암 영역이 구분된 췌장 EUS 영상을 출력할 수 있다.
분석장치는 췌장 EUS 영상을 분류 모델(전술한 혈관 침범 분류 모델)에 입력하여 혈관 침범을 분류하고, 혈관 침범의 확률값을 산출할 수 있다(330).
분석장치는 혈관 침범 분류 모델의 출력값을 기준으로 현재 췌장암 환자의 혈관 침범 발생 여부를 판단한다(340). 예컨대, 분석장치는 혈관 침범 분류 모델의 출력값이 0에 가까우면 혈관 침범으로 판단하고, 1에 가까우면 혈관 미침범으로 판단할 수 있다. 또는 분석장치는 일정한 임계값과 혈관 침범 분류 모델의 출력값을 비교하여 혈관 침범 여부를 판단할 수도 있다.
분석장치가 현재 췌장암에서 혈관 침범이 없었다고 분류한 경우(340의 NO), 분석장치는 췌장 EUS 영상에 췌장암 영역이 구분된 영상(종양 영역 분할 모델의 출력물)을 표시할 수 있다(350).
분석장치가 현재 췌장암에서 혈관 침범이 있다고 분류한 경우(340의YES), 분석장치는 췌장 EUS 영상을 다른 세그멘테이션 모델(전술한 혈관 영상 생성 모델)에 입력하여 혈관 영역을 구분한다. 분석장치는 다수의 췌장 EUS 영상에 대하여 혈관 영역을 구분하는 과정을 반복하면서 연속된 췌장 EUS 영상에 대하여 구분한 혈관 영역을 적층하여 3D 혈관 영상을 재구성할 수 있다(360).
분석장치는 췌장 EUS 영상에 췌장암 영역을 구분하고, 혈관 침범 정보(침범 확률)를 함께 화면에 출력할 수 있다(370). 또는 분석장치는 3D 영상으로 재구성한 췌장암 영역 및 췌장암 주변 혈관 영상을 화면에 출력할 수도 있다(370).
도 5는 췌장암 혈관 침범을 분석하는 분석장치(400)에 대한 예이다. 분석장치(400)는 전술한 분석장치(도 1의 130 및 140)에 해당한다. 분석장치(400)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 분석장치(400)는 PC와 같은 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
분석장치(400)는 저장장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신장치(450) 및 출력장치(460)를 포함할 수 있다.
저장장치(410)는 전술한 학습 모델들을 저장할 수 있다. 학습 모델들은 종양 영역 분할 모델(210), 혈관 침범 분류 모델(220) 및 혈관 영상 생성 모델(230)을 포함한다.
저장장치(410)는 대상자의 췌장 EUS 영상을 저장할 수 있다. 이때 췌장 EUS 영상은 일정 방향으로 연속된 부위에 대한 영상들일 수도 있다.
저장장치(410)는 영상 처리를 위한 다른 프로그램 내지 코드를 저장할 수 있다. 예컨대, 저장장치(410)는 입력된 췌장 EUS 영상을 일정하게 전처리하는 프로그램을 더 저장할 수 있다.
저장장치(410)는 췌장 EUS 영상에서 췌장암 영상을 구분한 영상을 저장할 수 있다.
저장장치(410)는 췌장 EUS 영상에서 주변 혈관 영역을 재구성한 영상을 저장할 수도 있다.
메모리(420)는 분석장치(400)가 췌장 EUS 영상에서 췌장암 영역 구분, 혈관 침범 분류 및/또는 혈관 영역 재구성 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(440)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(440)는 물리적으로 연결된 입력 장치 또는 외부 저장장치로부터 분석 대상의 췌장 EUS 영상을 입력받을 수 있다. 인터페이스 장치(440)는 분석 결과(영상, 텍스트 등)를 외부 객체에 전달할 수도 있다.
통신장치(450)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(450)는 외부 객체로부터 분석 대상의 췌장 EUS 영상을 수신할 수 있다. 또는 통신장치(450)는 분석 결과(영상, 텍스트 등)를 사용자 단말과 같은 외부 객체에 송신할 수도 있다.
인터페이스 장치(440) 및 통신장치(450)는 사용자 또는 다른 물리적 객체로부터 일정한 데이터를 주고받는 구성이므로, 포괄적으로 입출력장치라고도 명명할 수 있다. 췌장 EUS 영상을 입력받는 기능에 한정하면 인터페이스 장치(440) 및 통신장치(450)는 입력장치라고 할 수도 있다.
연산 장치(430)는 저장장치(410)에 저장된 학습 모델 내지 프로그램 코드를 이용하여 입력되는 췌장 EUS 영상을 처리할 수 있다.
먼저, 연산 장치(430)는 입력된 췌장 EUS 영상에 대한 일정한 전처리를 할 수 있다. 예컨대, 연산 장치(430)는 췌장 EUS 영상에서 초음파 내시경 영상 영역만을 절단(crop)할 수 있다. 이 과정은 모델을 학습할 때 사용한 학습 데이터를 마련하는 과정에 대응된다.
연산 장치(430)는 췌장 EUS 영상을 종양 영역 분할 모델에 입력하여 췌장암 영역이 구분된 영상을 생성한다. 나아가, 연산 장치(430)는 연속적인 췌장 EUS 영상들을 각각 종양 영역 분할 모델에 입력하여 췌장암 영역을 구분할 수 있다. 이 경우, 연산 장치(430)는 췌장암 영역이 구분된 3D 췌장 EUS 영상을 생성할 수 있다.
연산 장치(430)는 췌장 EUS 영상을 혈관 침범 분류 모델에 입력하여 혈관 침범 여부를 분류할 수 있다. 연산 장치(430)는 췌장 EUS 영상만을 혈관 침범 분류 모델에 입력하여 혈관 침범 여부를 분류할 수 있다. 또는 연산 장치(430)는 종양 영역 분할 모델이 구분한 췌장암 영역의 정보와 함께 췌장 EUS 영상을 혈관 침범 분류 모델에 입력하여 혈관 침범 여부를 분류할 수 있다. 연산 장치(430)는 혈관 침범 분류 모델이 출력하는 값을 기준으로 혈관 침범의 확률을 결정할 수 있다. 연산 장치(430)는 대상자의 췌장 EUS 영상에 혈관 침범 확률을 표시되게 할 수 있다.
연산 장치(430)는 췌장 EUS 영상을 혈관 영상 생성 모델에 입력하여 췌장암의 주변 혈관 영역을 구분할 수 있다. 이때, 연산 장치(430)는 종양 영역 분할 모델이 출력하는 췌장암 영역 정보 및 췌장 EUS 영상을 혈관 영상 생성 모델에 입력할 수 있다. 혈관 영상 생성 모델은 입력된 영상 전체를 대상으로 하지 않고, 췌장암 주변 영역 나아가 췌장암 주변 중 혈관 침범 확률이 높은 영역을 대상으로 혈관 영역을 구분할 수 있다. 예컨대, 연산 장치(430)는 연속된 췌장 EUS 영상들 중 혈관 침범 분류 모델이 혈관 침범이 발생했다고 판단한 영상을 혈관 영상 생성 모델에 입력하여 혈관 영역을 구분할 수 있다. 연산 장치(430)는 구분한 혈관 영역을 췌장 EUS 영상에 오버레이하여 혈관 영역을 표현할 수 있다. 연산 장치(430)는 일정한 방향으로 연속된 췌장 EUS 영상들을 각각 혈관 영상 생성 모델에 입력하여 췌장암의 주변 혈관 영역을 구분할 수 있다. 연산 장치(430)는 주변 혈관 영역이 구분된 다수의 췌장 EUS 영상들에서 쌓아서 3D 혈관 영상을 재구성할 수 있다.
연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
출력장치(460)는 일정한 정보를 출력하는 장치이다. 출력장치(460)는 데이터 처리 과정에 필요한 인터페이스, 분석 결과 등을 출력할 수 있다. 출력장치(460)는 췌장 EUS 영상에서 췌장암 영역을 구분한 영상, 췌장 EUS 영상에 혈관 침범 확률값이 표시된 영상 및/또는 췌장 EUS 영상에서 혈관 영상이 구분된 영상(3D 혈관 재구성 영상)을 출력할 수 있다.
또한, 상술한 바와 같은 췌장 EUS 영상을 분석하는 방법, 혈관 침범을 분류하는 방법, 혈관 영상을 재구성하는 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
Claims (8)
- 분석장치가 대상자의 췌장 초음파 내시경 영상을 입력받는 단계;
상기 분석장치가 상기 췌장 초음파 내시경 영상을 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하는 단계;
상기 분석장치가 상기 췌장 초음파 내시경 영상을 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하는 단계; 및
상기 분석장치가 상기 췌장 초음파 내시경 영상을 제2 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 단계를 포함하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법. - 제1항에 있어서,
상기 분석장치는 상기 분류 모델이 출력하는 값을 기준으로 혈관 침범에 대한 확률값을 결정하고, 상기 췌장 초음파 내시경 영상에 상기 확률값을 표시하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법. - 제1항에 있어서,
상기 췌장 초음파 내시경 영상은 연속된 다수의 췌장 초음파 내시경 영상들을 포함하고,
상기 분석장치는 상기 다수의 췌장 초음파 내시경 영상들 각각을 상기 제2 세그멘테이션 모델에 입력하여 혈관 영역을 구분하고, 상기 다수의 췌장 초음파 내시경 영상들에 혈관 영역을 표시한 영상을 적층하여 3차원 혈관 영상을 재구성하는 단계를 더 포함하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법. - 제1항에 있어서,
상기 분류 모델은 상기 제1 세그멘테이션 모델이 출력하는 췌장암 영역에 대한 정보를 더 입력받고, 상기 췌장암 영역 또는 상기 췌장암 영역의 주변 영역에 중요도를 부가하여 상기 혈관 침범 여부를 판단하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법. - 제1항에 있어서,
상기 제2 세그멘테이션 모델은
상기 제1 세그멘테이션 모델이 출력하는 췌장암 영역에 대한 정보를 더 입력받고, 상기 췌장암 영역 또는 상기 췌장암 영역의 주변 영역에 중요도를 부가하여 상기 혈관 영역을 구분하거나,
상기 분류 모델이 출력하는 값을 기준으로 혈관 침범이 발생한 영상만을 대상으로 상기 혈관 영역을 구분하는 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법. - 대상자의 췌장 초음파 내시경 영상을 입력받는 입력장치;
췌장 초음파 내시경 영상에서 췌장암 영역을 구분하는 제1 세그멘테이션 모델, 췌장 초음파 내시경 영상에서 췌장암의 혈관 침범 여부를 분류하는 분류 모델 및 췌장 초음파 내시경 영상에서 혈관 영상을 구분하는 제2 세그멘테이션 모델을 저장하는 저장장치; 및
상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 췌장암 영역을 구분하고, 상기 입력된 췌장 초음파 내시경 영상을 상기 분류 모델에 입력하여 췌장암의 혈관 침범 여부를 판단하고, 혈관 침범이 발생했다고 판단한 경우 상기 입력된 췌장 초음파 내시경 영상을 상기 제1 세그멘테이션 모델에 입력하여 상기 췌장암 영역의 주변에 위치한 혈관 영역을 구분하는 연산장치를 포함하는 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치. - 제6항에 있어서,
상기 연산장치는 상기 분류 모델이 출력하는 값을 기준으로 혈관 침범에 대한 확률값을 결정하고,
상기 췌장암 영역이 구분된 췌장 초음파 내시경 영상에 상기 확률값을 표시하는 출력장치를 더 포함하는 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치. - 제6항에 있어서,
상기 입력된 췌장 초음파 내시경 영상은 연속된 다수의 췌장 초음파 내시경 영상들을 포함하고,
상기 연산장치는 상기 다수의 췌장 초음파 내시경 영상들 각각을 상기 제2 세그멘테이션 모델에 입력하여 혈관 영역을 구분하고, 상기 다수의 췌장 초음파 내시경 영상들에 혈관 영역을 표시한 영상을 적층하여 3차원 혈관 영상을 재구성하는 초음파 내시경 영상을 이용하여 췌장암의 혈관 침범을 분류하는 분석 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143665A KR102587670B1 (ko) | 2021-10-26 | 2021-10-26 | 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 |
| PCT/KR2022/007654 WO2023075055A1 (ko) | 2021-10-26 | 2022-05-30 | 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143665A KR102587670B1 (ko) | 2021-10-26 | 2021-10-26 | 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230059454A true KR20230059454A (ko) | 2023-05-03 |
| KR102587670B1 KR102587670B1 (ko) | 2023-10-10 |
Family
ID=86160075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143665A KR102587670B1 (ko) | 2021-10-26 | 2021-10-26 | 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102587670B1 (ko) |
| WO (1) | WO2023075055A1 (ko) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS648955A (en) * | 1986-10-16 | 1989-01-12 | Olympus Optical Co | Ultrasonic endoscopic apparatus |
| US8047993B2 (en) | 2004-12-08 | 2011-11-01 | Industrial Technology Research Institute | Quantitative non-invasive method for detecting degree of malignancy in tumors and application thereof |
| KR20190125592A (ko) * | 2018-04-30 | 2019-11-07 | 주식회사 실리콘사피엔스 | 의료 영상을 이용하여 혈관의 3차원 형상을 생성하기 위한 세그멘테이션 방법 |
| JP6663461B2 (ja) * | 2018-08-31 | 2020-03-11 | 株式会社アドメテック | 内視鏡下癌治療システム |
| KR102141302B1 (ko) * | 2019-03-04 | 2020-08-04 | 이화여자대학교 산학협력단 | 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치 |
| KR102163225B1 (ko) * | 2018-08-03 | 2020-10-08 | 한국과학기술원 | 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 |
| KR102186632B1 (ko) * | 2019-01-07 | 2020-12-02 | 재단법인대구경북과학기술원 | 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법 |
| KR20210020629A (ko) * | 2019-08-16 | 2021-02-24 | 서울여자대학교 산학협력단 | 의료 영상에서 딥러닝에 기반한 종양 자동분할 방법 |
| KR20210035381A (ko) * | 2019-09-23 | 2021-04-01 | 삼성에스디에스 주식회사 | 의료 진단 방법 및 장치 |
| KR102237198B1 (ko) * | 2020-06-05 | 2021-04-08 | 주식회사 딥노이드 | 인공지능 기반의 의료영상 판독 서비스 시스템 |
| KR20210109819A (ko) * | 2020-02-28 | 2021-09-07 | 주식회사 웨이센 | 학습 알고리즘 기반 내시경 영상 정보 분석 서비스 프로그램 기록매체 |
| KR20210110435A (ko) * | 2020-02-28 | 2021-09-08 | 주식회사 웨이센 | 영상 분류 및 분할이 가능한 시각적 통합 학습 및 검출 모델 기반의 내시경 영상 정보 분석 서비스 프로그램 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6955303B2 (ja) * | 2017-04-12 | 2021-10-27 | 富士フイルム株式会社 | 医用画像処理装置および方法並びにプログラム |
| KR102182357B1 (ko) * | 2018-10-25 | 2020-11-24 | 고려대학교 산학협력단 | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 |
| KR102144672B1 (ko) * | 2020-01-17 | 2020-08-14 | 성균관대학교산학협력단 | 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법 |
-
2021
- 2021-10-26 KR KR1020210143665A patent/KR102587670B1/ko active IP Right Grant
-
2022
- 2022-05-30 WO PCT/KR2022/007654 patent/WO2023075055A1/ko unknown
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS648955A (en) * | 1986-10-16 | 1989-01-12 | Olympus Optical Co | Ultrasonic endoscopic apparatus |
| US8047993B2 (en) | 2004-12-08 | 2011-11-01 | Industrial Technology Research Institute | Quantitative non-invasive method for detecting degree of malignancy in tumors and application thereof |
| KR20190125592A (ko) * | 2018-04-30 | 2019-11-07 | 주식회사 실리콘사피엔스 | 의료 영상을 이용하여 혈관의 3차원 형상을 생성하기 위한 세그멘테이션 방법 |
| KR102163225B1 (ko) * | 2018-08-03 | 2020-10-08 | 한국과학기술원 | 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 |
| JP6663461B2 (ja) * | 2018-08-31 | 2020-03-11 | 株式会社アドメテック | 内視鏡下癌治療システム |
| KR102186632B1 (ko) * | 2019-01-07 | 2020-12-02 | 재단법인대구경북과학기술원 | 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법 |
| KR102141302B1 (ko) * | 2019-03-04 | 2020-08-04 | 이화여자대학교 산학협력단 | 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치 |
| KR20210020629A (ko) * | 2019-08-16 | 2021-02-24 | 서울여자대학교 산학협력단 | 의료 영상에서 딥러닝에 기반한 종양 자동분할 방법 |
| KR20210035381A (ko) * | 2019-09-23 | 2021-04-01 | 삼성에스디에스 주식회사 | 의료 진단 방법 및 장치 |
| KR20210109819A (ko) * | 2020-02-28 | 2021-09-07 | 주식회사 웨이센 | 학습 알고리즘 기반 내시경 영상 정보 분석 서비스 프로그램 기록매체 |
| KR20210110435A (ko) * | 2020-02-28 | 2021-09-08 | 주식회사 웨이센 | 영상 분류 및 분할이 가능한 시각적 통합 학습 및 검출 모델 기반의 내시경 영상 정보 분석 서비스 프로그램 |
| KR102237198B1 (ko) * | 2020-06-05 | 2021-04-08 | 주식회사 딥노이드 | 인공지능 기반의 의료영상 판독 서비스 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| Semantic Segmentation of Pancreatic Cancer in Endoscopic Ultrasound Images Using Deep Learning Approach. Cancers 2022, 14, 5111 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102587670B1 (ko) | 2023-10-10 |
| WO2023075055A1 (ko) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816836B2 (en) | Method and system for assessing vessel obstruction based on machine learning | |
| US10482603B1 (en) | Medical image segmentation using an integrated edge guidance module and object segmentation network | |
| Elyan et al. | Computer vision and machine learning for medical image analysis: recent advances, challenges, and way forward. | |
| Yousef et al. | A holistic overview of deep learning approach in medical imaging | |
| Moses | Deep learning applied to automatic disease detection using chest x‐rays | |
| Navarrete-Welton et al. | Current applications of artificial intelligence for intraoperative decision support in surgery | |
| EP3375376B1 (en) | Source of abdominal pain identification in medical imaging | |
| Tian et al. | Self-supervised pseudo multi-class pre-training for unsupervised anomaly detection and segmentation in medical images | |
| Torrents-Barrena et al. | TTTS-GPS: Patient-specific preoperative planning and simulation platform for twin-to-twin transfusion syndrome fetal surgery | |
| US20230260652A1 (en) | Self-Supervised Machine Learning for Medical Image Analysis | |
| KR20220130855A (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| KR20200110111A (ko) | 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치 | |
| US20220277445A1 (en) | Artificial intelligence-based gastroscopic image diagnosis assisting system and method | |
| Rai et al. | A comprehensive analysis of recent advancements in cancer detection using machine learning and deep learning models for improved diagnostics | |
| WO2021193019A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
| KR20230059454A (ko) | 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 | |
| US20220036558A1 (en) | Method and system for predicting expression of biomarker from medical image | |
| WO2022071208A1 (ja) | 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法 | |
| WO2021193024A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
| Maram et al. | Brain tumour detection on brats 2020 using u-net | |
| Chen et al. | SAM-OCTA: Prompting Segment-Anything for OCTA Image Segmentation | |
| Diez et al. | Deep reinforcement learning and convolutional autoencoders for anomaly detection of congenital inner ear malformations in clinical CT images | |
| KR20230090378A (ko) | Ct 영상을 이용한 골 전이 검출 방법 및 분석장치 | |
| KR20240109600A (ko) | Ct 영상을 이용한 골 전이 검출 방법 및 분석장치 | |
| KR102600615B1 (ko) | 대상체의 움직임에 따른 위치정보 예측 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |