KR102513565B1 - 폐 영역 자동 정합 방법 및 이를 위한 장치 - Google Patents
폐 영역 자동 정합 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- KR102513565B1 KR102513565B1 KR1020210134229A KR20210134229A KR102513565B1 KR 102513565 B1 KR102513565 B1 KR 102513565B1 KR 1020210134229 A KR1020210134229 A KR 1020210134229A KR 20210134229 A KR20210134229 A KR 20210134229A KR 102513565 B1 KR102513565 B1 KR 102513565B1
- Authority
- KR
- South Korea
- Prior art keywords
- lung region
- image
- chest
- lung
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003325 tomography Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 61
- 230000009467 reduction Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000011976 chest X-ray Methods 0.000 abstract description 6
- 230000003902 lesion Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 208000019693 Lung disease Diseases 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000001684 chronic effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 201000009794 Idiopathic Pulmonary Fibrosis Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000002627 tracheal intubation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 개시는 폐 영역 자동 정합 방법 및 이를 위한 장치에 관한 것으로, 본 개시의 실시예에 따른 폐 영역 자동 정합 방법은, 학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영(CT) 영상으로부터 3차원의 제 1 폐 영역을 추출하는 단계; 추출된 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성하는 단계; 학습된 제 2 네트워크 함수를 통해 흉부 방사선(X-ray) 영상으로부터 제 3 폐 영역을 추출하는 단계; 상기 제 2 폐 영역과 상기 제 3 폐 영역 중 하나를 기준 영상으로 설정하는 단계; 상기 기준 영상을 기준으로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 변형하면서, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계; 및 상기 손실 함수의 출력값을 기초로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 최적화함으로써, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 상기 기준 영상과 정합하는 단계를 포함할 수 있다.
Description
본 개시(disclosure)의 기술적 사상은 폐 영역 자동 정합 방법 및 이를 위한 장치에 관한 것이다.
만성적인 폐렴, 만성 폐색성 폐질환(COPD), 특발성 폐섬유화증(IPF)이 발생하여 지속적인 관찰이 요구되는 환자의 진단 및 치료에 있어, 영상을 통해 질병의 악화나 개선을 판단할 때 다른 시간에 얻어진 다수의 영상을 판독하여 진단을 내린다.
예를 들어, 흉부 단층 촬영(CT)은 일반적으로 방사선량이 높아 반복적으로 사용되지 않지만, 질병이 발병한 위치를 정확하게 알 수 있으며, 때문에 1-2건의 단층 촬영 영상을 기준으로 하고 상대적으로 방사선량이 적은 다수의 흉부 방사선(X-ray) 영상을 질병 진행 경과를 판단하는 데 사용할 수 있다.
이때, 이미지 획득 장치의 위치, 촬영 기기의 설정, 그리고 치료 과정에 필요한 여러 구조물에 의해 영상상에 나타난 대상의 위치와 크기가 달라지는 것은 불가피하기 때문에, 보다 손쉽게 질병 경과를 관찰하기 위해서는 이들을 기준 크기 및 위치로 상호 일치시키는 과정, 즉, 정합 과정이 필요하다.
종래에는 이러한 정합을 수동 또는 반자동의 방식을 이용하여 수행하였다.
구체적으로, 수동 정합은 사용자가 입력 장치와 수동 정합 소프트웨어를 이용하여 영상에 기하학적인 변환(이동, 회전, 확대 및 축소)을 수행하며, 반자동 정합은 사용자가 해부학적으로 의미가 있고 시각적으로 구분하기 쉬운 부분(키 포인트)을 정합 원본(source)영상과 정합 대상(target)영상에서 동일하게 3개 이상 선택하여 원본 영상과 일치하도록 대상 영상에 기하학적 변환을 수행한다.
그런데, 이러한 종래의 방식은 질환의 진행에 따른 영상상의 음영의 차이, 치료를 위한 구조물 (동맥관, 정맥관, 또는 기도 삽관 등)에 따른 영상 차이, 영상 획득을 위한 기기의 파라미터 설정(선량 등)에 따라 정합 오차 또는 오류가 발생한다는 문제점이 있다. 또한, 하나의 정합 원본에 다수의 영상을 정합하는 데 있어, 사용자가 반자동 또는 자동 정합에 의해 발생한 오차를 정정하는 데 많은 시간과 인력이 소요됨은 물론, 이를 위한 사용자 교육에 따른 비용이 발생한다는 문제점 역시 가지고 있었다.
본 개시의 기술적 사상에 따른 폐 영역 자동 정합 방법 및 이를 위한 장치가 이루고자 하는 기술적 과제는, 만성 폐질환 환자의 질병 경과 추적을 위하여 단층 촬영(CT) 영상과 방사선(X-ray) 영상을 자동 정합할 수 있는 방법 및 이를 위한 장치를 제공하는 데에 있다.
본 개시의 기술적 사상에 따른 폐 영역 자동 정합 방법 및 이를 위한 장치가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 기술적 사상에 의한 일 양태에 따르면, 폐 영역 자동 정합 방법은, 학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영(CT) 영상으로부터 3차원의 제 1 폐 영역을 추출하는 단계; 추출된 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성하는 단계; 학습된 제 2 네트워크 함수를 통해 흉부 방사선(X-ray) 영상으로부터 제 3 폐 영역을 추출하는 단계; 상기 제 2 폐 영역과 상기 제 3 폐 영역 중 하나를 기준 영상으로 설정하는 단계; 상기 기준 영상을 기준으로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 변형하면서, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계; 및 상기 손실 함수의 출력값을 기초로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 최적화함으로써, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 상기 기준 영상과 정합하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계는, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역에 대한 이동, 회전, 확대 및 축소 중 적어도 하나를 수행하고, 상기 손실 함수의 출력값을 산출함으로써 수행될 수 있다.
예시적인 실시예에 따르면, 상기 기준 영상과 정합하는 단계는, 상기 손실 함수의 출력값이 최소값에 도달하도록, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계를 반복함으로써 수행될 수 있다.
예시적인 실시예에 따르면, 상기 흉부 단층 촬영 영상 및 상기 흉부 방사선 영상의 촬영 시, 피검자의 위치에 대한 표준 프로토콜에 기초하여 이동, 회전, 확대 및 축소 중 적어도 하나에 대한 탐색 범위를 설정하는 단계를 더 포함하고, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계는, 상기 탐색 범위 내에서 이동량, 회전량, 확대량 및 축소량 중 적어도 하나를 변경함으로써 수행될 수 있다.
예시적인 실시예에 따르면, 상기 기준 영상은 상기 제 3 폐 영역이고, 상기 방법은, 최적화된 상기 제 2 폐 영역을 상기 흉부 방사선 영상의 상기 제 3 폐 영역에 대응하는 위치에 합성하는 단계를 더 포함할 수 있다.
예시적인 실시예에 따르면, 상기 3차원 흉부 단층 촬영 영상을 관상면에 투영함으로써 2차원 흉부 영상을 생성하는 단계를 더 포함하고, 상기 제 2 폐 영역에 대한 2차원 영상을 생성하는 단계는 학습된 제 3 네트워크 함수를 통해 상기 흉부 영상으로부터 상기 제 2 폐 영역을 추출함으로써 수행될 수 있다.
예시적인 실시예에 따르면, 상기 기준 영상은 상기 제 2 폐 영역이고, 상기 방법은, 상기 3차원 흉부 단층 촬영 영상을 관상면에 투영함으로써 2차원 흉부 영상을 생성하는 단계; 및 최적화된 상기 제 3 폐 영역을 상기 흉부 영상의 상기 제 2 폐 영역에 대응하는 위치에 합성하는 단계를 더 포함할 수 있다.
본 개시의 기술적 사상에 의한 일 양태에 따르면 폐 영역 자동 정합 장치는, 적어도 하나의 프로세서; 상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리; 및 상기 프로세서는, 상기 프로그램을 실행함으로써, 학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영(CT) 영상으로부터 3차원의 제 1 폐 영역을 추출하고, 추출된 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성하며, 학습된 제 2 네트워크 함수를 통해 흉부 방사선(X-ray) 영상으로부터 제 3 폐 영역을 추출하고, 상기 제 2 폐 영역과 상기 제 3 폐 영역 중 하나를 기준 영상으로 설정하며, 상기 기준 영상을 기준으로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 변형하고, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하고, 상기 손실 함수의 출력값을 기초로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 최적화함으로써, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 상기 기준 영상과 정합할 수 있다.
본 개시의 기술적 사상에 의한 실시예들에 따른 폐 영역 자동 정합 방법 및 이를 위한 장치에 따르면, 사용자(영상의학과 의사)가 만성 폐질환 환자 영상을 판독하는 데 있어, 과거 영상과의 비교가 용이해지게 되므로, 판독 및 진단에 소요되는 시간과 노력을 대폭 줄일 수 있다.
본 개시의 기술적 사상에 의한 실시예들에 따른 폐 영역 자동 정합 방법 및 이를 위한 장치에 따르면, 영상과의 비교를 위해 수동 또는 반자동으로 정합을 수행하던 과정이 자동화되어 필요한 인력과 시간을 절감할 수 있다.
본 개시의 기술적 사상에 의한 실시예들에 따른 폐 영역 자동 정합 방법 및 이를 위한 장치에 따르면, 기존 영상 전체를 대상으로 정합하는 과정과는 다르게 폐 영역만을 기준으로 잡기 때문에 연산량을 큰 폭으로 줄일 수 있음과 동시에, 영상의 변환 오차를 줄일 수 있다.
본 개시의 기술적 사상에 따른 폐 영역 자동 정합 방법 및 이를 위한 장치가 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 실시예에 따른 방법을 설명하기 위한 흐름도이다.
도 2는 도 1의 S150 단계에 대한 일 실시예를 설명하기 위한 흐름도이다.
도 3 내지 도 6은 본 개시의 실시예에 따라 폐 영역의 정합이 수행되는 과정을 예시적으로 설명하기 위한 도면이다.
도 7은 본 개시의 실시예에 따른 장치의 구성을 간략히 도시한 블록도이다.
도 1은 본 개시의 실시예에 따른 방법을 설명하기 위한 흐름도이다.
도 2는 도 1의 S150 단계에 대한 일 실시예를 설명하기 위한 흐름도이다.
도 3 내지 도 6은 본 개시의 실시예에 따라 폐 영역의 정합이 수행되는 과정을 예시적으로 설명하기 위한 도면이다.
도 7은 본 개시의 실시예에 따른 장치의 구성을 간략히 도시한 블록도이다.
본 개시의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 그러나, 이는 본 개시의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 개시의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 개시의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 개시에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 개시에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그리고 본 개시에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
본 명세서에 걸쳐, 네트워크 함수는 신경망 네트워크 및/또는 뉴럴 네트워크(neural network)와 동일한 의미로 사용될 수 있다. 여기서, 뉴럴 네트워크(신경망)는 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있고, 이러한 노드들은 뉴런으로 지칭될 수 있다. 뉴럴 네트워크는 일반적으로 복수의 노드들을 포함하여 구성된다. 뉴럴 네트워크를 구성하는 노드들은 하나 이상의 링크에 의해 상호 연결될 수 있다.
뉴럴 네트워크를 구성하는 노드들 중 일부는 최초 입력 노드로부터의 거리들에 기초하여 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은 n 레이어를 구성할 수 있다.
본 명세서에서 설명하는 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함할 수 있다
또한, 본 개시의 실시예에 따른 방법은 연산 능력을 구비한 개인용 컴퓨터(Personal Computer), 워크스테이션(work station), 서버용 컴퓨터 장치 등에서 수행되거나 이를 위한 별도의 장치에서 수행될 수 있다.
또한, 방법은 하나 이상의 연산 장치들에서 수행될 수도 있다. 예를 들어, 본 개시의 실시예에 따른 방법(100) 중 적어도 하나 이상의 단계들은 클라이언트 디바이스에서, 다른 단계들은 서버 디바이스에서 수행될 수 있다. 이러한 경우, 클라이언트 디바이스와 서버 디바이스는 네트워크로 연결되어 연산 결과를 송수신할 수 있다. 또는, 방법(100)은 분산 컴퓨팅 기술에 의해 수행될 수도 있다.
이하, 본 개시의 실시예들을 차례로 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 방법을 설명하기 위한 흐름도이다.
S110 단계에서, 장치는 학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영(CT) 영상으로부터 3차원의 제 1 폐 영역을 추출(segmentation)할 수 있다.
흉부 단층 촬영 영상은 외부의 데이터 베이스 서버로부터 수신되거나, 장치와 유, 무선 통신을 통해 연결된 촬영 장치로부터 촬영을 통해 획득될 수 있다.
예를 들어, 흉부 단층 촬영 영상은 컴퓨터 단층 촬영 방법을 통해 피검자에 대하여 흉부를 포함하는 신체 부위를 일 방향으로 연속하여 촬영함으로써 생성되는 3차원 영상일 수 있다. 또는, 실시예에 따라, 흉부 단층 촬영 영상은 연속 촬영을 통해 생성된 복수의 2차원 슬라이스 영상을 적층하여 생성된 것일 수 있다.
제 1 네트워크 함수는 학습 데이터(예를 들어, 전문가, 검사 등을 통해 폐 영역이 라벨링된 흉부 단층 촬영 영상)를 통해 사전에 폐 영역 추출에 대한 학습이 수행된 것일 수 있다.
추출된 제 1 폐 영역에 관한 정보에는 3차원의 위치 좌표에 대한 정보가 포함될 수 있다. 여기서 폐 영역의 위치 좌표는 3차원의 흉부 단층 촬영 영상과 동일한 기준 좌표에 대응하여 생성된 것일 수 있다.
S120 단계에서, 추출된 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성할 수 있다.
실시예에서, S120 단계는 추출된 3차원의 제 1 폐 영역을 관상면에 대하여 DRR 투영(Digitally Reconstructed Radiographic-projection)함으로써 수행될 수 있다. 다만, 이는 예시적인 것으로서, 다양한 방식이 적용되어 제 2 폐 영역에 대한 2차원 영상이 생성될 수 있다.
생성된 제 2 폐 영역에 관한 정보에는 2차원의 위치 좌표에 대한 정보가 포함될 수 있다.
한편, 도시되어 있지는 않지만, 방법(100)은 S120 단계 전에, S110 단계를 통해 추출된 제 1 폐 영역으로부터 병변 영역을 검출하는 단계를 더 포함할 수 있다. 예를 들어, 장치는 학습된 제 2 네트워크 함수를 통해 제 1 폐 영역으로부터 병변 영역을 검출할 수 있다.
이때, 제 2 네트워크 함수는 학습 데이터(예를 들어, 전문가, 검사 등을 통해 병변 영역이 라벨링된 3차원 폐 영역 영상)를 통해 사전에 병변 영역 검출에 대한 학습이 수행된 것일 수 있다. 검출된 병변 영역에 대한 정보에는 3차원의 위치 좌표에 대한 정보가 포함될 수 있다.
실시예에서, S120 단계는, 검출된 병변 영역을 포함하는 제 1 폐 영역에 대하여 수행될 수 있다. 이 경우, 생성된 2차원의 제 2 폐 영역에는 2차원 변환된 병변 영역에 대한 정보가 포함될 수 있다.
S130 단계에서, 장치는 학습된 제 3 네트워크 함수를 통해 적어도 하나의 흉부 방사선(X-ray) 영상으로부터 제 3 폐 영역을 추출할 수 있다.
흉부 방사선 영상은 외부의 데이터 베이스 서버로부터 수신되거나, 장치와 유, 무선 통신을 통해 연결된 촬영 장치로부터 촬영을 통해 획득될 수 있다. 또한, 흉부 방사선 영상은 시간의 경과에 따라 상이한 시점에 촬영된 복수의 영상을 포함할 수 있다.
제 3 네트워크 함수는 학습 데이터(예를 들어, 전문가, 검사 등을 통해 폐 영역이 라벨링된 흉부 방사선 영상)를 통해 사전에 폐 영역 추출에 대한 학습이 수행된 것일 수 있다.
추출된 제 3 폐 영역에 관한 정보에는 2차원의 위치 좌표에 대한 정보가 포함될 수 있다. 여기서 폐 영역의 위치 좌표는 2차원의 흉부 방사선 영상과 동일한 기준 좌표에 대응하여 생성된 것일 수 있다.
한편, 도시되어 있지 않으나, 방법(100)은 추출된 제 3 폐 영역으로부터 병변 영역을 검출하는 단계를 더 포함할 수 있다. 예를 들어, 장치는 학습된 제 4 네트워크 함수를 통해 제 3 폐 영역으로부터 병변 영역을 검출할 수 있다. 제 3 폐 영역에서 검출된 병변 영역에 관한 정보는 추후 복수의 영상 비교를 통해 폐 질환의 경과를 파악하는데 이용될 수 있다.
S140 단계에서, 장치는 제 2 폐 영역과 제 3 폐 영역 중 하나를 기준 영상으로 설정할 수 있다. 기준 영상은 정합의 기준이 되는 영상을 지칭하는 것으로서, 이하 상술되는 바와 같이, 기준 영상을 기준으로 다른 영상을 변형함으로써, 정합(또는, 최적화)을 수행하게 된다.
실시예에서, S140 단계는 사용자의 선택 입력에 기초하여 설정될 수 있다. 다만, 이는 예시적인 것으로, 장치는 제 2 폐 영역과 제 3 폐 영역 중 기본 값으로 설정된 영상을 기준 영상으로 자동 설정하도록 구성될 수 있다.
S150 단계에서, 장치는 기준 영상을 기준으로 제 2 폐 영역 또는 제 3 폐 영역을 변형하여, 제 2 폐 영역 또는 제 3 폐 영역을 최적화함으로써 기준 영상과 정합시킬 수 있다.
도 2에서 도시되는 바와 같이, 실시예에서, S150 단계는 S151 단계 내지 S153 단계를 포함할 수 있다.
S151 단계에서, 장치는 피검자의 위치에 대한 표준 프로토콜에 기초하여 이동, 회전, 확대 및 축소 중 적어도 하나에 대한 탐색 범위를 설정할 수 있다.
즉, 다양한 의료 영상의 획득 과정에 있어서 환자의 자세나 위치는 표준 프로토콜을 따르므로, 장치는 흉부 단층 촬영 영상 및 흉부 방사선 영상의 촬영 시, 피검자의 위치에 대한 표준 프로토콜에 기초하여 이동, 회전, 확대 및 축소 중 적어도 하나에 대한 탐색 범위를 설정할 수 있다.
S152 단계 및 S153 단계에서, 장치는 탐색 범위 내에서 제 2 폐 영역 또는 제 3 폐 영역에 대한 변형을 수행하면서, 손실 함수의 출력값에 기초하여 제 2 폐 영역 또는 제 3 폐 영역을 최적화 할 수 있다.
구체적으로, 장치는 탐색 범위 내에서 제 2 폐 영역 또는 제 3 폐 영역에 대한 이동량, 회전량, 확대량 및 축소량 중 적어도 하나를 변경하면서, 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출할 수 있다. 이어서, 손실 함수의 출력값이 최소값에 도달하는지를 판단하며, 최소값이 도달할 때까지 제 2 폐 영역 또는 제 3 폐 영역에 대한 변환과 손실 함수의 출력값 산출 과정을 반복 수행할 수 있다.
즉, 손실 함수는 변형된 제 2 폐 영역 또는 제 3 폐 영역이 기준 영상과 유사해질수록 낮은 값을 출력하게 되며, 이러한 손실 함수의 출력값을 감소시키는 반복적인 과정(변형 -> 손실 함수의 출력값 측정)을 통해 제 2 폐 영역 또는 제 3 폐 영역을 최적화함으로써, 기준 영상과 정합을 수행할 수 있다.
이를 위해, 확률적 경사 하강법(stochastic gradient descent) 등이 적용될 수 있으나, 이에 한정되는 것은 아니며, 다양한 통계적 방식이 적용될 수 있다.
특히, 본 개시에 따르면, 제 2 폐 영역 또는 제 3 폐 영역을 표준 프로토콜에 기초하여 일정한 범위에서만 변형을 가하도록 탐색 범위를 제한함으로써, 최적화를 위한 연산량을 획기적으로 감소시킬 수 있다.
S160 단계에서, 최적화된 제 2 폐 영역 또는 제 3 폐 영역을 기준 영상과 관련된 2차원 원본 영상에 합성할 수 있다.
실시예에서, 기준 영상인 제 3 폐 영역인 경우, 장치는 최적화된 제 2 폐 영역을 흉부 방사선 영상의 상기 제 3 폐 영역에 대응하는 위치에 합성할 수 있다.
실시예에서, 기준 영상이 제 2 폐 영역인 경우, 장치는 3차원 흉부 단층 촬영 영상을 2차원 영상으로 변환하여 생성된 흉부 영상을 생성하고, 최적화된 제 3 폐 영역을 흉부 영상의 상기 제 2 폐 영역에 대응하는 위치에 합성할 수 있다. 이때, 흉부 영상의 생성은 3차원 흉부 단층 촬영 영상을 관상면에 대하여 DRR 투영(Digitally Reconstructed Radiographic-projection)함으로써 수행될 수 있다.
본 개시에 따르면, S160 단계에 의해 생성된 합성 영상을, 시간 경과에 따라 상이한 시점에 촬영된 복수의 흉부 방사선 영상과 용이하게 비교가 가능하게 됨으로써, 폐 질환의 진행 정도에 대하여 용이하게 판독이 가능해진다.
실시예에서, 제 2 폐 영역에 대한 생성은 3차원 흉부 단층 영상을 투영하여 생성한 흉부 영상에 기초하여 수행될 수 있다. 즉, 장치는 학습된 네트워크 함수를 통해 흉부 영상으로부터 2차원의 제 2 폐 영역을 추출함으로써, 제 2 폐 영역에 대한 영상을 생성할 수 있다.
한편, 도시되어 있지는 않으나, 방법(100)은 제 1 폐 영역으로부터 검출되어 제 2 폐 영역에 포함된 제 1 병변 영역과 제 3 폐 영역으로부터 검출된 제 2 병변 영역을 상호 비교하여 경과 진행 정보를 제공하는 단계를 더 포함할 수 있다. 예를 들어, 장치는 제 1 병변 영역과 제 2 병변 영역의 크기, 위치, 형태 변화 등의 정보를 제공하고, 해당 정보를 기초로 폐 질병의 경과 정도를 판단하도록 구성될 수 있다.
도 3 내지 도 6은 본 개시의 실시예에 따라 폐 영역의 정합이 수행되는 과정을 예시적으로 설명하기 위한 도면이다.
먼저, 도 3을 참조하면, 흉부 단층 촬영 영상을 학습된 네트워크 함수에 입력하여 3차원의 제 1 폐 영역을 추출할 수 있다. 흉부 단층 촬영 영상은 3차원의 데이터로, 예를 들어, 복수의 슬라이스 영상을 적층하여 생성된 것일 수 있다.
이어서, 도 4를 참조하면, 추출된 3차원의 제 1 폐 영역에 대한 영상을 DRR 투영을 통해 제 1 폐 영역에 대응하는 제 2 폐 영역이 포함된 2차원 영상으로 변환할 수 있다. 전체의 흉부 단층 촬영 영상이 아닌 폐 영역을 추출하고 이에 대한 2차원 변환을 수행함으로써, 연산량을 큰 폭으로 감소시킬 수 있다.
이어서, 도 5를 참조하면, 학습된 네트워크 함수를 통해 흉부 방사선(X-ray) 영상으로부터 제 3 폐 영역을 추출할 수 있다. 흉부 방사선(X-ray) 영상은 2차원의 데이터로, 시간의 경과에 따라 상이한 시점에 촬영된 복수의 영상을 포함할 수 있다.
이어서, 도 6을 참조하면, 제 2 폐 영역과 제 3 폐 영역을 상호 정합하여, 합성 영상을 생성할 수 있다. 예를 들어, 제 2 폐 영역을 기준 영상으로 하고, 기준 영상과의 유사도에 대한 손실 함수의 출력값이 최소값에 도달할 때까지 제 3 폐 영역을 변형함으로써, 최적화(또는, 정합)를 수행할 수 있다. 이후, 최적화된 제 3 폐 영역에 대한 영상은 흉부 단층 촬영 영상을 투영하여 생성된 흉부 영상에 합성될 수 있다.
한편, 도 6에서는, 제 2 폐 영역을 기준 영상으로 하고 흉부 단층 촬영 영상을 투영하여 생성된 2차원 흉부 영상에 최적화된 제 3 폐 영역을 합성하도록 도시되어 있으나, 상술한 바와 같이, 제 3 폐 영역을 기준 영상으로 한 다음 제 2 폐 영역을 최적화하여, 흉부 방사선 영상에 최적화된 제 2 폐 영역을 합성할 수 있음은 물론이다.
도 7은 본 개시의 실시예에 따른 장치의 구성을 간략히 도시한 블록도이다.
통신부(710)는 폐 영역 정합 및/또는 폐 질환의 경과 추적을 위한 정보 제공을 수행하기 위한 입력 데이터(흉부 CT 영상 등)를 수신할 수 있다. 통신부(710)는 유무선 통신부를 포함할 수 있다. 통신부(710)가 유선 통신부를 포함하는 경우, 통신부(710)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 통하여 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 또한, 통신부(710)가 무선 통신부를 포함하는 경우, 통신부(710)는 셀룰러 통신, 무선랜(예를 들어, 와이-파이(Wi-Fi)) 등을 이용하여 무선으로 데이터 또는 신호를 송수신할 수 있다. 실시예에서, 통신부는 프로세서(740)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다.
입력부(720)는 외부의 조작을 통해 다양한 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(720)는 하나 이상의 입력 장치를 포함하거나 연결할 수 있다. 예를 들어, 입력부(720)는 키패드, 마우스 등 다양한 입력을 위한 인터페이스와 연결되어 사용자 명령을 수신할 수 있다. 이를 위해, 입력부(720)는 USB 포트 뿐만 아니라 선더볼트 등의 인터페이스를 포함할 수도 있다. 또한, 입력부(720)는 터치스크린, 버튼 등의 다양한 입력 장치를 포함하거나 이들과 결합하여 외부의 사용자 명령을 수신할 수 있다.
메모리(730)는 프로세서(740)의 동작을 위한 프로그램 및/또는 프로그램 명령을 저장할 수 있고, 입/출력되는 데이터들을 임시 또는 영구 저장할 수 있다. 메모리(730)는 플래시 메모리(flash memory) 타입, 하드디스크(hard disk) 타입, 멀티미디어 카드 마이크로(multimedia card micro) 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM, 롬(ROM), EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 메모리(730)는 다양한 네트워크 함수 및 알고리즘을 저장할 수 있으며, 장치(700)를 구동하고 제어하기 위한 다양한 데이터, 프로그램(하나 이상이 인스트럭션들), 어플리케이션, 소프트웨어, 명령, 코드 등을 저장할 수 있다.
프로세서(740)는 장치(700)의 전반적인 동작을 제어할 수 있다. 프로세서(740)는 메모리(730)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(740)는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU) 또는 본 개시의 기술적 사상에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
실시예에서, 프로세서(740)는 학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영(CT) 영상으로부터 3차원의 제 1 폐 영역을 추출하고, 추출된 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성하며, 학습된 제 2 네트워크 함수를 통해 흉부 방사선(X-ray) 영상으로부터 제 3 폐 영역을 추출하고, 상기 제 2 폐 영역과 상기 제 3 폐 영역 중 하나를 기준 영상으로 설정하며, 상기 기준 영상을 기준으로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 변형하고, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하고, 상기 손실 함수의 출력값을 기초로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 최적화함으로써, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 상기 기준 영상과 정합할 수 있다.
실시예에서, 프로세서(740)는 상기 3차원 흉부 단층 촬영 영상을 관상면에 투영함으로써 2차원 흉부 영상을 생성하고, 학습된 제 3 네트워크 함수를 통해 상기 흉부 영상으로부터 상기 제 2 폐 영역을 추출할 수 있다.
실시예에서, 프로세서(740)는 학습된 제 4 네트워크 함수를 통해 추출된 상기 제 1 폐 영역으로부터 병변 영역을 검출하며, 검출된 상기 병변 영역을 포함하는 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성할 수 있다.
실시예에서, 프로세서(740)는 상기 제 2 폐 영역 또는 상기 제 3 폐 영역에 대한 이동, 회전, 확대 및 축소 중 적어도 하나를 수행하고, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출할 수 있다.
실시예에서, 프로세서(740)는 상기 손실 함수의 출력값이 최소값에 도달하도록, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계를 반복함으로써, 상기 기준 영상과의 정합을 수행할 수 있다.
실시예에서, 프로세서(740)는 상기 흉부 단층 촬영 영상 및 상기 흉부 방사선 영상의 촬영 시, 피검자의 위치에 대한 표준 프로토콜에 기초하여 이동, 회전, 확대 및 축소 중 적어도 하나에 대한 탐색 범위를 설정하고, 상기 탐색 범위 내에서 이동량, 회전량, 확대량 및 축소량 중 적어도 하나를 변경함으로써, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출할 수 있다.
실시예에서, 프로세서(740)는 상기 기준 영상이 상기 제 3 폐 영역인 경우, 최적화된 상기 제 2 폐 영역을 상기 흉부 방사선 영상의 상기 제 3 폐 영역에 대응하는 위치에 합성할 수 있다.
실시예에서, 프로세서(740)는 상기 기준 영상이 상기 제 2 폐 영역인 경우, 상기 3차원 흉부 단층 촬영 영상을 관상면에 투영함으로써 2차원 흉부 영상을 생성하고, 최적화된 상기 제 3 폐 영역을 상기 흉부 영상의 상기 제 2 폐 영역에 대응하는 위치에 합성할 수 있다.
본 개시의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제 3 장치로 전송되거나, 제 3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.
Claims (9)
- 3차원 흉부 단층 촬영(CT) 영상과 흉부 방사선(X-ray) 영상의 폐 영역 자동 정합 방법에 있어서,
학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영 영상으로부터 3차원의 제 1 폐 영역을 추출하는 단계;
추출된 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성하는 단계;
학습된 제 2 네트워크 함수를 통해 흉부 방사 영상으로부터 제 3 폐 영역을 추출하는 단계;
상기 제 2 폐 영역과 상기 제 3 폐 영역 중 하나를 기준 영상으로 설정하는 단계;
상기 흉부 단층 촬영 영상 및 상기 흉부 방사선 영상의 촬영 시, 피검자의 위치에 대한 표준 프로토콜에 기초하여 이동, 회전, 확대 및 축소 중 적어도 하나에 대한 탐색 범위를 설정하는 단계;
상기 기준 영상을 기준으로 상기 탐색 범위 내에서 상기 제 2 폐 영역 또는 상기 제 3 폐 영역에 대한 이동, 회전, 확대 및 축소 중 적어도 하나를 수행하면서, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계; 및
상기 손실 함수의 출력값을 기초로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 최적화함으로써, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 상기 기준 영상과 정합하는 단계를 포함하는, 방법. - 삭제
- 제 1 항에 있어서,
상기 기준 영상과 정합하는 단계는,
상기 손실 함수의 출력값이 최소값에 도달하도록, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계를 반복함으로써 수행되는, 방법. - 제 1 항에 있어서,
상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하는 단계는,
상기 탐색 범위 내에서 이동량, 회전량, 확대량 및 축소량 중 적어도 하나를 변경함으로써 수행되는, 방법. - 제 1 항에 있어서,
상기 기준 영상은 상기 제 3 폐 영역이고,
상기 방법은,
최적화된 상기 제 2 폐 영역을 상기 흉부 방사선 영상의 상기 제 3 폐 영역에 대응하는 위치에 합성하는 단계를 더 포함하는, 방법. - 제 1 항에 있어서,
상기 3차원 흉부 단층 촬영 영상을 관상면에 투영함으로써 2차원 흉부 영상을 생성하는 단계를 더 포함하고,
상기 제 2 폐 영역에 대한 2차원 영상을 생성하는 단계는,
학습된 제 3 네트워크 함수를 통해 상기 흉부 영상으로부터 상기 제 2 폐 영역을 추출함으로써 수행되는, 방법. - 제 1 항에 있어서,
상기 기준 영상은 상기 제 2 폐 영역이고,
상기 방법은,
상기 3차원 흉부 단층 촬영 영상을 관상면에 투영함으로써 2차원 흉부 영상을 생성하는 단계; 및
최적화된 상기 제 3 폐 영역을 상기 흉부 영상의 상기 제 2 폐 영역에 대응하는 위치에 합성하는 단계를 더 포함하는, 방법. - 3차원 흉부 단층 촬영(CT) 영상과 흉부 방사선(X-ray) 영상의 폐 영역 자동 정합 장치에 있어서,
적어도 하나의 프로세서;
상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리; 및
상기 프로세서는, 상기 프로그램을 실행함으로써, 학습된 제 1 네트워크 함수를 통해 3차원 흉부 단층 촬영 영상으로부터 3차원의 제 1 폐 영역을 추출하고, 추출된 상기 제 1 폐 영역을 관상면에 투영함으로써 제 2 폐 영역에 대한 2차원 영상을 생성하며, 학습된 제 2 네트워크 함수를 통해 흉부 방사선 영상으로부터 제 3 폐 영역을 추출하고, 상기 제 2 폐 영역과 상기 제 3 폐 영역 중 하나를 기준 영상으로 설정하며, 상기 흉부 단층 촬영 영상 및 상기 흉부 방사선 영상의 촬영 시, 피검자의 위치에 대한 표준 프로토콜에 기초하여 이동, 회전, 확대 및 축소 중 적어도 하나에 대한 탐색 범위를 설정하고, 상기 기준 영상을 기준으로 상기 탐색 범위 내에서 상기 제 2 폐 영역 또는 상기 제 3 폐 영역에 대한 이동, 회전, 확대 및 축소 중 적어도 하나를 수행하면서, 상기 기준 영상과의 유사도에 대한 손실 함수의 출력값을 산출하며, 상기 손실 함수의 출력값을 기초로 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 최적화함으로써, 상기 제 2 폐 영역 또는 상기 제 3 폐 영역을 상기 기준 영상과 정합하는, 장치. - 제 1 항 및 제 3 항 내지 제 7 항 중 어느 한 항의 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210134229A KR102513565B1 (ko) | 2021-10-08 | 2021-10-08 | 폐 영역 자동 정합 방법 및 이를 위한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210134229A KR102513565B1 (ko) | 2021-10-08 | 2021-10-08 | 폐 영역 자동 정합 방법 및 이를 위한 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102513565B1 true KR102513565B1 (ko) | 2023-03-24 |
Family
ID=85872801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210134229A Active KR102513565B1 (ko) | 2021-10-08 | 2021-10-08 | 폐 영역 자동 정합 방법 및 이를 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102513565B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170069587A (ko) * | 2015-12-11 | 2017-06-21 | 삼성전자주식회사 | 영상처리장치 및 그의 영상처리방법 |
| JP2017518826A (ja) * | 2014-06-25 | 2017-07-13 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 異なる撮像モダリティのレジストレーションのための撮像機器 |
| CN107374705A (zh) * | 2017-06-20 | 2017-11-24 | 上海交通大学 | 一种x光和术前ct引导下的肺穿刺手术定位方法 |
| KR20200057563A (ko) * | 2018-11-16 | 2020-05-26 | 서울여자대학교 산학협력단 | 폐 운동의 히스토그램 분석을 위한 폐 영상 정합 방법, 그 장치, 그 프로그램 및 정합된 폐 영상의 분석 방법 및 그 프로그램 |
-
2021
- 2021-10-08 KR KR1020210134229A patent/KR102513565B1/ko active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017518826A (ja) * | 2014-06-25 | 2017-07-13 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 異なる撮像モダリティのレジストレーションのための撮像機器 |
| KR20170069587A (ko) * | 2015-12-11 | 2017-06-21 | 삼성전자주식회사 | 영상처리장치 및 그의 영상처리방법 |
| CN107374705A (zh) * | 2017-06-20 | 2017-11-24 | 上海交通大学 | 一种x光和术前ct引导下的肺穿刺手术定位方法 |
| KR20200057563A (ko) * | 2018-11-16 | 2020-05-26 | 서울여자대학교 산학협력단 | 폐 운동의 히스토그램 분석을 위한 폐 영상 정합 방법, 그 장치, 그 프로그램 및 정합된 폐 영상의 분석 방법 및 그 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11559221B2 (en) | Multi-task progressive networks for patient modeling for medical scans | |
| US9524582B2 (en) | Method and system for constructing personalized avatars using a parameterized deformable mesh | |
| CN109923582B (zh) | 使用卷积神经网络进行图像分割的系统和方法 | |
| US10362941B2 (en) | Method and apparatus for performing registration of medical images | |
| JP5950782B2 (ja) | ライブ蛍光透視画像を用いた冠動脈モデルの非剛体２ｄ／３ｄレジストレーション | |
| KR102114415B1 (ko) | 의료 영상 정합 방법 및 장치 | |
| US20180247154A1 (en) | Image classification apparatus, method, and program | |
| CN108403135A (zh) | 目标器官的剂量优化的计算机断层摄影扫描的方法和系统 | |
| KR102367984B1 (ko) | 병변 판독 방법 및 이를 위한 장치 | |
| CN108198235A (zh) | 一种三维超声重建方法、装置、设备及存储介质 | |
| US20240127613A1 (en) | Disease label creation device, disease label creation method, disease label creation program, learning device, and disease detection model | |
| JP7270453B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN113657420B (zh) | 身体表示 | |
| CN114787867A (zh) | 用于医学图像配准的器官变形补偿 | |
| KR20220143187A (ko) | 딥러닝을 이용한 폐기종 자동 추출 방법 및 장치 | |
| KR102513565B1 (ko) | 폐 영역 자동 정합 방법 및 이를 위한 장치 | |
| US20210287368A1 (en) | Estimating patient biographic data parameters | |
| KR102710766B1 (ko) | 폐 질환 경과 추적을 위한 정보 제공 방법 및 이를 위한 장치 | |
| KR20230057489A (ko) | 폐기종의 정량적 분석을 위한 진단 모듈의 학습 방법 및 이를 위한 장치 | |
| KR20230049938A (ko) | 폐기종의 정량적 분석 방법 및 이를 위한 장치 | |
| KR102710754B1 (ko) | 평균 도형을 이용한 횡격막 검출 방법 및 이를 위한 장치 | |
| KR102444581B1 (ko) | 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치 | |
| KR20220143185A (ko) | 딥러닝을 이용하여 간유리 음영 및 경화 부위를 자동 추출하는 방법 및 장치 | |
| Rai et al. | Enhanced image segmentation for cancer images using sparse based classification framework | |
| US20250218209A1 (en) | Systems and methods for generating partial body model based on detected body part in an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211008 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20220405 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20211008 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220602 Patent event code: PE09021S01D |
|
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221226 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230320 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230320 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |