KR20190058285A - 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 - Google Patents
딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 Download PDFInfo
- Publication number
- KR20190058285A KR20190058285A KR1020180123786A KR20180123786A KR20190058285A KR 20190058285 A KR20190058285 A KR 20190058285A KR 1020180123786 A KR1020180123786 A KR 1020180123786A KR 20180123786 A KR20180123786 A KR 20180123786A KR 20190058285 A KR20190058285 A KR 20190058285A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- image
- noise
- deep
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title abstract description 42
- 238000013136 deep learning model Methods 0.000 claims abstract description 175
- 238000012549 training Methods 0.000 claims description 441
- 238000007689 inspection Methods 0.000 claims description 75
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 436
- 238000000605 extraction Methods 0.000 description 8
- 210000001015 abdomen Anatomy 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 235000013527 bean curd Nutrition 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G06T5/002—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/444—Low dose acquisition or reduction of radiation dose
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pulmonology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
딥러닝 기반 CT 이미지 잡음 저감 방법에 관한 것이며, 딥러닝 기반 CT 이미지 잡음 저감 방법은 입력 CT 이미지로부터 검사정보를 추출하는 단계; 기 훈련된 복수의 딥러닝 모델 중 상기 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택하는 단계; 및 상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 상기 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력하는 단계를 포함할 수 있다.
Description
본원은 딥러닝 기반 CT 이미지 잡음 저감 장치 및 방법에 관한 것이다.
컴퓨터단층촬영(CT)을 통해서는 피검자가 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영함으로써 인체를 가로지르는 횡단면상의 획득이 가능하다. 이는 단순 X선 촬영에 비해 구조물 겹침이 적어 구조물 및 병변을 좀 더 명확히 볼 수 있는 장점이 있기 때문에, 대부분의 장기 및 질환에 대한 정밀 검사에 폭넓게 활용되고 있다.
CT 이미지의 품질(해상도, 정밀도)은 병변에 대한 정확한 진단에 있어서 매우 중요한 요소라 할 수 있으며, CT 시스템의 발전과 함께 CT 이미지의 품질을 향상시키기 위한 노력이 계속되고 있다. 일예로 다채널 검출기 기술, 고속 고해상도 영상 재구성 기술 등이 이러한 노력에 해당한다고 볼 수 있다. 그러나, CT 이미지의 품질을 향상시키기 위한 종래의 노력들은 대부분 고선량의 방사선 피폭을 야기할 수 있어 그 피해가 우려된다. 특히, 최근 방사선 피폭에 대한 사회 인식을 감안하면, 고품질의 진단 이미지를 획득하기 위한 노력시 방사선량을 최소화하기 위한 노력이 수반되어야 할 필요가 있다.
이러한 노력의 일예로, CT 제조사들은 저피폭 고품질 CT 시스템을 출시하고 있다. 그런데, 종래의 저피폭 고품질 CT 시스템은 기존 제품 대비 가격이 높고 기존 제품에 대한 처리 곤란을 야기하는 문제가 있다. 또 다른 노력의 일예로, CT 제조사들 각각은 자사의 기존 제품에 대한 하드웨어/소프트웨어의 업그레이드를 통해 저피폭 고품질의 CT 이미지 획득을 가능하도록 하고 있다. 하지만, 이 역시 상당한 수준의 업그레이드 비용을 감안하면, 진정한 해결책이 될 수는 없어, 이에 대한 해결방안이 요구되고 있다. 즉, 방사선량을 최소화하면서 고품질의 진단 이미지(CT 이미지)를 획득할 수 있는 보다 효과적인 기술 개발이 요구된다.
한편, 딥러닝 기술은 일련의 세부적인 프로그램을 코딩하는 대신, 주어진 학습 데이터 세트에 따라 훈련이 가능한 범용의 프로그램 코드를 사용함으로써 특정한 목적을 달성하는 새로운 방식의 컴퓨팅 기술로서, 다양한 영상처리 분야에서 뛰어난 성능을 인정받고 있다.
그러나, 딥러닝 모델이 바람직한 성능을 발휘하기 위해서는 충분히 많은 훈련 데이터 세트를 확보하는 것이 요구될 뿐 아니라, 딥러닝 모델이 사전에 지정된 범위의 데이터에 대해서 훈련되고, 실 사용단계에서도 사전에 지정된 범위의 데이터에 대해서 작동할 수 있도록 데이터를 구획화하는 방법이 수반되어야 할 필요가 있다. 안전성이 특히 중시되는 의료영상에 딥러닝을 적용하기 위해서는 이러한 전제조건을 만족시키는 효과적인 딥러닝 훈련 기술의 개발이 더더욱 중요하다고 할 수 있다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2014-0130784호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 방사선량을 최소화하면서 고품질의 진단 이미지(CT 이미지)를 획득할 수 있는 딥러닝 기반 CT 이미지 잡음 저감 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 안전성이 특히 중시되는 의료영상에 딥러닝이 보다 효과적으로 적용될 수 있도록 하는 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 모델의 훈련(학습) 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 딥러닝이 가진 장점을 활용하면서도 딥러닝의 성능 보장과 안전성 확보를 담보할 수 있는 딥러닝 기반 CT 이미지 잡음 저감 장치 및 방법, 그를 통한 딥러닝 모델의 훈련 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 방법은, 입력 CT 이미지로부터 검사정보를 추출하는 단계; 기 훈련된 복수의 딥러닝 모델 중 상기 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택하는 단계; 및 상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 상기 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력하는 단계를 포함할 수 있다.
또한, 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 방법은, 상기 추출하는 단계 이전에, 훈련용 제1 CT 데이터 세트에 CT 이미지 잡음 시뮬레이터를 적용하여 다양한 수준의 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성하는 단계; 상기 훈련용 제2 CT 데이터 세트로부터 검사정보를 추출하고 미리 설정된 규칙에 따라 상기 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화하는 단계; 및 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시키는 단계를 더 포함하고, 상기 선택하는 단계에서 상기 기 훈련된 복수의 딥러닝 모델은, 상기 훈련시키는 단계에 의해 훈련된 상기 복수의 훈련대상 딥러닝 모델일 수 있다.
또한, 상기 생성하는 단계에서 상기 CT 이미지 잡음 시뮬레이터는, 상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 입력으로 하여 합성 사이노그램을 생성하는 단계; 상기 합성 사이노그램에 기 설정된 수준의 잡음을 가진 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성하는 단계; 상기 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성하는 단계; 및 상기 생성된 잡음성분 CT 이미지와 상기 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성하는 단계를 수행할 수 있다.
또한, 상기 훈련용 제2 CT데이터 세트는, 상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 기반으로 획득되는 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍으로 이루어질 수 있다.
또한, 상기 훈련시키는 단계는, 상기 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 그룹화된 상기 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시킬 수 있다.
또한, 상기 출력하는 단계는, 상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여, 상기 선택된 적어도 하나의 딥러닝 모델이 상기 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하도록 하고, 상기 추출된 잡음성분 CT 이미지에 미리 설정된 값을 곱하여 상기 입력 CT 이미지에서 감산함으로써 상기 잡음 저감된 CT 이미지를 출력할 수 있다.
한편, 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치는, 입력 CT 이미지로부터 검사정보를 추출하는 추출부; 기 훈련된 복수의 딥러닝 모델 중 상기 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택하는 선택부; 및 상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 상기 입력 CT 이미지에 대한 잡음 저감된 입력 CT 이미지를 출력하는 출력부를 포함할 수 있다.
또한, 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치는, 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시키는 훈련부를 더 포함하고, 상기 훈련부는, 훈련용 제1 CT 데이터 세트에 CT 이미지 잡음 시뮬레이터를 적용하여 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성하고, 상기 훈련용 제2 CT 데이터 세트로부터 검사정보를 추출하고 미리 설정된 규칙에 따라 상기 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화하고, 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시킬 수 있으며, 상기 기 훈련된 복수의 딥러닝 모델은 상기 훈련부에 의해 훈련된 상기 복수의 훈련대상 딥러닝 모델일 수 있다.
또한, 상기 CT 이미지 잡음 시뮬레이터는, 상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 입력으로 하여 합성 사이노그램을 생성하고, 상기 합성 사이노그램에 기 설정된 수준의 잡음을 가진 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성하고, 상기 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성하고, 상기 생성된 잡음성분 CT 이미지와 상기 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성할 수 있다.
또한, 상기 훈련용 제2 CT데이터 세트는, 상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 기반으로 획득되는 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍으로 이루어질 수 있다.
또한, 상기 훈련부는, 상기 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 그룹화된 상기 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시킬 수 있다.
또한, 상기 출력부는, 상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여, 상기 선택된 적어도 하나의 딥러닝 모델이 상기 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하도록 하고, 상기 추출된 잡음성분 CT 이미지에 미리 설정된 값을 곱하여 상기 입력 CT 이미지에서 감산함으로써 상기 잡음 저감된 CT 이미지를 출력할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시 예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시 예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 딥러닝을 기반으로 CT 이미지의 잡음 저감을 수행함으로써, 방사선량을 최소화하면서 고품질의 진단 이미지(CT 이미지)를 획득할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, CT 이미지의 검사 정보에 따라 복수의 딥러닝 모델(복수의 훈련대상 딥러닝 모델)을 훈련시킴으로써, 안전성이 특히 중시되는 의료영상에 딥러닝이 보다 효과적으로 적용되도록 할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 딥러닝이 가진 장점을 활용하면서도 딥러닝의 성능 보장과 안전성 확보를 담보할 수 있는 딥러닝 기반 CT 이미지 잡음 저감 장치 및 방법, 그를 통한 딥러닝 모델의 훈련(학습) 방법을 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치의 개략적인 구성을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 기반 CT 이미지 잡음 저감 방법에 대한 개략적인 동작 흐름을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법에 대한 개략적인 동작 흐름의 일예를 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 기반 CT 이미지 잡음 저감 방법에 대한 개략적인 동작 흐름을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법에 대한 개략적인 동작 흐름의 일예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치의 개략적인 구성을 나타낸 도면이다. 이하에서는 본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치(10)를 설명의 편의상 본 장치(10)라 하기로 한다.
도 1을 참조하면, 본 장치(10)는 추출부(11), 선택부(12), 출력부(13) 및 훈련부(14)를 포함할 수 있다.
추출부(11)는 입력된 CT 이미지(입력 CT 이미지)로부터 검사정보를 추출할 수 있다. 특히, 추출부(11)는 입력 CT 이미지에 포함된 헤더정보로부터 검사정보를 추출할 수 있다. 검사정보에는 CT 이미지의 검사부위 정보 및 스캔 속성 정보가 포함될 수 있다.
여기서, 검사부위 정보는 일 예로 장기 부위에 관한 정보를 의미할 수 있다. 즉, 검사부위 정보는 주요 관심 인체장기 부위에 관한 정보를 의미하는 것으로서, 예를 들어 두부, 흉부, 복부 등의 장기 부위의 정보를 의미할 수 있다. 또한, 스캔 속성 정보는 CT 이미지의 잡음 특성에 영향을 미치는 CT 촬영 변수에 관한 정보를 의미하는 것으로서, 예를 들어 재구성 커널, 관전압, 관전류, 절편 두께 등의 정보를 의미할 수 있다.
입력 CT 이미지는 컴퓨터단층촬영기(Computed Tomography, CT), 자기공명 영상장치(Magnetic Resonance Imaging, MRI), 양전자 방출 단층 영상장치(Positron Emission Tomography, PET) 등에 의하여 획득된 이미지일 수 있으며, 이에만 한정되는 것은 아니고 다양한 영상촬영장치를 통해 획득한 이미지일 수 있다.
선택부(12)는 기 훈련된 복수의 딥러닝 모델 중 추출부(11)에서 추출된 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택할 수 있다.
선택부(12)는 추출부(11)에서 추출된 검사정보에 미리 설정된 규칙(사전에 정한 규칙)을 적용함으로써, 기 훈련된 복수의 딥러닝 모델 중 추출부(11)에서 추출된 검사정보에 대응하는 적어도 하나의(하나 또는 그 이상의) 딥러닝 모델을 선택할 수 있다.
이에 따르면, 본 장치(10)는 복수의 딥러닝 모델을 포함할 수 있다. 여기서, 복수의 딥러닝 모델 각각은 후술하는 훈련부(14)에 의해 기 훈련된 딥러닝 모델로서, 특히 각각의 딥러닝 모델에 입력되는 CT 이미지(입력 CT 이미지)에 대하여 잡음이 저감된 CT 이미지(잡음 저감 CT 이미지)를 출력하도록 기 훈련된 딥러닝 모델을 의미할 수 있다.
또 다른 일 예에 따르면, 본 장치(10)에 포함된 복수의 딥러닝 모델 각각은, 각각의 딥러닝 모델에 입력되는 CT 이미지(달리 말해, 자신에게 입력되는 입력 CT 이미지)에 대하여 잡음성분 CT 이미지를 추출하도록 기 훈련된 딥러닝 모델을 의미할 수 있다.
본 장치(10)에서 고려되는 복수의 딥러닝 모델은 훈련부(14)에 의해 생성될 수 있다. 훈련부(14)는 검사정보에 따라 복수의 딥러닝 모델을 생성할 수 있다. 특히 훈련부(14)는 검사정보에 포함된 CT 이미지의 검사부위 정보 및 스캔 속성 정보의 조합에 따라 복수의 딥러닝 모델을 생성할 수 있다.
달리 말해, 본 장치(10)는 검사정보에 따라(검사부위 정보 및 스캔 속성 정보의 조합에 따라) 생성된 복수의 딥러닝 모델들이 포함될 수 있다. 검사부위 정보 및 스캔 속성 정보의 조합에 따라 생성된 복수의 딥러닝 모델 각각은 훈련부(14)에 의하여 검사부위 정보 및 스캔 속성 정보의 조합에 따라 그룹화된 각각의 훈련용 CT 데이터 세트(즉, 딥러닝 훈련용 CT 데이터 세트)를 이용하여 훈련될 수 있다.
본원에서 딥러닝 모델을 설명함에 있어서, 훈련부(14)에 의해 훈련이 이루어지기 이전의 딥러닝 모델은 훈련대상 딥러닝 모델이라 지칭될 수 있다. 이에 따르면, 훈련대상 딥러닝 모델에 대하여 훈련이 끝나고 나면 기 훈련된 딥러닝 모델을 의미하게 된다. 달리 말해, 선택부(12)에서 고려되는 기 훈련된 복수의 딥러닝 모델은 훈련부(14)에 의해 훈련된(훈련이 이루어진) 복수의 훈련대상 딥러닝 모델을 의미할 수 있다. 훈련대상 딥러닝 모델의 훈련에 대한 설명은 후술하여 보다 자세히 설명하기로 한다.
선택부(12)는 검사정보에 따라(검사부위 정보 및 스캔 속성 정보의 조합에 따라) 생성되어 기 훈련된 복수의 딥러닝 모델 중 추출부(11)에서 추출된 검사정보에 대응하는(추출부에서 추출된 검사부위 정보 및 스캔 속성 정보의 조합에 대응하는) 적어도 하나의 딥러닝 모델을 선택할 수 있다.
선택부(12)는 추출부(11)에서 추출된 검사정보를 기초로 하여, 기 훈련된 복수의 딥러닝 모델 중 입력 CT 이미지의 적용에 적합한 적어도 하나의 딥러닝 모델을 선택할 수 있다.
일례로, 입력 CT 이미지가 제1 스캔 속성(예를 들어, 저선량 및 두꺼운 절편의 스캔 속성)으로 재구성된 제1 검사부위(예를 들어, 복부)의 CT 이미지인 복부 검사 CT 이미지라고 가정하자. 이러한 경우, 선택부(12)는 기 훈련된 복수의 딥러닝 모델 중 제1 스캔 속성과 제1 검사부위에 대응하는 딥러닝 모델로서, 검사부위가 복부이고 저선량 및 두꺼운 절편의 스캔 속성을 갖는 훈련 데이터(훈련용 CT 데이터 세트)로 훈련된 단일의 딥러닝 모델(일예로, 제1 딥러닝 모델)을 선택할 수 있다.
다른 일예로, 입력 CT 이미지가 제2 스캔 속성(예를 들어, 초저선량 및 얇은 절편의 스캔 속성)으로 재구성된 제1 검사부위(예를 들어, 복부)의 CT 이미지인 복부 검사 CT 이미지라고 가정하자. 이러한 경우, 선택부(12)는 기 훈련된 복수의 딥러닝 모델 중 제2 스캔 속성과 제1 검사부위에 대응하는 딥러닝 모델로서, 검사부위가 복부이고 초저선량 및 얇은 절편의 스캔 속성을 갖는 훈련 데이터(훈련용 CT 데이터 세트)로 훈련된 단일의 딥러닝 모델(일예로, 제2 딥러닝 모델)을 선택할 수 있다.
또 다른 일예로, 입력 CT 이미지가 제1 영역에는 제3스캔 속성을 적용(예를 들어, 폐영역에는 제1 선예도로서 고선예도의 재구성 커널을 적용)하고 제2 영역에는 제4 스캔 속성을 적용(예를 들어, 연부조직 영역에는 제2 선예도로서 낮은 선예도의 재구성 커널을 적용)하여 재구성된 제2 검사부위(예를 들어, 흉부)의 CT 이미지인 흉부 검사 CT 이미지라고 가정하자. 이러한 경우, 선택부(12)는 기 훈련된 복수의 딥러닝 모델 중 제3 스캔 속성과 제2 검사부위에 대응하는 제3딥러닝 모델 및 제4 스캔 속성과 제2 검사부위에 대응하는 제4 딥러닝 모델을 포함하는 2개의 딥러닝 모델을 선택할 수 있다. 구체적으로, 선택부(12)는 기 훈련된 복수의 딥러닝 모델 중 검사부위가 흉부이고 고선예도의 재구성 커널을 갖는 훈련 데이터(훈련용 CT 데이터 세트)로 훈련된 제3 딥러닝 모델 및 검사부위가 흉부이고 낮은 선예도의 재구성 커널을 갖는 훈련 데이터(훈련용 CT 데이터 세트)로 훈련된 제4 딥러닝 모델을 포함하는 2개의 딥러닝 모델을 선택할 수 있다.
이처럼, 선택부(12)는 추출부(11)에서 추출된 검사정보를 기반으로 하여, 추출된 검사정보에 포함된 검사부위 정보 및 스캔 속성 정보의 조합을 고려해 기 훈련된 복수의 딥러닝 모델 중 하나 또는 그 이상의 딥러닝 모델(즉, 적어도 하나의 딥러닝 모델)을 선택할 수 있다.
출력부(13)는 입력 CT 이미지를 선택부(12)에서 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 입력 CT 이미지에 대한 잡음 저감된 입력 CT 이미지를 출력할 수 있다. 즉, 출력부(13)는 입력 CT 이미지를 선택부(12)에서 선택된 적어도 하나의 딥러닝 모델에 입력시킬 수 있으며, 이후 선택된 적어도 하나의 딥러닝 모델의 출력을 통해 입력 CT 이미지에 대한 잡음 저감된 입력 CT 이미지를 출력할 수 있다.
출력부(13)는 입력 CT 이미지를 선택부(12)에서 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여, 선택된 적어도 하나의 딥러닝 모델이 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하도록 하고, 추출된 잡음성분 CT 이미지에 미리 설정된 값(미리 설정된 비율)을 곱하여 입력 CT 이미지에서 감산함으로써, 선택된 적어도 하나의 딥러닝 모델을 통해 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력할 수 있다.
한 실시의 예로서 선택부(12)에서 선택된 딥러닝 모델이 단일의(하나의) 딥러닝 모델이라고 가정하자. 이러한 경우, 출력부(13)는 입력 CT 이미지를 선택부(12)에서 선택된 단일의 딥러닝 모델에 입력시켜 단일의 딥러닝 모델이 입력 CT 이미지의 잡음성분 CT 이미지를 추출하게 하고, 추출된 잡음성분 CT 이미지에 미리 설정된 비율을 곱하여 이를 입력 CT 이미지에서 감산함으로써, 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력할 수 있다.
또 다른 실시의 예로서 선택부(12)에서 선택된 딥러닝 모델이 복수의 딥러닝 모델이라고 가정하자. 이러한 경우, 출력부(13)는 입력 CT 이미지를 선택부(12)에서 선택된 복수의 딥러닝 모델 각각에 입력시켜, 복수의 딥러닝 모델이 각각 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하게 하고, 복수의 딥러닝 모델 각각에 의해 추출된 복수의 잡음성분 CT 이미지를 미리 설정된 규칙에 따라 혼합하여 이를 입력 CT 이미지에서 감산함으로써, 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력할 수 있다.
훈련부(14)는 추출부(11)에서 입력 CT 이미지로부터 검사정보를 추출하기 이전에, 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시킬 수 있다.
이때, 훈련부(14)는 훈련용 제1 CT 데이터 세트에 CT 이미지 잡음 시뮬레이터를 적용하여 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성하고, 훈련용 제2 CT 데이터 세트로부터 검사정보를 추출하고 미리 설정된 규칙에 따라 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화하고, 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시킬 수 있다. 훈련부(14)는 생성된 복수의 훈련대상 딥러닝 모델 각각을 훈련시킬 수 있다.
이때, 훈련부(14)에 의하여 훈련된 복수의 훈련대상 딥러닝 모델은 선택부(12)에서 고려되는 기 훈련된 복수의 딥러닝 모델을 의미할 수 있다.
또한, 훈련부(14)에서 훈련용 제2 CT 데이터 세트의 생성시 고려되는 CT 이미지 잡음 시뮬레이터는, 훈련용 제1 CT 데이터 세트의 원본 이미지를 입력으로 하여 합성 사이노그램을 생성하고, 합성 사이노그램에 기 설정된 수준(원하는 수준)의 잡음을 가진 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성하고, 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성하고, 생성된 잡음성분 CT 이미지와 상기 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성할 수 있다.
또한, 훈련부(14)에서 고려되는 훈련용 제2 CT 데이터 세트는, 훈련용 제1 CT 데이터 세트의 원본 이미지를 기반으로 획득되는(달리 말해, 원본 이미지에서 유래된) 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍으로 이루어질 수 있다.
이에 따르면, 훈련부(14)는, 훈련용 제1 CT 데이터 세트의 원본 이미지에 CT 이미지 잡음 시뮬레이터를 적용하여 얻은 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍을 이용하여 훈련대상 딥러닝을 훈련시킬 수 있다.
또한, 훈련부(14)는 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 그룹화된 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시킬 수 있다.
이하에서는 훈련부(14)에 대하여 보다 상세히 설명하기로 한다.
훈련부(14)는 추출부(11)가 입력 CT 이미지로부터 검사정보를 추출하기 이전에, CT 이미지 잡음 시뮬레이터를 통해 생성된 훈련용 CT 데이터 세트(달리 말해, 딥러닝 훈련용 CT 데이터 세트)를 이용하여 훈련대상 딥러닝 모델을 훈련시킬 수 있다. 여기서, 훈련대상 딥러닝 모델은 적어도 하나의 딥러닝 모델을 의미할 수 있다.
훈련부(14)는 훈려대상 딥러닝 모델을 훈련시키기 이전에, 훈련용 제1 CT데이터 세트의 원본 CT 이미지를 CT 이미지 잡음 시뮬레이터의 입력으로 적용하여 다양한 수준의 잡음을 가진(다양한 수준의 잡음이 부가된) 훈련용 제2 CT 데이터 세트를 생성할 수 있다. 이후 훈련부(14)는 생성된 훈련용 제2 CT 데이터 세트를 이용하여 훈련대상 딥러닝 모델을 훈련시킬 수 있다.
이때, 훈련부(14)는 생성된 훈련용 제2 훈련용 CT 데이터 세트를 이용하여 본 장치(10)에 포함된 딥러닝 모델들이 고잡음 CT 이미지를 입력으로 하여 잡음이 저감된 저잡음 CT 이미지를 출력할 수 있도록 딥러닝 모델들에 대응하는 훈련대상 딥러닝 모델들을 훈련시킬 수 있다. 달리 말해, 훈련부(14)에 의한 훈련대상 딥러닝 모델의 훈련을 통해, 본 장치(10)에 포함된 딥러닝 모델들 각각은 고잡음 CT 이미지를 입력받은 경우, 저잡음 입력 CT 이미지를 출력하도록 훈련될 수 있다.
훈련부(14)는 다양한 수준의 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성한 이후, 훈련용 제2 CT 데이터 세트로부터 검사정보(검사부위 정보 및 스캔 속성 정보를 포함하는 검사정보)를 추출하고 미리 설정된 규칙에 따라 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그롭화할 수 있다. 이에 따라, 미리 설정된 규칙에 따라 그룹화된 복수 그룹의 훈련용 제2 CT 데이터 세트에는 검사부위 별 훈련용 제2 CT 데이터 세트 및 스캔 속성 정보 별 훈련용 제2 CT 데이터 세트가 포함될 수 있다.
구체적으로, 훈련부(14)는 훈련용 CT 데이터 세트의 생성시 잡음수준 별로 훈련용 CT 데이터 세트를 생성할 수 있다. 달리 표현하여, 훈련부(14)는 다양한 수준의 잡음이 부가된 훈련용 제2 CT 데이터 세트의 생성시, 미리 설정된 복수 단계의 잡음수준에 따라 각기 다른 훈련용 제2 CT 데이터 세트(딥러닝 훈련용 제2 CT 데이터 세트)를 생성할 수 있다.
이후 훈련부(14)는 잡음수준 별로 생성된 훈련용 제2 CT 데이터 세트로부터 검사부위 정보 및 스캔 속성 정보를 포함하는 검사정보를 추출할 수 있다. 이후, 훈련부(14)는 추출된 검사정보에 기반하여 미리 설정된 규칙에 따라 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그롭화할 수 있다. 여기서, 미리 설정된 규칙은 잡음수준 별로 생성된 훈련용 제2 CT 데이터 세트에 포함된 CT 데이터(CT 이미지)들을 미리 설정된 검사부위 별 및/또는 미리 설정된 스캔 속성 별로 구분하는 규칙을 의미할 수 있다.
이에 따르면, 훈련부(14)는 잡음수준 별로 생성된 훈련용 제2 CT 데이터 세트를, 검사부위 별로 및/또는 스캔 속성 별로 구분하여 복수의 그룹으로 그룹화할 수 있다. 즉, 그룹화에 의하여 그룹화된 복수의 그룹의 훈련용 제2 CT 데이터 세트에는, 검사부위 별 훈련용 제2 CT 데이터 세트 및 스캔 속성 별 훈련용 제2 CT 데이터 세트가 포함될 수 있다.
이후, 훈련부(14)는 복수의 그룹으로 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성할 수 있다. 즉, 이에 따르면, 훈련부(14)에 의해 생성된 복수의 훈련대상 딥러닝 모델에는 검사부위 별로 생성된 복수의 훈련대상 딥러닝 모델 및 스캔 속성 별로 생성된 복수의 훈련대상 딥러닝 모델이 포함될 수 있다.
이후, 훈련부(14)는 생성된 복수의 훈련대상 딥러닝 모델 각각을, 그에 대응하도록 생성된 훈련용 제2 CT 데이터 세트로 훈련시킬 수 있다.
즉, 훈련부(14)는 검사부위 별로 생성된 훈련용 CT 데이터 세트를 이용하여 검사부위 별로 생성된 훈련대상 딥러닝 모델 각각을 훈련시킬 수 있다. 또한, 훈련부(14)는 스캔 속성 별로 생성된 훈련용 CT 데이터 세트를 이용하여 스캔 속성 별로 생성된 훈련대상 딥러닝 모델 각각을 훈련시킬 수 있다.
다시 말해, 훈련부(14)는 검사부위 별로 생성된 훈련대상 딥러닝 모델을 각각, 그에 대응하는 검사부위 별로 생성된 훈련용 CT 데이터 세트를 이용하여 훈련(학습)시킬 수 있다. 또한, 훈련부(14)는 스캔 속성 별로 생성된 훈련대상 딥러닝 모델을 각각, 그에 대응하는 스캔 속성 별로 생성된 훈련용 CT 데이터 세트를 이용하여 훈련(학습)시킬 수 있다.
이에 따르면, 훈련부(14)는 검사부위 별 및 스캔 속성 별로 생성된 본 장치(10)에 포함된 복수의 훈련대상 딥러닝 모델(복수의 딥러닝 모델) 각각이 고잡음 CT 이미지를 입력으로 하여 잡음이 저감된 저잡음 CT 이미지를 출력하도록, 검사부위 별 및 스캔 속성 별로 생성된 복수의 훈련용 CT 데이터 세트(즉, 복수의 그룹으로 그룹화된 그룹별 훈련용 제2 CT 데이터 세트)를 이용하여 복수의 훈련대상 딥러닝 모델(복수의 딥러닝 모델) 각각을 훈련(학습)시킬 수 있다.
훈련부(14)는 복수의 그룹으로 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성한 이후, 복수의 훈련대상 딥러닝 모델을 각각 그에 대응하도록 생성된 훈련용 CT 데이터 세트를 이용하여 훈련시킬 수 있다.
훈련부(14)를 통한 훈련에 의해, 본 장치(10)에 포함된 복수의 딥러닝 모델 각각은 입력 CT 이미지로서 고잡음 CT 이미지를 입력받은 경우, 고잡음 CT 이미지에 대하여 잡음이 저감된 저잡음 입력 CT 이미지를 출력하도록 훈련(학습)될 수 있다.
다시 말하자면, 훈련부(14)는 CT 이미지 잡음 시뮬레이터를 이용(사용)함으로써 원본 CT 이미지를 입력받아 복수 단계의 잡음수준에 따라 각기 다른 훈련용 CT 데이터 세트를 생성(잡음수준 별 훈련용 제2 CT 데이터 세트)할 수 있다.
이후, 훈련부(14)는 일예로 잡음수준 별로 생성된 훈련용 CT 데이터 세트를 스캔 속성 별로 복수의 그룹으로 그룹화할 수 있다. 즉, 훈련부(14)는 잡음수준별 생성된 훈련용 CT 데이터 세트에 기반하여 스캔 속성 별 훈련용 CT 데이터 세트를 포함하는 복수의 그룹의 훈련용 CT 데이터 세트를 생성할 수 있다.
이후, 훈련부(14)는 본 장치(10)에 포함된 훈련대상 딥러닝 모델로서, 일예로 스캔 속성 별로 생성된 훈련용 제2 CT 데이터 세트 각각에 대응하도록 스캔 속성 별 복수의 훈련대상 딥러닝 모델을 생성할 수 있다.
이후, 훈련부(14)는 스캔 속성 별로 생성된 훈련대상 딥러닝 모델 각각을 해당 스캔 속성에 대응하여 생성된 훈련용 CT 데이터 세트(즉, 스캔 속성별 훈련용 CT 데이터 세트)를 이용하여 훈련시킬 수 있다. 이때, 훈련부(14)는 입력 CT 이미지가 입력으로 주어졌을 때, 입력 CT 이미지의 스캔 속성에 해당하는 딥러닝 모델(훈련대상 딥러닝 모델)이 입력 CT 이미지를 입력으로 하여 저잡음 CT 이미지를 출력하도록, 스캔 속성 별 생성된 복수의 훈련대상 딥러닝 모델 각각을 훈련(학습)시킬 수 있다.
이에 따르면, 본 장치(10)에서는 입력 CT 이미지가 주어졌을 때, 기 훈련된 복수의 딥러닝 모델 중 입력 CT 이미지의 스캔 속성에 따라 그에 대응하는 딥러닝 모델이 동작하도록 선택부(12)가 입력 CT 이미지의 스캔 속성에 대응하는 딥러닝 모델을 선택할 수 있으며, 이후 출력부(13)는 선택된 딥러닝 모델을 이용해 잡음 저감된 입력 CT 이미지를 출력할 수 있다.
또한, 훈련부(14)는 CT 이미지 잡음 시뮬레이터를 이용(사용)함으로써 원본 CT 이미지를 입력받아 복수 단계의 잡음수준에 따라 각기 다른 훈련용 CT 데이터 세트를 생성(잡음수준 별 훈련용 제2 CT 데이터 세트)할 수 있다.
이후, 훈련부(14)는 일예로 잠음수준별 생성된 훈련용 CT 데이터 세트를 검사부위 별로 복수의 그룹으로 그룹화할 수 있다. 즉, 훈련부(14)는 잡음수준별 생성된 훈련용 CT 데이터 세트에 기반하여 검사부위 별 훈련용 CT 데이터 세트를 포함하는 복수의 그룹의 훈련용 CT 데이터 세트를 생성할 수 있다.
이후, 훈련부(14)는 본 장치(10)에 포함된 훈련대상 딥러닝 모델로서, 일예로 검사부위 별로 생성된 훈련용 제2 CT 데이터 세트 각각에 대응하도록 검사부위 별 복수의 훈련대상 딥러닝 모델을 생성할 수 있다.
이후, 훈련부(14)는 검사부위 별로 생성된 훈련대상 딥러닝 모델 각각을 해당 검사부위에 대응하여 생성된 훈련용 CT 데이터 세트(즉, 검사부위별 훈련용 CT 데이터 세트)를 이용하여 훈련시킬 수 있다. 이때, 훈련부(14)는 입력 CT 이미지가 주어졌을 때, 입력 CT 이미지의 검사부위에 해당하는 딥러닝 모델(훈련대상 딥러닝 모델)이 입력 CT 이미지를 입력으로 하여 저잡음 CT 이미지를 출력하도록, 검사부위 별 생성된 복수의 훈련대상 딥러닝 모델 각각을 훈련(학습)시킬 수 있다.
이에 따르면, 본 장치(10)에서는 입력 CT 이미지가 주어졌을 때, 기 훈련된 복수의 딥러닝 모델 중 입력 CT 이미지의 검사부위에 따라 그에 대응하는 딥러닝 모델이 동작하도록 선택부(12)가 입력 CT 이미지의 검사부위에 대응하는 딥러닝 모델을 선택할 수 있으며, 이후 출력부(13)는 선택된 딥러닝 모델을 이용해 잡음 저감된 입력 CT 이미지를 출력할 수 있다.
즉, 훈련부(14)에 의하면, 검사부위 별 및/또는 스캔 속성 별로 훈련용 CT 데이터 세트가 생성되고, 검사부위 별 및/또는 스캔 속성 별로 훈련대상 딥러닝 모델이 생성 및 훈련될 수 있다.
또한, 훈련부(14)가 생성하는 훈련용 CT 데이터 세트는 원본 CT 이미지, 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지 중 적어도 한 쌍을 포함할 수 있다. 달리 말해, 훈련부(14)는 원본 CT 이미지를 CT 이미지 잡음 시뮬레이터의 입력으로 하여, 원본 CT 이미지, 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지 중 적어도 한 쌍을 포함하는 훈련용 CT 데이터 세트(훈련용 제2 CT 데이터 세트)를 생성할 수 있다.
훈련부(14)에서 고려되는 훈련용 제2 CT 데이터 세트는 훈련용 제1 CT 데이터 세트의 원본 이미지에서 유래되는 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지를 한 쌍으로 하여 이루어질 수 있다.
훈련부(14)는 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 매 CT 이미지마다 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시킬 수 있다.
즉, 훈련부(14)는 상기 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 그룹화된 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 복수의 훈련대상 딥러닝 모델 각각을 반복 훈련시킬 수 있다.
다시 말해, 훈련부(14)는 그룹별로 나누어진 훈련용 제2 CT데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시킴으로써, 훈련대상 딥러닝 모델이 CT 이미지에서 잡음 성분을 추출하는 기능을 갖게 할 수 있다.
또한, 훈련부(14)에서 훈련시 이용되는 CT 이미지 잡음 시뮬레이터는, 훈련용 제1 CT 데이터 세트의 원본 CT 이미지를 입력으로 하여 합성 사이노그램을 생성할 수 있다. 또한, CT 이미지 잡음 시뮬레이터는 생성된 합성 사이노그램에 기 설정된 수준의 잡음을 가진(원하는 수준의) 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성할 수 있다. 또한, CT 이미지 잡음 시뮬레이터는 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성할 수 있다. 또한, CT 이미지 잡음 시뮬레이터는 생성된 잡음성분 CT 이미지와 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성할 수 있다.
구체적인 예로, CT 이미지 잡음 시뮬레이터는 훈련용 제1 CT 데이터 세트의 원본 CT 이미지를 입력으로 하여 합성 사이노그램을 생성할 수 있다. 이후, CT 이미지 잡음 시뮬레이터는 생성된 합성 사이노그램과 기 설정된 수준의 잡음을 가진 잡음 모델로서 CT 영상 물리 원리(즉, CT 이미지의 물리학적 원리)를 적용함으로써 잡음 성분 합성 사이노그램을 생성할 수 있다. 이후, CT 이미지 잡음 시뮬레이터는 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성할 수 있다. 이후, CT 이미지 잡음 시뮬레이터는 생성된 잡음성분 CT 이미지와 원본 CT 이미지를 더하여 훈련용 제2 데이터 세트에 포함되는 합성 고잡음 CT 이미지를 생성할 수 있다.
이때, CT 이미지 잡음 시뮬레이터는 합성 사이노그램의 생성시, 원본 CT 이미지의 의료 정보에 기초하여 원본 CT 이미지의 화소별 감쇠계수, x-선관 초점과 검출기 사이의 거리 정보 및 x-선관 초점과 입력 CT 이미지에 대응하는 피검자 사이의 거리 정보를 결정할 수 있다.
이후, CT 이미지 잡음 시뮬레이터는 결정된 화소별 감쇠계수, x-선관 초점과 검출기 사이의 거리 정보 및 x-선관 초점과 피검자 사이의 거리 정보에 기초하여 합성 사이노그램을 생성할 수 있다. 구체적으로, CT 이미지 잡음 시뮬레이터는 결정된 화소별 감쇠계수, x-선관 초점과 검출기 사이의 거리 정보 및 x-선관 초점과 피검자 사이의 거리 정보에 기초하여 회전각도별 투영 연산을 수행함으로써 합성 사이노그램을 생성할 수 있다.
이처럼 본 장치(10)는 본 장치(10)에 포함된 복수의 딥러닝 모델 각각이 각 딥러닝 모델에 입력되는 CT 이미지에 대하여 잡음이 저감된 저잡음 CT 이미지를 출력하도록, 훈련부(14)를 통해 복수의 딥러닝 모델(즉, 복수의 훈련대상 딥러닝 모델) 각각을 훈련시킬 수 있다. 이렇게 기 훈련된 복수의 딥러닝 모델(훈련부에 의해 훈련된 복수의 훈련대상 딥러닝 모델)을 기초로 하여, 본 장치(10)는 입력 CT 이미지로부터 추출된 검사정보를 고려하여 그에 대응하는 딥러닝 모델을 기 훈련된 복수의 딥러닝 모델 중에서 선택할 수 있다. 이후, 본 장치(10)는 선택된 딥러닝 모델에 입력 CT 이미지를 입력으로 제공함으로써 선택된 딥러닝 모델로부터 입력 CT 이미지에 대한 잡음 저감된 입력 CT 이미지(즉, 저잡음 입력 CT 이미지)를 출력할 수 있다.
본원은 기 훈련된 복수의 딥러닝 모델을 기반으로 하여, 낮은 품질(해상도, 정밀도)의 입력 CT 이미지(예를 들어, 저피폭 입력 CT 이미지)의 입력으로부터 높은 품질의 잡음 저감된 CT 이미지(잡음 저감된 입력 CT 이미지, 저잡음 입력 CT 이미지)를 출력하는 딥러닝 기반의 CT 이미지 잡음 저감 장치(본 장치, 10)를 제공할 수 있다. 이러한 본 장치(10)를 통해 출력되는 잡음 저감된 입력 CT 이미지는 고피폭 CT 이미지의 품질과 대비하여 그와 유사하거나 그보다 높은 품질을 가질 수 있다.
또한, 본 장치(10)는 낮은 품질의 입력 CT 이미지의 입력으로부터 높은 품질의 잡음 저감된 CT 이미지를 출력할 수 있도록 하는 딥러닝 모델(훈련대상 딥러닝 모델)의 훈련(학습) 방법을 제공하며, 이렇게 훈련된 딥러닝 모델(즉, 기 훈련된 딥러닝 모델)을 통해 출력되는 잡음 저감된 입력 CT 이미지는 고피폭 CT 이미지의 품질과 대비하여 그와 유사하거나 그보다 높은 품질을 가질 수 있다.
본 장치(10)는 추출부(11)에서 입력 CT 이미지에 포함된 의료정보를 이용하여 입력 CT 이미지로부터 검사정보로서 검사부위 정보 및 스캔 속성 정보를 추출할 수 있다. 이후, 본 장치(10)는 기 훈련된 복수의 딥러닝 모델 중 추출된 검사정보에 대응하는 딥러닝 모델(즉, 미리 설정된 수준의 성능을 발휘하도록 기 훈련된 딥러닝 모델)을 선택할 수 있으며, 선택된 딥러닝 모델을 통해 잡음 저감된 입력 CT 이미지를 출력(획득)할 수 있다. 본 장치(10)는 훈련부(14)를 통해 복수의 딥러닝 모델 각각이 미리 설정된 수준(합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되는 수준)의 성능을 발휘하도록 복수의 훈련대상 딥러닝 모델 각각을 훈련시킬 수 있다.
또한, 본 장치(10)는 CT 잡음 시뮬레이터를 이용(사용)함으로써, 원본 CT 이미지를 입력받아 합성 고잡음 CT 이미지를 포함하는 훈련용 CT 데이터 세트를 생성할 수 있으며, 생성된 훈련용 CT 데이터 세트를 이용하여 본 장치(10)에 포함된 훈련대상 딥러닝 모델을 훈련시킬 수 있다. 본 장치(10)에 포함된 훈련대상 딥러닝 모델은 훈련용 CT 데이터 세트를 이용한 훈련을 통해 기 훈련된 딥러닝 모델이 될 수 있으며, 이러한 기 훈련된 딥러닝 모델은 고잡음 CT 이미지로부터 잡음 저감된 CT 이미지(저잡음 CT 이미지)를 출력하도록 기 훈련된 딥러닝 모델을 의미할 수 있다.
또한, 본 장치(10)는 CT 잡음 시뮬레이터를 이용하여 생성된 훈련용 CT 데이터 세트로 훈련대상 딥러닝 모델을 훈련시킴으로써, 실제 저피폭 촬영시 획득되는 고잡음 CT 이미지(입력 CT 이미지)를 본 장치(10)의 입력으로 하는 경우(즉, 본 장치에 포함된 기 훈련된 복수의 딥러닝 모델 중 적어도 하나의 딥러닝 모델의 입력으로 하는 경우) 고잡음 CT 이미지에 대하여 보다 효과적으로 잡음이 저감된 저잡음 CT 이미지를 출력할 수 있다.
본 장치(10)에 포함된 검사부위 별 및 스캔 속성 별로 생성된 복수의 딥러닝 모델 각각은 자신에게 입력된 원본 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력하도록 훈련부(14)에 의해 훈련될 수 있다.
이러한 본 장치(10)는 딥러닝 기반 CT 이미지 잡음 저감 장치 뿐만 아니라 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델(훈련대상 딥러닝 모델의) 훈련 장치라 달리 표현될 수 있다. 본원은 이러한 본 장치(10)를 통해 딥러닝 기반 CT 이미지 잡음 저감 방법 뿐만 아니라 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법을 제공할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 2는 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 기반 CT 이미지 잡음 저감 방법에 대한 개략적인 동작 흐름을 나타낸 도면이다.
도 2에 도시된 딥러닝 기반 CT 이미지 잡음 저감 방법은 앞서 설명된 딥러닝 기반 CT 이미지 잡음 저감 장치(본 장치, 10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 딥러닝 기반 CT 이미지 잡음 저감 장치(본 장치, 10)에 대하여 설명된 내용은 딥러닝 기반 CT 이미지 잡음 저감 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 2를 참조하면, 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 방법은, 단계S11에서 추출부(11)가 입력 CT 이미지로부터 검사정보를 추출할 수 있다.
다음으로, 단계S12에서 선택부(12)는, 기 훈련된 복수의 딥러닝 모델 중 단계S11에서 추출된 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택할 수 있다.
다음으로, 단계S13에서 출력부(13)는 입력 CT 이미지를 단계S12에서 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 상기입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력할 수 있다
이때, 단계S13에서 출력부(13)는 입력 CT 이미지를 단계S12에서 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여, 단계S12에서 선택된 적어도 하나의 딥러닝 모델이 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하도록 하고, 추출된 잡음성분 CT 이미지에 미리 설정된 값(예를 들어, 미리 설정된 비율)을 곱하여 이를 입력 CT 이미지에서 감산함으로써, 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력할 수 있다.
한편, 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 방법은, 단계S11 이전에, 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시키는 단계를 포함할 수 있다. 이때, 훈련시키는 단계에 의하여 훈련된 복수의 훈련대상 딥러닝 모델은 단계S12에서 고려되는 기 훈련된 복수의 딥러닝 모델을 의미할 수 있다.
이때, 복수의 훈련대상 딥러닝 모델을 훈련시키는 방법, 즉 딥러닝 모델의 훈련 방법에 대한 설명은 후술하는 도 3을 참조하여 보다 쉽게 이해될 수 있다.
상술한 설명에서, 단계 S11 내지 S13은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 3은 본원의 일 실시예에 따른 딥러닝 기반 CT 이미지 잡음 저감 장치를 통한 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법에 대한 개략적인 동작 흐름의 일예를 나타낸 도면이다. 즉, 도 3은 본원에서 고려되는 훈련대상 딥러닝 모델을 훈련시키는 방법에 대한 개략적인 동작 흐름의 일예를 나타낸 도면이다.
도 3에 도시된 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법은 앞서 설명된 딥러닝 기반 CT 이미지 잡음 저감 장치(본 장치, 10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 딥러닝 기반 CT 이미지 잡음 저감 장치(본 장치, 10)에 대하여 설명된 내용은 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 3을 참조하면, 단계S21에서 훈련부(14)는, 상술한 도 2의 단계S11에서 추출부(11)가 입력 CT 이미지로부터 검사정보를 추출하기 이전에, 본 장치(10)에 포함된 딥러닝 모델들을 훈련시키기 위해, 입력 CT 이미지를 CT 이미지 잡음 시뮬레이터에 입력할 수 있다.
즉, 단계S21에서 훈련부(14)는 입력 CT 이미지를 CT 이미지 잡음 시뮬레이터의 입력으로 제공할 수 있다.
구체적으로, 단계S21에서, CT 이미지 잡음 시뮬레이터는, 훈련용 제1 CT 데이터 세트의 원본 이미지를 입력으로 하여 합성 사이노그램을 생성할 수 있다. 또한, CT 이미지 잡음 시뮬레이터는, 합성 사이노그램에 기 설정된 수준의 잡음을 가진(원하는 수준의) 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성할 수 있다. 또한, CT 이미지 잡음 시뮬레이터는, 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성할 수 있다. 또한, CT 이미지 잡음 시뮬레이터는, 생성된 잡음성분 CT 이미지와 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성할 수 있다.
이에 따르면, 단계S21에서 훈련부(14)는, 추출부(11)가 입력 CT 이미지로부터 검사정보를 추출하기 이전에, 훈련용 제1 CT 데이터 세트에 CT 이미지 잡음 시뮬레이터를 적용함으로써 다양한 수준의 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성할 수 있다.
즉 ,단계S21에서 훈련부(14)는 CT 이미지 잡음 시뮬레이터를 이용함으로써 원본 이미지를 입력받아 복수 단계의 잡음수준에 따라 각기 다른 훈련용 CT 데이터 세트를 생성할 수 있다.
여기서, 훈련용 제2 CT데이터 세트는, 훈련용 제1 CT 데이터 세트의 원본 이미지를 기반으로 획득되는(원본 이미지에서 유래된) 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍으로 이루어질 수 있다.
이러한 훈련부(14)는, 훈련용 제1 CT 데이터 세트의 원본 이미지에 CT 이미지 잡음 시뮬레이터를 적용하여 얻은 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍을 이용하여 훈련대상 딥러닝을 훈련시킬 수 있다.
다음으로, 단계S22에서, 훈련부(14)는 훈련용 제2 CT 데이터 세트로부터 검사정보를 추출하고 미리 설정된 규칙에 따라 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화할 수 있다.
이때, 단계S22에서 훈련부(14)는, 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화함으로써, 검사부위 별 및/또는 스캔 속성 별로 훈련용 CT 데이터 세트를 생성할 수 있다.
다음으로, 단계S23에서 훈련부(14)는 단계S22에서 생성된 복수 그룹의 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하고, 이를 훈련시킬 수 있다. 즉, 단계S23에서 훈련부(14)는 단계S22에 의하여 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시킬 수 있다.
구체적으로, 단계S23에서 훈련부(14)는 검사부위 별로 생성된 훈련용 CT 데이터 세트 각각에 대응하여 검사부위 별 훈련대상 딥러닝 모델을 생성하고 이를 훈련시킬 수 있다. 또한, 훈련부(14)는 스캔 속성 별로 생성된 훈련용 CT 데이터 세트 각각에 대응하여 스캔 속성 별 훈련대상 딥러닝 모델을 생성하고 이를 훈련시킬 수 있다.
단계S23에서 훈련부(14)는 단계S22에서 생성된 복수의 훈련용 CT 데이터 세트(즉, 복수 그룹의 훈련용 CT 데이터 세트)를 이용해, 단계S23에서 생성된 복수의 훈련대상 딥러닝 모델 각각을 훈련시킬 수 있다.
구체적인 예로, 단계S23에서 훈련부(14)는 단계S22에서 검사부위 별 및/또는 스캔 속성 별로 생성된 훈련용 CT 데이터 세트를 이용하여, 그에 대응하도록 단계S23에서 생성된 검사부위 별 및/또는 스캔 속성 별 훈련된 딥러닝 모델 각각을 훈련시킬 수 있다.
또한, 단계S23에서 훈련부(14)는, 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 단계S22에서 그룹화된 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시킬 수 있다.
다시 말해, 훈련부(14)는, 매 입력 CT 이미지마다 합성 고잡음 CT 이미지를 복수의 훈련대상 딥러닝 모델 각각의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델 각각의 출력 간의 차이가 최소화되도록 복수의 훈련대상 딥러닝 모델 각각을 반복 훈련시킬 수 있다.
단계S23에서, 훈련부(14)는 검사부위 별로 생성된 훈련용 CT 데이터 세트를 이용하여 검사부위 별로 생성된 훈련대상 딥러닝 모델 각각을 반복 훈련시킬 수 있다. 또한, 훈련부(14)는 스캔 속성 별로 생성된 훈련용 CT 데이터 세트를 이용하여 스캔 속성 별로 생성된 훈련대상 딥러닝 모델 각각을 반복 훈련시킬 수 있다.
이에 따르면, 본 장치(10)에서 고려되는 복수의 훈련대상 딥러닝 모델에는 검사부위 별로 생성된 훈련대상 딥러닝 모델 및 스캔 속성 별로 생성된 훈련대상 딥러닝 모델이 포함될 수 있다.
상술한 설명에서, 단계 S21 내지 S23은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 딥러닝 기반 CT 이미지 잡음 저감 방법 및 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 딥러닝 기반 CT 이미지 잡음 저감 방법 및 딥러닝 기반 CT 이미지 잡음 저감을 위한 딥러닝 모델 훈련 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 딥러닝 기반 CT 이미지 잡음 저감 장치
11: 추출부
12: 선택부
13: 출력부
14: 훈련부
11: 추출부
12: 선택부
13: 출력부
14: 훈련부
Claims (13)
- 딥러닝 기반 CT 이미지 잡음 저감 방법으로서,
입력 CT 이미지로부터 검사정보를 추출하는 단계;
기 훈련된 복수의 딥러닝 모델 중 상기 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택하는 단계; 및
상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 상기 입력 CT 이미지에 대한 잡음 저감된 CT 이미지를 출력하는 단계;
를 포함하는 딥러닝 기반 CT 이미지 잡음 저감 방법. - 제1항에 있어서,
상기 추출하는 단계 이전에,
훈련용 제1 CT 데이터 세트에 CT 이미지 잡음 시뮬레이터를 적용하여 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성하는 단계;
상기 훈련용 제2 CT 데이터 세트로부터 검사정보를 추출하고 미리 설정된 규칙에 따라 상기 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화하는 단계; 및
그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시키는 단계,
를 더 포함하고,
상기 선택하는 단계에서 상기 기 훈련된 복수의 딥러닝 모델은, 상기 훈련시키는 단계에 의해 훈련된 상기 복수의 훈련대상 딥러닝 모델인 것인, 딥러닝 기반 CT 이미지 잡음 저감 방법. - 제2항에 있어서,
상기 생성하는 단계에서 상기 CT 이미지 잡음 시뮬레이터는,
상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 입력으로 하여 합성 사이노그램을 생성하는 단계;
상기 합성 사이노그램에 기 설정된 수준의 잡음을 가진 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성하는 단계;
상기 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성하는 단계; 및
상기 생성된 잡음성분 CT 이미지와 상기 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성하는 단계를 수행하는 것인, 딥러닝 기반 CT 이미지 잡음 저감 방법. - 제2항에 있어서,
상기 훈련용 제2 CT데이터 세트는,
상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 기반으로 획득되는 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍으로 이루어지는 것인, 딥러닝 기반 CT 이미지 잡음 저감 방법. - 제2항에 있어서,
상기 훈련시키는 단계는,
상기 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 그룹화된 상기 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시키는 것인, 딥러닝 기반 CT 이미지 잡음 저감 방법. - 제2항에 있어서,
상기 출력하는 단계는,
상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여, 상기 선택된 적어도 하나의 딥러닝 모델이 상기 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하도록 하고, 상기 추출된 잡음성분 CT 이미지에 미리 설정된 값을 곱하여 상기 입력 CT 이미지에서 감산함으로써 상기 잡음 저감된 CT 이미지를 출력하는 것인, 딥러닝 기반 CT 이미지 잡음 저감 방법. - 딥러닝 기반 CT 이미지 잡음 저감 장치로서,
입력 CT 이미지로부터 검사정보를 추출하는 추출부;
기 훈련된 복수의 딥러닝 모델 중 상기 검사정보에 대응하는 적어도 하나의 딥러닝 모델을 선택하는 선택부; 및
상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여 상기 입력 CT 이미지에 대한 잡음 저감된 입력 CT 이미지를 출력하는 출력부,
를 포함하는 딥러닝 기반 CT 이미지 잡음 저감 장치. - 제7항에 있어서,
복수의 훈련대상 딥러닝 모델을 생성하여 훈련시키는 훈련부를 더 포함하고,
상기 훈련부는,
훈련용 제1 CT 데이터 세트에 CT 이미지 잡음 시뮬레이터를 적용하여 잡음이 부가된 훈련용 제2 CT 데이터 세트를 생성하고, 상기 훈련용 제2 CT 데이터 세트로부터 검사정보를 추출하고 미리 설정된 규칙에 따라 상기 훈련용 제2 CT 데이터 세트를 복수의 그룹으로 그룹화하고, 그룹화된 그룹별 훈련용 제2 CT 데이터 세트 각각에 대응하도록 복수의 훈련대상 딥러닝 모델을 생성하여 훈련시키며,
상기 기 훈련된 복수의 딥러닝 모델은 상기 훈련부에 의해 훈련된 상기 복수의 훈련대상 딥러닝 모델인 것인, 딥러닝 기반 CT 이미지 잡음 저감 장치. - 제8항에 있어서,
상기 CT 이미지 잡음 시뮬레이터는,
상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 입력으로 하여 합성 사이노그램을 생성하고, 상기 합성 사이노그램에 기 설정된 수준의 잡음을 가진 잡음 모델을 적용함으로써 잡음 성분 합성 사이노그램을 생성하고, 상기 생성된 잡음 성분 합성 사이노그램에 기초하여 잡음성분 CT 이미지를 생성하고, 상기 생성된 잡음성분 CT 이미지와 상기 원본 CT 이미지를 더하여 합성 고잡음 CT 이미지를 생성하는 것인, 딥러닝 기반 CT 이미지 잡음 저감 장치. - 제8항에 있어서,
상기 훈련용 제2 CT데이터 세트는,
상기 훈련용 제1 CT 데이터 세트의 원본 이미지를 기반으로 획득되는 합성 고잡음 CT 이미지 및 합성 잡음성분 CT 이미지의 쌍으로 이루어지는 것인, 딥러닝 기반 CT 이미지 잡음 저감 장치. - 제8항에 있어서,
상기 훈련부는,
상기 복수의 훈련대상 딥러닝 모델 각각이 자신에게 입력된 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하는 기능을 가질 수 있도록, 그룹화된 상기 그룹별 훈련용 제2 CT 데이터 세트에서, 매 CT 이미지마다 합성 고잡음 CT 이미지를 훈련대상 딥러닝 모델의 입력으로 전달하고, 합성 잡음성분 CT 이미지와 훈련대상 딥러닝 모델의 출력 간의 차이가 최소화되도록 훈련대상 딥러닝 모델을 반복 훈련시키는 것인, 딥러닝 기반 CT 이미지 잡음 저감 장치. - 제8항에 있어서,
상기 출력부는,
상기 입력 CT 이미지를 상기 선택된 적어도 하나의 딥러닝 모델의 입력으로 하여, 상기 선택된 적어도 하나의 딥러닝 모델이 상기 입력 CT 이미지에서 잡음성분 CT 이미지를 추출하도록 하고, 상기 추출된 잡음성분 CT 이미지에 미리 설정된 값을 곱하여 상기 입력 CT 이미지에서 감산함으로써 상기 잡음 저감된 CT 이미지를 출력하는 것인, 딥러닝 기반 CT 이미지 잡음 저감 장치. - 제1항 내지 제6항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/194,941 US10891762B2 (en) | 2017-11-20 | 2018-11-19 | Apparatus and method for medical image denoising based on deep learning |
EP18937195.8A EP3869446B1 (en) | 2017-11-20 | 2018-12-21 | Apparatus and method for deep learning-based ct image noise reduction |
PCT/KR2018/016451 WO2020080604A1 (ko) | 2017-11-20 | 2018-12-21 | 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170155115 | 2017-11-20 | ||
KR20170155115 | 2017-11-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190058285A true KR20190058285A (ko) | 2019-05-29 |
KR102033743B1 KR102033743B1 (ko) | 2019-11-08 |
Family
ID=66672976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180123786A KR102033743B1 (ko) | 2017-11-20 | 2018-10-17 | 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3869446B1 (ko) |
KR (1) | KR102033743B1 (ko) |
WO (1) | WO2020080604A1 (ko) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210025972A (ko) * | 2019-08-28 | 2021-03-10 | 가천대학교 산학협력단 | 인공신경망과 cfr을 이용한 정량적 pet 동적 영상 재구성 시스템 |
KR102236788B1 (ko) * | 2019-10-21 | 2021-04-06 | 주식회사 픽스트리 | 이미지 복원 방법 및 장치 |
KR102285348B1 (ko) * | 2020-01-28 | 2021-08-03 | 주식회사 클라리파이 | 딥러닝 기반 가속촬영 mr 이미지 화질 복원 장치 및 방법 |
WO2021153993A1 (ko) * | 2020-01-28 | 2021-08-05 | 주식회사 클라리파이 | 딥러닝 기반 가속촬영 mr 이미지 화질 복원 장치 및 방법 |
KR102289045B1 (ko) * | 2020-03-23 | 2021-08-11 | 주식회사 픽스트리 | 멀티 스케일 객체 이미지 복원 방법 및 장치 |
KR102316312B1 (ko) * | 2021-02-01 | 2021-10-22 | 주식회사 클라리파이 | 딥러닝 기반의 조영 증강 ct 이미지 대조도 증폭 장치 및 방법 |
KR20220010969A (ko) * | 2020-07-20 | 2022-01-27 | 연세대학교 산학협력단 | 자기지도 학습 방식의 반복적 노이즈 저감 방법 |
US11328394B1 (en) | 2021-02-01 | 2022-05-10 | ClariPI Inc. | Apparatus and method for contrast amplification of contrast-enhanced CT images based on deep learning |
KR102492949B1 (ko) * | 2022-01-04 | 2023-01-31 | 주식회사 클라리파이 | 의료영상의 처리장치 및 처리방법 |
KR20230048744A (ko) * | 2021-10-05 | 2023-04-12 | 한국과학기술연구원 | 인공지능 기반의 이미지의 허니컴 아티팩트 제거 방법 및 장치 |
KR102594810B1 (ko) * | 2022-10-04 | 2023-10-30 | 세이지리서치 주식회사 | 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102603319B1 (ko) * | 2021-02-08 | 2023-11-16 | 강원대학교산학협력단 | 딥러닝 기반 영상 분류 모델에 기초한 영상 분류 방법 및 컴퓨터 판독가능 기록 매체 |
KR102516949B1 (ko) | 2022-03-24 | 2023-04-03 | 주식회사 쓰리디오엔에스 | 인공지능 기반의 두경부 특정 조직에 대한 밀도값 판별 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140042531A (ko) * | 2012-09-28 | 2014-04-07 | 삼성전자주식회사 | 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법 |
US20150201895A1 (en) * | 2012-08-31 | 2015-07-23 | The University Of Chicago | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
KR101697501B1 (ko) * | 2015-07-23 | 2017-01-18 | 서울대학교산학협력단 | Ct 이미지의 잡음 저감 방법 및 장치 |
KR20180040287A (ko) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101473893B1 (ko) | 2013-05-02 | 2014-12-19 | 한국과학기술원 | 재구성 영상의 잡음 제거 장치 및 그 방법 |
KR101880035B1 (ko) * | 2015-09-24 | 2018-07-19 | 주식회사 뷰노 | 영상 생성 방법 및 장치, 및 영상 분석 방법 |
-
2018
- 2018-10-17 KR KR1020180123786A patent/KR102033743B1/ko active IP Right Grant
- 2018-12-21 EP EP18937195.8A patent/EP3869446B1/en active Active
- 2018-12-21 WO PCT/KR2018/016451 patent/WO2020080604A1/ko unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150201895A1 (en) * | 2012-08-31 | 2015-07-23 | The University Of Chicago | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
KR20140042531A (ko) * | 2012-09-28 | 2014-04-07 | 삼성전자주식회사 | 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법 |
KR101697501B1 (ko) * | 2015-07-23 | 2017-01-18 | 서울대학교산학협력단 | Ct 이미지의 잡음 저감 방법 및 장치 |
KR20180040287A (ko) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210025972A (ko) * | 2019-08-28 | 2021-03-10 | 가천대학교 산학협력단 | 인공신경망과 cfr을 이용한 정량적 pet 동적 영상 재구성 시스템 |
KR102236788B1 (ko) * | 2019-10-21 | 2021-04-06 | 주식회사 픽스트리 | 이미지 복원 방법 및 장치 |
WO2021080233A1 (ko) * | 2019-10-21 | 2021-04-29 | 주식회사 픽스트리 | 이미지 복원 방법 및 장치 |
KR102285348B1 (ko) * | 2020-01-28 | 2021-08-03 | 주식회사 클라리파이 | 딥러닝 기반 가속촬영 mr 이미지 화질 복원 장치 및 방법 |
WO2021153993A1 (ko) * | 2020-01-28 | 2021-08-05 | 주식회사 클라리파이 | 딥러닝 기반 가속촬영 mr 이미지 화질 복원 장치 및 방법 |
KR102289045B1 (ko) * | 2020-03-23 | 2021-08-11 | 주식회사 픽스트리 | 멀티 스케일 객체 이미지 복원 방법 및 장치 |
KR20220010969A (ko) * | 2020-07-20 | 2022-01-27 | 연세대학교 산학협력단 | 자기지도 학습 방식의 반복적 노이즈 저감 방법 |
KR102316312B1 (ko) * | 2021-02-01 | 2021-10-22 | 주식회사 클라리파이 | 딥러닝 기반의 조영 증강 ct 이미지 대조도 증폭 장치 및 방법 |
US11328394B1 (en) | 2021-02-01 | 2022-05-10 | ClariPI Inc. | Apparatus and method for contrast amplification of contrast-enhanced CT images based on deep learning |
WO2022163890A1 (ko) * | 2021-02-01 | 2022-08-04 | 주식회사 클라리파이 | 딥러닝 기반의 조영 증강 ct 이미지 대조도 증폭 장치 및 방법 |
KR20230048744A (ko) * | 2021-10-05 | 2023-04-12 | 한국과학기술연구원 | 인공지능 기반의 이미지의 허니컴 아티팩트 제거 방법 및 장치 |
KR102492949B1 (ko) * | 2022-01-04 | 2023-01-31 | 주식회사 클라리파이 | 의료영상의 처리장치 및 처리방법 |
KR102594810B1 (ko) * | 2022-10-04 | 2023-10-30 | 세이지리서치 주식회사 | 비전 검사를 위한 이미지 생성을 위한 도메인 변환기의 학습 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP3869446A1 (en) | 2021-08-25 |
EP3869446C0 (en) | 2024-04-10 |
WO2020080604A1 (ko) | 2020-04-23 |
EP3869446A4 (en) | 2022-05-25 |
KR102033743B1 (ko) | 2019-11-08 |
EP3869446B1 (en) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102033743B1 (ko) | 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법 | |
US10891762B2 (en) | Apparatus and method for medical image denoising based on deep learning | |
CN111373448B (zh) | 使用机器学习正则化器的图像重建 | |
JP7179757B2 (ja) | ディープ畳み込みニューラルネットワークを使用した医用画像化のための線量低減 | |
US8917925B1 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
JP4841874B2 (ja) | 断層合成造影における直接再生方法及び装置 | |
CN111492406A (zh) | 使用机器学习的图像生成 | |
JP7326160B2 (ja) | 定量的分子撮像のための正確なハイブリッドデータセットの生成 | |
CN105913398A (zh) | Ct重建图像处理的方法及装置 | |
KR102285348B1 (ko) | 딥러닝 기반 가속촬영 mr 이미지 화질 복원 장치 및 방법 | |
Pautasso et al. | Deep learning for x‐ray scatter correction in dedicated breast CT | |
KR102316312B1 (ko) | 딥러닝 기반의 조영 증강 ct 이미지 대조도 증폭 장치 및 방법 | |
US11663756B2 (en) | Scatter correction for X-ray imaging | |
CN112862722B (zh) | 一种双能x射线减影方法和装置 | |
US20230301614A1 (en) | Systems and methods for image denoising via adversarial learning | |
WO2015111052A1 (en) | Method of repeat computer tomography scanning and system thereof | |
CN116685999A (zh) | 用于使用理清的特征表示领域对图像进行灵活去噪的方法和系统 | |
CN109272486A (zh) | Mr图像预测模型的训练方法、装置、设备及存储介质 | |
JP7551370B2 (ja) | 医用データ処理装置及び方法 | |
Sadamatsu et al. | Denoising on Low-Dose CT Image Using Deep CNN | |
US20240237956A1 (en) | Systems, Methods, and Media for Generating Low-Energy Virtual Monoenergetic Images from Multi-Energy Computed Tomography Data | |
JP7376053B2 (ja) | ディープラーニング基盤の造影増強ctイメージ対照度増幅装置及び方法 | |
EP4386680A1 (en) | Cbct simulation for training ai-based ct-to-cbct registration and cbct segmentation | |
Gao | Multigrid reconstruction of micro-CT data | |
Barnett et al. | Statistical motion modeling of the thorax applied to respiratory gated FDG PET |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |