KR102160101B1 - 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 - Google Patents
다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 Download PDFInfo
- Publication number
- KR102160101B1 KR102160101B1 KR1020190030929A KR20190030929A KR102160101B1 KR 102160101 B1 KR102160101 B1 KR 102160101B1 KR 1020190030929 A KR1020190030929 A KR 1020190030929A KR 20190030929 A KR20190030929 A KR 20190030929A KR 102160101 B1 KR102160101 B1 KR 102160101B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- deblurring
- blurring
- local
- neural network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 41
- 230000001131 transforming effect Effects 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims abstract description 64
- 238000013507 mapping Methods 0.000 claims description 31
- 230000005855 radiation Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 210000000481 breast Anatomy 0.000 claims description 11
- 230000000116 mitigating effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims 4
- 230000003902 lesion Effects 0.000 abstract description 8
- 238000002591 computed tomography Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000740 bleeding effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/025—Tomosynthesis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명의 실시예에 따른 디블러링 영상 생성장치는, 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 입력부 및 상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 제1 신경망을 통해 제1 디블러링 영상을 생성하고, 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 제2 신경망을 통해 제2 디블러링 영상을 생성하는 디블러링 영상 생성부를 포함할 수 있다.
Description
본 발명은 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법에 관한 것이다.
디지털 단층합성 촬영장치(DTS, Digital Tomosynthesis System)는 제한된 각도 내에서 다각도로 획득된 투영 영상 데이터를 사용하여 영상을 3차원으로 재구성하는 장치이다. DTS는 2차원 투영 영상에서 촬영대상 피사체의 중첩된 영상을 3차원 공간적으로 분리함으로써 분석과 진단의 정밀도를 향상하는 기술을 이용한다. 최근 이 기술은 3차원 디지털 유방암 단층합성 촬영장치(DBT, Digital Breast Tomosynthesis) 분야에 적용하기 위한 많은 연구가 진행 중이다.
기존의 2차원 X-선 Mammography방법은 X-선원에서부터 검출기까지의 공간상에 존재하는 모든 X-선 감쇄에 의존하여 영상을 검출하기 때문에, 관심 병변 영역이 병변 위 또는 아래의 물체에 의하여 중첩됨으로써 병변에 대하여 정확한 식별이 곤란하였다. 물론, 전산화 단층촬영장치(CT, Computed Tomography)를 이용한 3차원 진단영상을 이용하면 이러한 중첩을 충분히 제거할 수 있으나, CT는 매우 많은 각도에서 촬영하여야 하고, 피사체를 중심으로 일회전을 하여야 하므로, 조사선량과 회전각도 등에서 유방암 진단과 같은 분야에서는 많은 제약점을 가지고 있다.
DTS 기술을 이용한 DBT분야에서는 이와 같은 많은 조사선량과 회전각도에 대한 제약점을 해결하면서, 거의 CT에 가까운 3차원 영상을 제공한다는 점에서 매우 의미있고 효용성이 높은 진단 기술로 인식되고 있다. 따라서, DTS 기술을 이용한 DBT분야에 좀더 효율적으로 병변에 대하여 정확한 식별력을 제공할 수 있는 영상 재구성 방법 및 장치가 요구되고 있다.
상기 전술한 종래의 문제점을 해결하기 위한 본 발명의 실시예에 따른 디블러링 영상 생성장치 및 방법은 저선량의 방사선을 이용하는 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득된 방사선 영상을 재구성함에 따라 블러링이 완화된 디블러링 영상을 생성함으로써 병변을 용이하게 식별할 수 있도록 하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 디블러링 영상 생성장치는, 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 입력부 및 상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 제1 신경망을 통해 제1 디블러링 영상을 생성하고, 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 제2 신경망을 통해 제2 디블러링 영상을 생성할 수 있다.
또한, 상기 블러링 영상은, 저선량의 방사선을 방사함에 따라 센서로부터 획득된 획득영상을 기반으로 재구성된 3차원 영상의 일 단면일 수 있다.
또한, 상기 제1 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역일 수 있다.
또한, 상기 제1 신경망은, 상기 제1 국부 영상에 적용되는 제1-1 컨볼루션 레이어, 상기 제1-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제1 매핑부, 상기 제1 매핑부를 통해 매핑된 영상에 적용되는 제1-2 컨볼루션 레이어, 및 상기 제1 국부영상과 상기 제1-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제1 국부영상에 포함된 블러링을 완화시키는 제1 레지듀얼 블록을 더 포함하고, 상기 제2 신경망은, 상기 제2 국부 영상에 적용되는 제2-1 컨볼루션 레이어, 상기 제2-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제2 매핑부, 상기 제2 매핑부를 통해 매핑된 영상에 적용되는 제2-2 컨볼루션 레이어, 및 상기 제2 국부 영상과 상기 제2-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제2 국부영상에 포함된 블러링을 완화시키는 제2 레지듀얼 블록을 더 포함할 수 있다.
또한, 제1 신경망은, 상기 제1 영역과 관련된 제1 기준 영상을 입력 받아, 상기 제1 국부 영상과 상기 제1 기준 영상을 비교함에 따라 상기 제1 국부 영상과 상기 제1 기준 영상과의 차이값으로 정의되는 에러값이 기 설정된 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제1 신경망을 구성하는 각 레이어의 필터 계수를 변경할 수 있고, 제2 신경망은, 상기 제2 영역과 관련된 제2 기준 영상을 입력 받아, 상기 제2 국부 영상과 상기 제2 기준 영상을 비교함에 따라 상기 제2 국부 영상과 상기 제2 기준 영상과의 차이값으로 정의되는 에러값이 상기 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제2 신경망을 구성하는 각 레이어의 필터 계수를 변경할 수 있다.
또한, 상기 제1 기준 영상 및 제2 기준 영상은, 상기 블러링 영상에 비하여 고선량의 방사선을 이용하여 획득된 영상을 재구성한 영상일 수 있다.
또한, 상기 디블러링 영상 생성부는, 상기 입력된 블러링 영상에 상기 제2 디블러링 영상을 적용시키고, 상기 제2 디블러링 영상이 적용된 블러링 영상 중 외곽 영역에 해당하는 제3 영역에 따른 제3 국부 영상을 제3 신경망을 통해 제3 디블러링 영상을 생성할 수 있다.
또한, 상기 블러링 영상은 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 블러링 영상 변환장치는, 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 영역 설정부 및 상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 미리 정해진 필터계수들이 설정된 제1 필터들을 포함하는 제1 신경망을 이용하여 제1 디블러링 영상으로 변환하고, 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 미리 정해진 필터계수들이 설정된 제2 필터들을 포함하는 제2 신경망을 통해 제2 디블러링 영상으로 변환하는 영상 변환부를 포함할 수 있다.
또한, 상기 블러링 영상은, 저선량의 방사선을 방사함에 따라 센서로부터 획득된 획득영상을 기반으로 재구성된 3차원 영상의 일 단면이고, 상기 제1 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역일 수 있다.
또한, 상기 블러링 영상은 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 디블러링 영상 생성방법은, 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 단계, 상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 제1 신경망을 통해 제1 디블러링 영상을 생성하는 단계 및 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 제2 신경망을 통해 제2 디블러링 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 블러링 영상은, 저선량의 방사선을 방사함에 따라 센서로부터 획득된 획득영상을 기반으로 재구성된 3차원 영상의 일 단면일 수 있다.
또한, 상기 제1 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역일 수 있다.
또한, 상기 제1 신경망은, 상기 제1 국부 영상에 적용되는 제1-1 컨볼루션 레이어, 상기 제1-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제1 매핑부, 상기 제1 매핑부를 통해 매핑된 영상에 적용되는 제1-2 컨볼루션 레이어, 및 상기 제1 국부영상과 상기 제1-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제1 국부영상에 포함된 블러링을 완화시키는 제1 레지듀얼 블록을 더 포함하고, 상기 제2 신경망은, 상기 제2 국부 영상에 적용되는 제2-1 컨볼루션 레이어, 상기 제2-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제2 매핑부, 상기 제2 매핑부를 통해 매핑된 영상에 적용되는 제2-2 컨볼루션 레이어, 및 상기 제2 국부 영상과 상기 제2-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제2 국부영상에 포함된 블러링을 완화시키는 제2 레지듀얼 블록을 더 포함할 수 있다.
또한, 제1 신경망은, 상기 제1 영역과 관련된 제1 기준 영상을 입력 받아, 상기 제1 국부 영상과 상기 제1 기준 영상을 비교함에 따라 상기 제1 국부 영상과 상기 제1 기준 영상과의 차이값으로 정의되는 에러값이 기 설정된 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제1 신경망을 구성하는 각 레이어의 필터 계수를 변경할 수 있고, 제2 신경망은, 상기 제2 영역과 관련된 제2 기준 영상을 입력 받아, 상기 제2 국부 영상과 상기 제2 기준 영상을 비교함에 따라 상기 제2 국부 영상과 상기 제2 기준 영상과의 차이값으로 정의되는 에러값이 상기 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제2 신경망을 구성하는 각 레이어의 필터 계수를 변경할 수 있다.
또한, 상기 블러링 영상은 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상일 수 있다.
또한 본 발명은 상기한 방법에 따른 디블러링 영상 생성방법을 실행시키는 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제안한다.
본 발명의 실시예에 따른 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법은, 저선량의 방사선을 이용하는 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득된 방사선 영상을 재구성함에 따라 블러링이 완화된 디블러링 영상을 생성함으로써 병변을 용이하게 식별할 할 수 있는 효과가 있다.
도1은 컴퓨터 단층촬영장치(CT)으로 획득되는 영상과 단층합성 촬영장치(DBT)를 통해 획득되는 영상을 비교하기 위해 도시한 도면이다.
도2는 단층합성 촬영장치(DBT)를 통해 획득되는 영상과 원본 영상을 비교하기 위해 도시한 도면이다.
도3은 컴퓨터 단층촬영장치(CT) 시스템과 단층합성 촬영장치(DBT) 시스템을 통해 획득되는 영상을 비교하기 위해 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 디블러링 영상 생성장치의 구성을 개략적으로 도시한 블록도이다.
도5는 본 발명의 일 실시예에 따른 디블러링 영상 생성과정을 설명하기 위해 개략적으로 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 디블러링 영상 생성방법을 통해 생성된 디블러링 영상을 설명하기 위해 도시한 참고도이다.
도7은 본 발명의 일 실시예에 따른 다단계 학습을 기반으로 하는 디블러링 영상 생성방법을 시간의 흐름에 따라 도시한 흐름도이다.
도8은 본 발명의 일 실시예에 따른 블러링 영상 변환장치의 구성을 개략적으로 도시한 블록도이다.
도2는 단층합성 촬영장치(DBT)를 통해 획득되는 영상과 원본 영상을 비교하기 위해 도시한 도면이다.
도3은 컴퓨터 단층촬영장치(CT) 시스템과 단층합성 촬영장치(DBT) 시스템을 통해 획득되는 영상을 비교하기 위해 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 디블러링 영상 생성장치의 구성을 개략적으로 도시한 블록도이다.
도5는 본 발명의 일 실시예에 따른 디블러링 영상 생성과정을 설명하기 위해 개략적으로 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 디블러링 영상 생성방법을 통해 생성된 디블러링 영상을 설명하기 위해 도시한 참고도이다.
도7은 본 발명의 일 실시예에 따른 다단계 학습을 기반으로 하는 디블러링 영상 생성방법을 시간의 흐름에 따라 도시한 흐름도이다.
도8은 본 발명의 일 실시예에 따른 블러링 영상 변환장치의 구성을 개략적으로 도시한 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
이하에서는 본 발명의 실시예에 따른 디블러링 영상 생성장치 및 방법의 구성을 관련된 도면을 참조하여 상세히 설명한다.
본 발명의 디블러링 영상 생성장치는 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상에 표현되는 블러링(blurring) 현상을 보정하기 위한 것이다. 즉, 본 발명의 디블러링 영상 생성장치가 생성하는 디블러링 영상이란 상기 DBT 시스템을 통해 획득되는 영상의 블러링(번짐)을 완화시킨 블러링이 완화된 영상을 의미할 수 있다.
도1은 컴퓨터 단층촬영장치(CT)으로 획득되는 영상과 단층합성 촬영장치(DBT)를 통해 획득되는 영상을 비교하기 위해 도시한 도면이다.
도1은 유방암 진단을 위해 신체 중 대상부위를 서로 다른 방식으로 촬영하는 것을 나타낸 것이다. 특히, 도1의 (a)는 CT 시스템을 나타낸 것으로서, CT 시스템의 X선 발생기(11)는 360도로 회전하며 대상부위를 향해 X선을 발생시키고, X선 발생기(11)와 마주보는 위치에 X선 검출기(12)가 위치하여 X선 발생기(11)로부터 발생된 X선을 검출함에 따라 3차원으로 재구성된 영상(13)을 생성한다.
도1의 (b)는 DBT 시스템을 나타낸 것으로서, DBT 시스템의 X선 발생기(14)는 제한된 각도(예를 들어, 60 내지 90도) 범위 내에서 이동하며 고정패들(15)을 통해 고정된 대상부위를 향해 X선을 발생시킴에 따라, X선 검출기(16)는 X선 발생기(14)로부터 발생된 X선을 검출함에 따라 3차원으로 재구성된 영상(17)을 생성한다.
도2는 단층합성 촬영장치(DBT)를 통해 획득되는 영상과 원본 영상을 비교하기 위해 도시한 도면이다.
도2를 참고하면, DBT 시스템을 통해 획득된 영상(22)은 원본 영상(21)에 비해 블러링(blurring)이 보다 많이 표현되어 나타나는 것을 확인할 수 있다. 이는 도1에서 설명한 바와 같이, DBT 시스템은 제한된 각도 범위 내에서 대상부위를 촬영하기 때문에 얻을 수 있는 데이터의 양이 비교적 적어, 한정된 데이터 샘플링으로 인해, DBT 시스템을 통해 획득된 영상(22)은 원본 영상(21)에 비해 블러링(번짐)이 더 발생하게 되는 것이다.
도3은 컴퓨터 단층촬영장치(CT) 시스템과 단층합성 촬영장치(DBT) 시스템을 통해 획득되는 영상을 비교하기 위해 도시한 도면이다.
도3의 (a)와 같은 CT 시스템은 대상부위를 360도 범위로 촬영하기 때문에, 충분한 데이터를 얻을 수 있으므로, 데이터 샘플링을 통한 주파수 영역에서 공백이 거의 발생하지 않게 되고, 이로 인해 CT 시스템을 통해 획득되는 영상에는 블러링 현상이 거의 표현되지 않는다. 반면, 도3의 (b)와 같은 DBT 시스템은 대상부위를 제한된 각도로 촬영하기 때문에 데이터 샘플링 과정에서의 공백이 주파수 영역에서 발생하게 되어, DBT 시스템을 통해 획득되는 영상에는 블러링이 발생하게 된다.
그러나, DBT 시스템은 CT 시스템에 비해 저선량 방사선을 이용하는 점, 이에 따라 노이즈 발생이 적은 점, 그리고 촬영 시간이 비교적 빠르다는 장점이 있다. 이에, 본 발명에서는 상술한 바와 같은 DBT 시스템을 이용하여 획득된 블러링이 발생된 방사선 영상을 재구성하여 병변(예를 들어, 종양)을 육안으로 정확하게 식별할 수 있도록 선명한 영상(디블러링 영상)을 생성하는 디블러링 영상 생성장치를 제공한다.
도4는 본 발명의 일 실시예에 따른 디블러링 영상 생성장치(400)의 구성을 개략적으로 도시한 블록도이다. 도4에 도시된 바와 같이, 본 발명의 실시예에 따른 디블러링 영상 생성장치(400)는 입력부(410), 학습 영역 설정부(420), 디블러링 영상 생성부(430) 및 출력부(440)를 포함하여 구성될 수 있다.
먼저, 본 발명의 실시예에 따른 입력부(410)는 DBT 시스템을 이용하여 획득된 방사선 영상(이하, 블러링 영상)을 입력 받는다. 일 예로, 본 발명의 입력부(410)는 메모리 또는 통신 모듈 등으로 구현되어, 블러링 영상이 미리 저장되거나, 외부의 장치로부터 획득되는 것일 수 있다.
그리고, 본 발명의 실시예에 따른 학습 영역 설정부(420)는 상기 블러링 영상의 영역을 나누어 학습시키기 위한 영역을 설정할 수 있다.
예를 들어, 본 발명의 학습 영역 설정부(420)는 블러링 영상을 3개의 영역으로 나누어 설정한다고 할 때, 블러링 영상의 중심부 영역에 해당하는 제1 영역을 설정하고, 제1 영역에 따른 제1 국부 영상에 대한 학습이 완료되면, 중심부 영역인 제1 영역을 둘러싼 외곽 영역에 해당하는 제2 영역을 설정하고, 제2 영역에 따른 제2 국부 영상을 둘러싼 최외곽 영역에 해당하는 영역을 제3 영역으로 설정할 수 있다. 일 실시예로, 본 발명의 학습 영역 설정부(420)는 500 X 500 크기의 블러링 영상을 인가 받아, 제1 영역으로 기하학적 중심부에 해당하는 영역을 100 X 100 크기로 설정하고, 상기 제1 영역을 둘러싸는 제2 영역을 300 X 300 크기로 설정할 수 있으며, 상기 제2 영역을 둘러싸는 제3 영역을 500 X 500 크기로 설정할 수 있다.
이때, 본 발명의 학습 영역 설정부(420)가 설정하는 제1 영역은 DBT(Digital Breast Tomosynthesis) 시스템으로부터 획득된 재구성된 3차원 영상의 기하학적 중심부 영역으로 설정되고, 제3 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역으로부터 최외곽에 해당하는 테두리 영역으로 설정되는 것이 바람직하다. 그 이유는, DBT 시스템의 X선 검출기와 오브젝트(대상부위)간 거리가 멀어질수록 블러링이 많이 발생하기 때문에, 기하학적 중심 영역과 테두리 영역을 나누어 학습시키는 것이 보다 효과적이기 때문이다.
보다 구체적으로는, 학습 영역 설정부(420)가 블러링 영상을 상기와 같이 학습하고자 하는 영역별로 설정하는 것은, 패치(patch) 영상 단위로 번짐 현상을 제거할 수 있도록 하여 DBT 시스템의 번짐 현상 제거 성능을 향상시키고, 고속으로 번짐 현상을 제거할 수 있도록 하기 위함이다.
그리고, 본 발명의 실시예에 따른 디블러링 영상 생성부(430)는 학습 영역 설정부(420)로부터 설정된 블러링 영상의 일 영역의 선명도를 높이기 위하여, 상기 설정된 블러링 영상의 일 영역에 따른 국부 영상을 기계 학습함으로써 블러링이 완화된 디블러링 영상을 생성할 수 있다. 여기서, 디블러링 영상 생성부(430)로 입력되는 블러링 영상은 2차원 영상일 수도 있고, 3차원 영상일 수도 있다.
예컨대, 학습 영역 설정부(420)가 입력된 블러링 영상 중 먼저 학습시키기 위한 영역으로서 기하학적 중심부에 해당하는 제1 영역을 설정하면, 제1 디블러링 영상 생성부(431)는 상기 설정된 제1 영역에 따른 제1 국부 영상에 대하여 제1 신경망을 통해 딥러닝 기계 학습함에 따라 제1 디블러링 영상을 생성할 수 있다.
위에서는 학습 영역 설정부(420)가 입력부(410)로 입력되는 영상의 크기 및 위치에 따라 단계별 학습시키고자 하는 영역들을 설정하는 것으로 예시하여 설명하였지만, 본 발명의 또 다른 일 실시예에 따르면, 단계별 학습단계에서 학습되는 국부 영상들의 영역은 미리 결정되어 있는 것일 수 있다.
즉, 본 발명의 일 예에 따르면, 입력부(410)가 DBT 시스템으로부터 획득된 블러링 영상을 입력 받으면, 제1 디블러링 영상 생성부(431)는 입력된 블러링 영상 중 미리 결정된 제1 영역에 따른 제1 국부 영상을 대상으로 기계 학습하고, 제n 디블러링 영상 생성부(432)는 상기 블러링 영상에서 미리 결정된 제n 영역에 따른 제n 국부 영상을 대상으로 기계 학습하는 것으로 구현될 수 있다.
본 발명의 디블러링 영상 생성부(430)는 학습 영역 설정부(420)가 하나의 블러링 영상에 대하여 분할하는 영역들의 개수(n개(여기서, n은 2 이상의 정수)에 상응하는 디블러링 영상 생성부들을 포함할 수 있다. 예를 들어, 학습 영역 설정부(420)가 하나의 블러링 영상에 대하여 3개의 영역으로 분할함에 따라 각 영역을 딥러닝 기계 학습시켜 각각에 대한 디블러링 영상을 생성할 때, 중요한 점은 제2 디블러링 영상 생성부는 제1 디블러링 영상 생성부로부터 생성된 제1 디블러링 영상을 적용하고, 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 딥러닝 기계 학습하게 되는 것이다. 제3 디블러링 영상 생성부도 이와 마찬가지로, 제1 및 제2 디블러링 영상 생성부에 의해 생성된 제2 디블러링 영상을 입력부로 입력된 블러링 영상에 적용함에 따라 아직 학습되지 않은 영역인 제3 영역에 따른 제3 국부 영상에 대하여 학습함으로써, 제3 디블러링 영상을 생성할 수 있다.
이렇게, 제n 디블러링 영상(432)부로부터 생성된 제n 디블러링 영상을 출력부(440)로 전달함에 따라, 본 발명의 실시예에 따른 출력부(440)는 전달받은 디블러링 영상을 출력할 수 있다.
보다 구체적인 설명하면, 학습 영역 설정부(420)가 입력부(410)로 입력된 블러링 영상의 일 영역인 제1 영역을 설정하면, 제1 디블러링 영상 생성부(431)는 제1 영역의 영상을 인코딩하여 특징벡터들로 이루어진 특징맵을 추출하고, 그 추출된 특징맵을 제1 신경망을 통해 기계 학습하는 것이다. 이에 따라 제1 디블러링 영상 생성부(431)는 특징벡터값들이 변환된 새로운 특징맵을 생성함에 따라 제1 디블러링 영상을 생성하게 된다. 그리고, 출력부(440)는 제n 디블러링 생성부(432)로부터 생성된 제n 디블러링 영상의 특징맵을 전달 받아, 상기 제n 디블러링 영상에 따른 특징맵을 디코딩하여, 디코딩된 디블러링 영상을 출력할 수 있게 되는 것이다.
도5는 본 발명의 일 실시예에 따른 디블러링 영상 생성과정을 설명하기 위해 개략적으로 도시한 도면이다. 일 실시예에 따른 도5에서는 이해의 편의를 돕기 위하여, 본 발명의 학습 영역 설정부가 입력된 블러링 영상에 대해 3개의 영역으로 분할하여 설정함에 따라, 디블러링 영상 생성부는 상기 설정된 3개의 영역에 대하여 각각에 상응하는 디블러링 영상을 생성하는 것으로 가정하여 설명한다.
도5를 참고하면, 참조번호 510은 제1 디블러링 영상 생성부가 블러링 영상 중 제1 영역에 따른 제1 국부 영상에 대하여 제1 신경망(512)을 이용하여 기계 학습함에 따라 제1 디블러링 영상(513)을 생성할 수 있다.
여기서, 제1 신경망(512)은 제1-1 컨볼루션 레이어, 제1 매핑부(ReLU), 제1-2 컨볼루션 레이어, 및 제1 레지듀얼 블록을 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 제1-1 컨볼루션 레이어(convolution layer)는 제1 국부 영상을 컨볼루션 연산을 통해 컨볼루션 필터링함에 따라 제1-1 컨볼루션 특징영상을 추출할 수 있다.
이때, 컨볼루션 필터링은, 상기 제1 국부 영상 인코딩함에 따라 추출된 특징맵인 제1 특징맵을 컨볼루션 연산을 통해 컨볼루션 특징맵을 추출하는 것일 수 있지만, 이하에서는 설명의 편의를 위하여 국부 영상을 필터링하는 것으로 설명한다.
그리고, 본 발명의 실시예에 따른 제1 매핑부는, 활성화 함수인 ReLU(Rectified Linear Unit)일 수 있다. 제1 매핑부(ReLU)는 상기 제1-1 컨볼루션 레이어를 통해 추출된 제1-1 컨볼루션 특징영상을 미리 정해진 함수에 따라 매핑함으로써, 상기 제1-1 컨볼루션 특징영상이 선형화하여 활성화된 제1 매핑 영상을 산출할 수 있다.
그 후에, 제1-2 컨볼루션 레이어는 상기 제1 매핑 영상를 입력 받아, 컨볼루션 연산을 통해 제1-2 컨볼루션 특징영상을 추출할 수 있다.
그리고, 본 발명의 실시예에 따른 제1 레지듀얼 블록(residual block)은 제1 국부영상과 상기 제1-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제1 국부영상에 포함된 블러링을 완화시킬 수 있다. 보다 자세하게는, 제1 레지듀얼 블록은 가산기를 이용하여 제1-1 및 제1-2 컨볼루션 레이어를 연결하는 경로 및 제1-1 및 제1-2 컨볼루션 레이어 중 적어도 하나를 건너 뛰어 스킵 커넥션(skip connection) 경로를 통해 상기 제1 영역에 따른 제1 국부 영상과 제1-2 컨볼루션 레이어를 통해 추출된 제1-2 컨볼루션 특징영상을 합산할 수 있다.
이렇게, 본 발명의 제1 국부 영상은, 상술한 바와 같은 제1 신경망의 제1 레지듀얼 블록의 가산기를 통해 원 영상과, 제1-1 컨볼루션 레이어, 제1 매핑부 및 제1-2 컨볼루션 레이어를 통해 추출되는 제1 국부 영상의 블러링을 두드러지게 표현한 블러링 인공음영영상(노이즈 영상)을 합산함에 따라, 원 영상에서 블러링 인공음영영상을 빼줌으로써, 입력된 블러링 영상의 블러링 효과를 제거하거나 개선시켜 줄 수 있게 된다. 이때, 상기 제1-1 컨볼루션 레이어 및 제1-2 컨볼루션 레이어는 서로 다른 가중치 필터계수를 가지는 필터가 각각 적용될 수 있다.
정리하면, 본 발명의 제1 신경망은 제1-1 컨볼루션 레이어, 제1 매핑부, 제1-2 컨볼루션 레이어로 이루어진 컨볼루션 모듈을 포함할 수 있고, 제1 신경망은 상술한 바와 같은 컨볼루션 모듈을 복수개(예를 들어, 20개) 포함하여 구성될 수 있다. 제1 신경망의 컨볼루션 모듈이 2개의 컨볼루션 레이어와 하나의 매핑부(활성화 함수)를 포함하는 것으로 예시하였으나, 복수개의 컨볼루션 모듈은 복수개의 컨볼루션 레이어와 복수개의 매핑부를 포함하도록 구성될 수 있다. 이때, 복수개의 컨볼루션 모듈 각각에 포함되는 컨볼루션 레이어와 매핑부의 개수는 동일할 수 있다.
상술한 바와 같은 동작을 하는 레지듀얼 블록은 제1 신경망(512) 내에 복수개로 마련될 수 있고, 구현되는 레지듀얼 블록에 따라 레지듀얼 연산은 복수번 수행됨으로써, 제1 디블러링 영상(513)을 추출할 수 있다.
이때, 제1 디블러링 영상 생성부(510)은 제1 국부 영상(511) 외에 제1 영역에 대한 제1 기준 영상(514)을 더불어 입력 받을 수 있다. 그리고, 제1 국부 영상(511)의 제1 신경망(512)을 통해 정방향으로 학습함에 따라 생성된 제1 디블러링 영상(513)과 제1 기준 영상(514)을 비교하여, 상기 제1 디블러링 영상(513)과 제1 기준 영상(514)의 차이값으로 정의되는 에러값이 기 설정된 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해, 제1 신경망(512)을 구성하는 레이어들의 필터 계수를 변경할 수 있다.
여기서, 역전파 알고리즘에 이용되는 제1 기준 영상(514)은 DBT 시스템을 통해 획득되는 블러링 영상에 비하여 고선량의 방사선을 이용하여 획득되는 영상을 재구성한 영상일 수 있다. 예컨대, 본 발명의 디블러링 영상 생성부는 각 영역에 대한 디블러링 영상을 생성하기 위해 참고하는 참고 영상으로서, CT 시스템을 통해 획득된 영상을 기준 영상으로 입력 받을 수 있다
즉, 제1 디블러링 영상(513)과 제1 기준 영상(514)을 비교한 결과가 기 설정된 임계치 이하인 경우는, 두 영상간의 차이가 크지 않다는 의미이므로, 제1 신경망을 구성하는 레이어(필터)들의 필터 계수가 적절하게 설정되어 있다고 판단할 수 있지만, 상기 제1 디블러링 영상(513)과 제1 기준 영상(514)을 비교한 결과가 기 설정된 임계치를 초과하는 경우는, 두 영상간의 차이가 크다는 의미이므로, 제1 신경망을 구성하는 레이어(필터)들의 필터 계수를 다시 조절하여, 제1 영역의 블러링 영상(511)을 상기 다시 조절된 필터 계수들로 설정된 레이어들을 통해 기계 학습하여 출력 영상을 생성한다.
일 예로, 상기 제1 디블러링 영상과 제1 기준 영상을 비교하는 대상은, 제1 디블러링 영상의 특징벡터값과 제1 기준 영상의 특징값을 비교하는 것일 수 있다. 이에 따라, 비교된 특징값의 차이를 상기 기 설정된 임계치와 비교함에 따라 신경망 내에 구성된 레이어들을 필터 계수를 조정할 것인지 여부를 결정할 수 있다.
상술한 바와 같은 과정을 통해, 생성된 제1 디블러링 영상(513)과 제1 기준 영상(514)의 차이값이 상기 임계치 이하인 경우, 최종 생성된 제1 디블러링 영상(513)(출력 영상)을 제2 디블러링 영상 생성부(520)로 전달하고, 제2 디블러링 영상 생성부(520)는 상기 전달된 제1 디블러링 영상(513)을 제1 학습 영역 설정부로부터 설정된 제2 국부 영상에 적용시키고, 상기 제1 디블러링 영상(513)이 적용된 제2 국부 영상(521)을 제2 신경망(522)을 통해 기계 학습한다. 이때, 제2 신경망(522)은 이미 학습된 제1 영역을 식별할 수 있어, 제2 영역에 대하여만 학습한다.
제2 디블러링 영상 생성부(520) 및 제3 디블러링 영상 생성부(530)는 제1 디블러링 영상 생성부(510)와 같은 딥러닝 구조로 입력되는 블러링 영상을 학습하므로, 제2 및 제3 디블러링 영상 생성부(530)의 구체적인 동작 과정에 대한 설명은 생략하도록 한다.
이때, 각 레지듀얼 블록의 가산기는 복수개의 컨볼루션 모듈 중 대응하는 컨볼루션 모듈의 출력과 이전 복수개의 가산기의 출력을 인가받아 가산할 수 있다. 다시 말해, 복수개의 가산기 각각의 대응하는 컨볼루션 모듈의 출력과 입력 및 이전 복수개의 컨볼루션 모듈의 입력을 인가 받아 가산하여 출력한다. 일 예로, 제1 신경망의 제2 레지듀얼 블록에 따른 제2 가산기는 대응되는 제1 컨볼루션 모듈의 제1 가산기의 출력을 인가 받아 가산할 수 있다. 그리고, 제2 가산기는 그 가산 결과를 제3 컨볼루션 모듈로 출력할 수 있다.
이는 블러링 영상과 같이 비교적 복잡한 영상에서 번짐 잡음을 효과적으로 제거할 수 있도록 한다. 즉, 본 실시예에 따른 디블러링 영상 생성부는 패턴의 로우 레벨 특성을 고려하여 패턴을 추정할 수 있는 ResNet을 수정하여 패턴의 로우레벨 특성뿐만 아니라 하이 레벨 특성을 추정할 수 있도록 함으로써, 크게 향상된 성능으로 패턴을 추정하여 번짐 현상을 제거할 수 있다. 결과적으로 각 패턴의 번짐 현상 제거 성능을 크게 향상시킬 수 있다.
본 발명의 실시예에 따른 디블러링 영상 생성부는 상술한 바와 같은 원리로, 제3 디블러링 영상 생성부(530)를 통해 최종적으로 제3 디블러링 영상(533)을 생성하여, 출력부로 상기 생성된 제3 디블러링 영상(533)을 전달한다. 여기서, 보다 구체적으로는 제3 디블러링 영상 생성부(530)가 전달하는 제3 디블러링 영상(533)은, 제3 디블러링 영상에 따른 특징맵을 의미할 수 있다.
도6은 상술한 바와 같은 본 발명의 일 실시예에 따른 디블러링 영상 생성방법을 통해 생성된 디블러링 영상을 도시한 도면이다.
일 실시예에 따른 도6의 A는 기준 영상(reference image)을 나타내고, B는 본 발명의 디블러링 영상 생성장치로 입력되는 블러링 영상(blurring image)을 나타내며, C는 본 발명의 디블러링 영상 생성장치 및 방법에 의해 생성되는 디블러링 영상(deblurring image)을 나타낸다. 여기서, B는 DBT 시스템을 통해 획득된 블러링 영상이고, C는 상기 DBT 시스템을 통해 획득된 블러링 영상을 재구성하여 블러링 효과가 제거된 디블러링 영상이다.
다음으로, 도7은 본 발명의 일 실시예에 따른 다단계 학습을 기반으로 하는 디블러링 영상 생성방법을 시간의 흐름에 따라 도시한 흐름도이다.
먼저, S71 단계에서 본 발명의 입력부는 DBT 시스템을 통해 획득된 블러링 영상(방사선 영상)을 입력 받는다.
그리고, S72 단계에서 본 발명의 학습 영역 설정부는 우선적으로 학습시키고자 하는 블러링 영상의 기하학적 중심부 영역인 제1 영역을 설정한다.
그 후, S73 단계에서 본 발명의 제1 디블러링 영상 생성부는 제1 영역에 따른 블러링 영상을 제1 신경망을 이용하여 기계 학습 한다. 여기서, 제1 디블러링 영상 생성부가 제1 신경망을 이용하여 제1 영역에 따른 제1 국부 영상을 학습시키는 방법은 상기 도5에서 상세하게 설명한 바 중복되는 내용이므로, 여기서는 생략하도록 한다.
그리고, S74 단계에서 제1 디블러링 영상 생성부는 상기 S73 단계를 통해 제1 디블러링 영상을 생성한다. 제1 디블러링 영상이란, 입력부에 입력된 블러링 영상 중 제1 영역에 대해 블러링이 완화된 디블러링 영상을 의미한다.
다음으로, S75 단계에서, 학습 영역 설정부는 블러링 영상에서 상기 제1 영역과 구별되는 영역인 제n 영역을 설정한다. 여기서 제n 영역은, 블러링 영상의 기하학적인 중심부인 제1 영역을 중심으로 테두리부에 해당하는 영역일 수 있다.
S76 단계에서, 제n 디블러링 영상 생성부는 상기 학습대상영역으로 제n 영역이 설정된 블러링 영상에 상기 생성된 제1 디블러링 영상을 적용할 수 있다.
S77 단계에서, 상기 제1 디블러링 영상이 적용되고, 학습 영역 설정부로부터 제n 영역이 설정된 제n 국부 영상을 제n 신경망을 이용하여 기계 학습한다.
이에 따라 S78 단계에서, 제n 디블러링 영상 생성부는 제n 디블러링 영상을 생성하고, 생성된 제n 디블러링 영상을 출력부로 전달한다.
S79 단계에서, 본 발명의 출력부는 상기 제n 디블러링 영상 생성부로부터 전달 받은 제n 디블러링 영상을 출력한다.
이하에서는, 도8을 참조하여 본 발명의 또 다른 일 실시예에 따른 블러링 영상 변환장치에 대하여 설명한다. 본 발명의 실시예에 따른 블러링 영상 변환장치는, 도5 내지 도7에서 설명한 바와 같은 과정을 통해 설정된 제1 내지 제n 신경망 각각을 구성하는 레이어들의 필터 계수들을 이용하여 입력되는 블러링 영상을 디블러링 영상으로 변환시켜주는 장치일 수 있다.
도8은 본 발명의 일 실시예에 따른 블러링 영상 변환장치(800)의 구성을 개략적으로 도시한 블록도이다. 본 발명의 실시예에 따른 블러링 영상 변환장치(800)는 도8에 도시된 바와 같이, 입력부(810), 영역 설정부(820), 영상 변환부(830) 및 출력부(840)를 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 입력부(810)는 DBT 시스템을 이용하여 획득된 방사선 영상(이하, 블러링 영상)을 입력 받을 수 있다.
그리고, 본 발명의 실시예에 따른 영역 설정부(820)는 상기 블러링 영상의 영역을 나누어 다단계에 걸쳐 디블러링 영상으로 변환시키기 위하여, 단계별 변환시키고자 하는 영역을 설정할 수 있다. 예를 들어, 본 발명의 영역 설정부(820)는 상기 디블러링 영상 생성장치의 학습 영역 설정부와 마찬가지로, 블러링 영상을 3개의 영역으로 나누어 설정한다고 할 때, 블러링 영상의 중심부 영역에 해당하는 제1 영역을 설정하고, 제1 영역에 따른 제1 국부 영상에 대하여 변환이 완료되면, 중심부 영역인 제1 영역을 둘러싼 외곽 영역에 해당하는 제2 영역을 설정하고, 제2 영역을 둘러싼 최외곽 영역에 해당하는 영역을 제3 영역으로 설정할 수 있다.
본 발명의 실시예에 따른 영상 변환부(830)는 영역 설정부(820)로부터 설정된 영역에 따른 블러링 영상에 대하여, 상기 블러링 영상을 디블러링 영상으로 변환시키기 위해 미리 설정된 필터 계수들이 적용된 필터들(레이어들)을 통해 디블러링 영상으로 변환할 수 있도록 한다.
이때, 본 발명의 영상 변환부(830)는 영역 설정부(820)에서 하나의 영상에 대하여 설정하는 영역의 개수에 상응하는 횟수번 영역별 영상을 변환함으로써 출력부(840)가 최종 변환된 디블러링 영상을 출력할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
510: 제1 디블러링 영상 생성부
512: 제1 신경망
520: 제2 디블러링 영상 생성부
522: 제2 신경망
530: 제3 디블러링 영상 생성부
532: 제3 신경망
512: 제1 신경망
520: 제2 디블러링 영상 생성부
522: 제2 신경망
530: 제3 디블러링 영상 생성부
532: 제3 신경망
Claims (18)
- 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 입력부; 및
상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 제1 신경망을 통해 제1 디블러링 영상을 생성하고, 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 제2 신경망을 통해 제2 디블러링 영상을 생성하는 디블러링 영상 생성부를 포함하는 디블러링 영상 생성장치. - 제1항에 있어서,
상기 블러링 영상은, 저선량의 방사선을 방사함에 따라 센서로부터 획득된 획득영상을 기반으로 재구성된 3차원 영상의 일 단면인 것을 특징으로 하는 디블러링 영상 생성장치. - 제2항에 있어서,
상기 제1 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역인 것을 특징으로 하는 디블러링 영상 생성장치. - 제1항에 있어서,
상기 제1 신경망은,
상기 제1 국부 영상에 적용되는 제1-1 컨볼루션 레이어, 상기 제1-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제1 매핑부, 상기 제1 매핑부를 통해 매핑된 영상에 적용되는 제1-2 컨볼루션 레이어, 및 상기 제1 국부영상과 상기 제1-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제1 국부영상에 포함된 블러링을 완화시키는 제1 레지듀얼 블록을 더 포함하고,
상기 제2 신경망은,
상기 제2 국부 영상에 적용되는 제2-1 컨볼루션 레이어, 상기 제2-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제2 매핑부, 상기 제2 매핑부를 통해 매핑된 영상에 적용되는 제2-2 컨볼루션 레이어, 및 상기 제2 국부 영상과 상기 제2-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제2 국부영상에 포함된 블러링을 완화시키는 제2 레지듀얼 블록을 더 포함하는 것을 특징으로 하는 디블러링 영상 생성장치. - 제1항에 있어서,
제1 신경망은, 상기 제1 영역과 관련된 제1 기준 영상을 입력 받아, 상기 제1 국부 영상과 상기 제1 기준 영상을 비교함에 따라 상기 제1 국부 영상과 상기 제1 기준 영상과의 차이값으로 정의되는 에러값이 기 설정된 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제1 신경망을 구성하는 각 레이어의 필터 계수를 변경하고,
제2 신경망은, 상기 제2 영역과 관련된 제2 기준 영상을 입력 받아, 상기 제2 국부 영상과 상기 제2 기준 영상을 비교함에 따라 상기 제2 국부 영상과 상기 제2 기준 영상과의 차이값으로 정의되는 에러값이 상기 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제2 신경망을 구성하는 각 레이어의 필터 계수를 변경하는 것을 특징으로 하는 디블러링 영상 생성장치. - 제5항에 있어서,
상기 제1 기준 영상 및 제2 기준 영상은,
상기 블러링 영상에 비하여 고선량의 방사선을 이용하여 획득된 영상을 재구성한 영상인 것을 특징으로 하는 디블러링 영상 생성장치. - 제1항에 있어서,
상기 디블러링 영상 생성부는,
상기 입력된 블러링 영상에 상기 제2 디블러링 영상을 적용시키고, 상기 제2 디블러링 영상이 적용된 블러링 영상 중 외곽 영역에 해당하는 제3 영역에 따른 제3 국부 영상을 제3 신경망을 통해 제3 디블러링 영상을 생성하는 것을 특징으로 하는 디블러링 영상 생성장치. - 제1항에 있어서,
상기 블러링 영상은 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상인 것을 특징으로 하는 디블러링 영상 생성장치. - 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 영역 설정부; 및
상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 미리 정해진 필터계수들이 설정된 제1 필터들을 포함하는 제1 신경망을 이용하여 제1 디블러링 영상으로 변환하고, 상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 미리 정해진 필터계수들이 설정된 제2 필터들을 포함하는 제2 신경망을 통해 제2 디블러링 영상으로 변환하는 영상 변환부;
를 포함하는 블러링 영상 변환장치. - 제9항에 있어서,
상기 블러링 영상은, 저선량의 방사선을 방사함에 따라 센서로부터 획득된 획득영상을 기반으로 재구성된 3차원 영상의 일 단면이고,
상기 제1 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역인 것을 특징으로 하는 블러링 영상 변환장치. - 제10항에 있어서,
상기 블러링 영상은 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상인 것을 특징으로 하는 블러링 영상 변환장치. - 블러링(blurring)이 적어도 일부 포함된 영상을 입력받는 단계;
상기 입력된 영상에서 미리 결정된 제1 영역에 따른 제1 국부 영상을 제1 신경망을 통해 제1 디블러링 영상을 생성하는 단계; 및
상기 제1 영역과 구별되는 제2 영역에 따른 제2 국부 영상을 제2 신경망을 통해 제2 디블러링 영상을 생성하는 단계;
를 포함하는 디블러링 영상 생성방법. - 제12항에 있어서,
상기 블러링 영상은, 저선량의 방사선을 방사함에 따라 센서로부터 획득된 획득영상을 기반으로 재구성된 3차원 영상의 일 단면인 것을 특징으로 하는 디블러링 영상 생성방법. - 제13항에 있어서,
상기 제1 영역은 상기 재구성된 3차원 영상의 기하학적 중심부 영역인 것을 특징으로 하는 디블러링 영상 생성방법. - 제12항에 있어서,
상기 제1 신경망은,
상기 제1 국부 영상에 적용되는 제1-1 컨볼루션 레이어, 상기 제1-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제1 매핑부, 상기 제1 매핑부를 통해 매핑된 영상에 적용되는 제1-2 컨볼루션 레이어, 및 상기 제1 국부영상과 상기 제1-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제1 국부영상에 포함된 블러링을 완화시키는 제1 레지듀얼 블록을 더 포함하고,
상기 제2 신경망은,
상기 제2 국부 영상에 적용되는 제2-1 컨볼루션 레이어, 상기 제2-1 컨볼루션 레이어를 통과한 영상을 미리 정해진 함수에 따라 매핑하는 제2 매핑부, 상기 제2 매핑부를 통해 매핑된 영상에 적용되는 제2-2 컨볼루션 레이어, 및 상기 제2 국부 영상과 상기 제2-2 컨볼루션 레이어를 통과한 영상을 이용하여, 상기 제2 국부영상에 포함된 블러링을 완화시키는 제2 레지듀얼 블록을 더 포함하는 것을 특징으로 하는 디블러링 영상 생성방법. - 제12항에 있어서,
제1 신경망은, 상기 제1 영역과 관련된 제1 기준 영상을 입력 받아, 상기 제1 국부 영상과 상기 제1 기준 영상을 비교함에 따라 상기 제1 국부 영상과 상기 제1 기준 영상과의 차이값으로 정의되는 에러값이 기 설정된 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제1 신경망을 구성하는 각 레이어의 필터 계수를 변경하고,
제2 신경망은, 상기 제2 영역과 관련된 제2 기준 영상을 입력 받아, 상기 제2 국부 영상과 상기 제2 기준 영상을 비교함에 따라 상기 제2 국부 영상과 상기 제2 기준 영상과의 차이값으로 정의되는 에러값이 상기 임계치를 초과하는 경우, 역전파(back propagation) 알고리즘을 통해 상기 제2 신경망을 구성하는 각 레이어의 필터 계수를 변경하는 것을 특징으로 하는 디블러링 영상 생성방법. - 제12항에 있어서,
상기 블러링 영상은 DBT(Digital Breast Tomosynthesis) 시스템을 통해 획득되는 영상인 것을 특징으로 하는 디블러링 영상 생성방법. - 제12항 내지 제17항 중 어느 한 항에 따른 디블러링 영상 생성방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190030929A KR102160101B1 (ko) | 2019-03-19 | 2019-03-19 | 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190030929A KR102160101B1 (ko) | 2019-03-19 | 2019-03-19 | 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102160101B1 true KR102160101B1 (ko) | 2020-09-25 |
Family
ID=72707670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190030929A KR102160101B1 (ko) | 2019-03-19 | 2019-03-19 | 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102160101B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096032A (zh) * | 2021-03-18 | 2021-07-09 | 西北工业大学 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101140342B1 (ko) | 2010-07-28 | 2012-05-03 | 한국전기연구원 | 디지털 단층합성 촬영 장치의 영상 재구성 방법 및 장치 |
JP2017033287A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社日立製作所 | 画像処理装置、画像処理方法、及びそれを用いた画像処理システム |
-
2019
- 2019-03-19 KR KR1020190030929A patent/KR102160101B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101140342B1 (ko) | 2010-07-28 | 2012-05-03 | 한국전기연구원 | 디지털 단층합성 촬영 장치의 영상 재구성 방법 및 장치 |
JP2017033287A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社日立製作所 | 画像処理装置、画像処理方法、及びそれを用いた画像処理システム |
Non-Patent Citations (2)
Title |
---|
Seungjun Nah ET AL:"Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring", Computer Science_Computer Vision and Pattern Recognition, 7 Dec. 2016(2016.12.07.) 1부.* * |
Yunsu Choi ET AL:"Image Quality Enhancement of Digital Breast Tomosynthesis Images by Deblurring with Deep Residual Convolutional Neural Network", 2018 IEEE NSS/MIC, 10-17 Nov. 2018(2018.11.10.) 1부.* * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096032A (zh) * | 2021-03-18 | 2021-07-09 | 西北工业大学 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
CN113096032B (zh) * | 2021-03-18 | 2024-03-19 | 西北工业大学 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6214226B2 (ja) | 画像処理装置、断層撮影装置、画像処理方法およびプログラム | |
US9836825B2 (en) | Dose modulated X-ray scanning | |
US8750582B2 (en) | Method for recording and reconstructing a three-dimensional image dataset and X-ray apparatus | |
US20160071245A1 (en) | De-noised reconstructed image data edge improvement | |
WO2014107960A1 (zh) | 图像处理方法及图像处理装置 | |
JP6590773B2 (ja) | 画像処理装置、方法およびプログラム | |
CN108553121B (zh) | 一种pet延迟扫描的方法和装置 | |
JP7370989B2 (ja) | スペクトルボリューム画像データを生成するように構成された非スペクトルコンピュータ断層撮影(ct)スキャナ | |
KR101905745B1 (ko) | k 에지 기반의 내부 토모그라피 영상 처리를 위한 장치 및 방법 | |
CN111340903A (zh) | 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统 | |
JP2022520977A (ja) | 医用画像処理システムとその画像再構成方法のためのコリメータ | |
CN110574073B (zh) | 能谱计算机断层摄影(ct)成像中的残余碘伪影的探测和/或校正 | |
KR102160101B1 (ko) | 다단계 학습을 기반으로 하는 디블러링 영상 생성장치 및 방법, 그리고 블러링 영상 변환장치 | |
KR20200019016A (ko) | 2d 영상정합 및 3d 영상 재구성에 기반한 파노라마 영상 생성 방법, 파노라마 영상 생성 장치 및 컴퓨터 판독 가능한 기록 매체 | |
JP7187131B2 (ja) | 画像生成装置、x線コンピュータ断層撮影装置及び画像生成方法 | |
KR20170026984A (ko) | 엑스레이 컴퓨터 단층촬영 환경에서 빔 경화현상에 의한 인공물 보정방법 | |
KR102165915B1 (ko) | 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법 | |
EP3552181A1 (en) | Image noise estimation using alternating negation | |
Shieh et al. | Improving thoracic four-dimensional cone-beam CT reconstruction with anatomical-adaptive image regularization (AAIR) | |
CN113643394B (zh) | 散射校正方法、装置、计算机设备和存储介质 | |
WO2018005721A1 (en) | Dual-energy ct through primary beam modulation | |
JP2018503436A (ja) | 反相関ノイズフィルタ | |
US20210282733A1 (en) | Edge noise reduction | |
KR101685830B1 (ko) | 낮은 행렬계수를 이용한 내부 단층 촬영 영상 복원 장치 및 그 제어 방법 | |
WO2009004571A1 (en) | Method and apparatus for image reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |