KR102351283B1 - 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 - Google Patents
딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 Download PDFInfo
- Publication number
- KR102351283B1 KR102351283B1 KR1020200061337A KR20200061337A KR102351283B1 KR 102351283 B1 KR102351283 B1 KR 102351283B1 KR 1020200061337 A KR1020200061337 A KR 1020200061337A KR 20200061337 A KR20200061337 A KR 20200061337A KR 102351283 B1 KR102351283 B1 KR 102351283B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pet
- unit
- feature map
- pixel
- Prior art date
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 79
- 238000013135 deep learning Methods 0.000 title claims abstract description 57
- 238000003325 tomography Methods 0.000 claims abstract description 59
- 238000002600 positron emission tomography Methods 0.000 claims description 223
- 230000006870 function Effects 0.000 claims description 50
- 230000004913 activation Effects 0.000 claims description 42
- 238000000354 decomposition reaction Methods 0.000 claims description 39
- 238000010606 normalization Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 28
- 239000012190 activator Substances 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 22
- NCWZOASIUQVOFA-NSCUHMNNSA-N 4-[(e)-2-[4-[2-[2-(2-fluoroethoxy)ethoxy]ethoxy]phenyl]ethenyl]-n-methylaniline Chemical compound C1=CC(NC)=CC=C1\C=C\C1=CC=C(OCCOCCOCCF)C=C1 NCWZOASIUQVOFA-NSCUHMNNSA-N 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 3
- 238000012360 testing method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010989 Bland-Altman Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009206 nuclear medicine Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037259 Amyloid Plaque Diseases 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 230000007082 Aβ accumulation Effects 0.000 description 1
- 238000001604 Rao's score test Methods 0.000 description 1
- 230000003941 amyloidogenesis Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/501—Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
본 발명은 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 관한 것으로, 더욱 상세하게는 본 발명의 일면에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는, 기설정된 제1 시간 동안 뇌를 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 손실 이미지 수집부와, 제1 시간보다 긴 제2 시간 동안 뇌를 단층 촬영함에 따라 획득되되, PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집하는 원본 이미지 수집부와, PET 손실 이미지의 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성하는 제네레이터부와, 제네레이터부에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별하는 디스크리미네이터부와, 디스크리미네이터부에서 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력하는 복원 이미지 출력부를 포함한다.
Description
본 발명은 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 관한 것으로, 더욱 상세하게는, 짧은 시간 촬영한 PET 영상으로부터 표준 시간 촬영한 PET 영상을 딥러닝에 기초하여 짧은 시간 촬영한 PET 영상에서 발생하는 잡음 성분을 제거하고자 한다.
아밀로이드 양전자 방출 단층 촬영(PET)은 뇌에 아밀로이드 퇴적물을 보여주는 핵의학 영상 검사이며, 현재 아밀로이드의 축적이 원인으로 알려진 알츠하이머병(Alzheimer`s disease) 진단에 사용되고 있다.
아밀로이드 PET용 상용 방사성 의약품에 따라 획득 프로토콜에 다소 차이가 있지만, F-18 플로르베타벤(FBB)의 경우 대부분 20분 동안 촬영해야 한다.
장시간 스캔 획득 시 머리 움직임이 심하면 PET 영상에 심각한 모션 아티팩트가 발생하여 진단 성능이 저하된다. 치매에 걸린 일부 고령 환자의 경우 머리의 심한 움직임 때문에 재스캔(또는 추가 방사선 노출)을 해야하는 경우가 적지 않다.
따라서 치매 환자의 PET 사용이 증가함에 따라 스캔 시간 단축에 대한 수요가 증가하고 있다.
그러나 짧은 스캔 시간에서 얻은 PET 영상은 낮은 신호 대 잡음 비와 진단 신뢰성 저하로 인해 어려움을 겪는다. 최근에는 컴퓨터 단층촬영(CT), 자기공명영상(MRI), PET 등 의료 영상에 영상복원을 위한 딥러닝 기법이 널리 적용되고 있으며, 그 중 일부는 저선량 PET 영상복원에 딥러닝 기법을 사용했으며 영상 잡음 아티팩트를 줄일 수 있는 가능성을 보였다. 뇌 PET의 획득 시간을 줄여 촬영된 잡음 성분을 줄이고 영상의 품질을 개선하는 연구는 몇 가지에 불과했다.
뇌 PET 이미지를 복원하기 위해 PET/MR 스캐너에서 얻은 추가 MR 정보를 사용했지만, PET/MR 스캐너는 매우 비싸고 아직 널리 설치되지 않았다. 대부분의 병원에서는 PET/CT 스캐너가 사용되기 때문에 MRI 정보없이 PET만 사용하는 복구 기법이 필요한 실정이다.
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 짧은 시간 촬영한 PET 이미지를 딥러닝을 이용하여 짧은 시간 PET 이미지를 복원하기 위한 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는, 기설정된 제1 시간 동안 뇌를 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 손실 이미지 수집부와, 제1 시간보다 긴 제2 시간 동안 뇌를 단층 촬영함에 따라 획득되되, PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집하는 원본 이미지 수집부와, PET 손실 이미지의 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성하는 제네레이터부와, 제네레이터부에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별하는 디스크리미네이터부와, 디스크리미네이터부에서 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력하는 복원 이미지 출력부를 포함한다.
본 발명에 따르면, 짧은 시간 촬영한 PET 이미지를 딥러닝을 이용하여 표준 시간 촬영한 PET 이미지와 대응되는 PET 이미지로 복원할 수 있다는 효과가 있다.
본 발명에 따르면, 짧은 시간 촬영한 PET 이미지를 복원한 복원 이미지를 실제 임상 판독 목적으로 사용될 수 있는 효과가 있다.
본 발명에 따르면, 짧은 시간 촬영한 PET 이미지를 인코더 및 디코더함에 있어서, 디컴포지션, 리컴포지션을 수행함에 따라 고주파 성분, 저주파 성분을 추출하여 이미지의 특징을 분석함으로써, 풀링 또는 언풀링을 사용하는 것보다 이미지 특징을 더 자세히 분석, 추출할 수 있는 효과가 있다.
본 발명에 따르면, PET 이미지를 디컴포지션함에 있어서, 고역 통과 필터를 이용하여 이미지의 대각선, 수직, 수평 방향에 따라 각기 다른 이미지의 특징맵을 생성함으로써, 풀링을 사용하는 것보다 더 자세한 이미지의 특징을 추출할 수 있는 효과가 있다.
본 발명에 따르면, 별도의 영상 잡음 보정 장치 필요없이, 짧은 시간 촬영한 PET 이미지로부터 잡음 성분이 제거된 PET 이미지를 획득할 수 있는 효과가 있다.
본 발명에 따르면, 표준 시간보다 짧은 시간 동안 뇌를 PET 촬영하기 때문에, 환자의 불편함을 줄일 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 PET 손실 이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 PET 원본 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 제네레이터부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 제네레이터부를 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 디스크리미네이터부를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 디스크리미네이터부를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지를 설명하기 위한 도면이다.
도 9는 종래의 U-net 방식을 이용하여 생성된 PET 이미지이다.
도 10은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 VOI의 변화에 따른 평균 SUVR의 변화를 나타내는 그래프이다.
도 11은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 피어슨 상관관계를 나타내는 그래프이다.
도 12는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 Bland-Altman 분석을 나타내는 그래프이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 PET 손실 이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 PET 원본 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 제네레이터부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 제네레이터부를 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 디스크리미네이터부를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 디스크리미네이터부를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지를 설명하기 위한 도면이다.
도 9는 종래의 U-net 방식을 이용하여 생성된 PET 이미지이다.
도 10은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 VOI의 변화에 따른 평균 SUVR의 변화를 나타내는 그래프이다.
도 11은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 피어슨 상관관계를 나타내는 그래프이다.
도 12는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 Bland-Altman 분석을 나타내는 그래프이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참고하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로서, 본 발명은 청구항의 기재에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함된다. 이하, 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하도록 한다.
또한, 본 발명의 실시예들에 있어서, 기능적으로 동일한 구성요소는 도면 부호를 일치시켜 설명하도록 하고, 반복 설명은 생략하도록 한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치(1)는 손실 이미지 수집부(10), 원본 이미지 수집부(20), 크로핑부(30), 제네레이터부(40), 픽셀 단위 손실 산출부(50), 디스크리미네이터부(60), 오차값 산출부(70), 거짓 이미지 세트 생성부(80), 복원 이미지 출력부(90)를 포함한다.
도 2를 참조하면, 손실 이미지 수집부(10)는 기설정된 제1 시간 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집한다.
여기서, PET 손실 이미지는 1분 내지 3분 동안 뇌를 단층 촬영한 이미지일 수 있으며, 손실 이미지 수집부(10)는 400 X 400 픽셀 사이즈의 200내지 300 환자의 PET 손실 이미지를 수집하는 것일 수 있다.
한편, 손실 이미지 수집부(10)는 Amyloid PET Radiotracer에 의해 아밀로이드 제재가 투여된 뇌를 F-18 플로르베타벤(Florbetaben) 양전자 방출 단층 촬영(Positron Emission Tomography, PET)함에 따라 획득되는 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 것일 수 있다.
한편, PET 손실 이미지에 있어서, 아밀로이드가 침착된 부분은 하얀색에 가까운 색상을 가지는 것일 수 있다.
여기서, 하얀색에 가까운 색상이라는 것은 PET 손실 이미지에 있어서, 검은색 부분과 대비되는 회색 또는 하얀색으로 나타나는 픽셀 부분들의 색상을 의미하는 것일 수 있다.
PET 손실 이미지에 있어서, 뇌 영역에 해당하는 부분을 경계로 하여 테두리가 형성되는 것일 수 있으며, 뇌 영역에 속하는 세포 또는 조직 부분의 픽셀이 아밀로이드 침착 정도에 따라서 하얀색에 가까운 색상을 가지는 것일 수 있다.
도 3을 참조하면, 원본 이미지 수집부(20)는 제1 시간보다 긴 제2 시간 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 획득되되, PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집한다.
PET 원본 이미지는 10분 내지 60분 동안 뇌를 F-18 플로르베타벤(Florbetaben) 양전자 방출 단층 촬영한 이미지일 수 있으며, 원본 이미지 수집부(150)는 400 X 400 픽셀 사이즈의 200 내지 300 환자의 PET 원본 이미지를 수집하는 것일 수 있다.
크로핑부(30)는 PET 손실 이미지에 있어서 에지를 검출하여 에지 내부의 영역을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.
뇌 영역은 배경 영역과 대비하여 명도 값의 차이가 크므로 뇌 영역과 배경 영역을 에지 검출에 따라 쉽게 구분해 수 있다.
크로핑부(30)는 PET 손실 이미지에 대해 에지 검출을 수행함에 따라 추출되는 에지 성분들에 각각 대응되는 픽셀들을 연결하여 폐곡선을 생성하도록 하고, 곡률 반경이 작은 쪽인 폐곡선의 안쪽을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.
크로핑부(30)는 에지는 영상에서 명도의 변화가 많은 부분에서 발생하므로 인접해 있는 픽셀들 간의 픽셀값을 비교하여 차이가 큰 경우를 변화하는 경계에 해당되는 부분으로 하여 에지 영역을 추출하도록 하고 뇌 영역과 배경 영역을 구분하는 것일 수 있다.
크로핑부(30)에 의해 PET 손실 이미지는 400 X 400 픽셀의 사이즈에서 224 X 224 픽셀의 사이즈로 변환될 수 있다.
제네레이터부(40)는 PET 손실 이미지를 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성한다.
도 4 및 도 5를 참조하면, 제네레이터부(40)는 인코더부(100), 디코더부(200), 선형화부(300), 출력부(400)를 포함한다.
인코더부(100)는 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징을 추출하고, PET 손실 이미지의 픽셀 사이즈를 축소시키는 디컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 PET 손실 이미지의 특징맵을 생성한다.
인코더부(100)는 제1 인코더부(110), 제2 인코더부(130), 제3 인코더부(150)를 포함한다.
제1 인코더부(110)는 PET 손실 이미지를 입력받아 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징을 추출하고, 디컴포지션(Wavelet-Decomposition) 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성한다.
제1 인코더부(110)는 제1 콘볼루션 레이어부(111), 제1 배치 정규화부(113), 제1 활성화부(115), 제1 디컴포지션부(117)를 포함한다.
제1 콘볼루션 레이어부(111)는 PET 손실 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 PET 손실 이미지의 특징을 추출한다.
제1 콘볼루션 레이어부(111)는 서로 다른 특징을 추출하는 콘볼루션 필터를 PET 손실 이미지에서 사용자의 입력에 따른 스트라이드 만큼 이동하면서 콘볼루션 연산을 수행하여 PET 손실 이미지의 특징을 추출하는 것일 수 있다.
제1 콘볼루션 레이어의 픽셀 사이즈는 3 x 3일 수 있고, 스트라이드는 1 픽셀일 수 있다.
제1 배치 정규화부(113)는 PET 손실 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 PET 손실 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.
배치 정규화(Batch Normalization)는 이미지에 속하는 픽셀값들 분포(Distribution)의 변화 때문에 생성적 적대 신경망 학습 과정에서 발생할 수 있는 가중치 소실(Gradient Vanishing) 또는 가중치 폭발(Gradient Exploding)을 감소시키기 위하여, 픽셀값들의 평균을 0으로, 분산을 1로 정규화하는 것을 의미한다.
제1 활성화부(115)는 배치 정규화된 PET 손실 이미지에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 PET 손실 이미지를 생성한다.
활성화 함수(Activation Function)는 뉴런 네트워크(Neuron Network)에 있어서 개별 뉴런에 들어오는 입력신호를 출력신호로 변환하는 함수로서, ReLu 함수는 딥러닝(Deep-learning)에서 활성화 함수 중의 하나로, 개별 뉴런이 출력하는 값들 중에서 음수(-)에 대해서만 0으로 변환하는 함수인 것일 수 있다.
제1 활성화부(115)는 0.2의 기울기를 가지는 Leaky ReLu 함수를 이용하여 뉴런 네트워크의 개별 뉴런이 출력하는 값들 중에서 음수에 대해 1/10로 값을 변환함으로써, 활성화된 PET 손실 이미지를 생성하는 것일 수 있다.
제1 콘볼루션 레이어부(111), 제1 배치 정규화부(113) 및 제1 활성화부(115)에 의해 PET 손실 이미지는 픽셀 사이즈는 224 x 224, 필터 수는 64로 변경되는 것일 수 있으며, 제1 활성화부(215)는 224 x 224의 픽셀 사이즈와 64의 필터 수를 가지는 활성화된 PET 손실 이미지를 출력하는 것일 수 있다.
제1 디컴포지션부(117)는 활성화된 PET 손실 이미지에 디컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성한다.
제1 디컴포지션부(117)는 제1 고주파 추출부(117a)와, 제1 저주파 추출부(117b)를 포함한다.
제1 고주파 추출부(117a)는 활성화된 PET 손실 이미지의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이값에 따라 하나의 픽셀값을 산출하여 활성화된 PET 손실 이미지를 분해한다.
제1 고주파 추출부(117a)는 활성화된 PET 손실 이미지의 픽셀값들 중 고역 통과 필터를 이용하여, 대각선 방향에 따라 적어도 두 개의 픽셀값 간의 차이값을 가지는 제1 고주파 1차원 특징맵, 수직 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제2 고주파 1차원 특징맵, 수평 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제3 고주파 1차원 특징맵으로 분해하는 것일 수 있다.
제1 저주파 추출부(117b)는 활성화된 PET 손실 이미지의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출한다.
제1 저주파 추출부(117b)는 저역 통과 필터를 이용하여 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균값을 산출함에 따라 제1 저주파 1차원 특징맵을 산출하는 것일 수 있다.
제1 디컴포지션부(117)는 제1 고주파 추출부(117a), 제1 저주파 추출부(117b)에 기초하여 제1 고주파 1차원 특징맵 내지 제3 고주파 1차원 특징맵, 제1 저주파 1차원 특징맵을 출력하여 제1 고주파 1차원 특징맵 내지 제3 고주파 1차원 특징맵은 제3 디코더부(250)의 제3 활성화부(255)의 출력으로 넘겨주고(skip), PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지고 제1 저주파 1차원 특징맵인 제1 특징맵을 생성하는 것일 수 있다.
입력 이미지가 저역 통과 필터를 통과하면 좌우 폭 또는 상하 폭이 1/2로 축소된 저주파 이미지가 생성되고, 고역 통과 필터를 통과하면 좌우 폭 또는 상하 폭이 1/2로 축소된 고주파 이미지가 생성되는 것일 수 있다.
다시 말해, 제1 디컴포지션부(117)는 제1 고주파 추출부(117a)의 대각선 방향으로 고역 통과 필터를 통한 제1 고주파 1차원 특징맵, 수직 방향에 따라 고역 통과 필터를 통한 제2 고주파 1차원 특징맵, 수평 방향에 따라 고역 통과 필터를 통한 제3 고주파 1차원 특징맵, 제1 저주파 추출부(117b)의 저역 통과 필터를 통한 제1 저주파 1차원 특징맵으로 구성된 4가지 특징맵으로 분해하는 것일 수 있다.
또한, 제1 디컴포지션부(117)는 112 x 112의 픽셀 사이즈와, 128의 필터 수를 가지는 제1 고주파 1차원 특징맵 내지 제3 고주파 1차원 특징맵을 출력하여 제3 디코더부(250)의 제3 활성화부(255)의 출력에 스킵해서 이어붙임 연결을 하는 것일 수 있으며, 112 x 112의 픽셀 사이즈와, 128의 필터 수를 가지는 제1 저주파 1차원 특징맵인 제1 특징맵을 생성하는 것일 수 있다.
제2 인코더부(130)는 제1 특징맵을 콘볼루션 연산함에 따라 필터링하여 제1 특징맵의 특징을 추출하고, 디컴포지션 함수를 이용하여 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성한다.
제2 인코더부(130)는 제2 콘볼루션 레이어부(131), 제2 배치 정규화부(133), 제2 활성화부(135), 제2 디컴포지션부(137)를 포함한다.
제2 콘볼루션 레이어부(131)는 제1 특징맵를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제2 콘볼루션 레이어를 이용하여 제1 특징맵의 특징을 추출한다.
제2 콘볼루션 레이어의 픽셀 사이즈는 3 x 3일 수 있고, 스트라이드는 1 픽셀일 수 있다.
제2 배치 정규화부(133)는 제1 특징맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제1 특징맵에 속하는 픽셀값들의 분포를 배치 정규화한다.
제2 활성화부(135)는 배치 정규화된 제1 특징맵을 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제1 특징맵을 생성한다.
제2 디컴포지션부(137)는 활성화된 제1 특징맵에 디컴포지션 함수를 이용하여 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성한다.
제2 디컴포지션부(137)는 제2 고주파 추출부(137a)와, 제2 저주파 추출부(137b)를 포함한다.
제2 고주파 추출부(137a)는 활성화된 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하여 제2 특징맵을 분해한다.
제2 고주파 추출부(137a)는 활성화된 제1 특징맵의 픽셀값들 중 고역 통과 필터를 이용하여 대각선 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제1 고주파 2차원 특징맵, 수직 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제2 고주파 2차원 특징맵, 수평 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제3 고주파 2차원 특징맵으로 분해하는 것일 수 있다.
제2 저주파 추출부(137b)는 활성화된 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출한다.
제2 저주파 추출부(137b)는 저역 통과 필터를 이용하여 활성화된 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균값을 산출함에 따라 제1 저주파 2차원 특징맵을 출력하는 것일 수 있다.
제2 디컴포지션부(137)는 제2 고주파 추출부(137a), 제2 저주파 추출부(137b)에 기초하여 제1 고주파 2차원 특징맵 내지 제3 고주파 2차원 특징맵, 제1 저주파 2차원 특징맵을 출력하여 제1 고주파 2차원 특징맵 내지 제3 고주파 2차원 특징맵은 제2 디코더부(230)의 제2 활성화부(235)의 출력으로 넘겨주고(skip), 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지고 제1 저주파 2차원 특징맵인 제2 특징맵을 생성하는 것일 수 있다.
또한, 제2 디컴포지션부(137)는 56 x 56의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 고주파 2차원 특징맵 내지 제3 고주파 2차원 특징맵을 출력하여 제2 디코더부(230)의 제2 활성화부(235)의 출력에 스킵해서 이어붙임 연결을 하는 것일 수 있으며, 56 x 56의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 저주파 2차원 특징맵인 제2 특징맵을 생성하는 것일 수 있다.
제3 인코더부(150)는 제2 특징맵을 콘볼루션 연산함에 따라 필터링하여 제2 특징맵의 특징을 추출하고, 디컴포지션 함수를 이용하여 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 PET 손실 이미지의 특징맵을 생성한다.
제3 인코더부(150)는 제3 콘볼루션 레이어부(151), 제3 배치 정규화부(153), 제3 활성화부(155), 제3 디컴포지션부(157)를 포함한다.
제3 콘볼루션 레이어부(151)는 제2 특징맵를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제3 콘볼루션 레이어를 이용하여 제2 특징맵의 특징을 추출한다.
제3 콘볼루션 레이어의 픽셀 사이즈는 3 x 3일 수 있고, 스트라이드는 1 픽셀일 수 있다.
제3 배치 정규화부(153)는 제2 특징맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제2 특징맵에 속하는 픽셀값들의 분포를 배치 정규화한다.
제3 활성화부(155)는 배치 정규화된 제2 특징맵을 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제2 특징맵을 생성한다.
제3 디컴포지션부(157)는 활성화된 제2 특징맵에 디컴포지션 함수를 이용하여 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 PET 손실 이미지의 특징맵을 생성한다.
제3 디컴포지션부(157)는 제3 고주파 추출부(157a)와, 제3 저주파 추출부(157b)를 포함한다.
제3 고주파 추출부(157a)는 활성화된 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하여 활성화된 제2 특징맵을 분해한다.
제3 고주파 추출부(157a)는 활성화된 제2 특징맵의 픽셀값들을 고역 통과 필터를 이용하여 대각선 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제1 고주파 3차원 특징맵, 수직 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제2 고주파 3차원 특징맵, 수평 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제3 고주파 3차원 특징맵으로 분해하는 것일 수 있다.
제3 저주파 추출부(157b)는 활성화된 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출한다.
제3 저주파 추출부(157b)는 저역 통과 필터를 이용하여 활성화된 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균값을 산출함에 따라 제1 저주파 3차원 특징맵을 산출하는 것일 수 있다.
제3 디컴포지션부(157)는 제3 고주파 추출부(157a), 제3 저주파 추출부(157b)에 기초하여 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵, 제1 저주파 3차원 특징맵을 출력하여 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵은 제1 디코더부(210)의 제1 활성화부(215)의 출력으로 넘겨주고(skip), 제2 특징맵보다 상대적으로 작은 픽셀 사이즈를 가지고 제1 저주파 3차원 특징맵인 PET 손실 이미지의 특징맵을 생성하는 것일 수 있다.
제3 디컴포지션부(157)는 28 x 28의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵을 출력하여 제1 디코더부(210)의 제1 활성화부(215)의 출력에 스킵해서 이어붙임 연결을 하는 것일 수 있으며, 28 x 28의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 저주파 3차원 특징맵인 PET 손실 이미지의 특징맵을 생성하는 것일 수 있다.
디코더부(200)는 PET 손실 이미지의 특징맵을 입력받아 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징맵의 특징을 추출하고, PET 손실 이미지의 특징맵의 픽셀 사이즈를 확대시키는 리컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성한다.
디코더부(200)는 제1 디코더부(210), 제2 디코더부(230), 제3 디코더부(250)를 포함한다.
제1 디코더부(210)는 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징맵의 특징을 추출하고, 리컴포지션 함수를 이용하여 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성한다.
제1 디코더부(210)는 제1 콘볼루션 레이어부(211), 제1 배치 정규화부(213), 제1 활성화부(215), 제1 리컴포지션부(217)를 포함한다.
제1 콘볼루션 레이어부(211)는 PET 손실 이미지의 특징맵을 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제1 콘볼루션 레이어를 이용하여 PET 손실 이미지의 특징맵의 특징을 추출한다.
제1 콘볼루션 레이어의 픽셀 사이즈는 3 x 3, 스트라이드는 1 픽셀을 가지는 것일 수 있다.
제1 배치 정규화부(213)는 PET 손실 이미지의 특징맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 PET 손실 이미지의 특징맵에 속하는 픽셀값들의 분포를 배치 정규화한다.
제1 활성화부(215)는 배치 정규화된 PET 손실 이미지의 특징맵을 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 PET 손실 이미지의 특징맵을 생성한다.
제1 리컴포지션부(217)는 활성화된 PET 손실 이미지의 특징맵에 리컴포지션 함수를 이용하여 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성한다.
제1 리컴포지션부(217)는 PET 손실 이미지의 특징맵과, 제3 디컴포지션부(157)로부터 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵을 입력받아 PET 손실 이미지의 특징맵, 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵을 리컴포지션 함수를 이용하여 제1 유사 이미지를 생성하는 것일 수 있다.
제1 리컴포지션부(217)는 56 x 56의 픽셀 사이즈와, 512의 필터 수를 가지는 제1 유사 이미지를 생성하는 것일 수 있다.
제2 디코더부(230)는 제1 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 제1 유사 이미지의 특징을 추출하고, 리컴포지션 함수를 이용하여 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성한다.
제2 디코더부(230)는 제2 콘볼루션 레이어부(231), 제2 배치 정규화부(233), 제2 활성화부(235), 제2 리컴포지션부(237)를 포함한다.
제2 콘볼루션 레이어부(231)는 제1 유사 이미지를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제2 콘볼루션 레이어를 이용하여 제1 유사 이미지의 특징을 추출한다.
제2 콘볼루션 레이어의 픽셀 사이즈는 3 x 3, 스트라이드는 1 픽셀을 가지는 것일 수 있다.
제2 배치 정규화부(233)는 제1 유사 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제1 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.
제2 활성화부(235)는 배치 정규화된 제1 유사 이미지를 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제1 유사 이미지를 생성한다.
제2 리컴포지션부(237)는 활성화된 제1 유사 이미지에 리컴포지션 함수를 이용하여 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성한다.
제2 리컴포지션부(237)는 112 x 112의 픽셀 사이즈와, 256의 픽셀 사이즈를 가지는 제2 유사 이미지를 생성하는 것일 수 있다.
제3 디코더부(250)는 제2 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 제2 유사 이미지의 특징을 추출하고, 리컴포지션 함수를 이용하여 인코더부(100)에서 입력받은 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성한다.
제3 디코더부(250)는 제3 콘볼루션 레이어부(251), 제3 배치 정규화부(253), 제3 활성화부(255), 제3 리컴포지션부(257)를 포함한다.
제3 콘볼루션 레이어부(251)는 제2 유사 이미지를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제3 콘볼루션 레이어를 이용하여 제2 유사 이미지의 특징을 추출한다.
제3 콘볼루션 레이어의 픽셀 사이즈는 3 x 3, 스트라이드는 1 픽셀을 가지는 것일 수 있다.
제3 배치 정규화부(253)는 제2 유사 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제2 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.
제3 활성화부(255)는 배치 정규화된 제2 유사 이미지를 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제2 유사 이미지를 생성한다.
제3 리컴포지션부(257)는 활성화된 제2 유사 이미지에 리컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성한다.
제3 리컴포지션부(257)는 224 x 224의 픽셀 사이즈와, 128의 필터 수를 가지는 유사 PET 이미지를 생성하는 것일 수 있다.
선형화부(300)는 유사 PET 이미지에 콘볼루션 레이어를 이용하여 입력받은 PET 손실 이미지의 크기와 일치하도록 조정하여 선형화된 유사 PET 이미지를 생성한다.
콘볼루션 레이어의 픽셀 사이즈는 1 x 1, 스트라이드는 1 픽셀일 수 있다.
선형화부(300)에 의해 선형화된 유사 PET 이미지는 224 x 224의 픽셀 사이즈와, 필터 수는 1을 가지는 단일 채널의 이미지로 변경되는 것일 수 있다.
출력부(400)는 단일 채널의 선형화된 유사 PET 이미지에 상, 하, 좌, 우측에 0의 행과 열을 추가(Zero-padding)하여 400 x 400 픽셀을 가지는 유사 PET 이미지를 생성하여 출력한다.
제네레이터부(40)는 PET 손실 이미지를 이용하여 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀값을 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것일 수 있다.
픽셀 단위 손실 산출부(50)는 PET 손실 이미지와 유사 PET 이미지 사이의 평균 제곱 오차에 기초하여 픽셀 단위 손실값을 산출한다.
픽셀 단위 손실 산출부(50)는 하기 수학식 1에 따라 평균 제곱 오차(Mean Squared Error)에 기초하여 유사 PET 이미지와 PET 손실 이미지 사이의 픽셀 단위 손실값을 산출하는 것일 수 있다.
여기서, z는 PET 손실 이미지에 대한 정규화된 값을 의미하며, G(z)는 유사 PET 이미지에 대한 정규화된 값을 의미하고, 
는 G(z)에 대한 확률 분포를 의미하며, E는 주어진 확률 분포에 대한 기댓값을 의미하고, 
는 G(z)와 z의 minimum difference 값을 의미하는 것일 수 있다.
디스크리미네이터부(60)는 제네레이터부(40)에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별한다.
도 6 및 도 7을 참조하면, 디스크리미네이터부(60)는 제1 특성맵 생성부(610), 제2 특성맵 생성부(630), 제3 특성맵 생성부(650), 선형화부(670)를 포함한다.
제1 특성맵 생성부(610)는 PET 원본 이미지를 입력받아 PET 원본 이미지의 특징을 추출하여 제1 특성맵을 생성한다.
제1 특성맵 생성부(610)는 제1 콘볼루션 레이어부(611), 제1 배치 정규화부(613), 제1 활성화부(615)를 포함한다.
제1 콘볼루션 레이어부(611)는 PET 원본 이미지를 입력받아 기설정된 픽셀 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 PET 원본 이미지의 특징을 추출한다.
제1 콘볼루션 레이어의 픽셀 사이즈는 4 x 4일 수 있고, 스트라이드는 2 픽셀일 수 있다.
제1 배치 정규화부(613)는 PET 원본 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 PET 원본 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.
제1 활성화부(615)는 배치 정규화된 PET 원본 이미지에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 배치 정규화된 PET 원본 이미지를 활성화하고 제1 특성맵를 생성한다.
제1 특징맵 생성부(610)는 제1 콘볼루션 레이어부(611), 제1 배치 정규화부(613) 및 제1 활성화부(615)에 따라 픽셀 사이즈는 224 x 224, 필터 수는 64를 가지는 제1 특성맵을 생성하는 것일 수 있다.
제2 특성맵 생성부(630)는 제1 특성맵을 입력받아 제1 특성맵의 특징을 추출하여 제2 특성맵을 생성한다.
제2 특성맵 생성부(630)는 제2 콘볼루션 레이어부(631), 제2 배치 정규화부(633), 제2 활성화부(635)를 포함한다.
제2 콘볼루션 레이어부(631)는 제1 특성맵을 입력받아 기설정된 픽셀 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 제1 특성맵의 특징을 추출한다.
제2 콘볼루션 레이어의 픽셀 사이즈는 4 x 4일 수 있고, 스트라이드는 2 픽셀일 수 있다.
제2 배치 정규화부(633)는 제1 특성맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제1 특성맵에 속하는 픽셀값들의 분포를 배치 정규화한다.
제2 활성화부(635)는 배치 정규화된 제1 특성맵에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 배치 정규화된 제1 특성맵을 활성화하고 제2 특성맵를 생성한다.
제2 특성맵 생성부(630)는 제2 콘볼루션 레이어부(631), 제2 배치 정규화부(633) 및 제2 활성화부(635)에 따라 픽셀 사이즈는 112 x 112, 필터 수는 128을 가지는 제2 특성맵을 생성하는 것일 수 있다.
제3 특성맵 생성부(650)는 제2 특성맵을 입력받아 제2 특성맵의 특징을 추출하여 제3 특성맵을 생성한다.
제3 특성맵 생성부(650)는 제3 콘볼루션 레이어부(651), 제3 배치 정규화부(653), 제3 활성화부(655)를 포함한다.
제3 콘볼루션 레이어부(651)는 제2 특성맵을 입력받아 기설정된 픽셀 사이즈를 가지는 제3 콘볼루션 레이어를 이용하여 제1 특성맵의 특징을 추출한다.
제3 콘볼루션 레이어의 픽셀 사이즈는 4 x 4일 수 있고, 스트라이드는 2 픽셀일 수 있다.
제3 배치 정규화부(653)는 제2 특성맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제2 특성맵에 속하는 픽셀값들의 분포를 배치 정규화한다.
제3 활성화부(655)는 배치 정규화된 제2 특성맵에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 배치 정규화된 제2 특성맵을 활성화하고 제3 특성맵를 생성한다.
제3 특성맵 생성부(650)는 제3 콘볼루션 레이어부(651), 제3 배치 정규화부(653) 및 제3 활성화부(655)에 따라 픽셀 사이즈는 56 x 56, 필터 수는 256을 가지는 제3 특성맵을 생성하는 것일 수 있다.
선형화부(670)는 제3 특성맵에 기설정된 필터 커널 사이즈(1 X 1)를 가지는 콘볼루션 레이어를 이용하여 입력받은 PET 원본 이미지의 크기와 일치하도록 조정하여 선형화된 PET 원본 이미지를 생성한다.
콘볼루션 레이어의 픽셀 사이즈는 1 x 1, 스트라이드는 1 픽셀일 수 있다.
선형화부(670)에 의해 선형화된 PET 원본 이미지는 224 x 224의 픽셀 사이즈와, 필터수는 1을 가지는 단일 채널의 이미지로 변경되는 것일 수 있다.
오차값 산출부(70)는 디스크리미네이터부(60)에서 거짓 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지와 PET 원본 이미지 사이의 오차값을 산출한다.
오차값 산출부(70)는 하기 수학식 2, 수학식 3에 기초하여 유사 PET 이미지와 PET 원본 이미지 사이의 오차값을 산출하되, 제네레이터부(40)에 대한 오차값(
)과, 디스크리미네이터부(60)에 대한 오차값(
)을 산출하는 것일 수 있다.
여기서, 
는 제네레이터(40)부에 대한 오차값의 최솟값을 의미하고, z는 PET 손실 이미지에 대한 정규화된 값을 의미하며, G(z)는 유사 PET 이미지에 대한 정규화된 값을 의미하고, 
는 G(z)에 대한 확률 분포를 의미하며, E는 주어진 확률 분포에 대한 기댓값을 의미하고, D(G(z))는 디스크리미네이터부(60)에서 유사 PET 이미지에 대해 판별한 결과값을 의미하며, 
는 G(z)와 z의 minimum difference 값을 의미하는 것일 수 있다.
여기서, 
는 디스크리미네이터부(60)에 대한 오차값의 최솟값을 의미하고, z는 PET 손실 이미지에 대한 정규화된 값을 의미하며, x는 PET 원본 이미지에 대한 정규화된 값을 의미하고, G(z)는 유사 PET 이미지에 대한 정규화된 값을 의미하며, 
는 원본 PET 이미지에 대한 확률 분포를 의미하며, E는 주어진 확률 분포에 대한 기댓값을 의미하고, D(x)는 디스크리미네이터부(60)에서 원본 PET 이미지에 대해 판별한 결과값을 의미하며, D(G(z))는 디스크리미네이터부(60)에서 유사 PET 이미지에 대해 판별한 결과값을 의미하는 것일 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는 제네레이터부(40)에 대한 오차값(
)과, 디스크리미네이터부(60)에 대한 오차값(
)의 합이 극소화되도록 PET 손실 이미지를 제네레이터부(40)와 디스크리미네이터부(60)에 기초하여 반복 학습시키는 것일 수 있다.
거짓 이미지 세트 생성부(80)는 디스크리미네이터부(60)에서 거짓 이미지 분류에 속하는 것으로 판별된 복수 개의 유사 PET 이미지들 각각의 오차값을 비교하여, 오차값이 기설정된 임계값 이하의 유사 PET 이미지를 제거하고 임계값을 초과하는 유사 PET 이미지들을 저장함에 따른 복수 개의 거짓 PET 이미지 세트들을 기설정된 생성적 적대 신경망 모델에 기초하여 생성한다.
디스크리미네이터부(60)는 오차값 산출부(70)에서 산출한 오차값의 결과로, 제네레이터부(40)에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하면 제1 이진 데이터 값을, 유사 PET 이미지가 거짓 이미지 분류에 속하면 제2 이진 데이터 값을 산출하여 판별하는 것일 수 있다.
제네레이터부(40)는 거짓 이미지 세트 생성부(80)에서 생성된 거짓 PET 이미지 세트를 이용하여 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것일 수 있다.
디스크리미네이터부(60)는 제네레이터부(40)에서 거짓 PET 이미지 세트를 이용하여 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지 판별하는 것일 수 있다.
복원 이미지 출력부(90)는 디스크리미네이터부(60)에서 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력한다.
도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지를 나타낸다.
복원 이미지 출력부(90)는 디스크리미네이터부(60)에서 실제 이미지 분류에 속하는 것으로 판별된 224 x 224 픽셀 사이즈를 가지는 단일 채널 이미지에 상, 하, 좌, 우측에 0의 행과 열을 추가하여 400 x 400 픽셀 사이즈를 가지는 복원 이미지를 생성하여 출력하는 것일 수 있다.
이하, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 성능을 평가하기 위하여, 짧은 시간 PET 스캔을 통한 딥러닝 기반의 복원 접근법의 타당성을 검토하였다.
도 9는 종래의 U-net 방식을 이용하여 생성된 PET 이미지이다.
도 2에 따른 PET 손실 이미지는 잡음 성분이 심하고, 영상 화질이 좋지 않으며, 도 8에 따른 본 발명에 따라 생성된 복원 이미지는 도 9에 따른 U-net에서 생성된 PET 이미지보다 해부학적 세부 정보를 더 잘 반영한다는 것을 알 수 있다.
본 발명과 U-net 방식 모두 잡음 성분을 현저히 감소시키지만, U-net은 본 발명의 방식보다 더 흐릿한 PET 이미지를 생성한다.
본 발명의 방식과 U-net 방식의 정량적 비교를 위해 테스트 데이터 세트(환자 58명)에 대한 평균 PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural SIMilarity), NRMSE(Normalized Root Mean Square Error)를 계산하였다.
| Parameters | PET 손실 이미지 | 복원 이미지 | U-net 방식으로 생성한 PET 이미지 |
| PSNR | 33.035 | 35.826 | 34.600 |
| SSIM | 0.884 | 0.882 | 0.869 |
| NRMSE | 15.421 | 11.286 | 12.921 |
표 1은 PET 손실 이미지, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 의해 생성된 복원 이미지, U-net 방식으로 생성한 PET 이미지의 PSNR, SSIM, NRMSE를 나타낸 것이다.
표 1을 참조하면, 복원 이미지의 PSNR과 SSIM이 가장 높고, NRMSE가 가장 낮은 것을 알 수 있다.
도 10은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 VOI(Volume Of Interest)의 변화에 따른 평균 SUVR(Standardized Uptake Value Ratio)의 변화를 나타내는 그래프이다.
도 10에 도시된 바와 같이, 대부분의 영역에서 복원 이미지(1001)와 PET 원본 이미지 사이(1001)에 매우 유사한 값이 표시되는 것을 알 수 있다.
도 11은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 피어슨 상관관계를 나타내는 그래프이다.
도 11에 도시된 바와 같이, 복원 이미지의 SUVR과 원본 이미지의 영상 (r = 0.998, p < 0.001) 사이에는 매우 강한 양의 상관관계가 있음을 알 수 있다.
도 12는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 Bland-Altman 분석을 나타내는 그래프이다.
Bland-Altman 분석은 두 가지 측정 방법으로 구해진 값의 오차가 어떠한지에 대해 또는 추정된 값과 실제 계측한 값의 차이가 있는지를 나타내는 그래프이다.
도 12를 참조하면, Bland-Altman 분석에서 복원 이미지와 PET 원본 이미지 간에서는 0.016(95% CI(신뢰 구간): 0.013, 0.019)의 매우 작은 SUVR 평균 차이가 나타난다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 짧은 시간 PET 스캔을 통한 딥러닝 기반의 복원법의 타당성을 조사에는, 2분 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영한 PET 손실 이미지와, 20분 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영한 PET 원본 이미지는 각각 입력 영상과 비교 영상으로 사용되었다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 의해 PET 손실 이미지에서 효율적인 복원 이미지를 생성한다는 것을 보여주었다.
복원 이미지와 PET 원본 이미지 사이의 모델 평가(PSNR, SSIM, NRMSE 등)을 위한 영상 품질 측정 기준을 계산하였다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는 짧은 시간 뇌를 촬영한 PET 손실 이미지의 잡음 성분을 억제함으로써 영상 화질을 향상시킨다.
이미지 품질을 평가하는 SSIM(Structural SIMilarity) 지수는 SSIM 공식에서 파라미터 
와, 
에 따라 달라지는데 여기서 L은 픽셀 값의 동적 범위이며, K는 일정한 상수이다. 복원 이미지에 대한 평균 SSIM 지수는 
, 
가 
, 
에서 
, 
로 증가하였을 때, 0.8818에서 0.9939로 증가하였다. 그러나, 이 경우, SSIM 지수의 변동은 매우 낮았다.
본 발명은 복원 이미지와 PET 손실 이미지 사이에 추가적인 평균 제곱 오차로 생성적 적대 신경망(Generative Adversarial Networks, GAN)을 채택하였다. 본 발명의 성능은 U-net과 비교되었다. U-net은 복원 이미지와 PET 원본 이미지 사이의 픽셀 손실만 최소화하여 이미지가 과부하되는 반면, 본 발명의 실시예에 따른 복원 이미지는 뇌의 상세 구조를 명확하게 복원한다는 이점이 있다.
PSNR, NRMSE, SSIM과 같은 이미지 품질 측정에서는 본 발명이 U-net을 능가했다. PET 손실 이미지에서 복원 이미지를 생성하는 데 걸린 시간은 GPU 시스템에서 수 ms 이내였고, 이는 본 발명에 대한 임상 사용에 매우 유용하게 만들 것이다.
아밀로이드 양전자 방출 단층 촬영(Positron Emission Tomography, PET) 이미지는 기억 장애 환자를 치료하기 위한 것이므로, 심층 학습 생성 이미지를 임상 판독 목적으로 사용할 수 있어야 한다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는 복원 이미지를 임상적으로 사용할 수 있는지 여부를 결정하기 위해 여러 가지 방법을 사용하였다.
의사가 PET 원본 이미지와 복원 이미지를 구별할 수 있는지 여부, 시각적 해석 결과의 차이점, 두 이미지에서 SUVR(Standardized Uptake Value Ratio, 표준섭취계수율)을 사용한 정략적 분석의 차이점 등 테스트를 실시하였다.
| Readers | Test 1 | Test 2 |
| 4yrs experienced physician | 26/58(44.8%) | 28/58(48.3%) |
| Over 15yrs experienced physician 1 | 37/58(63.8%) | 35/58(60.3%) |
| Over 15yrs experienced physician 2 | 26/58(44.8%) | 32/58(54.2%) |
표 2는 경력에 따른 의사별로 복원 이미지와 가짜인지 실제인지 구별하기 위한 테스트인 Test 1과, 동일한 환자의 복원 이미지와 PET 원본 이미지 중 PET 원본 이미지를 선택하기 위한 테스트인 Test 2의 결과를 표로 나타낸 것이다.
표 2를 참조하면, Test 1은 핵의학에서의 임상 판독 경력의 기간과 관계없이 전체적인 정확도가 높지 않은 것으로 나타났다.
또한, Test 2는 의사가 임상 판독에 경력이 많을수록 원본 PET 이미지를 선택하는 빈도(48.3% ~ 60.3%)가 높았다. 그러나, 전체적으로 임상의는 복원 이미지와 PET 원본 이미지를 잘 구분하지 못하였다.
바람직하게, PET 원본 이미지와 복원 이미지를 임상 판독하는 핵의학 전문의 3명에게 동시에 제시하였을 때, 원본 이미지 선정의 정확도는 40% ~ 60% 이내였다. 이것은 본 발명에 의해 생성된 복원 이미지가 PET 원본 이미지와 거의 구별되지 않음을 시사한다.
다음으로, 관찰자 내 일치점과 진단 정확도를 평가하기 위해 BAPL(Brain Amyloid Plaque Load) score 테스트를 실시하였다.
| Metric | Reader 1 | Reader 2 | Reader 3 | Mean |
| Accuracy | 91.4%(81.0, 97.1) | 89.7%(78.8, 96.1) | 86.2%(74.6, 93.9) | 89.1% |
| Sensitivity | 95.2%(83.8, 99.4) | 88.1%(74.4, 96.0) | 90.5%(77.4, 97.3) | 91.3% |
| Specificity | 81.3%(54.4, 96.0) | 93.8%(69.8, 99.8) | 75.0%(47.6, 92.7) | 83.3% |
표 3는 복원 이미지에 대해 BAPL score를 사용한 임상 판독에서 세 의사의 Accuracy, Sensitivity, Specificity를 나타낸 것이다. 또한, 표 3의 괄호 안의 데이터는 95% 신뢰 구간이다.
세 명의 의사는 복원 이미지를 BAPL score 시스템에 따라 평가했으며, 해석하기 어려운 부적절한 이미지는 없었다. 58명의 환자 중 5, 6, 8명의 환자에서 각 의사는 BAPL score는 Ground-Truth score와 다르게 평가하였다.
전체적으로, Accuracy, Sensitivity, Specificity에 대한 평균값(Mean)은 각각 89.1%, 91.3%, 83.3%로 나타났다.
| 원본 이미지 (Ground-Truth) | |||||||||||||
| Reader 1 | Reader 2 | Reader 3 | |||||||||||
| BS1 | BS2 | BS3 | Total | BS1 | BS2 | BS3 | Total | BS1 | BS2 | BS3 | Total | ||
| 복원 이미지 |
sBS1 | 13 | 2 | 0 | 15 | 15 | 5 | 0 | 20 | 12 | 4 | 0 | 16 |
| sBS2 | 3 | 16 | 0 | 19 | 1 | 13 | 0 | 14 | 4 | 14 | 0 | 18 | |
| sBS3 | 0 | 0 | 24 | 24 | 0 | 0 | 24 | 24 | 0 | 0 | 24 | 24 | |
| Total | 16 | 18 | 24 | 58 | 16 | 18 | 24 | 58 | 16 | 18 | 24 | 58 | |
표 4는 PET 원본 이미지와 복원 이미지 간에 BAPL score를 이용한 PET 영상 판독에 대한 Confusion Metrics를 나타낸 것이다.
여기서, BS는 Ground-Truth의 BAPL score를 의미하고, sBS는 복원 이미지의 BAPL score를 의미하며, GT는 Ground-Truth score를 의미하고, BS1은 BAPL 1(음성반응), BS2는 BAPL 2(약한 양성반응), BS3는 BAPL 3(강한 양성반응)를 의미하는 것일 수 있다.
BAPL 3(강한 양성반응)의 경우 3명의 의사 모두 100% 정확도를 보였지만, BAPL 1(음성반응)과 BAPL 2(약한 양성반응)의 경우 58명 중 5~8명 정도가 거짓 양성 또는 거짓 반응이었다. BAPL 1과 BAPL 2를 구별하는 육안 판독에서 아밀로이드 흡수가 얼마나 긍정적인지에 대한 해석에는 주관적인 부분이 있다.
육안 판독의 약점을 보완하기 위해, SUVR은 질병의 심각성이나 예후를 추론하기 위한 일상적인 실습에서 정략적 지표로 사용된다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지에서 52개 뇌 영역의 SUVR은 PET 원본 이미지의 값(r = 0.998, p < 0.001)과 매우 높은 상관관계를 보였다.
Bland-Altman 분석에서는 차이값의 평균이 0.016(1.6%)으로 나타났으며, SUVR 값 변동폭은 매우 작았다. 즉, 본 발명은 PET 원본 이미지와 비교할 수 있는 SUVR 값을 가진 복원 이미지를 생성할 수 있다.
이 결과를 종합해 보면, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 의해 생성된 복원 이미지는 임상 판독 목적으로 사용될 수 있음을 시사한다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다. 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 변경의 기본으로써 즉시 사용될 수 있음이 해당 기술분야의 숙련된 사람들에 의해 인식되어야 한다.
상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 변경 및 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 변경 및 변형 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 후술할 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치,
10: 손실 이미지 수집부,
20: 원본 이미지 수집부,
30: 크로핑부,
40: 제네레이터부,
50: 픽셀 단위 손실 산출부,
60: 디스크리미네이터부,
70: 오차값 산출부,
80: 거짓 이미지 세트 생성부,
90: 복원 이미지 출력부,
100: 인코더부,
110: 제1 인코더부,
111: 제1 인코더부의 제1 콘볼루션 레이어부,
113: 제1 인코더부의 제1 배치 정규화부,
115: 제1 인코더부의 제1 활성화부,
117: 제1 디컴포지션부,
117a: 제1 고주파 추출부,
117b: 제1 저주파 추출부,
130: 제2 인코더부,
131: 제2 인코더부의 제2 콘볼루션 레이어부,
133: 제2 인코더부의 제2 배치 정규화부,
135: 제2 인코더부의 제2 활성화부,
137: 제2 디컴포지션부,
137a: 제2 고주파 추출부,
137b: 제2 저주파 추출부,
150: 제3 인코더부,
151: 제3 인코더부의 제3 콘볼루션 레이어부,
153: 제3 인코더부의 제3 배치 정규화부,
155: 제3 인코더부의 제3 활성화부,
157: 제3 디컴포지션부,
157a: 제3 고주파 추출부,
157b: 제3 저주파 추출부,
200: 디코더부,
210: 제1 디코더부,
211: 제1 디코더부의 제1 콘볼루션 레이어부,
213: 제1 디코더부의 제1 배치 정규화부,
215: 제1 디코더부의 제1 활성화부,
217: 제1 리컴포지션부,
230: 제2 디코더부,
231: 제2 디코더부의 제2 콘볼루션 레이어부,
233: 제2 디코더부의 제2 배치 정규화부,
235: 제2 디코더부의 제2 활성화부,
237: 제2 리컴포지션부,
250: 제3 디코더부,
251: 제3 디코더부의 제3 콘볼루션 레이어부,
253: 제3 디코더부의 제3 배치 정규화부,
255: 제3 디코더부의 제3 활성화부,
257: 제3 리컴포지션부,
300: 제네레이터부의 선형화부,
400: 출력부,
610: 제1 특성맵 생성부,
611: 제1 특성맵 생성부의 제1 콘볼루션 레이어부,
613: 제1 특성맵 생성부의 제1 배치 정규화부,
615: 제1 특성맵 생성부의 제1 활성화부,
630: 제2 특성맵 생성부,
631: 제2 특성맵 생성부의 제2 콘볼루션 레이어부,
633: 제2 특성맵 생성부의 제2 배치 정규화부,
635: 제2 특성맵 생성부의 제2 활성화부,
650: 제3 특성맵 생성부,
651: 제3 특성맵 생성부의 제3 콘볼루션 레이어부,
653: 제3 특성맵 생성부의 제3 배치 정규화부,
655: 제3 특성맵 생성부의 제3 활성화부,
670: 디스크리미네이터부의 선형화부,
1001: 복원 이미지의 VOI의 변화에 따른 평균 SUVR의 변화,
1003: PET 원본 이미지의 VOI의 변화에 따른 평균 SUVR의 변화.
10: 손실 이미지 수집부,
20: 원본 이미지 수집부,
30: 크로핑부,
40: 제네레이터부,
50: 픽셀 단위 손실 산출부,
60: 디스크리미네이터부,
70: 오차값 산출부,
80: 거짓 이미지 세트 생성부,
90: 복원 이미지 출력부,
100: 인코더부,
110: 제1 인코더부,
111: 제1 인코더부의 제1 콘볼루션 레이어부,
113: 제1 인코더부의 제1 배치 정규화부,
115: 제1 인코더부의 제1 활성화부,
117: 제1 디컴포지션부,
117a: 제1 고주파 추출부,
117b: 제1 저주파 추출부,
130: 제2 인코더부,
131: 제2 인코더부의 제2 콘볼루션 레이어부,
133: 제2 인코더부의 제2 배치 정규화부,
135: 제2 인코더부의 제2 활성화부,
137: 제2 디컴포지션부,
137a: 제2 고주파 추출부,
137b: 제2 저주파 추출부,
150: 제3 인코더부,
151: 제3 인코더부의 제3 콘볼루션 레이어부,
153: 제3 인코더부의 제3 배치 정규화부,
155: 제3 인코더부의 제3 활성화부,
157: 제3 디컴포지션부,
157a: 제3 고주파 추출부,
157b: 제3 저주파 추출부,
200: 디코더부,
210: 제1 디코더부,
211: 제1 디코더부의 제1 콘볼루션 레이어부,
213: 제1 디코더부의 제1 배치 정규화부,
215: 제1 디코더부의 제1 활성화부,
217: 제1 리컴포지션부,
230: 제2 디코더부,
231: 제2 디코더부의 제2 콘볼루션 레이어부,
233: 제2 디코더부의 제2 배치 정규화부,
235: 제2 디코더부의 제2 활성화부,
237: 제2 리컴포지션부,
250: 제3 디코더부,
251: 제3 디코더부의 제3 콘볼루션 레이어부,
253: 제3 디코더부의 제3 배치 정규화부,
255: 제3 디코더부의 제3 활성화부,
257: 제3 리컴포지션부,
300: 제네레이터부의 선형화부,
400: 출력부,
610: 제1 특성맵 생성부,
611: 제1 특성맵 생성부의 제1 콘볼루션 레이어부,
613: 제1 특성맵 생성부의 제1 배치 정규화부,
615: 제1 특성맵 생성부의 제1 활성화부,
630: 제2 특성맵 생성부,
631: 제2 특성맵 생성부의 제2 콘볼루션 레이어부,
633: 제2 특성맵 생성부의 제2 배치 정규화부,
635: 제2 특성맵 생성부의 제2 활성화부,
650: 제3 특성맵 생성부,
651: 제3 특성맵 생성부의 제3 콘볼루션 레이어부,
653: 제3 특성맵 생성부의 제3 배치 정규화부,
655: 제3 특성맵 생성부의 제3 활성화부,
670: 디스크리미네이터부의 선형화부,
1001: 복원 이미지의 VOI의 변화에 따른 평균 SUVR의 변화,
1003: PET 원본 이미지의 VOI의 변화에 따른 평균 SUVR의 변화.
Claims (19)
- 기설정된 제1 시간 동안 뇌를 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 손실 이미지 수집부;
상기 제1 시간보다 긴 제2 시간 동안 뇌를 단층 촬영함에 따라 획득되되, 상기 PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집하는 원본 이미지 수집부;
상기 PET 손실 이미지의 상기 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성하는 제네레이터부;
상기 PET 손실 이미지와 상기 PET 원본 이미지 사이의 평균 제곱 오차에 기초하여 픽셀 단위 손실값을 산출하는 픽셀 단위 손실 산출부;
상기 제네레이터부에서 생성된 상기 복수 개의 유사 PET 이미지들과 상기 PET 원본 이미지를 비교하여 상기 유사 PET 이미지가 상기 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 상기 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별하는 디스크리미네이터부; 및
상기 디스크리미네이터부에서 상기 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력하는 복원 이미지 출력부;를 포함하고,
상기 손실 이미지 수집부는,
상기 제1 시간 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 상기 PET 손실 이미지를 수집하는 것이며,
상기 원본 이미지 수집부는,
상기 제2 시간 동안 뇌를 상기 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 상기 PET 원본 이미지를 수집하는 것이고,
상기 제네레이터부는,
상기 PET 손실 이미지를 이용하여 상기 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀값을 상기 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 디스크리미네이터부에서 상기 거짓 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지와 상기 PET 원본 이미지 사이의 오차값을 산출하는 오차값 산출부; 및
상기 디스크리미네이터부에서 상기 거짓 이미지 분류에 속하는 것으로 판별된 복수 개의 유사 PET 이미지들 각각의 상기 오차값을 비교하여, 상기 오차값이 기설정된 임계값 이하의 유사 PET 이미지를 제거하고 상기 임계값을 초과하는 유사 PET 이미지들에 따른 복수 개의 거짓 PET 이미지 세트들을 기설정된 생성적 적대 신경망 모델에 기초하여 생성하는 거짓 이미지 세트 생성부;를 더 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제4항에 있어서,
상기 제네레이터부는,
상기 거짓 이미지 세트 생성부에서 생성된 상기 거짓 PET 이미지 세트를 이용하여 상기 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀값을 평균 제곱 오차에 기초한 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제1항에 있어서,
상기 디스크리미네이터부는,
상기 PET 원본 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 상기 PET 원본 이미지의 특징맵을 추출하는 콘볼루션 레이어부;
상기 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 배치 정규화부;
상기 배치 정규화된 상기 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 특징맵을 생성하는 활성화부; 및
상기 활성화된 특징맵에 상기 제1 콘볼루션 레이어보다 상대적으로 작은 필터 커널 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 입력받은 상기 PET 원본 이미지의 크기와 일치하도록 조정하여 선형화된 PET 원본 이미지를 생성하는 선형화부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제6항에 있어서,
상기 디스크리미네이터부는,
상기 제네레이터부에서 생성한 상기 복수 개의 유사 PET 이미지들과 상기 선형화된 PET 원본 이미지를 비교하여 상기 유사 PET 이미지와 상기 선형화된 PET 원본 이미지 사이의 오차값이 기설정된 임계값 이하인지 여부를 판별하여 상기 유사 PET 이미지가 상기 선형화된 PET 원본 이미지에 대응되는지 여부를 판별하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제1항에 있어서,
상기 제네레이터부는,
상기 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징을 추출하고, 상기 PET 손실 이미지의 픽셀 사이즈를 축소시키는 디컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 상기 PET 손실 이미지의 특징맵을 생성하는 인코더부; 및
상기 PET 손실 이미지의 특징맵을 입력받아 상기 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징맵의 특징을 추출하고, 상기 PET 손실 이미지의 특징맵의 픽셀 사이즈를 확대시키는 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성하는 디코더부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제8항에 있어서,
상기 인코더부는,
상기 PET 손실 이미지를 입력받아 상기 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징을 추출하고, 상기 디컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성하는 제1 인코더부;
상기 제1 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 제1 특징맵의 특징을 추출하고, 상기 디컴포지션 함수를 이용하여 상기 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성하는 제2 인코더부; 및
상기 제2 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 제2 특징맵의 특징을 추출하고, 상기 디컴포지션 함수를 이용하여 상기 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 상기 PET 손실 이미지의 특징맵을 생성하는 제3 인코더부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제8항에 있어서,
상기 디코더부는,
상기 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징맵의 특징을 추출하고, 상기 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성하는 제1 디코더부;
상기 제1 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 제1 유사 이미지의 특징을 추출하고, 상기 리컴포지션 함수를 이용하여 상기 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성하는 제2 디코더부; 및
상기 제2 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 제2 유사 이미지의 특징을 추출하고, 상기 리컴포지션 함수를 이용하여 상기 인코더부에서 입력받은 상기 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성하는 제3 디코더부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제9항에 있어서,
상기 제1 인코더부는,
상기 PET 손실 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 상기 PET 손실 이미지의 특징을 추출하는 제1 콘볼루션 레이어부;
상기 PET 손실 이미지에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 PET 손실 이미지에 속하는 픽셀값들의 분포를 배치 정규화하는 제1 배치 정규화부;
상기 배치 정규화된 상기 PET 손실 이미지를 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 PET 손실 이미지 생성하는 제1 활성화부; 및
상기 활성화된 PET 손실 이미지에 상기 디컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성하는 제1 디컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제11항에 있어서,
상기 제2 인코더부는,
상기 제1 특징맵를 입력받아 기설정된 필터 커널 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 상기 제1 특징맵의 특징을 추출하는 제2 콘볼루션 레이어부;
상기 제1 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제1 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 제2 배치 정규화부;
상기 배치 정규화된 상기 제1 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제1 특징맵을 생성하는 제2 활성화부; 및
상기 활성화된 제1 특징맵에 상기 디컴포지션 함수를 이용하여 상기 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성하는 제2 디컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제12항에 있어서,
상기 제3 인코더부는,
상기 제2 특징맵를 입력받아 기설정된 필터 커널 사이즈를 가지는 제3 콘볼루션 레이어를 이용하여 상기 제2 특징맵의 특징을 추출하는 제3 콘볼루션 레이어부;
상기 제2 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제2 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 제3 배치 정규화부;
상기 배치 정규화된 상기 제2 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제2 특징맵을 생성하는 제3 활성화부; 및
상기 활성화된 제2 특징맵에 상기 디컴포지션 함수를 이용하여 상기 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 상기 PET 손실 이미지의 특징맵을 생성하는 제3 디컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제10항에 있어서,
상기 제1 디코더부는,
상기 PET 손실 이미지의 특징맵을 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 상기 PET 손실 이미지의 특징맵의 특징을 추출하는 제1 콘볼루션 레이어부;
상기 PET 손실 이미지의 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 PET 손실 이미지의 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 제1 배치 정규화부;
상기 배치 정규화된 상기 PET 손실 이미지의 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 PET 손실 이미지의 특징맵을 생성하는 제1 활성화부; 및
상기 활성화된 PET 손실 이미지의 특징맵에 상기 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성하는 제1 리컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제14항에 있어서,
상기 제2 디코더부는,
상기 제1 유사 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 상기 제1 유사 이미지의 특징을 추출하는 제2 콘볼루션 레이어부;
상기 제1 유사 이미지에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제1 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화하는 제2 배치 정규화부;
상기 배치 정규화된 상기 제1 유사 이미지를 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제1 유사 이미지를 생성하는 제2 활성화부; 및
상기 활성화된 제1 유사 이미지에 상기 리컴포지션 함수를 이용하여 상기 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성하는 제2 리컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제15항에 있어서,
상기 제3 디코더부는,
상기 제2 유사 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제3 콘볼루션 레이어를 이용하여 상기 제2 유사 이미지의 특징을 추출하는 제3 콘볼루션 레이어부;
상기 제2 유사 이미지에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제2 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화하는 제3 배치 정규화부;
상기 배치 정규화된 상기 제2 유사 이미지를 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제2 유사 이미지를 생성하는 제3 활성화부; 및
상기 활성화된 제2 유사 이미지에 상기 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 상기 유사 PET 이미지를 생성하는 제3 리컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제11항에 있어서,
상기 제1 디컴포지션부는,
상기 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하는 제1 고주파 추출부; 및
상기 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출하는 제1 저주파 추출부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제12항에 있어서,
상기 제2 디컴포지션부는,
상기 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하는 제2 고주파 추출부; 및
상기 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출하는 제2 저주파 추출부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치. - 제13항에 있어서,
상기 제3 디컴포지션부는,
상기 PET 손실 이미지의 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하는 제3 고주파 추출부; 및
상기 PET 손실 이미지의 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출하는 제3 저주파 추출부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200061337A KR102351283B1 (ko) | 2020-05-22 | 2020-05-22 | 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200061337A KR102351283B1 (ko) | 2020-05-22 | 2020-05-22 | 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210145003A KR20210145003A (ko) | 2021-12-01 |
| KR102351283B1 true KR102351283B1 (ko) | 2022-01-14 |
Family
ID=78933877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200061337A KR102351283B1 (ko) | 2020-05-22 | 2020-05-22 | 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102351283B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102461893B1 (ko) * | 2020-12-23 | 2022-11-01 | 동아대학교 산학협력단 | 뇌질환 판단을 위한 최소 자승법 기반의 pet 영상 중기 데이터 예측 장치 및 그 방법 |
| KR102444082B1 (ko) * | 2022-02-22 | 2022-09-16 | 뉴로핏 주식회사 | 치매 진단 보조 정보 제공 장치 및 방법 |
| KR102593628B1 (ko) * | 2023-07-10 | 2023-10-24 | 주식회사 뉴큐어엠 | 고품질 의료 영상 생성 방법 및 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019211475A (ja) | 2018-05-31 | 2019-12-12 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975186B1 (ko) | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법 |
| KR102157867B1 (ko) * | 2018-11-13 | 2020-09-18 | 서강대학교산학협력단 | 딥러닝에 기반한 고속 양전자단층촬영 영상 획득 장치 및 방법 |
| KR102034248B1 (ko) | 2019-04-19 | 2019-10-18 | 주식회사 루닛 | GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템 |
-
2020
- 2020-05-22 KR KR1020200061337A patent/KR102351283B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019211475A (ja) | 2018-05-31 | 2019-12-12 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及びプログラム |
Non-Patent Citations (2)
| Title |
|---|
| Islam J, Zhang Y. GAN-based synthetic brain PET image generation. Brain Inform. Published 2020 Mar 30. doi:10.1186/s40708-020-00104-2. 2020년 3월 30일 공개.* |
| Pozaruk, A.et al. Augmented deep learning model for improved quantitative accuracy of MR-based PET attenuation correction in PSMA PET-MRI prostate imaging. 2020년 5월 11일 공개 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210145003A (ko) | 2021-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102351283B1 (ko) | 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치 | |
| US11633169B2 (en) | Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same | |
| US5657362A (en) | Automated method and system for computerized detection of masses and parenchymal distortions in medical images | |
| CN103249358B (zh) | 医用图像处理装置 | |
| EP1302163A2 (en) | Method and apparatus for calculating an index of local blood flows | |
| EP2869261B1 (en) | Method for processing image data representing a three-dimensional volume | |
| US8452067B2 (en) | Method for generating bone mask | |
| Yang | Multimodal medical image fusion through a new DWT based technique | |
| Jafari-Khouzani et al. | Comparison of 2D and 3D wavelet features for TLE lateralization | |
| JP4302180B2 (ja) | 局所血流動態に関するインデックスを演算する方法及び装置 | |
| Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks | |
| Michopoulou | Image analysis for the diagnosis of MR images of the lumbar spine | |
| Mahalakshmi et al. | Brain tumour segmentation strategies utilizing mean shift clustering and content based active contour segmentation | |
| Benrabha et al. | Automatic ROI detection and classification of the achilles tendon ultrasound images | |
| CN115456890A (zh) | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 | |
| US20070053570A1 (en) | Image processing method, and computer-readable recording medium in which image processing program is recorded | |
| Materka et al. | On the effect of image brightness and contrast nonuniformity on statistical texture parameters | |
| JP4864909B2 (ja) | 画像処理装置 | |
| Salehi et al. | Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab | |
| KR102319326B1 (ko) | 구조적 자기공명영상을 이용한 피험자 내 및 피험자 간 변동성 기반 예측 모델 생성 방법 및 그 장치 | |
| Bandyopadhyay | Image enhancement technique applied to low-field MR brain images | |
| Rajasekhar et al. | Multilevel medical image fusion using multi-level local extrema and non sub-sampled contourlet transformation | |
| Mahalakshmi et al. | Performance Analysis of SVM and Deep Learning with CNN for Brain Tumor Detection and Classification | |
| Asokan et al. | Medical image fusion using stationary wavelet transform with different wavelet families | |
| KR102647726B1 (ko) | Ct 영상의 정상스캔 여부를 자동으로 평가하는 방법, 시스템 및 비일시성 판독 가능 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |