KR20210145003A - Apparatus for restoring short scanning brain tomographic image using deep-learning - Google Patents

Apparatus for restoring short scanning brain tomographic image using deep-learning Download PDF

Info

Publication number
KR20210145003A
KR20210145003A KR1020200061337A KR20200061337A KR20210145003A KR 20210145003 A KR20210145003 A KR 20210145003A KR 1020200061337 A KR1020200061337 A KR 1020200061337A KR 20200061337 A KR20200061337 A KR 20200061337A KR 20210145003 A KR20210145003 A KR 20210145003A
Authority
KR
South Korea
Prior art keywords
image
pet
unit
feature map
pixel
Prior art date
Application number
KR1020200061337A
Other languages
Korean (ko)
Other versions
KR102351283B1 (en
Inventor
정영진
강도영
박형석
전기완
Original Assignee
동아대학교 산학협력단
기초과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단, 기초과학연구원 filed Critical 동아대학교 산학협력단
Priority to KR1020200061337A priority Critical patent/KR102351283B1/en
Publication of KR20210145003A publication Critical patent/KR20210145003A/en
Application granted granted Critical
Publication of KR102351283B1 publication Critical patent/KR102351283B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an apparatus for restoring a brain tomographic image captured in a short time using deep learning, which reduces a patient's inconvenience. More specifically, the apparatus comprises: a loss image collection unit collecting a positron emission tomography (PET) loss image including noise components acquired by performing brain PET for a set first time; an original image collection unit collecting an original PET image acquired by performing the brain PET corresponding to the PET loss image for a second time longer than the first time; a generation unit generating a plurality of similar PET images by removing the noise components of the PET loss image; a discrimination unit comparing the plurality of similar PET images generated by the generation unit with the original PET image to determine whether the similar PET image belongs to an actual image classification corresponding to the original PET image or a false image classification not corresponding to the original PET image; and a restored image output unit generating and outputting a restored image on the basis of the similar PET image determined to belong to the actual image classification in the discrimination unit.

Description

딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치{APPARATUS FOR RESTORING SHORT SCANNING BRAIN TOMOGRAPHIC IMAGE USING DEEP-LEARNING}Brain tomography image restoration device taken in a short time using deep learning

본 발명은 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 관한 것으로, 더욱 상세하게는, 짧은 시간 촬영한 PET 영상으로부터 표준 시간 촬영한 PET 영상을 딥러닝에 기초하여 짧은 시간 촬영한 PET 영상에서 발생하는 잡음 성분을 제거하고자 한다.The present invention relates to an apparatus for restoring a brain tomography image taken for a short time using deep learning, and more particularly, a PET image taken at a standard time from a PET image taken for a short time and a PET image taken for a short time based on deep learning. We want to remove the noise component that occurs in the image.

아밀로이드 양전자 방출 단층 촬영(PET)은 뇌에 아밀로이드 퇴적물을 보여주는 핵의학 영상 검사이며, 현재 아밀로이드의 축적이 원인으로 알려진 알츠하이머병(Alzheimer`s disease) 진단에 사용되고 있다.Amyloid positron emission tomography (PET) is a nuclear medicine imaging test that shows amyloid deposits in the brain, and is currently used to diagnose Alzheimer's disease, which is known to be caused by amyloid accumulation.

아밀로이드 PET용 상용 방사성 의약품에 따라 획득 프로토콜에 다소 차이가 있지만, F-18 플로르베타벤(FBB)의 경우 대부분 20분 동안 촬영해야 한다.Although there are some differences in the acquisition protocol according to commercial radiopharmaceuticals for amyloid PET, in most cases for F-18 fluorbetaben (FBB), imaging should be taken for 20 minutes.

장시간 스캔 획득 시 머리 움직임이 심하면 PET 영상에 심각한 모션 아티팩트가 발생하여 진단 성능이 저하된다. 치매에 걸린 일부 고령 환자의 경우 머리의 심한 움직임 때문에 재스캔(또는 추가 방사선 노출)을 해야하는 경우가 적지 않다. If the head moves excessively when acquiring a scan for a long time, severe motion artifacts occur in the PET image, which deteriorates diagnostic performance. Some elderly patients with dementia often require a rescan (or additional radiation exposure) due to severe head movements.

따라서 치매 환자의 PET 사용이 증가함에 따라 스캔 시간 단축에 대한 수요가 증가하고 있다. Therefore, as the use of PET in dementia patients increases, the demand for shortening the scan time is increasing.

그러나 짧은 스캔 시간에서 얻은 PET 영상은 낮은 신호 대 잡음 비와 진단 신뢰성 저하로 인해 어려움을 겪는다. 최근에는 컴퓨터 단층촬영(CT), 자기공명영상(MRI), PET 등 의료 영상에 영상복원을 위한 딥러닝 기법이 널리 적용되고 있으며, 그 중 일부는 저선량 PET 영상복원에 딥러닝 기법을 사용했으며 영상 잡음 아티팩트를 줄일 수 있는 가능성을 보였다. 뇌 PET의 획득 시간을 줄여 촬영된 잡음 성분을 줄이고 영상의 품질을 개선하는 연구는 몇 가지에 불과했다.However, PET images obtained at short scan times suffer from low signal-to-noise ratios and reduced diagnostic reliability. Recently, deep learning techniques for image restoration have been widely applied to medical images such as computed tomography (CT), magnetic resonance imaging (MRI), and PET, and some of them used deep learning techniques to restore low-dose PET images. It showed the potential to reduce noise artifacts. There are only a few studies that reduce the acquisition time of brain PET to reduce noise components and improve image quality.

뇌 PET 이미지를 복원하기 위해 PET/MR 스캐너에서 얻은 추가 MR 정보를 사용했지만, PET/MR 스캐너는 매우 비싸고 아직 널리 설치되지 않았다. 대부분의 병원에서는 PET/CT 스캐너가 사용되기 때문에 MRI 정보없이 PET만 사용하는 복구 기법이 필요한 실정이다.Additional MR information obtained from PET/MR scanners was used to reconstruct brain PET images, but PET/MR scanners are very expensive and have not yet been widely installed. Since PET/CT scanners are used in most hospitals, there is a need for a recovery technique that uses only PET without MRI information.

KRUS 10-203424810-2034248 B1B1 KRUS 10-197518610-1975186 B1B1

본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 짧은 시간 촬영한 PET 이미지를 딥러닝을 이용하여 짧은 시간 PET 이미지를 복원하기 위한 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to solve the above problem, and to provide a brain tomography image restoration device taken for a short time using deep learning for restoring a short time PET image using deep learning for a PET image taken for a short time. aim to

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood from the description below.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는, 기설정된 제1 시간 동안 뇌를 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 손실 이미지 수집부와, 제1 시간보다 긴 제2 시간 동안 뇌를 단층 촬영함에 따라 획득되되, PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집하는 원본 이미지 수집부와, PET 손실 이미지의 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성하는 제네레이터부와, 제네레이터부에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별하는 디스크리미네이터부와, 디스크리미네이터부에서 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력하는 복원 이미지 출력부를 포함한다.The apparatus for restoring a brain tomography image taken for a short time using deep learning according to an aspect of the present invention for achieving the above object is a PET loss including a noise component obtained by tomography the brain for a first preset time. A loss image collection unit for collecting images, an original image collection unit for collecting an original PET image obtained by tomography of the brain for a second time period longer than the first time, and collecting a tomographic PET image corresponding to the PET loss image; A generator unit that generates a plurality of similar PET images by removing the noise component of the lost image, and a plurality of similar PET images generated by the generator unit are compared with the original PET image so that the similar PET image corresponds to the original PET image. A discriminator unit that determines whether it belongs to the classification or a false image classification that does not correspond to the original PET image, and the discriminator unit generates and outputs a restored image based on the similar PET image determined to belong to the real image classification and a restored image output unit.

본 발명에 따르면, 짧은 시간 촬영한 PET 이미지를 딥러닝을 이용하여 표준 시간 촬영한 PET 이미지와 대응되는 PET 이미지로 복원할 수 있다는 효과가 있다.According to the present invention, there is an effect that a PET image taken for a short time can be restored into a PET image corresponding to a PET image taken at a standard time using deep learning.

본 발명에 따르면, 짧은 시간 촬영한 PET 이미지를 복원한 복원 이미지를 실제 임상 판독 목적으로 사용될 수 있는 효과가 있다.According to the present invention, there is an effect that a reconstructed image obtained by reconstructing a PET image taken for a short time can be used for actual clinical reading purposes.

본 발명에 따르면, 짧은 시간 촬영한 PET 이미지를 인코더 및 디코더함에 있어서, 디컴포지션, 리컴포지션을 수행함에 따라 고주파 성분, 저주파 성분을 추출하여 이미지의 특징을 분석함으로써, 풀링 또는 언풀링을 사용하는 것보다 이미지 특징을 더 자세히 분석, 추출할 수 있는 효과가 있다.According to the present invention, in the encoder and decoder of a PET image taken for a short time, by performing decomposition and recomposition, high-frequency components and low-frequency components are extracted and the characteristics of the image are analyzed, thereby using pooling or unpooling. It has the effect of analyzing and extracting image features in more detail.

본 발명에 따르면, PET 이미지를 디컴포지션함에 있어서, 고역 통과 필터를 이용하여 이미지의 대각선, 수직, 수평 방향에 따라 각기 다른 이미지의 특징맵을 생성함으로써, 풀링을 사용하는 것보다 더 자세한 이미지의 특징을 추출할 수 있는 효과가 있다.According to the present invention, when decomposing a PET image, a high-pass filter is used to generate different image feature maps according to the diagonal, vertical, and horizontal directions of the image, thereby providing more detailed image features than using pooling. can be extracted.

본 발명에 따르면, 별도의 영상 잡음 보정 장치 필요없이, 짧은 시간 촬영한 PET 이미지로부터 잡음 성분이 제거된 PET 이미지를 획득할 수 있는 효과가 있다.According to the present invention, it is possible to obtain a PET image from which a noise component is removed from a PET image taken for a short time without the need for a separate image noise correction device.

본 발명에 따르면, 표준 시간보다 짧은 시간 동안 뇌를 PET 촬영하기 때문에, 환자의 불편함을 줄일 수 있는 효과가 있다.According to the present invention, since the brain is PET taken for a shorter time than the standard time, there is an effect that can reduce the discomfort of the patient.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 PET 손실 이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 PET 원본 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 제네레이터부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 제네레이터부를 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 디스크리미네이터부를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 디스크리미네이터부를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지를 설명하기 위한 도면이다.
도 9는 종래의 U-net 방식을 이용하여 생성된 PET 이미지이다.
도 10은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 VOI의 변화에 따른 평균 SUVR의 변화를 나타내는 그래프이다.
도 11은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 피어슨 상관관계를 나타내는 그래프이다.
도 12는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 Bland-Altman 분석을 나타내는 그래프이다.
1 is a block diagram for explaining an apparatus for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention.
2 is a view for explaining a PET loss image of the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.
3 is a view for explaining the original PET image of the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.
4 is a view for explaining a generator unit of a brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.
5 is a block diagram illustrating a generator unit of an apparatus for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention.
6 is a view for explaining the discriminator unit of the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.
7 is a block diagram for explaining a discriminator unit of a brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.
8 is a view for explaining a restored image of the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.
9 is a PET image generated using the conventional U-net method.
10 is a graph showing changes in average SUVR according to changes in VOI of a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning and a PET original image according to an embodiment of the present invention.
11 is a graph illustrating a Pearson correlation between a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning and an original PET image according to an embodiment of the present invention.
12 is a graph illustrating a Bland-Altman analysis of a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning and an original PET image according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참고하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로서, 본 발명은 청구항의 기재에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함된다. 이하, 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하도록 한다.Advantages and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the description of the claims. On the other hand, the terms used in the present specification are for describing the embodiments, and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless otherwise specified in the phrase. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

또한, 본 발명의 실시예들에 있어서, 기능적으로 동일한 구성요소는 도면 부호를 일치시켜 설명하도록 하고, 반복 설명은 생략하도록 한다.In addition, in the embodiments of the present invention, functionally identical components will be described with the same reference numerals, and repeated descriptions will be omitted.

도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치(1)는 손실 이미지 수집부(10), 원본 이미지 수집부(20), 크로핑부(30), 제네레이터부(40), 픽셀 단위 손실 산출부(50), 디스크리미네이터부(60), 오차값 산출부(70), 거짓 이미지 세트 생성부(80), 복원 이미지 출력부(90)를 포함한다.Referring to FIG. 1 , the apparatus 1 for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention includes a loss image collecting unit 10 , an original image collecting unit 20 , and a cropping unit. 30 , the generator unit 40 , the pixel-unit loss calculation unit 50 , the discriminator unit 60 , the error value calculation unit 70 , the false image set generation unit 80 , the restored image output unit 90 . ) is included.

도 2를 참조하면, 손실 이미지 수집부(10)는 기설정된 제1 시간 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집한다.Referring to FIG. 2 , the loss image collecting unit 10 collects PET loss images including noise components obtained by performing F-18 florbetaben positron emission tomography of the brain for a first preset time.

여기서, PET 손실 이미지는 1분 내지 3분 동안 뇌를 단층 촬영한 이미지일 수 있으며, 손실 이미지 수집부(10)는 400 X 400 픽셀 사이즈의 200내지 300 환자의 PET 손실 이미지를 수집하는 것일 수 있다.Here, the PET loss image may be a tomography image of the brain for 1 to 3 minutes, and the loss image collecting unit 10 may collect PET loss images of 200 to 300 patients with a size of 400 X 400 pixels. .

한편, 손실 이미지 수집부(10)는 Amyloid PET Radiotracer에 의해 아밀로이드 제재가 투여된 뇌를 F-18 플로르베타벤(Florbetaben) 양전자 방출 단층 촬영(Positron Emission Tomography, PET)함에 따라 획득되는 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 것일 수 있다.On the other hand, the loss image collecting unit 10 includes a noise component obtained by performing F-18 Florbetaben Positron Emission Tomography (PET) of the brain to which the amyloid agent has been administered by the Amyloid PET Radiotracer. It may be to collect PET loss images.

한편, PET 손실 이미지에 있어서, 아밀로이드가 침착된 부분은 하얀색에 가까운 색상을 가지는 것일 수 있다.On the other hand, in the PET loss image, the amyloid-deposited portion may have a color close to white.

여기서, 하얀색에 가까운 색상이라는 것은 PET 손실 이미지에 있어서, 검은색 부분과 대비되는 회색 또는 하얀색으로 나타나는 픽셀 부분들의 색상을 의미하는 것일 수 있다.Here, the color close to white may mean the color of pixel portions displayed in gray or white in contrast to the black portion in the PET loss image.

PET 손실 이미지에 있어서, 뇌 영역에 해당하는 부분을 경계로 하여 테두리가 형성되는 것일 수 있으며, 뇌 영역에 속하는 세포 또는 조직 부분의 픽셀이 아밀로이드 침착 정도에 따라서 하얀색에 가까운 색상을 가지는 것일 수 있다.In the PET loss image, a border may be formed with a portion corresponding to the brain region as a boundary, and pixels of a cell or tissue portion belonging to the brain region may have a color close to white depending on the degree of amyloid deposition.

도 3을 참조하면, 원본 이미지 수집부(20)는 제1 시간보다 긴 제2 시간 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 획득되되, PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집한다.Referring to FIG. 3 , the original image collection unit 20 is obtained by performing F-18 fluorbetaben positron emission tomography of the brain for a second time period longer than the first time period, and the PET tomography corresponding to the PET loss image. Collect the original image.

PET 원본 이미지는 10분 내지 60분 동안 뇌를 F-18 플로르베타벤(Florbetaben) 양전자 방출 단층 촬영한 이미지일 수 있으며, 원본 이미지 수집부(150)는 400 X 400 픽셀 사이즈의 200 내지 300 환자의 PET 원본 이미지를 수집하는 것일 수 있다.The PET original image may be an image obtained by F-18 florbetaben positron emission tomography of the brain for 10 to 60 minutes, and the original image collecting unit 150 is a 400 X 400 pixel size of 200 to 300 patients. It may be collecting PET original images.

크로핑부(30)는 PET 손실 이미지에 있어서 에지를 검출하여 에지 내부의 영역을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.The cropping unit 30 may detect an edge in the PET loss image, extract a region inside the edge as a brain region, and remove the background region.

뇌 영역은 배경 영역과 대비하여 명도 값의 차이가 크므로 뇌 영역과 배경 영역을 에지 검출에 따라 쉽게 구분해 수 있다.Since the brain region has a large difference in brightness value compared to the background region, the brain region and the background region can be easily distinguished according to edge detection.

크로핑부(30)는 PET 손실 이미지에 대해 에지 검출을 수행함에 따라 추출되는 에지 성분들에 각각 대응되는 픽셀들을 연결하여 폐곡선을 생성하도록 하고, 곡률 반경이 작은 쪽인 폐곡선의 안쪽을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.The cropping unit 30 generates a closed curve by connecting pixels corresponding to edge components extracted as edge detection is performed on the PET loss image, and extracts the inside of the closed curve, which has a smaller radius of curvature, into the brain region. It may be to remove the background area.

크로핑부(30)는 에지는 영상에서 명도의 변화가 많은 부분에서 발생하므로 인접해 있는 픽셀들 간의 픽셀값을 비교하여 차이가 큰 경우를 변화하는 경계에 해당되는 부분으로 하여 에지 영역을 추출하도록 하고 뇌 영역과 배경 영역을 구분하는 것일 수 있다.The cropping unit 30 extracts the edge region by comparing the pixel values between adjacent pixels as the part corresponding to the changing boundary by comparing the pixel values between adjacent pixels since the edge occurs in a part where the brightness changes in the image. It may be to distinguish between a brain region and a background region.

크로핑부(30)에 의해 PET 손실 이미지는 400 X 400 픽셀의 사이즈에서 224 X 224 픽셀의 사이즈로 변환될 수 있다.The cropping unit 30 may convert the PET loss image from a size of 400 X 400 pixels to a size of 224 X 224 pixels.

제네레이터부(40)는 PET 손실 이미지를 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성한다.The generator unit 40 removes a noise component from the lost PET image to generate a plurality of similar PET images.

도 4 및 도 5를 참조하면, 제네레이터부(40)는 인코더부(100), 디코더부(200), 선형화부(300), 출력부(400)를 포함한다.4 and 5 , the generator unit 40 includes an encoder unit 100 , a decoder unit 200 , a linearization unit 300 , and an output unit 400 .

인코더부(100)는 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징을 추출하고, PET 손실 이미지의 픽셀 사이즈를 축소시키는 디컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 PET 손실 이미지의 특징맵을 생성한다.The encoder unit 100 filters the PET loss image according to the convolution operation, extracts the characteristics of the PET loss image, and uses a decomposition function that reduces the pixel size of the PET loss image relatively to the pixel size of the lost PET image. A feature map of the PET loss image with a small pixel size is generated.

인코더부(100)는 제1 인코더부(110), 제2 인코더부(130), 제3 인코더부(150)를 포함한다.The encoder unit 100 includes a first encoder unit 110 , a second encoder unit 130 , and a third encoder unit 150 .

제1 인코더부(110)는 PET 손실 이미지를 입력받아 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징을 추출하고, 디컴포지션(Wavelet-Decomposition) 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성한다.The first encoder unit 110 receives the PET loss image, filters the PET loss image by convolution operation, extracts the characteristics of the PET loss image, and uses a wavelet-decomposition function to pixels of the lost PET image. A first feature map having a pixel size that is relatively smaller than the size is generated.

제1 인코더부(110)는 제1 콘볼루션 레이어부(111), 제1 배치 정규화부(113), 제1 활성화부(115), 제1 디컴포지션부(117)를 포함한다.The first encoder unit 110 includes a first convolutional layer unit 111 , a first batch normalization unit 113 , a first activation unit 115 , and a first decomposition unit 117 .

제1 콘볼루션 레이어부(111)는 PET 손실 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 PET 손실 이미지의 특징을 추출한다.The first convolutional layer unit 111 receives the PET loss image and extracts features of the PET loss image using the first convolutional layer having a preset filter kernel size.

제1 콘볼루션 레이어부(111)는 서로 다른 특징을 추출하는 콘볼루션 필터를 PET 손실 이미지에서 사용자의 입력에 따른 스트라이드 만큼 이동하면서 콘볼루션 연산을 수행하여 PET 손실 이미지의 특징을 추출하는 것일 수 있다.The first convolutional layer unit 111 may extract the features of the PET loss image by performing a convolution operation while moving the convolution filter for extracting different features from the PET loss image by the stride according to the user input. .

제1 콘볼루션 레이어의 픽셀 사이즈는 3 x 3일 수 있고, 스트라이드는 1 픽셀일 수 있다.The pixel size of the first convolutional layer may be 3×3, and the stride may be 1 pixel.

제1 배치 정규화부(113)는 PET 손실 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 PET 손실 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.The first batch normalization unit 113 batch normalizes the distribution of pixel values belonging to the PET loss image so that the average of the pixel values belonging to the PET loss image is 0 and the variance is 1.

배치 정규화(Batch Normalization)는 이미지에 속하는 픽셀값들 분포(Distribution)의 변화 때문에 생성적 적대 신경망 학습 과정에서 발생할 수 있는 가중치 소실(Gradient Vanishing) 또는 가중치 폭발(Gradient Exploding)을 감소시키기 위하여, 픽셀값들의 평균을 0으로, 분산을 1로 정규화하는 것을 의미한다.Batch Normalization is a method for reducing the gradient vanishing or gradient exploding that may occur in the process of learning a generative adversarial network due to a change in the distribution of pixel values belonging to an image. It means normalizing the mean to 0 and the variance to 1.

제1 활성화부(115)는 배치 정규화된 PET 손실 이미지에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 PET 손실 이미지를 생성한다.The first activator 115 generates an activated PET loss image by using an activation (Leaky ReLu) function having a preset gradient (0.2) in the batch normalized PET loss image.

활성화 함수(Activation Function)는 뉴런 네트워크(Neuron Network)에 있어서 개별 뉴런에 들어오는 입력신호를 출력신호로 변환하는 함수로서, ReLu 함수는 딥러닝(Deep-learning)에서 활성화 함수 중의 하나로, 개별 뉴런이 출력하는 값들 중에서 음수(-)에 대해서만 0으로 변환하는 함수인 것일 수 있다.Activation function is a function that converts an input signal coming into an individual neuron into an output signal in a neuron network. The ReLu function is one of the activation functions in deep-learning. It may be a function that converts only negative numbers (-) to 0 among the values to be used.

제1 활성화부(115)는 0.2의 기울기를 가지는 Leaky ReLu 함수를 이용하여 뉴런 네트워크의 개별 뉴런이 출력하는 값들 중에서 음수에 대해 1/10로 값을 변환함으로써, 활성화된 PET 손실 이미지를 생성하는 것일 수 있다.The first activator 115 generates an activated PET loss image by converting a negative number to 1/10 among values output by individual neurons of the neuron network using a Leaky ReLu function having a slope of 0.2. can

제1 콘볼루션 레이어부(111), 제1 배치 정규화부(113) 및 제1 활성화부(115)에 의해 PET 손실 이미지는 픽셀 사이즈는 224 x 224, 필터 수는 64로 변경되는 것일 수 있으며, 제1 활성화부(215)는 224 x 224의 픽셀 사이즈와 64의 필터 수를 가지는 활성화된 PET 손실 이미지를 출력하는 것일 수 있다.The PET loss image may have a pixel size of 224 x 224 and the number of filters changed to 64 by the first convolutional layer unit 111, the first batch normalization unit 113, and the first activation unit 115, The first activator 215 may output an activated PET loss image having a pixel size of 224 x 224 and the number of filters of 64.

제1 디컴포지션부(117)는 활성화된 PET 손실 이미지에 디컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성한다.The first decomposition unit 117 generates a first feature map having a pixel size relatively smaller than a pixel size of the lost PET image by using a decomposition function on the activated PET loss image.

제1 디컴포지션부(117)는 제1 고주파 추출부(117a)와, 제1 저주파 추출부(117b)를 포함한다.The first decomposition unit 117 includes a first high frequency extraction unit 117a and a first low frequency extraction unit 117b.

제1 고주파 추출부(117a)는 활성화된 PET 손실 이미지의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이값에 따라 하나의 픽셀값을 산출하여 활성화된 PET 손실 이미지를 분해한다.The first high frequency extraction unit 117a decomposes the activated PET loss image by calculating one pixel value according to a difference value between at least two pixel values among the pixel values of the activated PET loss image.

제1 고주파 추출부(117a)는 활성화된 PET 손실 이미지의 픽셀값들 중 고역 통과 필터를 이용하여, 대각선 방향에 따라 적어도 두 개의 픽셀값 간의 차이값을 가지는 제1 고주파 1차원 특징맵, 수직 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제2 고주파 1차원 특징맵, 수평 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제3 고주파 1차원 특징맵으로 분해하는 것일 수 있다.The first high-frequency extraction unit 117a uses a high-pass filter among pixel values of the activated PET loss image to obtain a first high-frequency one-dimensional feature map having a difference value between at least two pixel values in a diagonal direction, in a vertical direction. may be decomposed into a second high-frequency one-dimensional feature map based on a difference value between at least two pixel values and a third high-frequency one-dimensional feature map based on a difference value between at least two pixel values along a horizontal direction.

제1 저주파 추출부(117b)는 활성화된 PET 손실 이미지의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출한다.The first low frequency extraction unit 117b calculates one pixel value based on an average between at least two pixel values among the pixel values of the activated PET loss image.

제1 저주파 추출부(117b)는 저역 통과 필터를 이용하여 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균값을 산출함에 따라 제1 저주파 1차원 특징맵을 산출하는 것일 수 있다.The first low-frequency extractor 117b may calculate the first low-frequency one-dimensional feature map by calculating an average value between at least two pixel values among the pixel values of the first feature map by using the low-pass filter.

제1 디컴포지션부(117)는 제1 고주파 추출부(117a), 제1 저주파 추출부(117b)에 기초하여 제1 고주파 1차원 특징맵 내지 제3 고주파 1차원 특징맵, 제1 저주파 1차원 특징맵을 출력하여 제1 고주파 1차원 특징맵 내지 제3 고주파 1차원 특징맵은 제3 디코더부(250)의 제3 활성화부(255)의 출력으로 넘겨주고(skip), PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지고 제1 저주파 1차원 특징맵인 제1 특징맵을 생성하는 것일 수 있다.The first decomposition unit 117 includes a first high-frequency one-dimensional feature map to a third high-frequency one-dimensional feature map, and a first low-frequency one-dimensional feature map based on the first high frequency extraction unit 117a and the first low frequency extraction unit 117b. By outputting the feature map, the first high-frequency one-dimensional feature map to the third high-frequency one-dimensional feature map are passed to the output of the third activation unit 255 of the third decoder unit 250 (skip), and the pixel of the PET loss image It may be to generate a first feature map that is a first low-frequency one-dimensional feature map having a pixel size that is relatively smaller than the size.

입력 이미지가 저역 통과 필터를 통과하면 좌우 폭 또는 상하 폭이 1/2로 축소된 저주파 이미지가 생성되고, 고역 통과 필터를 통과하면 좌우 폭 또는 상하 폭이 1/2로 축소된 고주파 이미지가 생성되는 것일 수 있다.When the input image passes the low-pass filter, a low-frequency image with the left-right width or the top and bottom width reduced by 1/2 is generated, and when the input image passes the high-pass filter, a high-frequency image with the horizontal width or the top and bottom width reduced by 1/2 is generated. it could be

다시 말해, 제1 디컴포지션부(117)는 제1 고주파 추출부(117a)의 대각선 방향으로 고역 통과 필터를 통한 제1 고주파 1차원 특징맵, 수직 방향에 따라 고역 통과 필터를 통한 제2 고주파 1차원 특징맵, 수평 방향에 따라 고역 통과 필터를 통한 제3 고주파 1차원 특징맵, 제1 저주파 추출부(117b)의 저역 통과 필터를 통한 제1 저주파 1차원 특징맵으로 구성된 4가지 특징맵으로 분해하는 것일 수 있다.In other words, the first decomposition unit 117 includes a first high-frequency one-dimensional feature map through a high-pass filter in a diagonal direction of the first high-frequency extraction unit 117a, and a second high-frequency 1 through a high-pass filter in a vertical direction. It is decomposed into four feature maps consisting of a dimensional feature map, a third high-frequency one-dimensional feature map through a high-pass filter along the horizontal direction, and a first low-frequency one-dimensional feature map through a low-pass filter of the first low-frequency extraction unit 117b. may be doing

또한, 제1 디컴포지션부(117)는 112 x 112의 픽셀 사이즈와, 128의 필터 수를 가지는 제1 고주파 1차원 특징맵 내지 제3 고주파 1차원 특징맵을 출력하여 제3 디코더부(250)의 제3 활성화부(255)의 출력에 스킵해서 이어붙임 연결을 하는 것일 수 있으며, 112 x 112의 픽셀 사이즈와, 128의 필터 수를 가지는 제1 저주파 1차원 특징맵인 제1 특징맵을 생성하는 것일 수 있다.In addition, the first decomposition unit 117 outputs first to third high frequency one-dimensional feature maps having a pixel size of 112 x 112 and a number of filters of 128 to output the third decoder unit 250 . It may be skipping to the output of the third activation unit 255 of , and generating a first feature map that is a first low-frequency one-dimensional feature map having a pixel size of 112 x 112 and the number of filters of 128 may be doing

제2 인코더부(130)는 제1 특징맵을 콘볼루션 연산함에 따라 필터링하여 제1 특징맵의 특징을 추출하고, 디컴포지션 함수를 이용하여 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성한다.The second encoder unit 130 filters the first feature map according to the convolution operation to extract the features of the first feature map, and uses a decomposition function to obtain a pixel size that is relatively smaller than the pixel size of the first feature map. The branch generates a second feature map.

제2 인코더부(130)는 제2 콘볼루션 레이어부(131), 제2 배치 정규화부(133), 제2 활성화부(135), 제2 디컴포지션부(137)를 포함한다.The second encoder unit 130 includes a second convolutional layer unit 131 , a second batch normalization unit 133 , a second activation unit 135 , and a second decomposition unit 137 .

제2 콘볼루션 레이어부(131)는 제1 특징맵를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제2 콘볼루션 레이어를 이용하여 제1 특징맵의 특징을 추출한다.The second convolutional layer unit 131 receives the first feature map and extracts features of the first feature map by using a second convolutional layer having a preset filter kernel size (3 X 3).

제2 콘볼루션 레이어의 픽셀 사이즈는 3 x 3일 수 있고, 스트라이드는 1 픽셀일 수 있다.The pixel size of the second convolutional layer may be 3×3, and the stride may be 1 pixel.

제2 배치 정규화부(133)는 제1 특징맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제1 특징맵에 속하는 픽셀값들의 분포를 배치 정규화한다.The second arrangement normalization unit 133 arrangement normalizes the distribution of pixel values belonging to the first feature map such that the average of the pixel values belonging to the first feature map is 0 and the variance is 1.

제2 활성화부(135)는 배치 정규화된 제1 특징맵을 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제1 특징맵을 생성한다.The second activator 135 generates the activated first feature map using an activation (Leaky ReLu) function having a preset gradient (0.2) on the batch normalized first feature map.

제2 디컴포지션부(137)는 활성화된 제1 특징맵에 디컴포지션 함수를 이용하여 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성한다.The second decomposition unit 137 generates a second feature map having a pixel size that is relatively smaller than a pixel size of the first feature map by using a decomposition function on the activated first feature map.

제2 디컴포지션부(137)는 제2 고주파 추출부(137a)와, 제2 저주파 추출부(137b)를 포함한다.The second decomposition unit 137 includes a second high frequency extraction unit 137a and a second low frequency extraction unit 137b.

제2 고주파 추출부(137a)는 활성화된 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하여 제2 특징맵을 분해한다.The second high frequency extractor 137a decomposes the second feature map by calculating one pixel value based on a difference between at least two pixel values among the pixel values of the activated first feature map.

제2 고주파 추출부(137a)는 활성화된 제1 특징맵의 픽셀값들 중 고역 통과 필터를 이용하여 대각선 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제1 고주파 2차원 특징맵, 수직 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제2 고주파 2차원 특징맵, 수평 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제3 고주파 2차원 특징맵으로 분해하는 것일 수 있다.The second high frequency extractor 137a uses a high pass filter among pixel values of the activated first feature map to obtain a first high frequency 2D feature map based on a difference value between at least two pixel values in a diagonal direction, in a vertical direction. may be decomposed into a second high-frequency two-dimensional feature map based on a difference value between at least two pixel values and a third high-frequency two-dimensional feature map based on a difference value between at least two pixel values along a horizontal direction.

제2 저주파 추출부(137b)는 활성화된 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출한다.The second low frequency extractor 137b calculates one pixel value based on an average between at least two pixel values among the pixel values of the activated first feature map.

제2 저주파 추출부(137b)는 저역 통과 필터를 이용하여 활성화된 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균값을 산출함에 따라 제1 저주파 2차원 특징맵을 출력하는 것일 수 있다.The second low-frequency extractor 137b may output the first low-frequency two-dimensional feature map by calculating an average value between at least two pixel values among the pixel values of the activated first feature map using a low-pass filter. .

제2 디컴포지션부(137)는 제2 고주파 추출부(137a), 제2 저주파 추출부(137b)에 기초하여 제1 고주파 2차원 특징맵 내지 제3 고주파 2차원 특징맵, 제1 저주파 2차원 특징맵을 출력하여 제1 고주파 2차원 특징맵 내지 제3 고주파 2차원 특징맵은 제2 디코더부(230)의 제2 활성화부(235)의 출력으로 넘겨주고(skip), 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지고 제1 저주파 2차원 특징맵인 제2 특징맵을 생성하는 것일 수 있다.The second decomposition unit 137 includes a first high-frequency two-dimensional feature map, a third high-frequency two-dimensional feature map, and a first low-frequency two-dimensional feature map based on the second high frequency extraction unit 137a and the second low frequency extraction unit 137b. By outputting the feature map, the first high-frequency two-dimensional feature map to the third high-frequency two-dimensional feature map are passed to the output of the second activation unit 235 of the second decoder unit 230 (skip), and The second feature map, which is the first low-frequency two-dimensional feature map, may be generated with a pixel size that is relatively smaller than the pixel size.

또한, 제2 디컴포지션부(137)는 56 x 56의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 고주파 2차원 특징맵 내지 제3 고주파 2차원 특징맵을 출력하여 제2 디코더부(230)의 제2 활성화부(235)의 출력에 스킵해서 이어붙임 연결을 하는 것일 수 있으며, 56 x 56의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 저주파 2차원 특징맵인 제2 특징맵을 생성하는 것일 수 있다.In addition, the second decomposition unit 137 outputs the first high frequency 2D feature map to the third high frequency 2D feature map having a pixel size of 56 x 56 and the number of filters of 256 to output the second decoder unit 230 . It may be skipping to the output of the second activation unit 235 of , and generating a second feature map that is a first low-frequency two-dimensional feature map having a pixel size of 56 x 56 and the number of filters of 256 may be doing

제3 인코더부(150)는 제2 특징맵을 콘볼루션 연산함에 따라 필터링하여 제2 특징맵의 특징을 추출하고, 디컴포지션 함수를 이용하여 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 PET 손실 이미지의 특징맵을 생성한다.The third encoder unit 150 filters the second feature map according to the convolution operation to extract the features of the second feature map, and uses a decomposition function to obtain a pixel size that is relatively smaller than the pixel size of the second feature map. The branch generates a feature map of the PET loss image.

제3 인코더부(150)는 제3 콘볼루션 레이어부(151), 제3 배치 정규화부(153), 제3 활성화부(155), 제3 디컴포지션부(157)를 포함한다.The third encoder unit 150 includes a third convolutional layer unit 151 , a third batch normalization unit 153 , a third activation unit 155 , and a third decomposition unit 157 .

제3 콘볼루션 레이어부(151)는 제2 특징맵를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제3 콘볼루션 레이어를 이용하여 제2 특징맵의 특징을 추출한다.The third convolutional layer unit 151 receives the second feature map and extracts the features of the second feature map using a third convolutional layer having a preset filter kernel size (3 X 3).

제3 콘볼루션 레이어의 픽셀 사이즈는 3 x 3일 수 있고, 스트라이드는 1 픽셀일 수 있다.The pixel size of the third convolutional layer may be 3×3, and the stride may be 1 pixel.

제3 배치 정규화부(153)는 제2 특징맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제2 특징맵에 속하는 픽셀값들의 분포를 배치 정규화한다.The third arrangement normalization unit 153 arrangement normalizes the distribution of pixel values belonging to the second feature map such that the average of the pixel values belonging to the second feature map is 0 and the variance is 1.

제3 활성화부(155)는 배치 정규화된 제2 특징맵을 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제2 특징맵을 생성한다.The third activator 155 generates the activated second feature map using an activation (Leaky ReLu) function having a preset gradient (0.2) on the batch normalized second feature map.

제3 디컴포지션부(157)는 활성화된 제2 특징맵에 디컴포지션 함수를 이용하여 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 PET 손실 이미지의 특징맵을 생성한다.The third decomposition unit 157 generates a feature map of a lost PET image having a pixel size relatively smaller than a pixel size of the second feature map by using a decomposition function on the activated second feature map.

제3 디컴포지션부(157)는 제3 고주파 추출부(157a)와, 제3 저주파 추출부(157b)를 포함한다.The third decomposition unit 157 includes a third high frequency extraction unit 157a and a third low frequency extraction unit 157b.

제3 고주파 추출부(157a)는 활성화된 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하여 활성화된 제2 특징맵을 분해한다.The third high frequency extraction unit 157a decomposes the activated second feature map by calculating one pixel value based on a difference between at least two pixel values among the pixel values of the activated second feature map.

제3 고주파 추출부(157a)는 활성화된 제2 특징맵의 픽셀값들을 고역 통과 필터를 이용하여 대각선 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제1 고주파 3차원 특징맵, 수직 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제2 고주파 3차원 특징맵, 수평 방향에 따라 적어도 두 개의 픽셀값 간의 차이값에 기초한 제3 고주파 3차원 특징맵으로 분해하는 것일 수 있다.The third high frequency extraction unit 157a converts the pixel values of the activated second feature map to the first high frequency 3D feature map based on the difference value between at least two pixel values along the diagonal direction using a high pass filter, in the vertical direction. Accordingly, it may be decomposed into a second high frequency 3D feature map based on a difference value between at least two pixel values and a third high frequency 3D feature map based on a difference value between at least two pixel values along a horizontal direction.

제3 저주파 추출부(157b)는 활성화된 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출한다.The third low-frequency extractor 157b calculates one pixel value based on an average between at least two pixel values among the pixel values of the activated second feature map.

제3 저주파 추출부(157b)는 저역 통과 필터를 이용하여 활성화된 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균값을 산출함에 따라 제1 저주파 3차원 특징맵을 산출하는 것일 수 있다.The third low-frequency extractor 157b may calculate the first low-frequency 3D feature map by calculating an average value between at least two pixel values among the pixel values of the activated second feature map using a low-pass filter. .

제3 디컴포지션부(157)는 제3 고주파 추출부(157a), 제3 저주파 추출부(157b)에 기초하여 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵, 제1 저주파 3차원 특징맵을 출력하여 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵은 제1 디코더부(210)의 제1 활성화부(215)의 출력으로 넘겨주고(skip), 제2 특징맵보다 상대적으로 작은 픽셀 사이즈를 가지고 제1 저주파 3차원 특징맵인 PET 손실 이미지의 특징맵을 생성하는 것일 수 있다.The third decomposition unit 157 includes a first high frequency 3D feature map to a third high frequency 3D feature map and a first low frequency 3D feature map based on the third high frequency extraction unit 157a and the third low frequency extraction unit 157b. By outputting the feature map, the first high-frequency three-dimensional feature map to the third high-frequency three-dimensional feature map are passed to the output of the first activation unit 215 of the first decoder unit 210 (skip), and rather than the second feature map It may be to generate a feature map of a PET loss image that is a first low-frequency three-dimensional feature map having a relatively small pixel size.

제3 디컴포지션부(157)는 28 x 28의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵을 출력하여 제1 디코더부(210)의 제1 활성화부(215)의 출력에 스킵해서 이어붙임 연결을 하는 것일 수 있으며, 28 x 28의 픽셀 사이즈와, 256의 필터 수를 가지는 제1 저주파 3차원 특징맵인 PET 손실 이미지의 특징맵을 생성하는 것일 수 있다.The third decomposition unit 157 outputs the first high frequency 3D feature map to the third high frequency 3D feature map having a pixel size of 28 x 28 and the number of filters of 256, and outputs the first to third high frequency 3D feature maps of the first decoder unit 210 . 1 It may be skipping to the output of the activation unit 215 and making a splicing connection, and generating a feature map of a PET loss image that is a first low-frequency three-dimensional feature map having a pixel size of 28 x 28 and the number of filters of 256 may be doing

디코더부(200)는 PET 손실 이미지의 특징맵을 입력받아 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징맵의 특징을 추출하고, PET 손실 이미지의 특징맵의 픽셀 사이즈를 확대시키는 리컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성한다.The decoder unit 200 receives the feature map of the lost PET image, filters the feature map of the lost PET image by convolution operation, extracts the feature of the feature map of the lost PET image, and the pixel size of the feature map of the lost PET image. A similar PET image with the same pixel size as that of the PET loss image is generated using a recomposition function that enlarges the PET image.

디코더부(200)는 제1 디코더부(210), 제2 디코더부(230), 제3 디코더부(250)를 포함한다.The decoder unit 200 includes a first decoder unit 210 , a second decoder unit 230 , and a third decoder unit 250 .

제1 디코더부(210)는 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 PET 손실 이미지의 특징맵의 특징을 추출하고, 리컴포지션 함수를 이용하여 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성한다.The first decoder unit 210 filters the feature map of the lost PET image according to the convolution operation to extract the features of the feature map of the lost PET image, and uses a recomposition function to be larger than the pixel size of the feature map of the lost PET image. A first similar image having a relatively large pixel size is generated.

제1 디코더부(210)는 제1 콘볼루션 레이어부(211), 제1 배치 정규화부(213), 제1 활성화부(215), 제1 리컴포지션부(217)를 포함한다.The first decoder unit 210 includes a first convolutional layer unit 211 , a first placement normalization unit 213 , a first activation unit 215 , and a first recomposition unit 217 .

제1 콘볼루션 레이어부(211)는 PET 손실 이미지의 특징맵을 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제1 콘볼루션 레이어를 이용하여 PET 손실 이미지의 특징맵의 특징을 추출한다.The first convolutional layer unit 211 receives the feature map of the lost PET image and extracts features of the feature map of the lost PET image using the first convolutional layer having a preset filter kernel size (3 X 3). .

제1 콘볼루션 레이어의 픽셀 사이즈는 3 x 3, 스트라이드는 1 픽셀을 가지는 것일 수 있다.The pixel size of the first convolutional layer may be 3 x 3, and the stride may have 1 pixel.

제1 배치 정규화부(213)는 PET 손실 이미지의 특징맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 PET 손실 이미지의 특징맵에 속하는 픽셀값들의 분포를 배치 정규화한다.The first batch normalization unit 213 batch-normalizes the distribution of pixel values belonging to the feature map of the lost PET image such that the average of the pixel values belonging to the feature map of the lost PET image is 0 and the variance is 1.

제1 활성화부(215)는 배치 정규화된 PET 손실 이미지의 특징맵을 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 PET 손실 이미지의 특징맵을 생성한다.The first activator 215 generates a feature map of the activated PET loss image by using an activation (Leaky ReLu) function having a preset gradient (0.2) on the feature map of the batch normalized PET loss image.

제1 리컴포지션부(217)는 활성화된 PET 손실 이미지의 특징맵에 리컴포지션 함수를 이용하여 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성한다.The first recomposition unit 217 generates a first similar image having a pixel size relatively larger than a pixel size of a feature map of the lost PET image by using a recomposition function on the feature map of the activated PET loss image.

제1 리컴포지션부(217)는 PET 손실 이미지의 특징맵과, 제3 디컴포지션부(157)로부터 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵을 입력받아 PET 손실 이미지의 특징맵, 제1 고주파 3차원 특징맵 내지 제3 고주파 3차원 특징맵을 리컴포지션 함수를 이용하여 제1 유사 이미지를 생성하는 것일 수 있다.The first recomposition unit 217 receives the feature map of the PET loss image and the first high frequency 3D feature map to the third high frequency 3D feature map from the third decomposition unit 157, and receives a feature map of the PET loss image. , the first high-frequency 3D feature map to the third high-frequency 3D feature map may be used to generate a first similar image using a recomposition function.

제1 리컴포지션부(217)는 56 x 56의 픽셀 사이즈와, 512의 필터 수를 가지는 제1 유사 이미지를 생성하는 것일 수 있다.The first recomposition unit 217 may generate a first similar image having a pixel size of 56 x 56 and the number of filters of 512.

제2 디코더부(230)는 제1 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 제1 유사 이미지의 특징을 추출하고, 리컴포지션 함수를 이용하여 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성한다.The second decoder unit 230 filters the first similar image according to the convolution operation to extract features of the first similar image, and uses a recomposition function to obtain a pixel size that is relatively larger than the pixel size of the first similar image. The branch creates a second similar image.

제2 디코더부(230)는 제2 콘볼루션 레이어부(231), 제2 배치 정규화부(233), 제2 활성화부(235), 제2 리컴포지션부(237)를 포함한다.The second decoder unit 230 includes a second convolutional layer unit 231 , a second placement normalization unit 233 , a second activation unit 235 , and a second recomposition unit 237 .

제2 콘볼루션 레이어부(231)는 제1 유사 이미지를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제2 콘볼루션 레이어를 이용하여 제1 유사 이미지의 특징을 추출한다.The second convolutional layer unit 231 receives the first likeness image and extracts features of the first likeness image by using a second convolutional layer having a preset filter kernel size (3 X 3).

제2 콘볼루션 레이어의 픽셀 사이즈는 3 x 3, 스트라이드는 1 픽셀을 가지는 것일 수 있다.The pixel size of the second convolutional layer may be 3 x 3, and the stride may have 1 pixel.

제2 배치 정규화부(233)는 제1 유사 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제1 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.The second arrangement normalization unit 233 arrangement normalizes the distribution of pixel values belonging to the first similar image by setting the average of pixel values belonging to the first similar image to be 0 and the variance to be 1.

제2 활성화부(235)는 배치 정규화된 제1 유사 이미지를 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제1 유사 이미지를 생성한다.The second activator 235 generates an activated first likeness image using an activation (Leaky ReLu) function having a preset gradient (0.2) on the batch normalized first likeness image.

제2 리컴포지션부(237)는 활성화된 제1 유사 이미지에 리컴포지션 함수를 이용하여 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성한다.The second recomposition unit 237 generates a second likeness image having a pixel size that is relatively larger than a pixel size of the first likeness image by using a recomposition function on the activated first likeness image.

제2 리컴포지션부(237)는 112 x 112의 픽셀 사이즈와, 256의 픽셀 사이즈를 가지는 제2 유사 이미지를 생성하는 것일 수 있다.The second recomposition unit 237 may generate a second similar image having a pixel size of 112 x 112 and a pixel size of 256 .

제3 디코더부(250)는 제2 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 제2 유사 이미지의 특징을 추출하고, 리컴포지션 함수를 이용하여 인코더부(100)에서 입력받은 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성한다.The third decoder unit 250 filters the second similar image according to the convolution operation, extracts features of the second similar image, and uses a recomposition function to determine the pixel size of the lost PET image received from the encoder unit 100 . A similar PET image with the same pixel size as

제3 디코더부(250)는 제3 콘볼루션 레이어부(251), 제3 배치 정규화부(253), 제3 활성화부(255), 제3 리컴포지션부(257)를 포함한다.The third decoder unit 250 includes a third convolutional layer unit 251 , a third batch normalization unit 253 , a third activation unit 255 , and a third recomposition unit 257 .

제3 콘볼루션 레이어부(251)는 제2 유사 이미지를 입력받아 기설정된 필터 커널 사이즈(3 X 3)를 가지는 제3 콘볼루션 레이어를 이용하여 제2 유사 이미지의 특징을 추출한다.The third convolutional layer unit 251 receives the second likeness image and extracts features of the second likeness image by using a third convolutional layer having a preset filter kernel size (3 X 3).

제3 콘볼루션 레이어의 픽셀 사이즈는 3 x 3, 스트라이드는 1 픽셀을 가지는 것일 수 있다.The pixel size of the third convolutional layer may be 3 x 3, and the stride may have 1 pixel.

제3 배치 정규화부(253)는 제2 유사 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제2 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.The third arrangement normalization unit 253 arrangement normalizes the distribution of pixel values belonging to the second similar image by setting the average of pixel values belonging to the second similar image to be 0 and the variance to be 1.

제3 활성화부(255)는 배치 정규화된 제2 유사 이미지를 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 활성화된 제2 유사 이미지를 생성한다.The third activator 255 generates an activated second likeness image using an activation (Leaky ReLu) function having a preset gradient (0.2) on the batch normalized second likeness image.

제3 리컴포지션부(257)는 활성화된 제2 유사 이미지에 리컴포지션 함수를 이용하여 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성한다.The third recomposition unit 257 generates a similar PET image having the same pixel size as that of the lost PET image by using a recomposition function on the activated second similar image.

제3 리컴포지션부(257)는 224 x 224의 픽셀 사이즈와, 128의 필터 수를 가지는 유사 PET 이미지를 생성하는 것일 수 있다.The third recomposition unit 257 may generate a similar PET image having a pixel size of 224 x 224 and the number of filters of 128.

선형화부(300)는 유사 PET 이미지에 콘볼루션 레이어를 이용하여 입력받은 PET 손실 이미지의 크기와 일치하도록 조정하여 선형화된 유사 PET 이미지를 생성한다.The linearization unit 300 generates a linearized similar PET image by adjusting the size of the received PET loss image using a convolutional layer to the similar PET image.

콘볼루션 레이어의 픽셀 사이즈는 1 x 1, 스트라이드는 1 픽셀일 수 있다.The pixel size of the convolutional layer may be 1 x 1, and the stride may be 1 pixel.

선형화부(300)에 의해 선형화된 유사 PET 이미지는 224 x 224의 픽셀 사이즈와, 필터 수는 1을 가지는 단일 채널의 이미지로 변경되는 것일 수 있다.The similar PET image linearized by the linearization unit 300 may be changed to a single-channel image having a pixel size of 224 x 224 and a filter number of 1.

출력부(400)는 단일 채널의 선형화된 유사 PET 이미지에 상, 하, 좌, 우측에 0의 행과 열을 추가(Zero-padding)하여 400 x 400 픽셀을 가지는 유사 PET 이미지를 생성하여 출력한다.The output unit 400 generates and outputs a similar PET image having 400 x 400 pixels by adding (zero-padding) rows and columns of 0 to the top, bottom, left, and right sides of the linearized similar PET image of a single channel. .

제네레이터부(40)는 PET 손실 이미지를 이용하여 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀값을 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것일 수 있다.The generator unit 40 generates a plurality of similar PET images by adding or subtracting an error value equal to or less than a pixel unit loss value to at least one pixel value among pixel values of the PET loss image using the lost PET image. it could be

픽셀 단위 손실 산출부(50)는 PET 손실 이미지와 유사 PET 이미지 사이의 평균 제곱 오차에 기초하여 픽셀 단위 손실값을 산출한다.The pixel unit loss calculator 50 calculates a pixel unit loss value based on the mean square error between the PET loss image and the similar PET image.

픽셀 단위 손실 산출부(50)는 하기 수학식 1에 따라 평균 제곱 오차(Mean Squared Error)에 기초하여 유사 PET 이미지와 PET 손실 이미지 사이의 픽셀 단위 손실값을 산출하는 것일 수 있다.The pixel unit loss calculator 50 may calculate a pixel unit loss value between the similar PET image and the PET loss image based on a mean squared error according to Equation 1 below.

Figure pat00001
Figure pat00001

여기서, z는 PET 손실 이미지에 대한 정규화된 값을 의미하며, G(z)는 유사 PET 이미지에 대한 정규화된 값을 의미하고,

Figure pat00002
는 G(z)에 대한 확률 분포를 의미하며, E는 주어진 확률 분포에 대한 기댓값을 의미하고,
Figure pat00003
는 G(z)와 z의 minimum difference 값을 의미하는 것일 수 있다.Here, z means the normalized value for the PET loss image, G(z) means the normalized value for the similar PET image,
Figure pat00002
is the probability distribution for G(z), E is the expected value for a given probability distribution,
Figure pat00003
may mean a value of the minimum difference between G(z) and z.

디스크리미네이터부(60)는 제네레이터부(40)에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별한다.The discriminator unit 60 compares the plurality of similar PET images generated by the generator unit 40 with the original PET image to determine whether the similar PET image belongs to an actual image classification corresponding to the original PET image or to the original PET image. It is determined whether it belongs to the false image classification that does not correspond.

도 6 및 도 7을 참조하면, 디스크리미네이터부(60)는 제1 특성맵 생성부(610), 제2 특성맵 생성부(630), 제3 특성맵 생성부(650), 선형화부(670)를 포함한다.6 and 7 , the discriminator unit 60 includes a first characteristic map generation unit 610 , a second characteristic map generation unit 630 , a third characteristic map generation unit 650 , and a linearization unit ( 670).

제1 특성맵 생성부(610)는 PET 원본 이미지를 입력받아 PET 원본 이미지의 특징을 추출하여 제1 특성맵을 생성한다.The first characteristic map generating unit 610 receives the PET original image, extracts the characteristics of the PET original image, and generates a first characteristic map.

제1 특성맵 생성부(610)는 제1 콘볼루션 레이어부(611), 제1 배치 정규화부(613), 제1 활성화부(615)를 포함한다.The first characteristic map generating unit 610 includes a first convolutional layer unit 611 , a first arrangement normalization unit 613 , and a first activation unit 615 .

제1 콘볼루션 레이어부(611)는 PET 원본 이미지를 입력받아 기설정된 픽셀 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 PET 원본 이미지의 특징을 추출한다.The first convolutional layer unit 611 receives the original PET image and extracts features of the original PET image by using the first convolutional layer having a preset pixel size.

제1 콘볼루션 레이어의 픽셀 사이즈는 4 x 4일 수 있고, 스트라이드는 2 픽셀일 수 있다.The pixel size of the first convolutional layer may be 4 x 4, and the stride may be 2 pixels.

제1 배치 정규화부(613)는 PET 원본 이미지에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 PET 원본 이미지에 속하는 픽셀값들의 분포를 배치 정규화한다.The first batch normalization unit 613 batch normalizes the distribution of pixel values belonging to the original PET image so that the average of pixel values belonging to the original PET image is 0 and the variance is 1.

제1 활성화부(615)는 배치 정규화된 PET 원본 이미지에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 배치 정규화된 PET 원본 이미지를 활성화하고 제1 특성맵를 생성한다.The first activator 615 activates the batch normalized original PET image by using an activation (Leaky ReLu) function having a preset gradient (0.2) in the batch normalized original PET image, and generates a first characteristic map.

제1 특징맵 생성부(610)는 제1 콘볼루션 레이어부(611), 제1 배치 정규화부(613) 및 제1 활성화부(615)에 따라 픽셀 사이즈는 224 x 224, 필터 수는 64를 가지는 제1 특성맵을 생성하는 것일 수 있다.The first feature map generator 610 sets the pixel size of 224 x 224 and the number of filters 64 according to the first convolutional layer unit 611 , the first arrangement normalizer 613 , and the first activator 615 . The branch may be to generate the first characteristic map.

제2 특성맵 생성부(630)는 제1 특성맵을 입력받아 제1 특성맵의 특징을 추출하여 제2 특성맵을 생성한다.The second characteristic map generator 630 receives the first characteristic map, extracts the characteristic of the first characteristic map, and generates a second characteristic map.

제2 특성맵 생성부(630)는 제2 콘볼루션 레이어부(631), 제2 배치 정규화부(633), 제2 활성화부(635)를 포함한다.The second characteristic map generating unit 630 includes a second convolutional layer unit 631 , a second arrangement normalization unit 633 , and a second activation unit 635 .

제2 콘볼루션 레이어부(631)는 제1 특성맵을 입력받아 기설정된 픽셀 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 제1 특성맵의 특징을 추출한다.The second convolutional layer unit 631 receives the first feature map and extracts features of the first feature map by using the second convolutional layer having a preset pixel size.

제2 콘볼루션 레이어의 픽셀 사이즈는 4 x 4일 수 있고, 스트라이드는 2 픽셀일 수 있다.The pixel size of the second convolutional layer may be 4×4, and the stride may be 2 pixels.

제2 배치 정규화부(633)는 제1 특성맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제1 특성맵에 속하는 픽셀값들의 분포를 배치 정규화한다.The second arrangement normalization unit 633 arrangement normalizes the distribution of pixel values pertaining to the first characteristic map such that the average of the pixel values belonging to the first characteristic map is 0 and the variance is 1.

제2 활성화부(635)는 배치 정규화된 제1 특성맵에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 배치 정규화된 제1 특성맵을 활성화하고 제2 특성맵를 생성한다.The second activator 635 activates the batch normalized first feature map and generates a second feature map by using an activation (Leaky ReLu) function having a preset gradient (0.2) in the batch normalized first feature map.

제2 특성맵 생성부(630)는 제2 콘볼루션 레이어부(631), 제2 배치 정규화부(633) 및 제2 활성화부(635)에 따라 픽셀 사이즈는 112 x 112, 필터 수는 128을 가지는 제2 특성맵을 생성하는 것일 수 있다.The second characteristic map generator 630 sets the pixel size to 112 x 112 and the number of filters to 128 according to the second convolutional layer unit 631 , the second arrangement normalization unit 633 , and the second activator 635 . The branch may be to generate the second characteristic map.

제3 특성맵 생성부(650)는 제2 특성맵을 입력받아 제2 특성맵의 특징을 추출하여 제3 특성맵을 생성한다.The third characteristic map generation unit 650 receives the second characteristic map, extracts the characteristics of the second characteristic map, and generates a third characteristic map.

제3 특성맵 생성부(650)는 제3 콘볼루션 레이어부(651), 제3 배치 정규화부(653), 제3 활성화부(655)를 포함한다.The third feature map generating unit 650 includes a third convolutional layer unit 651 , a third arrangement normalization unit 653 , and a third activation unit 655 .

제3 콘볼루션 레이어부(651)는 제2 특성맵을 입력받아 기설정된 픽셀 사이즈를 가지는 제3 콘볼루션 레이어를 이용하여 제1 특성맵의 특징을 추출한다.The third convolutional layer unit 651 receives the second feature map and extracts features of the first feature map by using the third convolutional layer having a preset pixel size.

제3 콘볼루션 레이어의 픽셀 사이즈는 4 x 4일 수 있고, 스트라이드는 2 픽셀일 수 있다.The pixel size of the third convolutional layer may be 4×4, and the stride may be 2 pixels.

제3 배치 정규화부(653)는 제2 특성맵에 속하는 픽셀값의 평균이 0, 분산이 1이 되도록 하여 제2 특성맵에 속하는 픽셀값들의 분포를 배치 정규화한다.The third arrangement normalization unit 653 arrangement normalizes the distribution of pixel values belonging to the second characteristic map such that the average of the pixel values belonging to the second characteristic map is 0 and the variance is 1.

제3 활성화부(655)는 배치 정규화된 제2 특성맵에 기설정된 기울기(0.2)를 가지는 활성화(Leaky ReLu) 함수를 이용하여 배치 정규화된 제2 특성맵을 활성화하고 제3 특성맵를 생성한다.The third activator 655 activates the batch normalized second feature map and generates a third feature map by using an activation (Leaky ReLu) function having a preset gradient (0.2) in the batch normalized second feature map.

제3 특성맵 생성부(650)는 제3 콘볼루션 레이어부(651), 제3 배치 정규화부(653) 및 제3 활성화부(655)에 따라 픽셀 사이즈는 56 x 56, 필터 수는 256을 가지는 제3 특성맵을 생성하는 것일 수 있다.The third feature map generator 650 sets the pixel size of 56 x 56 and the number of filters 256 according to the third convolutional layer unit 651 , the third arrangement normalization unit 653 , and the third activation unit 655 . The branch may be to generate the third characteristic map.

선형화부(670)는 제3 특성맵에 기설정된 필터 커널 사이즈(1 X 1)를 가지는 콘볼루션 레이어를 이용하여 입력받은 PET 원본 이미지의 크기와 일치하도록 조정하여 선형화된 PET 원본 이미지를 생성한다.The linearization unit 670 uses a convolutional layer having a filter kernel size (1 X 1) preset in the third characteristic map and adjusts it to match the size of the received original PET image to generate a linearized original PET image.

콘볼루션 레이어의 픽셀 사이즈는 1 x 1, 스트라이드는 1 픽셀일 수 있다.The pixel size of the convolutional layer may be 1 x 1, and the stride may be 1 pixel.

선형화부(670)에 의해 선형화된 PET 원본 이미지는 224 x 224의 픽셀 사이즈와, 필터수는 1을 가지는 단일 채널의 이미지로 변경되는 것일 수 있다.The original PET image linearized by the linearization unit 670 may be changed to a single-channel image having a pixel size of 224 x 224 and a filter number of 1.

오차값 산출부(70)는 디스크리미네이터부(60)에서 거짓 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지와 PET 원본 이미지 사이의 오차값을 산출한다.The error value calculation unit 70 calculates an error value between the similar PET image determined to belong to the false image classification by the delimiter unit 60 and the original PET image.

오차값 산출부(70)는 하기 수학식 2, 수학식 3에 기초하여 유사 PET 이미지와 PET 원본 이미지 사이의 오차값을 산출하되, 제네레이터부(40)에 대한 오차값(

Figure pat00004
)과, 디스크리미네이터부(60)에 대한 오차값(
Figure pat00005
)을 산출하는 것일 수 있다.The error value calculating unit 70 calculates an error value between the similar PET image and the original PET image based on Equations 2 and 3 below, but the error value (
Figure pat00004
) and the error value for the discriminator unit 60 (
Figure pat00005
) can be calculated.

Figure pat00006
Figure pat00006

여기서,

Figure pat00007
는 제네레이터(40)부에 대한 오차값의 최솟값을 의미하고, z는 PET 손실 이미지에 대한 정규화된 값을 의미하며, G(z)는 유사 PET 이미지에 대한 정규화된 값을 의미하고,
Figure pat00008
는 G(z)에 대한 확률 분포를 의미하며, E는 주어진 확률 분포에 대한 기댓값을 의미하고, D(G(z))는 디스크리미네이터부(60)에서 유사 PET 이미지에 대해 판별한 결과값을 의미하며,
Figure pat00009
는 G(z)와 z의 minimum difference 값을 의미하는 것일 수 있다.here,
Figure pat00007
denotes the minimum value of the error value for the generator 40, z denotes a normalized value for the PET loss image, and G(z) denotes a normalized value for the similar PET image,
Figure pat00008
denotes a probability distribution with respect to G(z), E denotes an expected value for a given probability distribution, and D(G(z)) denotes a result value determined by the discriminator unit 60 for a similar PET image. means,
Figure pat00009
may mean a value of the minimum difference between G(z) and z.

Figure pat00010
Figure pat00010

여기서,

Figure pat00011
는 디스크리미네이터부(60)에 대한 오차값의 최솟값을 의미하고, z는 PET 손실 이미지에 대한 정규화된 값을 의미하며, x는 PET 원본 이미지에 대한 정규화된 값을 의미하고, G(z)는 유사 PET 이미지에 대한 정규화된 값을 의미하며,
Figure pat00012
는 원본 PET 이미지에 대한 확률 분포를 의미하며, E는 주어진 확률 분포에 대한 기댓값을 의미하고, D(x)는 디스크리미네이터부(60)에서 원본 PET 이미지에 대해 판별한 결과값을 의미하며, D(G(z))는 디스크리미네이터부(60)에서 유사 PET 이미지에 대해 판별한 결과값을 의미하는 것일 수 있다.here,
Figure pat00011
denotes the minimum value of the error value for the discriminator unit 60, z denotes a normalized value for the PET loss image, x denotes a normalized value for the PET original image, and G(z) is the normalized value for similar PET images,
Figure pat00012
denotes a probability distribution for the original PET image, E denotes an expected value for a given probability distribution, and D(x) denotes a result value determined by the discriminator unit 60 on the original PET image, D(G(z)) may mean a result value determined by the discriminator 60 for a similar PET image.

본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는 제네레이터부(40)에 대한 오차값(

Figure pat00013
)과, 디스크리미네이터부(60)에 대한 오차값(
Figure pat00014
)의 합이 극소화되도록 PET 손실 이미지를 제네레이터부(40)와 디스크리미네이터부(60)에 기초하여 반복 학습시키는 것일 수 있다.The apparatus for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention has an error value (
Figure pat00013
) and the error value for the discriminator unit 60 (
Figure pat00014
) may be repeated learning of the PET loss image based on the generator unit 40 and the discriminator unit 60 so that the sum of ) is minimized.

거짓 이미지 세트 생성부(80)는 디스크리미네이터부(60)에서 거짓 이미지 분류에 속하는 것으로 판별된 복수 개의 유사 PET 이미지들 각각의 오차값을 비교하여, 오차값이 기설정된 임계값 이하의 유사 PET 이미지를 제거하고 임계값을 초과하는 유사 PET 이미지들을 저장함에 따른 복수 개의 거짓 PET 이미지 세트들을 기설정된 생성적 적대 신경망 모델에 기초하여 생성한다.The false image set generating unit 80 compares the error values of each of the plurality of similar PET images determined to belong to the false image classification by the discriminator 60, and the similar PET with an error value equal to or less than a preset threshold value. A plurality of false PET image sets are generated based on a preset generative adversarial neural network model by removing images and storing similar PET images exceeding a threshold.

디스크리미네이터부(60)는 오차값 산출부(70)에서 산출한 오차값의 결과로, 제네레이터부(40)에서 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하면 제1 이진 데이터 값을, 유사 PET 이미지가 거짓 이미지 분류에 속하면 제2 이진 데이터 값을 산출하여 판별하는 것일 수 있다.The discriminator unit 60 compares a plurality of similar PET images generated by the generator unit 40 with the original PET image, as a result of the error value calculated by the error value calculation unit 70 , and determines that the similar PET image is a PET image. It may be determined by calculating a first binary data value if the original image belongs to an actual image classification corresponding to the original image, and a second binary data value if the similar PET image belongs to a false image classification.

제네레이터부(40)는 거짓 이미지 세트 생성부(80)에서 생성된 거짓 PET 이미지 세트를 이용하여 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것일 수 있다.The generator unit 40 uses the false PET image set generated by the false image set generation unit 80 to correct by adding or subtracting an error value less than or equal to at least one pixel unit loss value among pixel values of the PET loss image. It may be to generate a plurality of similar PET images according to the

디스크리미네이터부(60)는 제네레이터부(40)에서 거짓 PET 이미지 세트를 이용하여 생성된 복수 개의 유사 PET 이미지들과 PET 원본 이미지를 비교하여 유사 PET 이미지가 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지 판별하는 것일 수 있다.The discriminator unit 60 compares the original PET image with a plurality of similar PET images generated by using the false PET image set in the generator unit 40 so that the similar PET image is classified as an actual image corresponding to the original PET image. It may be to determine whether it belongs to or belongs to a false image classification that does not correspond to the original PET image.

복원 이미지 출력부(90)는 디스크리미네이터부(60)에서 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력한다.The restored image output unit 90 generates and outputs a restored image based on the similar PET image determined by the discriminator 60 to belong to the actual image classification.

도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지를 나타낸다.8 shows a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention.

복원 이미지 출력부(90)는 디스크리미네이터부(60)에서 실제 이미지 분류에 속하는 것으로 판별된 224 x 224 픽셀 사이즈를 가지는 단일 채널 이미지에 상, 하, 좌, 우측에 0의 행과 열을 추가하여 400 x 400 픽셀 사이즈를 가지는 복원 이미지를 생성하여 출력하는 것일 수 있다.The restored image output unit 90 adds 0 rows and columns to the top, bottom, left, and right sides of the single-channel image having a size of 224 x 224 pixels determined to belong to the actual image classification in the discriminator unit 60 . Thus, a restored image having a size of 400 x 400 pixels may be generated and output.

이하, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 성능을 평가하기 위하여, 짧은 시간 PET 스캔을 통한 딥러닝 기반의 복원 접근법의 타당성을 검토하였다.Hereinafter, in order to evaluate the performance of a brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention, the validity of a deep learning-based restoration approach through a short time PET scan was reviewed.

도 9는 종래의 U-net 방식을 이용하여 생성된 PET 이미지이다.9 is a PET image generated using the conventional U-net method.

도 2에 따른 PET 손실 이미지는 잡음 성분이 심하고, 영상 화질이 좋지 않으며, 도 8에 따른 본 발명에 따라 생성된 복원 이미지는 도 9에 따른 U-net에서 생성된 PET 이미지보다 해부학적 세부 정보를 더 잘 반영한다는 것을 알 수 있다.The lost PET image according to FIG. 2 has a severe noise component and poor image quality, and the reconstructed image generated according to the present invention according to FIG. 8 has more anatomical details than the PET image generated from the U-net according to FIG. It can be seen that it reflects better.

본 발명과 U-net 방식 모두 잡음 성분을 현저히 감소시키지만, U-net은 본 발명의 방식보다 더 흐릿한 PET 이미지를 생성한다.Although both the present invention and the U-net method significantly reduce the noise component, the U-net produces a more blurry PET image than the present method.

본 발명의 방식과 U-net 방식의 정량적 비교를 위해 테스트 데이터 세트(환자 58명)에 대한 평균 PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural SIMilarity), NRMSE(Normalized Root Mean Square Error)를 계산하였다.For quantitative comparison between the method of the present invention and the U-net method, average PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural SIMilarity), NRMSE (Normalized Root Mean Square Error) for a test data set (58 patients) was calculated.

ParametersParameters PET 손실 이미지PET loss image 복원 이미지restored image U-net 방식으로
생성한
PET 이미지
U-net method
created
PET image
PSNRPSNR 33.03533.035 35.82635.826 34.60034.600 SSIMSSIM 0.8840.884 0.8820.882 0.8690.869 NRMSENRMSE 15.42115.421 11.28611.286 12.92112.921

표 1은 PET 손실 이미지, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 의해 생성된 복원 이미지, U-net 방식으로 생성한 PET 이미지의 PSNR, SSIM, NRMSE를 나타낸 것이다.Table 1 shows a PET loss image, a restored image generated by a brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention, PSNR, SSIM of a PET image generated by the U-net method, It represents NRMSE.

표 1을 참조하면, 복원 이미지의 PSNR과 SSIM이 가장 높고, NRMSE가 가장 낮은 것을 알 수 있다.Referring to Table 1, it can be seen that the PSNR and SSIM of the reconstructed image are the highest, and the NRMSE is the lowest.

도 10은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 VOI(Volume Of Interest)의 변화에 따른 평균 SUVR(Standardized Uptake Value Ratio)의 변화를 나타내는 그래프이다.10 is an average standardized uptake value ratio (SVR) according to a change in VOI (Volume Of Interest) of a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning and a PET original image according to an embodiment of the present invention; ) is a graph showing the change in

도 10에 도시된 바와 같이, 대부분의 영역에서 복원 이미지(1001)와 PET 원본 이미지 사이(1001)에 매우 유사한 값이 표시되는 것을 알 수 있다.As shown in FIG. 10 , it can be seen that very similar values are displayed between the reconstructed image 1001 and the original PET image 1001 in most areas.

도 11은 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 피어슨 상관관계를 나타내는 그래프이다.11 is a graph illustrating a Pearson correlation between a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning and an original PET image according to an embodiment of the present invention.

도 11에 도시된 바와 같이, 복원 이미지의 SUVR과 원본 이미지의 영상 (r = 0.998, p < 0.001) 사이에는 매우 강한 양의 상관관계가 있음을 알 수 있다.11 , it can be seen that there is a very strong positive correlation between the SUVR of the reconstructed image and the image of the original image (r = 0.998, p < 0.001).

도 12는 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지와 PET 원본 이미지의 Bland-Altman 분석을 나타내는 그래프이다.12 is a graph illustrating a Bland-Altman analysis of a restored image of a brain tomography image restoration apparatus taken for a short time using deep learning and an original PET image according to an embodiment of the present invention.

Bland-Altman 분석은 두 가지 측정 방법으로 구해진 값의 오차가 어떠한지에 대해 또는 추정된 값과 실제 계측한 값의 차이가 있는지를 나타내는 그래프이다.The Bland-Altman analysis is a graph showing the error of the values obtained by the two measurement methods or whether there is a difference between the estimated value and the actual measured value.

도 12를 참조하면, Bland-Altman 분석에서 복원 이미지와 PET 원본 이미지 간에서는 0.016(95% CI(신뢰 구간): 0.013, 0.019)의 매우 작은 SUVR 평균 차이가 나타난다.Referring to FIG. 12 , a very small SUVR mean difference of 0.016 (95% CI (confidence interval): 0.013, 0.019) appears between the reconstructed image and the original PET image in the Bland-Altman analysis.

본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 짧은 시간 PET 스캔을 통한 딥러닝 기반의 복원법의 타당성을 조사에는, 2분 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영한 PET 손실 이미지와, 20분 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영한 PET 원본 이미지는 각각 입력 영상과 비교 영상으로 사용되었다.To investigate the feasibility of a deep learning-based restoration method through a short-time PET scan of the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention, the brain was subjected to F-18 flow for 2 minutes. The PET loss image from betaben positron emission tomography and the original PET image from F-18 fluorbetaben positron emission tomography of the brain for 20 min were used as input images and comparison images, respectively.

본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 의해 PET 손실 이미지에서 효율적인 복원 이미지를 생성한다는 것을 보여주었다.It has been shown that an efficient reconstruction image is generated from a PET loss image by the apparatus for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention.

복원 이미지와 PET 원본 이미지 사이의 모델 평가(PSNR, SSIM, NRMSE 등)을 위한 영상 품질 측정 기준을 계산하였다.Image quality metrics for model evaluation (PSNR, SSIM, NRMSE, etc.) between the reconstructed image and the original PET image were calculated.

본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는 짧은 시간 뇌를 촬영한 PET 손실 이미지의 잡음 성분을 억제함으로써 영상 화질을 향상시킨다.The apparatus for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention improves image quality by suppressing a noise component of a PET loss image taken with a short time brain.

이미지 품질을 평가하는 SSIM(Structural SIMilarity) 지수는 SSIM 공식에서 파라미터

Figure pat00015
와,
Figure pat00016
에 따라 달라지는데 여기서 L은 픽셀 값의 동적 범위이며, K는 일정한 상수이다. 복원 이미지에 대한 평균 SSIM 지수는
Figure pat00017
,
Figure pat00018
Figure pat00019
,
Figure pat00020
에서
Figure pat00021
,
Figure pat00022
로 증가하였을 때, 0.8818에서 0.9939로 증가하였다. 그러나, 이 경우, SSIM 지수의 변동은 매우 낮았다.The Structural SIMilarity (SSIM) index, which evaluates image quality, is a parameter in the SSIM formula
Figure pat00015
Wow,
Figure pat00016
where L is the dynamic range of pixel values, and K is a constant constant. The average SSIM index for the restored image is
Figure pat00017
,
Figure pat00018
go
Figure pat00019
,
Figure pat00020
at
Figure pat00021
,
Figure pat00022
, increased from 0.8818 to 0.9939. However, in this case, the fluctuation of the SSIM index was very low.

본 발명은 복원 이미지와 PET 손실 이미지 사이에 추가적인 평균 제곱 오차로 생성적 적대 신경망(Generative Adversarial Networks, GAN)을 채택하였다. 본 발명의 성능은 U-net과 비교되었다. U-net은 복원 이미지와 PET 원본 이미지 사이의 픽셀 손실만 최소화하여 이미지가 과부하되는 반면, 본 발명의 실시예에 따른 복원 이미지는 뇌의 상세 구조를 명확하게 복원한다는 이점이 있다.The present invention employs a generative adversarial network (GAN) as an additional mean square error between the reconstructed image and the PET loss image. The performance of the present invention was compared with U-net. U-net minimizes only pixel loss between the reconstructed image and the original PET image, thereby overloading the image, whereas the reconstructed image according to the embodiment of the present invention has the advantage of clearly reconstructing the detailed structure of the brain.

PSNR, NRMSE, SSIM과 같은 이미지 품질 측정에서는 본 발명이 U-net을 능가했다. PET 손실 이미지에서 복원 이미지를 생성하는 데 걸린 시간은 GPU 시스템에서 수 ms 이내였고, 이는 본 발명에 대한 임상 사용에 매우 유용하게 만들 것이다.In the measurement of image quality such as PSNR, NRMSE and SSIM, the present invention outperformed U-net. The time taken to generate a reconstructed image from a PET loss image was within a few ms on the GPU system, which would make it very useful for clinical use for the present invention.

아밀로이드 양전자 방출 단층 촬영(Positron Emission Tomography, PET) 이미지는 기억 장애 환자를 치료하기 위한 것이므로, 심층 학습 생성 이미지를 임상 판독 목적으로 사용할 수 있어야 한다.Since amyloid positron emission tomography (PET) images are intended to treat patients with memory impairment, deep learning-generated images should be available for clinical readout purposes.

본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치는 복원 이미지를 임상적으로 사용할 수 있는지 여부를 결정하기 위해 여러 가지 방법을 사용하였다.The apparatus for restoring a brain tomography image taken for a short time using deep learning according to an embodiment of the present invention uses various methods to determine whether the restored image can be used clinically.

의사가 PET 원본 이미지와 복원 이미지를 구별할 수 있는지 여부, 시각적 해석 결과의 차이점, 두 이미지에서 SUVR(Standardized Uptake Value Ratio, 표준섭취계수율)을 사용한 정략적 분석의 차이점 등 테스트를 실시하였다.Tests were conducted, such as whether the doctor can distinguish the original PET image from the reconstructed image, the difference in visual interpretation results, and the difference in the statistical analysis using the Standardized Uptake Value Ratio (SUVR) in the two images.

ReadersReaders Test 1Test 1 Test 2Test 2 4yrs experienced physician4yrs experienced physician 26/58(44.8%)26/58 (44.8%) 28/58(48.3%)28/58 (48.3%) Over 15yrs experienced physician 1Over 15yrs experienced physician 1 37/58(63.8%)37/58 (63.8%) 35/58(60.3%)35/58 (60.3%) Over 15yrs experienced physician 2Over 15yrs experienced physician 2 26/58(44.8%)26/58 (44.8%) 32/58(54.2%)32/58 (54.2%)

표 2는 경력에 따른 의사별로 복원 이미지와 가짜인지 실제인지 구별하기 위한 테스트인 Test 1과, 동일한 환자의 복원 이미지와 PET 원본 이미지 중 PET 원본 이미지를 선택하기 위한 테스트인 Test 2의 결과를 표로 나타낸 것이다.Table 2 shows the results of Test 1, which is a test to distinguish between a restored image and a fake or real image, and Test 2, a test to select the original PET image from the restored image and the original PET image of the same patient. will be.

표 2를 참조하면, Test 1은 핵의학에서의 임상 판독 경력의 기간과 관계없이 전체적인 정확도가 높지 않은 것으로 나타났다.Referring to Table 2, Test 1 showed that the overall accuracy was not high regardless of the length of clinical reading experience in nuclear medicine.

또한, Test 2는 의사가 임상 판독에 경력이 많을수록 원본 PET 이미지를 선택하는 빈도(48.3% ~ 60.3%)가 높았다. 그러나, 전체적으로 임상의는 복원 이미지와 PET 원본 이미지를 잘 구분하지 못하였다.Also, in Test 2, the more experienced doctors had in clinical reading, the higher the frequency (48.3% to 60.3%) of selecting the original PET image. However, overall, the clinician could not distinguish the reconstructed image from the original PET image.

바람직하게, PET 원본 이미지와 복원 이미지를 임상 판독하는 핵의학 전문의 3명에게 동시에 제시하였을 때, 원본 이미지 선정의 정확도는 40% ~ 60% 이내였다. 이것은 본 발명에 의해 생성된 복원 이미지가 PET 원본 이미지와 거의 구별되지 않음을 시사한다.Preferably, when the PET original image and the reconstructed image were presented simultaneously to three nuclear medicine specialists who were clinically reading, the accuracy of the original image selection was within 40% to 60%. This suggests that the reconstructed image generated by the present invention is hardly distinguishable from the original PET image.

다음으로, 관찰자 내 일치점과 진단 정확도를 평가하기 위해 BAPL(Brain Amyloid Plaque Load) score 테스트를 실시하였다.Next, a BAPL (Brain Amyloid Plaque Load) score test was performed to evaluate intra-observer agreement and diagnostic accuracy.

MetricMetric Reader 1Reader 1 Reader 2Reader 2 Reader 3Reader 3 MeanMean AccuracyAccuracy 91.4%(81.0, 97.1)91.4% (81.0, 97.1) 89.7%(78.8, 96.1)89.7% (78.8, 96.1) 86.2%(74.6, 93.9)86.2% (74.6, 93.9) 89.1%89.1% SensitivitySensitivity 95.2%(83.8, 99.4)95.2% (83.8, 99.4) 88.1%(74.4, 96.0)88.1% (74.4, 96.0) 90.5%(77.4, 97.3)90.5% (77.4, 97.3) 91.3%91.3% SpecificitySpecificity 81.3%(54.4, 96.0)81.3% (54.4, 96.0) 93.8%(69.8, 99.8)93.8% (69.8, 99.8) 75.0%(47.6, 92.7)75.0% (47.6, 92.7) 83.3%83.3%

표 3는 복원 이미지에 대해 BAPL score를 사용한 임상 판독에서 세 의사의 Accuracy, Sensitivity, Specificity를 나타낸 것이다. 또한, 표 3의 괄호 안의 데이터는 95% 신뢰 구간이다.Table 3 shows the Accuracy, Sensitivity, and Specificity of three doctors in clinical readings using BAPL scores for reconstructed images. In addition, the data in parentheses in Table 3 are 95% confidence intervals.

세 명의 의사는 복원 이미지를 BAPL score 시스템에 따라 평가했으며, 해석하기 어려운 부적절한 이미지는 없었다. 58명의 환자 중 5, 6, 8명의 환자에서 각 의사는 BAPL score는 Ground-Truth score와 다르게 평가하였다.Three doctors evaluated the reconstructed images according to the BAPL score system, and there were no inappropriate images that were difficult to interpret. In 5, 6, and 8 of 58 patients, each physician evaluated the BAPL score differently from the Ground-Truth score.

전체적으로, Accuracy, Sensitivity, Specificity에 대한 평균값(Mean)은 각각 89.1%, 91.3%, 83.3%로 나타났다.Overall, the mean values for Accuracy, Sensitivity, and Specificity were 89.1%, 91.3%, and 83.3%, respectively.

원본 이미지 (Ground-Truth)Original Image (Ground-Truth) Reader 1Reader 1 Reader 2Reader 2 Reader 3Reader 3 BS1BS1 BS2BS2 BS3BS3 TotalTotal BS1BS1 BS2BS2 BS3BS3 TotalTotal BS1BS1 BS2BS2 BS3BS3 TotalTotal 복원
이미지
restore
image
sBS1sBS1 1313 22 00 1515 1515 55 00 2020 1212 44 00 1616
sBS2sBS2 33 1616 00 1919 1One 1313 00 1414 44 1414 00 1818 sBS3sBS3 00 00 2424 2424 00 00 2424 2424 00 00 2424 2424 TotalTotal 1616 1818 2424 5858 1616 1818 2424 5858 1616 1818 2424 5858

표 4는 PET 원본 이미지와 복원 이미지 간에 BAPL score를 이용한 PET 영상 판독에 대한 Confusion Metrics를 나타낸 것이다.Table 4 shows the confusion metrics for the PET image reading using the BAPL score between the original PET image and the reconstructed image.

여기서, BS는 Ground-Truth의 BAPL score를 의미하고, sBS는 복원 이미지의 BAPL score를 의미하며, GT는 Ground-Truth score를 의미하고, BS1은 BAPL 1(음성반응), BS2는 BAPL 2(약한 양성반응), BS3는 BAPL 3(강한 양성반응)를 의미하는 것일 수 있다.Here, BS means the BAPL score of Ground-Truth, sBS means the BAPL score of the restored image, GT means the Ground-Truth score, BS1 is BAPL 1 (negative reaction), BS2 is BAPL 2 (weak positive), BS3 may mean BAPL 3 (strongly positive).

BAPL 3(강한 양성반응)의 경우 3명의 의사 모두 100% 정확도를 보였지만, BAPL 1(음성반응)과 BAPL 2(약한 양성반응)의 경우 58명 중 5~8명 정도가 거짓 양성 또는 거짓 반응이었다. BAPL 1과 BAPL 2를 구별하는 육안 판독에서 아밀로이드 흡수가 얼마나 긍정적인지에 대한 해석에는 주관적인 부분이 있다.For BAPL 3 (strong positive), all 3 doctors showed 100% accuracy, but for BAPL 1 (negative) and BAPL 2 (weak positive), 5-8 out of 58 patients were false positives or false positives. . Interpretation of how positive amyloid uptake is in the visual reading that distinguishes BAPL 1 and BAPL 2 is subjective.

육안 판독의 약점을 보완하기 위해, SUVR은 질병의 심각성이나 예후를 추론하기 위한 일상적인 실습에서 정략적 지표로 사용된다.To compensate for the weakness of visual readings, SUVR is used as a quantitative indicator in routine practice to infer disease severity or prognosis.

본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치의 복원 이미지에서 52개 뇌 영역의 SUVR은 PET 원본 이미지의 값(r = 0.998, p < 0.001)과 매우 높은 상관관계를 보였다.In the restored image of the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention, the SUVR of 52 brain regions is very high with the value of the original PET image (r = 0.998, p < 0.001). showed a correlation.

Bland-Altman 분석에서는 차이값의 평균이 0.016(1.6%)으로 나타났으며, SUVR 값 변동폭은 매우 작았다. 즉, 본 발명은 PET 원본 이미지와 비교할 수 있는 SUVR 값을 가진 복원 이미지를 생성할 수 있다.In the Bland-Altman analysis, the average of the difference values was 0.016 (1.6%), and the range of variation in the SUVR value was very small. That is, the present invention can generate a reconstructed image having an SUVR value comparable to the original PET image.

이 결과를 종합해 보면, 본 발명의 일 실시예에 따른 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치에 의해 생성된 복원 이미지는 임상 판독 목적으로 사용될 수 있음을 시사한다.Taken together, these results suggest that the restored image generated by the brain tomography image restoration apparatus taken for a short time using deep learning according to an embodiment of the present invention can be used for clinical reading purposes.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다. 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 변경의 기본으로써 즉시 사용될 수 있음이 해당 기술분야의 숙련된 사람들에 의해 인식되어야 한다.As mentioned above, although the present invention has been described in detail through preferred embodiments, the present invention is not limited thereto and may be practiced in various ways within the scope of the claims. Since the foregoing has described rather broadly the features and technical strengths of the present invention in order to better understand the claims of the present invention, the concepts and specific embodiments of the present invention described above are not intended to be used for other purposes similar to the present invention. It should be recognized by those skilled in the art that it can be used immediately as a basis for designing or changing the shape.

상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 변경 및 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 변경 및 변형 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 후술할 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It will be understood that the above-described embodiment is only one embodiment according to the present invention, and may be implemented in various changes and modifications within the scope of the technical spirit of the present invention by those of ordinary skill in the art. will be able Accordingly, the disclosed embodiments should be considered in an illustrative rather than a restrictive viewpoint, and such various changes and modifications are also shown in the claims of the present invention to be described later as belonging to the scope of the technical spirit of the present invention, and the scope equivalent thereto All differences therein should be construed as being included in the present invention.

1: 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치,
10: 손실 이미지 수집부,
20: 원본 이미지 수집부,
30: 크로핑부,
40: 제네레이터부,
50: 픽셀 단위 손실 산출부,
60: 디스크리미네이터부,
70: 오차값 산출부,
80: 거짓 이미지 세트 생성부,
90: 복원 이미지 출력부,
100: 인코더부,
110: 제1 인코더부,
111: 제1 인코더부의 제1 콘볼루션 레이어부,
113: 제1 인코더부의 제1 배치 정규화부,
115: 제1 인코더부의 제1 활성화부,
117: 제1 디컴포지션부,
117a: 제1 고주파 추출부,
117b: 제1 저주파 추출부,
130: 제2 인코더부,
131: 제2 인코더부의 제2 콘볼루션 레이어부,
133: 제2 인코더부의 제2 배치 정규화부,
135: 제2 인코더부의 제2 활성화부,
137: 제2 디컴포지션부,
137a: 제2 고주파 추출부,
137b: 제2 저주파 추출부,
150: 제3 인코더부,
151: 제3 인코더부의 제3 콘볼루션 레이어부,
153: 제3 인코더부의 제3 배치 정규화부,
155: 제3 인코더부의 제3 활성화부,
157: 제3 디컴포지션부,
157a: 제3 고주파 추출부,
157b: 제3 저주파 추출부,
200: 디코더부,
210: 제1 디코더부,
211: 제1 디코더부의 제1 콘볼루션 레이어부,
213: 제1 디코더부의 제1 배치 정규화부,
215: 제1 디코더부의 제1 활성화부,
217: 제1 리컴포지션부,
230: 제2 디코더부,
231: 제2 디코더부의 제2 콘볼루션 레이어부,
233: 제2 디코더부의 제2 배치 정규화부,
235: 제2 디코더부의 제2 활성화부,
237: 제2 리컴포지션부,
250: 제3 디코더부,
251: 제3 디코더부의 제3 콘볼루션 레이어부,
253: 제3 디코더부의 제3 배치 정규화부,
255: 제3 디코더부의 제3 활성화부,
257: 제3 리컴포지션부,
300: 제네레이터부의 선형화부,
400: 출력부,
610: 제1 특성맵 생성부,
611: 제1 특성맵 생성부의 제1 콘볼루션 레이어부,
613: 제1 특성맵 생성부의 제1 배치 정규화부,
615: 제1 특성맵 생성부의 제1 활성화부,
630: 제2 특성맵 생성부,
631: 제2 특성맵 생성부의 제2 콘볼루션 레이어부,
633: 제2 특성맵 생성부의 제2 배치 정규화부,
635: 제2 특성맵 생성부의 제2 활성화부,
650: 제3 특성맵 생성부,
651: 제3 특성맵 생성부의 제3 콘볼루션 레이어부,
653: 제3 특성맵 생성부의 제3 배치 정규화부,
655: 제3 특성맵 생성부의 제3 활성화부,
670: 디스크리미네이터부의 선형화부,
1001: 복원 이미지의 VOI의 변화에 따른 평균 SUVR의 변화,
1003: PET 원본 이미지의 VOI의 변화에 따른 평균 SUVR의 변화.
1: A brain tomography image restoration device taken for a short time using deep learning,
10: loss image collection unit;
20: original image collection unit;
30: cropping unit,
40: generator unit,
50: pixel unit loss calculator;
60: disc liminator unit,
70: error value calculation unit;
80: false image set generating unit;
90: restored image output unit,
100: encoder unit;
110: a first encoder unit;
111: a first convolutional layer unit of the first encoder unit;
113: a first batch normalization unit of the first encoder unit;
115: a first activation unit of the first encoder unit;
117: a first decomposition unit;
117a: a first high-frequency extraction unit,
117b: a first low-frequency extraction unit,
130: a second encoder unit;
131: a second convolutional layer unit of the second encoder unit;
133: a second batch normalization unit of the second encoder unit;
135: a second activation unit of the second encoder unit;
137: a second decomposition unit;
137a: a second high-frequency extraction unit,
137b: a second low-frequency extraction unit,
150: a third encoder unit;
151: a third convolutional layer unit of the third encoder unit;
153: a third batch normalization unit of the third encoder unit;
155: a third activation unit of the third encoder unit;
157: a third decomposition unit;
157a: a third high-frequency extraction unit,
157b: a third low-frequency extraction unit,
200: decoder unit;
210: a first decoder unit;
211: a first convolutional layer unit of the first decoder unit;
213: a first batch normalization unit of the first decoder unit;
215: a first activation unit of the first decoder unit;
217: a first recomposition unit;
230: a second decoder unit;
231: a second convolutional layer unit of the second decoder unit;
233: a second batch normalization unit of the second decoder unit;
235: a second activation unit of the second decoder unit;
237: a second recomposition unit;
250: a third decoder unit;
251: a third convolutional layer unit of the third decoder unit;
253: a third batch normalization unit of the third decoder unit;
255: a third activation unit of the third decoder unit;
257: a third recomposition unit;
300: a linearization unit of the generator unit;
400: output unit,
610: a first characteristic map generator;
611: a first convolutional layer unit of the first characteristic map generation unit;
613: a first batch normalization unit of the first characteristic map generation unit;
615: a first activation unit of the first characteristic map generation unit;
630: a second characteristic map generator;
631: a second convolutional layer unit of the second characteristic map generating unit;
633: a second batch normalization unit of the second characteristic map generation unit;
635: a second activation unit of the second characteristic map generation unit;
650: a third characteristic map generator;
651: a third convolutional layer unit of the third feature map generating unit;
653: a third batch normalization unit of the third characteristic map generation unit;
655: a third activation unit of the third characteristic map generation unit;
670: linearization unit of the discriminator,
1001: change in average SUVR according to change in VOI of the restored image,
1003: Change in average SUVR according to change in VOI of the original PET image.

Claims (19)

기설정된 제1 시간 동안 뇌를 단층 촬영함에 따라 획득된 잡음 성분을 포함하는 PET 손실 이미지를 수집하는 손실 이미지 수집부;
상기 제1 시간보다 긴 제2 시간 동안 뇌를 단층 촬영함에 따라 획득되되, 상기 PET 손실 이미지에 대응되어 단층 촬영된 PET 원본 이미지를 수집하는 원본 이미지 수집부;
상기 PET 손실 이미지의 상기 잡음 성분을 제거하여 복수 개의 유사 PET 이미지들을 생성하는 제네레이터부;
상기 제네레이터부에서 생성된 상기 복수 개의 유사 PET 이미지들과 상기 PET 원본 이미지를 비교하여 상기 유사 PET 이미지가 상기 PET 원본 이미지에 대응되는 실제 이미지 분류에 속하는지 또는 상기 PET 원본 이미지에 대응되지 않는 거짓 이미지 분류에 속하는지를 판별하는 디스크리미네이터부; 및
상기 디스크리미네이터부에서 상기 실제 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지에 기초한 복원 이미지를 생성하여 출력하는 복원 이미지 출력부;
를 포함하는 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
a loss image collecting unit for collecting a PET loss image including a noise component obtained by tomography the brain for a first preset time;
an original image collecting unit which is acquired by tomography the brain for a second time period longer than the first time period, and collects an original tomographic PET image corresponding to the PET loss image;
a generator unit for generating a plurality of similar PET images by removing the noise component of the lost PET image;
By comparing the plurality of similar PET images generated by the generator with the original PET image, whether the similar PET image belongs to an actual image classification corresponding to the original PET image or a false image that does not correspond to the original PET image a discriminator unit that determines whether it belongs to a classification; and
a restored image output unit for generating and outputting a restored image based on the similar PET image determined by the discriminator to belong to the actual image classification;
A brain tomography image restoration device taken for a short time using deep learning, including a.
제1항에 있어서,
상기 손실 이미지 수집부는,
상기 제1 시간 동안 뇌를 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 상기 PET 손실 이미지를 수집하는 것이고,
상기 원본 이미지 수집부는,
상기 제2 시간 동안 뇌를 상기 F-18 플로르베타벤 양전자 방출 단층 촬영함에 따라 상기 PET 원본 이미지를 수집하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
According to claim 1,
The loss image collection unit,
collecting images of the PET loss by F-18 fluorbetaben positron emission tomography of the brain during the first hour;
The original image collection unit,
collecting the PET raw images by subjecting the brain to the F-18 florbetaben positron emission tomography during the second time period;
A brain tomography image restoration device taken for a short time using deep learning.
제2항에 있어서,
상기 PET 손실 이미지와 상기 PET 원본 이미지 사이의 평균 제곱 오차에 기초하여 픽셀 단위 손실값을 산출하는 픽셀 단위 손실 산출부;를 더 포함하고,
상기 제네레이터부는,
상기 PET 손실 이미지를 이용하여 상기 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀값을 상기 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
3. The method of claim 2,
a pixel unit loss calculator for calculating a pixel unit loss value based on a mean square error between the PET loss image and the original PET image;
The generator unit,
Generating a plurality of similar PET images by correcting at least one pixel value among pixel values of the PET loss image by adding or subtracting an error value equal to or less than the loss value per pixel by using the lost PET image
A brain tomography image restoration device taken for a short time using deep learning.
제2항에 있어서,
상기 디스크리미네이터부에서 상기 거짓 이미지 분류에 속하는 것으로 판별된 유사 PET 이미지와 상기 PET 원본 이미지 사이의 오차값을 산출하는 오차값 산출부; 및
상기 디스크리미네이터부에서 상기 거짓 이미지 분류에 속하는 것으로 판별된 복수 개의 유사 PET 이미지들 각각의 상기 오차값을 비교하여, 상기 오차값이 기설정된 임계값 이하의 유사 PET 이미지를 제거하고 상기 임계값을 초과하는 유사 PET 이미지들에 따른 복수 개의 거짓 PET 이미지 세트들을 기설정된 생성적 적대 신경망 모델에 기초하여 생성하는 거짓 이미지 세트 생성부;를 더 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
3. The method of claim 2,
an error value calculation unit for calculating an error value between the similar PET image determined to belong to the false image classification by the discriminator unit and the original PET image; and
The discriminator compares the error value of each of the plurality of similar PET images determined to belong to the false image classification, removes the similar PET image with the error value equal to or less than a preset threshold value, and sets the threshold value. Further comprising; a false image set generator that generates a plurality of false PET image sets based on a preset generative adversarial neural network model according to the excessively similar PET images
A brain tomography image restoration device taken for a short time using deep learning.
제4항에 있어서,
상기 제네레이터부는,
상기 거짓 이미지 세트 생성부에서 생성된 상기 거짓 PET 이미지 세트를 이용하여 상기 PET 손실 이미지의 픽셀값들 중 적어도 하나의 픽셀값을 평균 제곱 오차에 기초한 픽셀 단위 손실값 이하의 오차값을 가산하거나 감산하여 수정함에 따른 복수 개의 유사 PET 이미지들을 생성하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
5. The method of claim 4,
The generator unit,
Using the false PET image set generated by the false image set generator, adding or subtracting an error value less than or equal to the pixel loss value based on the mean square error to at least one pixel value among the pixel values of the PET loss image. Generating a plurality of similar PET images by modification
A brain tomography image restoration device taken for a short time using deep learning.
제2항에 있어서,
상기 디스크리미네이터부는,
상기 PET 원본 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 상기 PET 원본 이미지의 특징맵을 추출하는 콘볼루션 레이어부;
상기 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 배치 정규화부;
상기 배치 정규화된 상기 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 특징맵을 생성하는 활성화부; 및
상기 활성화된 특징맵에 상기 제1 콘볼루션 레이어보다 상대적으로 작은 필터 커널 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 입력받은 상기 PET 원본 이미지의 크기와 일치하도록 조정하여 선형화된 PET 원본 이미지를 생성하는 선형화부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
3. The method of claim 2,
The discriminator unit,
a convolutional layer unit for receiving the original PET image and extracting a feature map of the original PET image using a first convolutional layer having a preset filter kernel size;
a batch normalization unit for batch normalizing the distribution of pixel values belonging to the feature map such that the pixel values belonging to the feature map have an average of 0 and a variance of 1;
an activator configured to generate an activated feature map using an activation function having a preset gradient for the batch normalized feature map; and
A second convolutional layer having a filter kernel size that is relatively smaller than that of the first convolutional layer is used in the activated feature map to match the size of the received original PET image to generate a linearized PET image. Linearization unit; including
A brain tomography image restoration device taken for a short time using deep learning.
제6항에 있어서,
상기 디스크리미네이터부는,
상기 제네레이터부에서 생성한 상기 복수 개의 유사 PET 이미지들과 상기 선형화된 PET 원본 이미지를 비교하여 상기 유사 PET 이미지와 상기 선형화된 PET 원본 이미지 사이의 오차값이 기설정된 임계값 이하인지 여부를 판별하여 상기 유사 PET 이미지가 상기 선형화된 PET 원본 이미지에 대응되는지 여부를 판별하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
7. The method of claim 6,
The discriminator unit,
By comparing the plurality of similar PET images generated by the generator with the original linearized PET image, it is determined whether an error value between the similar PET image and the linearized original PET image is less than or equal to a preset threshold, Determining whether a similar PET image corresponds to the linearized original PET image
A brain tomography image restoration device taken for a short time using deep learning.
제2항에 있어서,
상기 제네레이터부는,
상기 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징을 추출하고, 상기 PET 손실 이미지의 픽셀 사이즈를 축소시키는 디컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 상기 PET 손실 이미지의 특징맵을 생성하는 인코더부; 및
상기 PET 손실 이미지의 특징맵을 입력받아 상기 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징맵의 특징을 추출하고, 상기 PET 손실 이미지의 특징맵의 픽셀 사이즈를 확대시키는 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성하는 디코더부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
3. The method of claim 2,
The generator unit,
The PET loss image is filtered according to a convolution operation to extract features of the lost PET image, and a pixel size relatively smaller than the pixel size of the lost PET image using a decomposition function that reduces the pixel size of the lost PET image. an encoder unit for generating a feature map of the PET loss image having a size; and
Receives the feature map of the lost PET image, filters the feature map of the lost PET image by convolutional operation, extracts features of the feature map of the lost PET image, and enlarges the pixel size of the feature map of the lost PET image A decoder unit that generates a similar PET image having the same pixel size as the pixel size of the lost PET image by using a recomposition function
A brain tomography image restoration device taken for a short time using deep learning.
제8항에 있어서,
상기 인코더부는,
상기 PET 손실 이미지를 입력받아 상기 PET 손실 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징을 추출하고, 상기 디컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성하는 제1 인코더부;
상기 제1 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 제1 특징맵의 특징을 추출하고, 상기 디컴포지션 함수를 이용하여 상기 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성하는 제2 인코더부; 및
상기 제2 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 제2 특징맵의 특징을 추출하고, 상기 디컴포지션 함수를 이용하여 상기 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 상기 PET 손실 이미지의 특징맵을 생성하는 제3 인코더부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
9. The method of claim 8,
The encoder unit,
The PET loss image is received and the PET loss image is filtered according to a convolution operation to extract the characteristics of the PET loss image, and a pixel size relatively smaller than the pixel size of the PET loss image is obtained by using the decomposition function. a first encoder unit for generating a first feature map with branches;
A second feature that filters the first feature map according to a convolution operation to extract a feature of the first feature map, and uses the decomposition function to have a pixel size that is relatively smaller than the pixel size of the first feature map a second encoder unit for generating a map; and
The PET loss having a smaller pixel size than the pixel size of the second feature map is extracted by filtering the second feature map according to the convolution operation, and extracting the feature of the second feature map using the decomposition function. A third encoder unit that generates a feature map of the image;
A brain tomography image restoration device taken for a short time using deep learning.
제8항에 있어서,
상기 디코더부는,
상기 PET 손실 이미지의 특징맵을 콘볼루션 연산함에 따라 필터링하여 상기 PET 손실 이미지의 특징맵의 특징을 추출하고, 상기 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성하는 제1 디코더부;
상기 제1 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 제1 유사 이미지의 특징을 추출하고, 상기 리컴포지션 함수를 이용하여 상기 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성하는 제2 디코더부; 및
상기 제2 유사 이미지를 콘볼루션 연산함에 따라 필터링하여 상기 제2 유사 이미지의 특징을 추출하고, 상기 리컴포지션 함수를 이용하여 상기 인코더부에서 입력받은 상기 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 유사 PET 이미지를 생성하는 제3 디코더부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
9. The method of claim 8,
The decoder unit,
The feature map of the lost PET image is filtered according to the convolution operation to extract the feature of the feature map of the lost PET image, and the pixel size of the feature map of the lost PET image is relatively larger than the pixel size of the feature map of the lost image by using the recomposition function. a first decoder unit for generating a first likeness image having a size;
Filtering the first similar image according to a convolution operation to extract features of the first similar image, and using the recomposition function, a second similarity having a relatively larger pixel size than the pixel size of the first similar image a second decoder unit for generating an image; and
Filtering the second similar image according to a convolution operation to extract features of the second similar image, and using the recomposition function to have the same pixel size as the pixel size of the lost PET image received from the encoder unit What includes; a third decoder unit that generates a similar PET image
A brain tomography image restoration device taken for a short time using deep learning.
제9항에 있어서,
상기 제1 인코더부는,
상기 PET 손실 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 상기 PET 손실 이미지의 특징을 추출하는 제1 콘볼루션 레이어부;
상기 PET 손실 이미지에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 PET 손실 이미지에 속하는 픽셀값들의 분포를 배치 정규화하는 제1 배치 정규화부;
상기 배치 정규화된 상기 PET 손실 이미지를 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 PET 손실 이미지 생성하는 제1 활성화부; 및
상기 활성화된 PET 손실 이미지에 상기 디컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제1 특징맵을 생성하는 제1 디컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
10. The method of claim 9,
The first encoder unit,
a first convolutional layer unit receiving the PET loss image and extracting features of the PET loss image using a first convolutional layer having a preset filter kernel size;
a first batch normalization unit for batch normalizing the distribution of pixel values belonging to the PET loss image such that the average of the pixel values belonging to the PET loss image is 0 and the variance is 1;
a first activator configured to generate an activated PET loss image by using an activation function having a preset gradient on the batch normalized PET loss image; and
A first decomposition unit for generating a first feature map having a pixel size relatively smaller than a pixel size of the lost PET image by using the decomposition function in the activated PET loss image;
A brain tomography image restoration device taken for a short time using deep learning.
제11항에 있어서,
상기 제2 인코더부는,
상기 제1 특징맵를 입력받아 기설정된 필터 커널 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 상기 제1 특징맵의 특징을 추출하는 제2 콘볼루션 레이어부;
상기 제1 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제1 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 제2 배치 정규화부;
상기 배치 정규화된 상기 제1 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제1 특징맵을 생성하는 제2 활성화부; 및
상기 활성화된 제1 특징맵에 상기 디컴포지션 함수를 이용하여 상기 제1 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 제2 특징맵을 생성하는 제2 디컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
12. The method of claim 11,
The second encoder unit,
a second convolutional layer unit receiving the first feature map and extracting features of the first feature map using a second convolutional layer having a preset filter kernel size;
a second arrangement normalizer for arrangement normalizing the distribution of pixel values pertaining to the first feature map such that the pixel values belonging to the first feature map have an average of 0 and a variance of 1;
a second activator configured to generate an activated first feature map using an activation function having a preset gradient on the batch normalized first feature map; and
Including;
A brain tomography image restoration device taken for a short time using deep learning.
제12항에 있어서,
상기 제3 인코더부는,
상기 제2 특징맵를 입력받아 기설정된 필터 커널 사이즈를 가지는 제3 콘볼루션 레이어를 이용하여 상기 제2 특징맵의 특징을 추출하는 제3 콘볼루션 레이어부;
상기 제2 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제2 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 제3 배치 정규화부;
상기 배치 정규화된 상기 제2 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제2 특징맵을 생성하는 제3 활성화부; 및
상기 활성화된 제2 특징맵에 상기 디컴포지션 함수를 이용하여 상기 제2 특징맵의 픽셀 사이즈보다 상대적으로 작은 픽셀 사이즈를 가지는 상기 PET 손실 이미지의 특징맵을 생성하는 제3 디컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
13. The method of claim 12,
The third encoder unit,
a third convolutional layer unit receiving the second feature map and extracting features of the second feature map using a third convolutional layer having a preset filter kernel size;
a third arrangement normalization unit for arrangement normalizing the distribution of pixel values pertaining to the second feature map such that the pixel values belonging to the second feature map have an average of 0 and a variance of 1;
a third activator configured to generate an activated second feature map using an activation function having a preset gradient for the batch normalized second feature map; and
a third decomposition unit generating a feature map of the PET loss image having a pixel size relatively smaller than a pixel size of the second feature map by using the decomposition function in the activated second feature map; thing
A brain tomography image restoration device taken for a short time using deep learning.
제10항에 있어서,
상기 제1 디코더부는,
상기 PET 손실 이미지의 특징맵을 입력받아 기설정된 필터 커널 사이즈를 가지는 제1 콘볼루션 레이어를 이용하여 상기 PET 손실 이미지의 특징맵의 특징을 추출하는 제1 콘볼루션 레이어부;
상기 PET 손실 이미지의 특징맵에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 PET 손실 이미지의 특징맵에 속하는 픽셀값들의 분포를 배치 정규화하는 제1 배치 정규화부;
상기 배치 정규화된 상기 PET 손실 이미지의 특징맵을 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 PET 손실 이미지의 특징맵을 생성하는 제1 활성화부; 및
상기 활성화된 PET 손실 이미지의 특징맵에 상기 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 특징맵의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제1 유사 이미지를 생성하는 제1 리컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
11. The method of claim 10,
The first decoder unit,
a first convolutional layer unit receiving the feature map of the lost PET image and extracting features of the feature map of the lost PET image using a first convolutional layer having a preset filter kernel size;
a first batch normalization unit for batch normalizing the distribution of pixel values belonging to the feature map of the lost PET image by making the average of the pixel values belonging to the feature map of the lost PET image to be a value of 0 and a value having a variance of 1;
a first activator configured to generate a feature map of an activated PET loss image by using an activation function having a preset gradient for the batch normalized feature map of the PET loss image; and
a first recomposition unit for generating a first similar image having a pixel size relatively larger than a pixel size of a feature map of the lost PET image by using the recomposition function in the feature map of the activated PET loss image; to do
A brain tomography image restoration device taken for a short time using deep learning.
제14항에 있어서,
상기 제2 디코더부는,
상기 제1 유사 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제2 콘볼루션 레이어를 이용하여 상기 제1 유사 이미지의 특징을 추출하는 제2 콘볼루션 레이어부;
상기 제1 유사 이미지에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제1 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화하는 제2 배치 정규화부;
상기 배치 정규화된 상기 제1 유사 이미지를 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제1 유사 이미지를 생성하는 제2 활성화부; 및
상기 활성화된 제1 유사 이미지에 상기 리컴포지션 함수를 이용하여 상기 제1 유사 이미지의 픽셀 사이즈보다 상대적으로 큰 픽셀 사이즈를 가지는 제2 유사 이미지를 생성하는 제2 리컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
15. The method of claim 14,
The second decoder unit,
a second convolutional layer unit receiving the first likeness image and extracting features of the first likeness image by using a second convolutional layer having a preset filter kernel size;
a second batch normalization unit for batch normalizing the distribution of pixel values belonging to the first similar image by setting the pixel values belonging to the first similar image to have an average of 0 and a variance of 1;
a second activator configured to generate an activated first likeness image using an activation function having a preset gradient on the batch normalized first likeness image; and
a second recomposition unit configured to generate a second likeness image having a pixel size that is relatively larger than a pixel size of the first likeness image by using the recomposition function on the activated first likeness image;
A brain tomography image restoration device taken for a short time using deep learning.
제15항에 있어서,
상기 제3 디코더부는,
상기 제2 유사 이미지를 입력받아 기설정된 필터 커널 사이즈를 가지는 제3 콘볼루션 레이어를 이용하여 상기 제2 유사 이미지의 특징을 추출하는 제3 콘볼루션 레이어부;
상기 제2 유사 이미지에 속하는 픽셀값의 평균이 0인 값, 분산이 1인 값이 되도록 하여 상기 제2 유사 이미지에 속하는 픽셀값들의 분포를 배치 정규화하는 제3 배치 정규화부;
상기 배치 정규화된 상기 제2 유사 이미지를 기설정된 기울기를 가지는 활성화 함수를 이용하여 활성화된 제2 유사 이미지를 생성하는 제3 활성화부; 및
상기 활성화된 제2 유사 이미지에 상기 리컴포지션 함수를 이용하여 상기 PET 손실 이미지의 픽셀 사이즈와 동일한 픽셀 사이즈를 가지는 상기 유사 PET 이미지를 생성하는 제3 리컴포지션부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
16. The method of claim 15,
The third decoder unit,
a third convolutional layer unit receiving the second likeness image and extracting features of the second likeness image by using a third convolutional layer having a preset filter kernel size;
a third batch normalization unit for batch normalizing the distribution of pixel values belonging to the second similar image by setting an average of 0 and a variance of 1 of the pixel values belonging to the second similar image;
a third activator configured to generate a second likeness image activated by using an activation function having a preset gradient on the batch normalized second likeness image; and
a third recomposition unit for generating the pseudo PET image having the same pixel size as the pixel size of the lost PET image by using the recomposition function on the activated second similar image;
A brain tomography image restoration device taken for a short time using deep learning.
제11항에 있어서,
상기 제1 디컴포지션부는,
상기 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하는 제1 고주파 추출부; 및
상기 제1 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출하는 제1 저주파 추출부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
12. The method of claim 11,
The first decomposition unit,
a first high frequency extraction unit for calculating one pixel value based on a difference between at least two pixel values among the pixel values of the first feature map; and
A first low-frequency extraction unit for calculating one pixel value based on an average between at least two pixel values among the pixel values of the first feature map;
A brain tomography image restoration device taken for a short time using deep learning.
제9항에 있어서,
상기 제2 디컴포지션부는,
상기 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하는 제2 고주파 추출부; 및
상기 제2 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출하는 제2 저주파 추출부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
10. The method of claim 9,
The second decomposition unit,
a second high frequency extraction unit for calculating one pixel value based on a difference between at least two pixel values among the pixel values of the second feature map; and
A second low-frequency extraction unit for calculating one pixel value based on an average between at least two pixel values among the pixel values of the second feature map;
A brain tomography image restoration device taken for a short time using deep learning.
제9항에 있어서,
상기 제3 디컴포지션부는,
상기 PET 손실 이미지의 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 차이에 기초하여 하나의 픽셀값을 산출하는 제3 고주파 추출부; 및
상기 PET 손실 이미지의 특징맵의 픽셀값들 중 적어도 두 개의 픽셀값 간의 평균에 기초하여 하나의 픽셀값을 산출하는 제3 저주파 추출부;를 포함하는 것
인 딥러닝을 이용한 짧은 시간 촬영한 뇌 단층 촬영 이미지 복원 장치.
10. The method of claim 9,
The third decomposition unit,
a third high frequency extraction unit for calculating one pixel value based on a difference between at least two pixel values among pixel values of the feature map of the PET loss image; and
A third low-frequency extractor for calculating one pixel value based on an average between at least two pixel values among the pixel values of the feature map of the PET loss image;
A brain tomography image restoration device taken for a short time using deep learning.
KR1020200061337A 2020-05-22 2020-05-22 Apparatus for restoring short scanning brain tomographic image using deep-learning KR102351283B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200061337A KR102351283B1 (en) 2020-05-22 2020-05-22 Apparatus for restoring short scanning brain tomographic image using deep-learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200061337A KR102351283B1 (en) 2020-05-22 2020-05-22 Apparatus for restoring short scanning brain tomographic image using deep-learning

Publications (2)

Publication Number Publication Date
KR20210145003A true KR20210145003A (en) 2021-12-01
KR102351283B1 KR102351283B1 (en) 2022-01-14

Family

ID=78933877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200061337A KR102351283B1 (en) 2020-05-22 2020-05-22 Apparatus for restoring short scanning brain tomographic image using deep-learning

Country Status (1)

Country Link
KR (1) KR102351283B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220090993A (en) * 2020-12-23 2022-06-30 동아대학교 산학협력단 Pet image medium-term data prediction apparatus based on least squares method for determining brain disease, and method thereof
KR102444082B1 (en) * 2022-02-22 2022-09-16 뉴로핏 주식회사 Apparatus and method for providing dementia diagnosis assistance infromation
KR102593628B1 (en) * 2023-07-10 2023-10-24 주식회사 뉴큐어엠 Method and system for generating high-quality medical image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975186B1 (en) 2018-07-04 2019-05-07 광운대학교 산학협력단 Apparatus and method of data generation for object detection based on generative adversarial networks
KR102034248B1 (en) 2019-04-19 2019-10-18 주식회사 루닛 Method for detecting anomaly using generative adversarial networks, apparatus and system thereof
JP2019211475A (en) * 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 Medical image processor and program
KR20200055425A (en) * 2018-11-13 2020-05-21 서강대학교산학협력단 Apparatus and method for ultra-fast acquiring positron emission tomographic image based on deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211475A (en) * 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 Medical image processor and program
KR101975186B1 (en) 2018-07-04 2019-05-07 광운대학교 산학협력단 Apparatus and method of data generation for object detection based on generative adversarial networks
KR20200055425A (en) * 2018-11-13 2020-05-21 서강대학교산학협력단 Apparatus and method for ultra-fast acquiring positron emission tomographic image based on deep learning
KR102034248B1 (en) 2019-04-19 2019-10-18 주식회사 루닛 Method for detecting anomaly using generative adversarial networks, apparatus and system thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Islam J, Zhang Y. GAN-based synthetic brain PET image generation. Brain Inform. Published 2020 Mar 30. doi:10.1186/s40708-020-00104-2. 2020년 3월 30일 공개.* *
Pozaruk, A.et al. Augmented deep learning model for improved quantitative accuracy of MR-based PET attenuation correction in PSMA PET-MRI prostate imaging. 2020년 5월 11일 공개 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220090993A (en) * 2020-12-23 2022-06-30 동아대학교 산학협력단 Pet image medium-term data prediction apparatus based on least squares method for determining brain disease, and method thereof
KR102444082B1 (en) * 2022-02-22 2022-09-16 뉴로핏 주식회사 Apparatus and method for providing dementia diagnosis assistance infromation
KR102593628B1 (en) * 2023-07-10 2023-10-24 주식회사 뉴큐어엠 Method and system for generating high-quality medical image

Also Published As

Publication number Publication date
KR102351283B1 (en) 2022-01-14

Similar Documents

Publication Publication Date Title
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
KR102351283B1 (en) Apparatus for restoring short scanning brain tomographic image using deep-learning
US5657362A (en) Automated method and system for computerized detection of masses and parenchymal distortions in medical images
CN103249358B (en) Medical image-processing apparatus
US8340388B2 (en) Systems, computer-readable media, methods, and medical imaging apparatus for the automated detection of suspicious regions of interest in noise normalized X-ray medical imagery
EP1302163A2 (en) Method and apparatus for calculating an index of local blood flows
US8452067B2 (en) Method for generating bone mask
EP2869261B1 (en) Method for processing image data representing a three-dimensional volume
Yang Multimodal medical image fusion through a new DWT based technique
US20210225491A1 (en) Diagnostic image converting apparatus, diagnostic image converting module generating apparatus, diagnostic image recording apparatus, diagnostic image converting method, diagnostic image converting module generating method, diagnostic image recording method, and computer recordable recording medium
EP3758602A1 (en) Neural network classification of osteolysis and synovitis near metal implants
Kaur et al. Computer-aided diagnosis of renal lesions in CT images: a comprehensive survey and future prospects
Ganvir et al. Filtering method for pre-processing mammogram images for breast cancer detection
CN116434918A (en) Medical image processing method and computer readable storage medium
CN117727441A (en) Method for predicting lung cancer immune curative effect based on clinical-fusion image computer model
Al-Ashwal et al. Digital processing for computed tomography images: brain tumor extraction and histogram analysis
JP2009050726A (en) Method and apparatus for calculating index for local blood flow kinetics
Michopoulou Image analysis for the diagnosis of MR images of the lumbar spine
Muthiah et al. Fusion of MRI and PET images using deep learning neural networks
Benrabha et al. Automatic ROI detection and classification of the achilles tendon ultrasound images
CN115456890A (en) Method for generating anti-medical CT image denoising based on multi-scale dual-domain discriminator
US20070053570A1 (en) Image processing method, and computer-readable recording medium in which image processing program is recorded
Salehi et al. Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab
Bandyopadhyay Image enhancement technique applied to low-field MR brain images
Faro et al. Statistical texture analysis of MRI images to classify patients affected by multiple sclerosis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant