KR20220135683A - Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor - Google Patents

Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor Download PDF

Info

Publication number
KR20220135683A
KR20220135683A KR1020210041700A KR20210041700A KR20220135683A KR 20220135683 A KR20220135683 A KR 20220135683A KR 1020210041700 A KR1020210041700 A KR 1020210041700A KR 20210041700 A KR20210041700 A KR 20210041700A KR 20220135683 A KR20220135683 A KR 20220135683A
Authority
KR
South Korea
Prior art keywords
image
dose
denoising
low
neural network
Prior art date
Application number
KR1020210041700A
Other languages
Korean (ko)
Other versions
KR102550338B1 (en
Inventor
백종덕
한민아
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210041700A priority Critical patent/KR102550338B1/en
Publication of KR20220135683A publication Critical patent/KR20220135683A/en
Application granted granted Critical
Publication of KR102550338B1 publication Critical patent/KR102550338B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pulmonology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

In accordance with the present invention, provided are a low-dose CT image noise reduction device and a learning device and a method therefor. The low-dose CT image noise reduction device includes a denoising neural network embodied as a pre-trained artificial neural network to output a denoising CT image by removing a noise of an applied low-dose CT image in accordance with a learned scheme. As the denoising neural network separately applies a denoising CT image and a normal-dose CT image, outputted from the applied low-dose CT image, to a lesion identification neural network, which is an artificial neural network pre-trained to identify images containing lesions during a learning procedure, the lesion identification neural network is trained to reduce an observation loss calculated with a difference between first and second feature maps acquired during the lesion identification procedure from the denoising CT image and the normal-dose CT image, thereby effectively reducing noise without causing a blur in the low-dose CT image or changing a pixel value.

Description

저선량 CT 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법{Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor}Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor

본 발명은 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법에 관한 것으로, 저선량 CT 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법에 관한 것이다.The present invention relates to an apparatus for reducing image noise and a learning apparatus and method therefor, and to a low-dose CT image noise reduction apparatus and a learning apparatus and method for the same.

컴퓨터 단층촬영(Computed Tomography: 이하 CT)은 비침습적으로 고해상도 인체 단면 영상을 획득하여 뼈와 장기, 혈관 등 인체 내부 조직을 관찰하는데 유용한 의료영상 기법이다. 그러나 엑스선을 이용하기 때문에 방사선 피폭이 가해진다는 문제점이 있으므로, 컴퓨터 단층촬영 시 방사선 조사량을 줄이는 방안의 하나로 물리적으로 엑스선 조사선량을 줄이는 저선량(low-dose) 조사 방식이 제안되었다.Computed tomography (CT) is a useful medical imaging technique for non-invasively acquiring high-resolution cross-sectional images of the human body to observe internal tissues such as bones, organs, and blood vessels. However, since there is a problem that radiation exposure is applied due to the use of X-rays, a low-dose irradiation method that physically reduces the X-ray radiation dose has been proposed as one of the methods to reduce the radiation dose during computed tomography.

그러나 저선량 조사 방식을 이용하는 경우, CT 영상에 노이즈가 증가되는 문제가 있다. 이와 같이 영상에 발생된 노이즈는 CT 영상의 화질을 저하시키고 영상 내 작은 대조도나 작은 크기를 가지는 종양 등을 진단하는 것을 방해하는 요인이 된다.However, when a low-dose irradiation method is used, there is a problem in that noise is increased in the CT image. As such, the noise generated in the image deteriorates the image quality of the CT image and becomes a factor that prevents the diagnosis of a tumor having a small contrast or a small size in the image.

이에 최근에는 컨볼루션 네트워크(Convolutional Neural Network: 이하 CNN)와 같은 인공 신경망을 이용하여 노이즈를 제거하기 위한 기법이 주로 이용되고 있다. 그러나 인공 신경망을 이용한 노이즈 제거 기법은 우수한 노이즈 제거 성능을 나타내지만, 노이즈가 제거된 결과 영상에 흐림(blur)을 발생시키거나 영상의 픽셀 값들의 특성을 변화시켜 영상의 질감과 미세한 구조들을 제거하는 또 다른 문제를 야기한다.Accordingly, recently, a technique for removing noise using an artificial neural network such as a convolutional neural network (CNN) has been mainly used. However, the noise removal technique using the artificial neural network shows excellent noise removal performance, but as a result of removing the noise, the image is blurred or the characteristics of the pixel values of the image are changed to remove the texture and fine structures of the image. It causes another problem.

한국 등록 특허 제10-2165915호 (2020.10.07 등록)Korean Patent Registration No. 10-2165915 (Registered on 10.07. 2020)

본 발명의 목적은 저선량 CT 영상에서 흐림을 유발하거나 픽셀값을 변화시키지 않으면서 노이즈를 저감할 수 있는 저선량 CT 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide a low-dose CT image noise reduction apparatus capable of reducing noise without causing blur or changing pixel values in a low-dose CT image, and a learning apparatus and method therefor.

본 발명의 다른 목적은 종양 검출을 위해 미리 학습된 별도의 신경망을 이용하여 학습되어 저선량 CT 영상의 노이즈를 효과적으로 제거할 수 있는 저선량 CT 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus for reducing noise in a low-dose CT image, which is learned using a separate neural network previously learned for tumor detection, and effectively removes noise in a low-dose CT image, and a learning apparatus and method therefor.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 저선량 CT 영상 노이즈 저감 장치는 미리 학습된 인공 신경망으로 구현되어, 인가된 저선량 CT 영상의 노이즈를 학습된 방식에 따라 제거하여 디노이징 CT 영상을 출력하는 디노이징 신경망을 포함하고, 상기 디노이징 신경망은 학습 과정에서 병변이 포함된 영상을 식별하도록 미리 학습된 인공 신경망인 병변 식별 신경망에 인가된 저선량 CT 영상으로부터 출력되는 디노이징 CT 영상과 정상 선량 CT 영상을 각각 인가하여, 상기 병변 식별 신경망이 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상으로부터 병변 식별 과정에서 획득하는 제1 특징맵과 제2 특징맵 사이의 차이로 계산되는 관측 손실이 저감되도록 학습된다.To achieve the above object, the low-dose CT image noise reduction apparatus according to an embodiment of the present invention is implemented with a pre-trained artificial neural network, and removes the applied noise of the low-dose CT image according to the learned method to obtain a denoising CT image. and a denoising neural network to output, wherein the denoising neural network outputs a denoising CT image and a normal dose from a low-dose CT image applied to a lesion identification neural network, which is an artificial neural network pre-trained to identify an image containing a lesion in the learning process. By applying each CT image, the lesion identification neural network reduces the observation loss calculated by the difference between the first feature map and the second feature map obtained in the lesion identification process from the denoising CT image and the normal-dose CT image. is learned

상기 디노이징 신경망은 상기 저선량 CT 영상을 인가받고, 학습된 방식에 따라 상기 저선량 CT 영상의 특징을 추출하여 인코딩 특징맵을 획득하는 인코더; 및 상기 인코딩 특징맵을 인가받고, 학습된 방식에 따라 상기 인코딩 특징맵으로부터 CT 영상을 복구하여 상기 디노이징 CT 영상을 획득하는 디코더를 포함할 수 있다.The denoising neural network includes: an encoder that receives the low-dose CT image, extracts features of the low-dose CT image according to a learned method, and obtains an encoding feature map; and a decoder that receives the encoding feature map and recovers the CT image from the encoded feature map according to a learned method to obtain the denoising CT image.

상기 병변 식별 신경망은 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상을 각각 인가받고, 미리 학습된 방식에 따라 상기 디노이징 CT 영상의 특징을 추출하여 상기 제1 특징맵을 획득하고, 상기 정상 선량 CT 영상의 특징을 추출하여 상기 제2 특징맵을 획득하는 특징 추출부; 및 상기 제1 특징맵과 상기 제2 특징맵을 각각 인가받고, 미리 학습된 방식에 따라 상기 제1 특징맵과 상기 제2 특징맵에서 기지정된 병변이 검출되어 있는지 판별하여, 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상 각각을 병변이 포함된 영상과 병변이 포함되지 않은 영상으로 구분하는 병변 식별부를 포함할 수 있다.The lesion identification neural network receives each of the denoising CT image and the normal dose CT image, extracts features of the denoising CT image according to a pre-learned method to obtain the first feature map, and the normal dose CT a feature extractor configured to extract features of an image to obtain the second feature map; and the first feature map and the second feature map are respectively applied, and it is determined whether predetermined lesions are detected in the first feature map and the second feature map according to a pre-learned method, and the denoising CT image and a lesion identification unit for classifying each of the normal-dose CT images into an image including a lesion and an image not including a lesion.

상기 디노이징 신경망은 수학식 The denoising neural network is

Figure pat00001
Figure pat00001

(여기서

Figure pat00002
Figure pat00003
는 각각 디노이징 CT 영상과 정상 선량 CT 영상을 나타내고,
Figure pat00004
Figure pat00005
는 각각 제1 및 제2 특징맵의 픽셀값을 나타낸다. 그리고 W, H, C는 각각 제1 및 제2 특징맵의 폭, 높이 및 채널 길이를 나타내고, N은 특징맵의 개수를 나타낸다.)에 따라 계산되는 상기 관측 손실(L)이 기지정된 기준 손실 이하가 되도록 반복 학습될 수 있다.(here
Figure pat00002
Wow
Figure pat00003
denotes a denoising CT image and a normal-dose CT image, respectively,
Figure pat00004
Wow
Figure pat00005
denotes pixel values of the first and second feature maps, respectively. And W, H, and C represent the width, height, and channel length of the first and second feature maps, respectively, and N represents the number of feature maps.) It can be repeated learning so as to become the following.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치는 인공 신경망으로 구현되어 인가된 저선량 CT 영상의 노이즈를 학습된 방식에 따라 제거하여 디노이징 CT 영상을 출력하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치로서, 미리 학습된 인공 신경망으로 구현되어, 상기 저선량 CT 영상 노이즈 저감 장치에서 출력되는 상기 디노이징 CT 영상과 정상 선량 CT 영상을 각각 인가받고, 학습된 방식에 따라 상기 디노이징 CT 영상과 정상 선량 CT 영상 각각에 기지정된 병변이 포함되어 있는지 검출하여 병변이 포함된 영상과 포함되지 않은 영상을 식별하는 병변 식별 신경망; 및 상기 병변 식별 신경망이 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상으로부터 병변 식별 과정에서 획득하는 제1 특징맵과 제2 특징맵 사이의 차이로 관측 손실을 계산하고, 상기 관측 손실이 저감되도록 상기 저선량 CT 영상 노이즈 저감 장치로 상기 관측 손실을 역전파하는 학습부를 포함한다.A learning apparatus for a low-dose CT image noise reduction apparatus according to another embodiment of the present invention for achieving the above object is implemented as an artificial neural network and removes noise of the applied low-dose CT image according to the learned method to obtain a denoising CT image. As a learning device for a low-dose CT image noise reduction device that outputs, the denoising CT image and the normal-dose CT image output from the low-dose CT image noise reduction device are respectively applied and learned by being implemented with a pre-trained artificial neural network. a lesion identification neural network that detects whether a predetermined lesion is included in each of the denoising CT image and the normal-dose CT image according to a method, and identifies an image including the lesion and an image not including the lesion; and the lesion identification neural network calculates an observation loss as a difference between a first feature map and a second feature map obtained in a lesion identification process from the denoising CT image and the normal-dose CT image, and reduces the observation loss. A low-dose CT image noise reduction device includes a learning unit for backpropagating the observation loss.

상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법은 인공 신경망으로 구현되어 인가된 저선량 CT 영상의 노이즈를 학습된 방식에 따라 제거하여 디노이징 CT 영상을 출력하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법에 있어서, 상기 저선량 CT 영상을 상기 저선량 CT 영상 노이즈 저감 장치에 인가하여, 상기 디노이징 CT 영상을 획득하는 단계; CT 영상을 인가받아 병변이 포함된 영상을 식별하도록 미리 학습된 인공 신경망을 이용하여, 상기 저선량 CT 영상 노이즈 저감 장치에서 출력되는 상기 디노이징 CT 영상과 정상 선량 CT 영상을 각각 인가받고, 학습된 방식에 따라 상기 디노이징 CT 영상과 정상 선량 CT 영상 각각에 기지정된 병변이 포함되어 있는지 검출하여 병변이 포함된 영상을 식별하는 단계; 및 상기 병변이 포함된 영상을 식별하는 단계를 수행하는 과정에서 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상으로부터 획득되는 제1 특징맵과 제2 특징맵 사이의 차이로 관측 손실을 계산하고, 상기 관측 손실이 저감되도록 상기 저선량 CT 영상 노이즈 저감 장치로 상기 관측 손실을 역전파하는 단계를 포함한다.To achieve the above object, a learning method for a low-dose CT image noise reduction apparatus according to another embodiment of the present invention is implemented with an artificial neural network to remove noise from the applied low-dose CT image according to the learned method to obtain a denoising CT image. A learning method for a low-dose CT image noise reduction apparatus that outputs The denoising CT image and the normal-dose CT image output from the low-dose CT image noise reduction device are respectively applied and learned using an artificial neural network that has been previously trained to identify an image containing a lesion by receiving a CT image. detecting whether a predetermined lesion is included in each of the denoising CT image and the normal-dose CT image according to the method to identify an image including the lesion; and calculating an observation loss with a difference between a first feature map and a second feature map obtained from the denoising CT image and the normal-dose CT image in the process of identifying the image including the lesion, and backpropagating the observation loss with the low-dose CT image noise reduction device to reduce the observation loss.

따라서, 본 발명의 실시예에 따른 저선량 CT 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법은 저선량 CT 영상에서 흐림을 유발하거나 픽셀값을 변화시키지 않으면서 노이즈를 효과적으로 저감시킬 수 있다.Accordingly, the low-dose CT image noise reduction apparatus and the learning apparatus and method for the same according to an embodiment of the present invention can effectively reduce noise without causing blur or changing pixel values in a low-dose CT image.

도 1은 본 발명의 일 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 디노이징 신경망 구조의 일 예를 나타낸다.
도 3은 도 1의 병변 식별 신경망 구조의 일 예를 나타낸다.
도 4는 본 실시예에 따른 저선량 CT 영상 노이즈 저감 장치의 성능을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법을 나타낸다.
1 shows a schematic structure of a learning apparatus for a low-dose CT image noise reduction apparatus according to an embodiment of the present invention.
FIG. 2 shows an example of the structure of the denoising neural network of FIG. 1 .
3 shows an example of the structure of the lesion identification neural network of FIG. 1 .
4 shows the performance of the low-dose CT image noise reduction apparatus according to the present embodiment.
5 shows a learning method for a low-dose CT image noise reduction apparatus according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention may be embodied in several different forms, and is not limited to the described embodiments. In addition, in order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part "includes" a certain component, it does not exclude other components unless otherwise stated, meaning that other components may be further included. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. and a combination of software.

도 1은 본 발명의 일 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치의 개략적 구조를 나타내고, 도 2는 도 1의 디노이징 신경망 구조의 일 예를 나타내며, 도 3은 도 1의 병변 식별 신경망 구조의 일 예를 나타낸다.1 shows a schematic structure of a learning apparatus for a low-dose CT image noise reduction apparatus according to an embodiment of the present invention, FIG. 2 shows an example of the denoising neural network structure of FIG. 1, and FIG. 3 is the lesion of FIG. An example of an identification neural network structure is shown.

도 1을 참조하면, 본 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치는 디노이징 신경망(100), 학습부(200) 및 병변 식별 신경망(300)을 포함할 수 있다.Referring to FIG. 1 , a learning apparatus for a low-dose CT image noise reduction apparatus according to the present embodiment may include a denoising neural network 100 , a learning unit 200 , and a lesion identification neural network 300 .

여기서 디노이징 신경망(100)은 본 발명의 저선량 CT 영상 노이즈 저감 장치로서 저선량 CT 영상을 인가받고, 인가된 저선량 CT 영상에 포함된 노이즈를 제거하여 출력한다.Here, the denoising neural network 100 is a low-dose CT image noise reduction device of the present invention, which receives a low-dose CT image, removes noise included in the applied low-dose CT image, and outputs it.

본 실시예에 따른 저선량 CT 영상 노이즈 저감 장치인 다양한 인공 신경망으로 구현될 수 있으나, 여기서는 일 예로 디노이징 신경망(100)이 컨볼루션 신경망(Convolutional Neural Network: 이하), 특히 잔차 인코더 디코더 컨볼루션 신경망(Residual Encoder-Decoder Convolutional Neural Network: 이하 RED-CNN)으로 구현되는 것으로 가정하여 설명한다.The low-dose CT image noise reduction device according to the present embodiment can be implemented with various artificial neural networks, but here, as an example, the denoising neural network 100 is a convolutional neural network (hereinafter referred to as a convolutional neural network), in particular a residual encoder decoder convolutional neural network ( Residual Encoder-Decoder Convolutional Neural Network (hereinafter referred to as RED-CNN) is assumed to be implemented.

RED-CNN은 도 2에 도시된 바와 같이, 인코더(110)와 디코더(120)를 포함함할 수 있다. 인코더(110)는 입력 영상으로 저선량 CT 영상(Low-Does CT Image)을 인가받고, 학습된 방식에 따라 상기 저선량 CT 영상의 특징을 추출하여 인코딩 특징맵을 획득한다. 그리고 디코더(120)는 인코딩 특징맵을 인가받고, 학습된 방식에 따라 인코딩 특징맵으로부터 CT 영상을 복구하여 디노이징 CT 영상을 획득한다.The RED-CNN may include an encoder 110 and a decoder 120 as shown in FIG. 2 . The encoder 110 receives a low-dose CT image as an input image, extracts features of the low-dose CT image according to a learned method, and obtains an encoding feature map. Then, the decoder 120 receives the encoding feature map and recovers the CT image from the encoded feature map according to the learned method to obtain the denoising CT image.

인코더(110)는 각각 컨볼루션 레이어(Convolution layer)와 활성화 함수(Activation Function)를 포함하는 다수의 인코딩 레이어(111 ~ 11n)를 포함하며, 디코더(120)는 인코더(110)의 다수의 인코딩 레이어(111 ~ 11n)에 대응하여 각각 디컨볼루션 레이어(Deconvolution layer)와 활성화 함수를 포함하는 다수의 디코딩 레이어(121 ~ 12n)를 포함할 수 있다. 다수의 인코딩 레이어(111 ~ 11n)는 입력 영상 또는 이전 배치된 인코딩 레이어에서 출력되는 인코딩 특징맵을 인가받아 특징을 추출하여 인코딩 특징맵을 출력한다. 그리고 다수의 디코딩 레이어(121 ~ 12n)는 인코더(110)에서 최종 출력된 인코딩 특징맵 또는 이전 배치된 디코딩 레이어에서 출력되는 디코딩 특징맵을 인가받아 복원하여 디코딩 특징맵을 출력한다. The encoder 110 includes a plurality of encoding layers 111 to 11n each including a convolution layer and an activation function, and the decoder 120 includes a plurality of encoding layers of the encoder 110 . Corresponding to (111 to 11n), a plurality of decoding layers 121 to 12n each including a deconvolution layer and an activation function may be included. The plurality of encoding layers 111 to 11n receive an input image or an encoding feature map output from a previously arranged encoding layer, extract features, and output an encoding feature map. In addition, the plurality of decoding layers 121 to 12n receives and restores the encoding feature map finally output from the encoder 110 or the decoding feature map output from the previously arranged decoding layer, and outputs the decoding feature map.

이때 RED-CNN에서는 디코더(120)의 다수의 디코딩 레이어(121 ~ 12n) 중 적어도 하나의 디코딩 레이어는 입력 영상 또는 기지정된 인코딩 레이어에서 출력되는 인코딩 특징맵을 숏컷 커넥션(shortcut Connection)을 통해 인가받을 수 있다. 숏컷 커넥션(shortcut Connection)을 통해 입력 영상 또는 인코딩 특징맵을 인가받은 디코딩 레이어는 인코더(110)에서 최종 출력된 인코딩 특징맵 또는 이전 배치된 디코딩 레이어에서 출력되는 디코딩 특징맵과 결합(concatenate)하여 인가받을 수 있다.At this time, in the RED-CNN, at least one decoding layer among the plurality of decoding layers 121 to 12n of the decoder 120 receives the input image or the encoding feature map output from a predetermined encoding layer through a shortcut connection. can The decoding layer receiving the input image or encoding feature map through a shortcut connection is applied by concatenating with the encoding feature map finally output from the encoder 110 or the decoding feature map output from the previously arranged decoding layer can receive

그리고 디코더(120)에서 최종 출력된 디코딩 특징맵은 디노이징 신경망(100)에 입력되는 저선량 CT 영상에서 노이즈가 제거된 디노이징 CT 영상으로 출력된다.And the decoded feature map finally output from the decoder 120 is output as a denoising CT image in which noise is removed from the low-dose CT image input to the denoising neural network 100 .

여기서는 디노이징 신경망(100)이 RED-CNN으로 구현되는 것으로 가정하였으나, 디노이징 신경망(100)은 VGG 신경망과 같은 다양한 인공 신경망으로 구현될 수 있다.Here, it is assumed that the denoising neural network 100 is implemented with RED-CNN, but the denoising neural network 100 may be implemented with various artificial neural networks such as a VGG neural network.

이와 같이 저선량 CT 영상 노이즈 저감 장치가 인공 신경망으로 구현되는 경우, 저선량 CT 영상 노이즈 저감 장치는 딥 러닝 기법에 따라 미리 학습되어야지만 저선량 CT 영상에서 노이즈를 제거할 수 있다. 이에 학습부(200)는 저선량 CT 영상 노이즈 저감 장치인 디노이징 신경망(100)을 학습시킨다.As such, when the low-dose CT image noise reduction device is implemented as an artificial neural network, the low-dose CT image noise reduction device can be trained in advance according to the deep learning technique, but noise can be removed from the low-dose CT image. Accordingly, the learning unit 200 learns the denoising neural network 100, which is a low-dose CT image noise reduction device.

학습부(200)는 우선 학습 대상인 디노이징 신경망(100)에 저선량 CT 영상이 입력되어 출력되는 디노이징 CT 영상을 인가받고, 인가된 디노이징 CT 영상을 미리 학습된 병변 식별 신경망(300)으로 인가하여, 병변 식별 신경망(300)이 디노이징 CT 영상의 병변 영상 여부를 식별하는 과정에서 획득하는 특징맵을 제1 특징맵으로 획득한다. 또한 학습부(200)는 저선량 CT 영상에 대응하는 정상 전량 CT 영상(normal-dose CT image)을 병변 식별 신경망(300)으로 인가하여, 병변 식별 신경망(300)이 디노이징 CT 영상의 병변 영상 여부를 식별하는 과정에서 획득하는 특징맵을 제2 특징맵으로 획득한다.First, the learning unit 200 receives a denoising CT image that is output by inputting a low-dose CT image to the denoising neural network 100 as a learning target, and applies the applied denoising CT image to the pre-learned lesion identification neural network 300 . Accordingly, the feature map obtained in the process of the lesion identification neural network 300 identifying whether the denoising CT image is a lesion image is acquired as the first feature map. In addition, the learning unit 200 applies a normal-dose CT image corresponding to the low-dose CT image to the lesion identification neural network 300 to determine whether the lesion identification neural network 300 is a lesion image of the denoising CT image. A feature map obtained in the process of identifying ? is obtained as a second feature map.

여기서 정상 선량 CT 영상은 엑스선 조사선량을 저선량이 아닌 기지정된 정상 범위에서 조사하여 획득되는 CT 영상으로, 저선량 CT 영상과 동일한 대상을 촬영하여 획득된 CT 영상일 수 있다. 즉 본 발명에서는 저선량 CT 영상과 정상 선량 CT 영상을 학습 데이터 셋으로 이용하여 학습을 수행한다.Here, the normal-dose CT image is a CT image obtained by irradiating an X-ray dose in a predetermined normal range rather than a low dose, and may be a CT image obtained by photographing the same object as the low-dose CT image. That is, in the present invention, learning is performed using a low-dose CT image and a normal-dose CT image as a learning data set.

그리고 학습부(200)는 제1 특징맵과 제2 특징맵 사이의 차이를 최소화하는 지각(perceptual) 손실 함수를 이용하여 디노이징 신경망(100)의 손실을 계산하고, 계산된 손실을 디노이징 신경망(100)으로 역전파함으로써, 저선량 CT 영상 노이즈 저감 장치인 디노이징 신경망(100)을 학습시킨다. 여기서 학습부(200)가 지각 손실 함수를 이용하여 계산한 손실을 관측 손실이라 할 수 있다.And the learning unit 200 calculates the loss of the denoising neural network 100 by using a perceptual loss function that minimizes the difference between the first feature map and the second feature map, and uses the calculated loss in the denoising neural network. By backpropagating to (100), the denoising neural network 100, which is a low-dose CT image noise reduction device, is trained. Here, the loss calculated by the learning unit 200 using the perceptual loss function may be referred to as an observation loss.

병변 식별 신경망(300)은 CT 영상을 인가받고, 인가된 CT 영상에 기지정된 병변이 포함되어 있는지 여부를 검출하여, 병변이 포함된 CT 영상과 포함되지 않은 CT 영상을 식별하도록 미리 학습된 인공 신경망이다.The lesion identification neural network 300 receives a CT image, detects whether a predetermined lesion is included in the applied CT image, and recognizes a CT image including a lesion and a CT image not including a lesion. to be.

현재 CT 영상으로부터 각종 병변을 검출하기 위한 다양한 종류의 병변 식별 신경망이 이미 개발되어 있다. 이러한 병변 식별 신경망은 각 병변에 따라 서로 상이하게 개별적으로 학습이 될 수도 있으나, CT 영상으로부터 병변을 검출하기 위해 학습된다는 점에서 공통점이 있다. 여기서는 일 예로 병변 식별 신경망(300)이 종양 검출을 위해 학습된 신경망인 것으로 가정한다.Currently, various types of lesion identification neural networks for detecting various lesions from CT images have already been developed. These lesion identification neural networks may be learned differently and individually according to each lesion, but they have a common point in that they are trained to detect a lesion from a CT image. Here, as an example, it is assumed that the lesion identification neural network 300 is a neural network trained for tumor detection.

도 3을 참조하면, 병변 식별 신경망(300)은 특징 추출부(310) 및 병변 식별부(320)를 포함할 수 있다. 특징 추출부(310)는 각각 컨볼루션 레이어와 활성화 함수를 포함하는 다수의 특징 추출 레이어와 이전 배치된 특징 추출 레이어에서 출력되는 특징맵을 풀링하는 적어도 하나의 풀링 레이어를 포함할 수 있다.Referring to FIG. 3 , the lesion identification neural network 300 may include a feature extraction unit 310 and a lesion identification unit 320 . The feature extraction unit 310 may include a plurality of feature extraction layers each including a convolution layer and an activation function, and at least one pooling layer for pooling a feature map output from a previously disposed feature extraction layer.

다수의 특징 추출 레이어 각각은 입력되는 CT 이미지 또는 이전 배치된 특징 추출 레이어에서 출력된 특징맵을 인가받아 학습에 의해 설정된 가중치에 따라 특징을 추출하여 특징맵을 출력한다. 그리고 적어도 하나의 풀링 레이어는 다수의 특징 추출 레이어 중 기지정된 특징 추출 레이어 사이에 배치되어 직접 배치된 특징 추출 레이어에서 출력되는 특징맵을 풀링하여 특징맵의 크기를 변경한다. 도 3에서는 일 예로 4번째 및 8번째 특징 추출 레이어 이후에 각각 풀링 레이어가 배치된 경우를 도시하였으며, 2개의 풀링 레이어는 각각 맥스 풀링을 수행하는 것으로 가정하였다.Each of the plurality of feature extraction layers receives an input CT image or a feature map output from a previously arranged feature extraction layer, extracts features according to weights set by learning, and outputs a feature map. In addition, at least one pooling layer is disposed between predetermined feature extraction layers among a plurality of feature extraction layers and pools a feature map output from the directly disposed feature extraction layer to change the size of the feature map. As an example, FIG. 3 illustrates a case in which a pooling layer is respectively disposed after the fourth and eighth feature extraction layers, and it is assumed that the two pooling layers perform max pooling, respectively.

병변 식별부(320)는 특징 추출부(310)에서 최종 출력되는 특징맵을 인가받아 미리 학습된 방식에 따라 인가된 특징맵에 병변이 포함되어 있는지 여부를 식별하여 인가된 CT 영상이 병변이 포함된 영상인지 포함되지 않은 영상인지를 분류한다. 병변 식별부(320)는 일 예로 적어도 하나의 완전 연결 레이어(Fully Connected Layer)로 구성될 수 있다. 도 3에서는 예로서 병변 식별부(320)가 하나의 완전 연결 레이어로 구성되는 것으로 도시하였으나, 병변 식별부(320)는 다수의 완전 연결 레이어로 구성될 수 있다.The lesion identification unit 320 receives the feature map finally output from the feature extraction unit 310 and identifies whether the lesion is included in the applied feature map according to a pre-learned method, and the applied CT image includes the lesion. It classifies whether an image is included or not. The lesion identification unit 320 may include, for example, at least one fully connected layer. In FIG. 3 , as an example, the lesion identification unit 320 is illustrated as being composed of one fully connected layer, but the lesion identification unit 320 may be composed of a plurality of fully connected layers.

상기한 바와 같이 본 실시예에서 학습부(200)는 저선량 CT 영상과 정상 선량 CT 영상 각각을 병변 식별 신경망(300)으로 인가한다. 그리고 병변 식별 신경망(300)이 저선량 CT 영상의 특징을 추출하여 병변 포함 여부를 식별하는 과정에서 획득되는 다수의 특징 맵 중 하나를 제1 특징맵으로 획득한다. 또한 학습부(200)는 병변 식별 신경망(300)이 정상 선량 CT 영상의 특징을 추출하여 병변 포함 여부를 식별하는 과정에서 획득되는 다수의 특징 맵 중 하나를 제2 특징맵으로 획득한다. 이때 학습부(200)는 병변 식별 신경망(300)의 특징 추출부(310)의 다수의 특징 추출 레이어 중 하나의 특징 추출 레이어를 미리 선택하고, 선택된 특징 추출 레이어에서 출력되는 특징맵을 제1 특징맵과 제2 특징맵으로 획득할 수 있다. 즉 제1 특징맵과 제2 특징맵은 입력되는 CT 영상이 디노이징 CT 영상인지 정상 선량 CT 영상인지에 대한 차이가 있을 뿐, 병변 식별 신경망(300)에서 동일한 특징 추출 과정을 통해 획득된 특징맵이다.As described above, in the present embodiment, the learning unit 200 applies each of the low-dose CT image and the normal-dose CT image to the lesion identification neural network 300 . And the lesion identification neural network 300 extracts the features of the low-dose CT image and acquires one of a plurality of feature maps obtained in the process of identifying whether the lesion is included as the first feature map. In addition, the learning unit 200 acquires as a second feature map one of a plurality of feature maps obtained when the lesion identification neural network 300 extracts features of a normal-dose CT image to identify whether a lesion is included. At this time, the learning unit 200 preselects one feature extraction layer among a plurality of feature extraction layers of the feature extraction unit 310 of the lesion identification neural network 300, and sets the feature map output from the selected feature extraction layer as the first feature. It can be obtained as a map and a second feature map. That is, the first feature map and the second feature map only have a difference in whether the input CT image is a denoising CT image or a normal dose CT image, and a feature map obtained through the same feature extraction process in the lesion identification neural network 300 . to be.

학습부(200)는 제1 특징맵과 제2 특징맵이 획득되면, 획득된 제1 특징맵과 제2 특징맵으로부터 관측 손실(L)을 수학식 1에 따라 계산하여 획득하여 디노이징 신경망(100)으로 역전파한다.When the first feature map and the second feature map are obtained, the learning unit 200 calculates and obtains the observation loss (L) from the obtained first feature map and the second feature map according to Equation 1 to obtain the denoising neural network ( 100) to backpropagate.

Figure pat00006
Figure pat00006

(여기서

Figure pat00007
Figure pat00008
는 각각 디노이징 CT 영상과 정상 선량 CT 영상을 나타내고,
Figure pat00009
Figure pat00010
는 각각 제1 및 제2 특징맵의 픽셀값을 나타낸다. 그리고 W, H, C는 각각 제1 및 제2 특징맵의 폭, 높이 및 채널 길이를 나타내고, N은 특징맵의 개수를 나타낸다.)(here
Figure pat00007
Wow
Figure pat00008
denotes a denoising CT image and a normal-dose CT image, respectively,
Figure pat00009
Wow
Figure pat00010
denotes pixel values of the first and second feature maps, respectively. And W, H, and C represent the width, height, and channel length of the first and second feature maps, respectively, and N represents the number of feature maps.)

학습부(200)는 수학식 1에 따라 획득된 관측 손실(L)이 기지정된 기준 손실 이하인지 확인하고, 관측 손실(L)이 기준 손실 이하가 아니면, 다시 저선량 CT 영상을 디노이징 신경망(100)으로 인가하여 디노이징 CT 영상을 획득하고, 디노이징 CT 영상과 정상 선량 CT 영상을 병변 식별 신경망에 입력하여 제1 및 제2 특징맵을 획득하여 관측 손실(L)을 계산한다. 즉 학습부(200)는 관측 손실(L)이 기준 손실 이하가 될 때까지 디노이징 신경망(100)을 반복학습 시킬 수 있다. 경우에 따라 학습부(200)는 기준 손실과 무관하게 기지정된 횟수만큼 반복 학습을 수행하도록 설정될 수도 있다.The learning unit 200 checks whether the observed loss (L) obtained according to Equation 1 is less than or equal to a predetermined reference loss, and if the observation loss (L) is not less than or equal to the reference loss, denoising the low-dose CT image again in the neural network 100 ) to obtain a denoising CT image, and input the denoising CT image and the normal dose CT image to the lesion identification neural network to obtain first and second feature maps to calculate the observation loss (L). That is, the learning unit 200 may repeatedly learn the denoising neural network 100 until the observation loss L is equal to or less than the reference loss. In some cases, the learning unit 200 may be set to repeat learning a predetermined number of times regardless of the reference loss.

상기한 바와 같이, 저선량 CT 영상 노이즈 저감 장치인 디노이징 신경망(100)은 다양한 인공 신경망으로 구현될 수 있으며, 인공 신경망으로 구현되는 저선량 CT 영상 노이즈 저감 장치는 딥 러닝 기법에 따라 사전에 미리 학습되어야 한다. 이에 기존에는 노이즈를 제거하기 위한 인공 신경망은 주로 평균 제곱 오차(Mean-Squared-Error: 이하 MSE)를 손실 함수로 설정하여 학습이 수행되었다. 그러나 MSE는 픽셀 수준의 손실이 픽셀 값의 작은 변화를 무시하기 때문에 영상에 흐림을 발생시키는 문제가 있다.As described above, the denoising neural network 100, which is a low-dose CT image noise reduction device, can be implemented with various artificial neural networks, and the low-dose CT image noise reduction device implemented with the artificial neural network must be learned in advance according to the deep learning technique. do. Therefore, conventionally, artificial neural networks for removing noise were trained by setting the mean-squared-error (MSE) as a loss function. However, MSE has the problem of blurring the image because pixel-level loss ignores small changes in pixel values.

영상 흐림 유발 문제를 해결하기 위한 대안으로 영상의 특징을 추출하여 각 영상간 특징 차이를 최소화하는 지각(perceptual) 손실 함수를 설정하여 학습을 수행하는 방법이 제안되었다. 그리고 여기서 영상의 특징을 추출하는 네트워크로는 미리 학습된 VGG 신경망이 주로 이용되었다. 그러나 기존 VGG 신경망의 경우, CT 이미지가 아닌 RGB 영상을 기반으로 학습되었고, RGB 영상은 CT 영상과 다른 속성을 가지므로, RGB 영상으로 학습된 VGG 신경망은 병변 진단을 위해 주로 이용되는 CT 영상에 적합하지 않은 특징을 추출한다. 따라서 VGG 신경망에서 추출된 특징을 기반으로 지각 손실 함수를 적용하여 학습된 저선량 CT 영상 노이즈 저감 장치는 노이즈가 저감된 디노이징 CT 영상의 CT 영상과 상이하게 특성이 변경되어 CT 영상의 원 목적인 병변 검출을 어렵게 하는 문제가 있다.As an alternative to solving the image blurring problem, a method of performing learning by extracting image features and setting a perceptual loss function that minimizes the feature difference between images has been proposed. And here, the pre-trained VGG neural network was mainly used as a network for extracting image features. However, in the case of the existing VGG neural network, it was learned based on RGB images, not CT images, and RGB images have different properties from CT images. Extract features that are not. Therefore, the low-dose CT image noise reduction device learned by applying the perceptual loss function based on the features extracted from the VGG neural network has different characteristics from the CT image of the noise-reduced denoising CT image to detect lesions, the original purpose of the CT image. There is a problem that makes it difficult.

이에 본 발명에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치는 CT 영상에서 병변을 검출하기 위해 미리 학습된 병변 검출 신경망(300)을 이용하여 제1 및 제2 특징맵을 획득하고, 지각 손실 함수로 계산되는 제1 및 제2 특징맵 사이의 차이를 관측 손실로 하여 저선량 CT 영상 노이즈 저감 장치를 학습시킴으로써, 저선량 CT 영상 노이즈 저감 장치가 저선량 CT 영상의 노이즈를 제거할 때 영상의 흐림을 유발하지 않도록 할 뿐만 아니라, 픽셀 수준에서 저선량 CT 영상의 특성이 변화되지 않도록 하여 노이즈 제거된 저선량 CT 영상의 정확도가 유지될 수 있도록 한다.Accordingly, the learning apparatus for a low-dose CT image noise reduction apparatus according to the present invention acquires the first and second feature maps using the pre-trained lesion detection neural network 300 to detect a lesion in a CT image, and performs a perceptual loss function. By learning the low-dose CT image noise reduction device using the difference between the first and second feature maps calculated by In addition, the accuracy of the noise-removed low-dose CT image can be maintained by preventing the characteristics of the low-dose CT image from being changed at the pixel level.

도 4는 본 실시예에 따른 저선량 CT 영상 노이즈 저감 장치의 성능을 나타낸다.4 shows the performance of the low-dose CT image noise reduction apparatus according to the present embodiment.

도 4에서 (a)는 입력 영상인 저선량 CT 영상으로 노이즈가 포함된 영상이고, (b)는 MSE 손실을 적용하여 학습된 저선량 CT 영상 노이즈 저감 장치에 의해 노이즈가 제거된 디노이징 CT 영상을 나타내며, (c)는 VGG 신경망에서 획득된 특징맵을 기반으로 학습된 저선량 CT 영상 노이즈 저감 장치에 의해 노이즈가 제거된 디노이징 CT 영상을 나타낸다. 그리고 (d)는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치에 의해 학습된 저선량 CT 영상 노이즈 저감 장치가 노이즈를 제거한 디노이징 CT 영상을 나타내고, (e)는 진리값(Ground Truth)인 정상 선량 CT 영상을 나타낸다.In FIG. 4, (a) is an input image, a low-dose CT image, containing noise, and (b) is a denoising CT image from which noise has been removed by a low-dose CT image noise reduction device learned by applying MSE loss. , (c) shows the denoising CT image from which noise has been removed by the low-dose CT image noise reduction device learned based on the feature map obtained from the VGG neural network. And (d) shows the denoising CT image from which the noise is removed by the low-dose CT image noise reduction device learned by the learning device for the low-dose CT image noise reduction device, and (e) is the normal-dose CT image that is the ground truth. show the image.

도 4를 살펴보면, 노이즈 제거 전인 (a)의 저선량 CT 영상에는 매우 많은 노이즈가 포함되어 있음을 알 수 있으며, (b)의 디노이징 CT 영상은 (a)에 비해 노이즈가 많이 저감되었으나, 대신 영상에 흐림이 크게 발생되어 세부가 명확하지 않게 되었음을 알 수 있다. 그리고 (c)의 경우 RGB 영상을 기반으로 학습된 VGG 신경망을 학습에 이용함에 따라 픽셀 특성이 변경되어, (e)의 정상 선량 CT 영상에 비해 일부 픽셀의 대조도가 높아져 밝기가 밝아졌음을 알 수 있다. 그러나 (d)에 도시된 바와 같이, 본 실시예의 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치로 학습된 저선량 CT 영상 노이즈 저감 장치는 진리값인 정상 선량 CT 영상과 매우 유사하게 획득되었음을 알 수 있다.4, it can be seen that the low-dose CT image of (a) before noise removal contains a lot of noise, and the denoising CT image of (b) has much reduced noise compared to (a), but instead of the image It can be seen that there is a large amount of blur in the area and the details are not clear. And in the case of (c), as the VGG neural network learned based on the RGB image was used for learning, the pixel characteristics were changed, and compared to the normal-dose CT image in (e), the contrast of some pixels was increased and the brightness became brighter. can However, as shown in (d), it can be seen that the low-dose CT image noise reduction apparatus learned as a learning apparatus for the low-dose CT image noise reduction apparatus of this embodiment was obtained very similarly to the normal-dose CT image, which is the truth value.

도 5는 본 발명의 일 실시예에 따른 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법을 나타낸다.5 shows a learning method for a low-dose CT image noise reduction apparatus according to an embodiment of the present invention.

도 1 내지 도 3을 참조하여, 도 5의 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법을 설명하면, 우선 인공 신경망으로 구현되는 저선량 CT 영상 노이즈 저감 장치에 저선량 CT 영상을 입력한다(S10). 여기서 저선량 CT 영상 노이즈 저감 장치로 구현되는 인공 신경망은 제한되지 않는다. 즉 다양한 인공 신경망이 저선량 CT 영상 노이즈 저감 장치로 이용될 수 있다.1 to 3, the learning method for the low-dose CT image noise reduction device of FIG. 5 is described. First, a low-dose CT image is input to the low-dose CT image noise reduction device implemented with an artificial neural network (S10). Here, an artificial neural network implemented as a low-dose CT image noise reduction device is not limited. That is, various artificial neural networks can be used as a low-dose CT image noise reduction device.

저선량 CT 영상 노이즈 저감 장치가 현재까지 학습된 방식에 따라 입력된 저선량 CT 영상에서 노이즈를 제거하여 출력하는 디노이징 CT 영상을 획득한다(S20).The low-dose CT image noise reduction apparatus obtains a denoising CT image that is output by removing noise from the input low-dose CT image according to the method learned so far (S20).

디노이징 CT 영상이 획득되면, 획득된 디노이징 CT 영상을 인가받아 병변이 포함된 영상을 식별하도록 미리 학습된 인공 신경망인 병변 식별 신경망의 입력으로 인가한다(S30). 그리고 병변 식별 신경망이 학습된 방식에 따라 디노이징 CT 영상에 기지정된 병변이 포함되어 있는지 검출하여 병변이 포함된 영상을 식별하는 과정에서 디노이징 CT 영상의 특징을 추출하여 생성한 특징맵을 제1 특징맵으로 획득한다(S40).When the denoising CT image is obtained, the denoising CT image is received and applied as an input to the lesion identification neural network, which is an artificial neural network previously trained to identify the image including the lesion (S30). And in the process of identifying the image containing the lesion by detecting whether a predetermined lesion is included in the denoising CT image according to the learning method of the lesion identification neural network, the feature map generated by extracting the features of the denoising CT image is first generated It is acquired as a feature map (S40).

한편, 저선량 CT 영상에 대응하여 진리값으로 미리 획득된 정상 선량 CT 영상을 병변 식별 신경망의 입력으로 인가한다(S50). 그리고 병변 식별 신경망이 학습된 방식에 따라 정상 선량 CT 영상에 기지정된 병변이 포함되어 있는지 검출하여 병변이 포함된 영상을 식별하는 과정에서 정상 선량 CT 영상의 특징을 추출하여 생성한 특징맵을 제2 특징맵으로 획득한다(S60).Meanwhile, a normal-dose CT image obtained in advance as a truth value corresponding to the low-dose CT image is applied as an input to the lesion identification neural network (S50). And in the process of identifying the image containing the lesion by detecting whether a predetermined lesion is included in the normal-dose CT image according to the learned method of the lesion identification neural network, a feature map generated by extracting the features of the normal-dose CT image is generated as a second It is acquired as a feature map (S60).

제1 및 제2 특징맵이 획득되면, 획득된 제1 및 제2 특징맵을 수학식 1에 대입하여 관측 손실(L)을 계산하여 저선량 CT 영상 노이즈 저감 장치로 역전파하여 저선량 CT 영상 노이즈 저감 장치를 학습시킨다(S70). 그리고 계산된 관측 손실(L)이 기지정된 기준 손실 이하인지 판별한다(S80). 만일 관측 손실(L)이 기준 손실 이하이거나 반복 학습 횟수가 기지정된 기준 횟수에 도달한 것으로 판별되면, 학습을 종료한다(S90). 그러나 관측 손실(L)이 기준 손실을 초과하면, 다시 저선량 CT 영상을 저선량 CT 영상 노이즈 저감 장치에 입력하여 반복 학습을 수행한다.When the first and second feature maps are obtained, the obtained first and second feature maps are substituted in Equation 1 to calculate the observation loss (L) and backpropagated to a low-dose CT image noise reduction device to reduce low-dose CT image noise The device is trained (S70). And it is determined whether the calculated observed loss (L) is less than or equal to a predetermined reference loss (S80). If it is determined that the observed loss L is less than or equal to the reference loss or the number of repetition learning reaches the predetermined reference number, learning is terminated (S90). However, when the observation loss (L) exceeds the reference loss, the low-dose CT image is again input to the low-dose CT image noise reduction device to perform repeated learning.

본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution by a computer. Here, the computer-readable medium may be any available medium that can be accessed by a computer, and may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and read dedicated memory), RAM (Random Access Memory), CD (Compact Disk)-ROM, DVD (Digital Video Disk)-ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is only exemplary, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Accordingly, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

100: 디노이징 신경망 110: 인코더
120: 디코더 200: 학습부
300: 병변 식별 신경망 310: 특징 추출부
320: 병변 식별부
100: denoising neural network 110: encoder
120: decoder 200: learning unit
300: lesion identification neural network 310: feature extraction unit
320: lesion identification unit

Claims (14)

미리 학습된 인공 신경망으로 구현되어, 인가된 저선량 CT 영상의 노이즈를 학습된 방식에 따라 제거하여 디노이징 CT 영상을 출력하는 디노이징 신경망을 포함하고,
상기 디노이징 신경망은
학습 과정에서 병변이 포함된 영상을 식별하도록 미리 학습된 인공 신경망인 병변 식별 신경망에 인가된 저선량 CT 영상으로부터 출력되는 디노이징 CT 영상과 정상 선량 CT 영상을 각각 인가하여, 상기 병변 식별 신경망이 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상으로부터 병변 식별 과정에서 획득하는 제1 특징맵과 제2 특징맵 사이의 차이로 계산되는 관측 손실이 저감되도록 학습된 저선량 CT 영상 노이즈 저감 장치.
It is implemented as a pre-learned artificial neural network, and includes a denoising neural network that outputs a denoising CT image by removing the noise of the applied low-dose CT image according to the learned method,
The denoising neural network is
In the learning process, the denoising CT image and the normal-dose CT image output from the low-dose CT image applied to the lesion identification neural network, which is a pre-trained artificial neural network to identify the image containing the lesion, are respectively applied, and the lesion identification neural network is A low-dose CT image noise reduction device trained to reduce an observation loss calculated as a difference between a first feature map and a second feature map obtained in the lesion identification process from the easing CT image and the normal-dose CT image.
제1항에 있어서, 상기 디노이징 신경망은
상기 저선량 CT 영상을 인가받고, 학습된 방식에 따라 상기 저선량 CT 영상의 특징을 추출하여 인코딩 특징맵을 획득하는 인코더; 및
상기 인코딩 특징맵을 인가받고, 학습된 방식에 따라 상기 인코딩 특징맵으로부터 CT 영상을 복구하여 상기 디노이징 CT 영상을 획득하는 디코더를 포함하는 저선량 CT 영상 노이즈 저감 장치.
The method of claim 1, wherein the denoising neural network
an encoder that receives the low-dose CT image and extracts features of the low-dose CT image according to a learned method to obtain an encoding feature map; and
and a decoder receiving the encoding feature map and recovering the CT image from the encoded feature map according to a learned method to obtain the denoising CT image.
제1항에 있어서, 상기 병변 식별 신경망은
상기 디노이징 CT 영상과 상기 정상 선량 CT 영상을 각각 인가받고, 미리 학습된 방식에 따라 상기 디노이징 CT 영상의 특징을 추출하여 상기 제1 특징맵을 획득하고, 상기 정상 선량 CT 영상의 특징을 추출하여 상기 제2 특징맵을 획득하는 특징 추출부; 및
상기 제1 특징맵과 상기 제2 특징맵을 각각 인가받고, 미리 학습된 방식에 따라 상기 제1 특징맵과 상기 제2 특징맵에서 기지정된 병변이 검출되어 있는지 판별하여, 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상 각각을 병변이 포함된 영상과 병변이 포함되지 않은 영상으로 구분하는 병변 식별부를 포함하는 저선량 CT 영상 노이즈 저감 장치.
According to claim 1, wherein the lesion identification neural network
The denoising CT image and the normal-dose CT image are respectively applied, and the features of the denoising CT image are extracted according to a pre-learned method to obtain the first feature map, and the features of the normal-dose CT image are extracted a feature extracting unit to obtain the second feature map; and
The first feature map and the second feature map are respectively applied, and it is determined whether predetermined lesions are detected in the first feature map and the second feature map according to a pre-learned method, and the denoising CT image and the A low-dose CT image noise reduction apparatus comprising a lesion identification unit for dividing each of the normal-dose CT images into an image including a lesion and an image not including a lesion.
제1항에 있어서, 상기 디노이징 신경망은
수학식
Figure pat00011

(여기서
Figure pat00012
Figure pat00013
는 각각 디노이징 CT 영상과 정상 선량 CT 영상을 나타내고,
Figure pat00014
Figure pat00015
는 각각 제1 및 제2 특징맵의 픽셀값을 나타낸다. 그리고 W, H, C는 각각 제1 및 제2 특징맵의 폭, 높이 및 채널 길이를 나타내고, N은 특징맵의 개수를 나타낸다.)
에 따라 계산되는 상기 관측 손실(L)이 기지정된 기준 손실 이하가 되도록 반복 학습되는 저선량 CT 영상 노이즈 저감 장치.
The method of claim 1, wherein the denoising neural network
formula
Figure pat00011

(here
Figure pat00012
Wow
Figure pat00013
denotes a denoising CT image and a normal-dose CT image, respectively,
Figure pat00014
Wow
Figure pat00015
denotes pixel values of the first and second feature maps, respectively. And W, H, and C represent the width, height, and channel length of the first and second feature maps, respectively, and N represents the number of feature maps.)
A low-dose CT image noise reduction device that is repeatedly learned so that the observed loss (L) calculated according to the reference loss becomes less than or equal to a predetermined reference loss.
제2항에 있어서, 상기 디노이징 신경망은
상기 인코더가 다수의 컨볼루션 레이어를 포함하고, 상기 디코더가 다수의 디컨볼루션 레이어를 포함하여, 상기 다수의 컨볼루션 레이어 중 기지정된 적어도 하나의 컨볼루션 레이어의 출력이 상기 다수의 디컨볼루션 레이어 중 기지정된 적어도 하나의 디컨볼루션 레이어로 인가되는 잔차 인코더 디코더 컨볼루션 신경망(Residual Encoder-Decoder Convolutional Neural Network: RED-CNN)으로 구현되는 저선량 CT 영상 노이즈 저감 장치.
The method of claim 2, wherein the denoising neural network
The encoder includes a plurality of convolutional layers, and the decoder includes a plurality of deconvolution layers, so that the output of at least one predetermined convolutional layer among the plurality of convolutional layers is the plurality of deconvolutional layers. A low-dose CT image noise reduction device implemented as a Residual Encoder-Decoder Convolutional Neural Network (RED-CNN) applied to at least one predetermined deconvolutional layer among
제3항에 있어서, 상기 병변 식별 신경망은
CT 영상을 인가받고, 인가된 CT 영상에 종양의 존재 여부를 검출하여 분류하도록 학습된 종양 식별 신경망인 저선량 CT 영상 노이즈 저감 장치.
The method of claim 3, wherein the lesion identification neural network
A low-dose CT image noise reduction device, which is a tumor identification neural network that receives a CT image and is trained to detect and classify the presence of a tumor in the applied CT image.
인공 신경망으로 구현되어 인가된 저선량 CT 영상의 노이즈를 학습된 방식에 따라 제거하여 디노이징 CT 영상을 출력하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치로서,
미리 학습된 인공 신경망으로 구현되어, 상기 저선량 CT 영상 노이즈 저감 장치에서 출력되는 상기 디노이징 CT 영상과 정상 선량 CT 영상을 각각 인가받고, 학습된 방식에 따라 상기 디노이징 CT 영상과 정상 선량 CT 영상 각각에 기지정된 병변이 포함되어 있는지 검출하여 병변이 포함된 영상과 포함되지 않은 영상을 식별하는 병변 식별 신경망; 및
상기 병변 식별 신경망이 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상으로부터 병변 식별 과정에서 획득하는 제1 특징맵과 제2 특징맵 사이의 차이로 관측 손실을 계산하고, 상기 관측 손실이 저감되도록 상기 저선량 CT 영상 노이즈 저감 장치로 상기 관측 손실을 역전파하는 학습부를 포함하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치.
A learning device for a low-dose CT image noise reduction device that is implemented with an artificial neural network and outputs a denoising CT image by removing noise from the applied low-dose CT image according to a learned method,
Implemented with a pre-learned artificial neural network, the denoising CT image and the normal-dose CT image output from the low-dose CT image noise reduction device are respectively applied, and the denoising CT image and the normal-dose CT image are respectively applied according to the learned method a lesion identification neural network that detects whether a predetermined lesion is included in the lesion and identifies an image with and without a lesion; and
The lesion identification neural network calculates an observation loss as a difference between a first feature map and a second feature map obtained in the lesion identification process from the denoising CT image and the normal-dose CT image, and the low dose so that the observation loss is reduced A learning apparatus for a low-dose CT image noise reduction apparatus comprising a learning unit for backpropagating the observation loss to a CT image noise reduction apparatus.
제7항에 있어서, 상기 병변 식별 신경망은
상기 디노이징 CT 영상과 상기 정상 선량 CT 영상을 각각 인가받고, 미리 학습된 방식에 따라 상기 디노이징 CT 영상의 특징을 추출하여 상기 제1 특징맵을 획득하고, 상기 정상 선량 CT 영상의 특징을 추출하여 상기 제2 특징맵을 획득하는 특징 추출부; 및
상기 제1 특징맵과 상기 제2 특징맵을 각각 인가받고, 미리 학습된 방식에 따라 상기 제1 특징맵과 상기 제2 특징맵에서 기지정된 병변이 검출되어 있는지 판별하여, 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상 각각을 병변이 포함된 영상과 병변이 포함되지 않은 영상으로 구분하는 병변 식별부를 포함하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치.
The method of claim 7, wherein the lesion identification neural network
The denoising CT image and the normal-dose CT image are respectively applied, and the features of the denoising CT image are extracted according to a pre-learned method to obtain the first feature map, and the features of the normal-dose CT image are extracted a feature extracting unit to obtain the second feature map; and
The first feature map and the second feature map are respectively applied, and it is determined whether predetermined lesions are detected in the first feature map and the second feature map according to a pre-learned method, and the denoising CT image and the A learning apparatus for a low-dose CT image noise reduction apparatus comprising a lesion identification unit for classifying each of the normal-dose CT images into an image including a lesion and an image not including a lesion.
제7항에 있어서, 상기 학습부는
상기 관측 손실(L)을 수학식
Figure pat00016

(여기서
Figure pat00017
Figure pat00018
는 각각 디노이징 CT 영상과 정상 선량 CT 영상을 나타내고,
Figure pat00019
Figure pat00020
는 각각 제1 및 제2 특징맵의 픽셀값을 나타낸다. 그리고 W, H, C는 각각 제1 및 제2 특징맵의 폭, 높이 및 채널 길이를 나타내고, N은 특징맵의 개수를 나타낸다.)
에 따라 계산하여 역전파하고, 상기 관측 손실이 기지정된 기준 손실 이하가 되도록 상기 저선량 CT 영상 노이즈 저감 장치를 반복 학습시키는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치.
The method of claim 7, wherein the learning unit
The observed loss (L) is expressed by the equation
Figure pat00016

(here
Figure pat00017
Wow
Figure pat00018
denotes a denoising CT image and a normal-dose CT image, respectively,
Figure pat00019
Wow
Figure pat00020
denotes pixel values of the first and second feature maps, respectively. And W, H, and C represent the width, height, and channel length of the first and second feature maps, respectively, and N represents the number of feature maps.)
A learning apparatus for a low-dose CT image noise reduction apparatus that calculates and backpropagates according to the method and repeatedly learns the low-dose CT image noise reduction apparatus so that the observed loss is less than or equal to a predetermined reference loss.
제7항에 있어서, 상기 저선량 CT 영상 노이즈 저감 장치는
상기 저선량 CT 영상을 인가받고, 학습된 방식에 따라 상기 저선량 CT 영상의 특징을 추출하여 인코딩 특징맵을 획득하는 인코더; 및
상기 인코딩 특징맵을 인가받고, 학습된 방식에 따라 상기 인코딩 특징맵으로부터 CT 영상을 복구하여 상기 디노이징 CT 영상을 획득하는 디코더를 포함하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 장치.
The apparatus of claim 7, wherein the low-dose CT image noise reduction device is
an encoder that receives the low-dose CT image and extracts features of the low-dose CT image according to a learned method to obtain an encoding feature map; and
and a decoder that receives the encoding feature map and recovers the CT image from the encoded feature map according to a learned method to obtain the denoising CT image.
인공 신경망으로 구현되어 인가된 저선량 CT 영상의 노이즈를 학습된 방식에 따라 제거하여 디노이징 CT 영상을 출력하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법에 있어서,
상기 저선량 CT 영상을 상기 저선량 CT 영상 노이즈 저감 장치에 인가하여, 상기 디노이징 CT 영상을 획득하는 단계;
CT 영상을 인가받아 병변이 포함된 영상을 식별하도록 미리 학습된 인공 신경망을 이용하여, 상기 저선량 CT 영상 노이즈 저감 장치에서 출력되는 상기 디노이징 CT 영상과 정상 선량 CT 영상을 각각 인가받고, 학습된 방식에 따라 상기 디노이징 CT 영상과 정상 선량 CT 영상 각각에 기지정된 병변이 포함되어 있는지 검출하여 병변이 포함된 영상을 식별하는 단계; 및
상기 병변이 포함된 영상을 식별하는 단계를 수행하는 과정에서 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상으로부터 획득되는 제1 특징맵과 제2 특징맵 사이의 차이로 관측 손실을 계산하고, 상기 관측 손실이 저감되도록 상기 저선량 CT 영상 노이즈 저감 장치로 상기 관측 손실을 역전파하는 단계를 포함하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법.
A learning method for a low-dose CT image noise reduction device that outputs a denoising CT image by removing noise from a low-dose CT image implemented with an artificial neural network according to a learned method,
acquiring the denoising CT image by applying the low-dose CT image to the low-dose CT image noise reduction device;
The denoising CT image and the normal-dose CT image output from the low-dose CT image noise reduction device are respectively applied and learned using an artificial neural network that has been previously trained to identify an image containing a lesion by receiving a CT image. detecting whether a predetermined lesion is included in each of the denoising CT image and the normal-dose CT image according to the method to identify an image including the lesion; and
In the process of performing the step of identifying the image including the lesion, the observation loss is calculated by the difference between the first and second feature maps obtained from the denoising CT image and the normal-dose CT image, and the observation A learning method for a low-dose CT image noise reduction apparatus comprising the step of backpropagating the observation loss to the low-dose CT image noise reduction apparatus to reduce the loss.
제11항에 있어서, 상기 병변이 포함된 영상을 식별하는 단계는
상기 디노이징 CT 영상과 상기 정상 선량 CT 영상을 각각 인가받고, 미리 학습된 방식에 따라 상기 디노이징 CT 영상의 특징을 추출하여 상기 제1 특징맵을 획득하고, 상기 정상 선량 CT 영상의 특징을 추출하여 상기 제2 특징맵을 획득하는 단계; 및
상기 제1 특징맵과 상기 제2 특징맵을 각각 인가받고, 미리 학습된 방식에 따라 상기 제1 특징맵과 상기 제2 특징맵에서 기지정된 병변이 검출되어 있는지 판별하여, 상기 디노이징 CT 영상과 상기 정상 선량 CT 영상 각각을 병변이 포함된 영상과 병변이 포함되지 않은 영상으로 구분하는 단계를 포함하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법.
The method of claim 11, wherein the step of identifying the image including the lesion comprises:
The denoising CT image and the normal-dose CT image are respectively applied, and the features of the denoising CT image are extracted according to a pre-learned method to obtain the first feature map, and the features of the normal-dose CT image are extracted to obtain the second feature map; and
The first feature map and the second feature map are respectively applied, and it is determined whether predetermined lesions are detected in the first feature map and the second feature map according to a pre-learned method, and the denoising CT image and the and dividing each of the normal-dose CT images into an image including a lesion and an image not including a lesion.
제11항에 있어서, 상기 역전파하는 단계는
상기 관측 손실(L)을 수학식
Figure pat00021

(여기서
Figure pat00022
Figure pat00023
는 각각 디노이징 CT 영상과 정상 선량 CT 영상을 나타내고,
Figure pat00024
Figure pat00025
는 각각 제1 및 제2 특징맵의 픽셀값을 나타낸다. 그리고 W, H, C는 각각 제1 및 제2 특징맵의 폭, 높이 및 채널 길이를 나타내고, N은 특징맵의 개수를 나타낸다.)
에 따라 계산하여 역전파하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법.
The method of claim 11, wherein the step of backpropagating
The observed loss (L) is expressed by the equation
Figure pat00021

(here
Figure pat00022
Wow
Figure pat00023
denotes a denoising CT image and a normal-dose CT image, respectively,
Figure pat00024
Wow
Figure pat00025
denotes pixel values of the first and second feature maps, respectively. And W, H, and C represent the width, height, and channel length of the first and second feature maps, respectively, and N represents the number of feature maps.)
A learning method for a low-dose CT image noise reduction device that calculates and backpropagates according to
제11항에 있어서, 상기 디노이징 CT 영상을 획득하는 단계는
상기 저선량 CT 영상 노이즈 저감 장치로 상기 저선량 CT 영상을 인가하는 단계;
학습된 방식에 따라 상기 저선량 CT 영상의 특징을 추출하여 인코딩 특징맵을 획득하는 단계; 및
학습된 방식에 따라 상기 인코딩 특징맵으로부터 CT 영상을 복구하여 상기 디노이징 CT 영상을 획득하는 단계를 포함하는 저선량 CT 영상 노이즈 저감 장치를 위한 학습 방법.
The method of claim 11, wherein the acquiring of the denoising CT image comprises:
applying the low-dose CT image to the low-dose CT image noise reduction device;
obtaining an encoding feature map by extracting features of the low-dose CT image according to the learned method; and
A learning method for a low-dose CT image noise reduction apparatus comprising the step of recovering a CT image from the encoding feature map according to a learned method to obtain the denoising CT image.
KR1020210041700A 2021-03-31 2021-03-31 Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor KR102550338B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210041700A KR102550338B1 (en) 2021-03-31 2021-03-31 Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041700A KR102550338B1 (en) 2021-03-31 2021-03-31 Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor

Publications (2)

Publication Number Publication Date
KR20220135683A true KR20220135683A (en) 2022-10-07
KR102550338B1 KR102550338B1 (en) 2023-06-30

Family

ID=83595973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041700A KR102550338B1 (en) 2021-03-31 2021-03-31 Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor

Country Status (1)

Country Link
KR (1) KR102550338B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993845A (en) * 2023-06-09 2023-11-03 西安交通大学 CT image artifact removal method based on integrated depth network DnCNN

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930318A (en) * 2019-10-31 2020-03-27 中山大学 Low-dose CT image repairing and denoising method
KR20200080626A (en) * 2018-12-27 2020-07-07 연세대학교 산학협력단 Method for providing information of lesion diagnosis and device for providing information of lesion diagnosis using the same
KR102165915B1 (en) 2018-07-16 2020-10-14 연세대학교 산학협력단 Apparatus and method for reconstructing digital breast tomosynthesis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165915B1 (en) 2018-07-16 2020-10-14 연세대학교 산학협력단 Apparatus and method for reconstructing digital breast tomosynthesis
KR20200080626A (en) * 2018-12-27 2020-07-07 연세대학교 산학협력단 Method for providing information of lesion diagnosis and device for providing information of lesion diagnosis using the same
CN110930318A (en) * 2019-10-31 2020-03-27 中山大学 Low-dose CT image repairing and denoising method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. Chen 외. Low-Dose CT With a Residual Encoder-Decoder Convolutional Neural Network. doi: 10.1109/TMI.2017.2715284. 2017.06.13. 공개.* *
Qingsong Yang 외. CT Image Denoising with Perceptive Deep Neural Networks. DOI:10.12059/Fully3D.2017-11-3202015. 2017.02.22. 공개.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993845A (en) * 2023-06-09 2023-11-03 西安交通大学 CT image artifact removal method based on integrated depth network DnCNN
CN116993845B (en) * 2023-06-09 2024-03-15 西安交通大学 CT image artifact removal method based on integrated depth network DnCNN

Also Published As

Publication number Publication date
KR102550338B1 (en) 2023-06-30

Similar Documents

Publication Publication Date Title
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
US20220207728A1 (en) Quality assessment in video endoscopy
CN110473243B (en) Tooth segmentation method and device based on depth contour perception and computer equipment
US11669964B2 (en) Systems and methods to facilitate review of liver tumor cases
EP1501048B1 (en) Method of segmenting a radiographic image into diagnostically relevant and diagnostically irrelevant regions
CN110610498A (en) Mammary gland molybdenum target image processing method, system, storage medium and equipment
CN110855889A (en) Image processing method, image processing apparatus, image processing device, and storage medium
CN110443254B (en) Method, device, equipment and storage medium for detecting metal area in image
US20050228272A1 (en) System and method for automatically segmenting bones in computed tomography angiography data
CN113989407B (en) Training method and system for limb part recognition model in CT image
US7418122B2 (en) Image processing apparatus and method
CN108038840B (en) Image processing method and device, image processing equipment and storage medium
KR102550338B1 (en) Apparatus for Denoising Low-Dose CT Images and Learning Apparatus and Method Therefor
WO2020172188A1 (en) Systems and methods for calcium-free computed tomography angiography
KR20200102961A (en) Method and system for diagnosing lesion using deep learning
Ghamsarian et al. Deblurring cataract surgery videos using a multi-scale deconvolutional neural network
CN116433695B (en) Mammary gland region extraction method and system of mammary gland molybdenum target image
JP5353876B2 (en) Image processing device
Mitra et al. Peak trekking of hierarchy mountain for the detection of cerebral aneurysm using modified Hough circle transform
KR102476433B1 (en) A learning and restoration method for reducing image noise using a neural network and a computing device performing the same
CN115797729A (en) Model training method and device, and motion artifact identification and prompting method and device
KR20220169134A (en) Apparauts, system, method and program for deciphering tomography image of common bile duct stone using artificial intelligence
WO2021009804A1 (en) Method for learning threshold value
CN115908204B (en) Noise reduction processing method and device for medical image acquired by radiological imaging equipment
CN116258717B (en) Lesion recognition method, device, apparatus and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant