WO2023121206A1 - 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치 - Google Patents

신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치 Download PDF

Info

Publication number
WO2023121206A1
WO2023121206A1 PCT/KR2022/020799 KR2022020799W WO2023121206A1 WO 2023121206 A1 WO2023121206 A1 WO 2023121206A1 KR 2022020799 W KR2022020799 W KR 2022020799W WO 2023121206 A1 WO2023121206 A1 WO 2023121206A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
noise
neural network
time
specific
Prior art date
Application number
PCT/KR2022/020799
Other languages
English (en)
French (fr)
Inventor
최장환
김원진
전선영
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Publication of WO2023121206A1 publication Critical patent/WO2023121206A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a learning and restoration method for reconstructing a high-quality image by effectively removing noise from a low-quality image using an unsupervised learning-based neural network, and a computing device performing the same.
  • BM3D Block Matching 3D
  • the most common and direct method is to map a low-quality image to a high-quality image through a deep neural network. That is, it is a method of supervised learning that compares the result extracted from the deep neural network structure of the encoder-decoder structure with the high-quality correct answer image.
  • the present invention learns a neural network based on an error between a frame at a specific point in time extracted from a training image and a frame at a specific point in time predicted through a neural network, and reduces noise through a frame at a specific point in time predicted from the learned neural network and a noise reducer.
  • a method and apparatus for restoring a low-quality original image to a high-definition image by iteratively learning a noise reducer based on an error between frames at a specific point in time is provided.
  • a learning method includes receiving a training image composed of a plurality of frames; repeatedly learning a neural network that predicts a frame of a specific view from frames of other views except for the specific view in the training image; and repeatedly learning a noise reducer that reduces noise for the frame at the specific time point using the learned neural network, wherein the repeatedly learning the neural network comprises the frame at the specific time point extracted from the training image. And iteratively learning based on the error between frames at a specific time point predicted through the neural network, and repeatedly learning the noise reducer, the noise is reduced through the frame at a specific time point predicted by the learned neural network and the noise reducer. Iterative learning may be performed based on the reduced error between frames at a specific point in time.
  • Noise of a frame at a specific point in time predicted through the neural network may be smaller than noise of a plurality of frames constituting the training image.
  • Noise of a frame at a specific time point input to the noise reducer may be greater than noise of a frame at a specific time point constituting the training image.
  • the step of repeatedly learning the noise reducer is such that an error between a frame at a specific time point predicted by the learned neural network and a frame at a specific time point in which noise is reduced through the generator G of the noise reducer exceeds a preset criterion. If it is, obtaining noise by inputting a frame adjacent to the frame at the specific point in time to a generator (G); generating a new noise frame by applying the acquired noise to a frame at a specific time point in which the noise is reduced through the generator (G); and learning the generator (G) in a direction in which an error between the frame at the specific time point and the new noise frame is minimized.
  • the neural network may be composed of (i) Residual Denso Networks (RDNs) in which a plurality of Residual Denso Blocks (RDBs) are cascaded and (ii) Non-Local (NL) Blocks.
  • RDNs Residual Denso Networks
  • RDBs Residual Denso Blocks
  • NL Non-Local
  • a restoration method includes receiving an original image composed of a plurality of frames; and restoring an original image of higher quality by applying the received original image to a noise reducer, wherein the noise reducer includes a frame at a specific time point predicted through a neural network learned from a training image composed of a plurality of frames and The noise reducer may be repeatedly learned based on an error between frames at a specific point in time when the noise is reduced.
  • the learned neural network may be repeatedly trained based on an error between a frame at a specific time point extracted from the training image and a frame at a specific time point predicted through the learned neural network.
  • Noise of a frame at a specific point in time predicted through the learned neural network may be smaller than noise of a plurality of frames constituting the training image.
  • noise of a frame at a specific time point input may be greater than noise of a frame at a specific time point constituting the training image.
  • the noise reducer when the error between the frame at the specific time point predicted by the learned neural network and the frame at the specific time point in which the noise is reduced through the generator G of the noise reducer exceeds a preset standard, the specific time point Noise is obtained by inputting a frame adjacent to the frame to the generator (G), and a new noise frame is generated by applying the obtained noise to a frame at a specific time point in which the noise is reduced through the generator (G), and the specific noise frame is generated.
  • the generator G may be learned in a direction in which an error between a frame of the viewpoint and the new noise frame is minimized.
  • a computing device includes a processor, wherein the processor receives a training image composed of a plurality of frames, and predicts a frame of a specific view from frames of other views except for a specific view in the training image.
  • a neural network may be repeatedly learned, and a noise reducer for reducing noise for a frame of the specific time point may be repeatedly learned using the learned neural network.
  • the processor repeatedly learns the neural network based on an error between a frame at a specific point in time extracted from the training image and a frame at a specific point in time predicted through the neural network, and the frame at a specific point in time predicted by the learned neural network and the noise
  • the noise reducer may be repeatedly learned based on an error between frames at a specific point in time when noise is reduced through the reducer.
  • Noise of a frame at a specific point in time predicted through the neural network may be smaller than noise of a plurality of frames constituting the training image.
  • Noise of a frame at a specific time point input to the noise reducer may be greater than noise of a frame at a specific time point constituting the training image.
  • the processor determines the frame at the specific time point.
  • Noise is obtained by inputting a frame adjacent to and to the generator (G), and a new noise frame is generated by applying the obtained noise to a frame at a specific time point in which noise is reduced through the generator (G), and the specific time point
  • the generator (G) can be learned in a direction in which an error between the frame of and the new noise frame is minimized.
  • a computing device includes a processor, wherein the processor receives an original image composed of a plurality of frames, applies the received original image to a noise reducer, and restores the original image with higher quality; ,
  • the noise reducer may be repeatedly learned based on an error between a frame at a specific time point predicted through a neural network learned from a training image composed of a plurality of frames and a frame at a specific time point in which noise is reduced through the noise reducer.
  • the learned neural network may be repeatedly trained based on an error between a frame at a specific time point extracted from the training image and a frame at a specific time point predicted through the learned neural network.
  • Noise of a frame at a specific point in time predicted through the learned neural network may be smaller than noise of a plurality of frames constituting the training image.
  • noise of a frame at a specific time point input may be greater than noise of a frame at a specific time point constituting the training image.
  • the noise reducer when the error between the frame at the specific time point predicted by the learned neural network and the frame at the specific time point in which the noise is reduced through the generator G of the noise reducer exceeds a preset standard, the specific time point Noise is obtained by inputting a frame adjacent to the frame to the generator (G), and a new noise frame is generated by applying the acquired noise to a frame at a specific time point reduced through the generator (G), and at the specific time point
  • the generator G may be learned in a direction in which an error between a frame and the new noise frame is minimized.
  • a neural network is learned based on an error between a frame at a specific time point extracted from a training image and a frame at a specific time point predicted through the neural network, and a frame at a specific time point predicted from the learned neural network and noise reduction are reduced. It is possible to reconstruct a low-quality original image into a high-quality image by iteratively learning a noise reducer based on an error between frames at a specific point in time in which noise is reduced through the device.
  • the present invention not only provides clinical help by improving the quality of low-dose CT images, but also protects the health of patients and medical staff by reducing the amount of radiation generated in the process of acquiring CT images.
  • FIG. 1 is a diagram showing the structure of a computing device that removes noise using an unsupervised learning-based neural network according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a method of learning a noise removal algorithm performed by a computing device according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing the structure of a neural network according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing a specific step of learning a noise reducer according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing the structure of a computing device that removes noise using an unsupervised learning-based neural network according to an embodiment of the present invention.
  • the computing device 100 of the present invention may include a processor 110, and the processor 110 may largely perform neural network training and noise reducer training.
  • the processor 110 receives a training image composed of a plurality of temporally consecutive frames, and repeatedly learns a neural network that predicts a frame of a specific view from frames of the remaining views except for a specific view in the received training image.
  • the training image may be a low-dose CT image, but this is only one example and is not limited thereto, and X-ray fluoroscopy images, which are subject to continuous imaging, or general video images obtained continuously may also be targeted. .
  • the processor 110 may repeatedly learn the neural network based on an error between a frame at a specific time point extracted from a training image and a frame at a specific time point predicted through the neural network.
  • the processor 110 may repeatedly learn a noise reducer that reduces noise for a frame at a specific point in time in the received training image.
  • the processor 110 may repeatedly learn the corresponding noise reducer based on an error between a frame at a specific time point predicted by the learned neural network and a frame at a specific time point in which noise is reduced through the noise reducer.
  • the processor 110 of the present invention can restore a high-quality image when a low-quality image is input through the learned noise reducer. For example, when a low-dose CT image is input to the learned noise reducer, the processor 110 of the present invention can restore a high-dose CT image by reducing the noise of the corresponding low-dose CT image.
  • the computing device 100 of the present invention learns a neural network by using a frame at a specific point in time among frames of continuously received training images as the correct answer, and learns a noise reducer based on the learning result of the neural network, thereby differentiating the prior art.
  • a noise reducer based on the learning result of the neural network, thereby differentiating the prior art.
  • FIG. 2 is a diagram illustrating a method of learning a noise removal algorithm performed by a computing device according to an embodiment of the present invention.
  • the noise removal algorithm performed by the computing device 100 may largely consist of a neural network learning step and a noise reducer learning step.
  • the computing device 100 may learn the neural network by using a frame at a specific point in time as a correct answer in a training image composed of a plurality of temporally continuous frames.
  • the computing device 100 divides the training image into frames of a specific view and frames of other views excluding the frame of the specific view, and inputs the divided frames of the remaining views to the neural network to predict the frames of the specific view. .
  • the computing device 100 may repeatedly learn the neural network based on an error between a frame of a specific view extracted from a training image and a frame of a specific view predicted through the corresponding neural network. In this case, the computing device 100 may learn the neural network in a direction in which an error between a frame of a specific viewpoint extracted from a training image and a frame of a specific viewpoint predicted through the neural network is minimized.
  • the neural network learning step provided in FIG. 2 shows an example of learning a neural network by using the middle point, that is, frame 3 as the correct answer in the training image 210 composed of 1 to 5 frames sequentially in time.
  • the computing device 100 converts the training image 210 to frames 1, 2, 4, and 5 of the remaining views except for the third frame 211 of the intermediate view and the third frame 211 of the intermediate view. 212, and the frames 212 of the remaining viewpoints except for the third frame 211 of the intermediate viewpoint may be input to the neural network. Then, the neural network may output a predicted frame 213 corresponding to an intermediate view from the input frames 212 of the remaining views.
  • frame 3 of an intermediate view as the correct answer for learning the neural network is just one example, and frames of all views constituting the training image 210 may be used as the correct answer for learning the neural network.
  • the computing device 100 may calculate a loss (Loss) between the third frame 211 of the intermediate view extracted from the training image 210 and the predicted frame 213 of the intermediate view predicted through the neural network, When the error is less than or equal to a predetermined criterion, learning of the neural network may be terminated.
  • Loss a loss between the third frame 211 of the intermediate view extracted from the training image 210 and the predicted frame 213 of the intermediate view predicted through the neural network
  • the noise of a frame at a specific point in time predicted through the learned neural network provided by the present invention may be smaller than the noise of a plurality of frames constituting a training image. That is, the computing device 100 of the present invention can predict a frame at a specific time point in which objective quality is secured by reducing noise compared to a plurality of frames constituting a training image through the learned neural network, and thus predicting The frame at a specific point in time may be used as a reference frame for learning a noise reducer in a subsequent noise learning step.
  • the computing device 100 may learn a noise reducer that reduces noise for a frame at a specific time point in a training image composed of a plurality of temporally continuous frames. More specifically, the computing device 100 may divide the training image into a frame of a specific view and a frame of other views excluding the frame of the specific view. In addition, the computing device 100 predicts frames of a specific viewpoint by inputting the frames of the remaining divided viewpoints into the neural network learned in the neural network learning step, and inputs the frames of the specific viewpoint to a noise reducer to input the frames of the specific viewpoints from which noise is removed. can output
  • the computing device 100 may repeatedly learn the noise reducer based on an error between a frame at a specific time point predicted through the learned neural network and a frame at a specific time point in which noise is reduced through the noise reducer.
  • the computing device 100 may learn the noise reducer in a direction in which an error between a frame at a specific time point predicted through the learned neural network and a frame at a specific time point in which noise is reduced through the noise reducer is minimized.
  • the noise reducer learning step provided in FIG. 2 shows an example of learning a noise reducer that reduces noise at an intermediate time point, that is, frame 3, in the training image 210 composed of 1 to 5 consecutive frames in time.
  • the computing device 100 converts the training image 210 to frames 1, 2, 4, and 5 of the remaining views except for the third frame 211 of the intermediate view and the third frame 211 of the intermediate view. (212).
  • the computing device 100 inputs the frames 212 of the remaining viewpoints except for the third frame 211 of the intermediate viewpoint to the learned neural network, outputs the predicted frame 214 corresponding to the intermediate viewpoint, and outputs the predicted frame 214 corresponding to the intermediate viewpoint.
  • the third frame 215 at an intermediate point in time with reduced noise may be output.
  • the computing device 100 may calculate an error between the prediction frame 214 at the intermediate point predicted through the learned neural network and the third frame 215 at the intermediate point in which the noise is reduced through the noise reducer, and the calculated When the error is less than or equal to a preset criterion, learning of the noise reducer may be terminated.
  • FIG. 3 is a diagram showing the structure of a neural network according to an embodiment of the present invention.
  • the neural network provided by the present invention may be a multi frame convolution neural network (MFCNN), and may be configured through a residual dense network (RDN) and a non-local block (NL block) as shown in FIG. 3.
  • RDN residual dense network
  • NL block non-local block
  • the RDN constituting the neural network can obtain high noise reduction performance for frames at intermediate points predicted through the neural network by cascading a plurality of Residual Dense Blocks (RDBs) to make the most of hierarchical characteristics. .
  • RDBs Residual Dense Blocks
  • the NL block can improve the pixel quality of the current frame by determining which pixels of the previous frame are highly related to pixels of the current frame, which are targets of picture quality improvement, and then using pixels with a high correlation relatively.
  • the computing device 100 of the present invention has an objective quality with improved peak signal-to-noise ratio (PSNR) or structural similarity index (SSIM) through a neural network composed of RDN and NL blocks. It is possible to obtain a frame at a specific point in time having .
  • PSNR peak signal-to-noise ratio
  • SSIM structural similarity index
  • FIG. 4 is a diagram showing a specific step of learning a noise reducer according to an embodiment of the present invention.
  • the noise reducer learning step of FIG. 4 shows a process of learning the noise reducer using a frame of an intermediate view in a training image composed of a plurality of temporally consecutive frames.
  • the use of frames of intermediate viewpoints for learning of the noise reducer is only one example and is not limited to frames of intermediate viewpoints, and frames of all viewpoints constituting the training image are used for learning of the noise reducer. can be used
  • the computing device 100 of the present invention includes a plurality of temporally continuous frames ( ), the frame of the intermediate view ( ) and the intermediate frame ( ) except for the remaining frames ( ) can be distinguished.
  • the computing device 100 separates the intermediate view frame from the training image ( ) except for the remaining frames ( ) can be input as the learned neural network, and the learned neural network is a frame at an intermediate time point ( ) except for the remaining frames ( ) to the mid-view frame ( ) can be predicted.
  • the frame of the intermediate view predicted through the learned neural network ( ) can be used as a reference frame for learning the noise reducer because noise is reduced and objective quality is secured.
  • the computing device 100 is a frame of an intermediate view divided from the training image ( ) can be input as a noise reducer, and the noise reducer can input a frame at an intermediate point ( ) to the generator (Generator, G) to reduce the noise of the interim frame ( ) can be output.
  • the noise reducer can input a frame at an intermediate point ( ) to the generator (Generator, G) to reduce the noise of the interim frame ( ) can be output.
  • the computing device 100 is a frame of an intermediate view predicted in the learned neural network ( ) and the frame at the intermediate point output through the noise reducer ( ) error between ( ) exceeds a preset criterion, the corresponding noise reducer may be learned again.
  • the noise reducer is used to frame intermediate time points ( ) and adjacent frames ( ) into the generator (G), the noise ( ) to the intermediate time frame ( ) to a new noise frame ( ) can be created.
  • the noise reducer then creates a new noise frame ( ) and the intermediate frame ( ) error between ( ) by learning the generator (G) in the direction of minimizing the noise reduction ability.
  • the computing device 100 displays a frame at an intermediate time point predicted in the learned neural network ( ) and the frame at the intermediate point output through the noise reducer ( ), the learning of the corresponding noise reducer is terminated, and when the error exceeds the preset criterion, the corresponding noise reducer can be re-learned in the same way as above.
  • the computing device 100 separates completely different high-definition frames that are not used as inputs of the neural network and the noise reducer and frames output after noise is reduced through the learned noise reducer ( Discriminator, D) can discriminate and learn.
  • Discriminator, D Discriminator
  • the delimiter (D) determines that the frame output through the noise reducer is a high-definition frame
  • 1 may be output as a value
  • 0 may be output when it is judged to be a low quality frame.
  • the noise is reduced through the generator (G), and the discrimination performance of the separator (D) and the separator (D) for accurately determining whether the output frame is a high-quality frame or a low-quality frame is reduced.
  • the performance of the overall noise removal algorithm can be improved by competitively learning generators (G) that improve noise reduction performance.
  • the method according to the present invention is written as a program that can be executed on a computer and can be implemented in various recording media such as magnetic storage media, optical reading media, and digital storage media.
  • Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be a computer program product, i.e., an information carrier, e.g., a machine-readable storage, for processing by, or for controlling, the operation of a data processing apparatus, e.g., a programmable processor, computer, or plurality of computers. It can be implemented as a computer program tangibly embodied in a device (computer readable medium) or a radio signal.
  • a computer program such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be written as a stand-alone program or in a module, component, subroutine, or computing environment. It can be deployed in any form, including as other units suitable for the use of.
  • a computer program can be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communication network.
  • processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer.
  • a processor will receive instructions and data from read only memory or random access memory or both.
  • Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data.
  • a computer may include, receive data from, send data to, or both, one or more mass storage devices that store data, such as magnetic, magneto-optical disks, or optical disks. It can also be combined to become.
  • Information carriers suitable for embodying computer program instructions and data include, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, compact disk read only memory (CD-ROM) ), optical media such as DVD (Digital Video Disk), magneto-optical media such as Floptical Disk, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like.
  • semiconductor memory devices for example, magnetic media such as hard disks, floppy disks and magnetic tapes, compact disk read only memory (CD-ROM) ), optical media such as DVD (Digital Video Disk), magneto-optical media such as Floptical Disk, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like.
  • the processor and memory may be supplement
  • computer readable media may be any available media that can be accessed by a computer, and may include both computer storage media and transmission media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치가 개시된다. 학습 방법은 복수의 프레임으로 구성된 훈련 영상을 수신하는 단계; 상기 훈련 영상에서 특정 시점을 제외한 나머지 시점의 프레임으로부터 특정 시점의 프레임을 예측하는 신경망을 반복적으로 학습하는 단계; 및 상기 학습된 신경망을 이용하여, 상기 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 반복적으로 학습하는 단계를 포함하고, 상기 신경망을 반복적으로 학습하는 단계는 상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습하고, 상기 노이즈 감소기를 반복적으로 학습하는 단계는 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습할 수 있다.

Description

신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치
본 발명은 비지도 학습 기반의 신경망을 이용하여 저화질 영상의 노이즈를 효과적으로 제거하여 고화질의 영상으로 복원하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치에 관한 것이다.
임상 진단에 X-선 컴퓨터 단층촬영(Computed Tomography, CT)이 널리 적용되면서 환자에게 투여되는 과도한 방사선량에 대한 대중의 우려가 증가하고 있다. 그러나 방사선량을 줄이면 필연적으로 서버 노이즈가 발생하여 방사선 전문의의 판단과 확신에 영향을 미치게 된다.
지난 수십년 동안 저선량CT(Low-Dose Computed Tomography, LDCT) 영상 재구성을 위한 반복 알고리즘 방법들이 다양하게 제안되어왔다. 일반적으로 이러한 알고리즘은 목적 함수를 최적화하여 이미지 품질을 개선하는데 만족스러운 성능을 나타내지만 계산 부담과 민감한 매개변수로 인해 실제 적용에는 제한적이다.
이러한 반복적인 재구성 알고리즘에 비해 계산적으로 더 효율적이고 효과적인 방법으로 이미지 후처리 방식이 있다. BM3D(Block Matching 3D) 방법은 CT 영상 분야에서 영상 후처리를 위한 뛰어난 방법 중 하나이다.
그러나 이러한 전통적인 후처리 방법은 종종 재구성된 노이즈의 불균일한 분포를 감안할 때, 가장자리가 흐려지는 현상이나 이미지 생성 시 발생하는 특징적인 잔여 결점들이 생기는 문제가 발생한다.최근에는 LDCT에서 노이즈 감소를 위해 머신 러닝 접근 방식을 적용한 화질 개선 방법이 뛰어난 성능 향상을 보이고 있다.
기본적으로 원본 영상을 신경망의 입력으로 하여 개선된 영상이 출력되는 인코더-디코더(Encoder-Decoder) 구조를 기반으로 영상 화질 개선에 적용되고 있다. 이러한 학습 기반의 잡음 제거 방법 중, 가장 일반적이고 직접적인 방법은 심층 신경망을 통해 저품질 이미지를 고품질 이미지로 매핑하는 것이다. 즉, 인코더-디코더 구조의 심층 신경망 구조에서 추출된 결과와 고화질의 정답 영상을 비교하는 지도 학습의 방법이다.
이는 원본 영상 내 의미 있는 특징을 효과적으로 추출하여 잠재특징을 생성하고, 생성된 잠재특징을 통해 영상을 복원한다. 이를 통해 학습한 특징 및 표현을 기반으로 노이즈가 많은 이미지에서 더 높은 품질의 이미지를 복구할 수 있다. 특히, 저선량CT 영상에서 패치들을 추출하고 이에 상응하는 패치들을 LDCT에서도 추출하는 방법이 있다. 이는 이미지의 세부적인 특징까지 더 잘 유지되게 하여 잡음 제거의 성능을 크게 향상시켜왔다.
하지만, 이러한 지도 학습 기반의 방법들은 학습을 위해 원본 영상에 대한 개선된 화질의 정답 영상이 필요하다. 이를 위해서는 동일한 환경에서 영상이 두번씩 촬영되어야 하고 실제 환경에서 그러한 정답이 포함된 대규모 학습 데이터를 확보하는 것은 매우 어려운 일이며 많은 비용과 시간이 걸린다.
예를 들어, LDCT 영상에서 정상 및 저선량으로 환자를 연속적으로 두 번 스캔하여 서로 다른 선량 수준에서 잘 짝을 이루는 임상 스캔이 이루어져야 하며 서로 다른 선량 수준에서 동일한 환자 데이터를 얻더라도 신체 활동과 스캔 위치의 불가피한 약간의 움직임으로 인해 데이터를 완벽하게 일치시키는데 한계가 있다.
이는 네트워크 성능에 영향을 미치고 결과 이미지에서 세부 정보가 흐려지거나 가짜 정보로 이어질 수 있다. 또한, 저선량CT 영상과 고해상도 CT 영상의 쌍을 이루는 데이터의 부족은 저선량CT 영상을 재구성하는데 있어서 딥러닝의 광범위한 적용을 제한하는 요인 중 하나이다.
본 발명은 훈련 영상에서 추출한 특정 시점의 프레임과 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 신경망을 학습하고, 학습된 신경망에서 예측된 특정 시점의 프레임과 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 노이즈 감소기를 반복적으로 학습함으로써 저화질의 원본 영상을 고화질로 복원하는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 학습 방법은 복수의 프레임으로 구성된 훈련 영상을 수신하는 단계; 상기 훈련 영상에서 특정 시점을 제외한 나머지 시점의 프레임으로부터 특정 시점의 프레임을 예측하는 신경망을 반복적으로 학습하는 단계; 및 상기 학습된 신경망을 이용하여, 상기 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 반복적으로 학습하는 단계를 포함하고, 상기 신경망을 반복적으로 학습하는 단계는 상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습하고, 상기 노이즈 감소기를 반복적으로 학습하는 단계는 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습할 수 있다.
상기 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는 상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작을 수 있다.
상기 노이즈 감소기에 입력되는 특정 시점의 프레임의 노이즈는 상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 클 수 있다.
상기 노이즈 감소기를 반복적으로 학습하는 단계는 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하는 단계; 상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하는 단계; 및 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)를 학습하는 단계를 포함할 수 있다.
상기 신경망은 (i)복수의 RDB(Residual Denso Blocks)들이 계단식으로 배열된 RDN(Residual Denso Network)들과 (ii)NL(Non-Local) Block들로 구성될 수 있다.
본 발명의 일실시예에 따른 복원 방법은 복수의 프레임으로 구성된 원본 영상을 수신하는 단계; 및 상기 수신된 원본 영상을 노이즈 감소기에 적용함으로써 보다 높은 화질의 원본 영상으로 복원하는 단계를 포함하고, 상기 노이즈 감소기는 복수의 프레임으로 구성된 훈련 영상에서 학습된 신경망을 통해 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습될 수 있다.
상기 학습된 신경망은 상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 학습된 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습될 수 있다.
상기 학습된 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는 상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작을 수 있다.
상기 노이즈 감소기를 반복적으로 학습하는 과정에서 입력되는 특정 시점의 프레임의 노이즈는 상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 클 수 있다.
상기 노이즈 감소기는 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하고, 상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하고, 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)가 학습될 수 있다.
본 발명의 일실시예에 따른 컴퓨팅 장치는 프로세서를 포함하고, 상기 프로세서는 복수의 프레임으로 구성된 훈련 영상을 수신하고, 상기 훈련 영상에서 특정 시점을 제외한 나머지 시점의 프레임으로부터 특정 시점의 프레임을 예측하는 신경망을 반복적으로 학습하며, 상기 학습된 신경망을 이용하여, 상기 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 반복적으로 학습할 수 있다.
상기 프로세서는 상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 상기 신경망을 반복적으로 학습하고, 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 상기 노이즈 감소기를 반복적으로 학습할 수 있다.
상기 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는 상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작을 수 있다.
상기 노이즈 감소기에 입력되는 특정 시점의 프레임의 노이즈는 상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 클 수 있다.
상기 프로세서는 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하고, 상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하고, 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)를 학습할 수 있다.
본 발명의 일실시예에 따른 컴퓨팅 장치는 프로세서를 포함하고, 상기 프로세서는 복수의 프레임으로 구성된 원본 영상을 수신하고, 상기 수신된 원본 영상을 노이즈 감소기에 적용함으로써 보다 높은 화질의 원본 영상으로 복원하며, 상기 노이즈 감소기는 복수의 프레임으로 구성된 훈련 영상에서 학습된 신경망을 통해 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습될 수 있다.
상기 학습된 신경망은 상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 학습된 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습될 수 있다.
상기 학습된 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는 상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작을 수 있다.
상기 노이즈 감소기를 반복적으로 학습하는 과정에서 입력되는 특정 시점의 프레임의 노이즈는 상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 클 수 있다.
상기 노이즈 감소기는 상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하고, 상기 획득된 노이즈를, 상기 생성자(G)를 통해 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하고, 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)가 학습될 수 있다.
본 발명의 일실시예에 의하면, 훈련 영상에서 추출한 특정 시점의 프레임과 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 신경망을 학습하고, 학습된 신경망에서 예측된 특정 시점의 프레임과 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 노이즈 감소기를 반복적으로 학습함으로써 저화질의 원본 영상을 고화질로 복원할 수 있다.
이를 통해, 본 발명은 저선량CT 영상의 품질을 향상시켜 임상적 도움을 줄 뿐만 아니라 CT 영상의 획득하는 과정에서 발생하는 방사선량을 감소시켜 환자와 의료진의 건강을 보호할 수 있다.
도 1은 본 발명의 일실시예에 따른 비지도 학습 기반의 신경망을 이용하여 노이즈를 제거하는 컴퓨팅 장치의 구조를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨팅 장치가 수행하는 노이즈 제거 알고리즘의 학습 방법을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 신경망의 구조를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 노이즈 감소기 학습 단계를 구체화하여 나타낸 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 비지도 학습 기반의 신경망을 이용하여 노이즈를 제거하는 컴퓨팅 장치의 구조를 나타낸 도면이다.
도 1을 참고하면, 본 발명의 컴퓨팅 장치(100)는 프로세서(110)를 포함할 수 있으며, 프로세서(110)는 크게 신경망 학습 및 노이즈 감소기 학습을 수행할 수 있다. 먼저, 프로세서(110)는 시간적으로 연속하는 복수의 프레임으로 구성된 훈련 영상을 수신하고, 수신된 훈련 영상에서 특정 시점을 제외한 나머지 시점의 프레임으로부터 특정 시점의 프레임을 예측하는 신경망을 반복적으로 학습할 수 있다. 일례로, 본 발명에서 훈련 영상은 저선량 CT 영상일 수 있으나 이는 하나의 예시일뿐 이에 국한되지 않으며, 연속 촬영대상인 X-ray 형광투시(fluoroscopy) 이미지 또는 연속적으로 얻어진 일반 비디오 영상도 대상이 될 수 있다.
이때, 프로세서(110)는 훈련 영상에서 추출한 특정 시점의 프레임과 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 해당 신경망을 반복적으로 학습할 수 있다.
그리고, 프로세서(110)는 수신된 훈련 영상에서 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 반복적으로 학습할 수 있다. 이때, 프로세서(110)는 학습된 신경망에서 예측된 특정 시점의 프레임과 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 해당 노이즈 감소기를 반복적으로 학습할 수 있다.
본 발명의 프로세서(110)는 이와 같이 학습된 노이즈 감소기를 통해 저화질 영상이 입력된 경우, 고화질 영상으로 복원할 수 있다. 일례로, 본 발명의 프로세서(110)는 학습된 노이즈 감소기에 저선량 CT 영상이 입력된 경우, 해당 저선량 CT 영상의 노이즈를 감소시킴으로써 고선량 CT 영상으로 복원할 수 있다.
이와 같이, 본 발명의 컴퓨팅 장치(100)는 연속적으로 수신되는 훈련 영상의 프레임 중 특정 시점의 프레임을 정답으로 이용하여 신경망을 학습시키고, 신경망의 학습 결과에 기초하여 노이즈 감소기를 학습시킴으로써 종래 기술과 같이 노이즈 감소기를 학습시키기 위하여 저화질 영상에 대응하는 고화질 영상을 별도로 구축할 필요가 없다는 장점이 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨팅 장치가 수행하는 노이즈 제거 알고리즘의 학습 방법을 나타낸 도면이다.
도 2를 참고하면, 컴퓨팅 장치(100)가 수행하는 노이즈 제거 알고리즘은 크게 신경망 학습 단계 및 노이즈 감소기 학습 단계로 구성될 수 있다. 먼저, 신경망 학습 단계에서, 컴퓨팅 장치(100)는 시간적으로 연속하는 복수의 프레임으로 구성된 훈련 영상에서 특정 시점의 프레임을 정답으로 이용하여 신경망을 학습할 수 있다.
보다 구체적으로 컴퓨팅 장치(100)는 훈련 영상을 특정 시점의 프레임과 특정 시점의 프레임을 제외한 나머지 시점의 프레임으로 구분하고, 구분된 나머지 시점의 프레임을 신경망으로 입력함으로써 특정 시점의 프레임을 예측할 수 있다.
이후 컴퓨팅 장치(100)는 훈련 영상에서 추출한 특정 시점의 프레임과 해당 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 신경망을 학습할 수 있다. 이때, 컴퓨팅 장치(100)는 훈련 영상에서 추출한 특정 시점의 프레임과 신경망을 통해 예측된 특정 시점의 프레임 간의 오차가 최소화되는 방향으로 신경망을 학습할 수 있다.
일례로, 도 2에서 제공하는 신경망 학습 단계는 시간적으로 연속하는 1~5 프레임으로 구성된 훈련 영상(210)에서 중간 시점, 즉 3번 프레임을 정답으로 이용하여 신경망을 학습하는 예를 보여준다. 이를 위해 컴퓨팅 장치(100)는 훈련 영상(210)을 중간 시점의 3번 프레임(211)과 중간 시점의 3번 프레임(211)을 제외한 나머지 시점의 프레임들(1, 2, 4, 5번)(212)로 구분하고, 중간 시점의 3번 프레임(211)을 제외한 나머지 시점의 프레임들(212)을 신경망으로 입력할 수 있다. 그러면, 신경망은 입력된 나머지 시점의 프레임들(212)으로부터 중간 시점에 대응하는 예측 프레임(213)을 출력할 수 있다.
상기의 예에서 신경망의 학습에 중간 시점의 3번 프레임을 정답으로 이용하는 것은 하나의 예시일 뿐 훈련 영상(210)을 구성하는 모든 시점의 프레임이 신경망의 학습을 위한 정답으로 이용될 수 있다.
이후 컴퓨팅 장치(100)는 훈련 영상(210)에서 추출된 중간 시점의 3번 프레임(211)과 신경망을 통해 예측된 중간 시점의 예측 프레임(213) 간의 오차(Loss)를 계산할 수 있으며, 계산된 오차가 미리 설정된 기준 이하인 경우, 신경망의 학습을 종료할 수 있다.
한편, 본 발명에서 제공하는 학습된 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작을 수 있다. 즉, 본 발명의 컴퓨팅 장치(100)는 학습된 신경망을 통해 훈련 영상을 구성하는 복수의 프레임 대비 노이즈가 저감되어 객관적인 품질(Object Quality)이 확보된 특정 시점의 프레임을 예측할 수 있으며, 이와 같이 예측된 특정 시점의 프레임은 이후 노이즈 학습 단계에서 노이즈 감소기를 학습하기 위한 기준 프레임으로 이용될 수 있다.
다음으로 노이즈 감소기 학습 단계에서, 컴퓨팅 장치(100)는 시간적으로 연속하는 복수의 프레임으로 구성된 훈련 영상에서 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 학습할 수 있다. 보다 구체적으로, 컴퓨팅 장치(100)는 훈련 영상을 특정 시점의 프레임과 특정 시점의 프레임을 제외한 나머지 시점의 프레임으로 구분할 수 있다. 그리고 컴퓨팅 장치(100)는 구분된 나머지 시점의 프레임을 신경망 학습 단계에서 학습된 신경망에 입력하여 특정 시점의 프레임을 예측하고, 특정 시점의 프레임을 노이즈 감소기에 입력함으로써 노이즈가 제거된 특정 시점의 프레임을 출력할 수 있다.
이후 컴퓨팅 장치(100)는 학습된 신경망을 통해 예측된 특정 시점의 프레임과 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 노이즈 감소기를 학습할 수 있다. 이때, 컴퓨팅 장치(100)는 학습된 신경망을 통해 예측된 특정 시점의 프레임과 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 최소화되는 방향으로 노이즈 감소기를 학습할 수 있다.
일례로, 도 2에서 제공하는 노이즈 감소기 학습단계는 시간적으로 연속하는 1~5 프레임으로 구성된 훈련 영상(210)에서 중간 시점, 즉 3번 프레임의 노이즈를 감소시키는 노이즈 감소기의 학습 예를 보여준다. 이를 위해 컴퓨팅 장치(100)는 훈련 영상(210)을 중간 시점의 3번 프레임(211)과 중간 시점의 3번 프레임(211)을 제외한 나머지 시점의 프레임들(1, 2, 4, 5번)(212)로 구분할 수 있다.
이후 컴퓨팅 장치(100)는 중간 시점의 3번 프레임(211)을 제외한 나머지 시점의 프레임들(212)을 학습된 신경망으로 입력하여 중간 시점에 대응하는 예측 프레임(214)을 출력하고, 중간 시점의 3번 프레임(211)을 노이즈 감소기에 입력하여 노이즈가 감소된 중간 시점의 3번 프레임(215)를 출력할 수 있다.
마지막으로 컴퓨팅 장치(100)는 학습된 신경망을 통해 예측된 중간 시점의 예측 프레임(214)과 노이즈 감소기를 통해 노이즈가 감소된 중간 시점의 3번 프레임(215) 간의 오차를 계산할 수 있으며, 계산된 오차가 미리 설정된 기준 이하인 경우, 노이즈 감소기의 학습을 종료할 수 있다.
도 3은 본 발명의 일실시예에 따른 신경망의 구조를 나타낸 도면이다.
일례로, 본 발명에서 제공하는 신경망은 MFCNN(Multi Frame Convolution Neural Network)일 수 있으며, 도 3과 같이 RDN(Residual Dense Network)과 NL Block(Non-Local Block)을 통해 구성될 수 있다. 먼저, 신경망을 구성하는 RDN은 계층적 특성을 최대한 활용하기 위해 복수의 RDB(Residual Dense Blocks)를 계단식으로 배열함으로써 해당 신경망을 통해 예측되는 중간 시점의 프레임에 대한 높은 노이즈 감소 성능을 획득할 수 있다.
다음으로, NL Block은 이전 프레임의 픽셀이 화질 개선 대상인 현재 프레임의 어떤 픽셀과 연관이 높은 지 판단한 후 연관이 높은 픽셀을 상대적으로 많이 활용함으로써 현재 프레임의 픽셀 화질을 개선할 수 있다.
이와 같이 본 발명의 컴퓨팅 장치(100)는 RDN과 NL Block으로 구성된 신경망을 통해 최대 신호 대 잡음비(Peak Signal-to-Noise Ratio, PSNR) 또는 구조적 유사 지수(Structural Similarity Index, SSIM)가 향상된 객관적인 품질을 가지는 특정 시점의 프레임을 획득할 수 있다.
도 4는 본 발명의 일실시예에 따른 노이즈 감소기 학습 단계를 구체화하여 나타낸 도면이다.
도 4의 노이즈 감소기 학습 단계는 시간적으로 연속하는 복수의 프레임으로 구성된 훈련 영상에서 중간 시점의 프레임을 이용하여 노이즈 감소기를 학습하는 과정을 보여준다. 이때, 노이즈 감소기의 학습에 중간 시점의 프레임이 이용되는 것은 하나의 예시일 뿐 이에 국한되지 않고 중간 시점의 프레임에 국한되지 않고 훈련 영상을 구성하는 모든 시점의 프레임이 노이즈 감소기의 학습을 위해 이용될 수 있다.
보다 구체적으로 본 발명의 컴퓨팅 장치(100)는 시간적으로 연속하는 복수의 프레임(
Figure PCTKR2022020799-appb-img-000001
)으로 구성된 훈련 영상을 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000002
)과 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000003
)을 제외한 나머지 프레임(
Figure PCTKR2022020799-appb-img-000004
)으로 구분할 수 있다.
이후 컴퓨팅 장치(100)는 훈련 영상에서 구분된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000005
)을 제외한 나머지 프레임(
Figure PCTKR2022020799-appb-img-000006
)을 학습된 신경망으로 입력할 수 있으며, 학습된 신경망은 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000007
)을 제외한 나머지 프레임(
Figure PCTKR2022020799-appb-img-000008
)으로부터 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000009
)을 예측할 수 있다. 이때, 학습된 신경망을 통해 예측된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000010
)은 노이즈가 저감되어 객관적인 품질이 확보되므로 노이즈 감소기를 학습하기 위한 기준 프레임으로 이용될 수 있다.
한편, 컴퓨팅 장치(100)는 훈련 영상에서 구분된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000011
)을 노이즈 감소기로 입력할 수 있으며, 노이즈 감소기는 입력된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000012
)을 생성자(Generator, G)에 입력하여 노이즈가 감소된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000013
)을 출력할 수 있다.
이때, 컴퓨팅 장치(100)는 학습된 신경망에서 예측된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000014
)과 노이즈 감소기를 통해 출력된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000015
) 간의 오차(
Figure PCTKR2022020799-appb-img-000016
)가 미리 설정된 기준을 초과하는 경우, 해당 노이즈 감소기를 다시 학습할 수 있다.
이를 위해 노이즈 감소기는 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000017
)과 인접한 프레임(
Figure PCTKR2022020799-appb-img-000018
)을 생성자(G)에 입력함으로써 획득된 노이즈(
Figure PCTKR2022020799-appb-img-000019
)를 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000020
)에 적용하여 새로운 노이즈 프레임(
Figure PCTKR2022020799-appb-img-000021
)을 생성할 수 있다. 이후 노이즈 감소기는 생성된 새로운 노이즈 프레임(
Figure PCTKR2022020799-appb-img-000022
)과 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000023
) 사이의 오차(
Figure PCTKR2022020799-appb-img-000024
)를 최소화하는 방향으로 생성자(G)를 학습하여 노이즈 저감 능력을 향상 시킨다.
이후 컴퓨팅 장치(100)는 학습된 신경망에서 예측된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000025
)과 노이즈 감소기를 통해 출력된 중간 시점의 프레임(
Figure PCTKR2022020799-appb-img-000026
) 간의 오차가 미리 설정된 기준 이하인 경우, 해당 노이즈 감소기의 학습을 종료하고, 해당 오차가 미리 설정된 기준을 초과하는 경우, 해당 노이즈 감소기를 상기와 같은 방법으로 다시 학습할 수 있다.
한편, 컴퓨팅 장치(100)는 고화질 프레임의 데이터 분포 특성을 학습하기 위해서 신경망 및 노이즈 감소기의 입력으로 사용하지 않은 완전 다른 고화질 프레임과 학습된 노이즈 감소기를 통해 노이즈가 감소되어 출력된 프레임을 구분자(Discriminator, D)를 통해 판별하여 학습시킬 수 있다. 이때, 구분자(D)는 노이즈 감소기를 통해 출력된 프레임을 고화질 프레임으로 판단하는 경우,
Figure PCTKR2022020799-appb-img-000027
값으로 1을 출력하고, 그렇지 않은 저화질 프레임으로 판단하는 경우 0 을 출력할 수 있다.
즉, 본 발명의 컴퓨팅 장치(100)는 생성자(G)를 통해 노이즈가 감소되어 출력된 프레임이 고화질 프레임인지 또는 저화질 프레임인지를 정확하게 판별하는 구분자(D)와 구분자(D)의 판별 성능을 낮추기 위해 노이즈 감소 성능을 향상시키는 생성자(G)를 상호 경쟁적으로 학습시킴으로써 전체적인 노이즈 제거 알고리즘의 성능을 향상시킬 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 복수의 프레임으로 구성된 훈련 영상을 수신하는 단계;
    상기 훈련 영상에서 특정 시점을 제외한 나머지 시점의 프레임으로부터 특정 시점의 프레임을 예측하는 신경망을 반복적으로 학습하는 단계; 및
    상기 학습된 신경망을 이용하여, 상기 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 반복적으로 학습하는 단계
    를 포함하고,
    상기 신경망을 반복적으로 학습하는 단계는,
    상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습하고,
    상기 노이즈 감소기를 반복적으로 학습하는 단계는,
    상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습하는 학습 방법.
  2. 제1항에 있어서,
    상기 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는,
    상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작은 학습 방법.
  3. 제1항에 있어서,
    상기 노이즈 감소기에 입력되는 특정 시점의 프레임의 노이즈는,
    상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 큰 학습 방법.
  4. 제3항에 있어서,
    상기 노이즈 감소기를 반복적으로 학습하는 단계는,
    상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하는 단계;
    상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하는 단계; 및
    상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)를 학습하는 단계
    를 포함하는 학습 방법.
  5. 제1항에 있어서,
    상기 신경망은,
    (i)복수의 RDB(Residual Denso Blocks)들이 계단식으로 배열된 RDN(Residual Denso Network)들과 (ii)NL(Non-Local) Block들로 구성되는 학습 방법.
  6. 복수의 프레임으로 구성된 원본 영상을 수신하는 단계; 및
    상기 수신된 원본 영상을 노이즈 감소기에 적용함으로써 보다 높은 화질의 원본 영상으로 복원하는 단계
    를 포함하고,
    상기 노이즈 감소기는,
    복수의 프레임으로 구성된 훈련 영상에서 학습된 신경망을 통해 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습되는 복원 방법.
  7. 제6항에 있어서,
    상기 학습된 신경망은,
    상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 학습된 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습되는 복원 방법.
  8. 제6항에 있어서,
    상기 학습된 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는,
    상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작은 복원 방법.
  9. 제6항에 있어서,
    상기 노이즈 감소기를 반복적으로 학습하는 과정에서 입력되는 특정 시점의 프레임의 노이즈는,
    상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 큰 복원 방법.
  10. 제9항에 있어서,
    상기 노이즈 감소기는,
    상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하고, 상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하고, 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)가 학습되는 복원 방법.
  11. 컴퓨팅 장치에 있어서,
    상기 컴퓨팅 장치는 프로세서를 포함하고,
    상기 프로세서는,
    복수의 프레임으로 구성된 훈련 영상을 수신하고, 상기 훈련 영상에서 특정 시점을 제외한 나머지 시점의 프레임으로부터 특정 시점의 프레임을 예측하는 신경망을 반복적으로 학습하며, 상기 학습된 신경망을 이용하여, 상기 특정 시점의 프레임에 대한 노이즈를 감소시키는 노이즈 감소기를 반복적으로 학습하는 컴퓨팅 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 상기 신경망을 반복적으로 학습하고,
    상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 상기 노이즈 감소기를 반복적으로 학습하는 컴퓨팅 장치.
  13. 제11항에 있어서,
    상기 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는,
    상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작은 컴퓨팅 장치.
  14. 제11항에 있어서,
    상기 노이즈 감소기에 입력되는 특정 시점의 프레임의 노이즈는,
    상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 큰 컴퓨팅 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하고, 상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하고, 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)를 학습하는 컴퓨팅 장치.
  16. 컴퓨팅 장치에 있어서,
    상기 컴퓨팅 장치는 프로세서를 포함하고,
    상기 프로세서는,
    복수의 프레임으로 구성된 원본 영상을 수신하고, 상기 수신된 원본 영상을 노이즈 감소기에 적용함으로써 보다 높은 화질의 원본 영상으로 복원하며,
    상기 노이즈 감소기는,
    복수의 프레임으로 구성된 훈련 영상에서 학습된 신경망을 통해 예측된 특정 시점의 프레임과 상기 노이즈 감소기를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습되는 컴퓨팅 장치.
  17. 제16항에 있어서,
    상기 학습된 신경망은,
    상기 훈련 영상에서 추출한 특정 시점의 프레임과 상기 학습된 신경망을 통해 예측된 특정 시점의 프레임 간의 오차에 기초하여 반복적으로 학습되는 컴퓨팅 장치.
  18. 제16항에 있어서,
    상기 학습된 신경망을 통해 예측된 특정 시점의 프레임이 가지는 노이즈는,
    상기 훈련 영상을 구성하는 복수의 프레임들이 가지는 노이즈 보다 작은 컴퓨팅 장치.
  19. 제16항에 있어서,
    상기 노이즈 감소기를 반복적으로 학습하는 과정에서 입력되는 특정 시점의 프레임의 노이즈는,
    상기 훈련 영상을 구성하는 특정 시점의 프레임의 노이즈보다 큰 컴퓨팅 장치.
  20. 제19항에 있어서,
    상기 노이즈 감소기는,
    상기 학습된 신경망에서 예측된 특정 시점의 프레임과 상기 노이즈 감소기의 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임 간의 오차가 미리 설정된 기준을 초과하는 경우, 상기 특정 시점의 프레임과 인접한 프레임을 생성자(G)에 입력함으로써 노이즈를 획득하고, 상기 획득된 노이즈를, 상기 생성자(G)를 통해 노이즈가 감소된 특정 시점의 프레임에 적용함으로써 새로운 노이즈 프레임을 생성하고, 상기 특정 시점의 프레임과 상기 새로운 노이즈 프레임 사이의 오차가 최소화되는 방향으로 상기 생성자(G)가 학습되는 컴퓨팅 장치.
PCT/KR2022/020799 2021-12-22 2022-12-20 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치 WO2023121206A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0185329 2021-12-22
KR1020210185329A KR102476433B1 (ko) 2021-12-22 2021-12-22 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
WO2023121206A1 true WO2023121206A1 (ko) 2023-06-29

Family

ID=84391608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020799 WO2023121206A1 (ko) 2021-12-22 2022-12-20 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치

Country Status (2)

Country Link
KR (1) KR102476433B1 (ko)
WO (1) WO2023121206A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476433B1 (ko) * 2021-12-22 2022-12-12 이화여자대학교 산학협력단 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190086338A (ko) * 2018-01-12 2019-07-22 한국과학기술원 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
US20200043204A1 (en) * 2018-08-06 2020-02-06 General Electric Company Iterative image reconstruction framework
JP2020128882A (ja) * 2019-02-07 2020-08-27 浜松ホトニクス株式会社 画像処理装置および画像処理方法
KR102476433B1 (ko) * 2021-12-22 2022-12-12 이화여자대학교 산학협력단 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190086338A (ko) * 2018-01-12 2019-07-22 한국과학기술원 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
US20200043204A1 (en) * 2018-08-06 2020-02-06 General Electric Company Iterative image reconstruction framework
JP2020128882A (ja) * 2019-02-07 2020-08-27 浜松ホトニクス株式会社 画像処理装置および画像処理方法
KR102476433B1 (ko) * 2021-12-22 2022-12-12 이화여자대학교 산학협력단 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEWIL VALERY; ANGER JEREMY; DAVY AXEL; EHRET THIBAUD; FACCIOLO GABRIELE; ARIAS PABLO: "Self-supervised training for blind multi-frame video denoising", 2021 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV), IEEE, 3 January 2021 (2021-01-03), pages 2723 - 2733, XP033926647, DOI: 10.1109/WACV48630.2021.00277 *
MUHAMMAD KASHIF ALI; SANGJOON YU; TAE HYUN KIM: "Learning Deep Video Stabilization without Optical Flow", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 November 2020 (2020-11-19), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081817768 *

Also Published As

Publication number Publication date
KR102476433B1 (ko) 2022-12-12

Similar Documents

Publication Publication Date Title
WO2020122357A1 (ko) 의료영상 재구성 방법 및 그 장치
US20210390695A1 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
WO2019143177A1 (ko) 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN101208042B (zh) 异常阴影候选检测方法、异常阴影候选检测装置
WO2023121206A1 (ko) 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치
US10929643B2 (en) 3D image detection method and apparatus, electronic device, and computer readable medium
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
Chen et al. Two-stream collaborative network for multi-label chest X-ray Image classification with lung segmentation
WO2019132590A1 (ko) 영상 변환 방법 및 장치
CN110852961A (zh) 一种基于卷积神经网络的实时视频去噪方法及系统
US11360180B2 (en) Methods, systems, and computer readable media for using a trained adversarial network for performing retrospective magnetic resonance imaging (MRI) artifact correction
WO2021049784A2 (ko) Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN112767505A (zh) 图像处理方法、训练方法、装置、电子终端及存储介质
WO2022075641A1 (ko) 인공지능 기반의 의료 영상 합성 장치 및 방법
WO2023249402A1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2023229118A1 (ko) 방사선 촬영에 의해 획득된 영상에 포함된 노이즈를 저감하기 위한 영상 처리 방법 및 장치
Ghadekar et al. Histopathological Cancer Detection using Deep Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911839

Country of ref document: EP

Kind code of ref document: A1