KR102398365B1 - Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation - Google Patents

Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation Download PDF

Info

Publication number
KR102398365B1
KR102398365B1 KR1020200069412A KR20200069412A KR102398365B1 KR 102398365 B1 KR102398365 B1 KR 102398365B1 KR 1020200069412 A KR1020200069412 A KR 1020200069412A KR 20200069412 A KR20200069412 A KR 20200069412A KR 102398365 B1 KR102398365 B1 KR 102398365B1
Authority
KR
South Korea
Prior art keywords
spatial
spectral
deep
subband
restoration
Prior art date
Application number
KR1020200069412A
Other languages
Korean (ko)
Other versions
KR20210075826A (en
Inventor
최준원
손태인
유진혁
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20210075826A publication Critical patent/KR20210075826A/en
Application granted granted Critical
Publication of KR102398365B1 publication Critical patent/KR102398365B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템을 제안한다. 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 영상 변환부, 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행하는 압축 샘플링부, 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 블록 압축 측정부, 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 초기 복원부, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 심층 복원부 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 영상 역변환부를 포함한다.We propose a deep learning image compression and restoration system based on a learnable spatial-spectral transformation technique. The deep learning image compression and decompression system based on the learnable spatial-spectral transformation technique proposed in the present invention passes through a transformation process including a CNN structure between the low-pass filter and high-pass filter of the wavelet, so that the input image passes through a plurality of spatial-spectral An image transform unit generating a real subband image, a compression sampling unit performing compression sampling using a block compression sensing method through a fully connected layer, and a block compression measurement unit generating block compression measurement values from a plurality of spatial-spectral subband images An initial reconstruction unit that generates an initially reconstructed spatial-spectral subband through an initial reconstruction process through a fully connected layer using block compression measurement values for sub and multiple spatial-spectral subband images, an hourglass-shaped depth A deep reconstruction unit that generates a refined deep reconstruction space-spectral subband while expanding and compressing the number of channels through the reconstruction process, and a deep reconstruction space-spectral subband of an image through inverse transformation of a learnable space-spectral transformation It includes an image inverse transform unit that finally restores the form.

Figure R1020200069412
Figure R1020200069412

Description

학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법{Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation}{Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation}

본 발명은 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법에 관한 것이다. The present invention relates to a deep learning image decomposition and compression sensing method based on a learnable spatial-spectral transformation technique.

압축 센싱 영상 복원 기법은 영상 처리 분야에서 영상의 성김 형태를 이용하여 적은 차원의 측정값을 가지고도 높은 차원의 영상을 복원해내는 기법으로 신호처리, 영상, 센서 등 다양한 분야에서 활용된다. 압축된 측정값을 n 차원의

Figure 112020059000011-pat00001
라 하고 샘플링 행렬을
Figure 112020059000011-pat00002
차원의
Figure 112020059000011-pat00003
라 할 때, 전체 시스템을
Figure 112020059000011-pat00004
로 표현할 수 있으며
Figure 112020059000011-pat00005
이다. 압축 센싱 영상 복원 기법은 핸드-크래프트(hand-crafted) 알고리즘과 딥뉴럴네트워크 알고리즘의 두 분야로 나눌 수 있다. 기존의 핸드-크래프트 알고리즘 방식은 전체 변이(Total Variation) 같이 성김 형태를 이용하는 목적 함수 설정과 반복 연산을 통해 수렴시키는 최적화 방식의 설정을 통해 모델링된다. 그러나 고차원의 영상에서 반복 연산의 복잡성이 크게 증가하여 실시간 복원이 어렵고 높은 압축률에서의 복원 성능이 떨어지는 단점이 있다. 이후 딥뉴럴네트워크의 등장으로 영상 처리 분야에서 복원 성능과 연산량 문제가 크게 극복됐다. 압축 센싱에서 딥뉴럴네트워크 알고리즘은 임의로 설정한 사전 정보 모델 대신에 CNN 구조가 방대한 양의 데이터에 기반하여 압축된 측정값에서 복원 영상으로의 맵핑을 학습한다. CNN은 전파 단계만 사용하여 맵핑을 하여 영상을 빠르게 복원할 수 있으며 샘플링과 복원 단계를 엔드-투-엔드(End-to-end) 방식으로 동시에 최적화 할 수 있다. 그러나 기존의 딥뉴럴네트워크 기반의 압축 센싱 방식들은 영상 도메인에서의 복원만 진행하여 다른 도메인에서의 다양한 정보를 활용하지 못하고 있다. 최근 딥러닝 기반의 영상 분야인 디노이징, 초해상도 등에서 영상의 도메인 변환을 위해 웨이블릿 변환을 도입했다. 그러나 대부분은 가장 간단한 형태의 웨이블릿 기저를 사용하며 괄목할만한 성능의 차이는 보이지 못하고 있다. Compression sensing image restoration technique is a technique to restore high-dimensional images even with small-dimensional measured values by using the sparse shape of images in the image processing field, and is used in various fields such as signal processing, images, and sensors. Compressed measures in n dimension
Figure 112020059000011-pat00001
and the sampling matrix
Figure 112020059000011-pat00002
dimensional
Figure 112020059000011-pat00003
, the whole system
Figure 112020059000011-pat00004
can be expressed as
Figure 112020059000011-pat00005
am. The compression sensing image restoration technique can be divided into two fields: a hand-crafted algorithm and a deep neural network algorithm. The existing hand-craft algorithm method is modeled by setting an objective function using a sparse form such as total variation and setting an optimization method that converges through iterative operations. However, since the complexity of the iterative operation is greatly increased in a high-dimensional image, real-time restoration is difficult, and restoration performance at a high compression rate is poor. Since then, with the advent of deep neural networks, the problems of restoration performance and computational amount have been greatly overcome in the image processing field. In compressed sensing, the deep neural network algorithm learns mapping from compressed measurement values to reconstructed images based on a vast amount of data in the CNN structure instead of an arbitrarily set prior information model. CNN can quickly restore an image by mapping using only the propagation stage, and can simultaneously optimize the sampling and restoration stages in an end-to-end manner. However, existing deep neural network-based compression sensing methods cannot utilize various information in other domains by only performing restoration in the image domain. Recently, wavelet transform was introduced to transform the domain of an image in denoising, super-resolution, etc., which are image fields based on deep learning. However, most of them use the simplest form of wavelet basis, and there is no noticeable difference in performance.

압축 센싱 기술은 영상뿐만 아니라 적은 양의 정보로 원래의 신호를 복구하는 모든 신호 처리분야에 적용이 가능하다. 대표적으로는 의료기기, 통신, 카메라 등이 있다. 의료기기 분야에서는 주로 MRI(Magnetic resonance imaging), CT(Computed tomography) 등에 적용 가능하다. MRI에서는 압축 센싱 기술로 고전 알고리즘인 ISTA, FISTA, SISTA 등을 사용하여 적은 수의 푸리에 계수를 취득함으로서 스캔 시간을 단축시켰다. CT에서도 마찬가지로 압축 센싱의 적용으로 적은 방사선 량으로 높은 해상도의 CT영상을 복원을 수행한다. 이와 같은 의료기기 분야는 복원의 정확도와 실시간 복원이 무엇보다 중요하며 기존의 고전 압축 센싱 알고리즘을 딥뉴럴네트워크 기반의 압축 센싱 알고리즘으로 대체하여 높은 성과를 낼 수 있다. 통신 분야에서는 다중 안테나(MIMO) 채널을 통한 무선 통신이 중요한데 다중 안테나 채널의 임펄스 응답이 희소 구조를 띄므로 압축 센싱 기술을 활용하여 채널 추정의 성능을 올릴 수 있다. 카메라 분야에서는 주로 모바일폰의 카메라 센서에 압축 센싱이 활용되며 초소형 렌즈 프리(Lens Free) 카메라에 적용가능하다.Compression sensing technology can be applied not only to images but also to all signal processing fields that recover the original signal with a small amount of information. Representative examples include medical devices, telecommunications, and cameras. In the field of medical devices, it is mainly applicable to magnetic resonance imaging (MRI) and computed tomography (CT). In MRI, the scan time was shortened by acquiring a small number of Fourier coefficients using classical algorithms such as ISTA, FISTA, and SISTA as compression sensing technology. Similarly in CT, compression sensing is applied to restore high-resolution CT images with a small amount of radiation. In such a medical device field, restoration accuracy and real-time restoration are of the utmost importance, and high performance can be achieved by replacing the existing classical compression sensing algorithm with a compression sensing algorithm based on a deep neural network. In the communication field, wireless communication through a multi-antenna (MIMO) channel is important. Since the impulse response of the multi-antenna channel has a sparse structure, the performance of channel estimation can be improved by using compression sensing technology. In the camera field, compression sensing is mainly used for the camera sensor of mobile phones, and it can be applied to ultra-small lens-free cameras.

이러한 기술을 적용하기 위해서는 적용 가능 분야에서 데이터를 취득하는 과정, 취득된 데이터에서 원래의 신호로 복원하는 과정, 취득과 복원 과정에 모두 적용이 가능하다. 복원하는 신호 혹은 영상의 특징에 따라 여러 학습 데이터를 취득하여 딥뉴럴네트워크를 학습시키게 된다. 최종적으로 학습으로 최적화된 네트워크의 계수만 적용 가능 제품의 임베디드 환경에 저장하고 이를 이용해 실제 상황에서 실시간으로 압축 복원을 수행하게 된다. In order to apply this technology, it is possible to apply both to the process of acquiring data in the applicable field, the process of restoring the acquired data to the original signal, and the acquisition and restoration process. The deep neural network is trained by acquiring various learning data according to the characteristics of the signal or image to be restored. Finally, only the coefficients of the network optimized by learning are stored in the embedded environment of the applicable product, and compression and restoration is performed in real time in real time using this.

종래 기술에 있어서, 딥러닝 기반 기술 중 언롤(Unrolled) 기반 압축 센싱 영상 복원 방법은 고전 알고리즘에서 활용했던 반복 알고리즘을 딥뉴럴네트워크로 구현하여 반복 횟수만큼 구조를 반복하여 심층 구조를 구성한다. 딥러닝 구조의 데이터 기반의 블랙박스적인 측면에만 의존하지 않고 기존의 목적 함수 접근법 기반의 고전 알고리즘에서의 지식을 활용하여 두 방식의 장점을 합쳤다. 기존의 ISTA 알고리즘과 ADMM 알고리즘을 딥뉴럴네트워크로 구현한 ISTA-Net 과 ADMM-Net 이 있다. ISTA 알고리즘에서 정규화 항으로 영상을 성김 구조의 도메인으로 변환시키기 위해 고정된 변환이 쓰이는 부분을 ISTA-Net에서는 CNN을 통한 비선형 변환으로 대체했다. 두 알고리즘 모두 기존에 미리 설정해둬야 했던 수축 임계값(shrinkage thresholds), 스텝 사이즈 등의 반복 알고리즘의 모든 파라미터들을 학습을 통해 최적화 시켰다. 또한 기존에 수렴을 위해 수십에서 수백회의 반복이 필요했던 고전 알고리즘과는 달리 10회 안팎의 적은 수의 반복된 딥뉴럴네트워크로 높은 성능과 실시간 복원을 이뤘다.In the prior art, among deep learning-based technologies, the Unrolled-based compression sensing image restoration method implements the iterative algorithm used in the classical algorithm as a deep neural network, and repeats the structure as many times as the number of iterations to construct a deep structure. The strengths of the two methods are combined by utilizing the knowledge from the classical algorithm based on the existing objective function approach, rather than relying only on the black box aspect of the data base of the deep learning structure. There are ISTA-Net and ADMM-Net, which implement the existing ISTA algorithm and ADMM algorithm as a deep neural network. In the ISTA algorithm, the part where the fixed transformation is used to transform the image into the domain of the sparse structure with the regularization term is replaced by the nonlinear transformation through CNN in ISTA-Net. In both algorithms, all parameters of the iterative algorithm, such as shrinkage thresholds and step size, which had to be previously set in advance, were optimized through learning. In addition, unlike the classical algorithm that required tens to hundreds of iterations for convergence, high performance and real-time restoration were achieved with a small number of iterations of 10 or less deep neural networks.

종래기술의 경우 블록 단위로 압축 샘플링과 압축 영상 복원을 진행하여 최종 복원 영상의 경우 복원된 블록들을 집합시켜놓은 형태이다. 따라서 최종 복원 영상을 살펴보면 블록의 경계면에서의 블록간의 시각적 이질감이 뚜렷하며 이는 높은 압축률에서 더 잘 드러난다. 원본과의 왜곡 정도를 판단할 수 있는 PSNR이나 SSIM 같은 성능 판단 지표로는 뚜렷한 확인이 힘들지만 시각적으로는 치명적인 앨리어싱을 보인다. 또한 압축된 측정값에서의 복원, 즉 인벌스 문제(Inverse problem)의 해결에만 적용가능하며 샘플링 성능이 보장된 샘플링 행렬에 대해서 복원이 가능하다. 마지막으로 일반적인 영상 도메인에서만 복원을 진행하여 영상 정보의 다른 도메인에서의 분해를 통한 이점을 살리지 못한다.In the case of the prior art, compressed sampling and compression image restoration are performed in block units, and in the case of a final restored image, the restored blocks are aggregated. Therefore, when looking at the final reconstructed image, the visual heterogeneity between blocks at the boundary of the blocks is evident, which is more evident at a high compression rate. Although it is difficult to confirm clearly with performance evaluation indicators such as PSNR or SSIM that can judge the degree of distortion from the original, it visually shows fatal aliasing. In addition, it is applicable only to the restoration of the compressed measurement value, that is, to solve the inverse problem, and it is possible to restore the sampling matrix with guaranteed sampling performance. Finally, restoration is performed only in the general image domain, so that the advantage of decomposition in other domains of image information cannot be taken advantage of.

본 발명이 이루고자 하는 기술적 과제는 본 발명에서는 웨이블릿 변환 기반으로 CNN구조를 합친 학습 가능한 변환을 통해 데이터 기반의 공간-스펙트럴 정보가 풍부한 서브 밴드 영상의 형태를 활용한 압축 센싱 알고리즘의 성능 향상을 위한 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법을 제안하고자 한다. The technical task of the present invention is to improve the performance of a compressed sensing algorithm using the form of a subband image rich in spatial-spectral information based on data through a learnable transformation that combines a CNN structure based on a wavelet transformation in the present invention. We propose a deep learning image decomposition and compression sensing method based on a learnable spatial-spectral transformation technique.

일 측면에 있어서, 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 영상 변환부, 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행하는 압축 샘플링부, 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 블록 압축 측정부, 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 초기 복원부, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 심층 복원부 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 영상 역변환부를 포함한다. In one aspect, the deep learning image compression and restoration system based on the learnable spatial-spectral transformation technique proposed in the present invention passes through a transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet. An image conversion unit generating a plurality of spatial-spectral subband images, a compression sampling unit performing compression sampling using a block compression sensing method through a fully connected layer, and a plurality of spatial-spectral subband images A block compression measurement unit generating a block compression measurement value, an initial reconstruction space-spectrum through an initial reconstruction process through a fully connected layer using block compression measurement values for a plurality of spatial-spectral subband images An initial reconstruction unit that generates a real subband, a deep reconstruction unit that creates a refined deep reconstruction space-spectral subband while expanding and compressing the number of channels through an hourglass-shaped deep reconstruction process, and a learnable space-spectral transformation It includes an image inverse transform unit that finally reconstructs the deep reconstructed spatial-spectral subband in the form of an image through the inverse transform of .

영상 변환부는 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시킨다. The image transform unit passes the input image through a learnable transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet in order to simultaneously utilize spectral information and spatial information, which are continuous frequency domain information.

영상 변환부는 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. The image converter generates a plurality of spatial-spectral subband images having spectral information in the frequency domain through the low-pass filter and the high-pass filter of the wavelet, and spatial information through the CNN layer of the intermediate stage.

CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아간다. The CNN structure extracts the spatial-spectral feature map as many as the number of channels, repeats the nonlinear mapping, and then returns to the subband form through the channel reduction layer.

초기 복원부는 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다. The initial reconstruction unit aggregates a plurality of spatial-spectral subband blocks before deep reconstruction to generate an initial reconstruction space-spectral subband in the form of an entire subband.

심층 복원부는 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다. The deep reconstruction unit passes through all the initial reconstruction spatial-spectral subband blocks in which the hourglass-shaped CNN structure is aggregated in the deep reconstruction process to remove block aliasing at the boundary and simultaneously perform compressed image reconstruction.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되며, 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다. The proposed deep learning image compression and restoration system based on the learnable spatial-spectral transformation technique can solve problems by learning the initial restoration process and the deep restoration process from among the entire structure even when the sampling matrix is not known. -The spectral subband passes through an hourglass-shaped CNN structure to refine frequency information and structural information, and the hourglass-type CNN structure symmetrically expands and contracts the number of channels in the feature map to perform in-depth restoration.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법은 웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계 및 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계를 포함한다. In another aspect, the deep learning image compression method based on the learnable spatial-spectral transformation technique proposed in the present invention performs a transformation process including a CNN structure between a low-pass filter and a high-pass filter of a wavelet as an input image. generating a plurality of spatial-spectral subband images by passing through this, and compression sampling in a block compression sensing method through a fully connected layer, and block compression measurement values from a plurality of spatial-spectral subband images It includes the step of creating

또 다른 일 측면에 있어서, 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법은 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계를 포함한다. In another aspect, the deep learning image restoration method based on the learnable spatial-spectral transformation technique proposed in the present invention has spectral information in the frequency domain through a low-pass filter and a high-pass filter of a wavelet, and a CNN of an intermediate stage An initial reconstruction spatial-spectral subband is generated through an initial reconstruction process through a fully connected layer using block compression measurement values for a plurality of spatial-spectral subband images having spatial information through layers. step, generating a refined deep reconstruction space-spectral subband while expanding and compressing the number of channels through an hourglass-shaped deep reconstruction process, and deep reconstruction space-spectrum through inverse transformation of a learnable space-spectral transformation and finally reconstructing the real subband in the form of an image.

본 발명의 실시예들에 따르면 공간-스펙트럴 학습 가능한 변환과 압축 센싱 구조의 적용으로 기존 알고리즘의 성능적인 측면의 문제들을 해결하여 보다 간결한 신호 측정, 정확한 신호 복원에 적용이 가능하다. 이와 같이 다양한 분야에서 센서의 갯수를 효과적으로 줄이거나 측정 시간을 줄일 수도 있으며 신호 측정량 대비 정확도를 향상시킬 수 있고, 영상 외에도 신호처리 분야로서 신호의 측정, 신호의 복원이 필요한 분야에 모두 쓰일 수 있다. 또한, 블록 단위의 초기 영상 복원을 진행한 이후에 블록들을 집합시킨 후 심층 복원 단계에서 모래시계 형태의 CNN 구조가 모든 블록들을 지나다니면서 복원을 수행하여 블록현상이 일어나지 않는다. 또한, 압축된 측정값에서의 복원 이외에도 원 신호에서의 효율적인 압축 샘플링 과정도 엔드-투-엔드(End-to-end)로 학습하여 여러 문제에 적용 가능하다. According to embodiments of the present invention, it is possible to solve problems in the performance aspect of existing algorithms by applying a spatial-spectral learnable transform and a compressed sensing structure, so that it can be applied to more concise signal measurement and accurate signal restoration. In this way, the number of sensors can be effectively reduced or the measurement time can be reduced in various fields, and the accuracy can be improved compared to the amount of signal measurement. . In addition, after block-unit initial image restoration is performed, blocks are aggregated, and in the deep restoration stage, an hourglass-shaped CNN structure passes through all blocks to perform restoration, so that no block phenomenon occurs. In addition to the restoration of the compressed measurement value, the efficient compression sampling process from the original signal is also learned end-to-end and can be applied to various problems.

도 1은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템의 전체 구조를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 전체 영상 압축 센싱 및 복원 과정을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환 구조를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다.
도 8은 본 발명의 또 다른 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다1 is a flowchart illustrating a deep learning image compression method based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.
2 is a flowchart illustrating a method for reconstructing a deep learning image based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.
3 is a flow chart for explaining a deep learning image compression and restoration method based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.
4 is a view showing the overall structure of a deep learning image compression and restoration system based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.
5 is a diagram illustrating an entire image compression sensing and restoration process according to an embodiment of the present invention.
6 is a diagram illustrating a spatial-spectral transformation structure according to an embodiment of the present invention.
7 is a performance test result of a deep learning image compression sensing and restoration network using spatial-spectral transformation according to an embodiment of the present invention.
8 is a performance test result of a deep learning image compression sensing and restoration network using spatial-spectral transformation according to another embodiment of the present invention.

본 발명에서는 학습 가능한 공간-스펙트럴 변환을 적용한 딥뉴럴네트워크를 통해 영상의 압축과 복원을 동시에 진행하는 압축 센싱 복원 기술을 제안하고자 한다. 본 발명의 핵심 아이디어는 영상을 여러개의 공간-스펙트럴 정보를 가진 서브밴드 영상들로 분해하여 압축 샘플링, 초기 복원, 심층 복원 단계를 거쳐 압축 센싱 복원을 하는 방법에 대한 것이다. 제안하는 네트워크는 영상을 웨이브릿(Wavelet) 변환 기법과 CNN 층으로 이루어진 학습 가능한 영상 분해 네트워크, 완전 연결 레이어(Fully Connected layer)를 통해 압축된 측정값을 만들고 다시 서브밴드 영상으로 초기 복원하는 네트워크, 마지막으로 모래시계 형태의 심층 복원 구조를 거친 후 서브밴드에서 영상으로의 역변환을 통해 영상을 최종 복원하는 네트워크로 구성되어 있다. 웨이브릿의 저역 필터, 고역 필터들 사이에 CNN 구조가 있는 학습 가능한 변환 과정을 입력 영상이 통과하면서 4개의 서브밴드 영상으로 변환된다. 이 과정에서 서브밴드 영상은 웨이브릿 필터를 통해 주파수 도메인의 스펙트럴 정보를, 중간 단계의 CNN 층을 통해 공간적 정보를 가지게 된다. 공간-스펙트럴 서브밴드 영상은 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐서 블록 압축 측정값이 된다. 블록 압축 측정값은 다시 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 서브밴드가 된다. 모래시계 형태의 심층 복원 구조는 채널 수를 팽창, 압축하면서 정제된 심층 복원 서브밴드를 만든다. 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 서브밴드가 다시 영상의 형태로 최종 복원이 된다. 영상 관련 다양한 벤치마크 데이터셋에서 실험해본 결과 영상의 공간-스펙트럴 분해를 이용했을 때 성능이 오르는 것을 확인할 수 있었고 기존 압축 센싱 영상 복원 네트워크와 비교한 결과 좋은 성능을 기록했다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. The present invention intends to propose a compression sensing restoration technique that simultaneously performs compression and restoration of an image through a deep neural network to which a learnable spatial-spectral transformation is applied. A key idea of the present invention is to decompose an image into subband images having a plurality of spatial-spectral information and perform compression sensing restoration through compression sampling, initial restoration, and deep restoration steps. The proposed network consists of a learnable image decomposition network consisting of a wavelet transformation technique and a CNN layer, a network that creates compressed measurement values through a fully connected layer and restores the initial image back to a subband image; Finally, it is composed of a network that finally reconstructs an image through inverse transformation from subband to image after going through an hourglass-shaped deep reconstruction structure. As the input image passes through a learnable transformation process with a CNN structure between the low-pass filter and high-pass filter of the wavelet, it is transformed into 4 subband images. In this process, the subband image has spectral information in the frequency domain through the wavelet filter and spatial information through the CNN layer in the intermediate stage. A spatial-spectral subband image becomes a block compression measurement value through compression sampling using a block compression sensing method through a fully connected layer. The block compression measurement value goes through an initial reconstruction process through the fully concatenated layer again and becomes an initial reconstruction subband. The hourglass-shaped deep reconstruction structure expands and compresses the number of channels to create a refined deep reconstruction subband. Through the inverse transformation of the learnable spatial-spectral transformation, the subband is finally restored in the form of an image. As a result of experimenting with various image-related benchmark datasets, it was confirmed that the performance improved when the spatial-spectral decomposition of the image was used, and as a result of comparison with the existing compressed sensing image restoration network, good performance was recorded. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법을 설명하기 위한 흐름도이다. 1 is a flowchart illustrating a deep learning image compression method based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.

제안하는 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법은 웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계(110) 및 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계(120)를 포함한다. The proposed deep learning image compression method based on a possible spatial-spectral transformation technique is a transformation process that includes a CNN structure between a low-pass filter and a high-pass filter of a wavelet, so that the input image passes through a plurality of spatial-spectral subbands. generating an image 110 and generating a block compression measurement value from a plurality of spatial-spectral subband images through compression sampling using a block compression sensing method through a fully connected layer (120) include

단계(110)에서, 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. In step 110, the input image is passed through a transformation process including the CNN structure between the low-pass filter and the high-pass filter of the wavelet to generate a plurality of spatial-spectral subband images.

연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정을 입력 영상이 통과한다. 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아간다. In order to simultaneously utilize spectral information and spatial information, which are continuous frequency domain information, the input image passes through a learnable transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet. It generates a plurality of spatial-spectral subband images with spectral information in the frequency domain through the low-pass filter and high-pass filter of the wavelet, and spatial information through the CNN layer of the intermediate stage. The CNN structure extracts the spatial-spectral feature map as many as the number of channels, repeats the nonlinear mapping, and then returns to the subband form through the channel reduction layer.

단계(120)에서, 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성한다. In operation 120, block compression measurement values are generated from a plurality of spatial-spectral subband images through compression sampling in a block compression sensing method through a fully connected layer.

도 2는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method for reconstructing a deep learning image based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법은 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계(210), 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계(220) 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계(230)를 포함한다. The proposed deep learning image restoration method based on the learnable spatial-spectral transformation technique has spectral information in the frequency domain through wavelet low-pass filter and high-pass filter, and a plurality of spaces with spatial information through an intermediate CNN layer. - Generating an initially reconstructed spatial-spectral subband through an initial reconstruction process through a fully connected layer using the block compression measurement value for the spectral subband image (210), in the form of an hourglass Generating a refined deep reconstructed spatial-spectral subband while expanding and compressing the number of channels through a deep reconstruction process (220) and a deep reconstructed space-spectral subband through inverse transformation of a learnable spatial-spectral transform and finally restoring the image in the form of an image (230).

단계(210)에서, 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다. In step 210, block compression measurements for a plurality of spatial-spectral subband images with spectral information in the frequency domain through the low-pass filter and high-pass filter of the wavelet, and spatial information through the CNN layer of the intermediate stage The initial reconstruction space-spectral subband is generated through an initial reconstruction process through a fully connected layer using Before deep reconstruction, a plurality of spatial-spectral subband blocks are aggregated to generate an initial reconstruction space-spectral subband in the form of an entire subband.

단계(220)에서, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다. In step 220, a refined deep reconstruction spatial-spectral subband is generated while expanding and compressing the number of channels through an hourglass-shaped deep reconstruction process. In the deep reconstruction process, all the initial reconstruction spatial-spectral subband blocks in which the hourglass-shaped CNN structure is aggregated are passed to remove block aliasing at the boundary and at the same time perform compressed image reconstruction.

단계(230)에서, 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다. In step 230, the deep reconstructed spatial-spectral subband is finally reconstructed in the form of an image through inverse transform of the learnable spatial-spectral transform.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제된다. 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다. The proposed deep learning image restoration method based on the learnable spatial-spectral transformation technique can solve the problem by learning the initial restoration process and the deep restoration process from among the entire structure even when the sampling matrix is not known. The frequency information and structural information are refined as the real subband passes through the hourglass-shaped CNN structure. The hourglass-shaped CNN structure symmetrically expands and contracts the number of channels in the feature map while performing deep restoration.

도 3은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법을 설명하기 위한 흐름도이다. 3 is a flow chart for explaining a deep learning image compression and restoration method based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법은 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계(310), 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계(320), 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계(330), 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계(340) 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계(350)를 포함한다. The proposed deep learning image compression and decompression method based on the learnable spatial-spectral transformation technique is a transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet, and the input image passes through a plurality of spatial-spectral subbands. Generating an image (310), generating block compression measurement values from a plurality of spatial-spectral subband images through compression sampling using a block compression sensing method through a fully connected layer (320); Generating an initially reconstructed spatial-spectral subband through an initial reconstruction process through a fully connected layer using block compression measurement values for a plurality of spatial-spectral subband images (330), sand Generating a refined deep reconstructed spatial-spectral subband while expanding and compressing the number of channels through a watch-type deep reconstruction process (340) and deep reconstructed space-spectral through inverse transformation of a learnable spatial-spectral transform and finally reconstructing the subband in the form of an image (350).

단계(310)에서, 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정을 입력 영상이 통과한다. 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아간다. In step 310, the input image is passed through a transformation process including the CNN structure between the low-pass filter and the high-pass filter of the wavelet to generate a plurality of spatial-spectral subband images. In order to simultaneously utilize spectral information and spatial information, which are continuous frequency domain information, the input image passes through a learnable transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet. It generates a plurality of spatial-spectral subband images with spectral information in the frequency domain through the low-pass filter and high-pass filter of the wavelet, and spatial information through the CNN layer of the intermediate stage. The CNN structure extracts the spatial-spectral feature map as many as the number of channels, repeats the nonlinear mapping, and then returns to the subband form through the channel reduction layer.

단계(320)에서, 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성한다. In operation 320, block compression measurement values are generated from a plurality of spatial-spectral subband images through compression sampling using a block compression sensing method through a fully connected layer.

단계(330)에서, 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다. In step 330, an initial reconstructed spatial-spectral subband is generated through an initial reconstruction process through a fully connected layer using block compression measurement values for a plurality of spatial-spectral subband images. . Before deep reconstruction, a plurality of spatial-spectral subband blocks are aggregated to generate an initial reconstruction space-spectral subband in the form of an entire subband.

단계(340)에서, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다. In step 340, a refined deep reconstruction spatial-spectral subband is generated while expanding and compressing the number of channels through an hourglass-shaped deep reconstruction process. In the deep reconstruction process, all the initial reconstruction spatial-spectral subband blocks in which the hourglass-shaped CNN structure is aggregated are passed to remove block aliasing at the boundary and at the same time perform compressed image reconstruction.

단계(350), 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다. In step 350, the deep reconstructed spatial-spectral subband is finally reconstructed in the form of an image through inverse transform of the learnable spatial-spectral transform.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제된다. 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다. The proposed deep learning image compression and restoration method based on the learnable spatial-spectral transformation technique can solve problems by learning the initial restoration process and the deep restoration process from among the entire structure even when the sampling matrix is not known. -The spectral subband passes through the hourglass-shaped CNN structure to refine frequency information and structural information. The hourglass-shaped CNN structure symmetrically expands and contracts the number of channels in the feature map while performing deep restoration.

도 4는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템의 전체 구조를 나타내는 도면이다. 4 is a view showing the overall structure of a deep learning image compression and restoration system based on a learnable spatial-spectral transformation technique according to an embodiment of the present invention.

본 발명에서는 학습 가능한 공간-스펙트럴 변환을 적용한 딥뉴럴네트워크를 통해 영상의 압축과 복원을 동시에 진행하는 압축 센싱 복원 기술을 제안하고자 한다. 본 발명의 핵심 아이디어는 영상을 여러개의 공간-스펙트럴 정보를 가진 서브밴드 영상들로 분해하여 압축 샘플링, 초기 복원, 심층 복원 단계를 거쳐 압축 센싱 복원을 하는 방법에 대한 것이다. The present invention intends to propose a compression sensing restoration technique that simultaneously performs compression and restoration of an image through a deep neural network to which a learnable spatial-spectral transformation is applied. A key idea of the present invention is to decompose an image into subband images having a plurality of spatial-spectral information and perform compression sensing restoration through compression sampling, initial restoration, and deep restoration steps.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 영상 변환부(410), 압축 샘플링부(420), 블록 압축 측정부(430), 초기 복원부(440), 심층 복원부(450) 및 영상 역변환부(460)를 포함한다. The proposed deep learning image compression and restoration system based on the learnable spatial-spectral transformation technique is an image transformation unit 410, a compression sampling unit 420, a block compression measurement unit 430, an initial restoration unit 440, and a deep It includes a restoration unit 450 and an image inverse transformation unit 460 .

영상 변환부(410), 압축 샘플링부(420), 블록 압축 측정부(430), 초기 복원부(440), 심층 복원부(450) 및 영상 역변환부(460)는 도 3의 단계들(310~350)을 수행하기 위해 구성될 수 있다. The image transform unit 410 , the compression sampling unit 420 , the block compression measurement unit 430 , the initial restoration unit 440 , the deep restoration unit 450 , and the image inverse transformation unit 460 are performed in steps 310 of FIG. 3 . ~350).

영상 변환부(410)는 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상(411)을 생성한다. The image converter 410 generates a plurality of spatial-spectral subband images 411 by passing the input image through a transformation process including a CNN structure between the low-pass filter and the high-pass filter of the wavelet.

영상 변환부(410)는 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시킨다. 다시 말해, 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아갈 수 있다. The image converter 410 passes the input image through a learnable transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet in order to simultaneously utilize the spectral information and spatial information, which are continuous frequency domain information. In other words, a plurality of spatial-spectral subband images having spectral information in the frequency domain through the low-pass filter and the high-pass filter of the wavelet and spatial information through the CNN layer of the intermediate stage are generated. The CNN structure extracts spatial-spectral feature maps as many as the number of channels, repeats the nonlinear mapping, and then returns to the subband form through the channel reduction layer.

압축 샘플링부(420)는 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행한다. The compression sampling unit 420 performs compression sampling in a block compression sensing method through a fully connected layer.

블록 압축 측정부(430)는 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성한다. The block compression measurement unit 430 generates block compression measurement values from a plurality of spatial-spectral subband images.

초기 복원부(440)는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성한다. The initial reconstruction unit 440 generates an initial reconstruction spatial-spectral subband through an initial reconstruction process through a fully connected layer using block compression measurement values for a plurality of spatial-spectral subband images. do.

초기 복원부(440)는 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다. The initial reconstruction unit 440 generates an initial reconstruction space-spectral subband in the form of an entire subband by aggregating a plurality of spatial-spectral subband blocks before deep reconstruction.

심층 복원부(450)는 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성한다. The deep restoration unit 450 generates a refined deep restoration spatial-spectral subband while expanding and compressing the number of channels through an hourglass-shaped deep restoration process.

심층 복원부(450)는 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행하여 심층 복원 공간-스펙트럴 서브밴드 영상(451)을 생성한다. The deep reconstruction unit 450 passes through all the initial reconstruction space-spectral subband blocks in which the hourglass-shaped CNN structure is aggregated in the deep reconstruction process to remove block aliasing at the boundary and at the same time perform compressed image reconstruction to restore the deep reconstruction space. - A spectral subband image 451 is generated.

영상 역변환부(460)는 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다. 이때, 역변환 웨이블릿 및 CNN 네트워크를 통해 영상을 최종 복원한다. The image inverse transform unit 460 finally reconstructs the deep reconstructed spatial-spectral subband in the form of an image through inverse transform of the learnable spatial-spectral transform. At this time, the image is finally restored through the inverse transform wavelet and CNN network.

제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하다. 또한, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되며, 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다. The proposed deep learning image compression and restoration system based on the learnable spatial-spectral transformation technique can solve problems by learning the initial restoration process and the deep restoration process from among the entire structure even when the sampling matrix is not known. In addition, in the deep restoration process, the spatial-spectral subband passes through the hourglass-shaped CNN structure to refine frequency information and structural information, and the hourglass-type CNN structure expands and contracts the number of channels in the feature map symmetrically. while performing in-depth restoration.

본 발명의 실시예에 따르면, 웨이블릿의 저역 필터, 고역 필터들 사이에 CNN 구조가 있는 학습 가능한 변환 과정을 입력 영상이 통과하면서 4개의 서브밴드 영상으로 변환된다. 이 과정에서 서브밴드 영상은 웨이블릿 필터를 통해 주파수 도메인의 스펙트럴 정보를, 중간 단계의 CNN 층을 통해 공간적 정보를 가지게 된다. 공간-스펙트럴 서브밴드 영상은 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐서 블록 압축 측정값이 된다. 블록 압축 측정값은 다시 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드가 된다. 모래시계 형태의 심층 복원 구조는 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 만든다. 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 서브밴드가 다시 영상의 형태로 최종 복원이 된다. 영상 관련 다양한 벤치마크 데이터셋에서 실험해본 결과 영상의 공간-스펙트럴 분해를 이용했을 때 성능이 향상되는 것을 확인할 수 있었고 기존 압축 센싱 영상 복원 네트워크와 비교한 결과 좋은 성능을 기록했다.According to an embodiment of the present invention, an input image is transformed into four subband images while passing through a learnable transformation process having a CNN structure between the low-pass filter and the high-pass filter of the wavelet. In this process, the subband image has spectral information in the frequency domain through the wavelet filter and spatial information through the CNN layer in the intermediate stage. A spatial-spectral subband image becomes a block compression measurement value through compression sampling using a block compression sensing method through a fully connected layer. The block compression measurement value goes through an initial reconstruction process through the fully concatenated layer again, and becomes an initial reconstruction spatial-spectral subband. The hourglass-shaped deep reconstruction structure expands and compresses the number of channels to create a refined deep reconstruction spatial-spectral subband. Through the inverse transformation of the learnable spatial-spectral transformation, the subband is finally restored in the form of an image. As a result of testing on various image-related benchmark datasets, it was confirmed that the performance was improved when the spatial-spectral decomposition of the image was used, and as a result of comparison with the existing compressed sensing image restoration network, good performance was recorded.

도 5는 본 발명의 일 실시예에 따른 전체 영상 압축 센싱 및 복원 과정을 나타내는 도면이다. 5 is a diagram illustrating an entire image compression sensing and restoration process according to an embodiment of the present invention.

제안하는 영상 압축 센싱 및 복원 과정은 먼저, 입력 영상(510)을 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환(520) 과정을 통과시켜 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. 이후, 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식(531)으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값(532)을 생성한다. The proposed image compression sensing and restoration process first passes the input image 510 through a transform 520 process including a CNN structure between a low-pass filter and a high-pass filter of a wavelet to generate a plurality of spatial-spectral subband images. do. Thereafter, a block compression measurement value 532 is generated from a plurality of spatial-spectral subband images through compression sampling using a block compression sensing method 531 through a fully connected layer.

복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값(532)을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정(540)을 거쳐 초기 복원 공간-스펙트럴 서브밴드(541)를 생성한다. 모래시계 형태(551)의 심층 복원과정(550)을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드(552)를 생성한다. 마지막으로, 학습 가능한 공간-스펙트럴 변환의 역변환(550)을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다(570). An initial reconstruction space-spectral subband 541 through an initial reconstruction process 540 through a fully connected layer using a block compression measurement value 532 for a plurality of spatial-spectral subband images. to create A refined deep reconstruction space-spectral subband 552 is generated while expanding and compressing the number of channels through the deep reconstruction process 550 of the hourglass shape 551 . Finally, the deep reconstructed spatial-spectral subband is finally reconstructed in the form of an image through the inverse transform 550 of the learnable spatial-spectral transform ( 570 ).

종래기술의 문제점으로는 블록 경계면의 앨리어싱 현상과 특정 샘플링 행렬의 역변환 문제(Inverse problem) 해결에만 적용가능한 점, 영상 도메인에서만 복원을 진행한 점 등이 있다. 먼저 블록 앨리어싱 현상의 원인은 딥러닝 기반의 압축 센싱 영상 복원 알고리즘의 기본 환경인 BCS(Block Compressed Sensing) 시스템이다. BCS에서는 전체 영상을 블록 단위로 겹치지 않게 나누어 모든 블록들에 대해 같은 샘플링을 수행하는 방식이다. 따라서 전체 샘플링 행렬은 블록 샘플링 행렬이 반복되는 대각 행렬의 형태이다. 이후 샘플링된 각각의 측정값에서 복원 블록을 구한 뒤 집합시켜서 최종 복원 영상을 만든다. 이 경우 블록의 경계면에서의 스케일이 상이한 경우가 많아 시각적으로 좋지 못한 복원 영상을 얻게 된다. Problems of the prior art include an aliasing phenomenon of a block boundary, a point applicable only to solving an inverse problem of a specific sampling matrix, and a point in which restoration is performed only in the image domain. First, the cause of the block aliasing phenomenon is the BCS (Block Compressed Sensing) system, which is the basic environment of the deep learning-based compression sensing image restoration algorithm. In BCS, the same sampling is performed on all blocks by dividing the entire image in block units so that they do not overlap. Accordingly, the entire sampling matrix is in the form of a diagonal matrix in which the block sampling matrix is repeated. Thereafter, a reconstructed block is obtained from each sampled measurement value and then aggregated to make a final reconstructed image. In this case, a reconstructed image that is visually poor is obtained because the scale at the boundary of the block is different in many cases.

이를 극복하기 위해 본 발명에서는 전체 구조에서 초기 복원까지만 종래기술의 방식대로 진행한 뒤 심층 복원 이전에 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태로 만든다. 이후 심층 복원 과정에서 모래시계 형태의 CNN 구조가 모든 서브밴드 블록들을 돌아다니며 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다. 이로 인해 PSNR, SSIM 등의 성능 지표와 함께 시각적인 질도 향상되어 높은 수준의 압축 센싱 복원을 할 수 있다. In order to overcome this, in the present invention, only the initial restoration from the overall structure is performed in the manner of the prior art, and then subband blocks are aggregated before the deep restoration to form the entire subband. Afterwards, in the deep reconstruction process, an hourglass-shaped CNN structure traverses all subband blocks to remove block aliasing at the boundary and simultaneously perform compressed image reconstruction. As a result, visual quality is improved along with performance indicators such as PSNR and SSIM, so that a high level of compression sensing can be restored.

종래기술의 두 번째 문제점으로는 특정 샘플링 행렬의 정보가 필수적으로 수반되어야하며 압축된 샘플링 측정값으로부터의 역변환 문제(Inverse problem)의 해결에만 적용가능하다는 점이 있다. 종래기술인 언롤(Unrolled) 기반 압축 센싱 기술은 고전의 반복 알고리즘의 볼록(Convex) 최적화 문제를 푸는 방식으로 영상을 복원한다. 다시 말해 반복 알고리즘의 과정에 샘플링 행렬이 포함된 연산이 필수적으로 포함되며 샘플링 시스템에 대한 정보가 불충분하여 샘플링 행렬을 모르는 경우에는 적용이 불가하다. 본 발명에서는 딥뉴럴네트워크를 통해 영상의 압축 샘플링 과정부터 복원까지를 엔드-투-엔드(End-to-end) 방식으로 설계하여 효과적인 샘플링 행렬을 찾는 동시에 높은 수준의 영상 복원을 수행한다. A second problem of the prior art is that information of a specific sampling matrix must be necessarily accompanied, and it is applicable only to solving an inverse problem from a compressed sampling measurement value. The prior art Unrolled-based compression sensing technology reconstructs an image by solving the convex optimization problem of the classical iterative algorithm. In other words, the operation including the sampling matrix is necessarily included in the process of the iterative algorithm, and it cannot be applied if the sampling matrix is not known due to insufficient information on the sampling system. In the present invention, an effective sampling matrix is found and high-level image restoration is performed by designing an end-to-end method from the compression sampling process to restoration of an image through a deep neural network.

따라서 종래기술에서 샘플링 성능이 보장된 행렬로 주로 쓰는 RGM(Random Gaussian Matrix)보다 효과적인 샘플링 행렬을 학습할 수 있다. 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복구, 심층 복구 구조만을 학습시켜 문제 해결이 가능하다. 심층 복구 구조에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제된다. 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다. Therefore, it is possible to learn a sampling matrix that is more effective than a Random Gaussian Matrix (RGM), which is mainly used as a matrix with guaranteed sampling performance in the prior art. Even in a situation where the sampling matrix is not known, it is possible to solve the problem by learning only the initial recovery and deep recovery structures among the entire structures. In the deep recovery structure, the spatial-spectral subband passes through the hourglass-shaped CNN structure to refine frequency information and structural information. The hourglass-shaped CNN structure symmetrically expands and contracts the number of channels in the feature map while performing deep restoration.

본 발명의 실시예에 따르면, 특징맵의 채널수를 128까지 늘린 후 연산량과 성능의 효율을 위해 다시 32로 줄인 뒤 11번의 비선형 맵핑을 반복한다. 다음으로 다시 채널수를 128까지 늘린 후 공간-스펙트럴 서브밴드의 형태로 맞춰주기 위해 4로 줄인다. 이는 종래기술에서 활용하는 채널수 64의 특징맵으로 이루어진 구조보다 압축 센싱 복원 능력이 탁월하다. According to an embodiment of the present invention, after increasing the number of channels in the feature map to 128, reducing the number of channels to 32 again for efficiency of calculation amount and performance, and then repeating 11 nonlinear mapping. Next, after increasing the number of channels to 128 again, it is reduced to 4 to fit in the form of a spatial-spectral subband. This is superior to the compression sensing restoration ability compared to the structure consisting of a feature map of 64 channels used in the prior art.

도 6은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환 구조를 나타내는 도면이다. 6 is a diagram illustrating a spatial-spectral transformation structure according to an embodiment of the present invention.

본 발명에서는 공간-스펙트럴 변환을 통해 영상 도메인 이외의 도메인에서 압축 센싱 복원을 진행하여 샘플링과 복원의 성능을 향상시켰다. 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적인 정보를 동시에 활용하기 위해 웨이블릿 변환을 기반으로 데이터를 통해 학습 가능한 변환 구조를 고안했다. 입력 영상(610)이 고정된 웨이블릿 필터(fl, fh)를 거쳐 스펙트럴 서브밴드가 추출된다. 웨이블릿 필터 사이에 CNN 구조(620)를 추가하여 스펙트럴 정보와 공간 정보가 효과적으로 혼합된 복수의 공간-스펙트럴 서브밴드 영상(630)을 생성한다. CNN 구조는 33 필터 크기를 활용하고 32 채널수의 공간-스펙트럴 특징맵을 추출한 뒤 3번의 비선형 맵핑을 반복한 뒤 채널 축소 층을 통해 4개의 서브밴드 형태로 돌아간다. 공간-스펙트럴 역변환의 경우 웨이블릿 역변환을 기반으로 중간단계에 CNN 구조를 추가하여 대칭구조의 형태로 설계했다. 공간-스펙트럴 서브밴드를 살펴보면 초기 복원, 심층 복원 과정을 거칠수록 더 세밀한 고주파수 특징을 가지는 동시에 구조적인 특징을 가진다. 이렇게 학습 가능한 공간-스펙트럴 변환을 통해 데이터에 적합한 새로운 도메인 변환을 찾아내어 샘플링과 복원에 활용하였고 이를 뒷받침할 수 있는 결과를 도출하였다.In the present invention, compression sensing restoration is performed in a domain other than the image domain through spatial-spectral transformation to improve sampling and restoration performance. In order to simultaneously utilize spectral information and spatial information, which are continuous frequency domain information, a transform structure that can be learned through data based on wavelet transform was devised. A spectral subband is extracted from the input image 610 through the fixed wavelet filters f l and f h . A CNN structure 620 is added between the wavelet filters to generate a plurality of spatial-spectral subband images 630 in which spectral information and spatial information are effectively mixed. The CNN structure utilizes 33 filter sizes, extracts a spatial-spectral feature map of 32 channels, repeats the nonlinear mapping 3 times, and then returns to the form of 4 subbands through the channel reduction layer. In the case of the spatial-spectral inverse transform, a symmetrical structure was designed by adding a CNN structure to the intermediate stage based on the wavelet inverse transform. Looking at the spatial-spectral subband, it has more detailed high-frequency characteristics and structural characteristics as it undergoes the initial restoration and deep restoration processes. Through this learnable spatial-spectral transformation, a new domain transformation suitable for data was found and used for sampling and restoration, and results that could be supported were derived.

도 7은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다. 7 is a performance test result of a deep learning image compression sensing and restoration network using spatial-spectral transformation according to an embodiment of the present invention.

도 7은 제안하는 구조와 기존 압축 센싱 복원 기술 네트워크의 성능을 Set5, Set14, BSD100 벤치마크 데이터셋을 이용해 비교한 실험의 결과이다.7 is a result of an experiment comparing the proposed structure and the performance of the existing compression sensing and restoration technology network using Set5, Set14, and BSD100 benchmark datasets.

도 8은 본 발명의 또 다른 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다.8 is a performance test result of a deep learning image compression sensing and restoration network using spatial-spectral transformation according to another embodiment of the present invention.

도 8은 제안하는 구조와 기존 딥러닝 기반의 압축 센싱 복원 기술 네트워크의 성능을 Set11, BSD68 벤치마크 데이터셋을 이용해 비교한 실험의 결과이다.8 is a result of an experiment comparing the proposed structure and the performance of the existing deep learning-based compression sensing restoration technology network using Set11 and BSD68 benchmark datasets.

본 발명에서는 공간-스펙트럴 변환을 이용한 기반의 딥러닝 영상 분해 및 압축 센싱 기술을 제안하였다. 딥뉴럴네트워크의 학습에는 BSDS500 데이터셋을 사용했으며 블록의 크기는 96x96으로 하여 뒤집기, 회전을 이용해 데이터 수를 약 9만장까지 증가시켰다. 테스트 데이터셋으로는 Set5, Set14, Set11, BSD100, BSD68 등 다양한 벤치마크 데이터셋을 이용하여 제안한 네트워크를 여러 방면에서 실험했다. In the present invention, a deep learning image decomposition and compression sensing technology based on spatial-spectral transformation is proposed. The BSDS500 dataset was used for training of the deep neural network, and the size of the block was 96x96, and the number of data was increased to about 90,000 by flipping and rotating. As a test dataset, the proposed network was tested in various ways using various benchmark datasets such as Set5, Set14, Set11, BSD100, and BSD68.

제안하는 네트워크는 영상을 공간-스펙트럴 변환을 통해 압축 샘플링과 복원에 유리한 형태로 변환시킨 뒤 샘플링, 초기 복원, 심층 복원의 CNN 구조를 통과시켜 최종적으로 영상 복원을 진행하는 구조이다. 또한 제안하는 방법과 다른 네트워크와도 비교하였으며 비교 결과는 도 7 및 도 8에 정리하였다. The proposed network transforms the image into a form favorable for compression sampling and restoration through spatial-spectral transformation, and then passes through the CNN structure of sampling, initial restoration, and deep restoration to finally perform image restoration. In addition, the proposed method and other networks were compared, and the comparison results are summarized in FIGS. 7 and 8 .

핸드-크래프트(Hand-crafted) 알고리즘과 딥뉴럴네트워크 알고리즘을 이용한 기존 네트워크와 제안한 네트워크의 성능을 비교하였을 때 제안한 네트워크가 가장 높은 성능을 나타내는 것을 알 수 있다. 공간-스펙트럴 서브밴드 형태로 압축 센싱 복원에 적용한 것만으로 성능향상을 이루어낸 것이라고 볼 수 있다. 또한 종래기술인 언롤 기반의 압축 센싱 영상 복원 알고리즘과 제안한 네트워크를 비교했을 때 경쟁적인 성능을 내는 것을 확인할 수 있다.When the performance of the proposed network and the existing network using the hand-crafted algorithm and the deep neural network algorithm is compared, it can be seen that the proposed network shows the highest performance. It can be seen that performance improvement is achieved only by applying it to compression sensing restoration in the form of a spatial-spectral subband. In addition, it can be seen that when comparing the conventional unroll-based compression sensing image restoration algorithm and the proposed network, competitive performance is obtained.

기존의 고정된 변환을 통한 도메인 변환이 아닌 데이터 기반의 학습 가능한 공간-스펙트럴 변환을 통해 영상 및 신호 처리 분야에서 전역적으로 활용되는 압축 센싱 기술의 성능을 크게 향상시켰다. 데이터 기반으로 샘플링과 복원을 동시에 용이하게 하는 변환을 학습함으로서 압축 센싱 기술 발전의 효과적인 해결책을 제시했다.Through data-based learnable spatial-spectral transformation rather than domain transformation through the conventional fixed transformation, the performance of compression sensing technology used globally in image and signal processing has been greatly improved. By learning transformation that facilitates sampling and restoration at the same time based on data, we presented an effective solution to the advancement of compression sensing technology.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (15)

웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 영상 변환부;
완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행하는 압축 샘플링부;
복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 블록 압축 측정부;
복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 초기 복원부;
모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 심층 복원부; 및
학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 영상 역변환부
를 포함하고,
영상 변환부는,
연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시키고,
CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 연산량과 성능의 효율을 위해 상기 공간-스펙트럴 특징맵의 채널수를 감소시킨 후 비선형 맵핑을 반복하며, 다시 상기 공간-스펙트럴 특징맵의 채널수를 증가시킨 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아가며,
심층 복원부는,
심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행하고, 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 팽창, 압축시키면서 심층 복원을 수행하며,
딥뉴럴네트워크를 통해 영상의 압축 샘플링 과정부터 초기 복원 및 심층 복원 과정까지를 엔드-투-엔드(End-to-end) 방식으로 수행하는
딥러닝 영상 처리 시스템. an image converter for generating a plurality of spatial-spectral subband images by passing an input image through a transformation process including a CNN structure between the low-pass filter and the high-pass filter of the wavelet;
a compression sampling unit that performs compression sampling using a block compression sensing method through a fully connected layer;
a block compression measurement unit generating a block compression measurement value from a plurality of spatial-spectral subband images;
an initial restoration unit configured to generate an initially restored spatial-spectral subband through an initial restoration process through a fully connected layer using block compression measurement values for a plurality of spatial-spectral subband images;
a deep restoration unit that expands and compresses the number of channels through an hourglass-shaped deep restoration process and generates a refined deep restoration spatial-spectral subband; and
An image inverse transform unit that finally restores the deep reconstructed spatial-spectral subband in the form of an image through the inverse transform of the learnable spatial-spectral transform
including,
video conversion unit,
In order to simultaneously utilize spectral information and spatial information, which are continuous frequency domain information, the input image is passed through a learnable transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet,
The CNN structure extracts a spatial-spectral feature map as many as the number of channels, reduces the number of channels in the spatial-spectral feature map for efficiency of computation and performance, and then repeats the nonlinear mapping, and again the spatial-spectral feature map After increasing the number of channels in the map, it returns to the subband form through the channel reduction layer,
In-depth restoration
In the deep reconstruction process, all the initially restored spatial-spectral subband blocks in which the hourglass-shaped CNN structure is aggregated are passed through to remove block aliasing at the boundary and at the same time perform compressed image reconstruction, and the hourglass-type CNN structure is a feature map Deep restoration is performed while symmetrically expanding and compressing the number of channels of
Through the deep neural network, from the compression sampling process of the image to the initial restoration and deep restoration process, it is performed in an end-to-end manner.
Deep learning image processing system. 삭제delete 제1항에 있어서,
영상 변환부는,
웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성하는
딥러닝 영상 처리 시스템. According to claim 1,
video conversion unit,
It generates a plurality of spatial-spectral subband images with spectral information in the frequency domain through the wavelet low-pass filter and high-pass filter, and spatial information through the intermediate CNN layer.
Deep learning image processing system. 삭제delete 제1항에 있어서,
초기 복원부는,
심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성하는
딥러닝 영상 처리 시스템. According to claim 1,
initial restoration,
A method of generating an initial reconstructed space-spectral subband in the form of an entire subband by aggregating a plurality of spatial-spectral subband blocks before deep restoration
Deep learning image processing system. 삭제delete 제1항에 있어서,
샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며,
심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되는
딥러닝 영상 처리 시스템. According to claim 1,
Even in a situation where the sampling matrix is not known, it is possible to solve the problem by learning the initial restoration process and the deep restoration process among the entire structure.
In the deep restoration process, the spatial-spectral subband passes through the hourglass-shaped CNN structure to refine frequency information and structural information.
Deep learning image processing system. 웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계; 및
완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계
를 포함하고,
웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계는,
연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시키고,
CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 연산량과 성능의 효율을 위해 상기 공간-스펙트럴 특징맵의 채널수를 감소시킨 후 비선형 맵핑을 반복하며, 다시 상기 공간-스펙트럴 특징맵의 채널수를 증가시킨 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아가는
딥러닝 영상 압축 방법. generating a plurality of spatial-spectral subband images by passing an input image through a transformation process including a CNN structure between a wavelet low-pass filter and a high-pass filter; and
Generating block compression measurement values from a plurality of spatial-spectral subband images through compression sampling in a block compression sensing method through a fully connected layer
including,
The step of generating a plurality of spatial-spectral subband images by passing an input image through a transformation process that includes a CNN structure between a low-pass filter and a high-pass filter of a wavelet,
In order to simultaneously utilize spectral information and spatial information, which are continuous frequency domain information, the input image is passed through a learnable transformation process that includes a CNN structure between the low-pass filter and the high-pass filter of the wavelet,
The CNN structure extracts a spatial-spectral feature map as many as the number of channels, reduces the number of channels in the spatial-spectral feature map for efficiency of computation and performance, and then repeats the nonlinear mapping, and again the spatial-spectral feature map After increasing the number of channels in the map, it returns to the subband form through the channel reduction layer.
Deep learning video compression method. 삭제delete 제8항에 있어서,
웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성하는
딥러닝 영상 압축 방법. 9. The method of claim 8,
It generates a plurality of spatial-spectral subband images with spectral information in the frequency domain through the wavelet low-pass filter and high-pass filter, and spatial information through the intermediate CNN layer.
Deep learning video compression method. 삭제delete 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계;
모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계; 및
학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계
를 포함하고,
모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계는,
심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행하고, 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 팽창, 압축시키면서 심층 복원을 수행하며,
딥뉴럴네트워크를 통해 영상의 압축 샘플링 과정부터 초기 복원 및 심층 복원 과정까지를 엔드-투-엔드(End-to-end) 방식으로 수행하는
딥러닝 영상 복원 방법.Fully connected layer using block compression measurements for multiple spatial-spectral subband images with spectral information in the frequency domain through wavelet low-pass filter and high-pass filter, and spatial information through an intermediate CNN layer generating an initially reconstructed spatial-spectral subband through an initial reconstruction process through a fully connected layer;
generating a refined deep reconstruction space-spectral subband while expanding and compressing the number of channels through an hourglass-shaped deep reconstruction process; and
Final reconstruction of the deep reconstructed spatial-spectral subband in the form of an image through the inverse transform of the learnable spatial-spectral transform
including,
The step of generating a refined deep reconstruction space-spectral subband while expanding and compressing the number of channels through an hourglass-shaped deep reconstruction process is:
In the deep reconstruction process, all the initially restored spatial-spectral subband blocks in which the hourglass-shaped CNN structure is aggregated are passed through to remove block aliasing at the boundary and at the same time perform compressed image reconstruction, and the hourglass-type CNN structure is a feature map Deep restoration is performed while symmetrically expanding and compressing the number of channels of
Through the deep neural network, from the compression sampling process of the image to the initial restoration and deep restoration process, it is performed in an end-to-end manner.
Deep learning image restoration method. 제12항에 있어서,
웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계는,
심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성하는
딥러닝 영상 복원 방법. 13. The method of claim 12,
Fully connected layer using block compression measurements for multiple spatial-spectral subband images with spectral information in the frequency domain through wavelet low-pass filter and high-pass filter, and spatial information through an intermediate CNN layer The step of generating an initial restored spatial-spectral subband through an initial restoration process through
A method of generating an initial reconstructed space-spectral subband in the form of an entire subband by aggregating a plurality of spatial-spectral subband blocks before deep restoration
Deep learning image restoration method. 삭제delete 제12항에 있어서,
샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며,
심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되는
딥러닝 영상 복원 방법.13. The method of claim 12,
Even in a situation where the sampling matrix is not known, it is possible to solve the problem by learning the initial restoration process and the deep restoration process among the entire structure.
In the deep restoration process, the spatial-spectral subband passes through the hourglass-shaped CNN structure to refine frequency information and structural information.
Deep learning image restoration method.
KR1020200069412A 2019-12-13 2020-06-09 Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation KR102398365B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190166836 2019-12-13
KR1020190166836 2019-12-13

Publications (2)

Publication Number Publication Date
KR20210075826A KR20210075826A (en) 2021-06-23
KR102398365B1 true KR102398365B1 (en) 2022-05-17

Family

ID=76599367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069412A KR102398365B1 (en) 2019-12-13 2020-06-09 Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation

Country Status (1)

Country Link
KR (1) KR102398365B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529482B (en) * 2022-02-21 2024-03-29 桂林电子科技大学 Image compressed sensing reconstruction method based on wavelet multichannel depth network
CN114841892B (en) * 2022-05-20 2023-10-17 天津大学 Sparse guided wave data recovery method based on fully connected network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2626184C2 (en) * 2015-09-04 2017-07-24 Самсунг Электроникс Ко., Лтд. Method, device and system for reconstructing magnetic resonance image
KR102210457B1 (en) * 2017-09-29 2021-02-01 연세대학교 산학협력단 Apparatus and Method for Reconstructing Magnetic Resonance Image use Learning, Under-sampling Apparatus and Method about it, and Recording Medium thereof
KR102215702B1 (en) * 2018-06-04 2021-02-16 한국과학기술원 Method for processing magnetic resonance imaging using artificial neural network and apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
성진택, 딥러닝 기술을 활용한 압축센싱 신호 복원방법 분석, 한국정보전자통신기술학회논문지, Volume 10 Issue 4, p. 257-267 (2017.08.30.)*

Also Published As

Publication number Publication date
KR20210075826A (en) 2021-06-23

Similar Documents

Publication Publication Date Title
Liu et al. Adaptive dictionary learning in sparse gradient domain for image recovery
Yin et al. Practical compressive sensing with Toeplitz and circulant matrices
Li et al. An efficient augmented Lagrangian method with applications to total variation minimization
Zhang et al. Group-based sparse representation for image restoration
Chen et al. Bregman operator splitting with variable stepsize for total variation image reconstruction
WO2020114329A1 (en) Fast magnetic resonance parametric imaging and device
CN103907109B (en) Fast numerical for image procossing purpose wave filter application convolution is approached
KR102061967B1 (en) Method for processing x-ray computed tomography image using artificial neural network and apparatus therefor
CN112884851A (en) Deep compression sensing network for expanding iterative optimization algorithm
KR102398365B1 (en) Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation
Hosseini et al. High-accuracy total variation with application to compressed video sensing
Aggarwal et al. Model based image reconstruction using deep learned priors (MODL)
CN115950837B (en) Snapshot type spectrum imaging method, system and medium based on plug-and-play priori
Hou et al. IDPCNN: Iterative denoising and projecting CNN for MRI reconstruction
Zhao et al. Image compressive-sensing recovery using structured laplacian sparsity in DCT domain and multi-hypothesis prediction
Yoo et al. A mathematical framework for deep learning in elastic source imaging
KR101653098B1 (en) Low-rank patch-based block hankel structured matrix for image inpainting
Gan et al. Image reconstruction for mri using deep cnn priors trained without groundtruth
CN109559357B (en) Wavelet packet threshold-based image block compressed sensing reconstruction method
Yang et al. Compressed imaging reconstruction with sparse random projection
KR101883806B1 (en) Apparatus and method for reconstructing image
CN114245117B (en) Multi-sampling-rate multiplexing network reconstruction method, device, equipment and storage medium
Ramirez et al. An minimization algorithm for non-smooth regularization in image processing
CN103325103B (en) High-definition picture restoration method and system
CN107895387B (en) MRI image reconstruction method and device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right