KR20210075826A - 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법 - Google Patents

학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법 Download PDF

Info

Publication number
KR20210075826A
KR20210075826A KR1020200069412A KR20200069412A KR20210075826A KR 20210075826 A KR20210075826 A KR 20210075826A KR 1020200069412 A KR1020200069412 A KR 1020200069412A KR 20200069412 A KR20200069412 A KR 20200069412A KR 20210075826 A KR20210075826 A KR 20210075826A
Authority
KR
South Korea
Prior art keywords
spatial
spectral
deep
restoration
subband
Prior art date
Application number
KR1020200069412A
Other languages
English (en)
Other versions
KR102398365B1 (ko
Inventor
최준원
손태인
유진혁
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20210075826A publication Critical patent/KR20210075826A/ko
Application granted granted Critical
Publication of KR102398365B1 publication Critical patent/KR102398365B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템을 제안한다. 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 영상 변환부, 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행하는 압출 샘플링부, 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 블록 압축 측정부, 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 초기 복원부, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 심층 복원부 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 영상 역변환부를 포함한다.

Description

학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법{Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation}
본 발명은 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법에 관한 것이다.
압축 센싱 영상 복원 기법은 영상 처리 분야에서 영상의 성김 형태를 이용하여 적은 차원의 측정값을 가지고도 높은 차원의 영상을 복원해내는 기법으로 신호처리, 영상, 센서 등 다양한 분야에서 활용된다. 압축된 측정값을 n 차원의
Figure pat00001
라 하고 샘플링 행렬을
Figure pat00002
차원의
Figure pat00003
라 할 때, 전체 시스템을
Figure pat00004
로 표현할 수 있으며
Figure pat00005
이다. 압축 센싱 영상 복원 기법은 핸드-크래프트(hand-crafted) 알고리즘과 딥뉴럴네트워크 알고리즘의 두 분야로 나눌 수 있다. 기존의 핸드-크래프트 알고리즘 방식은 전체 변이(Total Variation) 같이 성김 형태를 이용하는 목적 함수 설정과 반복 연산을 통해 수렴시키는 최적화 방식의 설정을 통해 모델링된다. 그러나 고차원의 영상에서 반복 연산의 복잡성이 크게 증가하여 실시간 복원이 어렵고 높은 압축률에서의 복원 성능이 떨어지는 단점이 있다. 이후 딥뉴럴네트워크의 등장으로 영상 처리 분야에서 복원 성능과 연산량 문제가 크게 극복됐다. 압축 센싱에서 딥뉴럴네트워크 알고리즘은 임의로 설정한 사전 정보 모델 대신에 CNN 구조가 방대한 양의 데이터에 기반하여 압축된 측정값에서 복원 영상으로의 맵핑을 학습한다. CNN은 전파 단계만 사용하여 맵핑을 하여 영상을 빠르게 복원할 수 있으며 샘플링과 복원 단계를 엔드-투-엔드(End-to-end) 방식으로 동시에 최적화 할 수 있다. 그러나 기존의 딥뉴럴네트워크 기반의 압축 센싱 방식들은 영상 도메인에서의 복원만 진행하여 다른 도메인에서의 다양한 정보를 활용하지 못하고 있다. 최근 딥러닝 기반의 영상 분야인 디노이징, 초해상도 등에서 영상의 도메인 변환을 위해 웨이블릿 변환을 도입했다. 그러나 대부분은 가장 간단한 형태의 웨이블릿 기저를 사용하며 괄목할만한 성능의 차이는 보이지 못하고 있다.
압축 센싱 기술은 영상뿐만 아니라 적은 양의 정보로 원래의 신호를 복구하는 모든 신호 처리분야에 적용이 가능하다. 대표적으로는 의료기기, 통신, 카메라 등이 있다. 의료기기 분야에서는 주로 MRI(Magnetic resonance imaging), CT(Computed tomography) 등에 적용 가능하다. MRI에서는 압축 센싱 기술로 고전 알고리즘인 ISTA, FISTA, SISTA 등을 사용하여 적은 수의 푸리에 계수를 취득함으로서 스캔 시간을 단축시켰다. CT에서도 마찬가지로 압축 센싱의 적용으로 적은 방사선 량으로 높은 해상도의 CT영상을 복원을 수행한다. 이와 같은 의료기기 분야는 복원의 정확도와 실시간 복원이 무엇보다 중요하며 기존의 고전 압축 센싱 알고리즘을 딥뉴럴네트워크 기반의 압축 센싱 알고리즘으로 대체하여 높은 성과를 낼 수 있다. 통신 분야에서는 다중 안테나(MIMO) 채널을 통한 무선 통신이 중요한데 다중 안테나 채널의 임펄스 응답이 희소 구조를 띄므로 압축 센싱 기술을 활용하여 채널 추정의 성능을 올릴 수 있다. 카메라 분야에서는 주로 모바일폰의 카메라 센서에 압축 센싱이 활용되며 초소형 렌즈 프리(Lens Free) 카메라에 적용가능하다.
이러한 기술을 적용하기 위해서는 적용 가능 분야에서 데이터를 취득하는 과정, 취득된 데이터에서 원래의 신호로 복원하는 과정, 취득과 복원 과정에 모두 적용이 가능하다. 복원하는 신호 혹은 영상의 특징에 따라 여러 학습 데이터를 취득하여 딥뉴럴네트워크를 학습시키게 된다. 최종적으로 학습으로 최적화된 네트워크의 계수만 적용 가능 제품의 임베디드 환경에 저장하고 이를 이용해 실제 상황에서 실시간으로 압축 복원을 수행하게 된다.
종래 기술에 있어서, 딥러닝 기반 기술 중 언롤(Unrolled) 기반 압축 센싱 영상 복원 방법은 고전 알고리즘에서 활용했던 반복 알고리즘을 딥뉴럴네트워크로 구현하여 반복 횟수만큼 구조를 반복하여 심층 구조를 구성한다. 딥러닝 구조의 데이터 기반의 블랙박스적인 측면에만 의존하지 않고 기존의 목적 함수 접근법 기반의 고전 알고리즘에서의 지식을 활용하여 두 방식의 장점을 합쳤다. 기존의 ISTA 알고리즘과 ADMM 알고리즘을 딥뉴럴네트워크로 구현한 ISTA-Net 과 ADMM-Net 이 있다. ISTA 알고리즘에서 정규화 항으로 영상을 성김 구조의 도메인으로 변환시키기 위해 고정된 변환이 쓰이는 부분을 ISTA-Net에서는 CNN을 통한 비선형 변환으로 대체했다. 두 알고리즘 모두 기존에 미리 설정해둬야 했던 수축 임계값(shrinkage thresholds), 스텝 사이즈 등의 반복 알고리즘의 모든 파라미터들을 학습을 통해 최적화 시켰다. 또한 기존에 수렴을 위해 수십에서 수백회의 반복이 필요했던 고전 알고리즘과는 달리 10회 안팎의 적은 수의 반복된 딥뉴럴네트워크로 높은 성능과 실시간 복원을 이뤘다.
종래기술의 경우 블록 단위로 압축 샘플링과 압축 영상 복원을 진행하여 최종 복원 영상의 경우 복원된 블록들을 집합시켜놓은 형태이다. 따라서 최종 복원 영상을 살펴보면 블록의 경계면에서의 블록간의 시각적 이질감이 뚜렷하며 이는 높은 압축률에서 더 잘 드러난다. 원본과의 왜곡 정도를 판단할 수 있는 PSNR이나 SSIM 같은 성능 판단 지표로는 뚜렷한 확인이 힘들지만 시각적으로는 치명적인 앨리어싱을 보인다. 또한 압축된 측정값에서의 복원, 즉 인벌스 문제(Inverse problem)의 해결에만 적용가능하며 샘플링 성능이 보장된 샘플링 행렬에 대해서 복원이 가능하다. 마지막으로 일반적인 영상 도메인에서만 복원을 진행하여 영상 정보의 다른 도메인에서의 분해를 통한 이점을 살리지 못한다.
본 발명이 이루고자 하는 기술적 과제는 본 발명에서는 웨이블릿 변환 기반으로 CNN구조를 합친 학습 가능한 변환을 통해 데이터 기반의 공간-스펙트럴 정보가 풍부한 서브 밴드 영상의 형태를 활용한 압축 센싱 알고리즘의 성능 향상을 위한 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법을 제안하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 영상 변환부, 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행하는 압출 샘플링부, 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 블록 압축 측정부, 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 초기 복원부, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 심층 복원부 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 영상 역변환부를 포함한다.
영상 변환부는 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시킨다.
영상 변환부는 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다.
CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아간다.
초기 복원부는 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다.
심층 복원부는 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되며, 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법은 웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계 및 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계를 포함한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법은 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계를 포함한다.
본 발명의 실시예들에 따르면 공간-스펙트럴 학습 가능한 변환과 압축 센싱 구조의 적용으로 기존 알고리즘의 성능적인 측면의 문제들을 해결하여 보다 간결한 신호 측정, 정확한 신호 복원에 적용이 가능하다. 이와 같이 다양한 분야에서 센서의 갯수를 효과적으로 줄이거나 측정 시간을 줄일 수도 있으며 신호 측정량 대비 정확도를 향상시킬 수 있고, 영상 외에도 신호처리 분야로서 신호의 측정, 신호의 복원이 필요한 분야에 모두 쓰일 수 있다. 또한, 블록 단위의 초기 영상 복원을 진행한 이후에 블록들을 집합시킨 후 심층 복원 단계에서 모래시계 형태의 CNN 구조가 모든 블록들을 지나다니면서 복원을 수행하여 블록현상이 일어나지 않는다. 또한, 압축된 측정값에서의 복원 이외에도 원 신호에서의 효율적인 압축 샘플링 과정도 엔드-투-엔드(End-to-end)로 학습하여 여러 문제에 적용 가능하다.
도 1은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템의 전체 구조를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 전체 영상 압축 센싱 및 복원 과정을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환 구조를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다.
도 8은 본 발명의 또 다른 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다
본 발명에서는 학습 가능한 공간-스펙트럴 변환을 적용한 딥뉴럴네트워크를 통해 영상의 압축과 복원을 동시에 진행하는 압축 센싱 복원 기술을 제안하고자 한다. 본 발명의 핵심 아이디어는 영상을 여러개의 공간-스펙트럴 정보를 가진 서브밴드 영상들로 분해하여 압축 샘플링, 초기 복원, 심층 복원 단계를 거쳐 압축 센싱 복원을 하는 방법에 대한 것이다. 제안하는 네트워크는 영상을 웨이브릿(Wavelet) 변환 기법과 CNN 층으로 이루어진 학습 가능한 영상 분해 네트워크, 완전 연결 레이어(Fully Connected layer)를 통해 압축된 측정값을 만들고 다시 서브밴드 영상으로 초기 복원하는 네트워크, 마지막으로 모래시계 형태의 심층 복원 구조를 거친 후 서브밴드에서 영상으로의 역변환을 통해 영상을 최종 복원하는 네트워크로 구성되어 있다. 웨이브릿의 저역 필터, 고역 필터들 사이에 CNN 구조가 있는 학습 가능한 변환 과정을 입력 영상이 통과하면서 4개의 서브밴드 영상으로 변환된다. 이 과정에서 서브밴드 영상은 웨이브릿 필터를 통해 주파수 도메인의 스펙트럴 정보를, 중간 단계의 CNN 층을 통해 공간적 정보를 가지게 된다. 공간-스펙트럴 서브밴드 영상은 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐서 블록 압축 측정값이 된다. 블록 압축 측정값은 다시 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 서브밴드가 된다. 모래시계 형태의 심층 복원 구조는 채널 수를 팽창, 압축하면서 정제된 심층 복원 서브밴드를 만든다. 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 서브밴드가 다시 영상의 형태로 최종 복원이 된다. 영상 관련 다양한 벤치마크 데이터셋에서 실험해본 결과 영상의 공간-스펙트럴 분해를 이용했을 때 성능이 오르는 것을 확인할 수 있었고 기존 압축 센싱 영상 복원 네트워크와 비교한 결과 좋은 성능을 기록했다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법을 설명하기 위한 흐름도이다.
제안하는 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 방법은 웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계(110) 및 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계(120)를 포함한다.
단계(110)에서, 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성한다.
연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정을 입력 영상이 통과한다. 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아간다.
단계(120)에서, 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성한다.
도 2는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법을 설명하기 위한 흐름도이다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법은 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계(210), 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계(220) 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계(230)를 포함한다.
단계(210)에서, 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다.
단계(220)에서, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다.
단계(230)에서, 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 복원 방법은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제된다. 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다.
도 3은 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법을 설명하기 위한 흐름도이다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법은 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계(310), 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계(320), 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계(330), 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계(340) 및 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계(350)를 포함한다.
단계(310)에서, 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정을 입력 영상이 통과한다. 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아간다.
단계(320)에서, 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성한다.
단계(330)에서, 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다.
단계(340)에서, 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성한다. 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다.
단계(350), 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 방법은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제된다. 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다.
도 4는 본 발명의 일 실시예에 따른 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템의 전체 구조를 나타내는 도면이다.
본 발명에서는 학습 가능한 공간-스펙트럴 변환을 적용한 딥뉴럴네트워크를 통해 영상의 압축과 복원을 동시에 진행하는 압축 센싱 복원 기술을 제안하고자 한다. 본 발명의 핵심 아이디어는 영상을 여러개의 공간-스펙트럴 정보를 가진 서브밴드 영상들로 분해하여 압축 샘플링, 초기 복원, 심층 복원 단계를 거쳐 압축 센싱 복원을 하는 방법에 대한 것이다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 영상 변환부(410), 압축 샘플링부(420), 블록 압축 측정부(430), 초기 복원부(440), 심층 복원부(450) 및 영상 역변환부(460)를 포함한다.
영상 변환부(410), 압축 샘플링부(420), 블록 압축 측정부(430), 초기 복원부(440), 심층 복원부(450) 및 영상 역변환부(460)는 도 3의 단계들(310~350)을 수행하기 위해 구성될 수 있다.
영상 변환부(410)는 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상(411)을 생성한다.
영상 변환부(410)는 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시킨다. 다시 말해, 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아갈 수 있다.
압축 샘플링부(420)는 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행한다.
블록 압축 측정부(430)는 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성한다.
초기 복원부(440)는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성한다.
초기 복원부(440)는 심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성한다.
심층 복원부(450)는 모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성한다.
심층 복원부(450)는 심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행하여 심층 복원 공간-스펙트럴 서브밴드 영상(451)을 생성한다.
영상 역변환부(460)는 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다. 이때, 역변환 웨이블릿 및 CNN 네트워크를 통해 영상을 최종 복원한다.
제안하는 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 압축 및 복원 시스템은 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하다. 또한, 심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되며, 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다.
본 발명의 실시예에 따르면, 웨이블릿의 저역 필터, 고역 필터들 사이에 CNN 구조가 있는 학습 가능한 변환 과정을 입력 영상이 통과하면서 4개의 서브밴드 영상으로 변환된다. 이 과정에서 서브밴드 영상은 웨이블릿 필터를 통해 주파수 도메인의 스펙트럴 정보를, 중간 단계의 CNN 층을 통해 공간적 정보를 가지게 된다. 공간-스펙트럴 서브밴드 영상은 완전 연결 레이어를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐서 블록 압축 측정값이 된다. 블록 압축 측정값은 다시 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드가 된다. 모래시계 형태의 심층 복원 구조는 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 만든다. 학습 가능한 공간-스펙트럴 변환의 역변환을 통해 서브밴드가 다시 영상의 형태로 최종 복원이 된다. 영상 관련 다양한 벤치마크 데이터셋에서 실험해본 결과 영상의 공간-스펙트럴 분해를 이용했을 때 성능이 향상되는 것을 확인할 수 있었고 기존 압축 센싱 영상 복원 네트워크와 비교한 결과 좋은 성능을 기록했다.
도 5는 본 발명의 일 실시예에 따른 전체 영상 압축 센싱 및 복원 과정을 나타내는 도면이다.
제안하는 영상 압축 센싱 및 복원 과정은 먼저, 입력 영상(510)을 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환(520) 과정을 통과시켜 복수의 공간-스펙트럴 서브밴드 영상을 생성한다. 이후, 완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식(531)으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값(532)을 생성한다.
복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값(532)을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정(540)을 거쳐 초기 복원 공간-스펙트럴 서브밴드(541)를 생성한다. 모래시계 형태(551)의 심층 복원과정(550)을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드(552)를 생성한다. 마지막으로, 학습 가능한 공간-스펙트럴 변환의 역변환(550)을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원한다(570).
종래기술의 문제점으로는 블록 경계면의 앨리어싱 현상과 특정 샘플링 행렬의 역변환 문제(Inverse problem) 해결에만 적용가능한 점, 영상 도메인에서만 복원을 진행한 점 등이 있다. 먼저 블록 앨리어싱 현상의 원인은 딥러닝 기반의 압축 센싱 영상 복원 알고리즘의 기본 환경인 BCS(Block Compressed Sensing) 시스템이다. BCS에서는 전체 영상을 블록 단위로 겹치지 않게 나누어 모든 블록들에 대해 같은 샘플링을 수행하는 방식이다. 따라서 전체 샘플링 행렬은 블록 샘플링 행렬이 반복되는 대각 행렬의 형태이다. 이후 샘플링된 각각의 측정값에서 복원 블록을 구한 뒤 집합시켜서 최종 복원 영상을 만든다. 이 경우 블록의 경계면에서의 스케일이 상이한 경우가 많아 시각적으로 좋지 못한 복원 영상을 얻게 된다.
이를 극복하기 위해 본 발명에서는 전체 구조에서 초기 복원까지만 종래기술의 방식대로 진행한 뒤 심층 복원 이전에 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태로 만든다. 이후 심층 복원 과정에서 모래시계 형태의 CNN 구조가 모든 서브밴드 블록들을 돌아다니며 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행한다. 이로 인해 PSNR, SSIM 등의 성능 지표와 함께 시각적인 질도 향상되어 높은 수준의 압축 센싱 복원을 할 수 있다.
종래기술의 두 번째 문제점으로는 특정 샘플링 행렬의 정보가 필수적으로 수반되어야하며 압축된 샘플링 측정값으로부터의 역변환 문제(Inverse problem)의 해결에만 적용가능하다는 점이 있다. 종래기술인 언롤(Unrolled) 기반 압축 센싱 기술은 고전의 반복 알고리즘의 볼록(Convex) 최적화 문제를 푸는 방식으로 영상을 복원한다. 다시 말해 반복 알고리즘의 과정에 샘플링 행렬이 포함된 연산이 필수적으로 포함되며 샘플링 시스템에 대한 정보가 불충분하여 샘플링 행렬을 모르는 경우에는 적용이 불가하다. 본 발명에서는 딥뉴럴네트워크를 통해 영상의 압축 샘플링 과정부터 복원까지를 엔드-투-엔드(End-to-end) 방식으로 설계하여 효과적인 샘플링 행렬을 찾는 동시에 높은 수준의 영상 복원을 수행한다.
따라서 종래기술에서 샘플링 성능이 보장된 행렬로 주로 쓰는 RGM(Random Gaussian Matrix)보다 효과적인 샘플링 행렬을 학습할 수 있다. 샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복구, 심층 복구 구조만을 학습시켜 문제 해결이 가능하다. 심층 복구 구조에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제된다. 모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행한다.
본 발명의 실시예에 따르면, 특징맵의 채널수를 128까지 늘린 후 연산량과 성능의 효율을 위해 다시 32로 줄인 뒤 11번의 비선형 맵핑을 반복한다. 다음으로 다시 채널수를 128까지 늘린 후 공간-스펙트럴 서브밴드의 형태로 맞춰주기 위해 4로 줄인다. 이는 종래기술에서 활용하는 채널수 64의 특징맵으로 이루어진 구조보다 압축 센싱 복원 능력이 탁월하다.
도 6은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환 구조를 나타내는 도면이다.
본 발명에서는 공간-스펙트럴 변환을 통해 영상 도메인 이외의 도메인에서 압축 센싱 복원을 진행하여 샘플링과 복원의 성능을 향상시켰다. 연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적인 정보를 동시에 활용하기 위해 웨이블릿 변환을 기반으로 데이터를 통해 학습 가능한 변환 구조를 고안했다. 입력 영상(610)이 고정된 웨이블릿 필터(fl, fh)를 거쳐 스펙트럴 서브밴드가 추출된다. 웨이블릿 필터 사이에 CNN 구조(620)를 추가하여 스펙트럴 정보와 공간 정보가 효과적으로 혼합된 복수의 공간-스펙트럴 서브밴드 영상(630)을 생성한다. CNN 구조는 33 필터 크기를 활용하고 32 채널수의 공간-스펙트럴 특징맵을 추출한 뒤 3번의 비선형 맵핑을 반복한 뒤 채널 축소 층을 통해 4개의 서브밴드 형태로 돌아간다. 공간-스펙트럴 역변환의 경우 웨이블릿 역변환을 기반으로 중간단계에 CNN 구조를 추가하여 대칭구조의 형태로 설계했다. 공간-스펙트럴 서브밴드를 살펴보면 초기 복원, 심층 복원 과정을 거칠수록 더 세밀한 고주파수 특징을 가지는 동시에 구조적인 특징을 가진다. 이렇게 학습 가능한 공간-스펙트럴 변환을 통해 데이터에 적합한 새로운 도메인 변환을 찾아내어 샘플링과 복원에 활용하였고 이를 뒷받침할 수 있는 결과를 도출하였다.
도 7은 본 발명의 일 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다.
도 7은 제안하는 구조와 기존 압축 센싱 복원 기술 네트워크의 성능을 Set5, Set14, BSD100 벤치마크 데이터셋을 이용해 비교한 실험의 결과이다.
도 8은 본 발명의 또 다른 실시예에 따른 공간-스펙트럴 변환을 이용한 딥러닝 영상 압축 센싱 및 복원 네트워크의 성능 실험 결과이다.
도 8은 제안하는 구조와 기존 딥러닝 기반의 압축 센싱 복원 기술 네트워크의 성능을 Set11, BSD68 벤치마크 데이터셋을 이용해 비교한 실험의 결과이다.
본 발명에서는 공간-스펙트럴 변환을 이용한 기반의 딥러닝 영상 분해 및 압축 센싱 기술을 제안하였다. 딥뉴럴네트워크의 학습에는 BSDS500 데이터셋을 사용했으며 블록의 크기는 96x96으로 하여 뒤집기, 회전을 이용해 데이터 수를 약 9만장까지 증가시켰다. 테스트 데이터셋으로는 Set5, Set14, Set11, BSD100, BSD68 등 다양한 벤치마크 데이터셋을 이용하여 제안한 네트워크를 여러 방면에서 실험했다.
제안하는 네트워크는 영상을 공간-스펙트럴 변환을 통해 압축 샘플링과 복원에 유리한 형태로 변환시킨 뒤 샘플링, 초기 복원, 심층 복원의 CNN 구조를 통과시켜 최종적으로 영상 복원을 진행하는 구조이다. 또한 제안하는 방법과 다른 네트워크와도 비교하였으며 비교 결과는 도 7 및 도 8에 정리하였다.
핸드-크래프트(Hand-crafted) 알고리즘과 딥뉴럴네트워크 알고리즘을 이용한 기존 네트워크와 제안한 네트워크의 성능을 비교하였을 때 제안한 네트워크가 가장 높은 성능을 나타내는 것을 알 수 있다. 공간-스펙트럴 서브밴드 형태로 압축 센싱 복원에 적용한 것만으로 성능향상을 이루어낸 것이라고 볼 수 있다. 또한 종래기술인 언롤 기반의 압축 센싱 영상 복원 알고리즘과 제안한 네트워크를 비교했을 때 경쟁적인 성능을 내는 것을 확인할 수 있다.
기존의 고정된 변환을 통한 도메인 변환이 아닌 데이터 기반의 학습 가능한 공간-스펙트럴 변환을 통해 영상 및 신호 처리 분야에서 전역적으로 활용되는 압축 센싱 기술의 성능을 크게 향상시켰다. 데이터 기반으로 샘플링과 복원을 동시에 용이하게 하는 변환을 학습함으로서 압축 센싱 기술 발전의 효과적인 해결책을 제시했다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 영상 변환부;
    완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 수행하는 압출 샘플링부;
    복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 블록 압축 측정부;
    복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 초기 복원부;
    모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 심층 복원부; 및
    학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 영상 역변환부
    를 포함하는 딥러닝 영상 압축 및 복원 시스템.
  2. 제1항에 있어서,
    영상 변환부는,
    연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시키는
    딥러닝 영상 압축 및 복원 시스템.
  3. 제2항에 있어서,
    웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성하는
    딥러닝 영상 압축 및 복원 시스템.
  4. 제2항에 있어서,
    CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아가는
    딥러닝 영상 압축 및 복원 시스템.
  5. 제1항에 있어서,
    초기 복원부는,
    심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성하는
    딥러닝 영상 압축 및 복원 시스템.
  6. 제1항에 있어서,
    심층 복원부는,
    심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행하는
    딥러닝 영상 압축 및 복원 시스템.
  7. 제1항에 있어서,
    샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며,
    심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되며,
    모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행하는
    딥러닝 영상 압축 및 복원 시스템.
  8. 웨이블릿(Wavelet)의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계; 및
    완전 연결 레이어(Fully connected layer)를 통해 블록 압축 센싱 방식으로 압축 샘플링을 거쳐 복수의 공간-스펙트럴 서브밴드 영상에서 블록 압축 측정값을 생성하는 단계
    를 포함하는 딥러닝 영상 압축 방법.
  9. 제8항에 있어서,
    웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 변환 과정을 입력 영상이 통과하여 복수의 공간-스펙트럴 서브밴드 영상을 생성하는 단계는,
    연속된 주파수 도메인 정보인 스펙트럴 정보와 공간적 정보를 동시에 활용하기 위해 웨이블릿의 저역 필터, 고역 필터 사이에 CNN 구조가 포함된 학습 가능한 변환 과정에 입력 영상을 통과시키는
    딥러닝 영상 압축 방법.
  10. 제9항에 있어서,
    웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상을 생성하는
    딥러닝 영상 압축 방법.
  11. 제9항에 있어서,
    CNN 구조는 채널수만큼의 공간-스펙트럴 특징맵을 추출한 뒤 비선형 맵핑을 반복한 후 채널 축소 레이어를 통해 서브밴드 형태로 돌아가는
    딥러닝 영상 압축 방법.
  12. 웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어(Fully connected layer)를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계;
    모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계; 및
    학습 가능한 공간-스펙트럴 변환의 역변환을 통해 심층 복원 공간-스펙트럴 서브밴드를 영상의 형태로 최종 복원하는 단계
    를 포함하는 딥러닝 영상 복원 방법.
  13. 제12항에 있어서,
    웨이블릿의 저역 필터, 고역 필터를 통해 주파수 도메인의 스펙트럴 정보를 갖고, 중간 단계의 CNN 층을 통해 공간적 정보를 갖는 복수의 공간-스펙트럴 서브밴드 영상에 대한 블록 압축 측정값을 이용하여 완전 연결 레이어를 통해 초기 복원과정을 거쳐 초기 복원 공간-스펙트럴 서브밴드를 생성하는 단계는,
    심층 복원 이전에 복수의 공간-스펙트럴 서브밴드 블록들을 집합시켜 전체 서브밴드의 형태인 초기 복원 공간-스펙트럴 서브밴드를 생성하는
    딥러닝 영상 복원 방법.
  14. 제12항에 있어서,
    모래시계 형태의 심층 복원과정을 통해 채널 수를 팽창, 압축하면서 정제된 심층 복원 공간-스펙트럴 서브밴드를 생성하는 단계는,
    심층 복원과정에서 모래시계 형태의 CNN 구조가 집합된 모든 초기 복원 공간-스펙트럴 서브밴드 블록들을 통과시켜 경계면의 블록 앨리어싱을 제거하는 동시에 압축 영상 복원을 수행하는
    딥러닝 영상 복원 방법.
  15. 제12항에 있어서,
    샘플링 행렬을 모르는 상황에서도 전체 구조 중에서 초기 복원과정, 심층 복원과정을 학습시켜 문제 해결이 가능하며,
    심층 복원과정에서 공간-스펙트럴 서브밴드가 모래시계 형태의 CNN 구조를 통과하여 주파수 정보와 구조적 정보가 정제되며,
    모래시계 형태의 CNN 구조는 특징맵의 채널수를 대칭적으로 확장, 수축시키면서 심층 복원을 수행하는
    딥러닝 영상 복원 방법.
KR1020200069412A 2019-12-13 2020-06-09 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법 KR102398365B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190166836 2019-12-13
KR1020190166836 2019-12-13

Publications (2)

Publication Number Publication Date
KR20210075826A true KR20210075826A (ko) 2021-06-23
KR102398365B1 KR102398365B1 (ko) 2022-05-17

Family

ID=76599367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069412A KR102398365B1 (ko) 2019-12-13 2020-06-09 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법

Country Status (1)

Country Link
KR (1) KR102398365B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529482A (zh) * 2022-02-21 2022-05-24 桂林电子科技大学 基于小波多通道深度网络的图像压缩感知重建方法
CN114841892A (zh) * 2022-05-20 2022-08-02 天津大学 一种基于全连接网络的稀疏导波数据恢复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028829A (ko) * 2015-09-04 2017-03-14 삼성전자주식회사 자기 공명 영상 복원을 위한 방법 및 자기 공명 영상 처리 장치
KR20190038333A (ko) * 2017-09-29 2019-04-08 연세대학교 산학협력단 학습을 이용한 자기공명영상 복원을 위한 언더샘플링 장치 및 방법과 학습을 이용한 자기공명영상 복원 장치 및 방법, 그리고 이에 대한 기록 매체
KR20190138107A (ko) * 2018-06-04 2019-12-12 한국과학기술원 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028829A (ko) * 2015-09-04 2017-03-14 삼성전자주식회사 자기 공명 영상 복원을 위한 방법 및 자기 공명 영상 처리 장치
KR20190038333A (ko) * 2017-09-29 2019-04-08 연세대학교 산학협력단 학습을 이용한 자기공명영상 복원을 위한 언더샘플링 장치 및 방법과 학습을 이용한 자기공명영상 복원 장치 및 방법, 그리고 이에 대한 기록 매체
KR20190138107A (ko) * 2018-06-04 2019-12-12 한국과학기술원 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
성진택, 딥러닝 기술을 활용한 압축센싱 신호 복원방법 분석, 한국정보전자통신기술학회논문지, Volume 10 Issue 4, p. 257-267 (2017.08.30.)* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529482A (zh) * 2022-02-21 2022-05-24 桂林电子科技大学 基于小波多通道深度网络的图像压缩感知重建方法
CN114529482B (zh) * 2022-02-21 2024-03-29 桂林电子科技大学 基于小波多通道深度网络的图像压缩感知重建方法
CN114841892A (zh) * 2022-05-20 2022-08-02 天津大学 一种基于全连接网络的稀疏导波数据恢复方法
CN114841892B (zh) * 2022-05-20 2023-10-17 天津大学 一种基于全连接网络的稀疏导波数据恢复方法

Also Published As

Publication number Publication date
KR102398365B1 (ko) 2022-05-17

Similar Documents

Publication Publication Date Title
Schlemper et al. A deep cascade of convolutional neural networks for dynamic MR image reconstruction
Liu et al. Adaptive dictionary learning in sparse gradient domain for image recovery
Yin et al. Practical compressive sensing with Toeplitz and circulant matrices
Li et al. An efficient augmented Lagrangian method with applications to total variation minimization
Chen et al. Bregman operator splitting with variable stepsize for total variation image reconstruction
CN112884851B (zh) 基于展开迭代优化算法的深度压缩感知网络的构建方法
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
KR102061967B1 (ko) 뉴럴 네트워크를 이용한 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
Chan et al. Half-Quadratic Algorithm for-Problems with Applications to TV-Image Restoration and Compressive Sensing
KR102398365B1 (ko) 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법
Hosseini et al. High-accuracy total variation with application to compressed video sensing
WO2023045251A1 (zh) 计算鬼成像采样过程中的噪声消除方法、系统及相关组件
Aggarwal et al. Model based image reconstruction using deep learned priors (MODL)
Hou et al. IDPCNN: Iterative denoising and projecting CNN for MRI reconstruction
Zhao et al. Image compressive-sensing recovery using structured laplacian sparsity in DCT domain and multi-hypothesis prediction
Xu et al. Nonlocal low-rank regularized two-phase approach for mixed noise removal
Lu et al. Compressive image sensing for fast recovery from limited samples: A variation on compressive sensing
Yoo et al. A mathematical framework for deep learning in elastic source imaging
Gan et al. Image reconstruction for mri using deep cnn priors trained without groundtruth
KR101653098B1 (ko) 패치기반 최소 랭크 블락 한켈 행렬을 이용한 영상 채우기
CN109559357B (zh) 一种基于小波包阈值的图像块压缩感知重构方法
Yang et al. Compressed imaging reconstruction with sparse random projection
KR101883806B1 (ko) 영상 복원 장치 및 방법
CN114245117B (zh) 多采样率复用重建网络方法、装置、设备及存储介质
Hao et al. A fast linearized alternating minimization algorithm for constrained high-order total variation regularized compressive sensing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right