KR102098375B1 - Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법 - Google Patents

Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법 Download PDF

Info

Publication number
KR102098375B1
KR102098375B1 KR1020180140704A KR20180140704A KR102098375B1 KR 102098375 B1 KR102098375 B1 KR 102098375B1 KR 1020180140704 A KR1020180140704 A KR 1020180140704A KR 20180140704 A KR20180140704 A KR 20180140704A KR 102098375 B1 KR102098375 B1 KR 102098375B1
Authority
KR
South Korea
Prior art keywords
image
resolution
unit
jpeg compressed
conv
Prior art date
Application number
KR1020180140704A
Other languages
English (en)
Inventor
김은희
고한범
조정진
황동준
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020180140704A priority Critical patent/KR102098375B1/ko
Application granted granted Critical
Publication of KR102098375B1 publication Critical patent/KR102098375B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 JPEG 압축 이미지의 해상도 증가 시스템에 관한 것으로, 원본 이미지를 압축한 JPEG 압축 이미지를 입력하기 위한 제1 이미지 입력부; 상기 제1 이미지 입력부로부터 상기 JPEG 압축 이미지를 입력받고, 상기 JPEG 압축 이미지의 블록단위 노이즈를 제거하면서 픽셀단위로 압축을 해제하여 1차로 해상도를 높인 압축 해제 이미지를 생성하는 압축 해제부; 및 상기 압축 해제부로부터 압축 해제 이미지를 입력받고, 해당 압축 해제 이미지에서 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 2차로 해상도를 높인 고해상도 이미지를 생성하는 해상도 향상부;를 포함하여 저화질의 JPEG 압축 이미지를 고화질로 만들 때, 저화질의 JPEG 압축 이미지를 학습된 압축해제부와 해상도 향상부를 차례로 통과시킴으로써 압축을 크게한 이미지들을 해상도를 높여 원본에 가까운 고화질의 이미지로 복원시킬 수 있는 효과가 있다.

Description

ＪＰＥＧ 압축 이미지의 해상도 증가 시스템 및 그 방법{SYSTEM FOR INCREASING RESOLUTION OF JPEG COMPRESSED IMAGE AND METHOD THEREOF}
본 발명은 JPEG 압축 이미지의 해상도 증가 시스템 및 그 방법에 관한 것으로써, 더욱 상세하게는 딥러닝을 이용한 네트워크 구조인 VDSR(super-resolution using very deep convolutional networks), DnCNN(De-noising Convolutional Neural Network)네트워크를 사용하여 열화된 이미지에 대한 해상도를 향상시킬 수 있는 JPEG 압축 이미지의 해상도 증가 시스템 및 그 방법에 관한 것이다.
제약된 인터넷 사용환경에서 빠른 이미지 및 동영상 전송을 위해서는 영상의 압축을 피할 수 없다. 영상 압축 방법 중 JPEG 압축은 전체 이미지의 90%를 차지하고 있다.
이 방법은 손실압축방법이므로 큰 스크린으로 이미지를 확인할 때, 즉 이미지 크기를 늘려 볼 때 블러링과 같은 열화현상이 심하게 발생하는 문제점이 있다.
현 픽셀 주변의 16지점의 값으로 현재 픽셀 값을 결정하는 방법인 이중 3차 보간법이 널리 사용되고 있다.
그러나 JPEG 압축의 경우에는 8×8단위로 압축을 진행하게 되는데 8×8 블럭들 사이를 보간하는 과정에서 이미지가 자연스럽지 않게 보간이 되는 문제점이 있다.
최근 이미지 해상도를 높이는 방법으로 딥러닝을 사용한 방법이 품질의 향상과 처리속도 측면에서 좋은 결과를 보여주고 있는데, 여기에 사용되는 이미지 복원기술들에 대해 좀 더 살펴본다.
먼저, SRCNN(Super Resoution Convolutional Neural Network)는 3개의 층을 사용한 간단한 모델로 좋은 성능을 보여주지만, 입력저해상도 이미지에 대한 출력 고해상도 이미지에 대해 학습하므로 학습 시간이 올려 걸리는 문제점이 있다.
이를 해결하기 위해 VDSR(Super-Resolution using Very Deep convolutional networks)은 입력 해상도 이미지에 대해 출력을 저해상도 이미지와 고해상도 이미지의 차이 즉, 잔차(residual)만을 학습하여 학습시간을 줄일 수 있다.
하지만, 상술한 상기 SRCNN과 VDSR는 딥러닝 네트워크에 들어가기 전 이중 3차 보간법(bicubic interpolation)을 사용해 원하는 만큼 이미지를 늘리고 네트워크에 들어가 계산량이 증가되는 문제점이 있다.
상술한 문제점을 해결하기 위해 ESPCN(Efficient Sub-Pixel Convolutional Neural network)은 Pixel-shuffling을 제안하여 계산량을 줄였다.
또 다른 네트워크인 SRGAN(Super Resolution Generative Adversarial Network)은 생산자(Generator)를 ResNet으로 구성해서 생산자만으로도 좋은 결과를보여주지만 분류자(Discriminator)를 이용해 원본에 정확하진 않지만 실제같은 이미지를 생산자가 생성하도록 도와주어서 가로, 세로 각각 8배씩 늘리는 고배율에 좋은 성능을 보여준다.
하지만, 상기 SRGAN을 이미지가 아닌 동영상에 적용시 동물의 털이나 풀 등 세밀한 부분들이 프레임마다 흔들리는 현상이 발생하는 문제점이 있다.
대한민국 공개특허공보 제10-2017-0058277호(2017.05.26)
본 발명은 상술한 문제점을 해결하기 위해 딥러닝을 사용한 네트워크 구조인 VDSR 네트워크와 DnCNN 네트워크를 사용하여 이미지 화질 측정에 사용되는 최대신호 대 잡음비(PSNR)가 평균적으로 +0.24dB만큼 상승시킬 수 있는 JPEG 압축 이미지의 해상도 증가 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 상술한 문제점을 해결하기 위해 DnCNN이 VDSR과 같은 잔차 학습(Residual learning)을 통해 단순히 해상도만 높이는 것이 아니라 이미지의 노이즈를 제거할 수 있는 JPEG 압축 이미지의 해상도 증가 시스템을 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위해 본 발명은 원본 이미지를 압축한 JPEG 압축 이미지를 입력하기 위한 제1 이미지 입력부; 상기 제1 이미지 입력부로부터 상기 JPEG 압축 이미지를 입력받고, 상기 JPEG 압축 이미지의 블록단위 노이즈를 제거하면서 픽셀단위로 압축을 해제하여 1차로 해상도를 높인 압축 해제 이미지를 생성하는 압축 해제부; 및 상기 압축 해제부로부터 압축 해제 이미지를 입력받고, 해당 압축 해제 이미지에서 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 2차로 해상도를 높인 고해상도 이미지를 생성하는 해상도 향상부;를 포함하고, 상기 압축 해제부 및 상기 해상도 향상부 각각은 '상기 원본 이미지-입력 이미지'와 '상기 원본 이미지-상기 압축 해제부와 상기 해상도 향상부 통과 이미지'의 차이를 이용하여 상기 입력 이미지에 대한 학습을 수행하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위해 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템의 압축 해제부는 상기 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하며, 이웃하는 픽셀들의 선형화시키는 Conv & ReLU 레이어 모듈; 상기 Conv & ReLU 레이어 모듈에 배치 정규화 알고리즘(Batch Normalization)기능이 추가되어 레이어 모듈마다 입력의 분포를 같게 맞춰 학습시간을 줄이고 정확성을 향상시켜 상기 JPEG 압축 이미지에 블록단위 노이즈를 제거하는 복수의 Conv & BN & ReLU 레이어 모듈; 및 블록단위 노이즈를 제거된 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하여 차이 이미지를 생성하는 Conv 레이어 모듈;을 포함하는 것을 특징으로 한다.
더욱 바람직하게 상술한 목적을 달성하기 위해 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템의 해상도 향상부는 상기 압축 해제 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하며, 이웃하는 픽셀들의 선형화시키는 복수의 Conv & ReLU 레이어 모듈; 및 상기 Conv & ReLU 레이어 모듈을 통과한 압축 해제 이미지의 픽셀제어로 번짐, 선명도, 밝기, 톤을 재조절하여 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 차이 이미지를 생성하는 Conv 레이어 모듈;을 포함하는 것을 특징으로 한다.
본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템은 저화질의 JPEG 압축 이미지를 고화질로 만들 때, 저화질의 JPEG 압축 이미지를 학습된 압축해제부와 해상도 향상부를 차례로 통과시킴으로써 압축을 크게한 이미지들을 해상도를 높여 원본에 가까운 고화질의 이미지로 복원시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템의 블록도이다.
도 2는 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템의 압축해제부의 네트워크 구성도이다.
도 3은 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템의 해상도 향상부의 네트워크 구성도이다.
도 4는 JPEG 압축 이미지가 압축해제부만 통과한 이미지와, 압축해제부와 해상도 향상부를 통과한 실제 이미지를 도시한 도면이다.
도 5는 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 방법의 흐름도 이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템의 블록도 이다.
도 1에 도시된 바와 같이 JPEG 압축 이미지의 해상도 증가 시스템은 제1 이미지 입력부(100), 압축해제부(200), 제2 이미지 입력부(300), 및 해상도 향상부(400)를 포함한다.
상기 제1 이미지 입력부(100)는 상기 압축해제부(200)로 입력하기 위한 압축되어 저해상도를 가지는 JPEG 이미지가 저장되어 있다.
DnCNN(De-noising Convolutional Neural Network)에 해당하는 상기 압축해제부(200)는 상기 제1 이미지 입력부(100)에서 입력되는 JPEG로 압축되어 노이즈로 보였던 8×8 블록들을 포함하는 압축된 이미지의 표면이 매끄러운 상태가 되도록 압축을 해제한다.
즉, 상기 압축해제부(200)는 첫 레이어의 40×40 이미지가 마지막 결과 이미지의 1×1을 예측하도록 학습되는데, 이 학습과정에서 자연스럽게 블록 단위가 아닌 픽셀 단위로 결과가 나오게 되어 상술한 바와 같이 매끄러운 이미지로 압축을 해제하게 된다.
도 2을 참조하여 상기 압축해제부(200)의 대략적인 네트워크 구성에 대해 더욱 구체적으로 설명하면, 도 2에 도시된 바와 같이 상기 압축해제부(200)는 총 18개의 레이어 모듈로 구성되는데, 보다 상세히는 하나의 Conv & ReLU 레이어 모듈(210) 16개의 Conv & BN & ReLU 레이어 모듈(220), 하나의 Conv 레이어 모듈(230)로 구성된다.
상기 Conv & ReLU(Convolution & Rectified Linear Unit) 레이어 모듈(210)은 상기 압축해제부(200)의 첫번째 레이머 모듈에 해당되고 입력되는 JPEG 이미지에서 픽셀을 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 동작. 번짐 효과나 선명한 효과, 혹은 이미지를 밝게 만들거나 톤을 낮추는 등 본래 이미지의 픽셀을 조절하여 적절한 효과를 주고, 동시에 이미지의 이웃하는 픽셀들을 선형으로 유지하도록 한다.
2번째 레이어 모듈부터 17번째 레이어 모듈에 해당되는 상기 Conv & BN & ReLU(Convolution & Batch Normalization & Rectified Linear Unit) 레이어 모듈(220)은 상기 Conv & ReLU(Convolution & Rectified Linear Unit) 레이어 모듈(210)에 Batch Normalization 기능이 추가된 것으로, 상기 압축해제부(200)의 학습시간을 줄이고 레이어 모듈마다 입력의 분포를 맞춰 JPEG 압축 이미지에 블록단위 노이즈를 제거함으로써 정확성을 향상시킨다.
상기 배치 정규화 알고리즘(Batch Normalization algorithm)기능을 추가함으로써, 복수의 상기 레이어 모듈에 분포를 같게 함으로써 좀더 안정적인 학습이 가능하게 한다.
상기 Conv 레이어 모듈(230)은 상기 Conv & ReLU 레이어 모듈(210)에서 이미 설명한 바와 같이 최종적으로 입력되는 JPEG 이미지에서 픽셀을 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 동작. 번짐 효과나 선명한 효과, 혹은 이미지를 밝게 만들거나 톤을 낮추는 등 본래 이미지의 픽셀을 조절하여 적절한 효과를 주어 압축을 해제한다.
입력된 JPEG 이미지가 상기 압축해제부(200)를 통과함에 따라 이미지의 차이가 발생하게 되는데, 이 차이 이미지에 입력이미지를 더함으로써 최종적으로 압축이 해제된 이미를 생성한다.
상기 압축해제부(200)에서 압축이 해제된 이미지를 전달받은 상기 제2 이미지 입력부(300)는 해당 압축 해제 이미지를 상기 해상도 향상부(400)로 입력한다.
상기 압축해제부(200)에서 압축이 해제된 이미지는 다소의 노이즈가 제거 제거되었을 뿐, 인전합 픽셀간 강도(intensity) 값의 차이가 많이 나타나지 않는 저해상도 이미지이다.
VDSR(super-resolution using very deep convolutional networks)에 해당하는 상기 해상도 향상부(400)는 이미지 테두리에서 강도(intensity) 값의 차이가 많이 나도록 학습을 하게되어 결과적으로 이미지의 테두리 부분을 깔끔한 상태로 보정하여 상술한 저해상도 이미지를 고해상도 이미지로 출력한다.
도 3을 참조하여 상기 해상도 향상부(400)의 대략적인 네트워크 구성에 대해 더욱 구체적으로 설명하면, 도 3에 도시된 바와 같이 상기 해상도 향상부(400)는 20개의 레이어 모듈로 구성되는데, 상기 압축해제부(200)에서 이미 설명한 바와 같이 첫번째 레이어 모듈부터 19번째 모듈까지는 상기 Conv & ReLU(Convolution & Rectified Linear Unit) 레이어 모듈(410)로 구성되고, 마지막 20번째 레이어 모듈은 Conv 레이어 모듈(430)로 구성된다.
상기 해상도 향상부(400)는 상기 압축해제부(200)와 마찬가지로 마지막 20번째 레이어 모듈인 Conv 레이어 모듈(430)를 통과함에 따라 이미지 차이로 발생한 차이 이미지에 입력이미지를 더함으로써 최종적으로 고해상도 이미지를 생성한다.
이때, 상기 Conv & ReLU 레이어 모듈(410)은 19개 중, 첫번째 Conv & ReLU 레이어 모듈은 (채널수)×3×3×64의 필터를 사용하고 2번째부터 19번째 Conv & ReLU 레이어 모듈은 64×3×3×64필터를 사용하며, 마지막 20번째 층은 64×3×3×(채널수)의 필터를 사용하는 것이 바람직하며, 흑백이미지를 사용하는 경우 채널 수를 1로 설정하는 것이 바람직하다.
한편, 상기 압축해제부(200)와 상기 해상도 향상부(400)는 모두 학습시에 이미지를 작은 조각들로 나누어 학습을 진행한는데, 상기 압축해제부(200)는 40×40 이미지를 배치수 128로 설정하고, 상기 해상도 향상부(400)는 41×41 이미지를 배치수 64로 설정하여 학습을 수행한다.
이때, 상기 압축해제부(200)와 상기 해상도 향상부(400)는 "원본이미지-입력이미지"와 "원본이미지-압축해제부와 해상도 향상부를 통과한 이미지"의 차이로 표준 제곱 오차(Mean Square Error)를 손실함수로 학습한다.
본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템에 의해 압축 이미지의 해상도가 증가된 결과를 살펴보면 도 4에 도시된 바와 같다.
도 4a는 원본이미지, 도 4b는 JPEG 이미지가 해상도 향상부를 통과한 이미지, 도 4c는 JPEG 이미지가 압축해제부와 해상도 향상부를 차례대로 통과한 이미지를 도시하고 있다.
도 4b에 도시된 바와 같이 JPEG 이미지가 해상도 향상부를 통과한 이미지는 JPEG 이미지의 블록들이 눈에 뛰는 것을 확인할 수 있고,
도 4c에 도시되 바와 같이 JPEG 이미지가 압축해제부와 해상도 향상부를 차례대로 통과한 이미지는 상기 도 4b의 블록들이 사라진 것을 확인할 수 있다.
이는 레이어 모듈의 수가 깊은 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템이 JPEG와 같은 압축 이미지를 고해상도 이미지로 전환하는데 있어 많은 경우의 수를 학습한 효과에 기인한 것이다.
이러한 효과는 객관적인 화질 평가 방법인 최대 신호 대 잡음 비(PSNR) 값이 기재된 아래의 표를 통해 알수 있다.
Image JPEG->압축해제부 JPEG->압축해제부->해상도 향상부
pepper 25.71 25.88
plain 24.14 24.29
lena 30.52 31.00
man 28.31 28.62
즉, 상기 [표 1]은 상기 압축해제부(200)만을 통과하여 단순히 압축이 해제된 이미지와 대비하여, 본 발명에 따른 JPEG 압축 이미지의 해상도 증가 시스템 모델을 통과함에 따라 상기 압축해제부(200)에서 압축이 해제되고 상기 해상도 향상부(400)에서 해상도가 향상된 경우 이미지의 화질이 향상되는 것을 수치로 보여주고 있다.
이하에서 본 발명의 다른 실시예로서 JPEG 압축 이미지의 해상도 증가 방법에 대해 도 5를 참조하여 상세히 설명한다.
상기 제1 이미지 입력부(100)는 상기 압축해제부(200)로 JPEG 압축 이미지를 입력하는 단계를 수행한다(S100).
이후, 상기 압축해제부(200)는 상기 제1 이미지 입력부(100)로부터 입력된 JPEG 압축 이미지를 수신하여, 해당 JPEG 압축 이미지의 블록단위 노이즈를 제거하면서 픽셀단위로 압축을 해제하는 단계를 수행한다(S200).
상기 S200단계에 대해 더욱 상세히 설명하면, 상기 압축 해제부(200)의 Conv & ReLU 레이어 모듈(210)은 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하며, 이웃하는 픽셀들의 선형화시키는단계를 수행한다(S210).
상기 압축 해제부(200)의 Conv & BN & ReLU 레이어 모듈(220)는 상기 Conv & ReLU 레이어 모듈(210)에 배치 정규화 알고리즘(Batch Normalization)기능을 추가하여 레이어 모듈마다 입력의 분포를 같게 맞춰 학습시간을 줄이고 정확성을 향상시켜 상기 JPEG 압축 이미지에 블록단위 노이즈를 제거하는 단계를 수행한다(S220).
상기 압축 해제부(200)의 Conv 레이어 모듈(230)은 블록단위 노이즈가 제거된 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하여 차이 이미지를 생성하는 단계를 수행한다(S230).
이후, 상기 압축해제부(200)는 입력된 JPEG 압축 이미지가 상기 Conv 레이어 모듈(230)을 통과함에 따라 생성된 상기 차이 이미지에 상기 JPEG 압축 이미지를 더함으로써 압축 해제 이미지를 생성단계를 수행한다(S240).
마지막 단계로, 상기 해상도 향상부(400)는 상기 S200단계에서 압축이 해제된 압축 해제 이미지를 전달받고 해당 압축 해제 이미지에서 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 고해상도 이미지를 생성시키는 단계를 수행한다(S300).
상기 S300단계에 대해 더욱 상세히 설명하면, 상기 해상도 향상부(400)의 Conv & ReLU 레이어 모듈(410)은 상기 압축 해제 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하며, 이웃하는 픽셀들의 선형화시키는 단계를 수행한다(S310).
상기 해상도 향상부(400)의 Conv 레이어 모듈(430)은 압축 해제 이미지의 픽셀제어로 번짐, 선명도, 밝기, 톤을 재조절하여 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 차이 이미지를 생성하는 단계를 수행한다(S320).
이후, 상기 해상도 향상부(400)는 상기 Conv 레이어 모듈(430)을 통과함에 따라 생성된 상기 차이 이미지에 상기 압축 해제 이미지를 더함으로써 고해상도 이미지를 생성하는 단계를 수행한다(S330).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 제1 이미지 입력부
200 : 압축해제부
210, 310 : Conv & ReLU 레이어 모듈
220 : Conv & BN & ReLU 레이어 모듈
230, 330 : Conv 레이어 모듈
300 : 제2 이미지 입력부
400 : 해상도 향상부
500 : 고해상도 이미지 출력부
SRCNN : Super Resoution Convolutional Neural Network
VDSR : super-resolution using very deep convolutional networks
ESPCN : Efficient Sub-Pixel Convolutional Neural network
SRGAN : Super Resolution Generative Adversarial Network
DnCNN : De-noising Convolutional Neural Network
ReLU : Rectified Linear Unit

Claims (10)

  1. 원본 이미지를 압축한 JPEG 압축 이미지를 입력하기 위한 제1 이미지 입력부;
    상기 제1 이미지 입력부로부터 상기 JPEG 압축 이미지를 입력받고, 상기 JPEG 압축 이미지의 블록단위 노이즈를 제거하면서 픽셀단위로 압축을 해제하여 1차로 해상도를 높인 압축 해제 이미지를 생성하는 압축 해제부; 및
    상기 압축 해제부로부터 압축 해제 이미지를 입력받고, 해당 압축 해제 이미지에서 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 2차로 해상도를 높인 고해상도 이미지를 생성하는 해상도 향상부;를 포함하고,
    상기 압축 해제부 및 상기 해상도 향상부 각각은
    '상기 원본 이미지-입력 이미지'와 '상기 원본 이미지-상기 압축 해제부와 상기 해상도 향상부 통과 이미지'의 차이를 이용하여 상기 입력 이미지에 대한 학습을 수행하는 것을 특징으로 하는 JPEG 압축 이미지의 해상도 증가 시스템.
  2. 제1항에 있어서,
    상기 압축 해제부는
    상기 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하며, 이웃하는 픽셀들의 선형화시키는 Conv & ReLU 레이어 모듈;
    상기 Conv & ReLU 레이어 모듈에 배치 정규화 알고리즘(Batch Normalization)기능이 추가되어 레이어 모듈마다 입력의 분포를 같게 맞춰 학습시간을 줄이고 정확성을 향상시켜 상기 JPEG 압축 이미지에 블록단위 노이즈를 제거하는 복수의 Conv & BN & ReLU 레이어 모듈; 및
    블록단위 노이즈를 제거된 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하여 차이 이미지를 생성하는 Conv 레이어 모듈;을 포함하는 JPEG 압축 이미지의 해상도 증가 시스템.
  3. 제 2항에 있어서,
    상기 압축 해제부는
    입력된 JPEG 압축 이미지가 상기 Conv 레이어 모듈을 통과함에 따라 생성된 상기 차이 이미지에 상기 JPEG 압축 이미지를 더함으로써 압축 해제 이미지를 생성하는 JPEG 압축 이미지의 해상도 증가 시스템.
  4. 제 3항에 있어서,
    상기 해상도 향상부는
    상기 압축 해제 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어로 번짐, 선명도, 밝기, 톤을 조절하며, 이웃하는 픽셀들의 선형화시키는 복수의 Conv & ReLU 레이어 모듈; 및
    상기 Conv & ReLU 레이어 모듈을 통과한 압축 해제 이미지의 픽셀제어로 번짐, 선명도, 밝기, 톤을 재조절하여 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 차이 이미지를 생성하는 Conv 레이어 모듈;을 포함하는 JPEG 압축 이미지의 해상도 증가 시스템.
  5. 제 4항에 있어서,
    상기 해상도 향상부는
    입력된 압축 해제 이미지가 상기 Conv 레이어 모듈을 통과함에 따라 생성된 상기 차이 이미지에 상기 압축 해제 이미지를 더함으로써 고해상도 이미지를 생성하는 JPEG 압축 이미지의 해상도 증가 시스템.
  6. 제 5항에 있어서,
    복수의 상기 Conv & ReLU 레이어 모듈은
    19개 중, 첫번째 Conv & ReLU 레이어 모듈은 (채널수)×3×3×64의 필터를 사용하고, 2번째부터 19번째 Conv & ReLU 레이어 모듈은 64×3×3×64필터를 사용하며, 마지막 20번째 Conv & ReLU 레이어 모듈은 64×3×3×(채널수)의 필터를 사용하는 JPEG 압축 이미지의 해상도 증가 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 압축해제부와 상기 해상도 향상부는
    학습시에 각각 40×40 이미지 조각들로 나누어 배치수 128로 설정하고, 41×41 이미지 조각으로 나누어 배치수 64로 설정하여, '상기 원본이미지-입력이미지'와 '상기 원본이미지-상기 압축해제부와 상기 해상도 향상부 통과 이미지'의 차이로 표준 제곱 오차(Mean Square Error)를 손실함수로 학습하는 JPEG 압축 이미지의 해상도 증가 시스템.
  8. (a) 제1 이미지 입력부가 압축해제부로 원본 이미지를 압축한 JPEG 압축 이미지를 입력하는 단계;
    (b) 상기 압축해제부가 JPEG 압축 이미지를 입력받아, 블록단위 노이즈를 제거하면서 픽셀단위로 압축을 해제하여 1차로 해상도가 향상된 압축 해제 이미지를 생성하는 단계; 및
    (c) 해상도 향상부가 상기 (b)단계에서 압축이 해제된 상기 압축 해제 이미지를 전달받아 2차로 해상도가 향상된 고해상도 이미지를 생성하는 단계를 포함하고,
    상기 (b) 및 (c) 단계는
    상기 압축 해제부 및 상기 해상도 향상부 각각이 '상기 원본 이미지-입력 이미지'와 '상기 원본 이미지-상기 압축 해제부와 상기 해상도 향상부 통과 이미지'의 차이를 이용하여 상기 입력 이미지에 대한 학습을 수행하고, 상기 학습 결과를 기반으로 상기 압축 해제 이미지 및 상기 고해상도 이미지를 생성하는 단계인 것을 특징으로 하는 JPEG 압축 이미지의 해상도 증가 방법.
  9. 제8항에 있어서,
    상기 (b)단계는
    (b-1) 상기 압축 해제부의 Conv & ReLU 레이어 모듈이 JPEG 압축 이미지의 픽셀제어로 픽셀들을 선형화시키는단계;
    (b-2) 상기 압축 해제부의 Conv & BN & ReLU 레이어 모듈이 레이어 모듈마다 입력의 분포를 같게 맞춰 JPEG 압축 이미지에 블록단위 노이즈를 제거하는 단계;
    (b-3) 상기 압축 해제부의 Conv 레이어 모듈이 상기블록단위 노이즈가 제거된 JPEG 압축 이미지의 본래 픽셀과 그 주변 픽셀의 조합으로 대체하는 픽셀제어 차이 이미지를 생성하는 단계; 및
    (b-4) 상기 압축해제부는 입력된 JPEG 압축 이미지가 상기 Conv 레이어 모듈을 통과함에 따라 생성된 상기 차이 이미지에 상기 JPEG 압축 이미지를 더해 압축 해제 이미지를 생성단계;를 포함하는 JPEG 압축 이미지의 해상도 증가 방법.
  10. 제 9항에 있어서,
    상기 (c)단계는
    (c-1) 상기 해상도 향상부의 Conv & ReLU 레이어 모듈이 상기 압축 해제 이미지의 픽셀제어로 이웃하는 픽셀들을 선형화시키는 단계;
    (c-2) 상기 해상도 향상부의 Conv 레이어 모듈이 압축 해제 이미지의 픽셀제어로 테두리 픽셀간 강도(intensity) 값에 차이를 발생시켜 차이 이미지를 생성하는 단계; 및
    (c-3) 상기 해상도 향상부가 상기 차이 이미지에 상기 압축 해제 이미지를 더함으로써 고해상도 이미지를 생성하는 단계;를 포함하는 JPEG 압축 이미지의 해상도 증가 방법.
KR1020180140704A 2018-11-15 2018-11-15 Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법 KR102098375B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140704A KR102098375B1 (ko) 2018-11-15 2018-11-15 Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140704A KR102098375B1 (ko) 2018-11-15 2018-11-15 Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102098375B1 true KR102098375B1 (ko) 2020-04-08

Family

ID=70275535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140704A KR102098375B1 (ko) 2018-11-15 2018-11-15 Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102098375B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116538A (zh) * 2020-09-04 2020-12-22 海略(连云港)科技有限公司 一种基于深度神经网络的海洋勘测图像质量增强方法
CN112233197A (zh) * 2020-09-14 2021-01-15 北京空间飞行器总体设计部 一种航天器在轨图像的压缩编码方法
CN113496393A (zh) * 2021-01-09 2021-10-12 武汉谦屹达管理咨询有限公司 一种基于区块链的离线支付金融系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043920A1 (en) * 2003-10-25 2005-05-12 Hewlett-Packard Development Company L.P. Image artifact reduction using a neural network
KR20170058277A (ko) 2015-11-09 2017-05-26 톰슨 라이센싱 잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107563965A (zh) * 2017-09-04 2018-01-09 四川大学 基于卷积神经网络的jpeg压缩图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043920A1 (en) * 2003-10-25 2005-05-12 Hewlett-Packard Development Company L.P. Image artifact reduction using a neural network
KR20170058277A (ko) 2015-11-09 2017-05-26 톰슨 라이센싱 잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107563965A (zh) * 2017-09-04 2018-01-09 四川大学 基于卷积神经网络的jpeg压缩图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jiwon Kim 등, ‘Accurate Image Super-Resolution Using Very Deep Convolutional Networks’, IEEE Conf. on Computer Vision and Pattern Recognition, 2016.06. 1부.* *
Kai Zhang 등, ‘Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising’, IEEE Trans. on Image Processing, Vol.26, No. 7, 2017.07. 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116538A (zh) * 2020-09-04 2020-12-22 海略(连云港)科技有限公司 一种基于深度神经网络的海洋勘测图像质量增强方法
CN112233197A (zh) * 2020-09-14 2021-01-15 北京空间飞行器总体设计部 一种航天器在轨图像的压缩编码方法
CN112233197B (zh) * 2020-09-14 2024-03-26 北京空间飞行器总体设计部 一种航天器在轨图像的压缩编码方法
CN113496393A (zh) * 2021-01-09 2021-10-12 武汉谦屹达管理咨询有限公司 一种基于区块链的离线支付金融系统及方法

Similar Documents

Publication Publication Date Title
CN106709875B (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
KR102098375B1 (ko) Ｊｐｅｇ 압축 이미지의 해상도 증가 시스템 및 그 방법
KR100940148B1 (ko) 디지털 영상을 그 잡음을 고려하여 수정하기 위한 방법 및시스템
KR101089394B1 (ko) 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치
WO2008021742A2 (en) Adaptive spatial image filter for filtering image information
US20080123979A1 (en) Method and system for digital image contour removal (dcr)
US20040264799A1 (en) Method of processing an image to form an image pyramid
EP3186954A1 (en) Image processing apparatus, image processing method, recording medium, and program
JPH113420A (ja) 順位付けした基調を使用したデジタルハーフトーン処理
JP2006340345A (ja) ビデオから抽出された画像を強調する方法
DE102020200310A1 (de) Verfahren und System zur Dunstreduzierung für die Bildverarbeitung
JP2006129105A (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP5250465B2 (ja) スレッショルド関数制御型ウェーブレットシュリンケージ雑音除去装置及びプログラム
KR20070040393A (ko) 선명도 개선기를 포함한 비디오 프로세서
US10650499B1 (en) Fast and effective image inpainting for reticle removal
Adams Jr et al. Digital camera image processing chain design
JP6685198B2 (ja) 撮像装置及びその制御方法及びプログラム
US9600858B1 (en) Visually comfortable content-adaptive dithering for super-resolution
US8180169B2 (en) System and method for multi-scale sigma filtering using quadrature mirror filters
JP2013033446A (ja) 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
KR20150090455A (ko) 영상 확대 보간 방법
CN113724144A (zh) 一种图像处理方法及终端设备上的图像信号处理器
Dolar et al. Total variation regularization filtering for video signal processing
Kumar et al. On the phase response of the error diffusion filter for image halftoning
CN109842735B (zh) 一种将扫描图转换为高清图的处理方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant