KR20190114340A - 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템 - Google Patents

이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템 Download PDF

Info

Publication number
KR20190114340A
KR20190114340A KR1020180036887A KR20180036887A KR20190114340A KR 20190114340 A KR20190114340 A KR 20190114340A KR 1020180036887 A KR1020180036887 A KR 1020180036887A KR 20180036887 A KR20180036887 A KR 20180036887A KR 20190114340 A KR20190114340 A KR 20190114340A
Authority
KR
South Korea
Prior art keywords
image
deblurring
network
cnn
input
Prior art date
Application number
KR1020180036887A
Other languages
English (en)
Other versions
KR102056073B1 (ko
Inventor
유창동
박상혁
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180036887A priority Critical patent/KR102056073B1/ko
Publication of KR20190114340A publication Critical patent/KR20190114340A/ko
Application granted granted Critical
Publication of KR102056073B1 publication Critical patent/KR102056073B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 디블러링(Deblurring) 네트워크 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 잔차 학습, 스파이럴 CNN 및 텍스쳐 학습을 이용한 선명한 이미지 복원 네트워크 방법 및 시스템에 관한 것으로, 흐린 이미지를 입력 받는 단계, 상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링 단계를 포함하고, 상기 디블러링 단계는 상기 입력 이미지를 나선 CNN 처리하는 단계를 포함하고 상기 나선 CNN 처리단계는, 상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계 상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계 및 상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함하는 구성을 개시한다.

Description

이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템{IMAGE DEBLURRING NETWORK PROCESSING METHODS AND SYSTEMS}
본 발명은 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템에 관한 것으로서, 더욱 상세하게는 잔차 학습, 스파이럴 CNN 및 텍스쳐 학습을 이용한 선명한 이미지 디블러링 네트워크 방법 및 시스템에 관한 것이다.
디지털 카메라가 보급되면서 사진을 촬영하는 행위에 필름의 소모라는 부담이 감소하기 시작하면서 흔들림 초첨 어긋남 등의 이유로 흐리게 촬영된 이미지를 복원하는 기술 또한 정확도가 높고 빠르게 이미지를 복원시키기 위해 발전해 왔다. 최근에는 다양한 이미지 디블러링 알고리즘이 모호한 입력 이미지에서 선명하게 디블러 이미지를 복구하기 위해 도입되었다. 이미지 전처리 이미지 디블러링 알고리즘이 도입되었다. 총 변이 정규화 및 FoE (Field of Experts), 자연 이미지 사전을 사용한 디콘볼루션, 희소한 선행 디콘볼루션(sparse prior deconvolution), 하이퍼 라플라시안 선행 알고리즘, 등방성 가우시안 블러의 디콘볼루션의 개선된 FoE 모델, 특이점 제거를 위한 한계 우도(EM), 패치 선행(patch priors)을 사용한 에지 기반 블러 링 커널 추정, 어두운 채널 사전을 이용한 이미지 흐림 제거 등의 방법이 제공되었다.
최근에 다양한 학습 기반의 디블러링 방법이 공개 되었다. 선행 패치 기반의 희소 표현, 내부 패치 반복 기반의 블러링 커널 추정, 균일 블러 제거를 위한 가우스 조건부 랜덤 필드(Gaussian Conditional Random Field, CRF) 모델의 포화 (saturationaware) 접근 캐스케이드, 회귀 트리 블라인드 디블러링을 위한 필드 (RTF) 캐스캐이드 모델 및 멀티 스케일 패치 피라미드 모델링을 사용하는 로컬 적응 선행(priors)이 제공되었다. 이러한 알고리즘은 큰 장점을 보여주었으나 이들 방법 중 상당수는 손으로 제작한 기능과 부정확한 커널 추정에 의존하기 때문에 여전히 제한적이다.
보다 최근에, 학습 기반 방법으로서 신경망이 디블러링에 도입되었다. 그러나 이러한 기술들도 이미지 복원을 위한 30층 깊이 잔차 인코더-디코더 네트워크에서 이전의 모든 구조가 얕아 학습 기능이 제한적이다.
따라서, 이전의 디블러링 방법에서 달성할 수 없는 단일 아키텍처로서 완전하게 훈련 될 수 있고, 향상된 디블러링을 위한 모든 프로세스 (특성 추출, 디블러링, 복원 및 텍스처 향상)를 단일 깊은 CNN 모델에 통합해 데이터 중심 방식으로 손실을 최소화 하는 것이 필요한 실정이다.
따라서, 본 발명의 목적은 기존의 디블러링 방법보다 정확도가 높은 이미지 복원을 수행할 수 있도록 하는 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템을 제공하는데 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 흐린(BI) 이미지를 입력 받는 단계, 상기 입력 받은 이미지를 디블러링해 선명한 이미지(DI)를 출력하는 디블러링단계를 포함하고, 상기 디블러링 단계는 상기 입력 이미지를 나선 CNN 처리하는 단계;를 포함하고 상기 나선 CNN 처리단계는 상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계, 상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계 및 상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 재입력 단계는 상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링 단계는 상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 네트워크 처리 방법은 상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 네트워크 처리 방법은 추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링 단계는 잔차(Residual) 학습을 이용해 이미지를 복구할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링 단계는 상기 흐린 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계, 상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 출력하는 단계 및 상기 최종 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함할 수 있다,
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리시스템은 흐린 이미지(BI)를 입력 받아 업스캐일링(Upscaling)하는 업스캐일링부 및 상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링부를 포함하고, 상기 디블러링부는 상기 입력 이미지를 CNN(Convolutional Neural Network)망이 상기 이미지를 처리하여 출력된 결과 이미지와 상기 입력 이미지를 CNN망에 재입력하여 나선 CNN 처리할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 텍스쳐학습부;를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 잔차(Residual) 학습을 이용해 이미지를 복구할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 및 상기 입력 이미지를 CNN망에 재입력할 수 있다.
본 발명에 따르면, 콘볼루션 레이어의 수 및 파라미터의 수를 증가시키지 않고도 딥 CNN망을 이용하여 이미지 복원을 하는 효과를 얻을 수 있다.
또한, 선명한 이미지에서 텍스쳐 정보를 추출해 이용하여 정확도를 향상시킨 이미지 복원 기술을 제공할 수 있다.
또한, 멀티 스캐일 특징 임베딩을 통해 정확도를 향상시킨 이미지 복원 기술을 제공할 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 나선 CNN(Convolutional Neural Network)망 처리 방법의 일 예시이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리시스템의 구성도이다.
도 3은 잔차 학습 방법의 이용 여부에 따른 도매인 범위를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 5는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 6은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 7은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 8 내지 도 14는 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 다른 이미지 디블러링(Deblurring) 네트워크 처리방법의 결과 이미지를 나열한 것이다.
도 15는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템'를 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
도 1은 본 발명의 일 실시 예에 따른 나선 CNN(Convolutional Neural Network)망 처리 방법의 일 예시이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 디블러링 네트워크 방법은 나선 CNN 처리를 수행할 수 있다.
나선 CNN은 입력 레이어 xi, 숨겨진 레이어 h (가중치 및 바이어스가 포함됨), 출력 레이어 yi 및 적응형 흐름 제어 (AFC) 레이어 (+)룰 포함할 수 있다. (ττ +1) 재발 상태에서, 네트워크는 스킵 및 반복 연결을 통해 각각 입력 xi 및 이전 출력 yi ττ를 취하여 다음을 생성할 수 있다.
[수학식 1]
Figure pat00001
여기서, xi는 각 변수는 입력 레이어, h는 숨겨진(Hidden) 레이어(가중치 및 바이어스가 포함됨), yi는 출력 레이어, ττ는 각각 적응형 흐름 제어 층에 의한 반복적 인 상태, ααi 및 ββi는 및 학습 가능한 가중치 매개 변수의 색인이다
매 반복마다 잔차(Residual)는 점차 감소하고 선명한 이미지(DI)의 재구성은 원본에 더 가깝게 될 수 있다. 이전 숨겨진 레이어의 출력이 입력으로 다음 숨겨진 레이어로 공급되면 잔차가 목표 잔차에 접근할 수 있다. 이러한 반복 구조를 나선형 CNN이라고 한다. 각각의 서브 네트워크에서, 대응하는 각각의 반복 블록에 대한 모든 파라미터 (예를 들어, 가중치 및 바이어스)는 반복적인 상태에서 공유된다. 상기 모든 파라미터는 모든 반복 상태에 동일하게 적용될 수 있다.
후술할 TNet에서 반복적으로 발생하는 숨겨진 계층 h는 두 개의 컨볼루션 계층으로 구성될 수 있으며, 후술할 MDBNet의 경우 반복적인 숨겨진 계층 h는 두 계층의 컨볼루션 경로와 세 계층의 다중 계층 컨볼루션 경로로 분할되는 컨볼루션 계층으로 구성될 수 있으며, 병합 컨볼루션 층을 포함 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리시스템의 구성도이다.
도 2를 참조하면 본 발명의 일 실시 예에 따른 이미지 디블러링 네트워크 처리시스템은 디블러링부(201) 및 텍스쳐학습부(202)를 포함할 수 있다.
디블러링부(202)는 mDBNet을 포함할 수 있다. 상기 디블러링부(202)는 상기 mDBNet을 이용해 이미지 디블러링을 수행할 수 있다.
복원 네트워크 (mDBNet)는 흐린 이미지 xB를 입력으로 취하여 정제 된 DI 출력
Figure pat00002
를 재구성할 수 있다. 여기서, mDBNet은 수학식 2 및 수학식 3를 이용해 입력 xB를 취하여 fD(xB)를 생성하며, 여기서 for = 1, ..., SD이다.
[수학식 2]
Figure pat00003
[수학식 3]
Figure pat00004
여기서, SD은 mDBNet의 반복 상태의 수, ττ는 반복 상태의 인덱스, Hττ-1 및 Hττ는 ττ-1번째 및 ττ번째 나선 CNN의 반복 상태, f0(.)는 초기 임베딩 피쳐 맵, GR(.)은 잔여 함수, ααR 및 ββR은 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ D의 모든 동작에 대해 동일한 파라미터 세트 θθττ D이 사용될 수 있다.
상기 mDBNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 멀티 스케일 재구성 콘볼루션 레이어의 멀티 스케일 특징 임베딩 레이어와 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1 및 패딩 1을 갖는 공간 크기 3 X 3의 128 필터를 가질 수 있다.
텍스쳐학습부(203)는 TNet(Texture Guidance Network)을 포함할 수 있다. 상기 TNet은 이미지의 텍스쳐 정보를 추출할 수 있다.
텍스처 유도 네트워크 (Texture Guidance Network, TNet)는 mDBNet의 출력
Figure pat00005
을 취하여 텍스처 출력
Figure pat00006
를 재구성할 수 있다. 여기에서, TNet은 수학식 4 및 수학식 5을 이용해 입력
Figure pat00007
를 취하여 fT(
Figure pat00008
)를 생성할 수 있으며, 여기서 for = 1, ..., St이다.
[수학식 4]
Figure pat00009
[수학식 5]
Figure pat00010
여기서, St는 TNet의 재발성 상태의 총 수, ττ는 재발 성 상태의 인덱스, Hττ-1 및 Hττ는 각각 ττ 번째 재발 성 상태의 입력과 출력, f0(.)는 초기 임베딩 피쳐 맵, GT(.)는 초기 잔여 함수, ααT 및 ββT는 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ T의 모든 동작에 대해 동일한 파라미터 세트 θθττ T가 사용된다.
상기 TNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1과 패딩 1을 사용하여 공간 크기 3 X 3의 128 개의 필터가 포함될 수 있다.
SID(Single Image Deblurring)의 작업은 주어진 흐린(BI) 이미지 xB에서 선명한(DI) 이미지 y를 복구하는 것이다. 상기 심층 네트워크는 BI 입력 이미지를 입력 xB로 취하여 목표 이미지
Figure pat00011
를 예측한다. 따라서
Figure pat00012
를 예측하는 모델 f(.)를 찾아야 한다. 여기서
Figure pat00013
는 원본 출력 y의 추정치이다.
주어진 훈련 세트
Figure pat00014
에서 여기서
Figure pat00015
Figure pat00016
는 각각 i 번째 흐린(BI) 이미지, 선명한(DI) 이미지, 텍스처이다. 목적 함수 QD는 보조 손실 LA(.)를 포함하는 디블러링 손실 LD(.), 텍스처 유도 손실 LT(.)을 갖는 고려 된 심층 네트워크의 네트워크 파라미터 θθ = {θθD, θθT}를 최적화 하기 위해 채택되고, 다음과 같이 수학식 6으로 표현될 수 있다.
[수학식 6]
Figure pat00017
여기서,
Figure pat00018
이다.
여기서, 여기서, FD는 mDBNet의 손실 함수, FT는 TNet의 손실 함수, l1은 l1-loss, l2는 l2-loss, lss는 SSIM-loss이다.
Figure pat00019
는 mDBNet의 출력,
Figure pat00020
은 TNet의 출력이다. λλD은 복원 손실에 할당된 손실 가중치, λλT는 텍스쳐 손실에 할당된 손실 가중치, λλA는 보조 손실에 할당된 손실 가중치, λλ1는 11- 손실에 할당된 손실 가중치, λλ2는 12-손실에 할당된 손실 가중치, λλss는 SSIM- 손실에 할당된 손실 가중치이다.
도 3은 잔차 학습 방법의 이용 여부에 따른 도매인 범위를 도시한 것이다.
도 3 (a)는 이미지 도메인에서의 픽셀 값의 분포를 나타낸 것이고, 도 3 (b)는 잔차 도메인에서의 픽셀 값의 분포를 나타낸 것이다. 도 3에서 확인할 수 있는 것과 같이 잔차 학습을 이용하는 경우 픽셀 값의 범위가 좁으므로 시스템이 연산해야 하는 범위가 좁아져 시스템의 부하를 줄이고 더 정확한 값을 추측하게 할 수 있다.
Tnet에서 상기 DI을 이용해 텍스쳐 정보를 추출할 수 있다. 상기 Tnet이 추출하는 텍스쳐 정보는 텍스쳐 손실, 가중치, 보조 손실(Aux-loss)을 포함할 수 있다. 상기 MDBNet은 텍스쳐 정보를 직접 연결(Tnet+DC)해 재구성에 사용할 수 있다. 상기 MDBNet은 Tnet을 출력 이후에 연결(Tnet+LC)해 텍스쳐 정보를 재구성에 사용할 수 있다. 상기 MDBNet은 DI을 Tnet의 입력으로 제공할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 4를 참조하면, 상기 MDBNet은 상기 Tnet에서 얻은 가중치를 공유(Tnet+WS)해 이미지를 재구성할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 5을 참조하면, 상기 MDBNet은 상기 Tnet에서 얻은 보조 손실을 이용(Tnet+Aux)해 이미지를 재구성할 수 있다.
도 6은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 6은 기존 디블러링 방법과 본 발명의 일 실시 예에 따른 복구 방법의 PSNR을 비교한 그래프를 도시한 것이다.
도 6을 참조하면, PSNR(Peak signal-to-noise ratio)은 소음대비 신호의 최대값의 비를 나타내는 것으로 각 방식의 효과를 비교할 수 있다. 본 발명의 디블러링 방법(MDRN)의 효과가 가장 좋은 것을 확인할 수 있다.
도 7은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 7을 참조하면, PSNR(Peak signal-to-noise ratio)은 소음대비 신호의 최대값의 비를 나타내는 것이고, SSIM(Structural Similarity Index)은 원본과의 유사도를 비교한 수치로 높을수록 이미지 재구성의 성능이 좋은 것을 의미한다.
도 7에서 확인할 수 있는 것과 같이 이미지 세트와 커널 타입에 상관없이 본 발명의 디블러링 방법(MDRN)의 효과가 가장 좋은 것을 확인할 수 있다.
도 8 내지 도 14는 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 다른 이미지 디블러링(Deblurring) 네트워크 처리방법의 결과 이미지를 나열한 것이다.
도 8 내지 도 14를 참조하면, 이미지에서 붉은색 및 초록색 박스로 표시된 부분을 확대한 결과를 확인할 수 있다. 가장 우측 하단에 있는 원본과 비교할 때 각 방법에 따른 이미지의 복구 결과를 확인할 수 있다. 모든 이미지에서 본 발명의 일 실시 예에 따른 이미지 디블러링 네트워크 처리방법이 가장 우월한 성능을 보이는 것을 확인할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 흐름도이다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 흐린 이미지(BI)를 입력 받는 단계(S1510)를 포함할 수 있다.
S1510 단계에서 BI을 입력해 mDBNet에 입력할 수 있다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링 단계(S1520)를 포함할 수 있다.
S1520 단계에서 디블러링부(202)는 mDBNet을 포함할 수 있다. 상기 디블러링부(202)는 상기 mDBNet을 이용해 이미지 디블러링을 수행할 수 있다.
복원 네트워크 (mDBNet)는 흐린 이미지 xB를 입력으로 취하여 정제 된 DI 출력
Figure pat00021
를 재구성할 수 있다. 여기서, mDBNet은 수학식 2 및 수학식 3를 이용해 입력 xB를 취하여 fD(xB)를 생성하며, 여기서 for = 1, ..., SD이다.
[수학식 2]
Figure pat00022
[수학식 3]
Figure pat00023
여기서, SD은 mDBNet의 반복 상태의 수, ττ는 반복 상태의 인덱스, Hττ-1 및 Hττ는 ττ-1번째 및 ττ번째 나선 CNN의 반복 상태, f0(.)는 초기 임베딩 피쳐 맵, GR(.)은 잔여 함수, ααR 및 ββR은 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ D의 모든 동작에 대해 동일한 파라미터 세트 θθττ D이 사용될 수 있다.
상기 mDBNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 멀티 스케일 재구성 콘볼루션 레이어의 멀티 스케일 특징 임베딩 레이어와 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1 및 패딩 1을 갖는 공간 크기 3 X 3의 128 필터를 가질 수 있다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 단계(S1530)를 포함할 수 있다.
S1530 단계에서 텍스쳐학습부(203)는 TNet(Texture Guidance Network)을 포함할 수 있다. 상기 TNet은 이미지의 텍스쳐 정보를 추출할 수 있다.
텍스처 유도 네트워크 (Texture Guidance Network, TNet)는 mDBNet의 출력
Figure pat00024
을 취하여 텍스처 출력
Figure pat00025
를 재구성할 수 있다. 여기에서, TNet은 수학식 4 및 수학식 5을 이용해 입력
Figure pat00026
를 취하여 fT(
Figure pat00027
)를 생성할 수 있으며, 여기서 for = 1, ..., St이다.
[수학식 4]
Figure pat00028
[수학식 5]
Figure pat00029
여기서, St는 TNet의 재발성 상태의 총 수, ττ는 재발 성 상태의 인덱스, Hττ-1 및 Hττ는 각각 ττ 번째 재발 성 상태의 입력과 출력, f0(.)는 초기 임베딩 피쳐 맵, GT(.)는 초기 잔여 함수, ααT 및 ββT는 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ T의 모든 동작에 대해 동일한 파라미터 세트 θθττ T가 사용된다.
상기 TNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1과 패딩 1을 사용하여 공간 크기 3 X 3의 128 개의 필터가 포함될 수 있다.
SID(Single Image Deblurring)의 작업은 주어진 흐린(BI) 이미지 xB에서 선명한(DI) 이미지 y를 복구하는 것이다. 상기 심층 네트워크는 BI 입력 이미지를 입력 xB로 취하여 목표 이미지
Figure pat00030
를 예측한다. 따라서
Figure pat00031
를 예측하는 모델 f(.)를 찾아야 한다. 여기서
Figure pat00032
는 원본 출력 y의 추정치이다.
주어진 훈련 세트
Figure pat00033
에서 여기서
Figure pat00034
Figure pat00035
는 각각 i 번째 흐린(BI) 이미지, 선명한(DI) 이미지, 텍스처이다. 목적 함수 QD는 보조 손실 LA(.)를 포함하는 디블러링 손실 LD(.), 텍스처 유도 손실 LT(.)을 갖는 고려 된 심층 네트워크의 네트워크 파라미터 θθ = {θθD, θθT}를 최적화 하기 위해 채택되고, 다음과 같이 수학식 6으로 표현될 수 있다.
[수학식 6]
Figure pat00036
여기서,
Figure pat00037
이다.
여기서, 여기서, FD는 mDBNet의 손실 함수, FT는 TNet의 손실 함수, l1은 l1-loss, l2는 l2-loss, lss는 SSIM-loss이다.
Figure pat00038
는 mDBNet의 출력,
Figure pat00039
은 TNet의 출력이다. λλD은 복원 손실에 할당된 손실 가중치, λλT는 텍스쳐 손실에 할당된 손실 가중치, λλA는 보조 손실에 할당된 손실 가중치, λλ1는 11- 손실에 할당된 손실 가중치, λλ2는 12-손실에 할당된 손실 가중치, λλss는 SSIM- 손실에 할당된 손실 가중치이다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 단계(S1540)를 포함할 수 있다.
S1540 단계에서 디블러링부의 mDBNet은 텍스쳐 정보를 직접 또는 간접적으로 이미지 재구성에 이용할 수 있다. Tnet에서 상기 DI을 이용해 텍스쳐 정보를 추출할 수 있다. 상기 Tnet이 추출하는 텍스쳐 정보는 텍스쳐 손실, 가중치, 보조 손실(Aux-loss)을 포함할 수 있다. 상기 mDBNet은 텍스쳐 정보를 직접 연결(Tnet+DC)해 재구성에 사용할 수 있다. 상기 mDBNet은 Tnet을 출력 이후에 연결(Tnet+LC)해 텍스쳐 정보를 재구성에 사용할 수 있다. 상기 mDBNet은 DI을 Tnet의 입력으로 제공할 수 있다. 상기 mDBNet은 상기 Tnet에서 얻은 가중치를 공유(Tnet+WS)해 이미지를 재구성할 수 있다. 상기 mDBNet은 상기 Tnet에서 얻은 보조 손실을 이용(Tnet+Aux)해 이미지를 재구성할 수 있다.
상기 S1520 내지 S1540 단계는 상기 입력 이미지를 나선 CNN 처리하는 단계를 포함할 수 있다.
상기 나선 CNN 처리단계는 상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계, 상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계 및 상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함할 수 있다.
나선 CNN은 입력 레이어 xi, 숨겨진 레이어 h (가중치 및 바이어스가 포함됨), 출력 레이어 yi 및 적응형 흐름 제어 (AFC) 레이어 (+)룰 포함할 수 있다. (ττ +1) 재발 상태에서, 네트워크는 스킵 및 반복 연결을 통해 각각 입력 xi 및 이전 출력 yi ττ를 취하여 다음을 생성할 수 있다.
[수학식 1]
Figure pat00040
여기서, xi는 각 변수는 입력 레이어, h는 숨겨진(Hidden) 레이어(가중치 및 바이어스가 포함됨), yi는 출력 레이어, ττ는 각각 적응형 흐름 제어 층에 의한 반복적 인 상태, ααi 및 ββi는 및 학습 가능한 가중치 매개 변수의 색인이다
매 반복마다 잔차(Residual)는 점차 감소하고 선명한 이미지(DI)의 재구성은 원본에 더 가깝게 될 수 있다. 이전 숨겨진 레이어의 출력이 입력으로 다음 숨겨진 레이어로 공급되면 잔차가 목표 잔차에 접근할 수 있다. 이러한 반복 구조를 나선형 CNN이라고 한다. 각각의 서브 네트워크에서, 대응하는 각각의 반복 블록에 대한 모든 파라미터 (예를 들어, 가중치 및 바이어스)는 반복적인 상태에서 공유된다. 상기 모든 파라미터는 모든 반복 상태에 동일하게 적용될 수 있다.
TNet에서 반복적으로 발생하는 숨겨진 계층 h는 두 개의 컨볼루션 계층으로 구성될 수 있으며, mDBNet의 경우 반복적인 숨겨진 계층 h는 두 계층의 컨볼루션 경로와 세 계층의 다중 계층 컨볼루션 경로로 분할되는 컨볼루션 계층으로 구성될 수 있으며, 병합 컨볼루션 층을 포함 할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (14)

  1. 흐린 이미지(BI)를 입력 받는 단계;
    상기 입력 받은 이미지를 디블러링해 선명한 이미지(DI)를 출력하는 디블러링단계;
    를 포함하고,
    상기 디블러링 단계는,
    상기 입력 이미지를 나선 CNN 처리하는 단계;를 포함하고
    상기 나선 CNN 처리단계는,
    상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계;
    상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계; 및
    상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계;
    를 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  2. 제1항에 있어서,
    상기 재입력 단계는,
    상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  3. 제1항에 있어서,
    상기 디블러링 단계는,
    상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 단계;를 더 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  4. 제1항에 있어서,
    상기 네트워크 처리 방법은,
    상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 단계;를 더 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  5. 제4항에 있어서,
    상기 네트워크 처리 방법은,
    추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 단계; 더 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  6. 제1항에 있어서,
    상기 디블러링 단계는,
    잔차(Residual) 학습을 이용해 이미지를 복구하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  7. 제1항에 있어서,
    상기 디블러링 단계는,
    상기 흐린 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계;
    상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 출력하는 단계; 및
    상기 최종 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계;를 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  8. 흐린 이미지(BI)를 입력 받아 업스캐일링(Upscaling)하는 업스캐일링부; 및
    상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링부;
    를 포함하고,
    상기 디블러링부는,
    상기 입력 이미지를 CNN(Convolutional Neural Network)망이 상기 이미지를 처리하여 출력된 결과 이미지와 상기 입력 이미지를 CNN망에 재입력하여 나선 CNN 처리하는 것을 특징으로 하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  9. 제8항에 있어서,
    상기 디블러링부는,
    상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  10. 제8항에 있어서,
    상기 디블러링부는,
    상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  11. 제8항에 있어서,
    상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 텍스쳐학습부;를 더 포함하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  12. 제11항에 있어서,
    상기 디블러링부는,
    추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  13. 제8항에 있어서,
    상기 디블러링부는,
    잔차(Residual) 학습을 이용해 이미지를 복구하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  14. 제8항에 있어서,
    상기 디블러링부는,
    상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 및 상기 입력 이미지를 CNN망에 재입력하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.

KR1020180036887A 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템 KR102056073B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036887A KR102056073B1 (ko) 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036887A KR102056073B1 (ko) 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190114340A true KR20190114340A (ko) 2019-10-10
KR102056073B1 KR102056073B1 (ko) 2019-12-17

Family

ID=68206398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036887A KR102056073B1 (ko) 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102056073B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895801A (zh) * 2019-11-15 2020-03-20 北京金山云网络技术有限公司 图像处理方法、装置、设备及存储介质
CN112419200A (zh) * 2020-12-04 2021-02-26 宁波舜宇仪器有限公司 一种图像质量优化方法及显示方法
WO2021118270A1 (en) * 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
CN113240598A (zh) * 2021-05-08 2021-08-10 Oppo广东移动通信有限公司 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备
KR102303002B1 (ko) * 2021-03-31 2021-09-16 인하대학교 산학협력단 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치
KR102336103B1 (ko) * 2020-09-09 2021-12-08 울산과학기술원 딥러닝 기반 영상 디블러링 방법 및 이를 수행하는 장치
WO2022005157A1 (en) * 2020-07-02 2022-01-06 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
KR102361894B1 (ko) * 2020-11-25 2022-02-14 주식회사 제이토드 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치
CN114187191A (zh) * 2021-11-20 2022-03-15 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法
US20220156891A1 (en) * 2020-11-16 2022-05-19 Zhixiang Chi Methods and systems for deblurring blurry images
KR20220089431A (ko) * 2020-12-21 2022-06-28 포항공과대학교 산학협력단 머신러닝 기반의 비디오 화질개선 방법 및 장치
WO2024039964A1 (en) * 2022-08-19 2024-02-22 Capital One Services, Llc Systems and methods for blur identification and correction

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220028962A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 이미지 개선 방법, 이미지 개선 장치, 그 장치의 학습 방법 및 학습 장치

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895801A (zh) * 2019-11-15 2020-03-20 北京金山云网络技术有限公司 图像处理方法、装置、设备及存储介质
WO2021118270A1 (en) * 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
US11568518B2 (en) 2019-12-11 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
WO2022005157A1 (en) * 2020-07-02 2022-01-06 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
US11645738B2 (en) 2020-09-09 2023-05-09 Unist (Ulsan National Institute Of Science And Technology) Driving deep learning-based image deblurring method and apparatus performing the same
KR102336103B1 (ko) * 2020-09-09 2021-12-08 울산과학기술원 딥러닝 기반 영상 디블러링 방법 및 이를 수행하는 장치
US11741579B2 (en) * 2020-11-16 2023-08-29 Huawei Technologies Co., Ltd. Methods and systems for deblurring blurry images
US20220156891A1 (en) * 2020-11-16 2022-05-19 Zhixiang Chi Methods and systems for deblurring blurry images
KR102361894B1 (ko) * 2020-11-25 2022-02-14 주식회사 제이토드 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치
CN112419200A (zh) * 2020-12-04 2021-02-26 宁波舜宇仪器有限公司 一种图像质量优化方法及显示方法
CN112419200B (zh) * 2020-12-04 2024-01-19 宁波舜宇仪器有限公司 一种图像质量优化方法及显示方法
KR20220089431A (ko) * 2020-12-21 2022-06-28 포항공과대학교 산학협력단 머신러닝 기반의 비디오 화질개선 방법 및 장치
KR102303002B1 (ko) * 2021-03-31 2021-09-16 인하대학교 산학협력단 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치
CN113240598A (zh) * 2021-05-08 2021-08-10 Oppo广东移动通信有限公司 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备
CN114187191A (zh) * 2021-11-20 2022-03-15 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法
CN114187191B (zh) * 2021-11-20 2024-02-27 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法
WO2024039964A1 (en) * 2022-08-19 2024-02-22 Capital One Services, Llc Systems and methods for blur identification and correction

Also Published As

Publication number Publication date
KR102056073B1 (ko) 2019-12-17

Similar Documents

Publication Publication Date Title
KR102056073B1 (ko) 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템
JP6656111B2 (ja) 画像のノイズを除去する方法及びシステム
Yu et al. Underwater-GAN: Underwater image restoration via conditional generative adversarial network
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
US8498498B2 (en) Apparatus and method of obtaining high resolution image
CN112001914A (zh) 深度图像补全的方法和装置
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
CN114331886A (zh) 一种基于深度特征的图像去模糊方法
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
WO2020049567A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
Zheng et al. Depth image super-resolution using multi-dictionary sparse representation
Vasudevan et al. Efficient image de-noising technique based on modified cuckoo search algorithm
Nazir et al. 2HDED: Net for joint depth estimation and image deblurring from a single out-of-focus image
Liu et al. Robust guided image filtering
An et al. Blur invariant kernel-adaptive network for single image blind deblurring
Kamilov et al. Motion-adaptive depth superresolution
Voronin et al. Fast texture and structure image reconstruction using the perceptual hash
Tsai et al. Efficient reflection removal algorithm for single image by pixel compensation and detail reconstruction
Sahragard et al. Image restoration by variable splitting based on total variant regularizer
Tsai et al. An improved adaptive deconvolution algorithm for single image deblurring
Kamilov et al. Depth superresolution using motion adaptive regularization
Wang et al. A encoder-decoder deblurring network combined with high-frequency a priori
Awati et al. Digital image inpainting using modified kriging algorithm
Mukhopadhyay et al. Adaptive Radii selection based Inpainting method for impulse noise removal
Kim et al. Unsupervised single-image reflection separation using perceptual deep image priors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant