KR102056073B1 - 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템 - Google Patents

이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템 Download PDF

Info

Publication number
KR102056073B1
KR102056073B1 KR1020180036887A KR20180036887A KR102056073B1 KR 102056073 B1 KR102056073 B1 KR 102056073B1 KR 1020180036887 A KR1020180036887 A KR 1020180036887A KR 20180036887 A KR20180036887 A KR 20180036887A KR 102056073 B1 KR102056073 B1 KR 102056073B1
Authority
KR
South Korea
Prior art keywords
image
deblurring
network
cnn
input
Prior art date
Application number
KR1020180036887A
Other languages
English (en)
Other versions
KR20190114340A (ko
Inventor
유창동
박상혁
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180036887A priority Critical patent/KR102056073B1/ko
Publication of KR20190114340A publication Critical patent/KR20190114340A/ko
Application granted granted Critical
Publication of KR102056073B1 publication Critical patent/KR102056073B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 이미지 디블러링(Deblurring) 네트워크 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 잔차 학습, 스파이럴 CNN 및 텍스쳐 학습을 이용한 선명한 이미지 복원 네트워크 방법 및 시스템에 관한 것으로, 흐린 이미지를 입력 받는 단계, 상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링 단계를 포함하고, 상기 디블러링 단계는 상기 입력 이미지를 나선 CNN 처리하는 단계를 포함하고 상기 나선 CNN 처리단계는, 상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계 상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계 및 상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함하는 구성을 개시한다.

Description

이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템{IMAGE DEBLURRING NETWORK PROCESSING METHODS AND SYSTEMS}
본 발명은 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템에 관한 것으로서, 더욱 상세하게는 잔차 학습, 스파이럴 CNN 및 텍스쳐 학습을 이용한 선명한 이미지 디블러링 네트워크 방법 및 시스템에 관한 것이다.
디지털 카메라가 보급되면서 사진을 촬영하는 행위에 필름의 소모라는 부담이 감소하기 시작하면서 흔들림 초첨 어긋남 등의 이유로 흐리게 촬영된 이미지를 복원하는 기술 또한 정확도가 높고 빠르게 이미지를 복원시키기 위해 발전해 왔다. 최근에는 다양한 이미지 디블러링 알고리즘이 모호한 입력 이미지에서 선명하게 디블러 이미지를 복구하기 위해 도입되었다. 이미지 전처리 이미지 디블러링 알고리즘이 도입되었다. 총 변이 정규화 및 FoE (Field of Experts), 자연 이미지 사전을 사용한 디콘볼루션, 희소한 선행 디콘볼루션(sparse prior deconvolution), 하이퍼 라플라시안 선행 알고리즘, 등방성 가우시안 블러의 디콘볼루션의 개선된 FoE 모델, 특이점 제거를 위한 한계 우도(EM), 패치 선행(patch priors)을 사용한 에지 기반 블러 링 커널 추정, 어두운 채널 사전을 이용한 이미지 흐림 제거 등의 방법이 제공되었다.
최근에 다양한 학습 기반의 디블러링 방법이 공개 되었다. 선행 패치 기반의 희소 표현, 내부 패치 반복 기반의 블러링 커널 추정, 균일 블러 제거를 위한 가우스 조건부 랜덤 필드(Gaussian Conditional Random Field, CRF) 모델의 포화 (saturationaware) 접근 캐스케이드, 회귀 트리 블라인드 디블러링을 위한 필드 (RTF) 캐스캐이드 모델 및 멀티 스케일 패치 피라미드 모델링을 사용하는 로컬 적응 선행(priors)이 제공되었다. 이러한 알고리즘은 큰 장점을 보여주었으나 이들 방법 중 상당수는 손으로 제작한 기능과 부정확한 커널 추정에 의존하기 때문에 여전히 제한적이다.
보다 최근에, 학습 기반 방법으로서 신경망이 디블러링에 도입되었다. 그러나 이러한 기술들도 이미지 복원을 위한 30층 깊이 잔차 인코더-디코더 네트워크에서 이전의 모든 구조가 얕아 학습 기능이 제한적이다.
따라서, 이전의 디블러링 방법에서 달성할 수 없는 단일 아키텍처로서 완전하게 훈련 될 수 있고, 향상된 디블러링을 위한 모든 프로세스 (특성 추출, 디블러링, 복원 및 텍스처 향상)를 단일 깊은 CNN 모델에 통합해 데이터 중심 방식으로 손실을 최소화 하는 것이 필요한 실정이다.
따라서, 본 발명의 목적은 기존의 디블러링 방법보다 정확도가 높은 이미지 복원을 수행할 수 있도록 하는 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템을 제공하는데 있다.
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 흐린(BI) 이미지를 입력 받는 단계, 상기 입력 받은 이미지를 디블러링해 선명한 이미지(DI)를 출력하는 디블러링단계를 포함하고, 상기 디블러링 단계는 상기 입력 이미지를 나선 CNN 처리하는 단계;를 포함하고 상기 나선 CNN 처리단계는 상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계, 상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계 및 상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 재입력 단계는 상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링 단계는 상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 네트워크 처리 방법은 상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 네트워크 처리 방법은 추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링 단계는 잔차(Residual) 학습을 이용해 이미지를 복구할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링 단계는 상기 흐린 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계, 상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 출력하는 단계 및 상기 최종 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함할 수 있다,
상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리시스템은 흐린 이미지(BI)를 입력 받아 업스캐일링(Upscaling)하는 업스캐일링부 및 상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링부를 포함하고, 상기 디블러링부는 상기 입력 이미지를 CNN(Convolutional Neural Network)망이 상기 이미지를 처리하여 출력된 결과 이미지와 상기 입력 이미지를 CNN망에 재입력하여 나선 CNN 처리할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 텍스쳐학습부;를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 잔차(Residual) 학습을 이용해 이미지를 복구할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디블러링부는 상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 및 상기 입력 이미지를 CNN망에 재입력할 수 있다.
본 발명에 따르면, 콘볼루션 레이어의 수 및 파라미터의 수를 증가시키지 않고도 딥 CNN망을 이용하여 이미지 복원을 하는 효과를 얻을 수 있다.
또한, 선명한 이미지에서 텍스쳐 정보를 추출해 이용하여 정확도를 향상시킨 이미지 복원 기술을 제공할 수 있다.
또한, 멀티 스캐일 특징 임베딩을 통해 정확도를 향상시킨 이미지 복원 기술을 제공할 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 나선 CNN(Convolutional Neural Network)망 처리 방법의 일 예시이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리시스템의 구성도이다.
도 3은 잔차 학습 방법의 이용 여부에 따른 도매인 범위를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 5는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 6은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 7은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 8 내지 도 14는 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 다른 이미지 디블러링(Deblurring) 네트워크 처리방법의 결과 이미지를 나열한 것이다.
도 15는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템'를 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
도 1은 본 발명의 일 실시 예에 따른 나선 CNN(Convolutional Neural Network)망 처리 방법의 일 예시이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 디블러링 네트워크 방법은 나선 CNN 처리를 수행할 수 있다.
나선 CNN은 입력 레이어 xi, 숨겨진 레이어 h (가중치 및 바이어스가 포함됨), 출력 레이어 yi 및 적응형 흐름 제어 (AFC) 레이어 (+)룰 포함할 수 있다. (ττ +1) 재발 상태에서, 네트워크는 스킵 및 반복 연결을 통해 각각 입력 xi 및 이전 출력 yi ττ를 취하여 다음을 생성할 수 있다.
[수학식 1]
Figure 112018031603781-pat00001
여기서, xi는 각 변수는 입력 레이어, h는 숨겨진(Hidden) 레이어(가중치 및 바이어스가 포함됨), yi는 출력 레이어, ττ는 각각 적응형 흐름 제어 층에 의한 반복적 인 상태, ααi 및 ββi는 및 학습 가능한 가중치 매개 변수의 색인이다
매 반복마다 잔차(Residual)는 점차 감소하고 선명한 이미지(DI)의 재구성은 원본에 더 가깝게 될 수 있다. 이전 숨겨진 레이어의 출력이 입력으로 다음 숨겨진 레이어로 공급되면 잔차가 목표 잔차에 접근할 수 있다. 이러한 반복 구조를 나선형 CNN이라고 한다. 각각의 서브 네트워크에서, 대응하는 각각의 반복 블록에 대한 모든 파라미터 (예를 들어, 가중치 및 바이어스)는 반복적인 상태에서 공유된다. 상기 모든 파라미터는 모든 반복 상태에 동일하게 적용될 수 있다.
후술할 TNet에서 반복적으로 발생하는 숨겨진 계층 h는 두 개의 컨볼루션 계층으로 구성될 수 있으며, 후술할 MDBNet의 경우 반복적인 숨겨진 계층 h는 두 계층의 컨볼루션 경로와 세 계층의 다중 계층 컨볼루션 경로로 분할되는 컨볼루션 계층으로 구성될 수 있으며, 병합 컨볼루션 층을 포함 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리시스템의 구성도이다.
도 2를 참조하면 본 발명의 일 실시 예에 따른 이미지 디블러링 네트워크 처리시스템은 디블러링부(201) 및 텍스쳐학습부(202)를 포함할 수 있다.
디블러링부(202)는 mDBNet을 포함할 수 있다. 상기 디블러링부(202)는 상기 mDBNet을 이용해 이미지 디블러링을 수행할 수 있다.
복원 네트워크 (mDBNet)는 흐린 이미지 xB를 입력으로 취하여 정제 된 DI 출력
Figure 112018031603781-pat00002
를 재구성할 수 있다. 여기서, mDBNet은 수학식 2 및 수학식 3를 이용해 입력 xB를 취하여 fD(xB)를 생성하며, 여기서 for = 1, ..., SD이다.
[수학식 2]
Figure 112018031603781-pat00003
[수학식 3]
Figure 112018031603781-pat00004
여기서, SD은 mDBNet의 반복 상태의 수, ττ는 반복 상태의 인덱스, Hττ-1 및 Hττ는 ττ-1번째 및 ττ번째 나선 CNN의 반복 상태, f0(.)는 초기 임베딩 피쳐 맵, GR(.)은 잔여 함수, ααR 및 ββR은 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ D의 모든 동작에 대해 동일한 파라미터 세트 θθττ D이 사용될 수 있다.
상기 mDBNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 멀티 스케일 재구성 콘볼루션 레이어의 멀티 스케일 특징 임베딩 레이어와 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1 및 패딩 1을 갖는 공간 크기 3 X 3의 128 필터를 가질 수 있다.
텍스쳐학습부(203)는 TNet(Texture Guidance Network)을 포함할 수 있다. 상기 TNet은 이미지의 텍스쳐 정보를 추출할 수 있다.
텍스처 유도 네트워크 (Texture Guidance Network, TNet)는 mDBNet의 출력
Figure 112018031603781-pat00005
을 취하여 텍스처 출력
Figure 112018031603781-pat00006
를 재구성할 수 있다. 여기에서, TNet은 수학식 4 및 수학식 5을 이용해 입력
Figure 112018031603781-pat00007
를 취하여 fT(
Figure 112018031603781-pat00008
)를 생성할 수 있으며, 여기서 for = 1, ..., St이다.
[수학식 4]
Figure 112018031603781-pat00009
[수학식 5]
Figure 112018031603781-pat00010
여기서, St는 TNet의 재발성 상태의 총 수, ττ는 재발 성 상태의 인덱스, Hττ-1 및 Hττ는 각각 ττ 번째 재발 성 상태의 입력과 출력, f0(.)는 초기 임베딩 피쳐 맵, GT(.)는 초기 잔여 함수, ααT 및 ββT는 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ T의 모든 동작에 대해 동일한 파라미터 세트 θθττ T가 사용된다.
상기 TNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1과 패딩 1을 사용하여 공간 크기 3 X 3의 128 개의 필터가 포함될 수 있다.
SID(Single Image Deblurring)의 작업은 주어진 흐린(BI) 이미지 xB에서 선명한(DI) 이미지 y를 복구하는 것이다. 상기 심층 네트워크는 BI 입력 이미지를 입력 xB로 취하여 목표 이미지
Figure 112018031603781-pat00011
를 예측한다. 따라서
Figure 112018031603781-pat00012
를 예측하는 모델 f(.)를 찾아야 한다. 여기서
Figure 112018031603781-pat00013
는 원본 출력 y의 추정치이다.
주어진 훈련 세트
Figure 112018031603781-pat00014
에서 여기서
Figure 112018031603781-pat00015
Figure 112018031603781-pat00016
는 각각 i 번째 흐린(BI) 이미지, 선명한(DI) 이미지, 텍스처이다. 목적 함수 QD는 보조 손실 LA(.)를 포함하는 디블러링 손실 LD(.), 텍스처 유도 손실 LT(.)을 갖는 고려 된 심층 네트워크의 네트워크 파라미터 θθ = {θθD, θθT}를 최적화 하기 위해 채택되고, 다음과 같이 수학식 6으로 표현될 수 있다.
[수학식 6]
Figure 112018031603781-pat00017
여기서,
Figure 112018031603781-pat00018
이다.
여기서, 여기서, FD는 mDBNet의 손실 함수, FT는 TNet의 손실 함수, l1은 l1-loss, l2는 l2-loss, lss는 SSIM-loss이다.
Figure 112018031603781-pat00019
는 mDBNet의 출력,
Figure 112018031603781-pat00020
은 TNet의 출력이다. λλD은 복원 손실에 할당된 손실 가중치, λλT는 텍스쳐 손실에 할당된 손실 가중치, λλA는 보조 손실에 할당된 손실 가중치, λλ1는 11- 손실에 할당된 손실 가중치, λλ2는 12-손실에 할당된 손실 가중치, λλss는 SSIM- 손실에 할당된 손실 가중치이다.
도 3은 잔차 학습 방법의 이용 여부에 따른 도매인 범위를 도시한 것이다.
도 3 (a)는 이미지 도메인에서의 픽셀 값의 분포를 나타낸 것이고, 도 3 (b)는 잔차 도메인에서의 픽셀 값의 분포를 나타낸 것이다. 도 3에서 확인할 수 있는 것과 같이 잔차 학습을 이용하는 경우 픽셀 값의 범위가 좁으므로 시스템이 연산해야 하는 범위가 좁아져 시스템의 부하를 줄이고 더 정확한 값을 추측하게 할 수 있다.
Tnet에서 상기 DI을 이용해 텍스쳐 정보를 추출할 수 있다. 상기 Tnet이 추출하는 텍스쳐 정보는 텍스쳐 손실, 가중치, 보조 손실(Aux-loss)을 포함할 수 있다. 상기 MDBNet은 텍스쳐 정보를 직접 연결(Tnet+DC)해 재구성에 사용할 수 있다. 상기 MDBNet은 Tnet을 출력 이후에 연결(Tnet+LC)해 텍스쳐 정보를 재구성에 사용할 수 있다. 상기 MDBNet은 DI을 Tnet의 입력으로 제공할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 4를 참조하면, 상기 MDBNet은 상기 Tnet에서 얻은 가중치를 공유(Tnet+WS)해 이미지를 재구성할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 텍스쳐 정보를 이용한 복구 방법의 일 예시이다.
도 5을 참조하면, 상기 MDBNet은 상기 Tnet에서 얻은 보조 손실을 이용(Tnet+Aux)해 이미지를 재구성할 수 있다.
도 6은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 6은 기존 디블러링 방법과 본 발명의 일 실시 예에 따른 복구 방법의 PSNR을 비교한 그래프를 도시한 것이다.
도 6을 참조하면, PSNR(Peak signal-to-noise ratio)은 소음대비 신호의 최대값의 비를 나타내는 것으로 각 방식의 효과를 비교할 수 있다. 본 발명의 디블러링 방법(MDRN)의 효과가 가장 좋은 것을 확인할 수 있다.
도 7은 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 성능을 비교한 표다.
도 7을 참조하면, PSNR(Peak signal-to-noise ratio)은 소음대비 신호의 최대값의 비를 나타내는 것이고, SSIM(Structural Similarity Index)은 원본과의 유사도를 비교한 수치로 높을수록 이미지 재구성의 성능이 좋은 것을 의미한다.
도 7에서 확인할 수 있는 것과 같이 이미지 세트와 커널 타입에 상관없이 본 발명의 디블러링 방법(MDRN)의 효과가 가장 좋은 것을 확인할 수 있다.
도 8 내지 도 14는 기존 이미지 디블러링(Deblurring) 네트워크 처리방법과 본 발명의 일 실시 예에 다른 이미지 디블러링(Deblurring) 네트워크 처리방법의 결과 이미지를 나열한 것이다.
도 8 내지 도 14를 참조하면, 이미지에서 붉은색 및 초록색 박스로 표시된 부분을 확대한 결과를 확인할 수 있다. 가장 우측 하단에 있는 원본과 비교할 때 각 방법에 따른 이미지의 복구 결과를 확인할 수 있다. 모든 이미지에서 본 발명의 일 실시 예에 따른 이미지 디블러링 네트워크 처리방법이 가장 우월한 성능을 보이는 것을 확인할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법의 흐름도이다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 흐린 이미지(BI)를 입력 받는 단계(S1510)를 포함할 수 있다.
S1510 단계에서 BI을 입력해 mDBNet에 입력할 수 있다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링 단계(S1520)를 포함할 수 있다.
S1520 단계에서 디블러링부(202)는 mDBNet을 포함할 수 있다. 상기 디블러링부(202)는 상기 mDBNet을 이용해 이미지 디블러링을 수행할 수 있다.
복원 네트워크 (mDBNet)는 흐린 이미지 xB를 입력으로 취하여 정제 된 DI 출력
Figure 112018031603781-pat00021
를 재구성할 수 있다. 여기서, mDBNet은 수학식 2 및 수학식 3를 이용해 입력 xB를 취하여 fD(xB)를 생성하며, 여기서 for = 1, ..., SD이다.
[수학식 2]
Figure 112018031603781-pat00022
[수학식 3]
Figure 112018031603781-pat00023
여기서, SD은 mDBNet의 반복 상태의 수, ττ는 반복 상태의 인덱스, Hττ-1 및 Hττ는 ττ-1번째 및 ττ번째 나선 CNN의 반복 상태, f0(.)는 초기 임베딩 피쳐 맵, GR(.)은 잔여 함수, ααR 및 ββR은 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ D의 모든 동작에 대해 동일한 파라미터 세트 θθττ D이 사용될 수 있다.
상기 mDBNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 멀티 스케일 재구성 콘볼루션 레이어의 멀티 스케일 특징 임베딩 레이어와 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1 및 패딩 1을 갖는 공간 크기 3 X 3의 128 필터를 가질 수 있다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 단계(S1530)를 포함할 수 있다.
S1530 단계에서 텍스쳐학습부(203)는 TNet(Texture Guidance Network)을 포함할 수 있다. 상기 TNet은 이미지의 텍스쳐 정보를 추출할 수 있다.
텍스처 유도 네트워크 (Texture Guidance Network, TNet)는 mDBNet의 출력
Figure 112018031603781-pat00024
을 취하여 텍스처 출력
Figure 112018031603781-pat00025
를 재구성할 수 있다. 여기에서, TNet은 수학식 4 및 수학식 5을 이용해 입력
Figure 112018031603781-pat00026
를 취하여 fT(
Figure 112018031603781-pat00027
)를 생성할 수 있으며, 여기서 for = 1, ..., St이다.
[수학식 4]
Figure 112018031603781-pat00028
[수학식 5]
Figure 112018031603781-pat00029
여기서, St는 TNet의 재발성 상태의 총 수, ττ는 재발 성 상태의 인덱스, Hττ-1 및 Hττ는 각각 ττ 번째 재발 성 상태의 입력과 출력, f0(.)는 초기 임베딩 피쳐 맵, GT(.)는 초기 잔여 함수, ααT 및 ββT는 AFC에 의한 학습 가능한 밸런싱 가중치를 각각 나타낸다. 대응하는 반복 상태 Gττ T의 모든 동작에 대해 동일한 파라미터 세트 θθττ T가 사용된다.
상기 TNet은 특징 임베딩 콘볼루션 레이어, 10 상태(state)의 다중 스케일 반복 블록 나선 CNN 및 마지막 재구성 콘볼루션 레이어를 포함할 수 있다. 마지막 재구성 콘볼루션 레이어를 제외하고 다른 콘볼루션 레이어는 스트라이드 1과 패딩 1을 사용하여 공간 크기 3 X 3의 128 개의 필터가 포함될 수 있다.
SID(Single Image Deblurring)의 작업은 주어진 흐린(BI) 이미지 xB에서 선명한(DI) 이미지 y를 복구하는 것이다. 상기 심층 네트워크는 BI 입력 이미지를 입력 xB로 취하여 목표 이미지
Figure 112018031603781-pat00030
를 예측한다. 따라서
Figure 112018031603781-pat00031
를 예측하는 모델 f(.)를 찾아야 한다. 여기서
Figure 112018031603781-pat00032
는 원본 출력 y의 추정치이다.
주어진 훈련 세트
Figure 112018031603781-pat00033
에서 여기서
Figure 112018031603781-pat00034
Figure 112018031603781-pat00035
는 각각 i 번째 흐린(BI) 이미지, 선명한(DI) 이미지, 텍스처이다. 목적 함수 QD는 보조 손실 LA(.)를 포함하는 디블러링 손실 LD(.), 텍스처 유도 손실 LT(.)을 갖는 고려 된 심층 네트워크의 네트워크 파라미터 θθ = {θθD, θθT}를 최적화 하기 위해 채택되고, 다음과 같이 수학식 6으로 표현될 수 있다.
[수학식 6]
Figure 112018031603781-pat00036
여기서,
Figure 112018031603781-pat00037
이다.
여기서, 여기서, FD는 mDBNet의 손실 함수, FT는 TNet의 손실 함수, l1은 l1-loss, l2는 l2-loss, lss는 SSIM-loss이다.
Figure 112018031603781-pat00038
는 mDBNet의 출력,
Figure 112018031603781-pat00039
은 TNet의 출력이다. λλD은 복원 손실에 할당된 손실 가중치, λλT는 텍스쳐 손실에 할당된 손실 가중치, λλA는 보조 손실에 할당된 손실 가중치, λλ1는 11- 손실에 할당된 손실 가중치, λλ2는 12-손실에 할당된 손실 가중치, λλss는 SSIM- 손실에 할당된 손실 가중치이다.
본 발명의 일 실시 예에 따른 이미지 디블러링(Deblurring) 네트워크 처리방법은 추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 단계(S1540)를 포함할 수 있다.
S1540 단계에서 디블러링부의 mDBNet은 텍스쳐 정보를 직접 또는 간접적으로 이미지 재구성에 이용할 수 있다. Tnet에서 상기 DI을 이용해 텍스쳐 정보를 추출할 수 있다. 상기 Tnet이 추출하는 텍스쳐 정보는 텍스쳐 손실, 가중치, 보조 손실(Aux-loss)을 포함할 수 있다. 상기 mDBNet은 텍스쳐 정보를 직접 연결(Tnet+DC)해 재구성에 사용할 수 있다. 상기 mDBNet은 Tnet을 출력 이후에 연결(Tnet+LC)해 텍스쳐 정보를 재구성에 사용할 수 있다. 상기 mDBNet은 DI을 Tnet의 입력으로 제공할 수 있다. 상기 mDBNet은 상기 Tnet에서 얻은 가중치를 공유(Tnet+WS)해 이미지를 재구성할 수 있다. 상기 mDBNet은 상기 Tnet에서 얻은 보조 손실을 이용(Tnet+Aux)해 이미지를 재구성할 수 있다.
상기 S1520 내지 S1540 단계는 상기 입력 이미지를 나선 CNN 처리하는 단계를 포함할 수 있다.
상기 나선 CNN 처리단계는 상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계, 상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계 및 상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계를 포함할 수 있다.
나선 CNN은 입력 레이어 xi, 숨겨진 레이어 h (가중치 및 바이어스가 포함됨), 출력 레이어 yi 및 적응형 흐름 제어 (AFC) 레이어 (+)룰 포함할 수 있다. (ττ +1) 재발 상태에서, 네트워크는 스킵 및 반복 연결을 통해 각각 입력 xi 및 이전 출력 yi ττ를 취하여 다음을 생성할 수 있다.
[수학식 1]
Figure 112018031603781-pat00040
여기서, xi는 각 변수는 입력 레이어, h는 숨겨진(Hidden) 레이어(가중치 및 바이어스가 포함됨), yi는 출력 레이어, ττ는 각각 적응형 흐름 제어 층에 의한 반복적 인 상태, ααi 및 ββi는 및 학습 가능한 가중치 매개 변수의 색인이다
매 반복마다 잔차(Residual)는 점차 감소하고 선명한 이미지(DI)의 재구성은 원본에 더 가깝게 될 수 있다. 이전 숨겨진 레이어의 출력이 입력으로 다음 숨겨진 레이어로 공급되면 잔차가 목표 잔차에 접근할 수 있다. 이러한 반복 구조를 나선형 CNN이라고 한다. 각각의 서브 네트워크에서, 대응하는 각각의 반복 블록에 대한 모든 파라미터 (예를 들어, 가중치 및 바이어스)는 반복적인 상태에서 공유된다. 상기 모든 파라미터는 모든 반복 상태에 동일하게 적용될 수 있다.
TNet에서 반복적으로 발생하는 숨겨진 계층 h는 두 개의 컨볼루션 계층으로 구성될 수 있으며, mDBNet의 경우 반복적인 숨겨진 계층 h는 두 계층의 컨볼루션 경로와 세 계층의 다중 계층 컨볼루션 경로로 분할되는 컨볼루션 계층으로 구성될 수 있으며, 병합 컨볼루션 층을 포함 할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (14)

  1. 흐린 이미지(BI)를 입력 받는 단계;
    상기 입력 받은 이미지를 디블러링해 선명한 이미지(DI)를 출력하는 디블러링단계;
    를 포함하고,
    상기 디블러링 단계는,
    상기 입력 이미지를 나선 CNN 처리하는 단계;를 포함하고
    상기 나선 CNN 처리단계는,
    상기 입력 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계;
    상기 CNN망에서 상기 이미지를 처리한 결과 이미지를 출력하는 단계;
    상기 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계; 및
    상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 단계
    를 포함하고,
    상기 디블러링 단계는 상기 텍스쳐 정보에서 얻은 가중치를 공유해 이미지를 재구성하는 것을 특징으로 하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  2. 제1항에 있어서,
    상기 재입력 단계는,
    상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  3. 제1항에 있어서,
    상기 디블러링 단계는,
    상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 단계;를 더 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 네트워크 처리 방법은,
    추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 단계; 더 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  6. 제1항에 있어서,
    상기 디블러링 단계는,
    잔차(Residual) 학습을 이용해 이미지를 복구하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  7. 제1항에 있어서,
    상기 디블러링 단계는,
    상기 흐린 이미지를 CNN(Convolutional Neural Network)망에 입력하는 단계;
    상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 출력하는 단계; 및
    상기 최종 결과 이미지 및 상기 입력 이미지를 CNN망에 재입력하는 단계;를 포함하는 이미지 디블러링(Deblurring) 네트워크 처리방법.
  8. 흐린 이미지(BI)를 입력 받아 업스캐일링(Upscaling)하는 업스캐일링부;
    상기 흐린 이미지를 복구해 선명한 이미지(DI)를 출력하는 디블러링부;및
    상기 DI 이미지에서 텍스쳐(Texture) 정보를 추출하는 텍스쳐학습부
    를 포함하고,
    상기 디블러링부는,
    상기 입력 이미지를 CNN(Convolutional Neural Network)망이 상기 이미지를 처리하여 출력된 결과 이미지와 상기 입력 이미지를 CNN망에 재입력하여 나선 CNN 처리하고,
    상기 텍스쳐학습부에서 얻은 가중치를 공유해 이미지를 재구성하는 것을 특징으로 하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  9. 제8항에 있어서,
    상기 디블러링부는,
    상기 결과 이미지 및 상기 입력 이미지에 각각 가중치를 적용해 재입력하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  10. 제8항에 있어서,
    상기 디블러링부는,
    상기 나선 CNN 처리된 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  11. 삭제
  12. 제8항에 있어서,
    상기 디블러링부는,
    추출된 상기 텍스쳐 정보를 이용해 상기 흐린 이미지(BI)를 복구해 선명한 이미지(DI)를 출력하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  13. 제8항에 있어서,
    상기 디블러링부는,
    잔차(Residual) 학습을 이용해 이미지를 복구하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.
  14. 제8항에 있어서,
    상기 디블러링부는,
    상기 CNN망에서 상기 흐린 이미지를 처리하는 제 1 결과 이미지, 상기 흐린 이미지를 멀티 스캐일 특징 임베딩(multi-scale feature embedding)하는 제 2 결과 이미지를 합쳐 디블러링한 최종 결과 이미지를 및 상기 입력 이미지를 CNN망에 재입력하는 이미지 디블러링(Deblurring) 네트워크 처리시스템.

KR1020180036887A 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템 KR102056073B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036887A KR102056073B1 (ko) 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036887A KR102056073B1 (ko) 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190114340A KR20190114340A (ko) 2019-10-10
KR102056073B1 true KR102056073B1 (ko) 2019-12-17

Family

ID=68206398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036887A KR102056073B1 (ko) 2018-03-29 2018-03-29 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102056073B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568519B2 (en) 2020-08-31 2023-01-31 Samsung Electronics Co., Ltd. Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895801A (zh) * 2019-11-15 2020-03-20 北京金山云网络技术有限公司 图像处理方法、装置、设备及存储介质
WO2021118270A1 (en) * 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
WO2022005157A1 (en) * 2020-07-02 2022-01-06 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
KR102336103B1 (ko) * 2020-09-09 2021-12-08 울산과학기술원 딥러닝 기반 영상 디블러링 방법 및 이를 수행하는 장치
US11741579B2 (en) * 2020-11-16 2023-08-29 Huawei Technologies Co., Ltd. Methods and systems for deblurring blurry images
KR102361894B1 (ko) * 2020-11-25 2022-02-14 주식회사 제이토드 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치
CN112419200B (zh) * 2020-12-04 2024-01-19 宁波舜宇仪器有限公司 一种图像质量优化方法及显示方法
KR102493980B1 (ko) * 2020-12-21 2023-01-30 포항공과대학교 산학협력단 머신러닝 기반의 비디오 화질개선 방법 및 장치
KR102303002B1 (ko) * 2021-03-31 2021-09-16 인하대학교 산학협력단 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치
CN113240598A (zh) * 2021-05-08 2021-08-10 Oppo广东移动通信有限公司 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备
CN114187191B (zh) * 2021-11-20 2024-02-27 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法
US20240062338A1 (en) * 2022-08-19 2024-02-22 Capital One Services, Llc Systems and methods for blur identification and correction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tae Hyun Kim ET AL:"Online Video Deblurring via Dynamic Temporal Blending Network", The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 4038-4047(2017.04.11.) 1부.*
Xin Tao ET AL:"Scale-recurrent Network for Deep Image Deblurring", Computer Vision and Pattern Recognition, arXiv:1802.01770 (https://arxiv.org/abs/1802.01770)(2018.02.06.) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568519B2 (en) 2020-08-31 2023-01-31 Samsung Electronics Co., Ltd. Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus

Also Published As

Publication number Publication date
KR20190114340A (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
KR102056073B1 (ko) 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템
JP6656111B2 (ja) 画像のノイズを除去する方法及びシステム
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
US8498498B2 (en) Apparatus and method of obtaining high resolution image
CN114331886A (zh) 一种基于深度特征的图像去模糊方法
EP3847616A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
Erkan et al. Adaptive right median filter for salt-and-pepper noise removal
CN114998099A (zh) 一种基于图像预训练策略的图像超分辨率方法
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
CN114821432A (zh) 基于离散余弦变换的视频目标分割对抗攻击方法
Zheng et al. Depth image super-resolution using multi-dictionary sparse representation
Vasudevan et al. Efficient image de-noising technique based on modified cuckoo search algorithm
Wu et al. An improved Richardson-Lucy algorithm for single image deblurring using local extrema filtering
Singh et al. HoEnTOA: Holoentropy and Taylor Assisted Optimization based Novel Image Quality Enhancement Algorithm for Multi-Focus Image Fusion
Senshiki et al. PSF estimation using total variation regularization and shock filter for blind deconvolution
KR101527962B1 (ko) 비디오 영상의 움직임 객체 추출 방법
An et al. Blur Invariant Kernel-Adaptive Network for Single Image Blind Deblurring
Voronin et al. Fast texture and structure image reconstruction using the perceptual hash
Mamiya et al. Few-class learning for image-classification-aware denoising
CN117121047A (zh) 用于图像降噪的噪声重建
Cao et al. Robust deblurring based on prediction of informative structure
Tsai et al. Efficient reflection removal algorithm for single image by pixel compensation and detail reconstruction
Sahragard et al. Image restoration by variable splitting based on total variant regularizer
Mukhopadhyay et al. Adaptive Radii selection based Inpainting method for impulse noise removal
Kim et al. Unsupervised single-image reflection separation using perceptual deep image priors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant