KR20210092286A - 이미지 복원 방법 및 장치, 전자 기기, 저장 매체 - Google Patents

이미지 복원 방법 및 장치, 전자 기기, 저장 매체 Download PDF

Info

Publication number
KR20210092286A
KR20210092286A KR1020217018723A KR20217018723A KR20210092286A KR 20210092286 A KR20210092286 A KR 20210092286A KR 1020217018723 A KR1020217018723 A KR 1020217018723A KR 20217018723 A KR20217018723 A KR 20217018723A KR 20210092286 A KR20210092286 A KR 20210092286A
Authority
KR
South Korea
Prior art keywords
image
sub
network
images
path
Prior art date
Application number
KR1020217018723A
Other languages
English (en)
Inventor
케 유
신타오 왕
차오 동
샤오우 탕
첸 찬게 로이
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210092286A publication Critical patent/KR20210092286A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 출원의 실시예는 이미지 복원 방법을 개시하였고, 상기 이미지 복원 방법은, 획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하는 단계, 및 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 출력하여, 이미지의 복원 이미지를 획득하는 단계를 포함한다. 상기 방안을 실시함으로써, 이미지 복원의 속도를 향상시킨다.

Description

이미지 복원 방법 및 장치, 전자 기기, 저장 매체
관련 출원의 상호 참조
본 출원은 출원 번호가 201910117782.X이고, 출원일이 2019년 2월 15일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 출원의 실시예는 이미지 복원 기술분야에 관한 것으로, 이미지 복원 방법 및 장치, 전자 기기, 저장 매체에 관한 것이지만 이에 한정되지 않는다.
이미지 복원은 컴퓨터 처리를 통해, 품질이 저하된 이미지를 재구축하거나 복구하는 처리 과정이며; 이미지 품질 저하에는 카메라의 노출 노이즈, 디포커스 블러, 이미지 압축으로 인한 왜곡 등과 같은 많은 이유가 있으며; 이미지 품질 저하 과정은 다양한 정도의 왜곡을 포함할 수 있으므로, 현실에서 이미지 복원 문제는 매우 복잡하며, 이미지마다 왜곡의 타입 및 정도는 차이가 있으며, 심지어 동일한 이미지에서도 균일하게 분포되지 않으며; 예컨대, 노출 노이즈는 이미지의 어두운 부분에서 상대적으로 크고, 이미지의 밝은 부분에서 상대적으로 작다.
일반적으로, 이미지 복원에서, 각 이미지의 모든 영역에 대해 동일한 처리를 수행하며; 상이한 콘텐츠 및 왜곡 상황을 포함한 이미지를 복구할 수 있도록, 이러한 처리 방식은 일반적으로 딥 뉴럴 네트워크와 같이 복잡하며, 이러한 복잡한 알고리즘은 느리게 실행되며, 실제 적용에서의 요구를 만족시키기 어렵다.
실제적으로, 상이한 이미지 영역에서, 이미지의 콘텐츠 및 왜곡 상황은 다소 상이하므로, 그 중 일부 이미지 영역이 더욱 간단한 방식으로 복원을 수행할 수 있도록 한다. 예컨대, 이미지에 포함된 배경 하늘 텍스처는 상대적으로 단순하고, 밝기가 높으며, 포함된 노이즈가 상대적으로 작으므로, 이러한 영역은 복원하기가 매두 쉽다. 그러나, 이미지 콘텐츠 및 왜곡 상황에 대한 비균일한 분포는, 일부 간단한 영역에 대해 복잡한 계산을 수행할 수도 있어, 이미지 복원 속도를 느리게 할 수 있다.
본 출원의 실시예는 이미지 복원 속도를 높이기 위한 이미지 복원 방법 및 장치, 전자 기기, 저장 매체를 제공하기를 기대한다.
본 출원의 실시예의 기술방안은 다음과 같이 구현된다.
본 출원의 실시예는 이미지 복원 방법을 제공하며,
획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하는 단계; 및 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 상기 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 상기 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 출력하여, 상기 이미지의 복원 이미지를 획득한다.
상기 방안에서, 상기 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 상기 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 상기 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 획득하는 단계는, 상기 각 서브 이미지를 인코딩하여, 상기 각 서브 이미지의 특징을 획득하는 단계; 상기 각 서브 이미지의 특징을 상기 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 상기 서브 네트워크에서의 경로를 사용하여 네트워크를 선택하고, 상기 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 상기 각 서브 이미지의 복원 네트워크에 따라, 상기 각 서브 이미지를 처리하여, 각 서브 이미지의 처리된 특징을 출력하여 얻는 단계; 및 각 서브 이미지의 처리된 특징을 디코딩하여, 상기 각 서브 이미지의 복원 이미지를 획득하는 단계를 포함한다.
상기 방안에서, 상기 각 서브 이미지의 특징을 상기 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 상기 서브 네트워크에서의 경로를 사용하여 네트워크를 선택하고, 상기 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 상기 각 서브 이미지의 복원 네트워크에 따라, 상기 각 서브 이미지를 처리하여, 각 서브 이미지의 처리된 특징을 출력하여 얻는 단계는, 상기 서브 네트워크의 개수가 N이고, N 개의 서브 네트워크가 순차적으로 연결되면; 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계; 상기 i 번째 복원 네트워크에 따라, 상기 각 서브 이미지의 제i 레벨 특징에 대해 처리를 수행하여, 상기 각 서브 이미지의 제i+1 레벨 특징을 출력하여 얻는 단계; i를 i+1로 업데이트하고, 상기 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계로 돌아가는 단계; 및 각 서브 이미지의 제N 레벨 특징을 출력하여 얻을 때까지, 상기 각 서브 이미지의 제N 레벨 특징을 상기 각 서브 이미지의 처리된 특징으로 결정하는 단계를 포함하며; i=1이면, 상기 각 서브 이미지의 제i 레벨 특징은 상기 각 서브 이미지의 특징이며; 여기서, N은 1보다 작지 않은 양의 정수이며, M은 2보다 작지 않은 양의 정수이며, i는 1보다 크거나 같고, N보다 작거나 같은 양의 정수이다.
상기 방안에서, 획득된 서브 이미지의 복원 이미지의 개수가 기설정된 개수보다 크거나 같을 때, 상기 이미지 복원 방법은, 기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득하는 단계; 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하는 단계; 및 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 보상 함수에 따라, 상기 최적화기를 통해 강화 학습 알고리즘을 사용하여, 상기 경로 선택 네트워크에 대해 훈련을 수행하여, 상기 경로 선택 네트워크에서의 파라미터를 업데이트하는 단계를 더 포함한다.
상기 방안에서, 기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득한 후, 획득된 기설정된 개수의 서브 이미지의 복원 이미지와, 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하기 전에, 상기 이미지 복원 방법은, 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서의 파라미터를 업데이트하는 단계를 더 포함한다.
상기 방안에서, 상기 보상 함수는 하기와 같다.
Figure pct00001
(1)
여기서,
Figure pct00002
는 제i 레벨 서브 네트워크의 보상 함수를 나타내고,
Figure pct00003
는 하나의 기설정된 벌점항을 표시하며,
Figure pct00004
는 하나의 지시 함수를 표시하며,
Figure pct00005
는 난이도 계수를 표시하며;
Figure pct00006
=1이면, 지시 함수의 값은 1이고,
Figure pct00007
≠1이면, 지시 함수의 값은 0이다.
상기 방안에서, 상기 난이도 계수
Figure pct00008
는 하기와 같다.
Figure pct00009
(2)
여기서,
Figure pct00010
는 상기 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수를 표시하고,
Figure pct00011
은 하나의 임계값이다.
본 출원의 실시예는 이미지 복원 장치를 제공하며, 상기 이미지 복원 장치는, 획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하도록 구성된 분할 모듈; 및 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 상기 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 상기 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 출력하여, 상기 이미지의 복원 이미지를 획득하도록 구성된 복원 모듈을 포함한다.
상기 이미지 복원 장치에서, 상기 복원 모듈은, 상기 각 서브 이미지를 인코딩하여, 상기 각 서브 이미지의 특징을 획득하도록 구성된 인코딩 서브 모듈; 상기 각 서브 이미지의 특징을 상기 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 상기 서브 네트워크에서의 경로를 사용하여 네트워크를 선택하고, 상기 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 상기 각 서브 이미지의 복원 네트워크에 따라, 상기 각 서브 이미지를 처리하여, 각 서브 이미지의 처리된 특징을 출력하여 얻도록 구성된 복원 서브 모듈; 및 각 서브 이미지의 처리된 특징을 디코딩하여, 상기 각 서브 이미지의 복원 이미지를 획득하도록 구성된 디코딩 서브 모듈을 포함한다.
상기 이미지 복원 장치에서, 상기 복원 서브 모듈은 구체적으로, 상기 서브 네트워크의 개수가 N이고, N 개의 서브 네트워크가 순차적으로 연결되면; 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택함으로써; 상기 i 번째 복원 네트워크에 따라, 상기 각 서브 이미지의 제i 레벨 특징에 대해 처리를 수행하여, 상기 각 서브 이미지의 제i+1 레벨 특징을 출력하여 얻고; i를 i+1로 업데이트하고, 상기 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계로 돌아가며; 각 서브 이미지의 제N 레벨 특징을 출력하여 얻을 때까지, 상기 각 서브 이미지의 제N 레벨 특징을 상기 각 서브 이미지의 처리된 특징으로 결정하도록 구성되고; i=1이면, 상기 각 서브 이미지의 제i 레벨 특징은 상기 각 서브 이미지의 특징이며; 여기서, N은 1보다 작지 않은 양의 정수이며, M은 2보다 작지 않은 양의 정수이며, i는 1보다 크거나 같고, N보다 작거나 같은 양의 정수이다.
상기 이미지 복원 장치에서, 획득된 서브 이미지의 복원 이미지의 개수가 기설정된 개수보다 크거나 같을 때, 상기 이미지 복원 장치는, 기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득하도록 구성된 획득 모듈을 더 포함하고; 제1 훈련 모듈은, 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하고; 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 보상 함수에 따라, 상기 최적화기를 통해 강화 학습 알고리즘을 사용하여, 상기 경로 선택 네트워크에 대해 훈련을 수행하여, 상기 경로 선택 네트워크에서의 파라미터를 업데이트하도록 구성된다.
상기 이미지 복원 장치에서, 상기 이미지 복원 장치는, 제2 훈련 모듈은, 기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득한 후, 획득된 기설정된 개수의 서브 이미지의 복원 이미지와, 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하기 전에, 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하도록 구성된다.
상기 이미지 복원 장치에서, 상기 보상 함수는 하기와 같다.
Figure pct00012
(1)
여기서,
Figure pct00013
는 제i 레벨 서브 네트워크의 보상 함수를 나타내고,
Figure pct00014
는 하나의 기설정된 벌점항을 표시하며,
Figure pct00015
는 하나의 지시 함수를 표시하며,
Figure pct00016
는 난이도 계수를 표시하며;
Figure pct00017
=1이면, 지시 함수의 값은 1이고,
Figure pct00018
≠1이면, 지시 함수의 값은 0이다.
상기 이미지 복원 장치에서, 상기 난이도 계수
Figure pct00019
는 하기와 같다.
Figure pct00020
(2)
여기서,
Figure pct00021
는 상기 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수를 표시하고,
Figure pct00022
은 하나의 임계값이다.
본 출원의 실시예는 전자 기기를 제공하며, 상기 전자 기기는 프로세서, 메모리 및 통신 버스를 포함하며; 여기서, 상기 통신 버스는, 상기 프로세서 및 상기 메모리 사이의 연결 통신을 구현하도록 구성되고; 상기 프로세서는, 상기 메모리에 저장된 이미지 복원 프로그램을 실행하여, 상기 이미지 복원 방법을 구현하도록 구성된다.
본 출원은 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 판독 가능 저장 매체는 하나 또는 복수 개의 프로그램을 저장하고, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행되어, 상기 이미지 복원 방법을 구현할 수 있다.
이로부터 알다시피, 본 출원의 실시예에 의해 제공된 이미지 복원 방법 및 장치, 전자 기기, 저장 매체, 이미지 복원 장치는 획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하고, 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원하며, 각 서브 이미지의 복원 이미지를 출력하여, 이미지의 복원 이미지를 획득하며; 다시 말해서, 본 출원의 실시예의 기술방안에서, 획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 먼저 획득한 후, 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원하며, 이로부터 알다시피, 다중 경로 뉴럴 네트워크에서 각 서브 이미지를 위해 대응하는 복원 네트워크를 결정함으로써, 각 서브 이미지에 사용되는 복원 네트워크는 모두 동일한 것은 아니며, 상이한 서브 이미지를 위해 상이한 복원 네트워크를 사용하므로, 상이한 서브 이미지를 위해 상이한 복원 네트워크를 사용하여 복원을 수행하며, 일부 서브 이미지를 위해 간단한 방식으로 복원을 수행할 수 있고, 일부 서브 이미지를 위해 복잡한 방식으로 복원을 수행할 수도 있어, 이러한 영역 맞춤형 이미지 복원 방법을 사용함으로써, 이미지 복원의 복잡도를 감소시켜, 이미지 복원의 속도를 향상시킨다.
도 1은 본 출원의 실시예에서 제공한 이미지 복원 방법의 흐름 모식도이다.
도 2는 본 출원의 실시예에서 제공한 다른 이미지 복원 방법의 흐름 모식도이다.
도 3은 본 출원의 실시예에서 제공한 선택적인 다중 경로 뉴럴 네트워크의 구조 모식도이다.
도 4는 본 출원의 실시예에서 제공한 선택적인 동적 블록의 구조 모식도이다.
도 5는 본 출원의 실시예에서 제공한 다른 선택적인 동적 블록의 구조 모식도이다.
도 6은 본 출원의 실시예에서 제공한 이미지 복원 장치의 구조 모식도이다.
도 7은 본 출원의 실시예에서 제공한 전자 기기의 구조 모식도이다.
본 발명 실시예의 목적, 기술방안 및 장점을 더욱 명확해지도록 하기 위해, 아래에 본 발명 실시예에서의 첨부 도면을 결합하여, 발명의 구체적인 기술방안에 대해 추가로 설명을 진행하고자 한다. 아래에 실시예는 본 발명을 설명하기 위한 것일 뿐, 본 발명의 범위를 한정하려는 것은 아니다.
본 출원 일 실시예는 이미지 복원 방법을 제공한다. 도 1은 본 출원의 실시예에서 제공한 이미지 복원 방법의 흐름 모식도이며, 도 1에 도시된 바와 같이, 상기 이미지 복원 방법은 다음의 단계를 포함할 수 있다.
단계 S101에 있어서, 획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득한다.
현재, 카메라의 노출 노이즈, 디포커스 블러 및 이미지 압축 등으로 인해 이미지 왜곡을 초래하므로, 이미지를 복원해야 하지만, 이미지의 품질 저하 과정은 다양한 정도가 상이한 왜곡이 포함될 수 있어, 왜곡의 타입 및 정도는 상이한 이미지마다 차이가 존재하므로, 각 이미지의 모든 영역에 대해 하나의 딥 뉴럴 네트워크를 사용하여 동일한 처리를 수행함으로써, 이미지 복원의 속도에 영향을 미칠 수 있다.
이미지 복원의 속도를 향상시키기 위해, 먼저, 이미지를 획득한 후, 이미지 영역 분할을 먼저 수행하여, 하나 이상의 서브 이미지를 획득한다.
실제 적용에서, 하나의 이미지를 획득하면, 상기 이미지의 해상도가 63*63이고, 상기 이미지를 위해 분할을 수행하여, 여러 영역을 획득하며, 각 영역은 상기 서브 이미지이며, 여기서, 각 서브 이미지는 수평 좌표의 방향 및 수직 좌표의 방향으로 인접한 이미지와 10 개의 픽셀만큼 중첩되며, 다중 경로 뉴럴 네트워크가 복원된 후, 이러한 복원된 서브 이미지를 하나의 완전한 이미지로 조합하여, 중첩 영역을 평균 처리함으로써, 복원된 이미지를 얻을 수 있다.
단계 S102에 있어서, 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 출력하여, 이미지의 복원 이미지를 획득한다.
하나 이상의 서브 이미지를 획득한 후, 각 서브 이미지에 대한 복원을 구현하기 위해, 각 서브 이미지를 다중 경로 뉴럴 네트워크에 순차적으로 입력하여, 다중 경로 뉴럴 네트워크에서, 각 서브 이미지를 위해 복원 네트워크를 결정함으로써, 다중 경로 뉴럴 네트워크로부터 각 서브 이미지의 복원 이미지를 출력하도록, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원하며, 마지막으로, 모든 서브 이미지의 복원 이미지를 조합하여, 이미지의 복원 이미지를 획득한다.
각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력함으로써 각 서브 이미지의 복원 이미지를 획득하기 위해, 선택적인 실시예에서, 도 2는 본 출원의 실시예에서 제공한 다른 이미지 복원 방법의 흐름 모식도이며, 도 2에 도시된 바와 같이, 단계 S102는 다음의 단계를 포함할 수 있다.
단계 S201에 있어서, 각 서브 이미지를 위해 인코딩을 수행하여, 각 서브 이미지의 특징을 획득한다.
단계 S202에 있어서, 각 서브 이미지의 특징을 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 서브 네트워크에서의 경로 선택 네트워크를 사용하여, 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 각 서브 이미지의 복원 네트워크에 따라, 각 서브 이미지를 위해 처리를 수행하여, 각 서브 이미지의 처리된 특징을 출력하여 얻는다.
단계 S203에 있어서, 각 서브 이미지의 처리된 특징을 디코딩하여, 각 서브 이미지의 복원 이미지를 획득한다.
구체적으로, 다중 경로 뉴럴 네트워크는 3 개의 처리 부분을 포함하며, 첫 번째 처리 부분은 각 서브 이미지에 대한 인코딩을 구현하며, 인코더로 구현할 수 있으며, 예를 들어, 서브 이미지는 하나의 칼라 이미지 영역이며, 63*63*3의 텐서로 표시할 수 있으며, 인코더로 인코딩하여, 상기 서브 이미지의 특징을 출력하여 획득하며, 하나의 63*63*64의 텐서로 표시할 수 있다.
이로써, 다중 경로 뉴럴 네트워크에서, 우선 서브 이미지를 위해 인코딩을 수행하여 상기 서브 이미지의 특징을 획득한다.
두 번째 처리 부분에 있어서, 서브 이미지의 특징을 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하며, 여기서, 상기 서브 네트워크는 동적 블록(Dynamic block)에 대응할 수 있으며, 여기서, 동적 블록의 개수는 N 개일 수 있으며, N은 1의 양의 정수보다 크거나 같으며, 다시 말해서, 상기 서브 네트워크는 하나의 동적 블록일 수 있거나, 두 개 또는 두 개 이상의 동적 블록일 수 있으며; 여기서, 본 출원의 실시예는 구체적인 한정을 하지 않는다.
각 동적 블록에서, 하나의 경로 선택기(상기 경로 선택 네트워크에 해당함)를 포함하고, 각 서브 이미지를 위해 복원 네트워크를 결정함으로써, 각 이미지로 하여금 상이한 동적 블록에서 상이한 복원 네트워크 처리를 수행하도록 함으로써, 상이한 서브 이미지를 위해 선택 상이한 처리 방식을 선택하는 목적을 구현하기 위한 것이며, 획득된 처리된 특징은 하나의 63*63*64의 텐서이다.
세 번째 처리 부분에 있어서, 각 서브 이미지에 대한 디코딩을 구현하므로, 각 서브 이미지의 처리된 특징을 획득한 후, 각 서브 이미지를 처리한 후 디코딩하며, 여기서, 디코더를 토?? 구현될 수 있으며, 예를 들어, 상기 처리된 특징을 디코딩하여, 서브 이미지의 복원된 이미지를 획득하며, 63*63*3의 텐서로 표시할 수 있다.
여기서, 다중 경로 뉴럴 네트워크에서 서브 네트워크가 서브 이미지의 특징에 대한 처리를 구현하기 위해, 선택적인 실시예에서, 단계 S202는,
서브 네트워크의 개수가 N이고, N 개의 서브 네트워크가 순차적으로 연결되면;
각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계;
i 번째 복원 네트워크에 따라, 각 서브 이미지를 위해 제i 레벨 특징을 처리를 수행하여, 각 서브 이미지의 제i+1 레벨 특징을 출력하여 획득하는 단계;
i를 i+1로 업데이트하고, 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계로 돌아가는 단계; 및
각 서브 이미지의 제N 레벨 특징을 출력하여 얻을 때까지, 각 서브 이미지의 제N 레벨 특징을 각 서브 이미지의 처리된 특징으로 결정하는 단계를 포함할 수 있으며;
i=1이면, 각 서브 이미지의 제i 레벨 특징은 각 서브 이미지의 특징이며;
여기서, N은 1보다 작지 않은 양의 정수이며, M은 2보다 작지 않은 양의 정수이며, i는 1보다 크거나 같고, N보다 작거나 같은 양의 정수이다.
서브 네트워크가 동적 블록인 것을 예로 들면, 다중 경로 뉴럴 네트워크가 N 개의 동적 블록을 포함하고, N 개의 동적 블록이 순차적으로 서로 연결되면, 획득된 서브 이미지의 특징을 첫 번째 동적 블록에 입력하며, 각 동적 블록은 하나의 경로 선택기, 하나의 공유 경로 및 M 개의 동적 경로를 포함한다.
첫 번째 동적 블록이 서브 이미지의 특징을 수신하여, 수신된 서브 이미지의 특징을 서브 이미지의 제1 레벨 특징으로 취하고, 첫 번째 경로 선택기는 서브 이미지의 제1 레벨 특징에 기반하여, M 개의 동적 경로로부터 서브 이미지를 위해 첫 번째 복원 네트워크를 결정함으로써, 공유 경로 및 M 개의 동적 경로에서 선택된 동적 경로는 첫 번째 복원 네트워크를 구성하며; 다음, 제1 레벨 복원 네트워크에 따라, 서브 이미지의 제1 레벨 특징에 대해 처리를 수행하여, 서브 이미지의 제2 레벨 특징을 획득하며, i를 2로 업데이트하며, 서브 이미지의 제2 레벨 특징을 두 번째 동적 블록에 입력하여, 첫 번째 동적 블록과 동일한 처리 방법에 따라, 서브 이미지의 제3 레벨 특징을 획득하며, 서브 이미지의 제N 레벨 특징을 얻을 때까지, 이와 같이 유추함으로써, 각 서브 이미지의 처리된 특징을 획득한다.
여기서, 다중 경로 뉴럴 네트워크에서, 서브 이미지의 특징의 크기 및 복원 네트워크의 개수는 모두 가변적이며, 실제 적용에서, 서브 이미지의 특징의 크기는 63*63*64의 텐서일 수 있고, 32*32*16의 텐서일 수도 있으며, 96*96*48의 텐서 등일 수도 있으며; 동적 블록의 개수 N 및 동적 경로의 개수 M은 가변적이고, 예를 들어, N=6, M=2; N=5, M=4이며; 여기서, 본 출원의 실시예는 구체적으로 한정하지 않는다.
여기서, 설명해야 할 것은, 상기 N 및 M의 파라미터의 선택에서, 해결해야 할 왜곡 문제가 더 복잡해지면, N 및 M을 적절하게 증가시킬 수 있으며, 반대인 경우, N 및 M을 감소시킬 수 있다.
상기 공유 경로 및 제2-M 개의 동적 경로의 구조는 잔여 블록(residual block)에 한정되지 않으며, 밀집 모듈(dense block) 등 다른 구조일 수도 있다.
설명해야 할 것은, 상기 각 동적 블록에서의 경로 선택기의 네트워크 구조는 동일할 수 있거나, 상이할 수도 있으며, 여기서, 본 출원의 실시예는 구체적으로 한정하지 않는다.
실제 적용에서, 상기 경로 선택기에, 63*63*64의 텐서가 입력되고, 선택된 경로의 번호가 출력되며, 경로 선택기의 구조는 입력에서 출력까지 각각 C 개의 컨볼루션 계층, 하나의 완전 연결 계층(출력 차원은 32임), 하나의 장단기 메모리(LSTM, Long-Short Term Memory) 블록(상태 수는 32임) 및 하나의 완전 연결 계층(출력 차원은 M임)이다. 여기서 마지막 계층의 활성화 함수는 Softmax 또는 ReLU이고, 활성화된 M 차원 벡터에서 가장 큰 요소의 시퀀스 번호는 선택된 동적 경로 번호이다.
여기서, C의 개수는 복원 작업의 난이도에 따라 조정될 수 있고, 첫 번째 완전 연결 계층의 출력 차원 및 LSTM 모듈의 상태 수는 32에 국한되지 않으며, 16 및 64 등일 수 있다.
다중 경로 뉴럴 네트워크에서의 파라미터에 대한 업데이트를 구현하기 위해, 선택적인 실시예에서, 획득된 서브 이미지의 복원 이미지의 개수가 기설정된 개수보다 크거나 같을 때, 상기 이미지 복원 방법은,
기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득하는 단계;
기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하는 단계; 및
기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 보상 함수에 따라, 최적화기를 통해 강화 학습 알고리즘을 사용하여, 경로 선택 네트워크에 대해 훈련을 수행하여, 경로 선택 네트워크에서의 파라미터를 업데이트하는 단계를 더 포함한다.
구체적으로, 참조 이미지가 미리 저장되고, 기설정된 개수가 32인 것을 예로 들면, 32 개의 서브 이미지의 복원 이미지를 획득한 후, 이 32 개의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지를 샘플로 하여, 상기 샘플 데이터에 기반하여, 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화로 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트한다.
동시에, 여전히 상기 32 개의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지를 샘플로 취하여, 경로 선택 네트워크를 훈련시키기 위해, 여기서 강화 학습 알고리즘을 사용하며, 강화 학습 알고리즘을 사용하기 위해, 보상 함수를 미리 구성하며, 상기 강화 학습 알고리즘의 최적화 목표는 모든 보상 함수의 합계에 대한 기대치를 최적화하는 것이며; 이로써, 상기 샘플 데이터에 기반하여, 기설정된 보상 함수에 따라, 최적화기를 통해 강화 학습 알고리즘을 사용하여 경로 선택 네트워크에 대해 훈련을 수행함으로써, 경로 선택 네트워크의 파라미터를 업데이트하는 목적을 달성한다.
다시 말해서, 상이한 처리 방식을 사용하는 동시에, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크, 및 경로 선택 네트워크에 대해 훈련을 수행하여, 네트워크의 파라미터를 업데이트하는 목적을 달성한다.
여기서, 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지를 미리 설정하기 전의 손실 함수에 있어서, 상기 손실 함수는 L2 손실 함수일 수 있거나, VGG 손실 함수일 수도 있으며, 여기서, 본 출원의 실시예는 구체적인 한정을 하지 않는다.
다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 더 잘 업데이트하기 위해, 선택적인 실시예에서, 기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득한 후, 획득된 기설정된 개수의 서브 이미지의 복원 이미지와, 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하기 전에, 상기 이미지 복원 방법은,
기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에서의 파라미터를 업데이트한다.
다시 말해서, 상이한 처리 방식을 사용하는 동시에, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크, 및 경로 선택 네트워크에 대해 훈련을 수행하기 전에, 샘플에 기반하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 먼저 훈련을 수행한 다음, 상이한 처리 방식을 사용하는 동시에, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크, 및 경로 선택 네트워크에 대해 훈련을 수행함으로써, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크, 및 경로 선택 네트워크에서의 파라미터에 대해 더 나은 최적화를 수행할 수 있다.
선택적인 실시예에서, 상기 보상 함수는 공식 (1)에 나타낸 바와 같다.
Figure pct00023
(1)
여기서,
Figure pct00024
는 제i 레벨 서브 네트워크의 보상 함수를 나타내고,
Figure pct00025
는 하나의 기설정된 벌점항을 표시하며,
Figure pct00026
는 하나의 지시 함수를 표시하며,
Figure pct00027
는 난이도 계수를 표시하며;
Figure pct00028
=1이면, 지시 함수의 값은 1이고,
Figure pct00029
≠1이면, 지시 함수의 값은 0이다.
여기서, 상기 벌점항은 하나의 설정된 값이며, 상기 벌점항의 값의 크기는 서브 이미지의 왜곡 정도와 연관되며, 네트워크 복잡도의 크기를 나타내며,
Figure pct00030
=1이면, 즉 간단한 연결 경로가 선택될 때, 상기 경로는 추가 계산 오버헤드를 도입하지 않았으므로 벌점항은 0이다.
Figure pct00031
≠1이면, 즉 하나의 복잡한 경로가 선택될 때, 보상 함수에는 벌점항(
Figure pct00032
를 감소함)이 존재한다.
상기 보상 함수는 서브 이미지의 난이도 계수에 기반한 보상 함수이고, 상기 난이도 계수는 상수 1일 수 있거나, 하나가 손실 함수와 연관되는 값일 수도 있으며, 여기서, 본 출원의 실시예는 구체적인 한정을 하지 않는다.
여기서, 난이도 계수가 하나가 손실 함수와 연관되는 값일 때, 선택적인 실시예에서, 상기 난이도 계수는 공식 (2)에 나타낸 바와 같다.
Figure pct00033
(2)
여기서,
Figure pct00034
는 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수를 표시하며,
Figure pct00035
은 하나의 임계값이다.
상기 손실 함수는 평균 제곱 오차 L2 손실 함수일 수 있거나, 비주얼 기하학적 그룹(VGG, Visual Geometry Group) 손실 함수일 수도 있으며, 여기서, 본 출원의 실시예는 구체적인 한정을 하지 않는다.
여기서, 설명해야 할 것은, 난이도 계수에 사용되는 손실 함수의 형태는 네트워크 훈련에서 사용되는 손실 함수의 형태와 동일할 수 있거나, 상이할 수도 있으며, 본 출원의 실시예는 구체적인 한정을 하지 않는다.
예를 들어, 난이도 계수와 변량이 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 거리 L2일 때, L2는 복원 효과를 나타내고, 복원 결과가 좋을수록, 이 항목의 값은 더욱 크므로, 보상 함수도 더욱 크다. 난이도 계수
Figure pct00036
는 하나의 이미지 영역의 복원 난이도를 나타내며, 난이도가 클 때,
Figure pct00037
의 값도 더욱 크며, 네트워크가 이러한 영역에 대해 더욱 정밀한 복원을 수행하도록 권장하며; 난이도가 작을 때,
Figure pct00038
의 값은 더욱 작으며, 네트워크가 이러한 영역에 대해 너무 정밀하게 복원을 수행할 것을 권장하지 않는다.
상기 하나 또는 복수 개의 실시예에 따른 이미지 복원 방법에 대해 예를 들어 설명하고자 한다.
도 3은 본 출원의 실시예에서 제공한 선택적인 다중 경로 뉴럴 네트워크의 구조 모식도이며; 도 3을 참조하면, 이미지를 획득하여, 이미지 영역에 대해 분할을 수행하여, 몇 개의 서브 이미지 x를 획득하고, 서브 이미지 x(63*63*3의 텐서로 표시함)를 다중 경로 뉴럴 네트워크에서의 인코더에 입력하며, 인코더는 하나의 컨볼루션 계층 Conv이며, 상기 컨볼루션 계층이 서브 이미지 x에 대해 인코딩을 수행함으로써, 서브 이미지 x의 특징(63*63*64의 텐서로 표시함)을 획득한다.
다음, 서브 이미지 x의 특징을 N 개의 동적 블록(Dynamic Block 1…Dynamic Block i…Dynamic Block N)에 포함되는 첫 번째 동적 블록에 입력하며, 도 3으로부터 볼 수 있다시피, 각 동적 블록은 하나의 공유 경로
Figure pct00039
, 하나의 경로 선택기
Figure pct00040
및 M 개의 동적 경로
Figure pct00041
를 포함하고, 첫 번째 동적 블록에 있어서, 서브 이미지의 제1 레벨 특징 x1을 수신하고, 경로 선택기는 x1에 대해 처리를 수행하여 a1을 획득하며, 본 실시예에서, a1은
Figure pct00042
을 선택할 수 있으며; a1을 통해 x1을 위해 M 개의 동적경로로부터 하나의 동적 경로를 결정함으로써, 공유 경로와 a1에 의해 결정된 동적경로 복원 네트워크를 구성하며, x1에 대해 처리를 수행하여, 서브 이미지의 제1 레벨 특징 x2를 획득한 후, x2를 제2 레벨 동적 블록에 입력하여, x1의 처리와 동일하며, x3을 획득하며, xn을 얻을 때까지, 서브 이미지의 처리된 특징으로 취한다.
최종적으로, xn을 디코더에 입력하며, 디코더가 하나의 컨볼루션 게층 Conv이며, 컨볼루션 계층 Conv를 통해 xn을 디코딩하여, 서브 이미지의 복원된 이미지(63*63*64의 텐서로 표시하고, 도 3에서의 출력(output)은 아래의 이미지로 나타냄)를 획득한다.
여기서, 경로 선택기 Pathfinder에 의해 63*63*64의 텐서가 입력되고, 선택된 경로의 번호 ai가 출력되며, 도 3에 도시된 바와 같이, 경로 선택기의 구조는 입력에서 출력까지 각각 C 개의 컨볼루션 계층(Conv 1에서 Conv C), 하나의 완전 연결 계층(FC)(출력 차원은 32임), 하나의 장단기 메모리(LSTM, Long-Short Term Memory) 블록(상태 수는 32임) 및 하나의 완전 연결 계층(출력 차원은 M임)이다. 여기서 마지막 계층의 활성화 함수는 Softmax 또는 ReLU이고, 활성화된 M 차원 벡터에서 가장 큰 요소의 시퀀스 번호는 선택된 동적 경로 번호이다.
기설정된 개수가 32이면, 32 개의 서브 이미지의 복원 이미지를 획득한 후, 참조 이미지 GT(y로 표시함)에서 상기 32 개의 서브 이미지에 서로 대응하는 참조 이미지를 먼저 획득함으로써, 훈련 샘플을 획득한 후, 기설정된 서브 이미지의 복원 이미지와 참조 이미지 사이의 손실 함수 L2 loss에 따라, 최적화기 Adam을 통해 도 3에서의 경로 선택기를 제외한 네트워크에 대해 훈련을 수행하여, 경로 선택기를 제외한 네트워크의 파라미터를 업데이트함으로써, 네트워크 파라미터를 최적하하는 목적을 달성한다.
동시에, 상기 훈련 샘플에 기반하여, 미리 설정된, 난이도 계수와 관련된 보상 함수 Reward에 따라, 최적화기 Adam을 통해 강화 학습 알고리즘을 사용하여 도 3에서의 경로 선택기에 대해 훈련을 수행하여, 경로 선택기의 파라미터를 업데이트함으로써, 네트워크 파라미터를 최적화하는 목적을 달성한다.
여기서, 상기 최적화기에서 사용되는 알고리즘은 확률적 기울기 강하(SGD, Stochastic gradient descent)일 수 있으며, 상기 강화 학습 알고리즘은 REINFORCE일 수 있거나, 또한 actor-critic 등 다른 알고리즘일 수 있으며; 여기서, 본 출원의 실시예는 구체적으로 한정하지 않는다.
설명해야 할 것은, 도 3에서의 실선 화살표는 포워드(Forward) 경로 선택을 나타내고, 짧은 점선 화살표는 백워드(Backward) 경로 선택을 나타내며, 긴 점선 화살표는 포워드 경로 선택(Path Selection)을 나타낸다.
도 4는 본 출원의 실시예에서 제공한 선택적인 동적 블록의 구조 모식도이며; 도 4에 도시된 바와 같이, 동적 블록(Dynamic Block)은 하나의 공유 경로를 포함하며, 상기 공유 경로는 두 개의 컨볼루션 계층(두 개의 Conv(3, 64, 1))으로 구성되고, 하나의 경로 선택기 Pathfinder 및 두 개의 동적 경로, 하나의 동적 경로의 입력 및 출력은 동일하며, 즉, 상기 하나의 동적 경로는 서브 이미지의 특징에 대해 처리를 수행하지 않으며, 다른 하나의 동적 경로는 두 개의 컨볼루션 계층(두 개의 Conv(3, 64, 1))으로 구성되며, 경로 선택기의 구조는 공유 경로 및 동적 경로로 합성되며; 여기서, 경로 선택기는 두 개의 컨볼루션 계층(Conv(5, 4, 4)과 Conv(5, 24, 4)), 하나의 완전 연결 계층(Fc)(32)과 하나의 LSTM(32) 및 하나의 Fc(32)로 구성된다.
도 5는 본 출원의 실시예에서 제공한 다른 선택적인 동적 블록의 구조 모식도이며; 도 5에 도시된 바와 같이, 동적 블록(Dynamic Block)은 하나의 공유 경로를 포함하며, 상기 공유 경로는 두 개의 컨볼루션 계층(Conv(3, 24, 1) 및 Conv(3, 32, 1))으로 구성되고, 하나의 경로 선택기 Pathfinder 및 4 개의 동적 경로, 하나의 동적 경로의 입력 및 출력은 동일하며, 즉, 상기 하나의 동적 경로는 서브 이미지의 특징에 대해 처리를 수행하지 않으며, 다른 하나의 동적 경로는 2 개의 컨볼루션 계층(두 개의 Conv(3, 32, 1))로 구성되며, 경로 선택기의 구조는 공유 경로 및 동적 경로로 합성되며; 여기서, 경로 선택기는 네 개의 컨볼루션 계층(하나의 Conv(3, 8, 2), 두 개의 Conv(3, 16, 2) 및 하나의 Conv(3, 24, 2)), 하나의 완전 연결 계층(Fc)(32)과 하나의 LSTM(32) 및 하나의 Fc(32)로 구성된다.
상기 예를 통해, 가우시안 노이즈, 가우시안 블러, JPEG 압축 중 하나 또는 복수 개를 포함하되 이에 한정되지 않는 단일 또는 다중 왜곡의 품질 저하이미지를 복원할 수 있으며; 본 출원의 실시예는 동일한 이미지 복원 효과를 달성하는 조건 하에서 최대로 4 배의 속도 증가를 달성할 수 있으며, 구체적인 속도 증가 비율은 복원 작업과 관련이 있으며, 복원 작업이 복잡할수록 속도 증가가 뚜렷하며, 동일한 계산량을 전제로, 더 나은 복원 효과에 도달하며, 복원 효과는 피크 신호대 잡음비(PSNR, Peak Signal to Noise Ratio) 및 구조 유사도 지수(SSIM, Structural Similarity Index)로 측정할 수 있다.
또한, 노출 노이즈, 디포커스 블러, 압축 왜곡 등을 제거하거나 줄이는 등을 포함하여 휴대폰 사진의 이미지 품질을 빠르게 향상시킬 수 있다. 하나의 휴대폰 사진에는 많은 종류의 콘텐츠가 있으며, 넓고 부드러운 하늘 영역이나 흐린 배경이 있을 수 있으며, 이러한 영역은 처리하기 쉽고, 본 출원의 실시예를 통해, 이러한 영역을 비교적 빠르게 복원할 수 있으며, 그림의 주요 영역에 중점을 두어 계산함으로써, 좋고 빠른 이미지 복원을 구현한다.
본 출원의 실시예에서 제공한 이미지 복원 방법은, 이미지 복원 장치획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하고, 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 위해 복원을 수행하며, 각 서브 이미지의 복원 이미지를 출력하여, 이미지의 복원 이미지를 획득하며; 다시 말해서, 본 출원의 실시예의 기술방안에서, 먼저 획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득한 후, 각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원하며, 이로부터 알다시피, 다중 경로 뉴럴 네트워크에서 각 서브 이미지를 위해 대응하는 복원 네트워크를 결정함으로써, 각 서브 이미지에 사용되는 복원 네트워크가 모두 같게 하지 않고, 상이한 서브 이미지를 위해 상이한 복원 네트워크를 사용하면, 상이한 서브 이미지를 위해 상이한 복원 네트워크를 사용하므로, 상이한 서브 이미지를 위해 상이한 복원 네트워크를 사용하여 복원을 수행하며, 일부 서브 이미지를 위해 간단한 방식으로 복원을 수행할 수 있고, 일부 서브 이미지를 위해 복잡한 방식으로 복원을 수행할 수도 있어, 이러한 영역 맞춤형 이미지 복원 방법을 사용함으로써, 이미지 복원의 복잡도를 감소시켜, 이미지 복원의 속도를 향상시킨다.
도 6은 본 출원의 실시예에서 제공한 이미지 복원 장치의 구조 모식도이다. 도 6에 도시된 바와 같이, 상기 이미지 복원 장치는,
획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하도록 구성된 분할 모듈(61); 및
각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 각 서브 이미지를 복원하고, 각 서브 이미지의 복원 이미지를 출력하여, 이미지의 복원 이미지를 획득하도록 하기 위한 복원 모듈(62)을 포함한다.
선택적으로, 복원 모듈(62)은,
각 서브 이미지를 위해 인코딩을 수행하여, 각 서브 이미지의 특징을 획득하도록 구성된 인코딩 서브 모듈;
각 서브 이미지의 특징을 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 서브 네트워크에서의 경로 선택 네트워크를 사용하여, 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 각 서브 이미지의 복원 네트워크에 따라, 각 서브 이미지를 위해 처리를 수행하여, 각 서브 이미지의 처리된 특징을 출력하여 얻도록 구성된 복원 서브 모듈; 및
각 서브 이미지의 처리된 특징을 디코딩하여, 각 서브 이미지의 복원 이미지를 획득하도록 구성된 디코딩 서브 모듈을 포함한다.
선택적으로, 복원 서브 모듈은 구체적으로,
서브 네트워크의 개수가 N이고, N 개의 서브 네트워크가 순차적으로 연결되면;
각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하고;
i 번째 복원 네트워크에 따라, 각 서브 이미지를 위해 제i 레벨 특징을 처리를 수행하여, 각 서브 이미지의 제i+1 레벨 특징을 출력하여 획득하며;
i를 i+1로 업데이트하고, 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 각 서브 이미지 i 번째 복원 네트워크를 선택하는 단계로 돌아가며;
각 서브 이미지의 제N 레벨 특징을 출력하여 얻을 때까지, 각 서브 이미지의 제N 레벨 특징을 각 서브 이미지의 처리된 특징으로 결정하도록 구성되며;
i=1이면, 각 서브 이미지의 제i 레벨 특징은 각 서브 이미지의 특징이며;
여기서, N은 1보다 작지 않은 양의 정수이며, M은 2보다 작지 않은 양의 정수이며, i는 1보다 크거나 같고, N보다 작거나 같은 양의 정수이다.
선택적으로, 획득된 서브 이미지의 복원 이미지의 개수가 기설정된 개수보다 크거나 같을 때, 상기 이미지 복원 장치는,
기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득하도록 구성된 획득 모듈을 더 포함하고;
제1 훈련 모듈은,
기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하고;
기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 보상 함수에 따라, 최적화기를 통해 강화 학습 알고리즘을 사용하여, 경로 선택 네트워크에 대해 훈련을 수행하여, 경로 선택 네트워크에서의 파라미터를 업데이트하도록 구성된다.
선택적으로, 상기 이미지 복원 장치는,
기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득한 후, 획득된 기설정된 개수의 서브 이미지의 복원 이미지와, 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하기 전에, 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하도록 구성된 제2 훈련 모듈을 더 포함한다.
선택적으로, 상기 보상 함수는 공식 (1)에 나타낸 바와 같다.
Figure pct00043
(1)
여기서,
Figure pct00044
는 제i 레벨 서브 네트워크의 보상 함수를 나타내고,
Figure pct00045
는 하나의 기설정된 벌점항을 표시하며,
Figure pct00046
는 하나의 지시 함수를 표시하며,
Figure pct00047
는 난이도 계수를 표시하며;
Figure pct00048
=1이면, 지시 함수의 값은 1이고,
Figure pct00049
≠1이면, 지시 함수의 값은 0이다.
선택적으로, 상기 난이도 계수
Figure pct00050
는 공식 (2)에 나타낸 바와 같다.
Figure pct00051
(2)
여기서,
Figure pct00052
은 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수를 표시하며,
Figure pct00053
은 하나의 임계값이다.
도 7은 본 출원의 실시예에서 제공한 전자 기기의 구조 모식도이며, 도 7에 도시된 바와 같이, 상기 전자 기기는 프로세서(71), 메모리(72) 및 통신 버스(73)를 포함하며; 여기서,
상기 통신 버스(73)는, 상기 프로세서(71) 및 상기 메모리(72) 사이의 연결 통신이며;
상기 프로세서(71)는, 상기 메모리(72)에 저장된 이미지 복원 프로그램을 실행하여, 상기 이미지 복원 방법을 구현하도록 구성된다.
본 출원의 실시예는 또한 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 판독 가능 저장 매체는 하나 또는 복수 개의 프로그램을 저장하고, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행되어, 상기 이미지 복원 방법을 구현할 수 있다. 컴퓨터 판독 가능 저장 매체는 랜덤 액세스 메모리(Random-Access Memory, RAM)와 같은 휘발성 메모리(volatile memory)일 수 있거나, 또는 판독 전용 메모리(Read-Only Memory, ROM), 플래시 메모리(flash memory), 하드 디스크 드라이브(Hard Disk Drive, HDD) 또는 솔리드 스테이드 드라이브(Solid-State Drive, SSD)와 같은 비휘발성 메모리(non-volatile memory)일 수 있거나; 상기 메모리 중 하나 또는 임의의 조합을 포함한 휴대전화, 컴퓨터, 태블릿 기기, 개인 휴대 정보 단말기 등과 같은 각각의 기기일 수도 있다.
당업자는 본 발명의 실시예는 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 알아야 한다. 따라서, 본 발명은 하드웨어 실시예, 소프트웨어 실시예, 또는 소프트웨어 및 하드웨어 측면을 결합한 실시예의 형태를 채택할 수 있다. 또한, 본 발명은 컴퓨터 사용 가능한 프로그램 코드를 포함하는 하나 또는 복수 개의 컴퓨터 사용 가능한 매체(자기 디스크 메모리 및 광학 메모리 등을 포함하지만 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형태를 채택할 수 있다.
본 발명은 본 발명의 실시예의 방법, 기기(시스템), 및 컴퓨터 프로그램 제품에 따른 흐름도 및 블록도 중 적어도 하나를 참조하여 설명된다. 이해해야 할 것은, 컴퓨터 프로그램 명령어에 의해 흐름도의 각 흐름 및 블록도의 각 블록 중 적어도 하나, 및 흐름도의 흐름 및 블록도의 블록 중 적어도 하나의 결합을 구현할 수 있다 이러한 컴퓨터 프로그램 명령어를 범용 컴퓨터, 전용 컴퓨터, 임베디드 처리기 또는 다른 프로그래머블 신호 처리 기기의 처리기에 제공하여 하나의 기계를 생성할 수 있으므로, 컴퓨터 또는 다른 프로그래머블 신호 처리 기기의 프로세서를 통해 수행된 명령어로 하여금 흐름도의 하나의 흐름 또는 복수 개의 흐름 및 블록도의 하나의 블록 또는 복수 개의 블록 중 적어도 하나의 기능을 구현하기 위한 장치를 생성하도록 한다.
이러한 컴퓨터 프로그램 명령어는 컴퓨터나 다른 프로그래머블 신호 처리 기기를 특정 방식으로 동작하도록 유도할 수 있는 컴퓨터 판독 가능 메모리에 저장될 수 있어, 상기 컴퓨터 판독 가능 메모리에 저장된 명령 내의 명령어로 하여금 명령어 장치를 포함한 제조품을 생성하도록 하며, 상기 명령어 장치는 흐름도에서 하나의 흐름 또는 복수 개의 흐름 및 블록도의 하나의 블록 또는 복수 개의 블록 중 지정된 기능을 구현한다.
이러한 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그래머블 신호 처리 기기에 로딩되어, 컴퓨터 구현의 처리를 구현하기 위해, 컴퓨터 또는 다른 프로그래머블 기기 상에서 일련의 동작을 수행함으로써, 컴퓨터 또는 다른 프로그래머블 기기 상에서 수행되는 명령어는 흐름도의 하나의 흐름 또는 복수 개의 흐름 및 블록도의 하나의 블록 중 적어도 하나에서 지정된 기능을 구현하기 위한 단계를 제공한다.
위의 설명은, 본 발명의 바람직한 실시예일 뿐이지, 본 발명의 보호범위를 한정하려는 것은 아니다.

Claims (16)

  1. 이미지 복원 방법으로서,
    획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하는 단계; 및
    각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 상기 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 상기 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 출력하여, 상기 이미지의 복원 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 복원 방법.
  2. 제1항에 있어서,
    상기 각 서브 이미지 다중 경로 뉴럴 네트워크에 입력하여, 상기 각 서브 이미지를 위해 출력된 복원 네트워크를 사용하여 상기 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 획득하는 단계는,
    상기 각 서브 이미지를 인코딩하여, 상기 각 서브 이미지의 특징을 획득하는 단계;
    상기 각 서브 이미지의 특징을 상기 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 상기 서브 네트워크에서의 경로를 사용하여 네트워크를 선택하고, 상기 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 상기 각 서브 이미지의 복원 네트워크에 따라, 상기 각 서브 이미지를 처리하여, 각 서브 이미지의 처리된 특징을 출력하여 얻는 단계; 및
    각 서브 이미지의 처리된 특징을 디코딩하여, 상기 각 서브 이미지의 복원 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 복원 방법.
  3. 제2항에 있어서,
    상기 각 서브 이미지의 특징을 상기 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 상기 서브 네트워크에서의 경로를 사용하여 네트워크를 선택하고, 상기 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 상기 각 서브 이미지의 복원 네트워크에 따라, 상기 각 서브 이미지를 처리하여, 각 서브 이미지의 처리된 특징을 출력하여 얻는 단계는,
    상기 서브 네트워크의 개수가 N이고, N 개의 서브 네트워크가 순차적으로 연결되면;
    각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계;
    상기 i 번째 복원 네트워크에 따라, 상기 각 서브 이미지의 제i 레벨 특징을 처리하여, 상기 각 서브 이미지의 제i+1 레벨 특징을 출력하여 얻는 단계;
    i를 i+1로 업데이트하고, 상기 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계로 돌아가는 단계; 및
    각 서브 이미지의 제N 레벨 특징을 출력하여 얻을 때까지, 상기 각 서브 이미지의 제N 레벨 특징을 상기 각 서브 이미지의 처리된 특징으로 결정하는 단계를 포함하며;
    i=1이면, 상기 각 서브 이미지의 제i 레벨 특징은 상기 각 서브 이미지의 특징이며;
    N은 1보다 작지 않은 양의 정수이며, M은 2보다 작지 않은 양의 정수이며, i는 1보다 크거나 같고, N보다 작거나 같은 양의 정수인 것을 특징으로 하는 이미지 복원 방법.
  4. 제1항에 있어서,
    획득된 서브 이미지의 복원 이미지의 개수가 기설정된 개수보다 크거나 같을 때, 상기 이미지 복원 방법은,
    기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득하는 단계;
    상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하는 단계; 및
    상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 보상 함수에 따라, 상기 최적화기를 통해 강화 학습 알고리즘을 사용하여, 상기 경로 선택 네트워크에 대해 훈련을 수행하여, 상기 경로 선택 네트워크에서의 파라미터를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 이미지 복원 방법.
  5. 제4항에 있어서,
    기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득한 후, 획득된 기설정된 개수의 서브 이미지의 복원 이미지와, 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하기 전에, 상기 이미지 복원 방법은,
    상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서의 파라미터를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 이미지 복원 방법.
  6. 제4항에 있어서,
    상기 보상 함수는,
    Figure pct00054
    과 같으며;
    Figure pct00055
    는 제i 레벨 서브 네트워크의 보상 함수를 나타내고,
    Figure pct00056
    는 하나의 기설정된 벌점항을 표시하며,
    Figure pct00057
    는 하나의 지시 함수를 표시하며,
    Figure pct00058
    는 난이도 계수를 표시하며;
    Figure pct00059
    =1이면, 지시 함수의 값은 1이고,
    Figure pct00060
    ≠1이면, 지시 함수의 값은 0인 것을 특징으로 하는 이미지 복원 방법.
  7. 제6항에 있어서,
    상기 난이도 계수
    Figure pct00061
    는,
    Figure pct00062
    과 같으며;
    Figure pct00063
    는 상기 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수를 표시하고,
    Figure pct00064
    은 하나의 임계값인 것을 특징으로 하는 이미지 복원 방법.
  8. 이미지 복원 장치로서,
    획득된 이미지를 위해 영역 분할을 수행하여, 하나 이상의 서브 이미지를 획득하도록 구성된 분할 모듈; 및
    각 서브 이미지를 다중 경로 뉴럴 네트워크에 입력하여, 상기 각 서브 이미지를 위해 결정된 복원 네트워크를 사용하여 상기 각 서브 이미지를 복원함으로써, 각 서브 이미지의 복원 이미지를 출력하여, 상기 이미지의 복원 이미지를 획득하도록 구성된 복원 모듈을 포함하는 것을 특징으로 하는 이미지 복원 장치.
  9. 제8항에 있어서,
    상기 복원 모듈은,
    상기 각 서브 이미지를 인코딩하여, 상기 각 서브 이미지의 특징을 획득하도록 구성된 인코딩 서브 모듈;
    상기 각 서브 이미지의 특징을 상기 다중 경로 뉴럴 네트워크의 서브 네트워크에 입력하여, 상기 서브 네트워크에서의 경로를 사용하여 네트워크를 선택하고, 상기 각 서브 이미지를 위해 복원 네트워크를 선택함으로써, 상기 각 서브 이미지의 복원 네트워크에 따라, 상기 각 서브 이미지를 처리하여, 각 서브 이미지의 처리된 특징을 출력하여 얻도록 구성된 복원 서브 모듈; 및
    각 서브 이미지의 처리된 특징을 디코딩하여, 상기 각 서브 이미지의 복원 이미지를 획득하도록 구성된 디코딩 서브 모듈을 포함하는 것을 특징으로 하는 이미지 복원 장치.
  10. 제9항에 있어서,
    상기 복원 서브 모듈은 구체적으로,
    상기 서브 네트워크의 개수가 N이고, N 개의 서브 네트워크가 순차적으로 연결되면;
    각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하고;
    상기 i 번째 복원 네트워크에 따라, 상기 각 서브 이미지의 제i 레벨 특징에 대해 처리를 수행하여, 상기 각 서브 이미지의 제i+1 레벨 특징을 출력하여 얻으며;
    i를 i+1로 업데이트하고, 상기 각 서브 이미지의 제i 레벨 특징을 i 번째 서브 네트워크에 입력하여, i 번째 서브 네트워크에서의 i 번째 경로를 사용하여 네트워크를 선택하고, i 번째 서브 네트워크에서의 M 개의 복원 네트워크로부터, 상기 각 서브 이미지를 위해 i 번째 복원 네트워크를 선택하는 단계로 돌아가며;
    각 서브 이미지의 제N 레벨 특징을 출력하여 얻을 때까지, 상기 각 서브 이미지의 제N 레벨 특징을 상기 각 서브 이미지의 처리된 특징으로 결정하도록 구성되며;
    i=1이면, 상기 각 서브 이미지의 제i 레벨 특징은 상기 각 서브 이미지의 특징이며;
    N은 1보다 작지 않은 양의 정수이며, M은 2보다 작지 않은 양의 정수이며, i는 1보다 크거나 같고, N보다 작거나 같은 양의 정수인 것을 특징으로 하는 이미지 복원 장치.
  11. 제8항에 있어서,
    획득된 서브 이미지의 복원 이미지의 개수가 기설정된 개수보다 크거나 같을 때, 상기 이미지 복원 장치는,
    기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득하도록 구성된 획득 모듈을 더 포함하고;
    제1 훈련 모듈은,
    상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하고;
    상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 보상 함수에 따라, 상기 최적화기를 통해 강화 학습 알고리즘을 사용하여, 상기 경로 선택 네트워크에 대해 훈련을 수행하여, 상기 경로 선택 네트워크에서의 파라미터를 업데이트하도록 구성된 것을 특징으로 하는 이미지 복원 장치.
  12. 제11항에 있어서,
    상기 이미지 복원 장치는,
    기설정된 개수의 서브 이미지의 복원 이미지를 획득하고, 기설정된 개수의 서브 이미지의 복원 이미지에 대응하는 참조 이미지를 획득한 후, 획득된 기설정된 개수의 서브 이미지의 복원 이미지와, 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하기 전에, 상기 기설정된 개수의 서브 이미지의 복원 이미지 및 대응하는 참조 이미지에 기반하여, 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수에 따라, 최적화기를 통해 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크에 대해 훈련을 수행하여, 상기 다중 경로 뉴럴 네트워크에서 경로 선택 네트워크를 제외한 네트워크의 파라미터를 업데이트하도록 구성된 제2 훈련 모듈을 더 포함하는 것을 특징으로 하는 이미지 복원 장치.
  13. 제11항에 있어서,
    상기 보상 함수는,
    Figure pct00065
    과 같으며;
    Figure pct00066
    는 제i 레벨 서브 네트워크의 보상 함수를 나타내고,
    Figure pct00067
    는 하나의 기설정된 벌점항을 표시하며,
    Figure pct00068
    는 하나의 지시 함수를 표시하며,
    Figure pct00069
    는 난이도 계수를 표시하며;
    Figure pct00070
    =1이면, 지시 함수의 값은 1이고,
    Figure pct00071
    ≠1이면, 지시 함수의 값은 0인 것을 특징으로 하는 이미지 복원 장치.
  14. 제13항에 있어서,
    상기 난이도 계수
    Figure pct00072
    는,
    Figure pct00073
    과 같으며;
    Figure pct00074
    는 상기 기설정된 서브 이미지의 복원 이미지와, 서로 대응하는 참조 이미지 사이의 손실 함수를 표시하고,
    Figure pct00075
    은 하나의 임계값인 것을 특징으로 하는 이미지 복원 장치.
  15. 전자 기기로서,
    상기 전자 기기는 프로세서, 메모리 및 통신 버스를 포함하며;
    상기 통신 버스는, 상기 프로세서 및 상기 메모리 사이의 연결 통신을 구현하도록 구성되고;
    상기 프로세서는, 상기 메모리에 저장된 이미지 복원 프로그램을 실행하여, 제1항 내지 제7항 중 어느 한 항에 따른 이미지 복원 방법을 구현하도록 구성된 것을 특징으로 하는 전자 기기.
  16. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체는 하나 또는 복수 개의 프로그램을 포함하고, 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행되어, 제1항 내지 제7항 중 어느 한 항에 따른 이미지 복원 방법을 구현 가능한 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
KR1020217018723A 2019-02-15 2019-04-23 이미지 복원 방법 및 장치, 전자 기기, 저장 매체 KR20210092286A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910117782.X 2019-02-15
CN201910117782.XA CN109886891B (zh) 2019-02-15 2019-02-15 一种图像复原方法及装置、电子设备、存储介质
PCT/CN2019/083855 WO2020164189A1 (zh) 2019-02-15 2019-04-23 图像复原方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
KR20210092286A true KR20210092286A (ko) 2021-07-23

Family

ID=66928293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217018723A KR20210092286A (ko) 2019-02-15 2019-04-23 이미지 복원 방법 및 장치, 전자 기기, 저장 매체

Country Status (7)

Country Link
US (1) US20210295473A1 (ko)
JP (1) JP7143529B2 (ko)
KR (1) KR20210092286A (ko)
CN (1) CN109886891B (ko)
SG (1) SG11202106269UA (ko)
TW (1) TWI770432B (ko)
WO (1) WO2020164189A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968040B (zh) * 2020-07-02 2024-07-26 北京大学深圳研究生院 图像的复原方法、系统及计算机可读存储介质
CN111986103A (zh) * 2020-07-20 2020-11-24 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN112200226B (zh) * 2020-09-27 2021-11-05 北京达佳互联信息技术有限公司 基于强化学习的图像处理方法、图像处理方法及相关装置
CN112767260A (zh) * 2020-12-30 2021-05-07 上海联影智能医疗科技有限公司 图像质量提升方法、装置、计算机设备和存储介质
CN112862681B (zh) * 2021-01-29 2023-04-14 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质
CN113409215B (zh) * 2021-06-23 2023-01-17 青岛海信医疗设备股份有限公司 重建设备及医学影像多平面重建方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0551524A4 (en) * 1991-08-05 1994-08-10 Kawasaki Steel Co Signal processor and learning method thereof
JPH08263649A (ja) * 1995-02-21 1996-10-11 Xerox Corp ニューラルベースの空間画像強化システム
US20050129306A1 (en) 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks
JP5146159B2 (ja) * 2008-07-01 2013-02-20 株式会社ニコン 画像復元方法、画像復元プログラム、および画像復元装置
US9396523B2 (en) * 2013-07-24 2016-07-19 Microsoft Technology Licensing, Llc Image restoration cascade
CN103605972B (zh) * 2013-12-10 2017-02-15 康江科技(北京)有限责任公司 一种基于分块深度神经网络的非限制环境人脸验证方法
CN104200443A (zh) * 2014-09-22 2014-12-10 中华人民共和国四川出入境检验检疫局 结合alpha通道和图像分割的局部运动模糊复原算法
EP3156943A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Method and device for clustering patches of a degraded version of an image
WO2018119807A1 (zh) * 2016-12-29 2018-07-05 浙江工商大学 一种基于卷积神经网络的时空一致性深度图序列的生成方法
CN106971187B (zh) * 2017-04-12 2019-07-09 华中科技大学 一种基于车辆特征点的车辆部件检测方法和系统
CN107273904A (zh) * 2017-05-31 2017-10-20 上海联影医疗科技有限公司 图像处理方法及系统
US10657446B2 (en) 2017-06-02 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. Sparsity enforcing neural network
CN107392865B (zh) * 2017-07-01 2020-08-07 广州深域信息科技有限公司 一种人脸图像的复原方法
CN107463881A (zh) * 2017-07-07 2017-12-12 中山大学 一种基于深度增强学习的人物图像搜索方法
JP6772112B2 (ja) 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
CN107563974B (zh) * 2017-08-15 2020-04-14 深圳云天励飞技术有限公司 图像去噪方法、装置、电子设备及存储介质
CN107784647B (zh) * 2017-09-29 2021-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN107832807B (zh) * 2017-12-07 2020-08-07 上海联影医疗科技有限公司 一种图像处理方法和系统
CN108364262A (zh) * 2018-01-11 2018-08-03 深圳大学 一种模糊图像的复原方法、装置、设备及存储介质
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置
CN108932536B (zh) * 2018-07-18 2021-11-09 电子科技大学 基于深度神经网络的人脸姿态重建方法
CN109087273B (zh) * 2018-07-20 2021-09-14 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统

Also Published As

Publication number Publication date
CN109886891A (zh) 2019-06-14
JP7143529B2 (ja) 2022-09-28
JP2022514566A (ja) 2022-02-14
CN109886891B (zh) 2022-01-11
US20210295473A1 (en) 2021-09-23
SG11202106269UA (en) 2021-07-29
TW202032497A (zh) 2020-09-01
TWI770432B (zh) 2022-07-11
WO2020164189A1 (zh) 2020-08-20

Similar Documents

Publication Publication Date Title
KR20210092286A (ko) 이미지 복원 방법 및 장치, 전자 기기, 저장 매체
Cai et al. Toward real-world single image super-resolution: A new benchmark and a new model
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
CN113034380B (zh) 基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
Xing et al. Early exit or not: Resource-efficient blind quality enhancement for compressed images
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
US11062210B2 (en) Method and apparatus for training a neural network used for denoising
US20220414838A1 (en) Image dehazing method and system based on cyclegan
CN112312133B (zh) 一种视频编码方法、装置、电子设备及可读存储介质
CN114339219A (zh) 帧间预测方法、装置、编解码方法、编解码器及电子设备
CN111179201B (zh) 一种视频去噪方法和电子设备
JP2017537403A (ja) 超解像画像を生成するための方法、装置およびコンピュータ・プログラム・プロダクト
CN110084742B (zh) 一种视差图预测方法、装置及电子设备
CN111586321B (zh) 视频生成方法、装置、电子设备和计算机可读存储介质
CN113971732A (zh) 小目标检测方法、装置、可读存储介质及电子设备
CN112669234A (zh) 基于神经网络的高分辨率图像复原方法及系统
CN110310242B (zh) 一种图像去模糊方法及装置、存储介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
JP2024511920A (ja) 圧縮情報に基づくビデオの超解像
CN113850721A (zh) 单幅图像超分辨率重建方法、装置、设备及可读存储介质
WO2021037174A1 (zh) 一种神经网络模型训练方法及装置
KR102057395B1 (ko) 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법
CN110399881A (zh) 一种端到端的基于双目立体图像的质量增强方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right