KR20210095936A

KR20210095936A - 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체

Info

Publication number: KR20210095936A
Application number: KR1020217020255A
Authority: KR
Inventors: 홍윤 가오; 신 타오; 쟈야 쟈; 위윙 타이; 샤오융 선
Original assignee: 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date: 2019-04-01
Filing date: 2020-03-04
Publication date: 2021-08-03
Also published as: JP7206386B2; US11741581B2; JP2022510622A; CN109993712A; WO2020199831A1; CN109993712B; KR102499147B1; EP3951702A1; US20210287047A1; EP3951702A4

Abstract

본 출원의 실시 예는 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 방법, 이미지 처리 방법 및 네트워크 디바이스를 개시하며, 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함한다. 트레이닝 방법은: 트레이닝을 위한 샘플 쌍을 획득하는 단계 - 샘플 쌍은 선명한 이미지와 흐릿한 이미지를 포함함 -; 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하는 단계; 및 복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하는 단계를 포함하며, 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시한다.

Description

이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체

본 출원은, 2019년 4월 1일에 국가 지적 재산 관리국(National Intellectual Property Administration, PRC)에 출원되고 발명의 명칭이 "이미지 처리 모델을 위한 트레이닝 방법, 이미지 처리 방법, 및 관련 디바이스"인 중국 특허 출원 번호 제201910259016.7호에 대한 우선권을 주장하는 바이며, 상기 문헌의 내용은 그 전체로서 원용에 의해 본 명세서에 포함된다.

본 출원은 인터넷 기술 분야에 관한 것으로, 구체적으로는 이미지 처리 기술 분야에 관한 것으로, 특히 흐릿한 이미지(blurry image)를 처리하는 이미지 처리 모델을 위한 트레이닝(training) 방법, 이미지 처리 방법, 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 장치, 이미지 처리 장치, 네트워크 디바이스 및 컴퓨터 저장 매체에 관한 것이다.

이미지 디블러링(Image deblurring)은 이미지 처리의 중요한 연구 방향이며, 흐릿한 이미지에서 손실된 세부 정보를 복원하는 것을 목표로 한다. 신경망 모델의 연구가 발전함에 따라, 이미지 처리 모델을 기반으로 한 이미지 디블러링 방법은 기존 방법보다 더 나은 효과를 얻었다. 이미지 처리 모델은 흐릿한 이미지에 대해 이미지 디블러링을 수행하여 선명한 이미지를 획득하는 데 사용되는 신경망 모델이다. 모델 트레이닝을 통해 완벽한 성능을 가지는 이미지 처리 모델을 획득하는 방법은 후속 이미지 디블러링의 효과에 특히 중요하다. 기존 모델 트레이닝 방법에서, 일반적으로 흐릿한 이미지가 복수의 서로 다른 흐릿한 영역(region)으로 구성되는 것으로 간주되며, 서로 다른 흐릿한 영역에 대해 콘볼루션 모델 가정을 적용하여 서로 다른 흐릿한 영역을 복원하여 서로 다른 영역의 이미지를 각각 선명하게 하여, 이미지 처리 모델을 추가로 트레이닝한다. 구체적으로, 흐릿한 이미지를 먼저 서로 다른 영역으로 분할한(segment) 다음, 서로 다른 영역에 대해 반복적 콘볼루션 커널 추정(convolution kernel estimation) 및 이미지 디콘불루션(deconvolution)의 두 가지 작동(operation)을 연속적으로 수행하여 각 영역의 디블러링 효과를 점진적으로 최적화하고, 최종적으로 디블러링 후 영역을 합성하여 완전한 선명한 이미지(clear image)를 획득한다.

본 출원의 실시 예는 네트워크 디바이스에 의해 수행되는, 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 방법을 제공하며, 상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일(scale)이 서로 다른 코덱(codec) 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도(sharpness)의 측정치(measurements)에 대응하고, 상기 트레이닝 방법은,

트레이닝을 위한 샘플 쌍을 획득하는 단계 - 상기 샘플 쌍은 선명한 이미지(clear image) 및 상기 선명한 이미지에 대응하는 흐릿한 이미지를 포함하고, 상기 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크며, 상기 흐릿한 이미지의 선명도는 상기 미리 설정된 임계 값보다 작음 -;

상기 이미지 처리 모델을 호출하여 상기 흐릿한 이미지에 대해 선명도 복원(sharpness restoration)을 수행하여 복원된 이미지(restored image)를 획득하는 단계; 및

트레이닝된 이미지 처리 모델을 획득하기 위해, 상기 복원된 이미지 및 상기 선명한 이미지에 따라 상기 이미지 처리 모델에서 상기 제1 네트워크의 네트워크 파라미터 및/또는 상기 제2 네트워크의 네트워크 파라미터를 업데이트하는 단계

를 포함하고, 상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시한다(indicate).

본 출원의 실시 예는 네트워크 디바이스에 의해 수행되는 이미지 처리 방법을 제공하며, 상기 이미지 처리 방법은,

처리될 원본 이미지(original image)를 획득하는 단계 - 상기 원본 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;

이미지 처리 모델을 호출하여 상기 원본 이미지에 대해 선명도 복원을 수행하여, 타깃 이미지를 획득하는 단계 - 상기 타깃 이미지의 선명도는 상기 미리 설정된 임계 값보다 크며, 상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하고, 상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하며, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시함 -; 및

상기 타깃 이미지를 출력하는 단계를 포함한다.

본 출원의 실시 예는 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 장치를 제공하며, 상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하고, 상기 트레이닝 장치는,

트레이닝을 위한 샘플 쌍을 획득하도록 구성된 획득 유닛 - 상기 샘플 쌍은 선명한 이미지 및 상기 선명한 이미지에 대응하는 흐릿한 이미지를 포함하고, 상기 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크며, 상기 흐릿한 이미지의 선명도는 상기 미리 설정된 임계 값보다 작음 -;

상기 이미지 처리 모델을 호출하여 상기 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하도록 구성된 처리 유닛; 및

트레이닝된 이미지 처리 모델을 획득하기 위해, 상기 복원된 이미지 및 상기 선명한 이미지에 따라 상기 이미지 처리 모델에서 상기 제1 네트워크의 네트워크 파라미터 및/또는 상기 제2 네트워크의 네트워크 파라미터를 업데이트하도록 구성된 업데이트 유닛을 포함하고,

상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시한다.

본 출원의 실시 예는 이미지 처리 장치를 제공하며, 상기 이미지 처리 장치는,

처리될 원본 이미지를 획득하도록 구성된 획득 유닛 - 상기 원본 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;

이미지 처리 모델을 호출하여 상기 원본 이미지에 대해 선명도 복원을 수행하여, 타깃 이미지를 획득하도록 구성된 처리 유닛 - 상기 타깃 이미지의 선명도는 상기 미리 설정된 임계 값보다 크며, 상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하고, 상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하며, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시함 -; 및

상기 타깃 이미지를 출력하도록 구성된 출력 유닛을 포함한다.

본 출원의 실시 예는 네트워크 디바이스를 제공하며, 네트워크 디바이스는 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하고, 상기 메모리는 머신 판독 가능한 명령을 저장하고, 상기 머신 판독가능한 명령은 상기 프로세서에 의해 실행되어, 본 출원의 실시 예에 따른 이미지 처리 모델을 위한 트레이닝 방법 및 이미지 처리 방법을 수행한다.

본 출원의 실시 예는 복수의 명령을 저장하는, 컴퓨터가 판독 가능한 저장 매체를 제공하며, 상기 명령은 프로세서에 의해 로드되어, 본 출원의 실시 예에 따른 이미지 처리 모델을 위한 트레이닝 방법 및 이미지 처리 방법을 수행한다.

본 출원의 실시 예의 기술적 솔루션을 보다 명확하게 설명하기 위해, 이하에서는 실시 예를 설명하는 데 필요한 첨부 도면을 간략하게 소개한다. 분명히, 다음 설명에서 첨부된 도면은 본 출원의 일부 실시 예만을 보여주며, 당업자는 창의적인 노력없이 이러한 첨부된 도면으로부터 다른 도면을 여전히 도출할 수 있다.
도 1은 본 출원의 실시 예에 따른 이미지 처리 모델의 개략적인 구조도이다.
도 2a는 본 출원의 실시 예에 따른 1차 잔차 함수의 개략적인 구조도이다.
도 2b는 본 출원의 일 실시 예에 따른 2차 잔차 함수에 대응하는 2차 중첩된 스킵 연결(second-order nested skip connection) 구조와 직렬 연결(series connection) 구조 사이의 비교의 개략도이다.
도 2c는 본 출원의 실시 예에 따른 3차 잔차 함수에 대응하는 3차 중첩된 스킵 연결 구조의 개략적인 구조도이다.
도 2d는 본 출원의 실시 예에 따른 특징 변환 유닛의 내부 구조의 개략도이다.
도 3a는 본 출원의 실시 예에 따른 이미지 처리 모델을 위한 트레이닝 방법의 시나리오의 개략도이다.
도 3b는 본 출원의 실시 예에 따른 이미지 처리 모델을 위한 트레이닝 방법의 개략적인 흐름도이다.
도 3c는 본 출원의 실시 예에 따른 선명도 복원의 특정 흐름도이다.
도 4는 본 출원의 실시 예에 따른 흐릿한 이미지의 연구 결과의 개략도이다.
도 5a는 본 출원의 실시 예에 따른 네트워크 파라미터의 할당의 개략도이다.
도 5b는 본 출원의 실시 예에 따른 네트워크 파라미터의 다른 할당의 개략도이다.
도 6a는 본 출원의 다른 실시 예에 따른 이미지 처리 모델을 위한 트레이닝 방법의 개략적인 흐름도이다.
도 6b는 본 출원의 실시 예에 따른 트레이닝을 위한 샘플 쌍을 획득하는 방법의 흐름도이다.
도 6c는 본 출원의 실시 예에 따른 단계(S602)에서 이미지 처리 모델을 호출하여 흐릿한 이미지에 대한 정의 복원을 수행하는 방법의 흐름도이다.
도 7은 본 출원의 실시 예에 따른 이미지 처리 방법의 개략적인 흐름도이다.
도 8은 본 출원의 실시 예에 따른 이미지 처리 모델을 위한 트레이닝 장치의 개략적인 구조도이다.
도 9는 본 출원의 실시 예에 따른 이미지 처리 장치의 개략적인 구조도이다.
도 10은 본 출원의 실시 예에 따른 네트워크 디바이스의 개략적인 구조도이다.

다음은 본 출원의 실시 예에서 첨부된 도면을 참조하여 본 출원의 실시 예에서 기술 솔루션을 명확하고 완전하게 설명한다.

AI 기술은 포괄적인 분야이며, 하드웨어 수준 기술과 소프트웨어 수준 기술을 포함한 광범위한 분야와 관련이 있다. 기본 AI 기술은 일반적으로 센서, 전용 AI 칩, 클라우드 컴퓨팅, 분산 스토리지, 빅 데이터 처리 기술, 운영/상호 작용 시스템 및 전자 기계 통합과 같은 기술을 포함한다. AI 소프트웨어 기술은 주로 컴퓨터 비전 기술, 오디오 처리 기술, 자연어 처리 기술, 및 머신 러닝/딥러닝(machine learning/deep learning)과 같은 여러 주요 방향을 포함한다.

현재 딥러닝은 머신 러닝 기술이자 연구 분야 중 하나이다. 인공 지능(Artificial intelligence, AI)은 계층 구조로 인공 신경망(artificial neural network)을 구축하는 것에 의해 컴퓨터 시스템에서 구현된다.

비전(vision) 분야에서 딥러닝(deep learning, DL)을 성공적으로 적용한 덕분에, 연구원들은 DL을 이미지 처리 분야에 도입했다. 딥러닝 신경망 모델은 다량의 트레이닝 이미지를 사용하여 트레이닝되어, 모델이 이미지 처리를 수행, 예를 들어 흐릿한 이미지(blurry image)를 처리할 수 있도록 한다.

이미지 흐림(blurring)은 이미지 캡처에서 일반적인 문제이다. 일 예에서, 사용자가 동적인 장면이나 상대적으로 어두운 환경에 있을 때, 동적인 장면에서 객체(object)의 움직임(movement) 및/또는 녹화(recording) 카메라의 움직임으로 인해, 녹화에 의해 획득된 이미지가 다양한 정도로 흐릿해질 수 있다. 다른 예로, 사용자가 타깃 객체를 녹화할 때, 사용자의 손을 약간 흔드는 것이 녹화에 의해 획득된 이미지를 여러 각도로 흐릿해지게 할 수 있다. 녹화에 의해 획득된 흐릿한 이미지를 마주할 때, 사용자는 일반적으로 선명한 이미지(clear image)를 획득하기 위해 다시 녹화하기를 선택한다. 여기서 흐릿한 이미지는 선명도(sharpness)가 미리 설정된 임계 값보다 작은 이미지를 의미하고, 선명한 이미지는 선명도가 미리 설정된 임계 값보다 큰 이미지를 의미한다. 선명도는 이미지에서 디테일 텍스처(detail texture) 및 테두리(border)의 명료도(degree of clearness)를 의미한다. 그러나, 카메라 움직임, 객체 움직임, 손떨림과 같은 다양한 요인으로 인해 사용자는 여러 번의 재 녹화 후에도 여전히 선명한 이미지를 획득할 수 없다. 또한, 순간 스냅샷(snapshot)의 일부 녹화 장면에서, 사용자는 일반적으로 두번째 녹화 기회를 갖지 못한다. 예를 들어, 고속으로 움직이는 자동차/열차의 창 밖의 풍경을 녹화하는 장면이나 정적 장면에서 빠르게 움직이는 객체를 녹화하는 장면에서, 사용자는 다시 녹화할 기회를 갖지 못한다.

흐릿한 이미지를 처리하는 프로세스에서, 흐릿한 이미지의 실제 녹화 장면이 녹화 장면에서의 카메라 움직임, 객체 움직임과 같은 복수의 요인을 포함하여, 매우 복잡하기 때문에, 기존 모델 트레이닝 방법은 움직임에서 모든 흐릿한 영역에 대해 콘볼루션 모델 가정(convolution model assumptions)을 만족시킬 수 없어서, 트레이닝을 통해 획득된 이미지 처리 모델의 이미지 디블러링(deblurring) 성능이 저하된다. 더욱이, 모델 트레이닝은 제1 세그먼팅(segmenting)의 흐릿한 이미지에 대한 처리를 필요로 하고, 그 다음에 각각 계산하고 마지막으로 합성해야 하므로 모델 트레이닝 효율성이 낮다.

이에 기반하여, 본 출원의 실시 예는 흐릿한 이미지를 처리하는 이미지 처리 모델을 제공한다. 이미지 처리 모델은 흐릿한 이미지에 선명도 복원(sharpness restoration)을 수행하여 선명한 이미지를 획득하는 데 사용될 수 있다.

본 개시에 따른 일 실시 예에서 제공되는 흐릿한 이미지를 처리하는 이미지 처리 모델은 내림차순 또는 오름차순의 스케일(scale)에 따라 스케일이 서로 다른 적어도 2개의 네트워크를 직렬로 순차적으로 연결하는 것에 의해 형성될 수 있으며, 스케일이 서로 다른 네트워크가 선명도가 서로 다른 흐릿한 이미지에 대해 선명도 복원을 수행할 수 있다. 네트워크의 스케일은 네트워크에 입력된 이미지의 선명도의 레벨(level)을 지시하는(indicate) 데 사용되며, 즉, 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치(measurement)에 대응한다. 거친 스케일(coarse scale)은 원래의 흐릿한 이미지를 더 낮은 해상도로 다운샘플링하여 더 높은 선명도의 이미지를 획득하고, 이미지의 흐림 정도(blur degree)가 상대적으로 낮음을 나타낸다. 미세한 스케일(fine scale)은 원래의 흐릿한 이미지를 더 높은 해상도로 다운샘플링하여 더 낮은 선명도의 이미지를 획득하고, 이미지의 흐림 정도가 상대적으로 높다는 것을 나타낸다. 도 1을 참조하면(도 1에서 설명을 위해 이미지 처리 모델이 3개의 네트워크를 포함하는 예를 사용함), 이미지 처리 모델은 거친 스케일 네트워크(11), 중간 스케일(middle-scale) 네트워크(12), 그리고 미세한 스케일 네트워크(13)를 포함한다. 스케일이 서로 다른 3개의 네트워크에서, 거친 스케일 네트워크(11)의 스케일이 가장 크고, 중간 스케일 네트워크(12)의 스케일이 두 번째로 크며, 미세한 스케일 네트워크(13)의 스케일이 가장 작다. 각 네트워크는 코덱 네트워크이며, 구체적으로, 상이한 채널 수량을 갖는, 복수의 특징 추출(feature) 유닛(111)(도 1에서 검은 색 유닛으로 도시됨), 복수의 특징 변환(transformation) 유닛(112)(도 1에서 회색 유닛으로 도시됨), 및 복수의 특징 재구성(reconstruction) 유닛(113)(도 1에서 백색 유닛으로 도시됨)을 포함한다. 각 유닛의 채널 수량은 경험적 값(empirical value) 또는 서비스 요건에 따라 설정될 수 있으며, 예를 들어 32 채널, 64 채널, 128 채널 등으로 설정될 수 있다. 일부 실시 예에서, 특징 추출 유닛(111), 특징 변환 유닛(112) 및 특징 재구성 유닛(113) 각각은 하나 이상의 콘볼루션 계층(convolutional layer)을 포함할 수 있고, 각 콘볼루션 계층은 3×3의 2개의 콘볼루션 커널을 포함할 수 있다. 모델 트레이닝의 속도를 향상시키기 위해, 3×3의 2개의 콘볼루션 커널을 사용하는 것에 의해 파라미터 수량을 감소시킬 수 있다. 도 1은 이미지 처리 모델의 구조를 개략적으로 나타낸 것일 뿐이며, 본 개시에 따른 일 실시 예에서 제공되는 이미지 처리 모델의 구조를 제한하지 않는다. 일 예에서, 이미지 처리 모델의 네트워크 수량은 도 3에 도시된 3으로 제한되지 않으며, 그러나 다르게는 2, 4 등일 수 있다. 다른 예에서, 각각의 콘볼루션 계층은 다르게는, 3×3의 3개의 콘볼루션 커널 또는 5×5의 하나의 콘볼루션 커널을 포함할 수 있다.

임의의 2개의 네트워크에서 특징 추출 유닛(111)의 네트워크 파라미터는 독립적이거나, 및/또는 임의의 2개의 네트워크에서 특징 재구성 유닛(113)의 네트워크 파라미터는 독립적이다. 임의의 2개의 네트워크에서 특징 변환 유닛(112)의 네트워크 파라미터는 공유된다. 일부 실시 예에서, 특징 변환 유닛(112)은 적어도 2개의 잔차 유닛(residual unit)을 포함할 수 있고, 각 잔차 유닛은 2개 이상의 콘볼루션 계층(layer)을 포함할 수 있으며, 잔차 유닛은 다차 중첩된 스킵 연결(multi-order nested skip connection) 구조를 사용하여 서로 연결될 수 있다. 잔차 유닛은 다음 수식 1.1:

참조하여 정의할 수 있으며,

,

은 각각 n번째 잔차 유닛의 입력, 출력 및 잔차 함수를 나타내고; 수식 1.1은 도 2a에 도시된 구조에 대응하는 1차 잔차 함수(first-order residual function)라고도 할 수 있다. 본 개시에 따른 일 실시 예에서,

번째 잔차 유닛의 입력이 또한 다른 잔차 함수에 의해 생성된다고 가정하면, 입력은 수식 1.1로 대체되어, 도 2b의 우측 상의 개략적인 구조도에 도시된 2차 중첩된 스킵 연결 구조에 대응하는 수식 1.2에서 보여준 2차 잔차 함수를 획득한다. 또한, 종래 기술에서 2개의 잔차 유닛을 직렬로 직접 연결하는 것과 비교하여 본 개시에 따른 일 실시 예에서 제공되는 2차 중첩된 스킵 연결 구조는 하나 이상의 연결을 갖는다는 것을, 도 2b의 좌우측 상의 개략적인 구조도를 비교하는 것에 의해 알 수 있다.

수식 1.2가 확장되어, 도 2c에 도시된 3차 중첩된 스킵 연결 구조에 대응하는 수식 1.3에서 보여준 3차 잔차 함수를 획득한다.

유사하게, 다차 잔차 함수(multi-order residual function) 및 대응하는 다차 중첩된 스킵 연결 구조가 획득될 수 있다. 다차 중첩된 스킵 연결 구조는 특징 변환 유닛에 내장될(embedded) 중첩 모듈(nested module)로 조합될(combine) 수 있으며, 이에 따라 그래디언트 전파(gradient propagation)를 개선하고 네트워크 파라미터 최적화(network parameter optimization)의 복잡성을 감소시킨다. 특징 변환 유닛(112)이 4개의 잔차 유닛(Fi)을 포함하고, 각 잔차 유닛은 2개의 콘볼루션 계층을 포함하며, 잔차 유닛은 4차 중첩된 스킵 연결 구조를 사용하여 서로 연결되며, 특징 변환 유닛(112)의 개략적인 구조도는 도 2d를 참조하여 도시될 수 있다. 도 2d는 도 1의 특징 변환 유닛(112)의 내부 구조의 개략도이다. 도 2d는 특징 변환 유닛(112)의 구조를 개략적으로 나타낼 뿐이며, 본 개시에 따른 일 실시 예에서 제공되는 특징 변환 유닛(112)의 구조를 제한하지 않는다. 일 예에서, 특징 변환 유닛(112)의 잔차 유닛의 수량은 도 2d에 도시된 4로 제한되지 않으며, 다르게는 2, 5 등일 수 있다. 다른 예에서, 각각의 잔차 유닛은 2개의 콘볼루션 계층을 포함하는 것에 제한되지 않으며, 다르게는 3개, 5개 또는 그 이상의 콘볼루션 계층을 포함할 수 있다.

전술한 이미지 처리 모델에 대해, 본 출원의 실시 예는 이미지 처리 모델을 더 잘 트레이닝 및 업데이트하고, 이미지 처리 모델의 디블러링 성능을 최적화하며, 모델 트레이닝의 효율성을 개선하기 위한 모델 트레이닝 솔루션을 더 제공한다. 모델 트레이닝 솔루션이 이미지 처리 모델의 트레이닝 및 업데이트에 사용될 때, 쌍을 이루는 흐릿한 이미지와 선명한 이미지가 획득될 수 있으며; 이미지 처리 모델의 네트워크가 순차적으로 호출되어 트레이닝을 위한 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하고; 그 다음에, 이미지 처리 모델에서 네트워크의 네트워크 파라미터가 복원된 이미지와 선명한 이미지에 따라 업데이트된다. 각 네트워크가 이미지에 대해 선명도 복원을 수행할 때, 복수의 인코딩 스테이지(encoding stage)와 복수의 디코딩 스테이지(decoding stage)가 포함될 수 있다(도 1에서 설명을 위해 3개의 인코딩 스테이지와 3개의 디코딩 스테이지가 사용됨). 각 인코딩 스테이지에서, 특징 추출 유닛(111)을 먼저 호출하여 수신된 이미지에 대해 특징 추출을 수행하고, 그 다음에 특징 변환 유닛(112)를 호출하여 특징 추출 후 획득된 이미지에 대해 특징 변환을 수행한다. 각 디코딩 스테이지에서, 특징 변환 유닛(112)을 먼저 호출하여 수신된 이미지에 대해 특징 변환을 수행하고, 그 다음에 특징 재구성 유닛(113)을 호출하여 특징 변환 후 획득된 이미지에 대해 특징 재구성(feature reconstruction)을 수행한다.

전술한 설명에 기반하여, 본 출원의 실시 예는 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 방법 및 장치, 네트워크 디바이스 및 저장 매체를 제공한다.

이미지 처리 모델을 위한 트레이닝 장치는 구체적으로 단말이나 서버와 같은 네트워크 디바이스에 통합될 수 있다. 여기서 단말은 스마트 단말, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터 등을 포함할 수 있으나 이에 제한되지 않는다. 예를 들어, 도 3a를 참조하면, 네트워크 디바이스(31)는 트레이닝을 위한 샘플 쌍을 획득할 수 있으며, 샘플 쌍은 선명한 이미지 및 선명한 이미지에 대응하는 흐릿한 이미지를 포함하며; 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크고, 흐릿한 이미지의 선명도는 미리 설정된 임계 값보다 작으며; 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하고; 그리고 복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하여, 트레이닝된 이미지 처리 모델을 획득한다.

본 출원의 실시 예에서 제공되는, 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 방법은 네트워크 디바이스에 의해 수행될 수 있다. 도 3b를 참조하면, 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 방법은 다음 단계(S301 내지 S303)를 포함할 수 있다.

S301. 트레이닝을 위한 샘플 쌍을 획득하며, 샘플 쌍은 선명한 이미지와 선명한 이미지에 대응하는 흐릿한 이미지를 포함한다.

트레이닝을 위한 샘플 쌍을 획득할 때, 선명한 이미지와 선명한 이미지에 대응하는 흐릿한 이미지가 데이터 기반 방식(data-driven manner)으로 획득될 수 있다. 이른바 데이터 기반 방식은, 동적인 장면에서 흐릿한 이미지와 선명한 이미지를 획득하기 위해, 카메라에 의해 캡처된 복수의 연속적인 이미지 프레임을 중첩하여 동적인 장면을 흐리게 하는(blurring) 방식을 말한다. 선명한 이미지의 선명도가 미리 설정된 임계 값보다 크고, 흐릿한 이미지의 선명도가 미리 설정된 임계 값보다 작다. 여기서, 미리 설정된 임계 값은 경험적 값 또는 실제 서비스 요건(예를 들어, 이미지 처리 모델의 디블러링 성능의 정확도에 대한 요건)에 따라 설정될 수 있다. 쌍을 이루는 선명한 이미지와 흐릿한 이미지는 데이터 기반 방식으로 획득되므로, 샘플 쌍의 획득 난이도(acquisition difficulty)를 감소시킬 수 있다.

S302. 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득한다.

본 개시에 따른 일 실시 예에서, 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고; 제1 네트워크와 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 제1 네트워크는 제1 스케일에 대응하고, 제2 네트워크는 제2 스케일에 대응한다. 제1 스케일의 값과 제2 스케일의 값은 서로 다르며, 제1 스케일의 값은 제2 스케일의 값보다 클 수 있으며, 즉, 제1 스케일은 거친 스케일이고 제2 스케일은 미세한 스케일일 수 있다. 흐릿한 이미지에 대해 선명도 복원을 수행하기 위해 이미지 처리 모델을 호출할 때, 제1 네트워크 및 제2 네트워크를 순차적으로 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득할 수 있다. 이미지 처리 모델이 제3 네트워크 및 제4 네트워크와 같은 다른 네트워크를 더 포함하면, 제1 네트워크, 제2 네트워크 및 다른 네트워크를 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행할 수 있다.

여기에서 선명도 복원은 이미지의 선명도를 향상시키는 처리를 의미한다. 도 3c는 본 출원의 실시 예에 따른 선명도 복원의 특정 흐름도이다. 일부 실시 예에서, 도 3c에 도시된 바와 같이, 다음 단계(S321 내지 S323)가 구체적으로 포함된다.

S321. 이미지에 대해 특징 추출을 수행한다.

구체적으로, 이미지에 대한 특징 추출을 구현하기 위해 이미지에 대해 복수의 콘볼루션 연산이 수행될 수 있거나, 이미지에 대한 특징 추출을 수행하기 위해 특징 추출 알고리즘이 사용될 수 있다. 여기서 특징 추출 알고리즘은 LBP(local binary patterns) 알고리즘, HOG(Histogram of Oriented Gradient) 특징 추출 알고리즘, SURF(Speeded Up Robust Features) 알고리즘 등을 포함할 수 있지만 이에 제한되지는 않는다.

S322. 다차원 잔차 함수(multi-order residual function)를 사용하여, 특징 추출 후 획득된 이미지에 대해 특징 변환을 수행한다.

여기서 다차 잔차 함수는 차수가 2보다 크거나 같은 잔차 함수를 의미한다.

S323. 특징 변환 후 획득된 이미지에 대해 특징 재구성을 수행한다.

구체적으로, 특징 변환 이후 획득된 이미지에 대해 특징 재구성을 구현하기 위해, 특징 변환 이후에 획득된 이미지에 대해 복수의 디콘볼루션(deconvolution) 연산이 수행될 수 있다.

S303. 복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하여, 트레이닝된 이미지 처리 모델을 획득한다.

동적인 장면에서 캡처된 흐릿한 이미지(도 4의 좌측에 도시된 이미지)에 대한 연구를 통해, 도 4의 좌측에 도시된 이미지에서, 배경 영역(background region)의 빌딩 부분 이미지가 비교적 선명하고, 전경 영역(foreground region)의 군중 부분 이미지는 상대적으로 흐릿함을 알 수 있다. 전경 영역의 흐릿한 이미지 영역(21)과 배경 영역의 선명한 이미지 영역(22)은 랜덤하게 선택되고, 선택된 두 이미지 영역은 이미지 피라미드(image pyramid)에서 분석된다. 그 분석 결과는 도 4의 우측을 참조한다. 도 4의 우측에 도시된 분석 결과에 따르면, 배경 영역의 이미지 영역(22)이 다운샘플링된 후, 그 이미지의 에지(edge)가 다운샘플링 후에도 여전히 선명하며; 전경 영역의 이미지 영역(21)이 다운샘플링된 후에, 그 이미지의 에지는 다운샘플링 후에 점점 더 선명해짐을 알 수 있다. 이미지 처리 모델에서의 스케일이 서로 다른 네트워크에 동일한 특징 추출 파라미터가 할당되면, 이미지 처리 모델은 선명한 이미지 특징과 흐릿한 이미지 특징을 모두 추출할 수 없다. 따라서, 본 출원의 일 실시 예에서, 상이한 스케일을 갖는 네트워크의 특징 추출 유닛에 상이한 특징 추출 파라미터가 할당되어, 상이한 스케일을 갖는 네트워크가 상이한 스케일에서 중요한 이미지 정보를 학습할 수 있게 하여, 상이한 스케일에서 더 많은 이미지 특징을 추출할 수 있다.

스케일이 서로 다른 네트워크에서 특징 변환 유닛의 특징 변환 기능이 유사하고, 모두 대응하는 흐릿한 이미지 특징을 선명한 이미지 특징으로 변환하는 것을 목표로 하기 때문에, 본 출원의 일 실시 예에서, 도 5a에 도시된 바와 같이, 동일한 특징 변환 파라미터가 서로 다른 스케일을 갖는 네트워크의 특징 변환 유닛에 할당된다. 도 5a에서의 3개의 행(row)은 위에서 아래로 각각 거친 스케일에서 미세한 스케일인 3개의 네트워크를 나타낸다. FE는 특성 추출 유닛을 나타내고, T는 특징 변환 유닛을 나타내며, 동일한 배경은 동일한 파라미터를 나타낸다. 또한, 서로 다른 스케일 및 동일한 스케일에서의 특징 변환의 기능이 유사하기 때문에, 도 5b에 도시된 바와 같이, 동일한 특징 변환 파라미터가 추가로, 동일한 스케일을 갖는 네트워크의 특징 변환 유닛에 할당될 수 있다. 도 5a 및 도 5b는 단지 네트워크의 인코딩 스테이지를 개략적으로 나타내고, 그 디코딩 스테이지는 도 5a 및 도 5b에 도시되지 않는다.

전술한 설명에 기반하여, 이미지 처리 모델에서의 제1 네트워크 및 제2 네트워크에 대해, 선택적 공유 조건을 충족하는 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터가 설정될 수 있으며, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되며, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용된다. 구체적으로, 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함하며; 선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되는 경우, 구체적으로 제1 네트워크의 특징 변환 파라미터와 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터 즉, 제1 네트워크의 특징 변환 파라미터와 제2 네트워크의 특징 변환 파라미터는 동일한 네트워크 파라미터임을 지시하는 데 사용되며; 그리고 선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 구체적으로 제1 네트워크의 특징 추출 파라미터와 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터, 즉, 제1 네트워크의 특징 추출 파라미터와 제2 네트워크의 특징 추출 파라미터가 서로 다른 네트워크 파라미터임을 지시하는 데 사용된다. 일부 실시 예에서, 네트워크 파라미터는 특징 재구성 파라미터를 더 포함하고; 그리고 선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 제1 네트워크의 특징 재구성 파라미터 및 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터 즉, 제1 네트워크의 특징 재구성 파라미터와 제2 네트워크의 특징 재구성 파라미터가 서로 다른 네트워크 파라미터임을 지시하는 데 추가로 사용된다.

제1 네트워크의 특징 변환 파라미터와 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하기 위해 특별히 사용되는 선택적 공유 조건은 다음과 같은 두 가지 구현을 포함할 수 있다: (1) 특징 변환 파라미터의 수량이 1보다 큰 경우에, 제1 네트워크의 복수의 특징 변환 파라미터 및 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 도 5a의 우측의 이미지에 도시된 바와 같이, 제1 네트워크의 각각의 특징 변환 파라미터는 독립적 네트워크 파라미터이고, 제2 네트워크의 각각의 특징 변환 파라미터는 독립적 네트워크 파라미터이며; (2) 특징 변환 파라미터의 수량이 1보다 큰 경우에, 제1 네트워크의 복수의 특징 변환 파라미터와 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 도 5b의 우측의 이미지에 도시된 바와 같이, 제1 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터이고, 제2 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터이다.

본 개시에 따른 일 실시 예에서, 이미지 처리 모델은 적어도, 제1 스케일을 갖는 제1 네트워크 및 제2 스케일을 갖는 제2 네트워크를 포함한다. 제1 네트워크와 제2 네트워크 사이에 공유된 네트워크 파라미터와 독립적 네트워크 파라미터가 있기 때문에, 흐릿한 이미지에 대해 선명도 복원을 수행할 때 이미지 처리 모델은 흐릿한 이미지에서 더 많은 이미지 특징을 학습하여, 더 정확한 복원된 이미지를 획득할 수 있다. 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터는 더 정확한 복원된 이미지 및 선명한 이미지에 따라 업데이트되며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능을 향상시킬 수 있다. 또한, 제1 네트워크와 제2 네트워크 사이에 공유된 네트워크 파라미터가 있기 때문에, 이미지 처리 모델의 파라미터의 수량이 감소되고 모델 트레이닝의 효율성이 향상될 수 있다. 더욱이, 대응하는 선명한 이미지와 흐릿한 이미지를 사용하여 이미지 처리 모델에 대한 단대단(end-to-end) 트레이닝 및 학습(learning)을 수행하는 것에 의해, 움직임에서 흐릿한 이미지를 흐릿한 영역으로 분할할 필요가 없고, 흐릿한 이미지에 대한 임의 가정(assumption)을 할 필요가 없으며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능과 모델 트레이닝의 효율성을 더욱 향상시킬 수 있다.

도 6a는 본 출원의 실시 예에 따라 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 다른 트레이닝 방법의 개략적인 흐름도이다. 이미지 처리 모델을 위한 트레이닝 방법은 네트워크 디바이스에 의해 수행될 수 있다. 도 6a를 참조하면, 이미지 처리 모델을 위한 트레이닝 방법은 다음 단계(S601 내지 S605)를 포함할 수 있다.

S601. 트레이닝을 위한 샘플 쌍을 획득하며, 샘플 쌍은 선명한 이미지와 선명한 이미지에 대응하는 흐릿한 이미지를 포함한다.

네트워크 디바이스는 다량의 샘플 쌍을 획득하고, 다량의 샘플 쌍을 사용하여 이미지 처리 모델에 대한 후속 모델 트레이닝 업데이트 작동을 수행할 수 있다. 일 실시 예에서, 흐릿한 이미지의 생성은 일반적으로 녹화 중 카메라 움직임 또는 녹화 장면에서의 객체 움직임에 의해 발생하고, 이는 본질적으로 카메라의 셔터 속도가 충분히 빠르지 않기 때문이다. 결과적으로, 카메라의 움직임이나 녹화 장면에서의 객체 움직임은 카메라의 센서가 특정 고정된 위치의 휘도를 획득할 뿐만 아니라, 셔터가 활성화된(enabled) 다음 비활성화되는(disabled) 기간(period of time) 내에 관련 위치의 모든 휘도의 적분을 획득하게 하여, 이미지가 흐려진다. 그러나, 연구에 따르면 카메라에 의해 캡처된 연속(consecutive) 이미지 프레임에서의 관련 위치에서 모든 휘도의 적분은 인접한 연속 이미지의 대략적인 합계일 수 있다.

도 6b는 본 출원의 실시 예에 따른 트레이닝을 위한 샘플 쌍을 획득하는 방법의 흐름도이다. 도 6에 도시된 바와 같이, 트레이닝을 위한 샘플 쌍을 획득하는 방법은 구체적으로 다음 단계(S611 내지 S613)를 포함할 수 있다.

단계 S611. 트레이닝을 위한 이미지 시퀀스 프레임을 획득한다.

일부 실시 예에서, 이미지 시퀀스 프레임은 액션(action) 카메라(예를 들어, GoPro 고속 카메라) 및 네트워크 디바이스의 고속 모드를 사용하여, 다수의 비디오를 획득하고, 획득된 비디오에 대해 이미지 프레임 분석을 수행하는 것에 의해 획득될 수 있다. 비디오는 초당 240 프레임의 고속 비디오, 초당 120 프레임의 고속 비디오 등일 수 있다.

단계 S612. 이미지 시퀀스 프레임으로부터 하나의 이미지 프레임을 선명한 이미지로 랜덤하게 선택하고, 선명한 이미지와 관련된 복수의 참조 이미지 프레임을 결정한다.

일부 실시 예에서, 선명한 이미지와 연관된 참조 이미지는, 참조 이미지의 프레임 시퀀스 번호와 선명한 이미지의 프레임 시퀀스 번호 사이의 차이가 미리 설정된 차이보다 작은 것을 의미한다. 예를 들어, 선명한 이미지의 프레임 시퀀스 번호가 5이고, 즉 선명한 이미지는 이미지 시퀀스 프레임에서 이미지의 5번째 프레임이다. 미리 설정된 차이가 3이면, 이미지 시퀀스 프레임 중 3번째 이미지 프레임, 4번째 이미지 프레임, 6번째 이미지 프레임, 7번째 이미지 프레임 모두가 참조 이미지로 사용될 수 있다.

단계 S613. 복수의 참조 이미지 프레임에 따라 선명한 이미지에 대응하는 흐릿한 이미지를 획득하고, 흐릿한 이미지와 선명한 이미지를 사용하여 트레이닝을 위한 샘플 쌍을 구성한다.

일부 실시 예에서, 복수의 참조 이미지 프레임에 따라 선명한 이미지에 대응하는 흐릿한 이미지를 획득하는 구체적인 구현은: 복수의 참조 이미지 프레임을 중첩(superimposing) 및 평균화(averaging)하여 선명한 이미지에 대응하는 흐릿한 이미지를 획득하는 것일 수 있다.

S602. 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득한다.

본 개시에 따른 일 실시 예에서, 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고; 제1 네트워크는 제1 스케일에 대응하고, 제2 네트워크는 제2 스케일에 대응하며; 제1 스케일의 값과 제2 스케일의 값이 상이하다. 앞에서 알 수 있듯이, 스케일이 서로 다른 네트워크는 선명도가 서로 다른 흐릿한 이미지에 대해 선명도 복원을 수행할 수 있다.

도 6c는 본 출원의 일 실시 예에 따라 단계(S602)에서 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하는 방법의 흐름도이다. 도 6c에 도시된 바와 같이, 방법은 다음 단계(S621 내지 S624)를 포함한다:

단계 S621. 제1 스케일에 따라 흐릿한 이미지를 다운샘플링하여 제1 선명도를 가지는 이미지를 획득한다.

단계 S622. 제1 네트워크를 호출하여 제1 선명도를 가지는 흐릿한 이미지에 대해 선명도 복원을 수행하여, 중간 이미지(intermediate image)를 획득한다.

일부 실시 예에서, 제1 네트워크는 다음 수식 1.4:

를 사용하여 제1 선명도를 가지는 이미지에 대해 선명도 복원을 수행할 수 있으며, 여기서,

는 선명도 복원을 수행하기 위해 제1 네트워크에 의해 사용되는 함수이며,

은 제1 네트워크에 입력된 제1 선명도를 가지는 흐릿한 이미지를 나타내고,

은 제1 네트워크에서 제2 네트워크와 독립적인, 네트워크 파라미터를 나타내며,

는 제1 네트워크와 제2 네트워크 사이에 공유되는 네트워크 파라미터를 나타내고,

은 제1 네트워크에 의해 출력되는 중간 이미지를 나타낸다.

단계 S623. 제2 스케일에 따라 흐릿한 이미지를 다운샘플링하여 제2 선명도를 가지는 흐릿한 이미지를 획득한다.

단계 S624. 제2 네트워크를 호출하여 제2 선명도를 가지는 흐릿한 이미지와 중간 이미지에 따라 선명도 복원을 수행하여 복원된 이미지를 획득한다.

일부 실시 예에서, 제2 네트워크는 다음 수식 1.5:

를 사용하여 제2 선명도를 갖는 흐릿한 이미지와 중간 이미지에 대해 선명도 복원을 수행할 수 있으며,

는 선명도 복원을 수행하기 위해 제2 네트워크에 의해 사용되는 함수이며,

는 제2 네트워크에 입력된 제2 선명도를 가지는 흐릿한 이미지를 나타내고,

은 제1 네트워크에서 출력된 중간 이미지를 나타내며,

는 제2 네트워크에서, 제1 네트워크와 독립적인 네트워크 파라미터를 나타내고,

은 제1 네트워크와 제2 네트워크 사이에 공유되는 네트워크 파라미터를 나타내며,

는 제2 네트워크에서 출력되는 복원된 이미지를 나타낸다.

이미지 처리 모델이 적어도 3개의 네트워크를 포함할 때, 네트워크는 이미지 처리 모델의 연결 순서에 따라 흐릿한 이미지에 대해 선명도 복원을 수행하기 위해 순차적으로 호출될 수 있다. 이미지 처리 모델의 제1 네트워크는 수식 1.4를 사용하여 선명도 복원을 수행할 수 있으며, 이미지 처리 모델의 제1 네트워크를 제외한 모든 네트워크는 수식 1.6을 사용하여 선명도 복원을 수행할 수 있으며, 마지막 네트워크에 의해 선명도 복원을 수행한 이미지는 복원된 이미지이다.

여기서,

는 선명도 복원을 수행하기 위해

번째 네트워크에 의해 사용되는 함수를 나타내고,

는

번째 네트워크에 입력된

번째 선명도를 가지는 흐릿한 이미지를 나타내며,

는

번째 네트워크에서, 상이한 스케일을 가진 다른 네트워크와 독립적인 네트워크 파라미터를 나타내고,

은 네트워크 간에 공유되는 네트워크 파라미터를 나타내며,

은

번째 네트워크에 의해 출력되는 중간 이미지를 나타내고,

는

번째 네트워크에 의해 출력되는 중간 이미지를 나타낸다.

S603. 이미지 처리 모델의 최적화 함수(optimization function)를 획득한다.

S604. 복원된 이미지와 선명한 이미지에 따라 최적화 함수의 값을 결정한다.

S605. 최적화 함수의 값을 감소시키는 것에 의해, 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하여, 트레이닝된 이미지 처리 모델을 획득한다.

네트워크 디바이스는 전술한 단계(S601 및 S602)를 수행하여 다량의 샘플 쌍의 복원된 이미지 및 선명한 이미지를 획득하고, 다량의 복원된 이미지 및 선명한 이미지 쌍을 획득한 후 단계(S603 내지 S605)를 수행할 수 있다. 단계(S603 내지 S605)에서, 이미지 처리 모델의 최적화 함수는 다음 수식 1.2:

로서 보여줄 수 있으며, 여기서,

은 샘플 쌍의 수량을 나타내며,

및

는 각각, 스케일

에서

번째 샘플에서의 흐릿한 이미지와 선명한 이미지를 나타내고,

는 이미지 처리 모델에서의 총 스케일 수량을 나타내며,

는 스케일

에 대응하는 네트워크에서의 독립적 네트워크 파라미터를 나타내고,

는 공유된 네트워크 파라미터를 나타내며,

는 스케일

에서 이미지의 총 픽셀 수량을 나타내고,

는 흐릿한 이미지

에 대해 선명도 복원을 수행하는 함수를 나타낸다.

최적화 함수가 획득된 후, 복원된 이미지와 선명한 이미지는 최적화 함수의 값을 결정하기 위해 최적화 함수로 대체될 수 있으며, 그 다음에 이미지 처리 모델에서의 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터는 최적화 함수의 값이 최소화될 때까지 최적화 함수의 값을 감소시키는 원칙에 따라 지속적으로 업데이트되고, 이미지 처리 모델이 수렴 상태(converged state)가 된다. 이미지 처리 모델은 제1 네트워크 및 제2 네트워크와 상이한 다른 네트워크를 더 포함할 수 있다. 그 다음에, 최적화 함수의 값이 결정된 후, 최적화 함수의 값을 감소시키는 것에 의해, 이미지 처리 모델에서 다른 네트워크의 네트워크 파라미터를 계속해서 업데이트할 수 있다.

본 개시에 따른 일 실시 예에서, 흐릿한 이미지를 처리하는 이미지 처리 모델은 적어도 제1 스케일을 갖는 제1 네트워크 및 제2 스케일을 갖는 제2 네트워크를 포함한다. 제1 네트워크와 제2 네트워크 사이에는 공유된 네트워크 파라미터와 독립적 네트워크 파라미터가 있기 때문에, 흐릿한 이미지에 대해 선명도 복원을 수행할 때 이미지 처리 모델은 흐릿한 이미지에서 더 많은 이미지 특징을 학습하여 더 정확한 복원된 이미지를 획득할 수 있다. 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터는 보다 정확한 복원된 이미지 및 선명한 이미지에 따라 업데이트되며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능을 향상시킬 수 있다. 또한, 제1 네트워크와 제2 네트워크 사이에 공유된 네트워크 파라미터가 있기 때문에, 이미지 처리 모델의 파라미터의 수량이 감소되고 모델 트레이닝의 효율성이 향상될 수 있다. 더욱이, 대응하는 선명한 이미지와 흐릿한 이미지를 사용하여 이미지 처리 모델에 대해 단대단 트레이닝 및 학습을 수행하는 것에 의해, 움직임에서 흐릿한 이미지를 흐릿한 영역으로 분할할 필요가 없고, 흐릿한 이미지에 대한 가정을 할 필요가 없으며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능과 모델 트레이닝의 효율성을 더욱 향상시킬 수 있다.

이미지 처리 모델에 대한 전술한 관련 설명에 기반하여, 본 출원의 실시 예는 이미지 처리 방법을 더 제공하고, 이미지 처리 방법은 도 3a의 네트워크 디바이스에 의해 수행될 수 있다. 도 7을 참조하면, 이미지 처리 방법은 다음 단계(S701 내지 S703)를 포함할 수 있다.

S701. 처리될 원본 이미지를 획득한다.

원본 이미지의 선명도가 미리 설정된 임계 값보다 작다. 다음 두 가지 방법을 사용하여 처리될 원본 이미지를 획득할 수 있다.

(1) 처리될 원본 이미지를 적극적으로(Actively) 획득한다.

구체적으로, 카메라 어셈블리(camera assembly)가 이미지 캡처에 사용될 때, 네트워크 디바이스가 카메라 어셈블리가 동적인 장면 또는 상대적으로 어두운 환경에 있음을 검출하면, 카메라 어셈블리에 의해 캡처된 이미지의 선명도가 미리 설정된 임계 값보다 작은 지가 적극적으로 검출되며; 선명도가 미리 설정된 임계 값보다 작으면, 네트워크 디바이스는 카메라 어셈블리에 의해 캡처된 이미지를 처리될 원본 이미지로 적극적으로 사용할 수 있다. 일 예에서, 네트워크 디바이스의 카메라 어셈블리가 특정 영역의 환경 조건을 녹화할 때, 네트워크 디바이스가 해당 영역의 과거 환경 데이터에 따라 해당 영역에 보통 사람이나 차량의 흐름이 있다고 결정하면, 카메라 어셈블리가 동적 환경에 있는 것으로 간주될 수 있다. 이 경우, 카메라 어셈블리에 의해 캡처된 이미지의 선명도가 미리 설정된 임계 값보다 작은지가 적극적으로 검출될 수 있으며; 선명도가 미리 설정된 임계 값보다 작으면, 네트워크 디바이스는 카메라 어셈블리에 의해 캡처된 이미지를 처리될 원본 이미지로 적극적으로 사용할 수 있다. 다른 예에서, 네트워크 디바이스의 카메라 어셈블리가 이미지를 캡처할 때, 네트워크 디바이스가 카메라 어셈블리가 위치한 환경의 밝기 값(light value)이 광(light) 센서 또는 카메라 어셈블리에 따라 미리 설정된 밝기 값보다 작은 것을 검출하면, 카메라 어셈블리가 상대적으로 어두운 환경에 있는 것으로 간주될 수 있다. 이 경우, 카메라 어셈블리에 의해 캡처된 이미지의 선명도가 미리 설정된 임계 값보다 작은지가 적극적으로 검출될 수 있으며; 선명도가 미리 설정된 임계 값보다 작으면, 네트워크 디바이스는 카메라 어셈블리에 의해 캡처된 이미지를 처리될 원본 이미지로 적극적으로 사용할 수 있다.

(2) 사용자 명령에 따라 처리될 원본 이미지를 획득한다.

일 실시 예에서, 네트워크 디바이스가 사용자가 네트워크 디바이스의 카메라 어셈블리를 사용하여 이미지를 캡처하는 것을 검출한 후, 카메라 어셈블리에 의해 캡처된 이미지가 획득될 수 있고, 사용자에게 보여주기 위해 캡처된 이미지가 사용자 인터페이스 상에 디스플레이된다. 캡처된 이미지가 선명하지 않고 그 선명도가 미리 설정된 임계 값보다 작은 것으로 확인되면, 사용자는 이미지 처리 명령을 네트워크 디바이스에 입력할 수 있다. 네트워크 디바이스가 이미지 처리 명령을 수신하면, 캡처된 이미지가 처리될 원본 이미지로 사용될 수 있다. 다른 실시 예에서, 사용자가 네트워크 디바이스의 이미지 갤러리에서 일부 과거 이미지(historical image)가 흐릿하고 그 선명도가 미리 설정된 임계 값보다 작은 것을 확인하면, 사용자는 또한 이미지 처리 명령을 네트워크 디바이스에 입력하여, 처리될 원본 이미지로서 과거 이미지를 획득하도록 네트워크 디바이스를 트리거할 수 있다. 전술한 이미지 처리 명령은 사용자가 이미지를 클릭하거나 눌러서 생성한 명령일 수도 있고, 또는 사용자가 네트워크 디바이스 상에서 지정된 키를 눌러서 생성한 명령일 수 있으며, 또는 사용자가 음성을 네트워크 디바이스에 입력하는 것에 의해 생성된 명령 등일 수 있다.

S702. 이미지 처리 모델을 호출하여 원본 이미지에 대해 선명도 복원을 수행하여 타깃 이미지를 획득한다.

타깃 이미지의 선명도가 미리 설정된 임계 값보다 크다. 선명도 복원은: 이미지에 대해 특징 추출을 수행하는 것, 다차 잔차 함수를 사용하여 특징 추출 후 획득된 이미지에 대해 특징 변환을 수행하는 것, 그리고 특징 변환 후 획득된 이미지에 대해 특징 재구성을 수행하는 것을 포함한다. 이에 대응하여, 단계(S702)의 특정 구현 프로세스에서, 이미지 처리 모델은 호출되어 먼저, 원본 이미지에 대해 특징 추출을 수행하여, 특징 추출 후에 획득된 제1 이미지를 획득할 수 있고; 그 다음, 다차 잔차 함수를 사용하여 제1 이미지에 대해 특징 변환을 수행하여 특징 변환 후에 획득된 제2 이미지를 획득하며; 그리고 마지막으로 특징 재구성이 제2 이미지에 대해 수행되어 타깃 이미지를 획득한다.

여기에서 이미지 처리 모델은 도 3b 또는 도 6a에 도시된 이미지 처리 모델을 위한 트레이닝 방법을 사용하여 트레이닝하는 것에 의해 획득될 수 있다. 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고; 제1 네트워크는 제1 스케일에 대응하고, 제2 네트워크는 제2 스케일에 대응하며; 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터가 선택적 공유 조건을 충족하고, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되며, 그리고 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용된다. 일 실시 예에서, 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함한다. 이에 대응하여, 선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되는 경우, 구체적으로 제1 네트워크의 특징 변환 파라미터와 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하는 데 사용되며; 그리고 선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 구체적으로 제1 네트워크의 특징 추출 파라미터와 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터임을 지시하는 데 사용된다. 다른 실시 예에서, 네트워크 파라미터는 특징 재구성 파라미터를 더 포함한다. 이에 대응하여, 선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 제1 네트워크의 특징 재구성 파라미터와 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터임을 지시하는 데 추가로 사용된다.

S703. 타깃 이미지를 출력한다.

본 개시에 따른 일 실시 예에서, 이미지 처리 모델은 도 3b 또는 도 6a에 도시된 이미지 처리 모델을 위한 트레이닝 방법을 사용하여 트레이닝하는 것에 의해 획득되기 때문에, 이미지 처리 모델의 디블러링 성능이 좋다. 따라서, 이미지 처리 모델을 호출하여 선명도가 낮은 원본 이미지에 대해 선명도 복원을 수행하는 것에 의해, 원본 이미지를 더 잘 디블러링하여 상대적으로 선명한 타깃 이미지를 획득할 수 있으며, 이는 타깃 이미지의 선명도를 향상시키고, 타깃 이미지의 이미지 품질을 더욱 향상시킬 수 있다.

이미지 처리 모델을 위한 트레이닝 방법의 실시 예의 전술한 설명에 기반하여, 본 출원의 실시 예는 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 장치를 더 개시한다. 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고; 제1 네트워크와 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이고; 스케일의 크기는 처리될 흐릿한 이미지의 선명도 측정치에 대응하며; 이미지 처리 모델을 위한 트레이닝 장치는 네트워크 디바이스에서 실행되는 컴퓨터 프로그램(프로그램 코드를 포함)일 수 있다. 이미지 처리 모델을 위한 트레이닝 장치는 도 3b 또는 도 6a에 도시된 방법을 수행할 수 있다. 도 8을 참조하면, 이미지 처리 모델을 위한 트레이닝 장치는 다음의 유닛:

트레이닝을 위한 샘플 쌍을 획득하도록 구성된 획득 유닛(101) - 샘플 쌍은 선명한 이미지 및 선명한 이미지에 대응하는 흐릿한 이미지를 포함하고, 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크고, 흐릿한 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;

이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하도록 구성된 처리 유닛(102); 및

복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하여, 트레이닝된 이미지 처리 모델을 획득하도록 구성된 업데이트 유닛(103)

을 작동시킬 수 있으며, 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되고, 그리고 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용된다.

일 실시 예에서, 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함하고;

선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되는 경우, 구체적으로 제1 네트워크의 특징 변환 파라미터와 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하는 데 사용되며; 그리고

선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 구체적으로 제1 네트워크의 특징 추출 파라미터와 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터임을 지시하는 데 사용된다.

다른 실시 예에서, 네트워크 파라미터는 특징 재구성 파라미터를 더 포함하며; 그리고

선택적 공유 조건은, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 제1 네트워크의 특징 재구성 파라미터와 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터임을 지시하는 데 추가로 사용된다.

다른 실시 예에서, 선택적 공유 조건이 구체적으로, 제1 네트워크의 특징 변환 파라미터와 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하는 데 사용되는 것은,

특징 변환 파라미터의 수량이 1보다 큰 경우, 제1 네트워크의 복수의 특징 변환 파라미터와 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 제1 네트워크의 각각의 특징 변환 파라미터는 독립적 네트워크 파라미터이며, 제2 네트워크의 각각의 특징 변환 파라미터는 독립적 네트워크 파라미터이고; 또는

특징 변환 파라미터의 수량이 1보다 큰 경우, 제1 네트워크의 복수의 특징 변환 파라미터와 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 제1 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터이며, 제2 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터인 것을 포함한다.

다른 실시 예에서, 제1 네트워크는 제1 스케일에 대응하고, 제2 네트워크는 제2 스케일에 대응하며; 처리 유닛(102)은 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하도록 구성될 때, 구체적으로:

제1 스케일에 따라 흐릿한 이미지를 다운샘플링하여 제1 선명도를 가지는 흐릿한 이미지를 획득하고;

제1 네트워크를 호출하여 제1 선명도를 가지는 이미지에 대해 선명도 복원을 수행하여 중간 이미지를 획득하며;

제2 스케일에 따라 흐릿한 이미지를 다운샘플링하여 제2 선명도를 가지는 흐릿한 이미지를 획득하고; 그리고

제2 네트워크를 호출하여 제2 선명도를 가지는 흐릿한 이미지와 중간 이미지에 따라 선명도 복원을 수행하여 복원된 이미지를 획득하도록 구성된다.

또 다른 실시 예에서, 선명도 복원은 이미지에 대해 특징 추출을 수행하는 것, 다차 잔차 함수를 사용하여 특징 추출 후 획득된 이미지에 대해 특징 변환을 수행하는 것, 그리고 특징 변환 후 획득된 이미지에 대해 특징 재구성을 수행하는 것을 포함한다.

다른 실시 예에서, 업데이트 유닛(103)은 복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하도록 구성될 때, 구체적으로:

이미지 처리 모델의 최적화 함수를 획득하고;

복원된 이미지 및 선명한 이미지에 따라 최적화 함수의 값을 결정하며; 그리고

최적화 함수의 값을 감소시키는 원리에 따라, 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하도록 구성된다.

다른 실시 예에서, 획득 유닛(101)은 트레이닝을 위한 샘플 쌍을 획득하도록 구성될 때, 구체적으로:

트레이닝을 위한 이미지 시퀀스 프레임을 획득하고 - 이미지 시퀀스 프레임은 적어도 2개의 이미지 프레임을 포함함 -;

이미지 시퀀스 프레임으로부터 하나의 이미지 프레임을 선명한 이미지로서 랜덤하게 선택하고, 선명한 이미지와 연관된 복수의 참조 이미지 프레임을 결정하며; 그리고

복수의 참조 이미지 프레임에 따라 선명한 이미지에 대응하는 흐릿한 이미지를 획득하고, 흐릿한 이미지와 선명한 이미지를 사용하여 트레이닝을 위한 샘플 쌍을 구성하도록 구성된다.

다른 실시 예에서, 획득 유닛(101)은 복수의 참조 이미지 프레임에 따라 선명한 이미지에 대응하는 흐릿한 이미지를 획득하도록 구성될 때, 구체적으로:

복수의 참조 이미지 프레임을 중첩하고 평균화하여, 선명한 이미지에 대응하는 흐릿한 이미지를 획득하도록 구성된다.

본 출원의 일 실시 예에 따르면, 도 3b 또는 도 6a에 도시된 방법의 단계는 도 8에 도시된 이미지 처리 모델을 위한 트레이닝 장치의 유닛에 의해 수행될 수 있다. 일 예에서, 도 3b에 도시된 단계(S301 내지 S303)는 도 8에 도시된 획득 유닛(101), 처리 유닛(102) 및 업데이트 유닛(103)에 의해 각각 수행될 수 있다. 다른 예에서, 도 6a에 도시된 단계(S601 및 S602)는 도 8에 도시된 획득 유닛(101) 및 처리 유닛(102)에 의해 각각 수행될 수 있으며, 단계(S603 내지 S605)는 도 8에 도시된 업데이트 유닛(103)에 의해 수행될 수 있다.

본 출원의 다른 실시 예에 따르면, 도 8에 도시된 흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 장치의 유닛이 개별적으로 또는 전체적으로 하나 또는 여러 다른 유닛으로 조합될 수 있거나, 본 명세서의 유닛 중 하나(또는 그 이상)는 더 작은 기능의 복수의 유닛으로 더 나눠질 수 있다. 이러한 방식으로 동일한 작동이 구현될 수 있으며, 본 출원의 실시 예의 기술적 효과의 구현은 영향을 받지 않는다. 전술한 유닛은 논리 기능에 기반하여 나눠진다. 실제 애플리케이션에서, 하나의 유닛의 기능이 복수의 유닛에 의해 구현될 수도 있고, 복수의 유닛의 기능은 하나의 유닛에 의해 구현될 수도 있다. 본 출원의 다른 실시 예에서, 이미지 처리 모델을 위한 트레이닝 장치는 또한 다른 유닛을 포함할 수 있다. 실제 애플리케이션에서, 기능은 다른 유닛에 의해 협력적으로 구현될 수도 있고 복수의 유닛에 의해 협력적으로 구현될 수도 있다.

본 출원의 다른 실시 예에 따르면, 도 3b 또는 도 6a에 도시된 대응하는 방법의 단계를 수행할 수 있는 컴퓨터 프로그램(프로그램 코드를 포함)은, 중앙 처리 유닛(central processing unit, CPU), 랜덤 액세스 메모리(random access memory, RAM) 및 읽기 전용 메모리(read-only memory, ROM)와 같은 처리 엘리먼트 및 저장 엘리먼트를 포함하는 컴퓨터와 같은 일반 컴퓨팅 디바이스 상에서 실행되어, 도 8에 도시된 이미지 처리 모델을 위한 트레이닝 장치를 구성하고, 본 출원의 실시 예에서의 이미지 처리 모델을 위한 트레이닝 방법을 구현한다. 컴퓨터 프로그램은 예를 들어, 컴퓨터가 판독가능한 기록 매체에 기록될 수 있으며, 컴퓨터가 판독가능한 기록 매체를 사용하여 전술한 컴퓨팅 디바이스에 로딩되어 컴퓨팅 디바이스 상에서 실행될 수 있다.

본 개시에 따른 일 실시 예에서, 흐릿한 이미지를 처리하는 이미지 처리 모델은 적어도 제1 스케일을 갖는 제1 네트워크 및 제2 스케일을 갖는 제2 네트워크를 포함한다. 제1 네트워크와 제2 네트워크 사이에 공유된 네트워크 파라미터와 독립적 네트워크 파라미터가 있기 때문에, 흐릿한 이미지에 대해 선명도 복원을 수행할 때 이미지 처리 모델은 흐릿한 이미지에서 더 많은 이미지 특징을 학습하여 더 정확한 복원된 이미지를 획득할 수 있다. 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터는 보다 정확한 복원된 이미지 및 선명한 이미지에 따라 업데이트되며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능을 향상시킬 수 있다. 또한, 제1 네트워크와 제2 네트워크 사이에 공유된 네트워크 파라미터가 있기 때문에, 이미지 처리 모델의 파라미터의 수량이 감소될 수 있으며, 모델 트레이닝의 효율성이 향상된다. 더욱이, 대응하는 선명한 이미지와 흐릿한 이미지를 사용하여 이미지 처리 모델에 대해 단대단 트레이닝 및 학습을 수행하는 것에 의해, 움직임에서 흐릿한 이미지를 흐릿한 영역으로 분할할 필요가 없고, 흐릿한 이미지에 대한 가정을 할 필요가 없으며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능과 모델 트레이닝의 효율성을 더욱 향상시킬 수 있다.

이미지 처리 방법의 실시 예의 전술한 설명에 기반하여, 본 출원의 실시 예는 이미지 처리 장치를 추가로 개시한다. 이미지 처리 장치는 네트워크 디바이스에서 실행되는 컴퓨터 프로그램(프로그램 코드를 포함)일 수 있다. 이미지 처리 장치는 도 7에 도시된 방법을 수행할 수 있다. 도 9를 참조하면, 이미지 처리 장치는 다음 유닛:

처리될 원본 이미지를 획득하도록 구성된 획득 유닛(201) - 원본 이미지의 선명도가 미리 설정된 임계 값보다 작음 -;

흐릿한 이미지를 처리하는 이미지 처리 모델을 호출하여 원본 이미지에 대해 선명도 복원을 수행하여, 타깃 이미지를 획득하도록 구성된 처리 유닛(202) - 타깃 이미지의 선명도는 미리 설정된 임계 값보다 크며, 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하며; 제1 네트워크 및 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이고; 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하며; 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되고, 그리고 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용됨 -; 및

타깃 이미지를 출력하도록 구성된 출력 유닛(203)을 작동시킬 수 있다.

본 출원의 일 실시 예에 따르면, 도 7에 도시된 방법의 단계는 도 9에 도시된 이미지 처리 장치의 유닛에 의해 수행될 수 있다. 구체적으로, 도 7에 도시된 단계(S701 내지 S703)는 도 9에 도시된 획득 유닛(201), 처리 유닛(202) 및 출력 유닛(203)에 의해 각각 수행될 수 있다. 본 출원의 다른 실시 예에 따르면, 도 9에 도시된 이미지 처리 장치의 유닛이 개별적으로 또는 전체적으로 하나 또는 여러 다른 유닛으로 조합될 수 있거나, 또는 여기서의 유닛 중 하나(또는 그 이상)는 더 작은 기능의 복수의 유닛으로 더 나눠질 수 있다. 이러한 방식으로 동일한 작동이 구현될 수 있으며, 본 출원의 실시 예의 기술적 효과의 구현은 영향을 받지 않는다. 전술한 유닛은 논리 기능에 기반하여 나눠진다. 실제 애플리케이션에서, 하나의 유닛의 기능이 복수의 유닛에 의해 구현될 수도 있고, 복수의 유닛의 기능은 하나의 유닛에 의해 구현될 수도 있다. 본 출원의 다른 실시 예에서, 이미지 처리 장치는 또한 다른 유닛을 포함할 수 있다. 실제 애플리케이션에서, 기능은 다른 유닛에 의해 협력적으로 구현될 수도 있고 복수의 유닛에 의해 협력적으로 구현될 수도 있다. 본 출원의 다른 실시 예에 따르면, 도 7에 도시된 대응하는 방법의 단계를 수행할 수 있는 컴퓨터 프로그램(프로그램 코드를 포함)은, 중앙 처리 유닛(central processing unit, CPU), 랜덤 액세스 메모리(random access memory, RAM) 및 읽기 전용 메모리(read-only memory, ROM)와 같은 처리 엘리먼트 및 저장 엘리먼트를 포함하는 컴퓨터와 같은 일반 컴퓨팅 디바이스 상에서 실행되어, 도 9에 도시된 이미지 처리 장치를 구성하고, 본 출원의 실시 예에서의 이미지 처리 방법을 구현한다. 컴퓨터 프로그램은 예를 들어, 컴퓨터가 판독가능한 기록 매체에 기록될 수 있으며, 컴퓨터가 판독가능한 기록 매체를 사용하여 전술한 컴퓨팅 디바이스에 로딩되어 컴퓨팅 디바이스 상에서 실행될 수 있다.

본 개시에 따른 일 실시 예에서, 이미지 처리 모델은 도 3b 또는 도 6a에 도시된 이미지 처리 모델을 위한 트레이닝 방법을 사용하여 트레이닝에 의해 획득되기 때문에, 이미지 처리 모델의 디블러링 성능이 좋다. 따라서 이미지 처리 모델을 호출하여 선명도가 낮은 원본 이미지에 대해 선명도 복원을 수행하는 것에 의해, 원본 이미지를 더 잘 디블러링하여 상대적으로 선명한 타깃 이미지를 획득할 수 있으며, 이는 타깃 이미지의 선명도를 향상시키고, 타깃 이미지의 이미지 품질을 더욱 향상시킬 수 있다.

전술한 방법 실시 예 및 장치 실시 예의 설명에 기반하여, 본 출원의 실시 예는 네트워크 디바이스를 더 제공한다. 도 10을 참조하면, 네트워크 디바이스는 적어도 프로세서(301), 입력 디바이스(302), 출력 디바이스(303) 및 컴퓨터 저장 매체(304)를 포함한다. 입력 디바이스(302)는 카메라 어셈블리를 더 포함할 수 있고, 카메라 어셈블리는 이미지를 획득하도록 구성될 수 있다. 카메라 어셈블리는 네트워크 디바이스가 출고될 때 네트워크 디바이스 상에 구성된 어셈블리이거나 또는 네트워크 디바이스에 연결된 외부 어셈블리일 수 있다. 일부 실시 예에서, 네트워크 디바이스는 추가로, 다른 디바이스에 의해 전송된 이미지를 수신하기 위해 다른 디바이스에 연결될 수 있다.

컴퓨터 저장 매체(304)는 네트워크 디바이스의 메모리에 저장될 수 있다. 컴퓨터 저장 매체(304)는 컴퓨터 프로그램을 저장하도록 구성된다. 컴퓨터 프로그램에는 프로그램 명령을 포함한다. 프로세서(301)는 컴퓨터 저장 매체(304)에 저장된 프로그램 명령을 실행하도록 구성된다. 프로세서(301)(또는 중앙 처리 유닛(central processing unit, CPU)이라고 함)는 네트워크 디바이스의 컴퓨팅 코어 및 제어 코어이며, 하나 이상의 명령을 구현하는 데 적합하고, 그리고 대응하는 방법 절차 또는 대응하는 기능을 구현하기 위해 하나 이상의 명령을 로드하고 실행하는 데 특히 적합하다. 일 실시 예에서, 본 출원의 실시 예의 프로세서(301)는 다음: 트레이닝을 위한 샘플 쌍을 획득하고 - 샘플 쌍은 선명한 이미지 및 선명한 이미지에 대응하는 흐릿한 이미지를 포함하며, 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크고, 흐릿한 이미지의 선명도는 미리 설정된 임계 값보다 작음 -; 이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하며; 그리고 복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하는 것 - 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되고, 제1 네트워크와 제2 네트워크 사이에 독립적 네트워크 파라미터를 지시하는 데 사용됨 - 을 포함하는, 흐릿한 이미지를 처리하는 이미지 처리 모델에 대한 일련의 트레이닝을 수행하도록 구성될 수 있다. 다른 실시 예에서, 본 출원의 실시 예들의 프로세서(301)는 추가로, 다음: 처리될 원본 이미지 획득하고 - 원본 이미지의 선명도는 미리 설정된 임계 값보다 작음 -; 및 이미지 처리 모델을 호출하여 원본 이미지에 대해 선명도 복원을 수행하여 타깃 이미지를 획득하는 것 - 타깃 이미지의 선명도는 미리 설정된 임계 값보다 더 큼 -을 포함하는, 원본 이미지에 대한 일련의 이미지 처리를 수행하도록 구성될 수 있다

본 출원의 실시 예는 컴퓨터 저장 매체(메모리)를 더 제공하고, 컴퓨터 저장 매체는 네트워크 디바이스에서의 메모리 디바이스이며, 프로그램 및 데이터를 저장하도록 구성된다. 여기서 컴퓨터 저장 매체는 네트워크 디바이스에서의 내부 저장 매체를 포함할 수 있고, 확실히 네트워크 디바이스에 의해 지원되는 확장 저장 매체도 포함할 수 있음을 이해할 수 있다. 컴퓨터 저장 매체는 저장 공간을 제공하고, 저장 공간은 네트워크 디바이스의 운영 체제를 저장한다. 또한, 저장 공간은 추가로, 프로세서(301)에 의해 로드되고 실행되기에 적합한 하나 이상의 명령을 저장한다. 명령은 하나 이상의 컴퓨터 프로그램(프로그램 코드를 포함)일 수 있다. d여기서 컴퓨터 저장 매체는 고속 RAM 또는 비 휘발성 메모리, 예를 들어 적어도 하나의 자기 디스크 메모리일 수 있다. 일부 실시 예에서, 컴퓨터 저장 매체는 전술한 프로세서로부터 떨어진 적어도 하나의 컴퓨터 저장 매체일 수 있다.

일 실시 예에서, 컴퓨터 저장 매체에 저장된 하나 이상의 제1 명령은 프로세서(301)에 의해 로드되고 실행되어, 이미지 처리 모델의 트레이닝과 관련된 전술한 실시 예에서 방법의 대응하는 단계를 구현할 수 있다. 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고; 제1 네트워크와 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며; 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응한다. 특정 구현에서, 컴퓨터 저장 매체에서의 하나 이상의 제1 명령은 로드되고 실행되어, 다음 단계:

트레이닝을 위한 샘플 쌍을 획득하는 단계 - 샘플 쌍은 선명한 이미지 및 선명한 이미지에 대응하는 흐릿한 이미지를 포함하고, 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크며, 흐릿한 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;

이미지 처리 모델을 호출하여 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하는 단계; 및

복원된 이미지 및 선명한 이미지에 따라 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하는 단계 - 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되고, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용됨 - 를 수행한다.

선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용되는 경우, 제1 네트워크의 특징 재구성 파라미터와 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터임을 지시하는 데 추가로 사용된다.

다른 실시 예에서, 제1 네트워크는 제1 스케일에 대응하고, 제2 네트워크는 제2 스케일에 대응하며; 이미지 처리 모델이 호출되어 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득할 때, 하나 이상의 제1 명령이 프로세서(301)에 의해 로드되어:

제1 스케일에 따라 흐릿한 이미지를 다운샘플링하여 제1 선명도를 갖는 흐릿한 이미지를 획득하고;

제1 네트워크를 호출하여 제1 선명도를 가지는 이미지에 대해 선명도 복원을 수행하여, 중간 이미지를 획득하며;

제2 스케일에 따라 흐릿한 이미지를 다운샘플링하여 제2 선명도를 갖는 흐릿한 이미지를 획득하며; 그리고

제2 네트워크를 호출하여, 제2 선명도를 갖는 흐릿한 이미지 및 중간 이미지에 따라 선명도 복원을 수행하여 복원된 이미지를 획득하는 것을 수행한다.

다른 실시 예에서, 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터가 복원된 이미지 및 선명한 이미지에 따라 업데이트될 때, 하나 이상의 제1 명령이 프로세서(301)에 의해 로드되어:

이미지 처리 모델의 최적화 함수를 획득하며;

복원된 이미지 및 선명한 이미지에 따라 최적화 함수의 값을 결정하고; 그리고

최적화 함수의 값을 감소시키는 원리에 따라, 이미지 처리 모델에서 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터를 업데이트하는 것을 수행한다.

다른 실시 예에서, 트레이닝을 위한 샘플 쌍이 획득될 때, 하나 이상의 제1 명령이 프로세서(301)에 의해 로드되어:

복수의 참조 이미지 프레임에 따라 선명한 이미지에 대응하는 흐릿한 이미지를 획득하고, 흐릿한 이미지와 선명한 이미지를 사용하여 트레이닝을 위한 샘플 쌍을 구성하는 것을 수행한다.

다른 실시 예에서, 참조 이미지의 복수의 프레임에 따라 선명한 이미지에 대응하는 흐릿한 이미지가 획득될 때, 하나 이상의 제1 명령이 프로세서(301)에 의해 로드되어:

복수의 참조 이미지 프레임을 중첩 및 평균화하여 선명한 이미지에 대응하는 흐릿한 이미지를 획득하는 것을 수행한다.

다른 실시 예에서, 컴퓨터 저장 매체에 저장된 하나 이상의 제2 명령은 프로세서(301)에 의해 로드되고 실행되어, 이미지 처리와 관련된 전술한 실시 예에서의 방법의 대응하는 단계를 구현할 수 있다. 특정 구현에서, 컴퓨터 저장 매체에 있는 하나 이상의 제2 명령은 프로세서(301)에 의해 로드되어 다음 단계:

처리될 원본 이미지를 획득하는 단계 - 원본 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;

이미지 처리 모델을 호출하여 원본 이미지에 대해 선명도 복원을 수행하여, 타깃 이미지를 획득하는 단계 - 타깃 이미지의 선명도는 미리 설정된 임계 값보다 크며, 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 제1 네트워크는 제1 스케일에 대응하며, 제2 네트워크는 제2 스케일에 대응하고, 제1 네트워크의 네트워크 파라미터 및 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하며, 선택적 공유 조건은 제1 네트워크와 제2 네트워크 사이의 공유된 네트워크 파라미터를 지시하는 데 사용되고, 제1 네트워크와 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시하는 데 사용됨 -; 및

타깃 이미지를 출력하는 단계를 수행한다.

본 개시에 따른 일 실시 예에서, 흐릿한 이미지를 처리하는 이미지 처리 모델은 제1 스케일을 가지는 제1 네트워크 및 제2 스케일을 가지는 제2 네트워크를 포함한다.

제1 네트워크와 제2 네트워크 간에는 공유된 네트워크 파라미터와 독립적 네트워크 파라미터가 있기 때문에, 흐릿한 이미지에 대해 선명도 복원을 수행할 때 이미지 처리 모델은 흐릿한 이미지에서 더 많은 이미지 특징을 학습하여 더 정확한 복원된 이미지를 획득할 수 있다. 제1 네트워크의 네트워크 파라미터 및/또는 제2 네트워크의 네트워크 파라미터는 보다 정확한 복원된 이미지 및 선명한 이미지에 따라 업데이트되며, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능을 향상시킬 수 있다. 또한, 제1 네트워크와 제2 네트워크 사이에 공유된 네트워크 파라미터가 있기 때문에, 이미지 처리 모델의 파라미터의 수량이 감소될 수 있으며, 모델 트레이닝의 효율성이 향상될 수 있다. 더욱이, 대응하는 선명한 이미지와 흐릿한 이미지를 사용하여 이미지 처리 모델에 대해 단대단 트레이닝 및 학습을 수행하는 것에 의해, 움직임에서 흐릿한 이미지를 흐릿한 영역으로 분할할 필요가 없으며, 흐릿한 이미지에 대한 가정을 할 필요가 없고, 이는 트레이닝된 이미지 처리 모델의 디블러링 성능과 모델 트레이닝의 효율성을 더욱 향상시킬 수 있다.

위에 개시된 것은 단지 본 출원의 예시적인 실시 예들이며, 확실히 본 출원의 청구 범위를 제한하려는 의도는 아니다. 따라서, 본 출원의 청구 범위에 따라 만들어진 등가 변형은 본 출원의 범위 내에 속해야 한다.

Claims

네트워크 디바이스에 의해 수행되는, 흐릿한 이미지(blurry image)를 처리하는 이미지 처리 모델을 위한 트레이닝 방법으로서,
상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일(scale)이 서로 다른 코덱(codec) 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도(sharpness)의 측정치(measurements)에 대응하고,
상기 트레이닝 방법은,
트레이닝을 위한 샘플 쌍을 획득하는 단계 - 상기 샘플 쌍은 선명한 이미지(clear image) 및 상기 선명한 이미지에 대응하는 흐릿한 이미지를 포함하고, 상기 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크며, 상기 흐릿한 이미지의 선명도는 상기 미리 설정된 임계 값보다 작음 -;
상기 이미지 처리 모델을 호출하여 상기 흐릿한 이미지에 대해 선명도 복원(sharpness restoration)을 수행하여 복원된 이미지(restored image)를 획득하는 단계; 및
트레이닝된 이미지 처리 모델을 획득하기 위해, 상기 복원된 이미지 및 상기 선명한 이미지에 따라 상기 이미지 처리 모델에서 상기 제1 네트워크의 네트워크 파라미터 및/또는 상기 제2 네트워크의 네트워크 파라미터를 업데이트하는 단계
를 포함하고,
상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시하는(indicate), 트레이닝 방법.
제1항에 있어서,
상기 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함하고;
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유됨을 지시할 때, 상기 제1 네트워크의 특징 변환 파라미터와 상기 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하며; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 독립적임을 지시할 때, 상기 제1 네트워크의 특징 추출 파라미터와 상기 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터임을 지시하는, 트레이닝 방법.
제2항에 있어서,
상기 네트워크 파라미터는 특징 재구성 파라미터를 더 포함하고; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 독립적 네트워크 파라미터를 지시할 때, 상기 제1 네트워크의 특징 재구성 파라미터와 상기 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터임을 지시하는, 트레이닝 방법.
제2항에 있어서,
상기 선택적 공유 조건이 상기 제1 네트워크의 특징 변환 파라미터와 상기 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하는 것은,
상기 특징 변환 파라미터의 수량이 1보다 클 때, 상기 제1 네트워크의 복수의 특징 변환 파라미터 및 상기 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 상기 제1 네트워크의 각각의 특징 변환 파라미터 네트워크는 독립적 네트워크 파라미터이며, 상기 제2 네트워크의 각각의 특징 변환 파라미터는 독립적 네트워크 파라미터이고; 또는
상기 특징 변환 파라미터의 수량이 1보다 클 때, 상기 제1 네트워크의 복수의 특징 변환 파라미터 및 상기 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 상기 제1 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터이며, 상기 제2 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터인, 트레이닝 방법.
제1항에 있어서,
상기 제1 네트워크는 제1 스케일에 대응하고, 상기 제2 네트워크는 제2 스케일에 대응하며;
상기 이미지 처리 모델을 호출하여 상기 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하는 단계는,
상기 제1 스케일에 따라 상기 흐릿한 이미지를 다운샘플링하여 제1 선명도를 갖는 흐릿한 이미지를 획득하는 단계;
상기 제1 네트워크를 호출하여 상기 제1 선명도를 갖는 흐릿한 이미지에 대해 선명도 복원을 수행하여, 중간 이미지(intermediate image)를 획득하는 단계;
상기 제2 스케일에 따라 상기 흐릿한 이미지를 다운샘플링하여 제2 선명도를 갖는 흐릿한 이미지를 획득하는 단계; 및
상기 제2 네트워크를 호출하여 상기 제2 선명도를 갖는 흐릿한 이미지 및 상기 중간 이미지에 따라 선명도 복원을 수행하여 복원된 이미지를 획득하는 단계를 포함하는, 트레이닝 방법.
제5항에 있어서,
상기 선명도 복원은, 이미지에 대해 특징 추출을 수행하는 것, 다차 잔차 함수(multi-order residual function)를 사용하여 특징 추출 후 획득된 이미지에 대해 특징 변환을 수행하는 것, 그리고 특징 변환 후 획득된 이미지에 대해 특징 재구성을 수행하는 것을 포함하는, 트레이닝 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 복원된 이미지 및 상기 선명한 이미지에 따라 상기 이미지 처리 모델에서 상기 제1 네트워크의 네트워크 파라미터 및/또는 상기 제2 네트워크의 네트워크 파라미터를 업데이트하는 단계는,
상기 이미지 처리 모델의 최적화 함수를 획득하는 단계;
상기 복원된 이미지 및 상기 선명한 이미지에 따라 상기 최적화 함수의 값을 결정하는 단계; 및
상기 최적화 함수의 값을 감소시키는 것에 의해, 상기 이미지 처리 모델에서 상기 제1 네트워크의 네트워크 파라미터 및/또는 상기 제2 네트워크의 네트워크 파라미터를 업데이트하는 단계
를 포함하는, 트레이닝 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 트레이닝을 위한 샘플 쌍을 획득하는 단계는,
트레이닝을 위한 이미지 시퀀스 프레임을 획득하는 단계 - 상기 이미지 시퀀스 프레임은 적어도 2개의 이미지 프레임을 포함함 -;
상기 이미지 시퀀스 프레임으로부터 하나의 이미지 프레임을 선명한 이미지로서 랜덤하게 선택하고, 상기 선명한 이미지와 연관된 복수의 참조 이미지 프레임을 결정하는 단계; 및
상기 복수의 참조 이미지 프레임에 따라 상기 선명한 이미지에 대응하는 흐릿한 이미지를 획득하고, 상기 흐릿한 이미지와 상기 선명한 이미지를 사용하여 트레이닝을 위한 샘플 쌍을 구성하는 단계
를 포함하는, 트레이닝 방법.
제8항에 있어서,
상기 복수의 참조 이미지 프레임에 따라 상기 선명한 이미지에 대응하는 흐릿한 이미지를 획득하는 것은,
상기 복수의 참조 이미지를 중첩하고(superimposing) 평균화(averaging)하여, 상기 선명한 이미지에 대응하는 상기 흐릿한 이미지를 획득하는 것을 포함하는, 트레이닝 방법.
네트워크 디바이스에 의해 수행되는 이미지 처리 방법으로서,
상기 이미지 처리 방법은,
처리될 원본 이미지(original image)를 획득하는 단계 - 상기 원본 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;
이미지 처리 모델을 호출하여 상기 원본 이미지에 대해 선명도 복원을 수행하여, 타깃 이미지를 획득하는 단계 - 상기 타깃 이미지의 선명도는 상기 미리 설정된 임계 값보다 크며, 상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하고, 상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하며, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시함 -; 및
상기 타깃 이미지를 출력하는 단계
를 포함하는 이미지 처리 방법.
제10항에 있어서,
상기 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함하고;
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유됨을 지시할 때, 상기 제1 네트워크의 특징 변환 파라미터와 상기 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하고; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 독립적임을 지시할 때, 상기 제1 네트워크의 특징 추출 파라미터와 상기 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터임을 지시하는, 이미지 처리 방법.
제11항에 있어서,
상기 네트워크 파라미터는 특징 재구성 파라미터를 더 포함하고; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 독립적임을 지시할 때, 상기 제1 네트워크의 특징 재구성 파라미터와 상기 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터임을 지시하는, 이미지 처리 방법.
흐릿한 이미지를 처리하는 이미지 처리 모델을 위한 트레이닝 장치로서,
상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하고,
상기 트레이닝 장치는,
트레이닝을 위한 샘플 쌍을 획득하도록 구성된 획득 유닛 - 상기 샘플 쌍은 선명한 이미지 및 상기 선명한 이미지에 대응하는 흐릿한 이미지를 포함하고, 상기 선명한 이미지의 선명도는 미리 설정된 임계 값보다 크며, 상기 흐릿한 이미지의 선명도는 상기 미리 설정된 임계 값보다 작음 -;
상기 이미지 처리 모델을 호출하여 상기 흐릿한 이미지에 대해 선명도 복원을 수행하여 복원된 이미지를 획득하도록 구성된 처리 유닛; 및
트레이닝된 이미지 처리 모델을 획득하기 위해, 상기 복원된 이미지 및 상기 선명한 이미지에 따라 상기 이미지 처리 모델에서 상기 제1 네트워크의 네트워크 파라미터 및/또는 상기 제2 네트워크의 네트워크 파라미터를 업데이트하도록 구성된 업데이트 유닛
을 포함하고,
상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하고, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시하는, 트레이닝 장치.
제13항에 있어서,
상기 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함하고;
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유됨을 지시할 때, 상기 제1 네트워크의 특징 변환 파라미터와 상기 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하며; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 독립적임을 지시할 때, 상기 제1 네트워크의 특징 추출 파라미터와 상기 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터임을 지시하는, 트레이닝 장치.
제14항에 있어서,
상기 네트워크 파라미터는 특징 재구성 파라미터를 더 포함하고; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 독립적임을 지시할 때, 상기 제1 네트워크의 특징 재구성 파라미터와 상기 제2 네트워크의 특징 재구성 파라미터가 독립적 네트워크 파라미터임을 지시하는, 트레이닝 장치.
제14항에 있어서,
상기 선택적 공유 조건이 구체적으로, 상기 제1 네트워크의 특징 변환 파라미터와 상기 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하는 데 사용되는 것은,
상기 특징 변환 파라미터의 수량이 1보다 클 때, 상기 제1 네트워크의 복수의 특징 변환 파라미터 및 상기 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 상기 제1 네트워크의 각각의 특징 변환 파라미터 네트워크는 독립적 네트워크 파라미터이며, 상기 제2 네트워크의 각각의 특징 변환 파라미터는 독립적 네트워크 파라미터이고; 또는
상기 특징 변환 파라미터의 수량이 1보다 클 때, 상기 제1 네트워크의 복수의 특징 변환 파라미터 및 상기 제2 네트워크의 복수의 특징 변환 파라미터가 공유된 네트워크 파라미터이고, 상기 제1 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터이며, 상기 제2 네트워크의 각각의 특징 변환 파라미터는 공유된 네트워크 파라미터인, 트레이닝 장치.
이미지 처리 장치로서,
처리될 원본 이미지를 획득하도록 구성된 획득 유닛 - 상기 원본 이미지의 선명도는 미리 설정된 임계 값보다 작음 -;
이미지 처리 모델을 호출하여 상기 원본 이미지에 대해 선명도 복원을 수행하여, 타깃 이미지를 획득하도록 구성된 처리 유닛 - 상기 타깃 이미지의 선명도는 상기 미리 설정된 임계 값보다 크며, 상기 이미지 처리 모델은 적어도 제1 네트워크 및 제2 네트워크를 포함하고, 상기 제1 네트워크와 상기 제2 네트워크는 스케일이 서로 다른 코덱 네트워크이며, 상기 스케일의 크기는 처리될 흐릿한 이미지의 선명도의 측정치에 대응하고, 상기 제1 네트워크의 네트워크 파라미터 및 상기 제2 네트워크의 네트워크 파라미터는 선택적 공유 조건을 충족하며, 상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유되거나 독립적임을 지시함 -; 및
상기 타깃 이미지를 출력하도록 구성된 출력 유닛
을 포함하는 이미지 처리 장치.
제17항에 있어서,
상기 네트워크 파라미터는 특징 추출 파라미터 및 특징 변환 파라미터를 포함하고;
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 공유됨을 지시할 때, 상기 제1 네트워크의 특징 변환 파라미터와 상기 제2 네트워크의 특징 변환 파라미터가 공유된 네트워크 파라미터임을 지시하고; 그리고
상기 선택적 공유 조건은 상기 제1 네트워크와 상기 제2 네트워크 사이의 네트워크 파라미터가 독립적임을 지시할 때, 상기 제1 네트워크의 특징 추출 파라미터와 상기 제2 네트워크의 특징 추출 파라미터가 독립적 네트워크 파라미터임을 지시하는, 이미지 처리 장치.
네트워크 디바이스로서,
프로세서; 및
상기 프로세서에 연결된 메모리
를 포함하고,
상기 메모리는 머신 판독 가능한 명령을 저장하고, 상기 머신 판독가능한 명령은 상기 프로세서에 의해 실행되어, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하는, 네트워크 디바이스.
복수의 명령을 저장하는, 컴퓨터가 판독 가능한 저장 매체로서,
상기 명령은 프로세서에 의해 로드되어, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하는, 컴퓨터가 판독 가능한 저장 매체.