KR20230112063A

KR20230112063A - 이미지 향상 방법, 장치, 전자 설비 및 저장 매체

Info

Publication number: KR20230112063A
Application number: KR1020230005149A
Authority: KR
Inventors: 신 리; 둥량 허; 치 장
Original assignee: 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date: 2022-01-19
Filing date: 2023-01-13
Publication date: 2023-07-26
Also published as: US20230230205A1; CN114418887B; JP2023105807A; CN114418887A

Abstract

본 출원은 이미지 향상 방법, 장치, 전자 설비 및 저장 매체를 개시하고, 인공 지능 기술 분야, 특히 컴퓨터 비전 및 딥러닝 기술에 관한 것이다. 구체적인 실현 방안은 다음과 같다. 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 하며; 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고; 현재 이미지를 현재 렌더러에 입력하며, 현재 렌더러를 통해 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하고; 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하며, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다. 본 출원의 실시예는 자체적응 방식으로 다차원에서 큰 범위로 이미지를 향상시켜, 시간과 정력을 절약하며, 효과가 선명하고, 다양한 응용 시나리오에 적용될 수 있다.

Description

이미지 향상 방법, 장치, 전자 설비 및 저장 매체{IMAGE ENHANCEMENT METHOD AND DEVICE, ELECTRONIC EQUIPMENT AND STORAGE MEDIUM}

본 개시는 인공 지능 기술 분야에 관한 것으로, 구체적으로는 컴퓨터 비전 및 딥러닝 기술에 관한 것이며, 특히 이미지 향상(image enhancement) 방법, 장치, 전자 설비 및 저장 매체에 관한 것이다.

평소 사진을 촬영하거나 동영상을 녹화할 때, 종종 광선, 촬영 설비 등 원인으로 인해, 촬영된 사진이나 녹화된 동영상에 노출 과다/노출 부족, 색상이 충분히 선명하고 화려하지 않는 등의 문제가 존재하고, 현재 이미지/동영상의 색상이 바람직하지 못한 문제를 해결하는 방법에는 크게 아래의 두 가지가 있다. (1) 컬러리스트가 나중에 수동으로 조정하며, 일반적으로 사용되는 소프트웨어로는 Photoshop, Lightroom 등이 있다. 인공 토닝은 단점이 현저하며, 구체적으로는 시간과 정력이 많이 소모되고, 토닝의 결과가 컬러리스트의 수준에 의해 제한되기에, 대량으로 빠르게 토닝하고 토닝 결과에 모두 만족하기 어렵다. (2) 현재 저조도(Low-illumination) 이미지의 밝기 향상 문제거나, 색조 및 채도 향상 문제를 해결할 수 있는 몇 가지 알고리즘이 존재하나, 자체적응 방식으로 다차원에서 큰 범위로 이미지를 향상시키는 것은 어려우며, 예를 들어 암광(Dark light) 이미지에 대해, 다차원에서 처리를 수행할 수 있는 알고리즘은 매우 적으며, 기존 알고리즘은 오직 특정 시나리오 하에서의 문제만 해결할 수 있다.

본 개시는 이미지 향상 방법, 장치, 전자 설비 및 저장 매체를 제공한다.

제1 측면에 따르면, 본 출원은 이미지 향상 방법을 제공하며, 상기 방법은,

원본 이미지를 획득하고, 상기 원본 이미지를 현재 이미지로 하는 단계;

상기 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하는 단계;

상기 현재 이미지를 상기 현재 렌더러에 입력하고, 상기 현재 렌더러를 통해 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 상기 현재 이미지로 하고, 상기 현재 이미지가 상기 향상 조건을 만족하지 않을 때까지 상기 조작을 반복하는 단계; 를 포함한다.

제2 측면에 따르면, 본 출원은 이미지 향상 장치를 제공하며, 상기 장치는, 획득 모듈, 선택 모듈 및 향상 모듈을 포함하고;

상기 장치는, 획득 모듈, 선택 모듈 및 향상 모듈을 포함하고; 여기서,

상기 획득 모듈은, 원본 이미지를 획득하고, 상기 원본 이미지를 현재 이미지로 하며;

상기 선택 모듈은, 상기 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고;

상기 향상 모듈은, 상기 현재 이미지를 상기 현재 렌더러에 입력하며, 상기 현재 렌더러를 통해 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하고; 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 상기 현재 이미지로 하며, 상기 현재 이미지가 상기 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다.

제3 측면에 따르면, 본 출원의 실시예는 전자 설비를 제공하며, 상기 전자 설비는,

하나 이상의 프로세서;

하나 이상의 프로그램을 저장하는 메모리,

상기 하나 이상의 프로그램이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 본 출원의 임의의 실시예에 따른 이미지 향상 방법을 구현하도록 한다.

제4 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램이 저장되어 있는 저장 매체를 제공하고, 해당 프로그램이 프로세서에 의해 실행될 때 본 출원의 임의의 실시예에 따른 이미지 향상 방법을 구현한다.

제5 측면에 따르면, 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램 중의 컴퓨터 명령이 컴퓨터 설비에 의해 실행될 때 본 출원의 임의의 실시예에 따른 이미지 향상 방법을 구현한다.

본 출원의 기술에 따르면, 종래 기술에서 수동 토닝 방식이 시간과 정력을 많이 소모하고, 토닝 결과가 컬러리스트의 수준에 의해 제한되어, 대량으로 빠르게 토닝하고 결과에 모두 만족하기 어려운 기술적 문제를 해결하며, 기존 알고리즘으로는 자체적응 방식으로 다차원에서 큰 범위로 조정하기가 어렵고, 특정 시나리오에만 적용되는 기술적 문제를 해결하며, 본 출원에서 제공하는 기술 방안을 사용하여, 자체적응 방식으로 다차원에서 큰 범위로 이미지를 향상시켜, 시간과 정력을 절약하며, 효과가 선명하고, 다양한 응용 시나리오에 적용될 수 있다.

본 부분에 설명된 내용은 본 개시의 실시예의 핵심 또는 중요한 특징을 표시하려는 목적이 아니며, 본 개시의 범위를 한정하지 않음을 이해해야 한다. 본 개시의 다른 특징은 다음의 설명을 통해 쉽게 이해될 것이다.

첨부된 도면은 본 방안을 보다 잘 이해하기 위해 사용된 것으로, 본 개시를 제한하지 않는다. 여기서:
도 1은 본 출원의 실시예에서 제공하는 이미지 향상 방법의 제1 흐름 개략도이다.
도 2는 본 출원의 실시예에서 제공하는 이미지 향상 방법의 제2 흐름 개략도이다.
도 3은 본 출원의 실시예에서 제공하는 예측 네트워크의 구조 개략도이다.
도 4는 본 출원의 실시예에서 제공하는 렌더링 네트워크의 구조 개략도이다.
도 5는 본 출원의 실시예에서 제공하는 이미지 향상 방법의 제3 흐름 개략도이다.
도 6은 본 출원의 실시예에서 제공하는 이미지 향상 장치의 구조 개략도이다.
도 7은 본 출원의 실시예의 이미지 향상 방법을 구현하기 위한 전자 설비의 블록도이다.

이하, 첨부된 도면을 결합하여 본 개시의 예시적인 실시예를 설명하고, 이해가 쉽도록 하기 설명에서는 본 개시의 실시예의 다양한 세부사항을 포함하나, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술 분야의 통상의 지식을 가진 자는, 본 개시의 범위 및 사상을 벗어나지 않고, 여기서 서술된 실시예에 대해 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해, 이하의 설명에서는 공지된 기능 및 구성에 대한 설명은 생략한다.

실시예 1

도 1은 본 출원의 실시예에서 제공하는 이미지 향상 방법의 제1 흐름 개략도이다. 해당 방법은 이미지 향상 장치 또는 전자 설비에 의해 수행될 수 있고, 해당 장치 또는 전자 설비는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있으며, 해당 장치 또는 전자 설비는 네트워크 통신 기능을 구비하는 임의의 스마트 설비에 집적될 수 있다. 도 1에 도시된 바와 같이, 이미지 향상 방법은 단계(S101) 내지 단계(S103)를 포함한다.

단계(S101), 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 한다.

본 단계에서, 전자 설비는 원본 이미지를 먼저 획득하고; 다음, 해당 원본 이미지를 현재 이미지로 할 수 있다. 본 출원의 실시예 중의 이미지는 한 장의 사진일 수 있고, 한 세그먼트의 동영상 중의 하나의 프레임일 수도 있다.

단계(S102), 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러(Renderer) 중 하나의 렌더러를 선택하여 현재 렌더러로 한다.

본 단계에서, 현재 이미지가 기설정된 향상 조건을 만족하면, 전자 설비는 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 한다. 본 출원의 실시예 중의 렌더러는, 노출도 렌더러, 색조 렌더러 및 채도 렌더러를 포함할 수 있지만 이에 한정되지 않는다. 따라서 상기 3가지 렌더러를 먼저 트레이닝시켜야 한다. 노출도 렌더러를 예로 들면, 먼저, Lightroom 소프트웨어를 통해 한 뱃치(batch)의 색상이 우수한 이미지를 세 가지 차원에 따라 각각 상이한 값으로 조정한 다음, 대응하는 이미지를 저장하고, 예를 들어, 한 장의 색상이 우수한 이미지 I에 대해, 상이한 차원에 따라 소프트웨어를 사용하여 렌더링을 수행하여 이미지 데이터를 생성하며, 각 차원에 대해 ±50 장의 이미지를 생성한다. 노출을 예로 들면, 노출도 범위가 (-100, 100)이라고 가정하면, 스텝을 2로 하여, 노출도가 -100, -98, -96, ..., 96, 98, 100인 이미지를 각각 생성하며; 생성된 이미지를 출력으로 하고, 원본 이미지를 입력으로 하며, 조정된 노출도를 입력 파라미터로 하면, 하나의 노출도 렌더러를 트레이닝할 수 있다.

단계(S103), 현재 이미지를 현재 렌더러에 입력하고, 현재 렌더러를 통해 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다.

본 단계에서, 전자 설비는 현재 이미지를 현재 렌더러에 입력할 수 있고, 현재 렌더러를 통해 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다. 구체적으로, 전자 설비는 먼저 현재 이미지를 현재 렌더러 중의 제1 네트워크 및 제2 네트워크에 입력하고; 현재 이미지에 기반하여 제1 네트워크를 통해 현재 이미지가 현재 렌더러에서 대응하는 렌더링 값을 획득하며; 다음, 해당 렌더링 값을 제2 네트워크로 전송하고, 해당 렌더링 값을 기반으로 제2 네트워크를 통해 현재 이미지에 대해 렌더링을 수행하여, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득할 수 있다. 본 출원의 실시예 중의 제1 네트워크는 예측 네트워크(예를 들어, 오퍼레이터 모듈(Operator Module))일 수 있고; 제2 네트워크는 렌더링 네트워크(예를 들어, 렌더 네트워크(Render Network))일 수 있다. 선택적으로, 복수 개의 상이한 렌더러에서, 예측 네트워크를 공유할 수 있다.

본 출원의 실시예에서 제공하는 이미지 향상 방법은, 먼저 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 하며; 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고; 다음, 현재 이미지를 현재 렌더러에 입력하며, 현재 렌더러를 통해 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 이어서, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다. 즉, 본 출원은 자체적응 방식으로 복수 개의 렌더러에서 하나의 렌더러를 선택하고, 해당 렌더러를 사용하여 이에 대응하는 차원에서 현재 이미지에 대해 렌더링을 수행할 수 있다. 그러나, 기존의 이미지 향상 방법에서는, 컬러리스트가 나중에 수동으로 조정하거나, 일부 알고리즘을 사용하여 각자의 차원에서만 향상시킬 수 있을뿐, 복수의 차원에서 처리할 수 없다. 본 출원은 복수 개의 렌더러를 사전 트레이닝시키고, 복수 개의 렌더러를 통해 현재 이미지 각각을 향상시키는 기술적 수단을 사용하여, 종래 기술에서 수동 토닝 방식이 시간과 정력을 많이 소모하고, 토닝 결과가 컬러리스트의 수준에 의해 제한되기에, 대량으로 빠르게 토닝하고 결과에 모두 만족하기 어려운 기술적 문제를 극복하며, 기존 알고리즘으로는 자체적응 방식으로 다차원에서 큰 범위로 조정하기가 어렵고, 특정 시나리오에만 적용되는 기술적 문제를 극복하며, 본 출원에서 제공하는 기술 방안은, 자체적응 방식으로 다차원에서 큰 범위로 이미지를 향상시켜, 시간과 정력을 절약하며, 효과가 선명하고, 다양한 응용 시나리오에 적용될 수 있으며; 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 대중화가 용이하고, 적용 범위가 더 넓다.

실시예 2

도 2는 본 출원의 실시예에서 제공하는 이미지 향상 방법의 제2 흐름 개략도이다. 상기 기술 방안을 기반으로 보다 최적화되고 확장되며, 상기 각 선택적인 실시형태와 결합될 수 있다. 도 2에 도시된 바와 같이, 이미지 향상 방법은 단계(S201) 내지 단계(S204)를 포함한다.

단계(S201), 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 한다.

단계(S202), 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 한다.

단계(S203), 현재 이미지를 현재 렌더러 중의 제1 네트워크 및 제2 네트워크에 입력하고; 현재 이미지에 기반하여 제1 네트워크를 통해 현재 이미지가 현재 렌더러에서 대응하는 렌더링 값을 획득한다.

본 단계에서, 전자 설비는 현재 이미지를 현재 렌더러 중의 제1 네트워크 및 제2 네트워크에 입력하고; 현재 이미지에 기반하여 제1 네트워크를 통해 현재 이미지가 현재 렌더러에서 대응하는 렌더링 값을 획득할 수 있다. 구체적으로, 전자 설비는 먼저 현재 이미지를 컨볼루션 신경망에 입력하고, 컨볼루션 신경망을 통해 현재 이미지에 대해 특징 추출을 수행하여, 현재 이미지에 대응하는 특징 맵을 획득할 수 있으며; 다음, 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 계산하고; 해당 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 기반으로 현재 이미지가 현재 렌더러에서 대응하는 렌더링 값을 예측한다. 속도를 향상시키기 위해, 본 출원은 먼저 현재 이미지를 다운 샘플링한 다음, 다운 샘플링된 이미지에 대해 CNN의 네트워크를 사용하여 특징 추출을 수행하며, 이어서, 특징 맵의 각 채널에서의 평균값, 편차 및 최대값을 계산한 다음, 하나의 새로운 특징으로 스플라이싱하여, 완전 연결 레이어를 통해 현재 렌더러의 렌더링 값(value 값)을 예측하며, 다음, 해당 값을 사용하여 현재 이미지를 렌더링하여 새로운 이미지를 획득하고, 세 번의 기본 조작 후 저하된 이미지(Degraded image)의 색상을 향상시킬 수 있다.

단계(S204), 렌더링 값을 제2 네트워크로 전송하고, 렌더링 값에 기반하여 제2 네트워크를 통해 현재 이미지에 대해 렌더링을 수행하여, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득하며; 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다.

본 단계에서, 전자 설비는 렌더링 값을 제2 네트워크로 전송하고, 렌더링 값에 기반하여 제2 네트워크를 통해 현재 이미지에 대해 렌더링을 수행하여, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득하며; 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복할 수 있다. 구체적으로, 전자 설비는 먼저 현재 이미지를 제2 네트워크 중의 제1 렌더링 유닛에 입력하여, 제1 렌더링 유닛이 출력한 렌더링 결과를 획득할 수 있고; 다음, 제1 렌더링 유닛이 출력한 렌더링 결과 및 렌더링 값을 제2 네트워크 중의 제2 렌더링 유닛에 입력하여, 제2 렌더링 유닛이 출력한 렌더링 결과를 획득하며, 제2 렌더링 유닛이 출력한 렌더링 결과를 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지로 하고; 여기서, 제1 렌더링 유닛은, 두 개의 완전 연결 레이어 및 하나의 활성화 함수를 포함하고; 제2 렌더링 유닛은, 두 개의 완전 연결 레이어와 두 개의 활성화 함수를 포함한다.

도 3은 본 출원의 실시예에서 제공하는 예측 네트워크의 구조 개략도이다. 도 3에 도시된 바와 같이, 예측 네트워크는, 컨볼루션 신경망(CNN Feature Extractor), 평균값 계산 유닛(mean), 편차 계산 유닛(std), 최대값 계산 유닛(max), 스플라이싱 유닛(Concat) 및 완전 연결 레이어(FC)를 포함할 수 있다. 구체적으로, 먼저 현재 이미지를 다운 샘플링하고, 다음, 다운 샘플링된 이미지에 대해 컨볼루션 신경망을 사용하여 특징 추출을 수행하며, 이어서, 특징 맵의 각 채널에 대해 평균값, 편차 및 최대값을 계산한 다음, 하나의 새로운 특징으로 스플라이싱하여, 완전 연결 레이어를 통해 현재 렌더러의 렌더링 값(Value 값)을 예측하며, 해당 Value 값으로 현재 이미지를 렌더링하여 새로운 이미지를 획득하는바, 세 번의 기본 조작 후 저하된 이미지의 색상을 향상시킬 수 있다.

도 4는 본 출원의 실시예에서 제공하는 렌더링 네트워크의 구조 개략도이다. 도 4에 도시된 바와 같이, 렌더링 네트워크는, 제1 렌더링 유닛 및 제2 렌더링 유닛을 포함하고; 여기서, 제1 렌더링 유닛은, 두 개의 완전 연결 레이어 및 하나의 활성화 함수를 포함하며; 제2 렌더링 유닛은, 두 개의 완전 연결 레이어 및 두 개의 활성화 함수를 포함한다. 구체적으로, 제1 렌더링 유닛의 구조는, 완전 연결 레이어(FC), 활성화 함수(Leaky ReLU), 완전 연결 레이어(FC)이고; 제2 렌더링 유닛의 구조는, 활성화 함수(Leaky ReLU), 완전 연결 레이어(FC), 활성화 함수(Leaky ReLU), 완전 연결 레이어(FC)이다.

본 출원의 실시예에서 제공하는 이미지 향상 방법은, 먼저 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 하며; 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고; 다음, 현재 이미지를 현재 렌더러에 입력하며, 현재 렌더러를 통해 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 이어서, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다. 즉, 본 출원은 자체적응 방식으로 복수 개의 렌더러에서 하나의 렌더러를 선택하고, 해당 렌더러를 사용하여 이에 대응하는 차원에서 현재 이미지에 대해 렌더링을 수행할 수 있다. 그러나, 기존의 이미지 향상 방법에서는, 컬러리스트가 나중에 수동으로 조정하거나, 일부 알고리즘을 사용하여 각자의 차원에서만 향상시킬 수 있을뿐, 복수의 차원에서 처리할 수 없다. 본 출원은 복수 개의 렌더러를 사전 트레이닝시키고, 복수 개의 렌더러를 통해 현재 이미지 각각을 향상시키는 기술적 수단을 사용하여, 종래 기술에서 수동 토닝 방식이 시간과 정력을 많이 소모하고, 토닝 결과가 컬러리스트의 수준에 의해 제한되어, 대량으로 빠르게 토닝하고 결과에 모두 만족하기 어려운 기술적 문제를 극복하며, 기존 알고리즘으로는 자체적응 방식으로 다차원에서 큰 범위로 조정하기가 어렵고, 특정 시나리오에만 적용되는 기술적 문제를 극복하며, 본 출원에서 제공하는 기술 방안은, 자체적응 방식으로 다차원에서 큰 범위로 이미지를 향상시켜, 시간과 정력을 절약하며, 효과가 선명하고, 다양한 응용 시나리오에 적용될 수 있으며; 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 대중화가 용이하고, 적용 범위가 더 넓다.

실시예 3

도 5는 본 출원의 실시예에서 제공하는 이미지 향상 방법의 제3 흐름 개략도이다. 상기 기술 방안을 기반으로 보다 최적화되고 확장되며, 상기 각 선택적인 실시형태와 결합될 수 있다. 도 5에 도시된 바와 같이, 이미지 향상 방법은 단계(S501) 내지 단계(S508)를 포함한다.

단계(S501), 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 한다.

단계(S502), 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 한다.

단계(S503), 현재 이미지에 대해 다운 샘플링을 수행하여, 다운 샘플링된 이미지를 획득한다.

본 단계에서, 전자 설비는 현재 이미지에 대해 다운 샘플링을 수행하여, 다운 샘플링된 이미지를 획득할 수 있다. 예를 들어, 현재 이미지가 한 장의 1024Х1024의 이미지라고 가정하면, 다운 샘플링 후, 한 장의 256Х256의 이미지를 획득할 수 있다.

단계(S504), 다운 샘플링된 이미지를 현재 이미지로 하고, 현재 이미지를 컨볼루션 신경망에 입력하며, 컨볼루션 신경망을 통해 현재 이미지에 대해 특징 추출을 수행하여, 현재 이미지에 대응하는 특징 맵을 획득한다.

단계(S505), 특징 맵이 각 채널상에서의 평균값, 편차 및 최대값을 계산한다.

단계(S506), 특징 맵이 각 채널상에서의 평균값, 편차 및 최대값을 기반으로 현재 이미지가 현재 렌더러에서 대응하는 렌더링 값을 예측한다.

단계(S507), 렌더링 값을 제2 네트워크로 전송하고, 렌더링 값에 기반하여 제2 네트워크를 통해 현재 이미지에 대해 렌더링을 수행하여, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득한다.

본 출원의 구체적인 실시예에서, 속도를 향상시키기 위해, 먼저 현재 이미지를 다운 샘플링하고, 다음, 다운 샘플링된 이미지에 대해 컨볼루션 신경망을 사용하여 특징 추출을 수행하며, 이어서, 특징 맵의 각 채널에 대해 평균값, 편차 및 최대값을 계산한 다음, 하나의 새로운 특징으로 스플라이싱하여, 완전 연결 레이어를 통해 현재 렌더러의 렌더링 값(value 값)을 예측하며, 그 다음, 해당 value 값을 사용하여 현재 이미지를 렌더링하여 새로운 이미지를 획득하고, 세 번의 기본 조작 후 저하된 이미지의 색상을 향상시킬 수 있다.

단계(S508), 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다.

본 출원의 실시예에서 제공하는 이미지 향상 방법은, 먼저 원본 이미지를 획득하고, 원본 이미지를 현재 이미지로 하며; 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고; 다음, 현재 이미지를 현재 렌더러에 입력하며, 현재 렌더러를 통해 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 이어서, 현재 이미지가 현재 렌더러에 대응하는 차원에서 향상된 이미지를 현재 이미지로 하고, 현재 이미지가 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다. 즉, 본 출원은 자체적응 방식으로 복수 개의 렌더러에서 하나의 렌더러를 선택하고, 해당 렌더러를 사용하여 이에 대응되는 차원에서 현재 이미지에 대해 렌더링을 수행할 수 있다. 그러나, 기존의 이미지 향상 방법에서는, 컬러리스트가 나중에 수동으로 조정하거나, 일부 알고리즘을 사용하여 각자의 차원에서만 향상시킬 수 있을뿐, 복수의 차원에서 처리할 수 없다. 본 출원은 복수 개의 렌더러를 사전 트레이닝시키고, 복수 개의 렌더러를 통해 현재 이미지 각각을 향상시키는 기술적 수단을 사용하여, 종래 기술에서 수동 토닝 방식이 시간과 정력을 많이 소모하고, 토닝의 결과가 컬러리스트의 수준에 의해 제한되기에, 대량으로 빠르게 토닝하고 결과에 모두 만족하기 어려운 기술적 문제를 극복하며, 기존 알고리즘으로는 자체적응 방식으로 다차원에서 큰 범위로 조정하기가 어렵고, 특정 시나리오에만 적용되는 기술적 문제를 극복하며, 본 출원에서 제공하는 기술 방안은, 자체적응 방식으로 다차원에서 큰 범위로 이미지를 향상시켜, 시간과 정력을 절약하며, 효과가 선명하고, 다양한 응용 시나리오에 적용될 수 있으며; 또한, 본 출원의 실시예의 기술 방안은 구현이 간단하고 편리하며, 대중화가 용이하고, 적용 범위가 더 넓다.

실시예 4

도 6은 본 출원의 실시예에서 제공하는 이미지 향상 장치의 구조 개략도이다. 도 6에 도시된 바와 같이, 상기 장치(600)는, 획득 모듈(601), 선택 모듈(602) 및 향상 모듈(603)을 포함하고; 여기서,

상기 획득 모듈(601)은, 원본 이미지를 획득하고, 상기 원본 이미지를 현재 이미지로 하며;

상기 선택 모듈(602)은, 상기 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고;

상기 향상 모듈(603)은, 상기 현재 이미지를 상기 현재 렌더러에 입력하며, 상기 현재 렌더러를 통해 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하고; 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 상기 현재 이미지로 하며, 상기 현재 이미지가 상기 향상 조건을 만족하지 않을 때까지 상기 조작을 반복한다.

나아가, 상기 향상 모듈(603)은, 구체적으로 상기 현재 이미지를 상기 현재 렌더러 중의 제1 네트워크 및 제2 네트워크에 입력하고; 상기 현재 이미지에 기반하여 상기 제1 네트워크를 통해 상기 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 획득하며; 상기 렌더링 값을 상기 제2 네트워크로 전송하고, 상기 렌더링 값을 기반으로 상기 제2 네트워크를 통해 상기 현재 이미지에 대해 렌더링을 수행하며, 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득한다.

나아가, 상기 향상 모듈(603)은, 구체적으로 상기 현재 이미지를 컨볼루션 신경망에 입력하고, 상기 컨볼루션 신경망을 통해 상기 현재 이미지에 대해 특징 추출을 수행하여, 상기 현재 이미지에 대응하는 특징 맵을 획득하며; 상기 특징 맵이 각 채널상에서의 평균값, 편차 및 최대값을 계산하고; 상기 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 기반으로 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 예측한다.

나아가, 상기 향상 모듈(603)은 또한 상기 현재 이미지에 대해 다운 샘플링을 수행하여, 다운 샘플링된 이미지를 획득하고; 상기 다운 샘플링된 이미지를 상기 현재 이미지로 하며, 상기 현재 이미지를 컨볼루션 신경망에 입력하는 조작을 수행한다.

나아가, 상기 향상 모듈(603)은, 구체적으로 상기 현재 이미지를 상기 제2 네트워크 중의 제1 렌더링 유닛에 입력하여, 상기 제1 렌더링 유닛이 출력한 렌더링 결과를 획득하고; 상기 제1 렌더링 유닛이 출력한 렌더링 결과 및 상기 렌더링 값을 상기 제2 네트워크 중의 제2 렌더링 유닛에 입력하여, 상기 제2 렌더링 유닛이 출력한 렌더링 결과를 획득하며, 상기 제2 렌더링 유닛이 출력한 렌더링 결과를 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지로 하고; 여기서, 상기 제1 렌더링 유닛은, 두 개의 완전 연결 레이어 및 하나의 활성화 함수를 포함하며; 상기 제2 렌더링 유닛은, 두 개의 완전 연결 레이어와 두 개의 활성화 함수를 포함한다.

나아가, 상기 장치는 트레이닝 모듈(604)을 더 포함하고(도면에 미도시됨), 트레이닝 모듈(604)은 상기 복수 개의 렌더러 중의 임의의 하나의 렌더러가 해당 렌더러에 대응하는 수렴 조건을 만족하지 않는 경우, 상기 임의의 하나의 렌더러에 대응하는 이미지 라이브러리에서 한 장의 이미지를 추출하여 현재 이미지로 하며; 상기 임의의 하나의 렌더러가 상기 수렴 조건을 만족할 때까지 상기 현재 이미지를 사용하여 상기 임의의 하나의 렌더러에 대해 트레이닝을 수행한다.

상기 이미지 향상 장치는 본 출원의 임의의 실시예에서 제공하는 방법을 수행할 수 있고, 방법을 수행하는데 대응하는 기능적 모듈과 유익한 효과를 구비한다. 본 실시예에서 상세하게 설명하지 않은 기술적 세부사항은, 본 출원의 임의의 실시예에서 제공하는 이미지 향상 방법을 참조할 수 있다.

실시예 5

본 개시의 실시예에 따라, 본 개시는 전자 설비, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.

도 7은 본 개시의 실시예를 실시할 수 있는 예시적인 전자 설비(700)의 예시적 블록도를 도시한다. 전자 설비는 다양한 형태의 디지털 컴퓨터, 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크테이블, 개인용 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터를 나타낸다. 전자 설비는 다양한 형태의 모바일 장치, 예를 들어, 개인 디지털 처리, 휴대 전화기, 스마트폰, 웨어러블 설비 및 기타 유사한 컴퓨팅 장치를 나타낼 수도 있다. 본 문에서 설명된 컴포넌트, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것일 뿐, 본 문에서 기술 및/또는 요구한 본 개시의 구현을 제한하려는 의도가 아니다.

도 7에 도시된 바와 같이, 설비(700)는 컴퓨팅 유닛(701)을 포함하되, 이는 판독 전용 메모리(ROM)(702)에 저장된 컴퓨터 프로그램 또는 저장 유닛(708)으로부터 랜덤 액세스 메모리(RAM)(703)에 로딩되는 컴퓨터 프로그램에 따라, 각종 적합한 동작 및 처리를 수행할 수 있다. RAM(703)에는 설비(700)의 조작에 필요한 각종 프로그램 및 데이터가 저장될 수도 있다. 컴퓨팅 유닛(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(705)도 버스(704)에 연결된다.

설비(700) 중의 복수의 컴포넌트는 I/O 인터페이스(705)에 연결되고, 해당 컴포넌트는 키패드, 마우스 등과 같은 입력 유닛(706); 각종 유형의 표시장치, 스피커 등과 같은 출력 유닛(707); 자기디스크, 광디스크 등과 같은 저장 유닛(708); 및 네트워크 인터페이스 카드, 모뎀, 무선통신 트랜시버 등과 같은 통신 유닛(709)을 포함한다. 통신 유닛(709)은 설비(700)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종 전기 통신망을 통해 기타 설비와 정보/데이터를 교환하는 것을 허용한다.

컴퓨팅 유닛(701)은 처리 및 컴퓨팅 능력을 갖는 각종 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(701)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 각종 전용 인공 지능(AI) 컴퓨팅 칩, 기계 러닝 모델 알고리즘을 실행하는 각종 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적합한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만, 이에 한정되지 않는다. 컴퓨팅 유닛(701)은 위에서 설명한 각각의 방법 및 처리를 수행하고, 예를 들어, 이미지 향상 방법을 수행한다. 예를 들어, 일부 실시예에서, 이미지 향상 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 저장 유닛(708)과 같은 기계 판독 가능 매체에 유형적으로 포함된다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전체는 ROM(702) 및/또는 통신 유닛(709)에 의해 설비(700)에 로딩 및/또는 장착될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되어 컴퓨팅 유닛(701)에 의해 실행되는 경우, 위에서 설명한 이미지 향상 방법의 하나 이상의 단계를 수행할 수 있다. 대안적으로, 기타 실시예에서, 컴퓨팅 유닛(701)은 기타 임의의 적합한 방식(예를 들어, 펌웨어를 통해)을 통해 이미지 향상 방법을 수행하도록 구성될 수 있다.

본문에서 설명하는 시스템 및 기술의 각종 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그래머블 게이트 어레이 (FPGA), 주문형 집적 회로 (ASIC), 특정 용도 표준 제품(ASSP), 시스템 온칩(SOC), 복합 프로그래밍 로직 설비(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이러한 각종 실시형태는 하나 이상의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 해당 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및/또는 해석(interpretating)될 수 있으며, 해당 프로그램 가능한 프로세서는 전용 또는 범용 프로그램 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치로 전송한다.

본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합을 사용하여 작성될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행되면, 흐름도 및/또는 블록도에 규정된 기능/조작이 실시될 수 있도록 한다. 프로그램 코드는 전체가 기계에서 실행되거나, 일부가 기계에서 실행되고, 독립적인 소프트웨어 패키지로서 일부가 기계에서 실행되고 일부가 원격 기계에서 실행되거나, 전부가 원격 기계 또는 서버에서 실행될 수 있다.

본 개시의 전문에서, 기계 판독 가능 매체는 유형 매체(tangible medium)일 수 있고, 이는 명령 실행 시스템, 장치 또는 설비에 의해 사용되거나, 명령 실행 시스템, 장치 또는 설비와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 설비, 또는 상기 내용의 임의의 적합한 조합을 포함할 수 있지만 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예시는 하나 이상의 와이어에 기반한 전기적 연결, 휴대용 컴퓨터 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 및 프로그램 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 설비, 자기 저장 설비 또는 상기 내용의 임의의 적합한 조합을 포함한다.

사용자와의 상호 작용을 제공하기 위해, 여기서 설명된 시스템 및 기술을 컴퓨터에서 실시할 수 있고, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시장치) 모니터), 키보드 및 방향지시 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 해당 키보드 및 해당 방향지시 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치는 사용자와의 상호 작용을 제공할 수도 있고, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며, 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.

여기서 설명된 시스템 및 기술은 백엔드 컴포넌트(back-end component)를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컴포넌트(middleware component)를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프런트엔드 컴포넌트(front-end component)를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 상호 작용할 수 있음), 또는 이러한 백엔드 컴포넌트, 미들웨어 컴포넌트, 또는 프런트엔드 컴포넌트를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)으로 시스템의 컴포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광역 통신망(WAN), 블록체인 네트워크 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호 작용을 수행한다. 클라이언트와 서버의 관계는 상응하는 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생된다. 서버는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 하며, 클라우드 서버는 클라우드 컴퓨팅 서비스 체계 중의 하나의 호스트 제품으로, 종래의 물리적 호스트 및 VPS 서비스에 존재하는 관리 난이도가 크고, 비즈니스 확장성이 약한 결함을 해결한다.

상술한 각종 형태의 프로세스를 사용하여, 단계의 순서재배정, 추가 또는 삭제를 수행할 수 있음을 이해해야 한다. 예를 들어, 본 개시에 기재된 각 단계는 병렬로 수행될 수 있거나 순차적으로 수행될 수 있거나 서로 다른 순서로 수행될 수도 있으며, 본 출원에서 개시한 기술방안이 희망하는 결과를 구현할 수 있기만 하면, 본 문에서는 이에 대해 한정하지 않는다. 본 개시의 기술방안에 관련된 사용자 개인정보의 획득, 저장 및 응용 등은, 모두 관련 법률법규의 규정에 부합되며, 공서양속을 위반하지 않는다.

상기 구체적인 실시형태는 본 개시의 보호 범위를 한정하지 않는다. 본 분야의 당업자는 설계 요구 및 기타 요소에 따라 다양한 수정, 조합, 부분 조합 및 대체가 가능함을 이해할 수 있을 것이다. 본 개시의 사상 및 원칙 내에서 이루어진 수정, 등가적 대체 및 개선 등은 모두 본 개시의 보호범위 내에 포함되어야 한다.

Claims

원본 이미지를 획득하고, 상기 원본 이미지를 현재 이미지로 하는 단계;
상기 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하는 단계;
상기 현재 이미지를 상기 현재 렌더러에 입력하고, 상기 현재 렌더러를 통해 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하며; 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 상기 현재 이미지로 하고, 상기 현재 이미지가 상기 향상 조건을 만족하지 않을 때까지 상기 조작을 반복하는 단계; 를 포함하는 것을 특징으로 하는 이미지 향상 방법.
제1항에 있어서,
상기 현재 이미지를 상기 현재 렌더러에 입력하고, 상기 현재 렌더러를 통해 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하는 단계는,
상기 현재 이미지를 상기 현재 렌더러 중의 제1 네트워크 및 제2 네트워크에 입력하고; 상기 현재 이미지에 기반하여 상기 제1 네트워크를 통해 상기 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 획득하는 단계;
상기 렌더링 값을 상기 제2 네트워크로 전송하고, 상기 렌더링 값에 기반하여 상기 제2 네트워크를 통해 상기 현재 이미지에 대해 렌더링을 수행하여, 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 향상 방법.
제2항에 있어서,
상기 현재 이미지에 기반하여 상기 제1 네트워크를 통해 상기 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 획득하는 단계는,
상기 현재 이미지를 컨볼루션 신경망에 입력하고, 상기 컨볼루션 신경망을 통해 상기 현재 이미지에 대해 특징 추출을 수행하여, 상기 현재 이미지에 대응하는 특징 맵을 획득하는 단계;
상기 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 계산하는 단계;
상기 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 기반으로 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 예측하는 단계; 를 포함하는 것을 특징으로 하는 이미지 향상 방법.
제3항에 있어서,
상기 현재 이미지를 컨볼루션 신경망에 입력는 단계 전에,
상기 현재 이미지에 대해 다운 샘플링을 수행하여, 다운 샘플링된 이미지를 획득하는 단계;
상기 다운 샘플링된 이미지를 상기 현재 이미지로 하고, 상기 현재 이미지를 컨볼루션 신경망에 입력하는 조작을 수행하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 향상 방법.
제2항에 있어서,
상기 렌더링 값에 기반하여 상기 제2 네트워크를 통해 상기 현재 이미지에 대해 렌더링을 수행하여, 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득하는 단계는,
상기 현재 이미지를 상기 제2 네트워크 중의 제1 렌더링 유닛에 입력하여, 상기 제1 렌더링 유닛이 출력한 렌더링 결과를 획득하는 단계;
상기 제1 렌더링 유닛이 출력한 렌더링 결과 및 상기 렌더링 값을 상기 제2 네트워크 중의 제2 렌더링 유닛에 입력하여, 상기 제2 렌더링 유닛이 출력한 렌더링 결과를 획득하며, 상기 제2 렌더링 유닛이 출력한 렌더링 결과를 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지로 하는 단계- 여기서, 상기 제1 렌더링 유닛은, 두 개의 완전 연결 레이어 및 하나의 활성화 함수를 포함하고; 상기 제2 렌더링 유닛은, 두 개의 완전 연결 레이어와 두 개의 활성화 함수를 포함함-; 를 포함하는 것을 특징으로 하는 이미지 향상 방법.
제1항에 있어서,
상기 복수 개의 렌더러 중의 임의의 하나의 렌더러가 해당 렌더러에 대응하는 수렴 조건을 만족하지 않는 경우, 상기 임의의 하나의 렌더러에 대응하는 이미지 라이브러리에서 한 장의 이미지를 추출하여 현재 이미지로 하고; 상기 임의의 하나의 렌더러가 상기 수렴 조건을 만족할 때까지 상기 현재 이미지를 사용하여 상기 임의의 하나의 렌더러에 대해 트레이닝을 수행하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 향상 방법.
획득 모듈, 선택 모듈 및 향상 모듈을 포함하고; 여기서,
상기 획득 모듈은, 원본 이미지를 획득하고, 상기 원본 이미지를 현재 이미지로 하며;
상기 선택 모듈은, 상기 현재 이미지가 기설정된 향상 조건을 만족하면, 사전 트레이닝된 복수 개의 렌더러 중 하나의 렌더러를 선택하여 현재 렌더러로 하고;
상기 향상 모듈은, 상기 현재 이미지를 상기 현재 렌더러에 입력하며, 상기 현재 렌더러를 통해 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 출력하고; 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 상기 현재 이미지로 하며, 상기 현재 이미지가 상기 향상 조건을 만족하지 않을 때까지 상기 조작을 반복하는 것을 특징으로 하는 이미지 향상 장치.
제7항에 있어서,
상기 향상 모듈은 구체적으로, 상기 현재 이미지를 상기 현재 렌더러 중의 제1 네트워크 및 제2 네트워크에 입력하고; 상기 현재 이미지에 기반하여 상기 제1 네트워크를 통해 상기 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 획득하며; 상기 렌더링 값을 상기 제2 네트워크로 전송하고, 상기 렌더링 값을 기반으로 상기 제2 네트워크를 통해 상기 현재 이미지에 대해 렌더링을 수행하여, 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지를 획득하는 것을 특징으로 하는 이미지 향상 장치.
제8항에 있어서,
상기 향상 모듈은, 구체적으로 상기 현재 이미지를 컨볼루션 신경망에 입력하고, 상기 컨볼루션 신경망을 통해 상기 현재 이미지에 대해 특징 추출을 수행하여, 상기 현재 이미지에 대응하는 특징 맵을 획득하며; 상기 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 계산하고; 상기 특징 맵이 각 채널 상에서의 평균값, 편차 및 최대값을 기반으로 현재 이미지가 상기 현재 렌더러에서 대응하는 렌더링 값을 예측하는 것을 특징으로 하는 이미지 향상 장치.
제9항에 있어서,
상기 향상 모듈은 또한, 상기 현재 이미지에 대해 다운 샘플링을 수행하여, 다운 샘플링된 이미지를 획득하고; 상기 다운 샘플링된 이미지를 상기 현재 이미지로 하며, 상기 현재 이미지를 컨볼루션 신경망에 입력하는 조작을 수행하는 것을 특징으로 하는 이미지 향상 장치.
제8항에 있어서,
상기 향상 모듈은, 구체적으로 상기 현재 이미지를 상기 제2 네트워크 중의 제1 렌더링 유닛에 입력하여, 상기 제1 렌더링 유닛이 출력한 렌더링 결과를 획득하고; 상기 제1 렌더링 유닛이 출력한 렌더링 결과 및 상기 렌더링 값을 상기 제2 네트워크 중의 제2 렌더링 유닛에 입력하여, 상기 제2 렌더링 유닛이 출력한 렌더링 결과를 획득하며, 상기 제2 렌더링 유닛이 출력한 렌더링 결과를 상기 현재 이미지가 상기 현재 렌더러에 대응하는 차원에서 향상된 이미지로 하고; 여기서, 상기 제1 렌더링 유닛은, 두 개의 완전 연결 레이어 및 하나의 활성화 함수를 포함하며; 상기 제2 렌더링 유닛은, 두 개의 완전 연결 레이어와 두 개의 활성화 함수를 포함하는 것을 특징으로 하는 이미지 향상 장치.
제7항에 있어서,
상기 복수 개의 렌더러 중의 임의의 하나의 렌더러가 해당 렌더러에 대응하는 수렴 조건을 만족하지 않는 경우, 상기 임의의 하나의 렌더러에 대응하는 이미지 라이브러리에서 한 장의 이미지를 추출하여 현재 이미지로 하며; 상기 임의의 하나의 렌더러가 상기 수렴 조건을 만족할 때까지 상기 현재 이미지를 사용하여 상기 임의의 하나의 렌더러에 대해 트레이닝을 수행하는 트레이닝 모듈을 더 포함하는 것을 특징으로 하는 이미지 향상 장치.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 를 포함하되, 여기서,
상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 전자 설비.
컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 컴퓨터 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.