KR20210154710A

KR20210154710A - 이미지 강화 모델의 트레이닝 방법, 장치 및 저장 매체

Info

Publication number: KR20210154710A
Application number: KR1020210007168A
Authority: KR
Inventors: 리앙 장
Original assignee: 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드
Priority date: 2020-06-12
Filing date: 2021-01-19
Publication date: 2021-12-21
Also published as: US11475243B2; KR102612632B1; EP3923234A1; JP7100729B2; CN111709890B; CN111709890A; US20210390340A1; JP2021197149A; EP3923234B1

Abstract

본 발명은 이미지 강화 모델의 트레이닝 방법, 장치 및 저장 매체에 관한 것으로서, 상기 이미지 강화 모델의 트레이닝 방법은, 각 트레이닝 입력 이미지 그룹을 이미지 강화 모델에 입력하여, 이미지 강화 모델에 의해 출력된 예측 이미지를 획득하는 단계; 각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하는 단계를 포함하며; 손실 함수는 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응된다. 본 발명에서, 손실 함수로 하여금 상응한 트레이닝 쌍에서의 예측 이미지, 및 타겟 이미지의 세부 내용 정보 및 시맨틱 정보를 반영하도록 하여, 이미지 강화 모델의 트레이닝 과정에서의 부적절한 문제로 인한 과도한 평활화 문제를 효과적으로 완화시킨다.

Description

이미지 강화 모델의 트레이닝 방법, 장치 및 저장 매체{Training Method and Device for an Image Enhancement Model, and Storage Medium}

관련 출원의 상호 참조

본원 발명은 출원번호가 CN202010534243.9이고, 출원일자가 2020년 06월 12일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 발명에 인용된다.

본 발명은 이미지 처리 기술에 관한 것으로, 특히 이미지 강화 모델의 트레이닝 방법, 장치 및 저장 매체에 관한 것이다.

모바일 단말은 일반적으로 모두 촬영 기능이 있다. 모바일 단말에서 이미지 센서의 샘플링 속도가 부족하고, 이미지 수집, 전송, 압축 등 각 측면으로부터의 노이즈로 인해 모바일 단말에서 촬영한 이미지의 디테일한 손실 및 과도한 컬러 노이즈 등 문제가 존재한다. 저조도 환경에서 촬영된 이미지 및 동영상에도 이러한 문제가 존재하는데, 이러한 문제는 조리개가 작은 스마트폰에 의해 촬영된 이미지에서 더욱 심각하다. 또한, 이미지 수집 과정에서, 샘플링 속도가 비교적 낮은 경우에도 앨리어싱 현상이 발생할 수 있다.

더 우수한 이미지 효과에 대한 사용자의 요구가 계속 증가함에 따라, 이미지 해상도를 더 한층 개선하고, 이미지 세부 정보를 풍부하게 하며 이미지 노이즈를 감소시키는 방법은 항상 해결하고자 하는 기술적 과제이다.

전통적인 이미지 강화 방법에서, 복수 개의 이미지에서 동일한 위치에 있는 픽셀에 대해 가중 평균을 수행하고 처리된 이미지를 획득함으로써 노이즈 제거 효과를 달성하거나, 또는 서브 픽셀 정렬과 이미지 융합을 수행하여 이미지에서 고주파 부분에 위치한 세부 사항을 유지한다. 적당한 픽셀 포인트를 어떻게 효과적으로 선택하여 가중치 융합을 수행하고, 서브 픽셀 정렬을 완료할 것인가는 이미지 강화 효과에 큰 영향을 미친다.

딥러닝 기술의 급속한 발전과 더불어, 사람들은 심도 이미지 강화 모델을 사용하여 이미지 강화을 완료하기 시작한다. 우선, 많은 자연 이미지를 트레이닝 데이터로 사용하여, 심도 이미지 강화 모델로 하여금 저품질 이미지에서 고품질 이미지 사이의 맵핑을 학습하도록 하지만, 대부분의 심도 이미지 강화 모델은 과도한 평활화 문제가 존재하므로, 노이즈 제거를 수행하는 동시에 이미지 디테일을 효과적으로 향상시키기 어렵고, 심도 이미지 강화 모델의 손실 함수는 효과에 큰 영향을 미친다. 이미지 복원은 하위 특징 레벨의 비전 작업이라는 점을 고려하면, 현재 픽셀 레벨의 손실 함수를 일반적으로 사용한다.

관련 기술에 존재하는 문제점을 해결하기 위하여, 본 발명은 이미지 강화 모델의 트레이닝 방법, 장치 및 저장 매체를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 이미지 강화 모델의 트레이닝 방법을 제공하였고,

촬영 기기를 통해 촬영된 복수 개의 샘플 이미지 그룹을 결정하는 단계;

각 샘플 이미지 그룹과 관련된 타겟 이미지 및 트레이닝 입력 이미지 그룹을 결정하는 단계;

복수 개의 트레이닝 쌍을 구축하는 단계 - 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 대응되는 타겟 이미지를 포함함 - ;

각 트레이닝 입력 이미지 그룹을 상기 이미지 강화 모델에 입력하여, 상기 이미지 강화 모델에 의해 출력된 예측 이미지를 획득하는 단계;

상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하며, 대응되는 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 상기 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계; 및

각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하는 단계를 포함하고;

상기 손실 함수는 상기 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 상기 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응된다.

일 실시 형태에서, 더욱 높은 특성화 주파수를 갖는 주파수 구간은 대응하는 그레이 스케일 손실 함수에서의 가중치 계수는 더욱 크다.

일 실시 형태에서, 상기 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하고; 상기 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함하며;

상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제1 그레이 스케일 저주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 고주파 이미지로 취하는 단계 - 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함함 - 를 포함하며;

상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제2 그레이 스케일 저주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 고주파 이미지로 취하는 단계 - 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함함 - 를 포함한다.

상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제1 그레이 스케일 고주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 저주파 이미지로 취하는 단계 - 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함함 - 를 포함하며;

상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제2 그레이 스케일 고주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 저주파 이미지로 하는 단계 - 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함함 - 를 포함한다.

상기 이미지 강화 모델의 트레이닝 방법은, 각 트레이닝 쌍에서의 타겟 이미지의 그레이 스케일 성분 이미지에 대해 에지 검출을 수행하여 에지 이미지를 획득하고, 상기 에지 이미지에 따라 에지 확률맵을 결정하는 단계를 포함하고;

상기 손실 함수에서, 가장 높은 특성화 주파수를 갖는 주파수 구간에 대응되는 그레이 스케일 손실 성분은 상기 예측 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 및 대응되는 타겟 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 사이의 차이 값과 상기 에지 확률의 내적 매트릭스를 포함한다.

일 실시 형태에서, 상기 에지 이미지에 따라 에지 확률맵을 결정하는 단계는,

상기 에지 이미지에 대해 가이드 필터링을 수행하여 에지 확률맵을 획득하는 단계 - 상기 가이드 필터링의 가이드맵은 상기 타겟 이미지 또는 상기 타겟 이미지의 그레이 스케일 성분 이미지임 - 를 포함한다.

일 실시 형태에서, 상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합을 포함하거나; 또는,

상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분의 합을 포함하거나; 또는,

상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 채도 손실 성분의 합을 포함하거나; 또는,

상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분 및 채도 손실 성분의 합을 포함하며;

상기 색차 손실 성분은 상기 이미지 강화 모델에 의해 출력된 예측 이미지의 색차 성분 이미지에 대응되는 타겟 이미지의 색차 성분 이미지 사이의 차이이며; 상기 채도 손실 성분은 상기 이미지 강화 모델에 의해 출력된 예측 이미지의 채도 성분 이미지 및 대응되는 타겟 이미지의 채도 성분 이미지 사이의 차이이다.

일 실시 형태에서, 동일한 샘플 이미지 그룹 중의 샘플 이미지의 촬영 시나리오는 동일하고, 상이한 샘플 이미지 그룹 중 샘플 이미지의 촬영 시나리오는 상이하며;

상기 각 샘플 이미지 그룹과 관련된 타겟 이미지를 결정하는 단계는,

샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀 평균값을 계산하여 타겟 이미지를 획득하는 단계;

샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀의 가중 평균값을 계산하여 타겟 이미지를 획득하는 단계; 및

샘플 이미지 그룹으로부터 해상도가 가장 높은 샘플 이미지, 첫 번째 프레임의 샘플 이미지 또는 마지막 프레임의 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득하는 단계 중 하나를 포함하며;

상기 각 샘플 이미지 그룹과 관련된 트레이닝 입력 이미지 그룹을 결정하는 단계는,

상기 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용하는 단계; 및

상기 샘플 이미지 그룹으로부터 부분 샘플 이미지를 선택하여 트레이닝 입력 이미지 그룹을 형성하는 단계 중 하나를 포함한다.

본 발명의 실시예의 제2 측면에 따르면, 이미지 강화 모델의 트레이닝 장치를 제공하였고,

촬영 기기를 통해 촬영된 복수 개의 샘플 이미지 그룹을 결정하도록 구성된 제1 결정 모듈;

각 샘플 이미지 그룹과 관련된 타겟 이미지 및 트레이닝 입력 이미지 그룹을 결정하도록 구성된 제2 결정 모듈;

복수 개의 트레이닝 쌍을 구축하도록 구성된 구축 모듈 - 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 대응되는 타겟 이미지를 포함함 - ;

각 트레이닝 입력 이미지 그룹을 상기 이미지 강화 모델에 입력하여, 상기 이미지 강화 모델에 의해 출력된 예측 이미지를 획득하도록 구성된 입력 모듈;

상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하며, 대응되는 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 상기 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성된 주파수 분할 모듈; 및

각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하도록 구성된 트레이닝 모듈을 포함하고; 상기 손실 함수는 상기 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 상기 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응된다.

상기 주파수 분할 모듈은 또한, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 고주파 이미지로 취하는 방법을 사용하여 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함하며;

상기 주파수 분할 모듈은 또한, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제2 그레이 스케일 저주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 고주파 이미지로 취하는 방법을 사용하여, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 상기 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함한다.

상기 주파수 분할 모듈은 또한, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제1 그레이 스케일 고주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 저주파 이미지로 취하는 방법을 사용하여, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함하며;

상기 주파수 분할 모듈은 또한, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제2 그레이 스케일 고주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 저주파 이미지로 취하는 방법을 사용하여, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함한다.

일 실시 형태에서, 상기 이미지 강화 모델의 트레이닝 장치는,

각 트레이닝 쌍에서의 타겟 이미지의 그레이 스케일 성분 이미지에 대해 에지 검출을 수행하여 에지 이미지를 획득하도록 구성된 에지 검출 모듈; 및

상기 에지 이미지에 따라 에지 확률맵을 결정하도록 구성된 에지 확률 계산 모듈을 더 포함하고;

일 실시 형태에서, 상기 에지 확률 계산 모듈은, 상기 에지 이미지에 대해 가이드 필터링을 수행하여 에지 확률맵을 획득하는 방법을 사용하여, 상기 에지 이미지에 따라 에지 확률맵을 결정하도록 구성되며, 상기 가이드 필터링의 가이드맵은 상기 타겟 이미지 또는 상기 타겟 이미지의 그레이 스케일 성분 이미지이다.

일 실시 형태에서, 동일한 샘플 이미지 그룹 중의 샘플 이미지의 촬영 시나리오는 동일하고, 상이한 샘플 이미지 그룹 중 샘플 이미지의 촬영 시나리오는 상이하고;

제2 결정 모듈은 또한,

샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀 평균값을 계산하여 타겟 이미지를 획득하는 방법;

샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀의 가중 평균값을 계산하여 타겟 이미지를 획득하는 방법; 및

샘플 이미지 그룹으로부터 해상도가 가장 높은 샘플 이미지, 첫 번째 프레임의 샘플 이미지 또는 마지막 프레임의 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득하는 방법 중 하나를 사용하여, 각 샘플 이미지 그룹과 관련된 타겟 이미지를 결정하도록 구성되고;

상기 제2 결정 모듈은 또한,

상기 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용하는 방법; 및

상기 샘플 이미지 그룹으로부터 부분 샘플 이미지를 선택하여 트레이닝 입력 이미지 그룹을 형성하는 방법 중 하나를 사용하여 각 샘플 이미지 그룹과 관련된 트레이닝 입력 이미지 그룹을 결정하도록 구성된다.

본 발명의 실시예의 제3 측면에 따르면, 이미지 강화 모델의 트레이닝 장치를 제공하였고,

프로세서; 및

프로세서에 의해 실행 가능한 명령을 저장하기 위한 메모리를 포함하고;

여기서, 상기 프로세서는 상기 메모리에서의 실행 가능한 명령어를 실행하여 상기 이미지 강화 모델의 트레이닝 방법의 단계를 구현하도록 구성된다.

본 발명의 실시예의 제4 측면에 따르면, 실행 가능한 명령어가 저장된 비 일시적 컴퓨터 판독 가능한 저장 매체를 제공하였고, 상기 실행 가능한 명령어는 프로세서에 의해 실행될 경우, 상기 이미지 강화 모델의 트레이닝 방법의 단계를 구현한다.

본 발명의 실시예에서 제공하는 기술 방안은 하기와 같은 유익한 효과를 포함할 수 있다. 트레이닝 쌍과 관련된 손실 함수를 정의하며, 이미지의 디테일 특성이 주로 그레이 스케일 성분에 존재한다는 점을 고려할 때, 손실 함수에 이미지 강화 모델이 트레이닝 쌍을 사용할 때의 예측 이미지의 그레이 스케일 성분 이미지의 주파수 분할 정보와 타겟 이미지의 그레이 스케일 성분 이미지의 주파수 분할 정보를 추가하고, 상이한 트레이닝 쌍에 대해 상이한 손실 함수를 사용할 경우, 손실 함수로 하여금 이 트레이닝 쌍에서의 예측 이미지, 및 타겟 이미지의 내용 정보 및 시맨틱 정보를 반영하도록 하여, 이미지 강화 모델의 트레이닝 과정에서의 부적절한 문제로 인한 과도한 평활화 문제를 효과적으로 완화시킨다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 예시적이고 설명적인 것이며 본 발명을 한정하지는 못한다.

여기서 도면은 명세서에 포함되어 본 명세서의 일부를 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명서세와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 일 예시적 실시예에 따라 도시된 이미지 강화 모델의 트레이닝 방법의 흐름도이다.
도 2는 일 예시적 실시예에 따라 도시된 일 타겟 이미지의 그레이 스케일 성분 이미지, 그레이 스케일 성분 이미지의 저주파 이미지, 그레이 스케일 성분 이미지의 고주파 이미지이다.
도 3은 일 예시적 실시예에 따라 도시된 이미지 강화 모델의 트레이닝 장치의 구조도이다.
도 4는 일 예시적 실시예에 따라 도시된 이미지 강화 모델의 트레이닝 장치의 구조도이다.

여기서, 예시적 실시예를 상세하게 설명할 것이며, 그 예는 도면에 도시된다. 이하의 설명이 도면을 참조할 경우, 다른 설명이 없는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 이하 예시적 실시예에서 설명된 실시형태는 본 발명과 일치하는 모든 실시형태를 의미하는 것은 아니다. 이에 반해, 이들은 단지 첨부된 청구범위에서 상세하게 설명된 바와 같이, 본 발명의 일부 양태와 일치하는 장치 및 방법의 예일 뿐이다.

본 발명의 실시예에서 이미지 강화 모델의 트레이닝 방법을 제공한다. 도 1을 참조하면, 도 1은 일 예시적 실시예에 따라 도시된 이미지 강화 모델의 트레이닝 방법의 흐름도이다. 도 1에 도시된 바와 같이, 상기 이미지 강화 모델의 트레이닝 방법은 하기와 같은 단계를 포함한다.

단계S11에 있어서, 촬영 기기를 통해 촬영된 복수 개의 샘플 이미지 그룹을 결정한다.

단계S12에 있어서, 각 샘플 이미지 그룹과 관련된 타겟 이미지 및 트레이닝 입력 이미지 그룹을 결정한다.

단계 S13에 있어서, 복수 개의 트레이닝 쌍을 구축하고, 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 대응되는 타겟 이미지를 포함한다.

단계S14에 있어서, 각 트레이닝 입력 이미지 그룹을 상기 이미지 강화 모델에 입력하여, 상기 이미지 강화 모델에 의해 출력된 예측 이미지를 획득한다.

단계S15에 있어서, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하며, 대응되는 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 상기 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득한다.

단계S16에 있어서, 각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하고; 상기 손실 함수는 상기 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 상기 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응된다.

본 실시예에서, 트레이닝 쌍과 관련된 손실 함수를 정의하며, 이미지의 디테일 특성이 주로 그레이 스케일 성분에 존재한다는 점을 고려할 때, 손실 함수에 이미지 강화 모델이 트레이닝 쌍을 사용할 때의 예측 이미지 그레이 스케일 성분 이미지의 주파수 분할 정보와 타겟 이미지의 그레이 스케일 성분 이미지의 주파수 분할 정보를 추가하고, 상이한 트레이닝 쌍에 대해 상이한 손실 함수를 사용할 경우, 손실 함수로 하여금 이 트레이닝 쌍에서의 예측 이미지, 및 타겟 이미지의 내용 정보 및 시맨틱 정보를 반영하도록 하여, 이미지 강화 모델의 트레이닝 과정에서의 부적절한 문제로 인한 과도한 평활화 문제를 효과적으로 완화시킨다.

본 발명의 실시예에서 이미지 강화 모델의 트레이닝 방법을 제공하되, 상기 이미지 강화 모델의 트레이닝 방법은 도 1에 도시된 방법을 포함하고, 또한, 각 샘플 이미지 그룹과 관련된 타겟 이미지를 결정하는 단계 S12는 하기 방법 중 하나를 포함한다.

방법 1에서, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀 평균값을 계산하여 타겟 이미지를 획득한다.

방법 2에서, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀의 가중 평균값을 계산하여 타겟 이미지를 획득한다.

방법 3에서, 샘플 이미지 그룹으로부터 첫 번째 프레임의 샘플 이미지 또는 마지막 프레임의 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득한다.

방법 4에서, 샘플 이미지 그룹으로부터 해상도가 가장 높은 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득한다.

여기서, 샘플 이미지의 해상도를 계산하는 방법은, 라플라시안을 통해 모든 이미지의 그래디언트값을 획득하여, 각각의 이미지의 그래디언트값을 계산하며, 그래디언트값에 따라 해상도를 결정하는 단계를 포함하고, 그래디언트값은 해상도에 정비례한다. 해상도가 가장 높은 샘플 이미지를 선택하여 그래디언트값이 가장 큰 샘플 이미지로 사용한다.

참조 이미지를 결정한 후, 특징점 및 광학 흐름 방법을 사용하여 다른 입력 이미지와 참조 이미지를 정렬하고, 정렬한 후 융합 처리를 수행하며, 융합 과정에서 동일한 위치의 픽셀 간의 차이값을 계산하되, 이러한 차이는 일반적으로 노이즈로 인한 차이 및 일부 콘텐츠의 변경으로 인해 발생한다. 이러한 차이에 따라 융합 시 가중치를 결정하고, 일부 콘텐츠의 차이는 융합 후 아티팩트를 쉽게 유발할 수 있지만, 노이즈의 차이는 노이즈 제거에 유리하며, 가중치를 조정하여 노이즈 제거와 아티팩트 제거 사이에서 균형을 얻는다. 이미지에 대해 노이즈 추정을 수행하여 상기 그룹의 이미지의 노이즈 크기를 알 수 있는데, 노이즈가 비교적 크면, 다른 이미지와 참조 프레임 사이의 차이는 주로 노이즈임을 의미하므로, 다른 이미지의 가중치를 적절하게 증가시켜 융합 후 노이즈 제거 효과를 더욱 좋게 할 수 있으며, 그렇지 않으면, 비교적 낮은 가중치를 유지하여 아티팩트의 생성을 방지한다.

본 실시예에서, 멀티 프레임의 저품질 샘플 이미지를 사용하여 하나의 고화질의 타겟 이미지로 융합하고, 여기서 노이즈 시뮬레이션 및 퍼지 시뮬레이션은 포함되지 않으며, 타겟 이미지로 하여금 더 많은 샘플 이미지의 디테일 특징을 포함하도록 함으로써, 디테일 특징에 대한 기계 이미지 강화 모델의 학습에 유리하다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 방법을 제공하고, 상기 방법은 도 1에 도시된 방법을 포함하며, 또한, 단계 S11에서 촬영 기기를 통해 촬영할 경우, 촬영 기기를 안정적인 지지 기기(예를 들어, 삼각대)에 고정시키고 연속적으로 촬영한다. 동일한 샘플 이미지 그룹에서의 샘플 이미지의 촬영 시나리오는 동일하고, 상이한 샘플 이미지 그룹에서의 샘플 이미지의 촬영 시나리오는 상이하다. 예를 들어, 촬영 시나리오에는 근거리에서 인쇄물 내용을 촬영하는 시나리오, 사무실 시나리오, 캐릭터 셀카 시나리오, 풍경 시나리오, 건축 시나리오 등이 포함된다.

일 실시 형태에서, 각 샘플 이미지 그룹과 관련된 트레이닝 입력 이미지 그룹을 결정하는 단계 S12는 하기 방법 중 하나를 포함한다.

방법 1에서, 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용한다.

방법 2에서, 샘플 이미지 그룹으로부터 부분 샘플 이미지를 선택하여 트레이닝 입력 이미지를 형성한다.

상기 방법 2에서 선택한 방식은, 촬영 시퀀스에서의 중간 위치의 복수 개의 이미지를 선택하는 방식, 각 이미지의 해상도를 계산하고 해상도 정렬에서 이전에 설정된 비율의 복수의 이미지를 선택하는 방식, 및 각각의 이미지의 해상도를 계산하고 해상도 정렬에서 이전에 설정된 개수의 복수 개의 이미지를 선택하는 방식 중 하나를 포함한다. 하나의 실시형태에서, 각각의 샘플 이미지 그룹에서의 샘플 이미지가 제1 고정 개수일 경우, 선택된 부분 샘플 이미지의 데이터는 제2 고정 개수이고, 제1 고정 개수는 제2 고정 개수보다 크다.

예를 들어, 단계 S11에서 500개의 시나리오가 포함되고, 각 시나리오에서 20 개의 이미지를 연속적으로 촬영하여 샘플 이미지 그룹을 형성한다. 단계 S12에서 상기 방법 1을 사용할 경우, 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용함으로써, 500 개의 트레이닝 쌍을 구축하고, 각각의 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 하나의 타겟 이미지를 포함하며, 각각의 트레이닝 입력 이미지 그룹은 20 개의 샘플 이미지를 포함한다. 단계 S12에서 상기 방법 2를 사용할 경우, 각 샘플 이미지 그룹으로부터 10 개의 샘플 이미지를 선택하여 트레이닝 입력 이미지 그룹을 형성한다. 이로써 500 개의 트레이닝 쌍을 구축하고, 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 하나의 타겟 이미지를 포함하며, 각 트레이닝 입력 이미지 그룹은 10 개의 샘플 이미지를 포함한다.

본 실시예에서, 각각의 샘플 이미지 그룹으로부터, 관련된 트레이닝 입력 이미지 그룹을 결정하는 단계는, 샘플 이미지에 대한 상이한 호환성 정도에 대한 옵션을 제공하고, 샘플 이미지에 대한 호환성 정도가 비교적 높을 경우, 상기 방법 1을 사용하여, 샘플 이미지 그룹에서의 샘플 이미지가 모두 트레이닝에 사용되도록 하며; 샘플 이미지에 대한 호환성 정도가 비교적 낮을 경우, 상기 방법 2를 사용하여, 샘플 이미지 그룹에서의 샘플 이미지를 필터링한 후, 필터링된 샘플 이미지를 트레이닝에 사용한다.

본 발명의 실시예는 이미지 강화 모델의 방법을 제공하고, 이 방법은 도 1에 도시된 방법을 포함하며, 또한 단계 S15에서, 주파수 분할 처리를 수행하기 전에, 이미지 강화 모델에 의해 출력된 예측 이미지의 그레이 스케일 성분 이미지 및 타겟 이미지의 그레이 스케일 성분 이미지를 계산한다.

촬영 기기에 의해 촬영된 이미지는 일반적으로 RGB 색 공간의 이미지이고, 적색 성분 이미지, 황색 성분 이미지 및 청색 성분 이미지를 포함하며, 아래와 같은 관계를 통해 그레이 스케일 성분, 색차 성분, 채도 성분 세 가지 성분을 포함한 YUV 색 공간의 이미지로 전환된다.

Y = 0.299*R + 0.587*G + 0.114*B;

U = -0.1678*R - 0.3313*G + 0.5*B;

Y = 0.5*R - 0.4187*G - 0.0813*B.

상기 전환 방식을 통해, 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G 및 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R을 획득할 수 있다.

촬영 기기에 의해 촬영된 이미지가 YUV 색 공간의 이미지일 경우, 이미지로부터 그레이 스케일 성분 이미지를 추출한다.

단계 S15에서, 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G에 대해 주파수 분할 처리를 수행하여, 타겟 이미지 G가 상이한 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득한다. 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R에 대해 주파수 분할 처리를 수행하여, 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R이 상이한 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득한다.

본 발명의 실시예는 이미지 강화 모델의 방법을 제공하였고, 상기 방법은 도 1에 도시된 방법을 포함하며, 이 방법에서, 주파수 구간의 개수는 2 개, 3 개 또는 3 개 이상이다. 주파수 분할 처리를 수행할 경우, 주파수 구간은 가우시안 필터의 반경에 의해 결정된다. 예를 들어, 원본 이미지가 A이면, 반경이 R, 분산이 0인 가우시안 필터링을 사용해 A에 대해 가우시안 필터링을 수행하여 하나의 저주파 이미지 B를 획득하며, A에서 B 를 감하여C를 획득하고, C는 고주파 이미지이다. 반경 R은 B 와 C 사이의 구간을 결정한다. R이 클수록, C의 성분이 더욱 많다. 유사하게, B에 대한 가우시안 필터링을 수행하고 더욱 낮은 주파수의 D를 획득하며, B에서 D 를 감하여 E를 획득한다. D에 대해서 E는 고주파수이지만, C에 대해서는 중간 주파수이다. 또는, 주파수 구간의 개수가 두 개 이상일 경우, 상이한 대역 통과 필터를 사용해 필터링을 하여, 각 주파수 구간에 대응되는 주파수 분할 이미지를 획득한다.

일 실시 형태에서, 주파수 구간의 개수가 두 개이고, 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하며; 이 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함한다.

단계 S15에서, 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 예측 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제1 그레이 스케일 저주파 이미지를 획득하고, 예측 이미지의 그레이 스케일 성분 이미지와 제1 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 고주파 이미지로 취하는 단계 - 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함함 - 를 포함하고;

단계 S15에서, 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하며, 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 타겟 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제2 그레이 스케일 저주파 이미지를 획득하고, 타겟 이미지의 그레이 스케일 성분 이미지와 제2 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 고주파 이미지로 하는 단계 - 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함함 - 를 포함한다.

예를 들어, 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G에 대해 두 개의 주파수 구간의 주파수 분할 처리를 수행하여, 타겟 이미지 G의 그레이 스케일 저주파 이미지 Y_G_baselayer를 획득하며, 그레이 스케일 성분 이미지 Y_G는 그레이 스케일 저주파 이미지 Y_G_baselayer에서 감산되어 타겟 이미지 G의 그레이 스케일 고주파 이미지 Y_G_detaillayer를 획득한다. 도 2에 도시된 세 개의 이미지에서, 왼쪽에서 오른쪽으로 순차적으로, 일 실시예에서의 타겟 이미지의 그레이 스케일 성분 이미지, 그레이 스케일 저주파 이미지 및 그레이 스케일 고주파 이미지이다.

단계 S15에서, 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제1 그레이 스케일 고주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 저주파 이미지로 취하는 단계 - 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함함 - 를 포함하고;

단계 S15에서, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제2 그레이 스케일 고주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 저주파 이미지로 하는 단계 - 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함함 - 를 포함한다.

손실 함수 M_Loss는 매트릭스이고, 손실 함수는 각 그레이 스케일 손실 성분의 합을 포함하며, 공식 (1)로 표시한다.

여기서, K1은 고주파 구간에 대응되는 가중치 계수이며, Y_detaillayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 고주파 이미지 Y_G_detaillayer과 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 고주파 이미지 Y_R_detaillayer 사이의 차이이다.

K2는 저주파 구간에 대응되는 가중치 계수이며, Y_baselayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 저주파 이미지 Y_R_baselayer과 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 저주파 이미지 Y_R_baselayer 사이의 차이이다.

K1은 K2보다 크고, 더욱 많은 이미지 세부 정보를 구현하기 위해, 주파수가 더욱 높을 수록 성분의 가중치를 더 크게 만들어, 더욱 높은 특성화 주파수를 갖는 주파수 구간은 대응하는 그레이 스케일 손실 함수에서의 가중치 계수가 더욱 크다. 특성화 주파수는 주파수 구간의 위치를 나타내는 주파수이고, 예를 들어 특성화 주파수는 주파수 구간의 최고 주파수, 최저 주파수, 중심 주파수 등이고, 또는 특성화 주파수는 최고 주파수와 최저 주파수를 모두 포함한다. 상이한 주파수 구간 사이에는 중첩 부분이 없다.

일 실시 형태에서, 주파수 구간의 개수는 세 개이고, 손실 함수는 세 개의 그레이 스케일 손실 성분을 포함하며; 이 세 개의 그레이 스케일 손실 성분은 저주파 손실 성분, 중간 주파수 손실 성분 및 고주파 손실 성분을 포함한다.

손실 함수 M_Loss는 하나의 매트릭스이고, 손실 함수는 각 그레이 스케일 손실 성분의 합을 포함하며, 공식 (2)로 표시한다.

여기서, X1은 고주파 구간에 대응되는 가중치 계수이며, Y_FHlayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 고주파 이미지 Y_G_FHlayer와 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 고주파 이미지 Y_R_FHlayer 사이의 차이이다.

X2는 중간 주파수 구간에 대응되는 가중치 계수이며, Y_FMlayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 중간 주파수 이미지 Y_G_FMlayer과 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 중간 주파수 이미지 Y_R_FMlayer 사이의 차이이다.

X3은 저주파 구간에 대응되는 가중치 계수이며, Y_FLlayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 저주파 이미지 Y_G_FLlayer과 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 저주파 이미지 Y_R_FLlayer 사이의 차이이다.

더욱 높은 특성화 주파수를 갖는 주파수 구간은 대응하는 그레이 스케일 손실 함수에서의 가중치 계수가 더욱 크고, 즉 X1은 X2보다 크고, X2는 X3보다 크다.

일 실시 형태에서, 주파수 구간의 개수는 네 개이고, 손실 함수는 네 개의 그레이 스케일 손실 성분을 포함하며; 상기 네 개의 그레이 스케일 손실 성분은 주파수가 내림차순으로 제1 손실 성분, 제2 손실 성분, 제3 손실 성분, 및 제4 손실 성분을 포함한다.

마찬가지로, 손실 함수는 또한 네 개 이상의 그레이 스케일 손실 성분을 포함할 수 있다.

본 실시예에서, 더욱 높은 특성화 주파수를 갖는 주파수 구간으로 하여금 대응하는 그레이 스케일 손실 함수에서의 가중치 계수가 더욱 커지도록 하여, 더욱 많은 이미지 세부 정보를 구현하고, 손실 함수로 하여금 더욱 많은 이미지 세부 정보를 표현하도록 한다.

본 발명의 실시예에서 이미지 강화 모델의 트레이닝 방법을 제공하였고, 이 방법은 도 1에 도시된 방법을 포함하며, 상기 이미지 강화 모델의 트레이닝 방법은, 각 트레이닝 쌍에서의 타겟 이미지의 그레이 스케일 성분 이미지에 대해 에지 검출을 수행하여 에지 이미지 Y_G_edge를 획득하며, 에지 이미지 Y_G_edge에 따라 에지 확률맵 Y_G_P를 결정하는 단계를 더 포함한다. 손실 함수에서, 가장 높은 특성화 주파수를 갖는 주파수 구간에 대응되는 그레이 스케일 손실 성분은 상기 예측 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 및 대응되는 타겟 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 사이의 차이 값과 상기 에지 확률맵의 내적 매트릭스를 포함한다.

에지 검출의 수행 방법은 다양하며, 예를 들어, Canny 연산자를 사용한 검출 방법인데, 상기 검출 방법은 다음의 단계들 중 적어도 하나를 포함한다.

단계 1에 있어서, 노이즈 제거와 평활화 처리를 위해, 가우시안 필터링을 처리한다.

단계 2에 있어서, 비최대 억제(non-maximum suppression) 기술을 적용하여 에지 오검출을 제거하고, 각 픽셀에서 그래디언트 강도의 최대값을 보류하며, 최대값 이외의 다른 값을 삭제한다.

단계 3에 있어서, 이중 임계값 방법을 적용하여, 가능한(잠재적) 경계를 결정한다. 높은 임계값보다 큰 에지는 강한 에지이고, 낮은 임계값보다 작은 에지는 에지가 아니며, 높은 임계값과 낮은 임계값 사이에 있는 에지는 결정될 에지이다.

단계 4에 있어서, 히스테리시스 기술을 이용하여 경계를 추적하고, 강한 에지와 연결된 결정될 에지를 에지로 간주하며, 그렇지 않으면 결정될 에지는 에지가 아니다.

일 실시 형태에서, 에지 이미지 Y_G_edge에 따라 에지 확률맵 Y_G_P를 결정하는 단계는, 에지 이미지 Y_G_edge에 대해 가이드 필터링을 수행하여 에지 확률맵 Y_G_P를 획득 - 상기 가이드 필터링의 가이드맵은 타겟 이미지 또는 타겟 이미지의 그레이 스케일 성분 이미지임 - 하는 단계를 포함한다. 가이드 필터링은 이미지 필터링 기술이고, 하나의 가이드맵 Y_G_edge를 통해 필터링 처리를 수행하여, 마지막 예측 이미지로 하여금 검출을 통해 획득한 에지를 최대한 보류하도록 하고, 동시에 에지로 오검출된 노이즈를 최대한 제거함으로써, 최종적으로 확률맵 Y_G_P를 획득하고, 상기 확률맵의 각 픽셀의 확률값은 이 픽셀이 에지 포인트가 될 확률을 표시한다.

일 실시 형태에서, 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하며; 이 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함한다.

손실 함수 M_Loss는 매트릭스이고, 손실 함수는 각 그레이 스케일 손실 성분의 합을 포함하며, 공식 (3)으로 표시한다.

여기서, K1은 고주파 구간에 대응되는 가중치 계수이며, Y_G_P는 타겟 이미지의 그레이 스케일 성분 이미지의 에지 이미지 Y_G_edge에 대해 가이드 필터링을 수행하여 획득된 에지 확률맵 Y_G_P이고, Y_detaillayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 고주파 이미지 Y_G_detaillayer과 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 고주파 이미지 Y_R_detaillayer사이의 차이이며, *는 매트릭스 내적 연산을 나타낸다. K2는 저주파 구간에서의 가중치 계수이며, Y_baselayer_dif는 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 저주파 이미지 Y_R_baselayer과 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 저주파 이미지 Y_R_baselayer사이의 차이이다.

일 실시 형태에서, 주파수 구간의 개수가 3 개일 경우, 저주파 구간, 중간 주파수 구간 및 고주파 구간 세 개의 구간으로 나누고, 손실 함수는 세 개의 그레이 스케일 손실 성분을 포함하며; 상기 세 개의 그레이 스케일 손실 성분은 저주파 손실 성분, 중간 주파수 손실 성분 및 고주파 손실 성분을 포함한다.

손실 함수는 하나의 매트릭스 M_Loss이고, 손실 함수는 각 그레이 스케일 손실 성분의 합을 포함하며, 공식 (4)로 표시한다.

여기서, X1은 고주파 구간에 대응되는 가중치 계수이며, Y_G_P는 타겟 이미지의 그레이 스케일 성분 이미지의 에지 이미지 Y_G_edge에 대해 가이드 필터링을 수행하여 획득된 확률맵 Y_G_P이고, Y_FHlayer_dif는 타겟 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 고주파 이미지 Y_G_FHlayer와 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 고주파 이미지 Y_R_FHlayer 사이의 차이이며, *는 매트릭스 내적 연산을 나타낸다.

X2는 중간 주파수 구간에 대응되는 가중치 계수이며, Y_FMlayer_dif는 예측 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 중간 주파수 이미지 Y_G_FMlayerdhk 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 중간 주파수 이미지 Y_R_FMlayer 사이의 차이이다.

X3은 저주파 구간에 대응되는 가중치 계수이며, Y_FLlayer_dif는 예측 이미지 G의 그레이 스케일 성분 이미지 Y_G의 그레이 스케일 저주파 이미지 Y_G_FLlayer와 예측 이미지 R의 그레이 스케일 성분 이미지 Y_R의 그레이 스케일 저주파 이미지 Y_R_FLlayer 사이의 차이이다.

본 실시예에서, 가장 높은 특성화 주파수를 갖는 주파수 구간에 대응되는 그레이 스케일 손실 성분의 확률맵의 가중치를 증가시킴으로써, 손실 함수에서 이미지의 시맨틱 정보를 증가시켜 샘플 불균형의 문제를 해결한다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 방법을 제공하고, 이 방법은 도 1에 도시된 방법을 포함하며, 이 방법에서, 손실 함수는 그레이 스케일 손실 성분의 합을 포함하는 기초 상에서, 색차 손실 성분 및/또는 채도 손실 성분을 더 포함한다. 구체적으로,

손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분의 합을 포함한다.

또는, 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 채도 손실 성분의 합을 포함한다.

또는, 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분 및 채도 손실 성분의 합을 포함한다.

일 실시 형태에서, 손실 함수는 공식 (1)을 기반으로, 손실 함수는 공식 (5), (6), (7) 중 임의의 공식에 표시된 바와 같다.

손실 함수는 공식 (3)을 기반으로, 손실 함수는 공식 (8), (9), (10) 중 임의의 공식에 표시된 바와 같다.

여기서, U_dif는 타겟 이미지 G의 색차 성분 이미지 U_G와 예측 이미지 R의 색차 성분 이미지 U_R의 차이이고, V_dif는 타겟 이미지 G의 채도 성분 이미지 V_G와 예측 이미지 R의 채도 성분 이미지 V_R의 차이이다.

주파수 구간의 개수가 2보다 큰 경우, 손실 함수의 설정 방식은 상기 주파수 구간의 개수가 2인 경우와 같고, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 방법을 제공하고, 상기 방법은, 상기 트레이닝 방법을 사용하여 이미지 강화 모델이 성공적으로 트레이닝된 후, 성공적으로 트레이닝된 이미지 강화 모델을 사용하여 처리될 이미지에 대해 강화 처리를 수행하는 단계를 포함한다.

본 발명의 실시예에서 이미지 강화 모델의 트레이닝 장치를 제공한다. 도 3을 참조하면, 도 3은 일 예시적 실시예에 따라 도시된 이미지 강화 모델의 트레이닝 장치의 구조도이다. 도 3에 도시된 바와 같이, 이미지 강화 모델의 트레이닝 장치는,

촬영 기기를 통해 촬영된 복수 개의 샘플 이미지 그룹을 결정하도록 구성된 제1 결정 모듈(301);

각 샘플 이미지 그룹과 관련된 타겟 이미지 및 트레이닝 입력 이미지 그룹을 결정하도록 구성된 제2 결정 모듈(302);

복수 개의 트레이닝 쌍을 구축하도록 구성된 구축 모듈(303) - 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 대응되는 타겟 이미지를 포함함 - ;

각 트레이닝 입력 이미지 그룹을 상기 이미지 강화 모델에 입력하여, 상기 이미지 강화 모델에 의해 출력된 예측 이미지를 획득하도록 구성된 입력 모듈(304);

상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하며, 대응되는 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 상기 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성된 주파수 분할 모듈(305); 및

각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하도록 구성된 트레이닝 모듈(306) - 상기 손실 함수는 상기 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 상기 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응됨 - 을 포함한다.

일 실시 형태에서, 손실 함수에서 더욱 높은 손실 특성화 주파수를 갖는 주파수 구간은 대응하는 그레이 스케일 손실 함수에서의 가중치 계수가 더욱 크다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 장치를 제공하고, 상기 트레이닝 장치는 도 3에 도시된 트레이닝 장치를 포함하며, 또한 여기서 상기 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하고; 상기 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함하며;

상기 주파수 분할 모듈(305)은 또한, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제1 그레이 스케일 저주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 고주파 이미지로 취하는 방법을 사용하여 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되고, 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함하며;

상기 주파수 분할 모듈(305)은 또한, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제2 그레이 스케일 저주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 고주파 이미지로 취하는 방법을 사용하여 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되고, 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함한다.

상기 주파수 분할 모듈(305)은 또한, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제1 그레이 스케일 고주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 저주파 이미지로 취하는 방법을 사용하여 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되고, 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함함하며;

상기 주파수 분할 모듈(305)은 또한, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제2 그레이 스케일 고주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 저주파 이미지로 취하는 방법을 사용하여 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되고, 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함함한다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 장치를 제공하고, 상기 트레이닝 장치는 도 3에 도시된 트레이닝 장치를 포함하며, 또한 상기 이미지 강화 모델의 트레이닝 장치는,

상기 손실 함수에서, 가장 높은 특성화 주파수를 갖는 주파수 구간에 대응되는 그레이 스케일 손실 성분은 상기 예측 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 및 대응되는 타겟 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 사이의 차이 값과 상기 에지 확률맵의 내적 매트릭스를 포함한다.

일 실시 형태에서, 상기 에지 확률 계산 모듈은, 상기 에지 이미지에 대해 가이드 필터링을 수행하여 에지 확률맵을 획득하는 방법을 사용하여 상기 에지 이미지에 따라 에지 확률맵을 결정하도록 구성되고, 상기 가이드 필터링의 가이드맵은 상기 타겟 이미지 또는 상기 타겟 이미지의 그레이 스케일 성분 이미지이다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 장치를 제공하고, 상기 트레이닝 장치는 도 3에 도시된 트레이닝 장치를 포함하며, 또한 상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합을 포함하거나;

또는, 상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분의 합을 포함하거나;

또는, 상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 채도 손실 성분의 합을 포함하거나;

또는, 상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분 및 채도 손실 성분의 합을 포함하며;

본 발명의 실시예는 이미지 강화 모델의 트레이닝 장치를 제공하고, 상기 트레이닝 장치는 도 3에 도시된 트레이닝 장치를 포함하며, 또한 동일한 샘플 이미지 그룹 중의 샘플 이미지의 촬영 시나리오는 동일하고, 상이한 샘플 이미지 그룹 중의 샘플 이미지의 촬영 시나리오는 상이하며;

상기 제2 결정 모듈(302)은 또한,

샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀 가중 평균값을 계산하여 타겟 이미지를 획득하는 방법; 및

샘플 이미지 그룹으로부터 해상도가 가장 높은 샘플 이미지, 첫 번째 프레임의 샘플 이미지 또는 마지막 프레임의 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득하는 방법 중 하나를 사용하여 각 샘플 이미지 그룹과 관련된 타겟 이미지를 결정하도록 구성되며;

상기 제2 결정 모듈은 또한,

상기 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용하는 방법;

본 발명의 실시예는 이미지 강화 장치를 제공하고, 이 트레이닝 장치는 상기 트레이닝 장치 및 강화 처리 모듈을 포함하고, 상기 강화 처리 모듈은 상기 트레이닝 장치를 사용해 성공적으로 트레이닝된 이미지 강화 모델을 사용하여 처리될 이미지에 대해 강화 처리를 수행하도록 구성된다.

본 발명의 실시예는 이미지 강화 모델의 트레이닝 장치를 제공하고, 이 트레이닝 장치는,

프로세서; 및

프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 포함하고;

본 발명의 실시예에서, 실행 가능한 명령어가 저장된 비 일시적 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 실행 가능한 명령어가 프로세서에 의해 실행될 경우 상기 이미지 강화 모델의 트레이닝 방법의 단계를 구현한다.

도 4는 일 예시적 실시예에 따라 도시된 이미지 강화 모델의 트레이닝 장치(400)의 블록도이다. 예를 들어, 장치(400)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 휘트니스 기기, 개인용 휴대 단말기 등일 수 있다.

도 4를 참조하면, 장치(400)는 처리 컴포넌트(402), 메모리(404), 전원 컴포넌트(406), 멀티미디어 컴포넌트(408), 오디오 컴포넌트(410), 입력/출력(I/O) 인터페이스(412), 센서 컴포넌트(414) 및 통신 컴포넌트(416) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(402)는 일반적으로 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 장치(400)의 전체 동작을 제어한다. 처리 컴포넌트(402)는 상기 이미지 강화 모델의 트레이닝 방법의 전부 또는 일부 단계를 완료하도록 하나 또는 복수 개의 프로세서(420)를 포함하여 명령어를 실행할 수 있다. 또한, 처리 컴포넌트(402)는 처리 컴포넌트(402)와 다른 컴포넌트 사이의 인터랙션을 위한 하나 또는 복수 개의 모듈을 포함할 수 있다.

예를 들어, 처리 컴포넌트(402)는 멀티미디어 컴포넌트(408)와 처리 컴포넌트(402) 사이의 용이한 인터랙션을 위한 멀티미디어 모듈을 포함할 수 있다.

메모리(404)는 장치(400)의 작동을 지원하도록 각 타입의 데이터를 저장한다. 이러한 데이터의 예는 장치(400)에서 작동되는 임의의 응용 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다.

메모리(404)는 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 소거 및 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 기억 장치 또는 이들의 조합으로 구현될 수 있다.

전원 컴포넌트(406)는 장치(400)의 각 컴포넌트에 전력을 제공한다. 전원 컴포넌트(406)는 전원 관리 시스템, 하나 또는 복수 개의 전원, 장치(400)에 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(408)는 상기 이미지 노이즈 제거 모델의 트레이닝 장치(400)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD)와 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하면, 스크린은 사용자에 따라 입력된 신호를 수신하도록 터치 스크린으로 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널에서의 제스처를 감지하도록 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 바운드를 감지할 수 있을 뿐만 아니라, 상기 터치 또는 스와이프 동작과 관련된 지속 시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(408)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(400) 가 촬영 모드 또는 비디오 모드와 같은 작동 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라와 후방 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리와 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(410)는 오디오 신호를 출력 및/또는 입력한다. 예를 들어, 오디오 컴포넌트(410)는 하나의 마이크(MIC)를 포함하고, 장치(400)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 작동 모드일 경우, 마이크는 외부 오디오 신호를 수신한다. 수신된 오디오 신호는 또한 메모리(404)에 저장되거나 통신 컴포넌트(416)를 통해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(410)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(412)는 처리 컴포넌트(402)와 주변 인터페이스 모듈 사이에 인터페이스를 제공하되, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량 버튼, 작동 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(414)는 장치(400)에 각 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(414)는 장치(400)의 온/오프 상태, 장치(400)의 모니터와 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있고, 센서 컴포넌트(414)는 장치(400) 또는 장치(400)의 하나의 컴포넌트의 위치 변화, 사용자와 장치(400)의 접촉 여부, 장치(400) 방위 또는 가속/감속 및 장치(400)의 온도 변화를 검출할 수도 있다. 센서 컴포넌트(414)는 아무런 물리적 접촉이 없을 경우 주변 물체의 존재를 검출하는 근접 센서를 포함할 수 있다. 센서 컴포넌트(414)는CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에 사용하기 위한 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(414)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(416)는 장치(400)와 다른 기기 사이의 유선 또는 무선 방식의 통신을 용이하게 하도록 구성된다. 장치(400)는 통신 표준 기반의 무선 네트워크, 예를 들어 Wi-Fi, 2G, 3G, 또는 이들의 조합에 액세스할 수 있다. 하나의 예시적 실시예에서, 통신 컴포넌트(416)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송과 관련된 정보를 수신한다. 하나의 예시적 실시예에서, 상기 통신 컴포넌트(416)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에서, 장치(400)는 상기 이미지 강화 모델의 트레이닝 방법을 수행하도록, 하나 또는 복수 개의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 따라 구현될 수 있다.

예시적 실시예에서, 명령을 포함하는 메모리(404)와 같은 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 저장 매체를 더 제공하되, 상기 명령어는 상기 이미지 강화 모델의 트레이닝 방법을 완료하도록 장치(500)의 프로세서(420)에 따라 실행될 수 있다. 예를 들어, 상기 비일시적 컴퓨터 판독 가능한 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스켓 및 광 데이터 저장 기기 등일 수 있다.

본 기술분야의 기술자는 명세서를 고려하고 본 발명을 실시한 후, 본 발명의 다른 실시형태를 용이하게 생각해낼 수 있다. 본 발명은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적 원리를 따르고 본 발명에서 개시하지 않은 본 기술분야의 상식 또는 관용적 기술적 수단을 포함한다. 명세서 및 실시예는 단지 예시적인 것이고, 본 발명의 진정한 범위 및 사상은 아래의 청구범위에 의해 지적된다.

이해해야 할 것은, 본 발명은 위에서 설명되고 도면에 도시된 정확한 구조에 한정되는 것이 아니라 그 범위를 벗어나지 않는 한 다양한 수정과 변경을 수행할 수 있다는 것이다. 본 발명의 범위는 첨부된 청구범위에 따라서만 한정된다.

Claims

이미지 강화 모델의 트레이닝 방법으로서,
촬영 기기를 통해 촬영된 복수 개의 샘플 이미지 그룹을 결정하는 단계;
각 샘플 이미지 그룹과 관련된 타겟 이미지 및 트레이닝 입력 이미지 그룹을 결정하는 단계;
복수 개의 트레이닝 쌍을 구축하는 단계 - 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 대응되는 타겟 이미지를 포함함 - ;
각 트레이닝 입력 이미지 그룹을 상기 이미지 강화 모델에 입력하여, 상기 이미지 강화 모델에 의해 출력된 예측 이미지를 획득하는 단계;
상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하며, 대응되는 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 상기 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계; 및
각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하는 단계를 포함하고;
상기 손실 함수는 상기 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 상기 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응되는것을 특징으로 하는 트레이닝 방법.
제1항에 있어서,
더욱 높은 특성화 주파수를 갖는 주파수 구간은 대응하는 그레이 스케일 손실 함수에서의 가중치 계수가 더욱 큰 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법.
제1항에 있어서,
상기 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하고; 상기 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함하며;
상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제1 그레이 스케일 저주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 고주파 이미지로 취하는 단계를 포함하고, 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 상기 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함하며;
상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제2 그레이 스케일 저주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 고주파 이미지로 취하는 단계를 포함하고, 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 상기 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법.
제1항에 있어서,
상기 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하고; 상기 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함하며;
상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제1 그레이 스케일 고주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 저주파 이미지로 취하는 단계 - 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함함 - 를 포함하며;
상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하는 단계는, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제2 그레이 스케일 고주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 저주파 이미지로 취하는 단계 - 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함함 - 를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법
제1항에 있어서,
상기 이미지 강화 모델의 트레이닝 방법은, 각 트레이닝 쌍에서의 타겟 이미지의 그레이 스케일 성분 이미지에 대해 에지 검출을 수행하여 에지 이미지를 획득하고, 상기 에지 이미지에 따라 에지 확률맵을 결정하는 단계를 포함하고;
상기 손실 함수에서, 가장 높은 특성화 주파수를 갖는 주파수 구간에 대응되는 그레이 스케일 손실 성분은 상기 예측 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 및 대응되는 타겟 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 사이의 차이 값과 상기 에지 확률의 내적 매트릭스를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법.
제5항에 있어서,
상기 에지 이미지에 따라 에지 확률맵을 결정하는 단계는,
상기 에지 이미지에 대해 가이드 필터링을 수행하여 에지 확률맵을 획득하는 단계 - 상기 가이드 필터링의 가이드맵은 상기 타겟 이미지 또는 상기 타겟 이미지의 그레이 스케일 성분 이미지임 - 를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법.
제1항에 있어서,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합을 포함하거나; 또는,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분의 합을 포함하거나; 또는,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 채도 손실 성분의 합을 포함하거나; 또는,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분 및 채도 손실 성분의 합을 포함하며;
상기 색차 손실 성분은 상기 이미지 강화 모델에 의해 출력된 예측 이미지의 색차 성분 이미지에 대응되는 타겟 이미지의 색차 성분 이미지 사이의 차이이며; 상기 채도 손실 성분은 상기 이미지 강화 모델에 의해 출력된 예측 이미지의 채도 성분 이미지 및 대응되는 타겟 이미지의 채도 성분 이미지 사이의 차이인 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법.
제1항에 있어서,
동일한 샘플 이미지 그룹에서의 샘플 이미지의 촬영 시나리오는 동일하고, 상이한 샘플 이미지 그룹에서의 샘플 이미지의 촬영 시나리오는 상이하며;
상기 각 샘플 이미지 그룹과 관련된 타겟 이미지를 결정하는 단계는,
샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀 평균값을 계산하여 타겟 이미지를 획득하는 단계;
샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀의 가중 평균값을 계산하여 타겟 이미지를 획득하는 단계; 및
샘플 이미지 그룹으로부터 해상도가 가장 높은 샘플 이미지, 첫 번째 프레임의 샘플 이미지 또는 마지막 프레임의 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득하는 단계 중 하나를 포함하며;
상기 각 샘플 이미지 그룹과 관련된 트레이닝 입력 이미지 그룹을 결정하는 단계는,
상기 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용하는 단계; 및
상기 샘플 이미지 그룹으로부터 부분 샘플 이미지를 선택하여 트레이닝 입력 이미지 그룹을 형성하는 단계 중 하나를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 방법.
이미지 강화 모델의 트레이닝 장치로서,
촬영 기기를 통해 촬영된 복수 개의 샘플 이미지 그룹을 결정하도록 구성된 제1 결정 모듈;
각 샘플 이미지 그룹과 관련된 타겟 이미지 및 트레이닝 입력 이미지 그룹을 결정하도록 구성된 제2 결정 모듈;
복수 개의 트레이닝 쌍을 구축하도록 구성된 구축 모듈 - 각 트레이닝 쌍은 하나의 트레이닝 입력 이미지 그룹 및 대응되는 타겟 이미지를 포함함 - ;
각 트레이닝 입력 이미지 그룹을 상기 이미지 강화 모델에 입력하여, 상기 이미지 강화 모델에 의해 출력된 예측 이미지를 획득하도록 구성된 입력 모듈;
상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하며, 대응되는 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 상기 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성된 주파수 분할 모듈; 및
각 트레이닝 쌍에 각각 대응되는 손실 함수를 사용하여, 수렴될 때까지, 상기 이미지 강화 모델을 트레이닝하도록 구성된 트레이닝 모듈을 포함하고; 상기 손실 함수는 상기 복수 개의 주파수 구간에 일대일로 대응되는 복수 개의 그레이 스케일 손실 성분을 포함하고, 각 그레이 스케일 손실 성분은 각 주파수 구간 내의 상기 예측 이미지의 그레이 스케일 주파수 분할 이미지와, 대응되는 타겟 이미지의 그레이 스케일 주파수 분할 이미지 사이의 차이 값에 기반하여 결정되고, 상이한 그레이 스케일 손실 성분은 상이한 주파수 구간에 대응되는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
제9항에 있어서,
더욱 높은 특성화 주파수를 갖는 주파수 구간은 대응하는 그레이 스케일 손실 함수에서의 가중치 계수가 더욱 큰 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
제9항에 있어서,
상기 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하고; 상기 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함하며;
상기 주파수 분할 모듈은 또한, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 고주파 이미지로 취하는 방법을 사용하여 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함하며;
상기 주파수 분할 모듈은 또한, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 저역 통과 필터링을 수행하여, 제2 그레이 스케일 저주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 저주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 고주파 이미지로 취하는 방법을 사용하여, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 상기 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
제9항에 있어서,
상기 손실 함수는 두 개의 그레이 스케일 손실 성분을 포함하고; 상기 두 개의 그레이 스케일 손실 성분은 저주파 손실 성분 및 고주파 손실 성분을 포함하며;
상기 주파수 분할 모듈은 또한, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제1 그레이 스케일 고주파 이미지를 획득하고, 상기 예측 이미지의 그레이 스케일 성분 이미지와 상기 제1 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제1 그레이 스케일 저주파 이미지로 취하는 방법을 사용하여, 상기 예측 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 예측 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 예측 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제1 그레이 스케일 저주파 이미지 및 제1 그레이 스케일 고주파 이미지를 포함하며;
상기 주파수 분할 모듈은 또한, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 고역 통과 필터링을 수행하여, 제2 그레이 스케일 고주파 이미지를 획득하고, 상기 타겟 이미지의 그레이 스케일 성분 이미지와 상기 제2 그레이 스케일 고주파 이미지 사이의 차이 값을 계산하여 제2 그레이 스케일 저주파 이미지로 취하는 방법을 사용하여, 상기 타겟 이미지의 그레이 스케일 성분 이미지에 대해 주파수 분할 처리를 수행하여, 상기 타겟 이미지가 복수 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지를 획득하도록 구성되며; 상기 타겟 이미지가 두 개의 주파수 구간에서의 그레이 스케일 주파수 분할 이미지는 제2 그레이 스케일 저주파 이미지 및 제2 그레이 스케일 고주파 이미지를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
제9항에 있어서,
상기 이미지 강화 모델의 트레이닝 장치는,
각 트레이닝 쌍에서의 타겟 이미지의 그레이 스케일 성분 이미지에 대해 에지 검출을 수행하여 에지 이미지를 획득하도록 구성된 에지 검출 모듈; 및
상기 에지 이미지에 따라 에지 확률맵을 결정하도록 구성된 에지 확률 계산 모듈을 더 포함하고;
상기 손실 함수에서, 가장 높은 특성화 주파수를 갖는 주파수 구간에 대응되는 그레이 스케일 손실 성분은 상기 예측 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 및 대응되는 타겟 이미지가 상기 주파수 구간에서의 그레이 스케일 주파수 분할 이미지 사이의 차이 값과 상기 에지 확률의 내적 매트릭스를 포함하는 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
제13항에 있어서,
상기 에지 확률 계산 모듈은, 상기 에지 이미지에 대해 가이드 필터링을 수행하여 에지 확률맵을 획득하는 방법을 사용하여, 상기 에지 이미지에 따라 에지 확률맵을 결정하도록 구성되며, 상기 가이드 필터링의 가이드맵은 상기 타겟 이미지 또는 상기 타겟 이미지의 그레이 스케일 성분 이미지인 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
제9항에 있어서,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합을 포함하거나; 또는,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분의 합을 포함하거나; 또는,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 채도 손실 성분의 합을 포함하거나; 또는,
상기 손실 함수는 복수 개의 그레이 스케일 손실 성분의 합과, 색차 손실 성분 및 채도 손실 성분의 합을 포함하며;
상기 색차 손실 성분은 상기 이미지 강화 모델에 의해 출력된 예측 이미지의 색차 성분 이미지에 대응되는 타겟 이미지의 색차 성분 이미지 사이의 차이이며; 상기 채도 손실 성분은 상기 이미지 강화 모델에 의해 출력된 예측 이미지의 채도 성분 이미지 및 대응되는 타겟 이미지의 채도 성분 이미지 사이의 차이인 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치
제9항에 있어서,
동일한 샘플 이미지 그룹 중의 샘플 이미지의 촬영 시나리오는 동일하고, 상이한 샘플 이미지 그룹 중 샘플 이미지의 촬영 시나리오는 상이하고;
제2 결정 모듈은 또한,
샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀 평균값을 계산하여 타겟 이미지를 획득하는 방법;
샘플 이미지 그룹 중 각 샘플 이미지에 따라 동일한 위치의 픽셀의 가중 평균값을 계산하여 타겟 이미지를 획득하는 방법; 및
샘플 이미지 그룹으로부터 해상도가 가장 높은 샘플 이미지, 첫 번째 프레임의 샘플 이미지 또는 마지막 프레임의 샘플 이미지를 참조 이미지로 선택하여, 샘플 이미지 그룹 중 각 샘플 이미지에 따라 특징점을 계산하고, 상기 참조 이미지에 따라 상기 샘플 이미지 그룹 중 다른 샘플 이미지에 대해 특징점 정렬 동작을 수행하며, 정렬 동작이 수행된 샘플 이미지에 대해 멀티 프레임의 이미지 융합을 수행하여 타겟 이미지를 획득하는 방법 중 하나를 사용하여, 각 샘플 이미지 그룹과 관련된 타겟 이미지를 결정하도록 구성되고;
상기 제2 결정 모듈은 또한,
상기 샘플 이미지 그룹을 트레이닝 입력 이미지 그룹으로 사용하는 방법; 및
상기 샘플 이미지 그룹으로부터 부분 샘플 이미지를 선택하여 트레이닝 입력 이미지 그룹을 형성하는 방법 중 하나를 사용하여 각 샘플 이미지 그룹과 관련된 트레이닝 입력 이미지 그룹을 결정하도록 구성된 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
이미지 강화 모델의 트레이닝 장치로서,
프로세서; 및
프로세서에 의해 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고,
상기 프로세서는 상기 메모리에서의 실행 가능한 명령어를 실행하여 제1항 내지 제8항 중 어느 한 항에 따른 방법의 단계를 구현하도록 구성된 것을 특징으로 하는 이미지 강화 모델의 트레이닝 장치.
실행 가능한 명령어가 저장된 비 일시적 컴퓨터 판독 가능한 저장 매체로서,
상기 실행 가능한 명령어는 프로세서에 의해 실행될 경우, 제1항 내지 제8항 중 어느 한 항에 따른 이미지 강화 모델의 트레이닝 방법의 단계를 구현하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능한 저장 매체.