KR20210053121A

KR20210053121A - 이미지 처리 모델의 훈련 방법, 장치 및 매체

Info

Publication number: KR20210053121A
Application number: KR1020200004548A
Authority: KR
Inventors: 리앙 장
Original assignee: 베이징 시아오미 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2019-10-31
Filing date: 2020-01-14
Publication date: 2021-05-11
Also published as: US20210133499A1; JP6909317B2; CN110827219B; KR102366995B1; CN110827219A; EP3816927A1; EP3816927B1; JP2021072081A; US11222235B2

Abstract

본 발명은 이미지 처리 모델의 훈련 방법, 장치 및 매체에 관한 것이다. 상기 방법은, N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하는 단계 - N 및 M은 모두 1보다 큰 자연수임 - ; 각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계; 각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계; 각 훈련 시나리오에서의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하는 단계; 및 상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계를 포함한다. 상기 방법을 사용하면, 디지털 줌 효과가 효과적으로 향상되는 동시에, 노이즈 제거의 목적을 달성한다. 상기 방법을 사용하면, 사용자가 먼 문자 또는 다른 물체를 촬영할 경우, 사용자가 더욱 선명하게 보이도록 한다.

Description

이미지 처리 모델의 훈련 방법, 장치 및 매체{METHOD AND APPARATUS FOR TRAINING IMAGE PROCESSING MODEL, AND STORAGE MEDIUM}

본 출원은 출원 번호가 CN201911054263.X이고, 출원일이 2019년 10월 31일인 중국 특허 출원에 기반하여 제출된 것이며, 상기 중국 특허 출원의 우선권을 주장하고, 상기 중국 특허 출원의 전부 내용을 본 출원에 인용하여 참조로 한다.

본 발명은 이미지 처리 기술분야에 관한 것으로서, 특히 이미지 처리 모델의 훈련 방법, 장치 및 매체에 관한 것이다.

줌 기능은 오늘날의 핸드폰 및 카메라에 반드시 필요한 기능이다. 사람들은 촬영된 이미지에서 야생 동물 및 운동 선수와 같은 먼 물체에 더 가까이하도록 줌인함으로써, 물체를 더욱 자세히 관찰한다. 일부 스마트폰에는 심지어 두 개의 상이한 줌 레벨을 갖는 카메라가 구성되어 있다. 이는 고품질의 줌 기능이 소비자 카메라 시장에서의 중요성을 나타낸다. 광학 줌은 이미지 줌의 바람직한 선택으로서, 비교적 높은 이미지 품질을 유지할 수 있지만, 줌 카메라는 일반적으로 비싸고 부피가 크다. 따라서 현재 주로 디지털 줌으로 이미지 보강을 진행한다. 디지털 줌(Digital Zoom)은 핸드폰 또는 디지털 카메라 내의 프로세서를 통해, 사진에서의 각 픽셀 면적을 증가시킴으로써, 확대의 목적을 달성한다. 그러나, 현재 대부분 디지털 줌 방법은 단순히 카메라 센서에 의해 입력된 크롭 영역을 업 샘플링하는 것이므로, 이러한 방법은 모호한 출력을 생성할 수 있다. 고가의 광학식 기기가 없는 전제하에, 원거리 물체에 대한 고품질의 이미지를 얻는 것은 여전히 하나의 도전이다.

관련 기술에서 존재하는 문제를 극복하기 위해, 본 발명은 이미지 처리를 위한 딥러닝 네트워크 훈련 방법, 장치 및 매체를 제공한다.

본 발명 실시예에 따른 제1 측면에 있어서, 이미지 처리 모델의 훈련 방법을 제공하고, 상기 방법은,

N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하는 단계 - N 및 M은 모두 1보다 큰 자연수임 - ;

각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계;

각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계;

각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하는 단계; 및

상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계를 포함한다.

여기서, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계는,

상기 훈련 시나리오의 K 개 프레임의 근거리 촬영 이미지를 획득하는 단계 - K는 1보다 크거나 같은 자연수임 - ; 및

상기 K 개 프레임의 근거리 촬영 이미지에 기반하여, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계를 포함한다.

여기서, 상기 K 개 프레임의 근거리 촬영 이미지에 기반하여 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계는,

상기 K 개 프레임의 근거리 촬영 이미지에 기반하여, 다중 프레임 융합 방식을 통해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계를 포함한다.

여기서, 상기 원거리 촬영 이미지와 상기 근거리 촬영 이미지는 동일한 수평선 위에서 획득된 이미지이다.

여기서, 상기 방법은,

상기 M 개 프레임의 원거리 촬영 이미지에서 1 개 프레임의 원거리 참조 이미지를 선택하는 단계를 더 포함한다.

여기서, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계는,

상기 근거리 기준 이미지에 기반하여 상기 원거리 참조 이미지를 정렬하는 단계; 및

상기 원거리 참조 이미지에 기반하여 상기 M 개 프레임의 원거리 촬영 이미지에서의 다른 이미지를 정렬하는 단계를 포함한다.

여기서, 상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계는,

상기 이미지 처리 모델에서, 상기 원거리 참조 이미지의 계산 가중치를 상기 M 개 프레임의 원거리 촬영 이미지에서의 다른 이미지의 계산 가중치보다 크도록 설정하는 단계를 포함한다.

여기서, 상기 M 개 프레임의 원거리 촬영 이미지에서 1 개 프레임의 원거리 참조 이미지를 선택하는 단계는,

각 프레임의 원거리 촬영 이미지의 기울기값을 획득하는 단계; 및

최대 기울기값을 갖는 원거리 촬영 이미지를 상기 원거리 참조 이미지로서 선택하는 단계를 포함한다.

여기서, 상기 이미지 처리 모델은 다중 프레임 초해상도 네트워크 모델이다.

본 발명 실시예에 따른 제2 측면에 있어서, 이미지 처리 방법을 제공하고, 상기 방법은,

타겟 대상에 대해, M 개 프레임의 원거리 촬영 이미지를 획득하는 단계 - M은 1보다 큰 자연수임 - ; 및

상기 M 개 프레임의 원거리 촬영 이미지를 상기 방법에 따라 훈련된 이미지 처리 모델에 입력하여, 상기 타겟 대상의 강화된 이미지를 얻는 단계를 포함한다.

본 발명 실시예에 따른 제3 측면에 있어서, 이미지 처리 모델의 훈련 장치를 제공하고, 상기 장치는,

N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하도록 구성된 원거리 이미지 획득 모듈 - N 및 M은 모두 1보다 큰 자연수임 - ;

각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하도록 구성된 근거리 이미지 획득 모듈;

각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하도록 구성된 이미지 정렬 모듈;

각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하도록 구성된 샘플 세트 조성 모듈; 및

상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키도록 구성된 훈련 모듈을 포함한다.

본 발명 실시예에 따른 제4 측면에 있어서, 이미지 처리를 위한 딥러닝 네트워크 훈련 장치를 제공하고, 상기 장치는,

프로세서; 및

프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;

상기 프로세서는,

N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하고 - N 및 M은 모두 1보다 큰 자연수임 - ;

각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하며;

각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하며;

각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하며; 및

상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키도록 구성된다.

본 발명 실시예에 따른 제5 측면에 있어서, 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 저장 매체에서의 명령어가 휴대용 단말기의 프로세서에 의해 실행될 경우, 휴대용 단말기로 하여금 이미지 처리를 위한 딥러닝 네트워크 훈련 방법을 실행하도록 하고, 상기 방법은,

본 발명 실시예에서 제공된 기술방안은 아래의 유리한 효과를 포함할 수 있다. 본 발명의 실시예에 있어서, 근거리 촬영 이미지로 얻은 근거리 기준 이미지를 통해 원거리 촬영 이미지를 크롭하여 정렬시키고, 다중 프레임의 정렬된 원거리 촬영 이미지를 입력으로서, 근거리 기준 이미지를 출력으로서, 이미지 처리 모델을 훈련시킨다. 상기 방법으로 훈련한 이미지 처리 모델을 사용하여 원거리 촬영 이미지를 처리할 경우, 디지털 줌 효과를 효과적으로 향상시키는 동시에, 노이즈 제거의 목적에 도달할 수 있다. 상기 발명 실시예에서의 방법을 사용하면, 사용자가 먼 곳의 문자 또는 다른 물체를 촬영할 경우, 더욱 선명하게 보이도록 한다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 한정적인 것일 뿐 본 발명을 한정하지 않는다.

본문의 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성하며, 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 원리의 해석에 사용된다.
도 1은 일 예시적 실시예에 따라 도시된 이미지 처리 모델의 훈련 방법의 흐름도이다.
도 2는 일 예시적 실시예에 따라 도시된 원거리 촬영 이미지의 예시도이다.
도 3은 일 예시적 실시예에 따라 도시된 근거리 촬영 이미지의 예시도이다.
도 4는 일 예시적 실시예에 따라 도시된 근거리 촬영 이미지의 예시도이다.
도 5는 일 예시적 실시예에 따라 도시된 근거리 기준 이미지의 예시도이다.
도 6은 일 예시적 실시예에 따라 도시된 원거리 촬영 이미지 및 그의 기울기 바이너리 이미지의 대비 예시도이다.
도 7은 일 예시적 실시예에 따라 도시된 이미지 처리 모델이 이미지를 처리하는 효과 예시도이다.
도 8은 일 예시적 실시예에 따라 도시된 이미지 처리 모델의 훈련 방법의 흐름도이다.
도 9는 일 예시적 실시예에 따라 도시된 근거리 기준 이미지를 픽처 크롭(picture crop)하는 예시도이다.
도 10은 일 예시적 실시예에 따라 도시된 원거리 촬영 이미지를 픽처 크롭하는 예시도이다.
도 11은 일 예시적 실시예에 따라 도시된 크롭된 원거리 참조 이미지와 근거리 기준 이미지를 정렬하는 예시도이다.
도 12는 일 예시적 실시예에 따라 도시된 정렬된 원거리 참조 이미지와 근거리 기준 이미지를 고스트(ghost) 제거 동작을 진행한 후 이미지의 예시도이다.
도 13은 일 예시적 실시예에 따라 도시된 10 개 프레임의 정렬된 원거리 촬영 이미지의 예시도이다.
도 14는 일 예시적 실시예에 따라 도시된 이미지 처리 모델의 훈련 장치의 블록도이다.
도 15는 일 예시적 실시예에 따라 도시된 장치의 블록도이다.
도 16은 일 예시적 실시예에 따라 도시된 장치의 블록도이다.

아래에 예시적 실시예에 대해 자세히 설명하며, 그 예는 도면에 도시된다. 아래의 설명에서 도면을 참조할 때, 다른 표시가 없는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시형태는 본 발명과 일치한 모든 실시형태를 나타내는 것은 아니다. 이와 반대로, 이들은 다만 청구 범위에 자세히 설명된 바와 같이 본 발명의 일부 측면과 일치하는 장치 및 방법의 예일 뿐이다.

고품질 줌 기능은 소비자 카메라 시장에서 매우 중요하다. 광학 줌 카메라가 비싸고 부피가 크기때문에, 현재 주로 디지털 줌을 사용한다. 그러나, 현재 대부분 디지털 줌 방법은 단순히 카메라 센서에 의해 입력된 크롭 영역을 업 샘플링하는 것이므로, 이러한 방법은 모호한 출력을 생성할 수 있다.

현재 딥러닝이 점차적으로 성숙해짐에 따라, 컨볼루션 신경망에 기반한 디지털 줌 기술도 점점 더 대중화되고 있지만, 대부분의 컨볼루션 신경망 기반의 디지털 줌 방법은 훈련 세트를 형성할 때 합성된 낮은 해상도를 갖는 RGB(Red Green Blue) 이미지(일반적으로 높은 해상도를 갖는 이미지로부터 다운 샘플링함)를 입력으로서 사용하고, 이러한 다운 샘플링을 통한 퇴화의 시뮬레이션은 진실된 이미지 퇴화 상황을 반영할 수 없다. 또한, 대부분 디지털 줌 방법은 노이즈 제거 능력을 구비하지 않으며, 다운 샘플링을 통해 입력 이미지를 형성하는 것은, 간접적으로 입력에서의 노이즈 레벨을 낮추므로, 최종 훈련된 네트워크가 좋은 노이즈 제거 능력을 갖지 못하게 된다.

본 발명은 이미지 처리 모델의 훈련 방법을 제안함으로써, 이미지 디지털 줌 및 노이즈 제거를 동시에 진행할 수 있고, 획득된 줌 후의 이미지는 줌 전과 비교하여 이미지가 더욱 선명해질뿐만 아니라, 세부 사항도 더욱 풍부해지고, 노이즈도 크게 감소된다.

상기 방법은 디지털 카메라 또는 디지털 카메라가 구성되어 있는 스마트 단말에 적용될 수 있다.

도 1은 일 예시적 실시예에 따라 도시된 이미지 처리 모델의 훈련 방법의 흐름도이고, 도 1에 도시된 바와 같이, 상기 방법은 단말에 적용되고, 아래와 같은 단계를 포함한다.

단계 101에 있어서, N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하고, N 및 M은 모두 1보다 큰 자연수이다.

단계 102에 있어서, 각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득한다.

단계 103에 있어서, 각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬한다.

단계 104에 있어서, 각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성한다.

단계 105에 있어서, 상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시킨다.

단계 101은 원거리 촬영 이미지를 수집하는 단계이고, 여기서 M 개 프레임의 이미지는 카메라가 동일한 위치에 고정되어 동일한 훈련 시나리오에서 수집한 이미지이다. 예컨대, 시나리오 타겟을 고정하고, 카메라를 트리포드에 고정시키며, 트리포드를 타겟과 4m 거리에 고정시켜 연속 10 장의 이미지를 촬영하는 과정을 통해 원거리 촬영 이미지의 수집을 진행할 수 있다. 도 2는 원거리 촬영 이미지의 예시도이다. 상기 촬영과 동일한 형태를 사용하여, N 개의 훈련 시나리오를 촬영하고, 여기서 각 훈련 시나리오는 M 개 프레임의 원거리 촬영 이미지를 촬영한다.

구체적인 실시형태에 있어서, N 및 M은 원하는 훈련 효과에 따라 설정될 수 있고, 일반적으로 상기 예와 같이 N은 500, 1000 등으로 설정될 수 있으며, M은 10, 20 등으로 설정될 수 있다. M 및 N은 1보다 큰 자연수를 취하고, 즉 복수 개의 훈련 시나리오 및 각 훈련 시나리오의 다중 프레임의 원거리 촬영 이미지가 수집된다. 현재, 기존 기술에서 디지털 줌은 모두 단일 프레임의 이미지에 기반하여 진행되지만, 단일 프레임의 이미지 정보는 제한적이므로, 한 장의 이미지로는 한 장의 더욱 풍부한 세부 사항을 갖는 이미지를 얻기 어렵다. 따라서 본 방법에서는 다중 프레임의 이미지를 사용하여 디지털 줌을 진행하고, 즉 다중 프레임의 이미지 사이의 상보적 정보를 이용하여, 더욱 높은 해상도를 갖는 네트워크에서 정보 융합을 진행함으로써, 더욱 많은 세부 사항 및 더욱 높은 해상도를 갖는 이미지를 얻는다.

단계 102에서 훈련 시나리오의 근거리 기준 이미지는 훈련 시나리오와 비교적 가까운 곳에서의 저노이즈 이미지를 가리킨다.

단계 103에서 각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 저노이즈 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리의 저노이즈 이미지로 크롭된 원거리 촬영 이미지를 정렬한다.

설명해야 할 것은, 근거리 기준 이미지의 근거리 촬영 이미지와 원거리 촬영 이미지를 획득하는 것은 훈련 시나리오와 상이한 거리에서의 상이한 위치에서 촬영된 것이기 때문에, 원거리 촬영된 이미지의 시야는 근거리 촬영으로 얻은 이미지의 시야보다 크므로, 정렬 동작을 진행할 경우, 근거리 기준 이미지와 원거리 촬영 이미지가 동일한 시야를 갖도록 이미지를 픽처 크롭해야 하며, 다음 이미지에서의 특징에 기반하여 단일 매핑 정렬을 진행하고, 최종적으로 고스트 제거 동작 진행할 수도 있다. 여기서 동일한 시야는 상이한 시야 각에서의 동일한 시나리오를 가리킨다.

본 방법에 있어서, 근거리 이미지로 원거리 이미지를 정렬하고, 정렬된 원거리 이미지를 이미지 처리 모델에 입력하여 진행하는 훈련은 원거리 이미지 및 근거리 이미지의 기초에서 구축된 것이다. 이러한 원근 촬영 방법으로 얻은 두 가지의 이미지는 상이한 시야를 나타내고, 이러한 시야의 퇴화가 바로 진실된 이미지 퇴화에 제일 근접한 것이며, 딥러닝 네트워크를 통해 이러한 상이한 시야에 기반한 퇴화를 러닝함으로써, 네트워크로 하여금 원거리 촬영된 이미지에 대해 디지털 줌을 진행하도록 하여, 고화질 이미지를 얻는다. 현재의 딥러닝 네트워크 기반의 디지털 줌은 퇴화를 시뮬레이션하는 방법으로 데이터 세트를 형성하고, 이러한 비진실적인 시뮬레이션 방법으로 형성된 데이터 세트는 진실된 시나리오에서의 퇴화 문제를 해결할 수 없다.

단계 104는 훈련 샘플 세트를 조성하는 과정이다. 먼저 각 훈련 시나리오에서 얻은 데이터를 모두 훈련 샘플 쌍을 형성하고, 이러한 훈련 샘플 쌍으로 훈련 샘플 세트를 조성한다.

단계 105에 있어서, 상기 얻은 훈련 샘플 세트에 기반하여 이미지 처리 모델(예컨대, 딥러닝 네트워크)을 훈련시킨다.

선택 가능한 실시형태에 있어서, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계는,

선택 가능한 실시형태에 있어서, 상기 K 개 프레임의 근거리 촬영 이미지에 기반하여 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계는,

선택 가능한 실시형태에 있어서, 상기 원거리 촬영 이미지와 상기 근거리 촬영 이미지는 동일한 수평선 위에서 획득된 이미지이다.

상기 구체적인 실시형태는 훈련 시나리오의 근거리 기준 이미지를 획득하는 방법을 제공한다. 여기서 근거리 기준 이미지는 근거리 촬영을 통해 수집된 이미지가 처리되어 얻게 된 저노이즈 이미지를 가리킨다. 카메라에 의해 수집된 이미지에 있어서, 종종 일정량의 노이즈가 존재하고, 이러한 노이즈는 일반적으로 공간 도메인에서 서로 관련이 없으며, 가산성 노이즈이다. 즉, 카메라에 의해 수집된 이미지에 대해, 무노이즈 이미지 및 가산성 노이즈 이미지의 조합으로 나타낼 수 있고, 아래 식과 같이 나타낸다.

여기서 G(x,y)는 수집된 이미지이고, f(x,y)는 무노이즈 이미지이며, B(x,y)는 노이즈이다. 동일한 시나리오에서 촬영된 여러 장의 이미지로 말하면, B(x,y)는 일반적으로 무작위하고 서로 관련이 없으며, 평균치가 0인 가우시안 분포를 충족시키기 때문에, 동일한 시나리오의 여러 장의 이미지의 평균치에 대한 기대는 무노이즈 이미지이다. 따라서, 다중 프레임의 이미지를 통해 저노이즈의 이미지를 합성할 수 있다. 실험을 통해 10 개 프레임의 이미지를 사용하면 통상적으로 1 개의 저노이즈 이미지를 얻을 수 있는 것을 발견할 수 있다. 즉 K는 10보다 크거나 같은 자연수를 취할 수 있다.

예시적으로, 시나리오 타겟을 고정하고, 카메라를 트리포드에 고정시키며, 트리포드를 2m 거리에 고정시켜 연속 10 장의 타겟과 2m 거리일 경우의 이미지를 촬영한다. 여기서, 근거리 촬영할 때와 원거리 촬영할 때에 동일한 수평선 위에서 이미지를 수집하도록 보장함으로써, 후속 이미지 정렬의 동작에 유리하도록 한다. 도 3은 근거리 촬영 이미지의 예시도를 도시한다. 다음, 10 장의 이미지를 다중 프레임 융합 기술을 통해 한 장의 저노이즈 이미지를 얻는다. 일반적으로 사용되는 다중 프레임 융합 노이즈 제거 방법은 매우 많으며, 심지어 포토샵(Photo Shop, PS)의 방법을 사용하여 다중 프레임 융합 노이즈 제거 동작을 진행할 수 있다, 도 4 및 도 5는 근거리 촬영 이미지와 근거리 기준 이미지의 예시도를 각각 도시하고, 여기서 도 5에서의 근거리 기준 이미지는 여러 장의 도 4에 도시된 바와 같은 근거리 촬영 이미지가 다중 프레임 융합 기술을 통해 얻은 것이다.

본 방법에 있어서, 이미지 처리 모델에 입력된 이미지는 원거리 연속 촬영을 통해 얻은 다중 프레임의 아무 처리도 되지 않은 RGB 이미지이기 때문에, 매우 높은 칼라 노이즈을 갖고 있다. 정렬 동작을 진행할 때 이용되는 것은, 동일한 시나리오를 근거리로 연속 촬영하여 여러 장의 이미지를 얻은 후, 다중 프레임 융합을 통해 노이즈 제거하여 얻은 칼라 노이즈을 갖고 있지 않는 이미지이다. 이미지 처리 모델은 일반적으로 딥러닝 네트워크 모델을 사용하고, 딥러닝 네트워크 모델을 통해 이러한 노이즈에 기반한 퇴화를 러닝함으로써, 네트워크 모델로 하여금 원거리 촬영된 이미지에 대한 효과적인 노이즈 제거를 진행하도록 할 수 있다. 따라서 본 방법은 디지털 줌 및 노이즈 제거의 능력을 동시에 갖고 있다. 그러나 현재 대부분의 디지털 줌 알고리즘은 효과적인 노이즈 제거 능력, 특히 칼라 노이즈 제거 능력을 갖고 있지 않다.

선택 가능한 실시형태에 있어서, 상기 방법은,

여기서의 원거리 참조 이미지는 다중 프레임의 원거리 촬영 이미지에서 가장 선명한 이미지이다. 상기 원거리 참조 이미지는 원거리 촬영 이미지와 근거리 기준 이미지의 정렬에 사용될 수 있고, 이미지 처리 모델(예컨대, 딥러닝 네트워크 모델)에 입력될 때 계산 가중치가 향상되는 것을 통해 딥 러닝 네트워크의 훈련 효과를 강화시킨다.

예컨대, 딥러닝 네트워크 모델은 10 개 프레임의 정렬된 원거리 촬영 이미지를 동시에 입력하고, 이 이미지의 길이와 너비는 각각 w 및 h이다. 상기 10 개 프레임의 원거리 촬영 이미지에서의 첫 번째 프레임은 원거리 참조 이미지이고, 각 프레임은 3 층의 컨볼루션을 거쳐 다운 샘플을 진행하여 3 개의 상이한 사이즈를 갖는 특징맵을 얻으며, 각각 w*h*c，w/2 * h/2 * 4c,w/4 * h/4 * 8c이며, 여기서 c는 채널 수이고, 여기서 8을 취할 수 있다. 다음 특징 채널 연결을 통해 1 개의 복수 개의 채널 수를 갖는 특징 블록(w/4 * h/4 * 8*10c)을 얻고; 다음 복수 개의 잔여 블록을 거쳐, 디컨볼루션을 통해 업 샘플링을 진행한다. 또한, 각 프레임에 대응되는 특징은 모두 대응되는 크기의 특징에 다중 프레임 연결된다. 이로써 최종적으로 출력이 w*h*3인 저 노이즈을 갖는 고화질 이미지를 얻는다.

선택 가능한 실시형태에 있어서, 상기 M 개 프레임의 원거리 촬영 이미지에서 1 개 프레임의 원거리 참조 이미지를 선택하는 단계는,

라플라스 연산자를 통해 이미지의 기울기값을 얻을 수 있고, 기울기값을 계산하는 구체적인 방법은 기존 기술에서의 방법을 사용할 수 있으며, 여기서 더이상 반복적으로 설명하지 않는다. 도 6은 1 개 프레임의 원거리 촬영 이미지 및 그의 기울기 바이너리 이미지의 대비 예시도를 도시하고, 여기서 좌측은 크롭되어 얻은 원거리 촬영 이미지의 일부이고, 우측은 이에 대응되는 기울기 바이너리 이미지이다.

선택 가능한 실시형태에 있어서, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계는,

원거리 촬영 이미지는 일반적으로 트리포드로 고정되어 촬영된 것이기 때문에, 원거리 촬영 이미지가 정렬되지 않은 메인 요소는 시나리오 내에 이동 타겟, 예컨대 흩날리는 나뭇잎 등이 존재하기 때문이다. 원거리 촬영 이미지로부터 가장 선명한 이미지를 원거리 참조 이미지로서 선택한 기초상에서, 먼저 원거리 참조 이미지를 근거리 기준 이미지에 맞게 정렬하고, 다음 원거리 촬영 이미지를 원거리 참조 이미지에 맞게 정렬한다. 즉, 먼저 다른 원거리 촬영 이미지를 모두 원거리 참조 이미지와 동일한 시야를 갖도록 크롭하고, 다음 고스트 제거 기술로 정렬되지 않은 일부 블록을 소거함으로써, 정렬된 원거리 촬영 이미지를 얻는다.

원거리 참조 이미지로 원거리 촬영 이미지를 정렬하면, 더욱 나은 정렬 효과를 얻을 수 있다.

선택 가능한 실시형태에 잇어서, 상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계는,

예시적으로, 원거리 참조 이미지를 원거리 촬영 이미지에서의 첫 번째 프레임으로서 이미지 처리 모델(예컨대 딥러닝 네트워크 모델)에 입력할 수 있다. 원거리 참조 이미지가 원거리 촬영 이미지에서 가장 선명한 이미지이기 때문에, 원거리 참조 이미지에 대한 계산 가중치를 비교적 크게 설정하는 것을 통해, 딥러닝 네트워크 모델에 대한 훈련을 강화시킬 수 있음으로써, 딥러닝 네트워크 모델의 출력 이미지가 더욱 선명하도록 한다.

딥러닝 네트워크 모델에 대한 훈련을 완료한 후, 다중 프레임의 원거리 촬영 이미지를 상기 딥러닝 네트워크 모델에 입력하여, 딥러닝 네트워크 모델에 의해 원거리 촬영 이미지의 부분적인 고화질 이미지가 출력될 수 있다. 도 7은 상기 딥러닝 네트워크 모델이 이미지를 처리하는 효과의 예시도이다. 좌측 상단은 원거리 촬영 이미지이고, 우측 상단은 원거리 촬영 이미지에서의 부분적인 이미지이며, 상기 부분 이미지는 비교적 흐릿한 것을 볼 수 있을 것이며, 좌측 하단은 훈련된 딥러닝 네트워크 모델을 거쳐 처리된 부분적인 이미지이며, 상기 부분적인 이미지는 비교적 선명한 것을 볼 수 있을 것이다.

선택 가능한 실시형태에 있어서, 상기 이미지 처리 모델은 다중 프레임 초해상도 네트워크 모델이다.

도 8은 본 발명에 따른 이미지 처리 모델 훈련 방법의 예시적 실시예이다. 여기서, 이미지 처리 모델은 다중 프레임 초해상도 네트워크 모델이다. 도 8에 도시된 바와 같이, 상기 실시예는 아래와 같은 단계를 포함한다.

단계 801에 있어서, 트리포드를 촬영되는 훈련 시나리오로부터 4m 거리에 고정시키고, 카메라를 트리포드에 고정시키며, 10 개 프레임의 원거리 이미지를 연속 촬영한다.

단계 802에 있어서, 트리포드를 촬영되는 훈련 시나리오로부터 2m 거리한 곳으로 이동하여 고정시키고, 카메라를 트리포드에 고정시키며, 10 개 프레임의 근거리 이미지를 연속 촬영한다.

단계 803에 있어서, 상기 단계 801 및 802를 중복하여, 총 500 개의 훈련 시나리오의 원거리 촬영 이미지 및 근거리 이미지 각 10 개의 프레임을 획득한다.

단계 804에 있어서, 각 시나리오에 대해, 10 개 프레임의 원거리 촬영 이미지로부터 가장 선명한 1 개 프레임을 원거리 참조 이미지로서 선택한다.

단계 805에 있어서, 각 시나리오에 대해, 다중 프레임 융합 방식을 이용하여, 10 개 프레임의 근거리 촬영 이미지에 기반하여 저노이즈의 근거리 기준 이미지를 획득한다.

단계 806에 있어서, 각 시나리오에 대해, 원거리 참조 이미지를 근거리 기준 이미지에 맞게 정렬함으로서, 도 9에 도시된 바와 같이 근거리 기준 이미지를 픽처 크롭하는 단계; 도 10에 도시된 바와 같이 원거리 참조 이미지에 대해 픽처 크롭을 진행하여 크롭된 근거리 기준 이미지와 동일한 시야를 갖도록 하는 단계; 도 11에 도시된 바와 같이 크롭된 원거리 참조 이미지를 근거리 기준 이미지에 맞게 정렬하는 단계; 정렬된 원거리 참조 이미지와 근거리 기준 이미지에 대해 고스트 제거 동작을 진행하는 단계를 예시적으로 포함하고, 처리된 이미지는 도 12에 도시된 바와 같다.

단계 807에 있어서, 각 시나리오에 대해, 남은 9 개 프레임의 원거리 촬영 이미지를 정렬 처리된 원거리 참조 이미지에 맞게 정렬하고, 예시적인 정렬 동작은 단계 806에서의 동작을 참조할 수 있으며, 얻은 10 개 프레임의 정렬된 원거리 촬영 이미지는 도 13에 도시된 바와 같다.

단계 808에 있어서, 각 훈련 시나리오의 정렬된 원거리 촬영 이미지 및 근거리 기준 이미지에 의해 훈련 샘플 쌍이 형성되고, 500 개의 훈련 샘플 쌍으로 훈련 샘플 세트가 조성되며, 훈련 샘플 세트로 다중 프레임 초해상도 네트워크 모델을 훈련시킨다.

본 발명은 또한 이미지 처리 방법을 제공하고, 상기 방법은,

상기 M 개 프레임의 원거리 촬영 이미지는 본 발명에서 제공하는 이미지 처리 모델 훈련 방법에 따라 훈련되어 얻은 이미지 처리 모델에 입력되어, 상기 타겟 대상의 강화된 이미지를 얻는다.

예시적으로, 예컨대, 타겟 대상의 10 개 프레임의 원거리 촬영 이미지를 수집하고, 상기 10 개 프레임의 원거리 촬영 이미지에서 가장 선명한 1 개 프레임(예컨대, 이미지 기반의 기울기값)을 원거리 참조 이미지로서 선택한다. 다른 9 개 프레임의 원거리 촬영 이미지를 원거리 참조 이미지에 맞게 정렬한 후, 정렬된 10 개 프레임의 원거리 촬영 이미지를 훈련된 이미지 처리 모델에 입력하며, 상기 모델의 처리를 거쳐, 타겟 대상의 선명한 이미지를 얻을 수 있다.

본 발명은 또한 이미지 처리 모델의 훈련 장치를 제공하고, 도 14에 도시된 바와 같으며, 상기 장치는,

N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하도록 구성된 원거리 이미지 획득 모듈(1401) - N 및 M은 모두 1보다 큰 자연수임 - ;

각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하도록 구성된 근거리 이미지 획득 모듈(1402);

각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하도록 구성된 이미지 정렬 모듈(1403);

각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하도록 구성된 샘플 세트 조성 모듈(1404); 및

상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키도록 구성된 훈련 모듈(1405)을 포함한다.

상기 실시예에서의 장치에 관련하여, 여기서의 각 모듈이 동작을 실행하는 구체적인 형태는 상기 방법에 관련된 실시예에서 자세히 설명되었으므로, 여기서 더이상 반복적으로 설명하지 않는다.

근거리 촬영 이미지로 얻은 근거리 기준 이미지를 크롭하고 원거리 촬영 이미지를 정렬하며, 다중 프레임의 정렬된 원거리 촬영 이미지를 입력으로서, 근거리 기준 이미지를 출력으로서, 이미지 처리 모델을 훈련시킨다. 상기 방법의 훈련된 이미지 처리 모델을 사용하여 원거리 촬영 이미지를 처리할 경우, 디지털 줌 효과를 효과적으로 향상시키는 동시에, 노이즈 제거의 목적도 구현한다. 상기 발명 실시예에서의 방법을 사용하면, 사용자가 먼 곳의 문자 또는 다른 물체를 촬영할 경우, 사용자가 더욱 선명하게 보이도록 한다.

도 15는 일 예시적 실시예에 따라 도시된 이미지 처리 모델의 훈련 장치(1500)의 블록도이다. 예컨대, 장치(1500)는 휴대폰, 컴퓨터, 디지털 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말기 등일 수 있다.

도 15를 참조하면, 장치(1500)는 처리 컴포넌트(1502), 메모리(1504), 전원 컴포넌트(1506), 멀티미디어 컴포넌트(1508), 오디오 컴포넌트(1510), 입력/출력(I/O) 인터페이스(1512), 센서 컴포넌트(1514) 및 통신 컴포넌트(1516) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(1502)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(1500)의 전체적인 동작을 제어한다. 처리 컴포넌트(1502)는, 상기 방법의 전부 또는 일부 단계를 완성하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(1520)를 포함할 수 있다. 또한, 처리 컴포넌트(1502)는 처리 컴포넌트(1502) 및 다른 컴포넌트 사이의 상호작용을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예컨대, 처리 컴포넌트(1502)는 멀티미디어 컴포넌트(1508) 및 처리 컴포넌트(1502) 사이의 상호작용을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(1504)는 장치(1500)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 장치(1500)에서 동작되는 임의의 애플리케이션 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(1504)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(1506)는 장치(1500)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(1506)는 전력 관리 시스템, 1 개 또는 복수 개의 전원 및 장치(1500)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(1508)는 상기 장치(1500) 및 사용자 사이에 1 개의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 및 터치 패널(Touch Pannel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터 오는 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(1508)는 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 장치(1500)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 1 개의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(1510)는 오디오 신호를 출력 및 입력 중 적어도 하나를 하도록 구성된다. 예컨대, 오디오 컴포넌트(1510)는 1 개의 마이크로폰(MICrophone, MIC)을 포함하며, 장치(1500)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(1504)에 추가로 저장되거나 통신 컴포넌트(1516)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(1510)는 오디오 신호를 출력하기 위한 1 개의 스피커를 더 포함한다.

I/O 인터페이스(1512)는 처리 컴포넌트(1502)와 외부 인터페이스 모듈 사이에 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼에는 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼이 포함되지만 이에 한정되지 않는다.

센서 컴포넌트(1514)는 장치(1500)를 위해 다양한 방면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예컨대, 센서 컴포넌트(1514)는 기기(1500)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예컨대, 상기 컴포넌트는 장치(1500)의 모니터와 키패드이며, 센서 컴포넌트(1514)는 장치(1500) 또는 장치(1500)에서 1 개의 컴포넌트의 위치 변화, 사용자와 장치(1500) 접촉의 존재 유무, 장치(1500) 방향 또는 가속/감속 및 장치(1500)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(1514)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(1514)는 이미징 애플리케이션에 사용하기 위한 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 이미지 센서 또는 전하 결합 소자(Charged Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(1514)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(1516)는 장치(1500)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 장치(1500)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(1516)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(1516)는 근거리 통신을 촉진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예컨대, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역 (Ultra Wideband, UWB) 기술, 블루투스 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에 있어서, 장치(1500)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processor Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 장치(800)는 상기 방법을 실행하기 위한 것이다.

예시적 실시예에 있어서, 명령어를 포함하는 예컨대 메모리(1504)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 명령어는 상기 방법을 구현하도록 장치(1500)의 프로세서(1520)에 의해 실행된다. 예컨대, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 롬(Read Only Memory, ROM), 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.

비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 저장 매체에서의 명령어가 휴대용 단말기의 프로세서에 의해 실행될 경우, 휴대용 단말기로 하여금 이미지 처리 모델의 훈련 방법을 실행하도록 하고, 상기 방법은, N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하는 단계 - N 및 M은 모두 1보다 큰 자연수임 - ; 각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계; 각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계; 각 훈련 시나리오에서의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하는 단계; 및 상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계를 포함한다.

도 16은 일 예시적 실시예에 따라 도시된 이미지 처리를 위한 딥러닝 네트워크 훈련 장치(1600)의 블록도이다. 예컨대, 장치(1600)는 1 개의 서버로 제공될 수 있다. 도 16을 참조하면, 장치(1600)는 처리 컴포넌트(1622)를 포함하고, 더 나아가 1 개 또는 복수 개의 프로세서 및 메모리(1632)로 대표되는 메모리 자원을 포함하고, 처리 컴포넌트(1622) 예컨대 애플리케이션에 의해 실행될 수 있는 명령어가 저장된다. 메모리(1632)에 저장된 애플리케이션은 1 개 또는 1 개 이상의 각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1622)는 명령어를 실행하도록 구성되어, N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하는 단계 - N 및 M은 모두 1보다 큰 자연수임 - ; 각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계; 각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계; 각 훈련 시나리오에서의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하는 단계; 및 상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계를 실행한다.

장치(1600)는 장치(1600)의 전원 관리를 실행하도록 구성된 1 개의 전원 컴포넌트(1626), 장치(1600)를 네트워크에 연결하도록 구성된 1 개의 유선 또는 무선 네트워크 인터페이스(1650) 및 1 개의 입력/출력(I/O) 인터페이스(1658)를 더 포함할 수 있다. 장치(1600)는 메모리(1632)에 저장된 것에 기반한 운영 시스템을 동작할 수 있고, 예컨대 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것 등이다.

본 기술분야의 기술자는 명세서를 고려하고 본문에 개시된 발명을 실천한 후, 본 발명의 다른 실시방안을 용이하게 생각해낼 수 있을 것이다. 본 출원은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리에 따르며, 본 발명에서 개시되지 않은 본 기술분야의 공지된 상식이나 통상적인 기술수단을 포함한다. 명세서 및 실시예는 다만 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 사상은 아래의 청구범위에 의해 지적된다.

이해해야 할 것은, 본 발명은 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims

이미지 처리 모델의 훈련 방법으로서,
상기 방법은,
N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하는 단계 - N 및 M은 모두 1보다 큰 자연수임 - ;
각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계;
각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계;
각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하는 단계; 및
상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계를 포함하는 것을 특징으로 하는 훈련 방법.
제1항에 있어서,
상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계는,
상기 훈련 시나리오의 K 개 프레임의 근거리 촬영 이미지를 획득하는 단계 - K는 1보다 크거나 같은 자연수임 - ; 및
상기 K 개 프레임의 근거리 촬영 이미지에 기반하여, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 훈련 방법.
제2항에 있어서,
상기 K 개 프레임의 근거리 촬영 이미지에 기반하여 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계는,
상기 K 개 프레임의 근거리 촬영 이미지에 기반하여, 다중 프레임 융합 방식을 통해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 훈련 방법.
제2항에 있어서,
상기 원거리 촬영 이미지와 상기 근거리 촬영 이미지는 동일한 수평선 위에서 획득된 이미지인 것임을 특징으로 하는 훈련 방법.
제1항에 있어서,
상기 방법은,
상기 M 개 프레임의 원거리 촬영 이미지에서 1 개 프레임의 원거리 참조 이미지를 선택하는 단계를 더 포함하는 것을 특징으로 하는 훈련 방법.
제5항에 있어서,
상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계는,
상기 근거리 기준 이미지에 기반하여 상기 원거리 참조 이미지를 정렬하는 단계; 및
상기 원거리 참조 이미지에 기반하여 상기 M 개 프레임의 원거리 촬영 이미지에서의 다른 이미지를 정렬하는 단계를 포함하는 것을 특징으로 하는 훈련 방법.
제5항에 있어서,
상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계는,
상기 이미지 처리 모델에서, 상기 원거리 참조 이미지의 계산 가중치를 상기 M 개 프레임의 원거리 촬영 이미지에서의 다른 이미지의 계산 가중치보다 크도록 설정하는 단계를 포함하는 것을 특징으로 하는 훈련 방법.
제5항에 있어서,
상기 M 개 프레임의 원거리 촬영 이미지에서 1 개 프레임의 원거리 참조 이미지를 선택하는 단계는,
각 프레임의 원거리 촬영 이미지의 기울기값을 획득하는 단계; 및
최대 기울기값을 갖는 원거리 촬영 이미지를 상기 원거리 참조 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 훈련 방법.
제1항에 있어서,
상기 이미지 처리 모델은 다중 프레임 초해상도 네트워크 모델인 것임을 특징으로 하는 훈련 방법.
이미지 처리 방법으로서,
상기 방법은,
타겟 대상에 대해, M 개 프레임의 원거리 촬영 이미지를 획득하는 단계 - M은 1보다 큰 자연수임 - ; 및
상기 M 개 프레임의 원거리 촬영 이미지를 제1항 내지 제9항 중 어느 한 항에 따른 방법의 훈련된 이미지 처리 모델에 입력하여, 상기 타겟 대상의 강화된 이미지를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 모델의 훈련 장치로서,
상기 장치는,
N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하도록 구성된 원거리 이미지 획득 모듈 - N 및 M은 모두 1보다 큰 자연수임 - ;
각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하도록 구성된 근거리 이미지 획득 모듈;
각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하도록 구성된 이미지 정렬 모듈;
각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하도록 구성된 샘플 세트 조성 모듈; 및
상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키도록 구성된 훈련 모듈을 포함하는 것을 특징으로 하는 훈련 장치.
이미지 처리를 위한 딥러닝 네트워크 훈련 장치로서,
프로세서; 및
프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;
상기 프로세서는,
N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하고 - N 및 M은 모두 1보다 큰 자연수임 - ;
각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하며;
각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하며;
각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하며; 및
상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키도록 구성된 것임을 특징으로 하는 이미지 처리를 위한 딥러닝 네트워크 훈련 장치.
비 일시적 컴퓨터 판독 가능 저장 매체로서,
상기 저장 매체에서의 명령어가 휴대용 단말기의 프로세서에 의해 실행될 경우, 휴대용 단말기로 하여금 이미지 처리를 위한 딥러닝 네트워크 훈련 방법을 실행하도록 하고, 상기 방법은,
N 개의 훈련 시나리오에서의 각 훈련 시나리오에 대해, M 개 프레임의 원거리 촬영 이미지를 각각 획득하는 단계 - N 및 M은 모두 1보다 큰 자연수임 - ;
각 훈련 시나리오에 대해, 상기 훈련 시나리오의 근거리 기준 이미지를 획득하는 단계;
각 훈련 시나리오에 대해, 상기 M 개 프레임의 원거리 촬영 이미지를 상기 근거리 기준 이미지와 동일한 시야를 갖도록 크롭하고, 상기 근거리 기준 이미지에 기반하여 크롭된 상기 M 개 프레임의 원거리 촬영 이미지를 정렬하는 단계;
각 훈련 시나리오의 정렬된 상기 M 개 프레임의 원거리 촬영 이미지 및 상기 근거리 기준 이미지를 통해 상기 훈련 시나리오의 훈련 샘플 쌍을 형성하고, 상기 N 개의 훈련 시나리오에 각각 대응되는 N 개의 훈련 샘플 쌍으로 훈련 샘플 세트를 조성하는 단계; 및
상기 훈련 샘플 세트에 기반하여, 상기 이미지 처리 모델을 훈련시키는 단계를 포함하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.