KR102425159B1 - 샘플 이미지 세트 획득 방법 및 장치 - Google Patents

Abstract

본 발명은 샘플 이미지 세트 획득 방법 및 장치를 제공한다. 상기 샘플 이미지 세트 획득 방법은 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하는 단계; 상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하는 단계; 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하는 단계; 상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하는 단계; 및 신형의 샘플 이미지 세트를 획득하는 단계 - 상기 샘플 이미지 세트는, 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 를 포함한다.

Description

샘플 이미지 세트 획득 방법 및 장치{METHOD AND APPARATUS FOR OBTAINING SAMPLE IMAGE SET}

관련 출원의 상호 참조

본 출원은 출원 번호가 CN202010130503.6이고, 출원일이 2020년 02월 28일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 컴퓨터 통신 기술분야에 관한 것으로, 특히 샘플 이미지 세트 획득 방법 및 장치에 관한 것이다.

디지털 이미지 처리 및 컴퓨터 비전 분야에서, 디지털 이미지는 가장 기본적인 정보원이며, 이미징 기기에 의해 디지털 이미지를 획득하고 전송하는 과정에서, 이미징 기기 또는 외부 환경의 간섭으로 인해 이미지 노이즈가 발생되므로, 디지털 이미지의 이미지 품질이 저하된다.

고품질의 디지털 이미지를 획득하기 위해, 디지털 이미지에 대해 노이즈 제거 처리를 수행해야 한다. 그러나 기존의 이미지 노이즈 제거 기술은 노이즈 제거 효과가 미약하고, 노이즈가 제거된 이미지는 고스트 및 텍스처 디테일의 해석 오류 등 문제가 발생하기 쉽다.

관련 기술의 문제점을 극복하기 위해, 본 발명은 샘플 이미지 세트 획득 방법 및 장치를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 샘플 이미지 세트 획득 방법이 제공되며, 상기 샘플 이미지 세트 획득 방법은,

하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하는 단계;

상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하는 단계;

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하는 단계;

상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하는 단계; 및

샘플 이미지 세트를 획득하는 단계 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 를 포함한다.

선택적으로, 상기 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 단계는,

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하는 단계 - 상기 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함함 - ; 및

역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 단계를 포함한다.

선택적으로, 상기 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하는 단계는,

상기 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 상기 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻는 단계;

상기 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 상기 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 상기 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻는 단계; 및

상기 제2 참조 이미지 및 상기 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행하는 단계를 포함한다.

선택적으로, 상기 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시키는 단계는,

상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하는 단계; 및

상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬시키는 단계를 포함한다.

선택적으로, 상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고; 상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하는 단계는,

상기 노이즈가 추가된 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 비참조 이미지를 획득하고, 상기 노이즈가 추가된 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 참조 이미지를 획득하는 단계 - 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함함 - ;

상기 제3 비참조 이미지에서의 각 픽셀 포인트 이미지가 제3 참조 이미지에서의 동일한 이미지에 대한 오프셋 벡터를 결정하는 단계; 및

모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성하는 단계를 포함한다.

선택적으로, 상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬시키는 단계는,

상기 노이즈가 추가된 비참조 이미지를 R 채널 이미지, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할하는 단계; 및

상기 광 흐름도에 따라 각 채널 이미지에서의 픽셀 포인트 이미지를 이동시키고, 이미지가 이동된 4 개의 채널 이미지를 합성하는 단계를 포함한다.

선택적으로, 상기 샘플 이미지 세트를 획득하는 단계는,

상기 광 흐름도를 포함한 상기 샘플 이미지 세트를 획득하는 단계를 포함한다.

본 발명의 실시예의 제2 측면에 따르면, 샘플 이미지 세트 획득 장치로서, 상기 샘플 이미지 세트 획득 장치는,

하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하도록 구성된 제1 획득 모듈;

상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하도록 구성된 결정 모듈;

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하도록 구성된 노이즈 추가 모듈;

획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시켜, 정렬된 비참조 이미지를 획득하도록 구성된 정렬 모듈;

상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하도록 구성된 주석 모듈; 및

샘플 이미지 세트를 획득하도록 구성된 제2 획득 모듈 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 을 포함한다.

선택적으로, 상기 노이즈 추가 모듈은,

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하도록 구성된 역 처리 서브 모듈 - 상기 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함함 - ; 및

역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하도록 구성된 노이즈 추가 서브 모듈을 포함한다.

선택적으로, 상기 역 처리 서브 모듈은,

상기 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 상기 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻도록 구성된 제1 역 처리 유닛;

상기 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 상기 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 상기 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻도록 구성된 제2 역 처리 유닛; 및

상기 제2 참조 이미지 및 상기 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행하도록 구성된 제3 역 처리 유닛을 포함한다.

선택적으로, 상기 정렬 모듈은,

상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하도록 구성된 서브 결정 모듈; 및

상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬하도록 구성된 서브 정렬 모듈을 포함한다.

선택적으로, 상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고; 상기 서브 결정 모듈은,

상기 노이즈가 추가된 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 비참조 이미지를 획득하고, 상기 노이즈가 추가된 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 참조 이미지를 획득하도록 구성된 획득 유닛 - 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함함 - ;

상기 제3 비참조 이미지에서의 각 픽셀 포인트 이미지가 제3 참조 이미지에서의 동일한 이미지에 대한 오프셋 벡터를 결정하도록 구성된 결정 유닛; 및

모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성하도록 구성된 생성 유닛을 포함한다.

선택적으로, 상기 서브 정렬 모듈은,

상기 노이즈가 추가된 비참조 이미지를 R 채널 이미지, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할하도록 구성된 분할 유닛;

상기 광 흐름도에 따라 각 채널 이미지에서의 픽셀 포인트 이미지를 이동시키도록 구성된 이동 유닛; 및

이미지가 이동된 4 개의 채널 이미지에 대해 합성을 수행하도록 구성된 병합 유닛을 포함한다.

선택적으로, 상기 제2 획득 모듈은, 상기 광 흐름도를 포함한 상기 샘플 이미지 세트를 획득하도록 구성된다.

본 발명의 실시예의 제3 측면에 따르면, 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 프로그램이 프로세서에 의해 실행될 때 상기 제1 측면의 방법 중 어느 한 항에 따른 단계가 구현된다.

본 발명의 실시예의 제4 측면에 따르면, 샘플 이미지 세트 획득 기기를 제공하며,

프로세서; 및

프로세서에 의해 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;

여기서, 상기 프로세서는,

하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하고;

상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하며;

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하며;

상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하며; 및

샘플 이미지 세트를 획득하도록 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 구성된다.

본 발명의 실시예서 제공한 기술방안은 다음과 같은 유익한 효과를 포함할 수 있다.

본 발명의 실시예에서, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 이미지 노이즈 제거 모델의 샘플 이미지 세트의 데이터 소스로 사용하여, 신형의 샘플 이미지 세트를 얻고, 샘플 이미지 세트는 정렬된 비참조 이미지, 노이즈가 추가된 참조 이미지 및 노이즈가 추가되지 않은 참조 이미지를 포함한다.

이해해야 할 것은, 상기의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것이 아니다.

도 1은 일 예시적인 실시예에 따라 도시된 샘플 이미지 세트 획득 방법의 흐름도이다.
도 2는 일 예시적인 실시예에 따라 도시된 모자이크 변환 과정의 모식도이다.
도 3은 일 예시적인 실시예에 따라 도시된 훈련 이미지 노이즈 제거 모델의 방법의 흐름도이다.
도 4는 일 예시적인 실시예에 따라 도시된 이미지 노이즈 제거 모델의 구조 모식도이다.
도 5는 일 예시적인 실시예에 따라 도시된 레지듀얼 서브 모듈의 구조 모식도이다.
도 6은 일 예시적인 실시예에 따라 도시된 깊이 대 공간(Depth2space) 조작 과정의 모식도이다.
도 7은 일 예시적인 실시예에 따라 도시된 이미지 노이즈 제거 방법의 흐름도이다.
도 8은 일 예시적인 실시예에 따라 도시된 샘플 이미지 세트 획득 장치의 블록도이다.
도 9는 일 예시적인 실시예에 따라 도시된 샘플 이미지 세트를 획득하기 위한 장치의 구조 모식도이다.
도 10은 일 예시적인 실시예에 따라 도시된 다른 샘플 이미지 세트를 획득하기 위한 장치의 구조 모식도이다.

아래에서 예시적 실시예에 대해 상세히 설명할 것이며, 그 예는 도면에 도시되어 있다. 이하의 설명은 도면을 참조할 때, 다른 표시가 없는 한, 상이한 도면에서 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시형태는 본 발명과 일치하는 모든 실시형태를 나타내는 것은 아니다. 대신, 이들은 첨부된 청구범위에 기재된 본 발명의 일부 형태와 일치하는 장치 및 방법의 예일 뿐이다.

본 발명에서 사용된 용어는 다만 특정 실시예를 설명하기 위한 것으로, 본 발명을 한정하려는 것이 아니다. 본 발명 및 첨부된 청구범위에 사용된 단수 형태 “하나의”, “상기” 및 “해당”은 문맥상 명확하게 다른 의미를 나타내지 않는 한, 복수 형태도 포함하도록 의도된다. 또한 이해해야 할 것은, 본문에 사용된 용어 “및/또는”은 하나 또는 복수 개의 관련된 열거된 항목의 임의의 조합 또는 모든 가능한 조합을 포함한다는 것을 의미한다.

이해해야 할 것은, 비록 제 1, 제 2, 제 3 등의 용어가 본 발명에서 다양한 정보를 설명하기 위해 사용될 수 있지만, 이러한 정보는 이러한 용어에 의해 한정되지 않아야 한다. 이러한 용어는 한 타입의 정보를 다른 타입과 구별하기 위해서만 사용된다. 예를 들어, 본 발명의 범위를 벗어나지 않으면서, 제 1 정보는 제 2 정보로 지칭될 수 있고; 유사하게, 제 2 정보는 또한 제 1 정보로 지칭될 수 있다. 문맥에 따라, 본문에 사용되는 용어 "....면"은 상황에 따라 "....할 때" 또는 "....할 경우" 또는 "...에 응답하여" 또는 "결정에 응답하여"를 의미하는 것으로 이해될 수 있다.

본 발명의 실시예는 샘플 이미지 세트 획득 방법을 제공하며, 도 1은 일 예시적인 실시예에 따라 도시된 샘플 이미지 세트 획득 방법의 흐름도이며, 상기 샘플 이미지 세트 획득 방법은 다음의 단계들을 포함한다.

단계 101에서, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득한다.

하나의 비디오로부터 연속적인 프레임을 추출하는 방식을 통해, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득할 수 있다. 본 단계에서의 멀티 프레임 이미지는 모두 RGB 이미지일 수 있다.

예시적으로, 해상도가 1080p보다 크고 비트레이트가 1000kbps보다 큰 고화질 비디오 집합을 선택하여 장면 검출을 수행하며, 각 비디오

에 대해, 하나의 리스트

를 생성하며, 여기서, j는 완전한 장면 번호이고, n은 1보다 크거나 같은 양의 정수이며,

는 하나의 완전한 장면 j의 시작 타임 스탬프이고,

는 하나의 완전한 장면 j의 종료 타임 스탬프이다. 하나의 완전한 장면은 하나의 쇼트(shot) 촬영에 대응하며, 쇼트 전환이 발생하면, 완전한 장면은 변화가 발생하며, 예를 들어, 실내 촬영에서 실외 촬영으로 전환될 때, 쇼트 전환이 발생하고, 완전한 장면은 변화가 발생한다.

하나의 샘플링 장면이 C 프레임 이미지로 구성된 것으로 가정하면, 비디오

에 대해, 완전한 장면 번호를

로 설정하고, 샘플링 장면 번호를

，프레임 카운트를

로 설정한다.

고화질 비디오

가 순회되고, 하나의 프레임

가 순회될 때마다, 프레임 카운트

는 1씩 증가하며,

이면, 순회된 C 프레임 이미지가 모두 동일한 완전한 장면에 있는지 여부가 결정되며, 완전한 장면에 있으면, 순회된 C 프레임 이미지는 하나의 샘플링 장면에 대해 촬영된 멀티 프레임 RGB 이미지로 결정되고,

이미지로 표시되며,

이미지를 샘플링 장면 이미지 세트에 추가하고,

,

로 설정되며;

이면, 다음 프레임을 계속하여 순회하며, 프레임 카운트

는 1씩 증가하며, 즉

이다. 하기 방식을 통해 C 프레임 이미지가 모두 완전한 장면에 있는지 여부를 판단할 수 있다.

인접한 두 프레임 이미지가 수집되는 시간 간격은

로 설정되며,

의 계산 공식은,

이며, 여기서, ceil()는 상향 반올림 함수이고, randu()는 균일 분포를 만족하는 랜덤 계수이며,

는

의 프레임율이다.

연속적으로 순회된 C 프레임 이미지에서 제1 프레임 이미지의 수집 시간

이 결정되고, 연속적으로 순회된 C 프레임 이미지에서 제C 프레임 이미지의 수집 시간

가 계산되며,

이다.

및

이면, 연속적으로 순회된 C 프레임 이미지는 모두 완전한 장면

에 있는 것으로 결정된다.

이면, 다음 완전한 장면에 대해 촬영된 이미지의 순회가 시작된 것으로 결정하며,

로 설정된다.

본 실시예에서, 하나의 촬영 장면에 대해 연속적으로 촬영된 멀티 프레임 이미지를 획득하는 것은, 하나의 샘플링 장면에 대해 연속적으로 촬영된 멀티 프레임 이미지를 획득하는 것으로 이해될 수 있다. 본 실시예서 복수 개의 샘플링 장면에 대해 연속적으로 촬영된 멀티 프레임 이미지가 획득될 수 있고, 본 실시예에서 제공한 샘플 이미지 세트 획득 방법에 따라, 각 샘플링 장면에 대해 연속적으로 촬영된 멀티 프레임 이미지를 처리하여, 각 샘플링 장면에 대응하는 샘플 이미지 서브 세트를 얻으며, 복수 개의 샘플링 장면에 대응하는 샘플 이미지 서브 세트를 모음으로써, 샘플 이미지 세트를 얻는다.

단계 102에서, 멀티 프레임 이미지에서의 한 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정한다.

멀티 프레임 이미지로부터, 해상도가 가장 높은 이미지를 참조 이미지로 결정하여, 멀티 프레임 이미지에서 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정한다. 멀티 프레임 이미지가 모두 RGB 이미지일 때, 해상도가 가장 높은 RGB 이미지를 참조 이미지로 결정하여, 멀티 프레임 이미지에서 참조 이미지로 결정된 이미지를 제외한 나머지 RGB 이미지를 비참조 이미지로 결정한다.

하나의 실시예에서, 참조 이미지는 아래의 방식 즉,

로 결정되며, 여기서, b는 촬영 장면의 주석 번호이고,

은 촬영 장면 b에 대해 촬영한 멀티 프레임 이미지에서의 참조 이미지이며, B는 촬영 장면 b에 대해 연속적으로 촬영된 멀티 프레임 이미지의 주석 번호 집합이며, laplacian()는 라플라스 연산자이며,

는 촬영 장면 b에 대해 연속적으로 촬영된 멀티 프레임 이미지에서의 이미지이다. 가장 큰

에 대응하는

는,

로 결정된다.

단계 103에서, 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득한다.

참조 이미지 및 비참조 이미지가 모두 RGB 이미지일 때, 참조 이미지 및 비참조 이미지의 이미지 포맷을 RAW 포맷으로 전환한 후, RAW 포맷의 참조 이미지 및 비참조 이미지에 대해 노이즈 추가 처리 등 조작을 수행할 수 있다.

하나의 실시예에서, 참조 이미지에 대해 역 글로벌 톤맵핑 변환, 역 감마(gamma) 변환 및 역 컬러 공간 행렬 변환을 순차적으로 수행하여, 변환된 참조 이미지를 얻고, 비참조 이미지에 대해 역 글로벌 톤맵핑 변환, 역 감마 변환 및 역 컬러 공간 행렬 변환을 순차적으로 수행하여, 변환된 비참조 이미지를 얻는다. 그 후, 변환된 참조 이미지 및 변환된 비참조 이미지에 대해 이미지 포맷 전환의 조작이 수행된다.

예시적으로, 샘플링 장면

에서의 각 프레임 이미지

에 대해,

이며, 여기서,

는 비디오

의 해상도이며, 3은 컬러 채널의 개수이다. 글로벌 톤맵핑이 하나의 S 형 곡선이라고 가정하면, 각 프레임 이미지

에 대해 역 글로벌 톤맵핑 변환을 수행하여 이미지

를 얻으며,

이다. 각 프레임 이미지

는 모두 RGB 이미지이다.

각 프레임

에 대해 감마 변환을 수행하여, 표준 비선형 RGB 공간에서 표준 선형 RGB 공간으로의 이미지

를 얻으며, 여기서,

이다.

각 프레임

에 대해,

를 무작위로 선택된 컬러 공간 행렬의 역수를 곱셈하여, 표준 선형 RGB 공간에서 센서 RGB 공간으로 변환된 이미지

을 얻으며, 여기서,

이며, inv()는 행렬 반전 함수이고, CC()는 컬러 공간 행렬이며,

는 컬러 공간 전환 행렬 인덱스이며,

이다.

각 프레임

에 대해 모자이크 변환을 수행하여, 즉 이미지 포맷 전환을 수행하여, bayer 포맷의 raw 이미지

를 얻으며,

이며,

는 비디오

의 해상도이고, 1은 컬러 채널의 개수이다. 모자이크 변환 과정은 도 2를 참조할 수 있다. 모자이크 변환은 또한 Mosaic 변환으로도 지칭된다. bayer 포맷의 raw 이미지는 베이어(bayer) 필터 타입의 센서에 의해 생성된 원래 이미지 파일이다.

휴대폰과 같은 촬영 기능을 갖는 단말의 경우, 휴대폰의 모델(하드웨어 성능으로 이해될 수 있음)에 따라 한 세트의 컬러 공간 행렬이 확정되어, 샘플 이미지 세트를 구성할 때, 미리 구성된 한 세트의 컬러 공간 전환 행렬로부터, 무작위로 하나의 컬러 공간 전환 행렬을 선택하여 목표 공간 전환 행렬로 사용할 수 있다. 구성된 샘플 이미지 세트를 사용하여 이미지 노이즈 제거 모델을 훈련시키고, 훈련된 이미지 노이즈 제거 모델을 사용하여 동일한 타입의 모델의 휴대폰으로 촬영한 RAW 이미지를 처리할 수 있다.

하나의 실시예에서, 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 단계는 다음의 단계를 통해 구현된다. 제1 단계에 있어서, 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하며, 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함하며; 제2 단계에 있어서, 역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행한다.

전술한 제1 단계의 경우, 먼저, 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻으며; 다음, 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻으며; 마지막으로, 제2 참조 이미지 및 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행한다.

역 비네팅 변환을 수행함으로 인해, 비네팅이 이미지에 대한 영향이 제거된다.

휴대폰과 같은 촬영 기능을 갖는 단말의 경우, 휴대폰의 모델(하드웨어 성능으로 이해될 수 있음)에 따라 한 세트의 비네팅 이득 이미지가 확정되어, 샘플 이미지 세트를 구성할 때, 미리 구성된 한 세트의 비네팅 이득 이미지로부터, 무작위로 하나의 비네팅 이득 이미지를 선택하여 목표 비네팅 이득 이미지로 사용할 수 있다.

한 세트의 비네팅 이득 이미지는

이고, 비네팅 이득 이미지의 해상도는 13Х14Х4에서 1500Х2000Х4로 확대되며,

에서 각 픽셀의 좌표에 125를 곱셈하고, 이중 선형 보간법을 사용하여 각 비네팅 이득 이미지에 대해 차이값 처리를 수행한 후, Depth2space 조작을 통해 비네팅 이득 이미지의 해상도는 3000Х4000로 변화됨으로써, 한 세트의 비네팅 이득 이미지

를 확정한다. Depth2space는 공간에 대한 깊이(Depth to space)로도 지칭되며, Depth2space 처리는 깊이 데이터 블록을 공간 데이터 블록으로 재배열하기 위한 것이다.

예시적으로, 각 프레임

에 대해 역 화이트 밸런스 변환을 수행하며,

에서 모든 R 픽셀의 픽셀값을

로 나눌 수 있고,

에서 모든 파란색 채널의 픽셀값을

로 나누어, 역 화이트 밸런스 변환된 RAW 이미지

를 획득하며, 여기서,

는

에서 G 픽셀의 픽셀값이다.

여기서,

,

이고, randi()는 무작위로 균일하게 분포된 부동 소수점 수이다.

각 프레임

에 대해 역 비네팅 변환을 수행하여,

를 얻고,

이며, 여기서, slice()는 트리밍 함수이고;

는 비네팅 이득 이미지에 대해 램덤으로 트리밍된 시작 좌표이며,

이고,

는 비디오

의 너비이고;

는 비네팅 이득 이미지에 대해 무작위로 트리밍된 시작 좌표이며,

이고,

는 비디오

의 높이이며;

는 비네팅 이득 이미지에 대해 램덤으로 교란시키는 계수이며,

이며; randn()는 가우스 분포를 만족시키는 랜덤 변수의 함수이며;

는 비네팅 이득 이미지이며;

는 비네팅 제거 이득 이미지 인덱스이며,

이다.

는 비네팅 이득 이미지

에서 좌표

로부터

까지에 대해 트리밍하여 얻은 슬라이스 이미지이다.

각 프레임

에 대해 역 디지털 이득 변환을 수행하여,

을 얻고, 참조 이미지

를 지상 진실(ground-truth)로 사용한다.

는 디지털 이득 파라미터이고,

이며, randn()는 가우스 분포를 만족하는 랜덤 변수의 함수이다.

는 참조 이미지의 역 디지털 이득 변환을 거친 후 얻어진 이미지이며,

는 노이즈 추가 처리를 거치지 않았으므로,

는 노이즈가 추가되지 않은 참조 이미지로 지칭된다.

각 프레임

에 대해 무작위로 가우스 노이즈 및 포아송 노이즈가 추가되어, 노이즈가 추가된 이미지

를 얻는다.

은 노이즈가 추가된 비참조 이미지이고,

은 노이즈가 추가된 참조 이미지이다.

여기서, randn()은 가우스 분포를 만족하는 랜덤 변수의 함수이며,

는 추가된 포아송 노이즈 강도이고,

이며,

는 추가된 가우스 노이즈 강도이며,

이다.

하나의 실시예에서, 노이즈가 추가된 비참조 이미지에서의 구체적인 이미지를, 노이즈가 추가된 참조 이미지에서의 구체적인 이미지와 정렬시킬 수 있다.

예를 들어, 노이즈가 추가된 비참조 이미지 및 노이즈가 추가된 참조 이미지에 기반하여, 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정한 후, 광 흐름도에 따라, 노이즈가 추가된 비참조 이미지를 노이즈가 추가된 참조 이미지와 정렬시킨다. 광 흐름도는 이동 이미지 분석에 사용된다.

노이즈가 추가된 비참조 이미지 및 노이즈가 추가된 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고, 전술한 이미지 정렬 과정은 하기 단계를 통해 구현될 수 있다. 먼저, 노이즈가 추가된 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 비참조 이미지를 획득하고, 노이즈가 추가된 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 참조 이미지를 획득하는 단계 - 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함함 - ; 다음, 제3 비참조 이미지에서 각 픽셀 포인트 이미지를 결정하여, 제3 참조 이미지에서의 동일한 이미지의 오프셋 벡터에 대해, 모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성하는 단계; 그 다음, 노이즈가 추가된 비참조 이미지 R 채널 이미지를, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할하는 단계; 마지막으로, 광 흐름도에 기반하여 각 채널 이미지에서의 픽셀 포인트 이미지에 대해 이동을 수행하여, 이미지가 이동된 4 개의 채널 이미지를 합성하는 단계이다.

노이즈가 추가된 비참조 이미지의 개수가 복수 개일 때, 각 프레임 노이즈가 추가된 비참조 이미지에 대해, 상기 4 개의 단계의 동작을 모두 실행해야 함으로써, 상기 프레임 노이즈가 추가된 비참조 이미지를, 노이즈가 추가된 참조 이미지와 정렬시킨다.

본 실시예에서 이미지의 정확한 정렬을 구현할 수 있는 광 흐름 정렬 방법이 사용된다.

예시적으로,

은 노이즈가 추가된 비참조 이미지이고,

은 노이즈가 추가된 참조 이미지이며,

및

은 모두 bayer 포맷의 RAW 이미지이다.

과

을 정렬시켜, 정렬된

, 즉 정렬 프레임

을 획득하고, 정렬 프레임

에 대응하는 광 흐름도

을 획득하며,

이다. 구체적인 정렬 과정은 다음과 같다.

에서 각 픽셀 유닛의 평균 픽셀값을 계산하여,

을 획득하며,

이며,

에서 각 픽셀 유닛의 평균 픽셀값을 계산하여,

을 획득하며,

이며, 여기서,

은 R 픽셀의 픽셀값이고,

은 G1 픽셀의 픽셀값이며,

는 G2 픽셀의 픽셀값이며,

는 B 픽셀의 픽셀값이다.

에서 동일한 이미지의 오프셋 벡터에 대해,

에서 각 픽셀 포인트 이미지를 결정하고, 상기 오프셋 벡터는 수평 방향의 오프셋 벡터 u 및 수직 방향의 오프셋 벡터 v를 포함하며, 모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도

을 생성하며,

이다.

을 4 개의 채널 이미지

,

,

및

로 분할하고, 각 채널 이미지에 대해, 광 흐름도

를 사용하여, 상기 채널 이미지에서의 픽셀 포인트

의 이미지를

위치에 맵핑하여, 비참조 이미지와 참조 이미지를 정렬시키는 것을 구현함으로써, 정렬된 비참조 이미지를 얻는다.

하나의 실시예에서, 노이즈가 추가된 참조 이미지를 획득한 후, 하기 공식을 통해 노이즈가 추가된 참조 이미지의 노이즈 강도 이미지

를 결정할 수 있으며,

이며, 여기서,

은 노이즈가 추가된 참조 이미지이고,

는 추가된 포아송 노이즈 강도이며,

는 추가된 가우스 노이즈 강도이다.

하나의 실시예에서, 디스플로우(Disflow) 정렬 방법 외에도, 다른 정렬 방법을 더 사용하여 이미지 정렬을 수행할 수 있으며, 예를 들어, 해리스(Harris) 특징에 기반한 글로벌 정렬 방법이 있다.

단계 104에서, 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득한다.

참조 이미지가 RGB 이미지일 때, 참조 이미지의 이미지 포맷을 RAW 포맷으로 전환한 후, RAW 포맷의 참조 이미지를 픽셀 정보로 주석 처리할 수 있다. 주석 처리된 이미지에 대해 노이즈 추가 조작이 수행되지 않으므로, 주석 처리된 이미지를 노이즈가 추가되지 않은 참조 이미지라고 지칭한다.

픽셀 정보는 픽셀 행렬일 수 있고, 상이한 픽셀 포인트의 픽셀값을 포함한다.

단계 105에서, 샘플 이미지 세트를 획득하며, 샘플 이미지 세트는, 정렬된 비참조 이미지, 노이즈가 추가된 참조 이미지 및 노이즈가 추가되지 않은 참조 이미지를 포함한다.

샘플 이미지 세트 중의 이미지는 모두 샘플 이미지이며, 샘플 이미지 세트는 이미지 노이즈 제거 모델에 대해 훈련을 수행함으로써, 이미지 노이즈 제거 모델을 최적화시킨다.

하나의 실시예에서, 제3 비참조 이미지에서 각 픽셀 포인트 이미지의 오프셋 벡터에 기반하여, 제3 비참조 이미지의 광 흐름도를 생성한 후, 획득된 샘플 이미지 세트는 정렬된 비참조 이미지의 광 흐름도를 더 포함할 수 있다.

샘플 이미지 세트는 노이즈 강도 이미지

를 포함할 수 있고, 부분 메타 데이터 정보

를 포함할 수 있으며,

는

을 포함할 수 있다.

예를 들어, 샘플링 장면이 복수 개일 경우, 샘플 이미지 세트는, 각 샘플링 장면에 대응하여 획득된 샘플 이미지 서브 세트가 포함되고, 샘플 이미지 서브 세트는

를 포함한다.

본 발명의 실시예에서, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 이미지 노이즈 제거 모델의 샘플 이미지 세트의 데이터 소스로 사용하여, 멀티 프레임 이미지에 기반하여, 신형의 샘플 이미지 세트를 얻고, 샘플 이미지 세트는 정렬된 비참조 이미지, 노이즈가 추가된 참조 이미지 및 노이즈가 추가되지 않은 참조 이미지를 포함한다.

본 발명의 실시예는 이미지 노이즈 제거 모델을 훈련시키는 방법을 제공하며, 이미지 노이즈 제거 모델은 카메라에 의해 연속적으로 촬영된 멀티 프레임 이미지의 융합 이미지에 대해 노이즈 제거 처리를 수행하기 위한 것이며, 이미지 노이즈 제거 모델은 제1 모듈 및 제2 모듈을 포함한다. 본 발명의 실시예는 상기 제공한 샘플 이미지 세트를 사용하여 이미지 노이즈 제거 모델에 대해 훈련을 수행한다.

도 3은 일 예시적인 실시예에 따라 도시된 이미지 노이즈 제거 모델을 훈련시키는 방법의 흐름도이고, 상기 이미지 노이즈 제거 모델을 훈련시키는 방법은 하기 단계들을 포함한다.

단계 201에서, 제1 모듈을 사용하여 샘플 이미지 세트에서 정렬된 비참조 이미지 및 노이즈가 추가된 참조 이미지에 기반하여, 융합 이미지의 예측된 노이즈 정보를 결정한다.

융합 이미지는 정렬된 비참조 이미지 및 노이즈가 추가된 참조 이미지를 융합하여 얻은 이미지이며, 융합 이미지는 노이즈가 추가된 참조 이미지에 대응하고, 융합 이미지는 노이즈가 추가된 참조 이미지에 더 가깝다.

하나의 실시예에서, 샘플 이미지 세트 중의 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고; 상기 이미지 노이즈 제거 모델에서 제1 모듈은, 제1 서브 모듈 및 제2 서브 모듈을 포함하며, 이 구조에서, 단계 201은 다음의 단계를 통해 구현된다. 먼저, 제1 서브 모듈을 사용하여 노이즈가 추가된 참조 이미지 및 정렬된 비참조 이미지에 대해 공간 대 깊이(Space2depth(Space to depth)) 처리를 수행하여, 처리된 참조 이미지 및 처리된 비참조 이미지를 획득하며; 다음, 제2 서브 모듈을 사용하여 처리된 참조 이미지 및 처리된 비참조 이미지에 기반하여, 융합 이미지의 예측된 노이즈 정보를 결정한다. Space2depth는 깊이에 대한 공간(Space to depth)으로도 지칭되며, Space2depth 처리는 공간 데이터 블록을 깊이 데이터 블록으로 재배열하기 위한 것이다.

하나의 실시예에서, 제2 서브 모듈은 입력 유닛, 복수 개의 인코딩 유닛, 융합 유닛, 복수 개의 디코딩 유닛 및 출력 유닛을 포함할 수 있으며, 각 인코딩 유닛은 인코딩 서브 유닛 및 제1 샘플링 서브 유닛을 모두 포함할 수 있으며, 각 디코딩 유닛은, 디코딩 서브 유닛 및 제2 샘플링 서브 유닛을 모두 포함하며, 각 디코딩 유닛에 포함된 디코딩 서브 유닛은 적어도 두 개의 제1 샘플링 서브 유닛에 연결된다.

이 구조에서, 제2 서브 모듈은 처리된 참조 이미지 및 처리된 비참조 이미지에 기반하여, 융합 이미지의 예측된 노이즈 정보의 조작을 결정하는 단계는 하기 단계를 통해 구현될 수 있다.

제1 단계에 있어서, 입력 유닛을 사용하여 처리된 참조 이미지 및 처리된 비참조 이미지의 채널 개수에 대해 조정을 수행하여, 제1 특징 이미지를 획득한다.

제2 단계에 있어서, 복수 개의 인코딩 유닛을 사용하여 제1 특징 이미지에 대해 인코딩 처리 및 샘플링 처리를 수행하여, 제2 특징 이미지 및 각 제1 샘플링 서브 유닛에 의해 획득된 제1 샘플링 특징 이미지를 획득한다.

제3 단계에 있어서, 융합 유닛을 사용하여 제2 특징 이미지에 대해 특징 융합 처리를 수행하여, 제3 특징 이미지를 획득한다.

제4 단계에 있어서, 복수 개의 디코딩 유닛을 사용하여 제3 특징 이미지에 대해 샘플링 처리 및 디코딩 처리를 수행하여, 제4 특징 이미지를 획득하며, 여기서, 각 디코딩에 포함된 제2 샘플링 서브 유닛은 자신이 획득한 제2 샘플링 특징 이미지 및 목표 샘플링 유닛 특징 이미지를 병합하며, 목표 샘플링 특징 이미지는 제2 샘플링 서브 유닛에 연결된 제1 샘플링 서브 유닛에 의해 획득된 제1 샘플링 특징 이미지이다.

제5 단계에 있어서, 출력 유닛을 사용하여 제4 특징 이미지의 노이즈 정보를 결정하여, 제4 특징 이미지의 노이즈 정보를 융합 이미지의 예측된 노이즈 정보로 결정한다.

본 실시예에서 제공한 제2 서브 모듈은 Unet 네트워크를 백본 네트워크로 하고 소정의 개선 후 얻어지며, Unet 네트워크에서의 인코딩 모듈과 디코딩 모듈 사이의 일대일 연결을, 밀집된 연결로 확장하여, 제2 서브 모듈이 융합 이미지의 예측된 노이즈 정보를 결정하는 정확도를 향상시킨다.

단계 202에서, 제2 모듈을 사용하여 예측된 노이즈 정보에 기반하여 노이즈가 추가된 참조 이미지에 대해 노이즈 제거 처리를 수행하여, 획득된 노이즈가 제거된 이미지를 노이즈가 제거된 융합 이미지로 결정한다.

단계 203에서, 샘플 이미지 세트에서 노이즈가 추가되지 않은 참조 이미지와 노이즈가 제거된 융합 이미지 사이의 픽셀값 차이를 계산한다.

하나의 실시예에서, 노이즈가 추가되지 않은 참조 이미지에 대해 디지털 이득 강화 처리 및 비네팅 제거 처리를 수행하고, 노이즈가 제거된 융합 이미지에 대해 디지털 이득 강화 처리 및 비네팅 제거 처리를 수행하여, 디지털 이득 강화 처리 및 비네팅 제거 처리된 참조 이미지 및 융합 이미지 사이의 픽셀값 차이를 계산한다.

디지털 이득 강화 처리 및 비네팅 제거 처리 조작을 추가하여, 훈련 이미지 및 테스트 이미지의 노이즈 분포가 더 가깝게 됨으로써, 이미지 노이즈 제거 모델의 노이즈 제거 능력을 향상시킨다.

선택적으로, 제1 단계에 있어서, 노이즈가 추가되지 않은 참조 이미지에서 각 픽셀 포인트의 픽셀값을 목표 디지털 이득에 곱셈하고, 곱셈된 참조 이미지를 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값에 곱셈하며; 제2 단계에 있어서, 노이즈가 제거된 융합 이미지에서 각 픽셀 포인트의 픽셀값을 목표 디지털 이득에 곱셈하고, 곱셈된 융합 이미지를 목표 비네팅 이득 이미지에서 동일한 픽셀 위치의 픽셀값에 곱셈하며, 여기서, 목표 디지털 이득은 샘플 이미지 세트의 획득 과정에서 역 비네팅 변환에 사용된 디지털 이득이며, 목표 비네팅 이득 이미지는 샘플 이미지 세트의 획득 과정에서 역 디지털 이득 변환에 사용된 비네팅 이득 이미지이다.

단계 204에서, 픽셀값 차이에 기반하여 제1 모듈에 대해 조정을 수행한다.

조정 방식은 다양하며, 예를 들어, 픽셀값 차이에 기반하여 제1 모듈에 대해 조정을 수행하며, 픽셀값의 차이는 기설정된 값보다 작고, 기설정된 값은 작으며, 바람직하게는 0이며, 또는, 픽셀값 차이에 기반하여 조정될 수 있으며, 조정 횟수가 기설정된 횟수에 도달하면, 조정을 종료한다.

본 발명의 실시예는 신형의 샘플 이미지 세트를 사용하여 이미지 노이즈 제거 모델에 대해 훈련을 수행함으로써, 샘플 이미지 세트에서의 이미지의 종류에 기반하여, 이미지 노이즈 제거 모델이 이미지의 텍스처 세부사항을 해석하고, 이미지 고스트를 제거하는 능력을 향상시켜, 이미지 노이즈 제거 모델이 출력하는 이미지의 품질을 향상시킬 수 있다.

본 발명의 실시예에서 사용하는 광 흐름도 정렬 방법에 기반하여, 이미지 노이즈 제거 모델이 이미지 텍스처 세부사항을 해석하는 능력 및 이미지 고스트를 제거하는 능력을 추가로 향상시킴으로써, 이미지 노이즈 제거 모델이 출력하는 이미지가 우수한 텍스처 세부사항을 가지며 고스트 문제가 발생하지 않는다.

다음의 예에서 이미지 노이즈 제거 모델 및 이미지 노이즈 제거 모델을 훈련시키는 방법을 예시한다.

아래에 이미지 노이즈 제거 모델의 구조 및 노이즈 제거 성능을 소개하고자 한다.

본 발명의 예에서 제공하는 이미지 노이즈 제거 모델을 Unet 네트워크를 백본 네트워크로 사용하고 일정한 개선을 통해 얻어지며, 기존의 Unet 네트워크와 비교하면, 본 발명의 예에서의 이미지 노이즈 제거 모델은 각 인코딩 모듈 및 디코딩 모듈에 Resnet에서의 병목(bottleneck) 레지듀얼 모듈을 새로 추가하였고, Unet 네트워크에서의 인코딩 모듈과 디코딩 모듈 사이의 일대일 연결을, 밀집된 연결로 확장하였다.

도 4는 일 예시적인 실시예에 따라 도시된 이미지 노이즈 제거 모델의 구조 모식도이며, 도 4를 참조하면 이미지 노이즈 제거 모델

은 입력 모듈, 3 개의 인코딩 모듈, 융합 모듈, 3 개의 디코딩 모듈 및 출력 모듈을 포함하며,

는 이미지 노이즈 제거 모델의 모델 파라미터이고, 3 개의 인코딩 모듈은 각각 3 개의 디코딩 모듈에 연결된다.

여기서, 입력 모듈 및 출력 모듈은 모두 컨볼루션 네트워크로 구성되며, 입력 모듈 및 출력 모듈에서 채널 개수, 컨볼루션 커널 사이즈, 스텝 길이, 활성화 함수, 오프셋 등 파라미터가 있는지는 표 1에 표시된다.

컨볼루션 네트워크 파라미터

현재 모듈	타입	채널 개수	컨볼루션 커널 사이즈	스텝 길이	활성화 함수	오프셋
입력 모듈	컨볼루션	64	3	1	정류 선형 유닛(ReLU)	0
출력 모듈	컨볼루션	4	3	1	-	1

각 인코딩 모듈은 하나의 레지듀얼 서브 모듈 및 하나의 샘플링 서브 모듈을 모두 포함하며, 각 디코딩 모듈은 하나의 레지듀얼 서브 모듈, 하나의 서브 병합 모듈 및 하나의 샘플링 서브 모듈을 포함한다. 레지듀얼 서브 모듈의 구조는 도 5에 도시된 바와 같으며, 레지듀얼 서브 모듈에서의 채널 개수, 컨볼루션 커널 사이즈, 스텝 길이, 활성화 함수, 오프셋 등 파라미터가 있는지는 표 2에 표시된다. 표 2에서 c는 레지듀얼 서브 모듈에서의 첫 번째 컨볼루션 계층의 채널 개수이고, 필요에 따라 c의 크기를 설정할 수 있으며, 본 발명의 예는 c를 64로 설정한다. 샘플링 서브 모듈은 space2depth 조작을 일치하게 사용하여 다운 샘플링을 수행하며, depth2space 조작을 일치하게 사용하여 업 샘플링을 수행한다.

컨볼루션 네트워크 파라미터

번호	타입	채널 개수	컨볼루션 커널 사이즈	스텝 길이	활성화 함수	오프셋
1	컨볼루션	c	1	1	-	1
2	컨볼루션	c/4	1	1	relu	0
3	컨볼루션	c/4	3	1	relu	0
4	컨볼루션	c	1	1	-	0

입력 모듈의 입력은

이고, 출력은

이며, 입력 모듈은

에서의 이미지의 채널 개수를 조정하기 위한 것이다. 예를 들어,

는 8 프레임의 이미지를 포함하고, 각 프레임 이미지는 모두 Space2depth 처리 후에 획득된 이미지이며, 각 프레임 이미지는 4 개의 채널 이미지를 포함하고,

는 총 32 개의 채널 이미지를 포함하며,

에서 이미지의 채널은 32 개이고, 입력 모듈을 통해 처리된 후,

에서의 이미지의 채널은 64 개이다. 제1 인코딩 모듈의 입력은

이고, 제1 인코딩 모듈에서의 레지듀얼 서브 모듈을 사용하여

에 대해 처리를 수행함으로써,

을 획득하고, 제1 인코딩 모듈에서의 샘플링 서브 모듈을 사용하여

에 대해 2 배의 space2depth 다운 샘플링 처리를 수행함으로써,

을 획득하며,

에 대해 4 배의 space2depth 다운 샘플링 처리를 수행하여,

를 획득한다.

제2 인코딩 모듈의 입력은

이고, 제2 인코딩 모듈에서의 레지듀얼 서브 모듈을 사용하여

에 대해 처리를 수행함으로써,

를 획득하며, 제2 인코딩 모듈에서의 샘플링 서브 모듈을 사용하여

에 대해 2 배의 space2depth 다운 샘플링 처리를 수행함으로써,

을 획득하며,

에 대해 2 배의 depth2space 업 샘플링을 수행하여,

를 획득한다.

제3 인코딩 모듈의 입력은

이고, 제3 인코딩 모듈에서의 레지듀얼 서브 모듈을 사용하여

에 대해 처리를 수행함으로써,

을 획득하고, 제3 인코딩 모듈에서의 샘플링 서브 모듈을 사용하여

에 대해 2 배의 depth2space 업 샘플링 처리를 수행함으로써,

을 획득하며,

에 대해 4 배의 depth2space 업 샘플링 처리를 수행하여,

를 획득한다.

융합 모듈은 레지듀얼 서브 모듈로 구성되고, 융합 모듈의 입력은

이고, 출력은

이다.

제1 디코딩 모듈의 입력은

이고, 제1 디코딩 모듈에서의 샘플링 서브 모듈을 사용하여

에 대해 2 배의 depth2space 업 샘플링 처리를 수행함으로써,

를 획득하고, 제1 디코딩 모듈에서의 서브 병합 모듈을 사용하여

,

,

및

을 병합함으로써,

을 획득하며, 제1 디코딩 모듈에서의 레지듀얼 서브 모듈을 사용하여

에 대해 처리를 수행함으로써,

을 획득한다. 서브 병합 모듈은 동일한 길이 및 너비를 가지는 이미지를 병합하고, 채널 개수를 더한다.

제2 디코딩 모듈의 입력은

이고, 제2 디코딩 모듈에서의 샘플링 서브 모듈을 사용하여

에 대해 2 배의 depth2space 업 샘플링 처리를 수행함으로써,

을 획득하고, 제2 디코딩 모듈에서의 서브 병합 모듈을 사용하여

,

,

및

을 병합함으로써,

을 획득하며, 제2 디코딩 모듈에서의 레지듀얼 서브 모듈을 사용하여

을 사용하여 처리를 수행함으로써,

을 획득한다.

제3 디코딩 모듈의 입력은

이고, 제3 디코딩 모듈에서의 샘플링 서브 모듈을 사용하여

에 대해 2 배의 depth2space 업 샘플링 처리를 수행함으로써,

을 획득하고, 제3 디코딩 모듈에서의 서브 병합 모듈을 사용하여

,

,

및

을 병합함으로써,

을 획득하며, 제3 디코딩 모듈에서의 레지듀얼 서브 모듈을 사용하여

에 대해 처리를 수행함으로써,

을 획득한다.

은 융합 이미지이다.

출력 모듈의 입력은

이고, 출력은

이다.

은 융합 이미지의 예측된 노이즈 정보이다.

실제로, 이미지 노이즈 제거 모델에서 컨볼루션 커널의 파라미터 양이 감소될 수 있고, 레지듀얼 서브 모듈에서 c가 더 작은 값으로 설정될 수 있음으로써, 모델의 전체 계산 스케일을 감소시켜, 모델의 처리 속도를 향상시킨다.

예를 들어, 제1 인코딩 모듈에서 레지듀얼 서브 모듈에 의해 출력되는 이미지의 채널 개수를 64로 미리 설정하고, 제2 인코딩 모듈에서 레지듀얼 서브 모듈에 의해 출력되는 이미지의 채널 개수를 128로 미리 설정하며, 제3 인코딩 모듈에서 레지듀얼 서브 모듈에 의해 출력되는 이미지의 채널 개수를 256으로 미리 설정하며, 융합 모듈에 의해 출력되는 이미지의 채널 개수를 256으로 미리 설정하며, 제1 디코딩 모듈에서 레지듀얼 서브 모듈에 의해 출력되는 이미지의 채널 개수를 256으로 미리 설정하며, 제2 디코딩 모듈에서 레지듀얼 서브 모듈에 의해 출력되는 이미지의 채널 개수를 128로 미리 설정하며, 제3 디코딩 모듈에서 레지듀얼 서브 모듈에 의해 출력되는 이미지의 채널 개수를 64로 미리 설정할 수 있다.

본 발명의 예에서 이미지 노이즈 제거 모델에 레지듀얼 모듈 및 밀집된 연결을 추가로 설치함으로써, 이미지 노이즈 제거 모델의 노이즈 제거 해석 능력, 네트워크 깊이를 향상시켜, 그라디언트 소실 등 문제를 방지하여, 이미지 노이즈 제거 모델의 일반화 능력을 효과적으로 향상시킨다.

본 발명의 예에서, mid_channel이 64인 기존의 Unet 모델, 본 발명의 예에서 제공한 이미지 노이즈 제거 모델(DenseResUnet 모델이라고도 지칭함), ResUnet 모델 및 DenseUnet 모델에 대해 애블레이션(ablation) 실험을 수행하며, 여기서, DenseResUnet 모델은 레지듀얼 서브 모듈을 포함하고 밀집된 연결을 수행하며, ResUnet 모델은 DenseResUnet 모델에서의 밀집된 연결을 일대일 연결로 변경하여 얻은 모델이며, DenseUnet 모델은 DenseResUnet 모델에서의 레지듀얼 서브 모듈을 취소한 후 획득된 모델이다.

샘플 이미지 세트에서의 5 프레임 이미지를 테스트 세트로 사용하여, 기존의 Unet 모델, DenseResUnet 모델, ResUnet 모델 및 DenseUnet 모델에 대해 테스틀 수행하며, 테스트 결과는 표 3과 같다.

애블레이션 실험 데이터

	노이즈 이미지	Unet	DenseResUnet	ResUnet	DenseUnet
pSNR	35.18	42.82	43.41	43.09	42.94
pSNR_gain	0	+7.64	+8.23	+7.91	+7.76

pSNR의 정식 명칭은 피크 신호 대 잡음비(Peak Signal to Noise Ratio)이다. 표 3으로부터 알 수 있다시피, 본 발명의 예에서 제공한 이미지 노이즈 제거 모델에 대응하는 pSNR이 가장 높고, 이는 본 발명의 예에서 제공하는 이미지 노이즈 제거 모델의 노이즈 제거 효과가 가장 좋다는 것을 의미한다.

아래에 이미지 노이즈 제거 모델의 훈련 과정을 설명하고자 한다.

샘플 이미지 세트 T는 복수 개의 샘플 이미지 서브 세트

를 포함하며, 상이한 샘플 이미지 서브 세트

에 대응하는 촬영 장면은 상이하거나, 상이한 샘플 이미지 서브 세트

에 대응하는 샘플링 장면은 상이하다.

는

를 포함한다.

각

에 대해,

이며,

,

및

에 대해 각각 Space2depth 조작을 수행하여,

,

및

을 순차적으로 얻고, 이미지 노이즈 제거 모델의 입력

를 얻으며,

이며,

를 이미지 노이즈 제거 모델에 입력한다. Space2depth 조작의 과정은 도 6에 도시된 바와 같다.

이미지 노이즈 제거 모델에 의해 출력된

을 획득하며, 여기서,

는 이미지 노이즈 제거 모델의 모델 파라미터이다.

에 대해 Depth2space 조작을 수행하여,

을 얻고, 레지듀얼 학습의 이론에 기반하여,

=

을 계산하며,

을 노이즈가 제거된 융합 이미지로 사용한다. 융합 이미지는 RAW 이미지이다.

=(

을 이용하여, 시뮬레이션된 이미지 처리 과정을 통해, 노이즈가 제거된 융합 이미지

및 노이즈가 추가되지 않은 참조 이미지

의 이미지 포맷을 각각 RGB 포맷으로 전환하여, RGB 포맷의

와 RGB 포맷의

사이의 픽셀값 차이를 계산하며, 상기 픽셀값 차이를 손실 L1이라 지칭할 수도 있다.

손실 L1을 사용하여 이미지 노이즈 제거 모델에 대해 조정을 수행하여,

와

사이의 픽셀값 차이를 감소시킨다.

및

에서 수행되는 조작이 동일하므로,

을 예로서, 상기 과정에 대해 설명한다.

단계 1에 있어서,

에 대해 디지털 이득 강화를 수행하여,

을 획득하며,

이다.

단계 2에 있어서, 디지털 이득 강화 처리된

에 대해 비네팅 제거 조작을 수행하여,

를 획득하며,

이다.

단계 3에 있어서, 비네팅 제거된

에 대해 화이트 밸런스 변환을 수행하여,

에서의 모든 R 픽셀의 픽셀값에

을 곱셈하여,

을 얻으며,

,

이며,

에서의 모든 B 픽셀의 픽셀값에

를 곱셈하여,

을 얻고,

,

이며, 화이트 밸런스 변환 처리된 RAW 이미지

을 획득하며,

이며, 여기서,

는

에서 G 픽셀의 픽셀값이다.

단계 4에 있어서,

에 대해 Space2depth 컨볼루션 조작을 수행하여, 4 개의 2 배 다운 샘플링된 채널 이미지

을 생성하며, 4 개의 채널 이미지에 대해 이중 선형 보간 기반의 모자이크 제거 조작을 수행하여, 센서 공간 RGB 포맷의 이미지

을 획득한다.

구체적으로, 적색 채널에 대해 이중 선형 보간에 기반한 2 배의 업 샘플링을 수행하여,

을 얻는다.

파란색 채널을 상하로 뒤집은 후 이중 선형 보간에 기반한 2 배 업 샘플링을 수행한 다음, 다시 상하로 뒤집어,

을 얻는다.

첫 번째 녹색 채널을 좌우로 뒤집은 후, 이중 선형 보간에 기반한 2 배 업 샘플링을 수행한 다음, 다시 좌우로 뒤집어,

을 얻는다.

두 번째 녹색 채널을 상하로 뒤집은 후, 이중 선형 보간에 기반한 2 배 업 샘플링을 수행한 다음, 다시 상하로 뒤집어,

을 얻는다.

과

을 병합하여,

을 얻는다. 임의의 픽셀

의 경우,

에서

와 동일한 좌표의 픽셀이 Space2depth를 통해

으로 분류되면, 픽셀

의 픽셀값

는

에서 동일한 좌표를 갖는 픽셀의 픽셀값이며, 즉

,

이며;

에서

과 동일한 좌표의 픽셀이 Space2depth를 통해

로 분할되면, 픽셀

의 픽셀값

는

에서 동일한 좌표를 갖는 픽셀의 픽셀값이며, 즉

,

이며; 그렇지 않으면, 픽셀

의 픽셀값은

이다.

RGB 포맷의 이미지를 생성하며,

이다.

단계 5에 있어서,

에 대해 컬러 공간 전환을 수행하여, 센서 RGB 공간으로부터 표준 선형 RGB 공간으로 전환된 이미지

를 얻으며,

이다.

단계 6에 있어서,

에 대해 gamma 변환을 수행하여, 표준 선형 RGB 공간으로부터 표준 비선형 RGB 공간으로의 이미지

을 얻으며,

이다.

에 대해 상기 단계 1-단계 6의 동작을 수행하여,

을 얻는다.

와

사이의 손실

을 계산한다.

선택적으로, Adam 최적화기로

을 역최적화하며, Adam의 파라미터는 디폴트값

이다.

선택적으로, 훈련된 배치 사이즈는 16으로 설정되고, 이미지 블록 사이즈는 256이며, 훈련 주기는 200회의 순환 훈련 세트이고, 처음 150 회의 학습률은

이며, 마지막 50 회의 학습률은

이다.

본 발명의 실시예는 신형의 샘플 이미지 세트를 사용하여 이미지 노이즈 제거 모델에 대해 훈련을 수행하여, 샘플 이미지 세트에서 이미지의 종류에 기반하여, 훈련된 이미지 노이즈 제거 모델이 고품질의 노이즈가 제거된 융합 이미지를 출력하도록 함으로써, 출력된 융합 이미지에는 고스트 문제가 발생하지 않고 텍스처 세부사항을 가질 수 있다.

본 발명의 실시예는 또한 이미지 노이즈 제거 방법을 제공하며, 본 발명의 상기 실시예에서 제공한 이미지 노이즈 제거 모델에 기반하여 이미지 노이즈 제거를 수행한다. 도 7은 일 예시적인 실시예에 따라 도시된 이미지 노이즈 제거 방법 흐름도이며, 상기 이미지 노이즈 제거 방법은 다음의 단계들을 포함한다.

단계 301에서, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득한다.

본 발명의 실시예에서, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지는, 카메라 셔터를 누른 후에 연속적으로 촬영된 멀티 프레임 이미지일 수 있다. 상기 단계에서의 멀티 프레임 이미지는 모두 RAW 이미지일 수 있다.

단계 302에서, 멀티 프레임 이미지에서의 한 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정한다.

멀티 프레임 이미지가 모두 RAW 이미지인 경우, 멀티 프레임 RAW 이미지에서의 한 프레임 RAW 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 RAW 이미지를 비참조 이미지로 결정한다.

하나의 실시예에서, 멀티 프레임 이미지에서 해상도가 가장 높은 이미지를 참조 이미지로 결정한다.

단계 303에서, 비참조 이미지와 참조 이미지를 정렬시킨다.

하나의 실시예에서, 비참조 이미지 및 참조 이미지에 기반하여, 비참조 이미지에 대응하는 광 흐름도를 결정한 후, 광 흐름도에 기반하여, 비참조 이미지와 참조 이미지를 정렬시킨다.

선택적으로, 비참조 이미지와 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고, 다음의 단계를 통해 이미지 정렬을 구현할 수 있다.

먼저, 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 목표 비참조 이미지를 획득하고, 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 목표 참조 이미지를 획득하며, 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함한다.

다음, 목표 참조 이미지에서 동일한 이미지의 오프셋 벡터에 대해, 목표 비참조 이미지에서 각 픽셀 포인트 이미지를 결정하여, 모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성한다.

그 다음, 비참조 이미지를 R 채널 이미지, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할한다.

마지막으로, 광 흐름도에 기반하여 각 채널 이미지에서의 픽셀 포인트 이미지를 이동시키고, 이미지가 이동된 4 개의 채널 이미지를 합성한다. 따라서, 정렬된 비참조 이미지를 얻는다.

비참조 이미지의 개수가 복수 개이면, 각 프레임 비참조 이미지에 대해 상기 4 개의 단계를 모두 실행하여, 각 프레임 비참조 이미지의 정렬을 구현한다.

본 발명의 실시예에서에서 제공하는 정렬 방법을 광 흐름 정렬 방법이라 지칭할 수 있다.

단계 304에서, 참조 이미지 및 정렬된 비참조 이미지를 미리 구성된 이미지 노이즈 제거 모델에 입력하여, 이미지 노이즈 제거 모델이 출력한 노이즈가 제거된 융합 이미지를 획득하며, 융합 이미지는 참조 이미지 및 비참조 이미지를 융합한 후 획득된 이미지이다.

하나의 실시예에서, 상기 광 흐름 정렬 방법을 채택하여 이미지 정렬을 수행하면, 이미지 노이즈 제거 모델로 참조 이미지 및 정렬된 비참조 이미지를 입력할 때, 비참조 이미지에 대응하는 광 흐름도를 이미지 노이즈 제거 모델에 입력하여, 이미지 노이즈 제거 모델로 하여금 참조 이미지, 정렬된 비참조 이미지 및 광 흐름도에 기반하여, 이미지 노이즈 제거를 수행하도록 함으로써, 고품질의 융합 이미지를 출력할 수 있다.

하기의 예를 통해, 본 발명의 실시예에서 제공한 이미지 노이즈 제거 방법을 예시한다.

본 발명의 예에서 카메라 셔터를 누를 때 수집되는 한 세트의 RAW 이미지를 획득하며, RAW 이미지에 대해 불량 픽셀 보정 조작을 수행하여, 보정된 RAW 이미지에서 참조 이미지 및 비참조 이미지를 선택하여, 비참조 이미지와 참조 이미지를 정렬시키며, 참조 이미지 및 정렬된 비참조 이미지를 본 발명의 실시예에서 제공한 이미지 노이즈 제거 모델에 입력하여, 이미지 노이즈 제거 모델에 의해 출력된 노이즈가 제거된 융합 이미지를 획득하며, 융합 이미지는 참조 이미지 및 정렬된 비참조 이미지를 융합하여 얻은 이미지이다. 이미지 노이즈 제거 과정은 구체적으로 다음의 단계를 포함한다.

카메라 센서는 N 프레임의 RAW 이미지를 출력하고, N 프레임의 RAW 이미지는 하나의 이미지 세트

를 구성하며,

이다.

단계 1에 있어서,

에서의 각 프레임

에 대해 불량 픽셀 보정을 수행한다.

에서의 각 프레임

에 대해 Space2depth 컨볼루션 조작을 수행하여, 4 개의 2 배 다운 샘플링의 채널 이미지

를 생성하고; 각 채널 이미지에서의 각 픽셀

에 있어서, 그에 인접한 8 개의 픽셀 포인트 세트

와 비교하여, 업데이트된 픽셀값은

으로써,

을 생성하며;

은 Depth2space 조작을 통해

을 생성한다.

불량 픽셀 검출 조작을 추가하여, 훈련 및 테스트된 RAW 이미지의 노이즈 분포를 더 가깝게 함으로써, 노이즈 제거 효과를 향상시킬 수 있다.

단계 2에 있어서, 모든

로부터 참조 프레임

을 선택하며, 여기서, laplacian()는 라플라스 연산자이고, I는 이미지 세트

에서의 각 이미지의 주석 번호의 집합이다.

단계 3에 있어서,

은 모든

로부터 결정된 비참조 이미지이고,

이며, 각 프레임

을 참조 이미지

에 따라 정렬시켜, 정렬된 비참조 이미지

, 및

에 대응하는 광 흐름도

를 획득하며,

이다.

단계 4에 있어서, 카메라 센서에서의 노이즈 강도 파라미터

을 획득함으로써, 노이즈 이미지

을 획득한다.

단계 5에 있어서,

,

및

에 대해 Space2depth 조작을 각각 수행하여,

,

및

을 획득하며,

,

및

을

과 병렬로 연결시켜, 이미지 노이즈 제거 모델의 입력

을 획득하며,

를 이미지 노이즈 제거 모델에 입력한 후, 이미지 노이즈 제거 모델에 의해 출력되는 노이즈가 제거된 융합 이미지를 획득한다. 융합 이미지는 RAW 이미지이다.

Disflow 정렬에 기반한 멀티 프레임 RAW 이미지 노이즈 제거 방법을 관련 기술 중의 단일 프레임 RAW 이미지 노이즈 제거 방법과 비교하면, 해석 능력이 선명하게 개선되었다.

뉴럴 네트워크에 기반하여 엔드 투 엔드 정렬 및 노이즈 제거 방법과 비교하면, 디스플로우(Disflow) 정렬에 기반한 멀티 프레임 RAW 노이즈 제거 방법의 노이즈 제거 능력 및 해석 능력은 모두 가장 강하다.

오픈 소스 SIDD 훈련 세트와 비교하면, 역 이미지 처리 과정에서 고화질 비디오로부터 연속적인 프레임으로 제작된 샘플 이미지 세트 즉 훈련 세트에 기반하여, 훈련된 동일한 이미지 노이즈 제거 모델은 더욱 강한 텍스처 세부사항 해석 능력을 갖는다.

샘플 이미지 세트로부터 100 세트의 시퀀스를 무작위로 선택하고, 각 세트의 시퀀스는 하나의 촬영 장면(샘플링 장면으로 이해될 수 있음)에 대해 연속적으로 촬영된 5 개의 프레임 RAW 이미지에 기반하여 결정된 샘플 이미지 서브 세트이며, FastDVDnet 방법은 네트워크 엔드 투 엔드를 사용하여 암시적 정렬 및 노이즈 제거를 수행하는 방법이고, SIDD 방법은 SIDD 데이터 세트를 사용하여 본 발명의 실시예에서 사용한 이미지 노이즈 제거 모델과 동일한 모델을 훈련시킨다.

본 발명의 실시예에서 제공한 이미지 노이즈 제거 방법과 기존의 이미지 노이즈 제거 방법을 사용하여, 선택된 100 세트의 시퀀스에 대해 노이즈 제거 처리를 수행하여, 100 세트의 시퀀스에 대응하는 노이즈 제거 데이터의 평균값을 계산함으로써, 노이즈 제거 효과를 반영하는 노이즈 제거 데이터를 얻는다.

본 발명의 실시예에서 제공한 이미지 노이즈 제거 방법과 기존의 이미지 노이즈 제거 방법의 노이즈 제거 데이터가 표 4에 표시된다.

노이즈 제거 데이터표

	노이즈 이미지	단일 프레임 RAW 노이즈 제거	5 프레임의 FastDVDnet	5 프레임의 SIDD 방법	5 프레임의 현재 방법
pSNR	35.18	41.55	41.78	42.30	42.82
pSNR_gain	0	+6.37	+6.60	+7.12	+7.64

pSNR의 정식 명칭은 피크 신호 대 잡음비(Peak Signal to Noise Ratio)이다.표 4로부터 알 수 있다시피, 본 발명의 실시예에서 제공한 이미지 노이즈 제거 방법에 대응하는 pSNR은 가장 높고, 이는 본 발명의 실시예에서 제공한 이미지 노이즈 제거 방법의 노이즈 제거 효과가 가장 좋다는 것을 의미한다.

본 발명의 실시예는 광 흐름도 정렬 방법을 사용하여 멀티 프레임 RAW 이미지에 대해 정렬을 수행하고, 참조 이미지, 정렬된 비참조 이미지 및 광 흐름도를 뉴럴 네트워크 모델, 즉 이미지 노이즈 제거 모델에 동시에 입력하여, 충분한 유효 정보를 제공함으로써, 이미지 노이즈 제거 모델로 하여금 우수한 노이즈 제거 능력, 우수한 세부사항 텍스처 해석 능력을 갖도록 하며, 대폭의 이동 물체에 대해 고스트를 생성하지 않는다.

전술한 각 방법 실시예에 대해, 간단한 설명을 위해, 이들 모두를 일련의 동작 조합으로 표현하였지만, 본 기술분야의 기술자는, 일부 단계들이 본 발명에 따라 기타 순서를 사용하거나 동시에 진행할 수 있으므로, 본 발명에서 설명된 동작 순서의 제한을 받지 않음을 잘 알고 있을 것이다.

다음, 본 기술분야의 기술자는, 명세서에서 설명된 실시예가 모두 선택적인 실시예에 속하며, 언급한 동작과 모듈은 본 발명에 반드시 필요한 것은 아니라는 것을 잘 알고 있을 것이다.

전술한 응용 기능 구현 방법의 실시예에 대응하여, 본 발명은 또한 응용 기능 구현 장치 및 대응하는 단말의 실시예를 제공한다.

도 8은 일 예시적인 실시예에 따라 도시된 샘플 이미지 세트 획득 장치 블록도이며, 상기 샘플 이미지 세트 획득 장치는, 제1 획득 모듈(41), 결정 모듈(42), 노이즈 추가 모듈(43), 정렬 모듈(44), 주석 모듈(45) 및 제2 획득 모듈(46)을 포함하며; 여기서,

상기 제1 획득 모듈(41)은, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하도록 구성되고;

상기 결정 모듈(42)은, 상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하도록 구성되며;

상기 노이즈 추가 모듈(43)은, 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하도록 구성되며;

상기 정렬 모듈(44)은, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시켜, 정렬된 비참조 이미지를 획득하도록 구성되며;

상기 주석 모듈(45)은, 상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하도록 구성되며;

상기 제2 획득 모듈(46)은, 샘플 이미지 세트를 획득하도록 구성되며, 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함한다.

하나의 선택적인 실시예에서, 도 8에 도시된 샘플 이미지 세트 획득 장치의 기초 상에서, 상기 노이즈 추가 모듈(43)은, 역 처리 서브 모듈 및 노이즈 추가 서브 모듈을 포함할 수 있으며; 여기서,

상기 역 처리 서브 모듈은, 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하도록 구성되고, 상기 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함하며;

상기 노이즈 추가 서브 모듈은, 역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하도록 구성된다.

하나의 선택적인 실시예에서, 상기 역 처리 서브 모듈은, 제1 역 처리 유닛, 제2 역 처리 유닛 및 제3 역 처리 유닛을 포함할 수 있으며; 여기서,

상기 제1 역 처리 유닛은, 상기 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 상기 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻도록 구성되며;

상기 제2 역 처리 유닛은, 상기 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 상기 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 상기 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻도록 구성되며;

상기 제3 역 처리 유닛은, 상기 제2 참조 이미지 및 상기 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행하도록 구성된다.

하나의 선택적인 실시예에서, 도 8에 도시된 샘플 이미지 세트 획득 장치의 기초 상에서, 상기 정렬 모듈(44)은, 서브 결정 모듈 및 서브 정렬 모듈을 포함할 수 있으며; 여기서,

상기 서브 결정 모듈은, 상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하도록 구성되고;

상기 서브 정렬 모듈은, 상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬하도록 구성된다.

하나의 선택적인 실시예에서, 상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고; 상기 서브 결정 모듈은, 획득 유닛, 결정 유닛 및 생성 유닛을 포함할 수 있으며; 여기서,

상기 획득 유닛은, 상기 노이즈가 추가된 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 비참조 이미지를 획득하고, 상기 노이즈가 추가된 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 참조 이미지를 획득하도록 구성되고, 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함하며;

상기 결정 유닛은, 상기 제3 비참조 이미지에서의 각 픽셀 포인트 이미지가 제3 참조 이미지에서의 동일한 이미지에 대한 오프셋 벡터를 결정하도록 구성되며;

상기 생성 유닛은, 모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성하도록 구성된다.

하나의 선택적인 실시예에서, 상기 서브 정렬 모듈은, 분할 유닛, 이동 유닛 및 병합 유닛을 포함할 수 있으며; 여기서,

상기 분할 유닛은, 상기 노이즈가 추가된 비참조 이미지를 R 채널 이미지, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할하도록 구성되며;

상기 이동 유닛은, 상기 광 흐름도에 따라 각 채널 이미지에서의 픽셀 포인트 이미지를 이동시키도록 구성되며;

상기 병합 유닛은, 이미지가 이동된 4 개의 채널 이미지에 대해 합성을 수행하도록 구성된다.

하나의 선택적인 실시예에서, 상기 제2 획득 모듈(46)은, 상기 광 흐름도를 포함한 상기 샘플 이미지 세트를 획득하도록 구성된다.

장치 실시예의 경우, 기본적으로 방법 실시예에 대응하므로, 관련 부분은 방법 실시예의 부분 설명을 참조하면 된다. 위에서 설명된 장치 실시예는 다만 개략적이며, 여기서, 상기 분리 부재로서 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있고, 유닛으로서 디스플레이된 구성 요소는 물리적 유닛일 수 있거나 아닐 수도 있으며, 또는 한 장소에 있거나, 복수 개의 네트워크 유닛에 분포될 수 있다. 본 발명의 방안의 목적을 구현하기 위해 실제 필요에 따라 모듈의 일부 또는 전부를 선택할 수 있다. 당업자는 창조적 노동을 지불하지 않고도 이해하고 구현할 수 있다.

이에 따라, 한편으로, 본 발명의 실시예는 프로세서; 및 프로세서에 의해 실행 가능한 명령어를 저장하기 위한 메모리를 포함하는, 샘플 이미지 세트 획득 장치를 제공하며; 여기서, 상기 프로세서는,

하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하고;

상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하며;

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하며;

상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하며;

샘플 이미지 세트를 획득하도록 구성되고, 상기샘플 이미지 세트는, 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함한다.

도 9는 일 예시적인 실시예에 따라 도시된 샘플 이미지 세트를 획득하기 위한 장치(1600)의 구조 모식도이다. 예를 들어, 장치(1600)는 무선 인터넷 액세스 기능을 가지며, 사용자 기기일 수 있고, 구체적으로 이동 전화, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대 정보 단말기, 웨어러블 기기(예를 들어, 스마트 워치, 스마트 안경, 스마트 팔찌 및 스마트 운동화 등)일 수 있다.

도 9를 참조하면, 장치(1600)는, 처리 컴포넌트(1602), 메모리(1604), 전원 컴포넌트(1606), 멀티미디어 컴포넌트(1608), 오디오 컴포넌트(1610), 입력/출력(I/O) 인터페이스(1612), 센서 컴포넌트(1614), 및 통신 컴포넌트(1616) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(1602)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(1600)의 전체적인 동작을 제어한다. 처리 컴포넌트(1602)는 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 수행하는 하나 또는 복수 개의 프로세서(1620)를 포함할 수 있다. 또한, 처리 컴포넌트(1602)는 처리 컴포넌트(1602) 및 다른 컴포넌트 사이의 교호를 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(1602)는 멀티미디어 컴포넌트(408) 및 처리 컴포넌트(1602) 사이의 교호를 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(1604)는 전자 기기(1600)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 장치(1600)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(1604)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read Only Memory, PROM), 판독 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(1606)는 장치(1600)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(1606)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 장치(1600)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(1608)는 상기 장치(1600) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 스크린은 사용자로부터의 입력 신호를 수신하기 위한 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 스와이프 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 하나의 후방 카메라 중 적어도 하나를 포함한다. 장치(1600)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(1610)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(1610)는 하나의 마이크로폰(MIC)을 포함하며, 장치(1600)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(1604)에 추가로 저장되거나 통신 컴포넌트(1616)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(1610)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.

I/ O 인터페이스(1612)는 처리 컴포넌트(1602)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(1614)는 장치(1600)를 위한 다양한 방면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(1614)는 장치(1600)의 온/오프 상태, 컴포넌트의 상대적인 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 장치(1600)의 모니터와 키패드이며, 센서 컴포넌트(1614)는 장치(1600) 또는 장치(1600)에서의 하나의 컴포넌트의 위치 변화, 사용자와 장치(1600) 접촉의 존재 유무, 장치(1600) 방향 또는 가속/감속 및 장치(1600)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(1614)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(1614)는 이미징 애플리케이션에 사용하기 위한 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 이미지 센서 또는 전하 결합 소자(Charged Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(1614)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(1616)는 장치(1600)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 장치(1600)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(1616)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(1616)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wideband, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에 있어서, 장치(1600)는 하나 또는 복수 개의 주문형 집적 회로(ApplicationSpecificIntegratedCircuit, ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 제어기, 마이크로 제어기, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 장치(1600)는 상기 방법을 수행하기 위한 것이다.

예시적인 실시예에서, 또한 명령어를 포함하는 메모리(1604)와 같은 비일시적 컴퓨터 판독 가능한 저장 매체를 제공하며, 저장 매체에서의 명령어가 장치(1600)의 프로세서(1620)에 의해 실행될 때, 장치(1600)로 하여금 샘플 이미지 세트 획득 방법을 실행하도록 하며, 상기 샘플 이미지 세트 획득 방법은, 하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하는 단계; 상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하는 단계; 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하는 단계; 상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하는 단계; 및 샘플 이미지 세트를 획득하는 단계 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 를 포함한다.

상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.

도 10에 도시된 바와 같이, 도 10은 일 예시적인 실시예에 따라 도시된 다른 샘플 이미지 세트를 획득하기 위한 장치(1700)의 구조 모식도이다. 예를 들어, 장치(1700)는 하나의 응용 서버로 제공될 수 있다. 도 10을 참조하면, 장치(1700)는 하나 또는 복수 개의 프로세서를 포함하는 처리 컴포넌트(1722), 및 애플리케이션 프로그램과 같은 처리 컴포넌트(1722)에 의해 실행 가능한 명령어를 저장하기 위한 메모리(1716)로 표현되는 메모리 자원을 더 포함한다. 메모리(1716)에 저장된 애플리케이션은 하나 또는 하나 이상의 한 세트의 명령어에 각각 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1722)는 상기 샘플 이미지 세트 획득 방법을 실행하기 위한 명령어를 실행하도록 구성된다.

장치(1700)는 장치(1700)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1726), 장치(1700)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1750), 및 하나의 입력/출력(I/O) 인터페이스(1758)를 포함할 수 있다. 장치(1700)는 안드로이드, iOS, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 메모리(1716)에 저장된 운영체제에 기반하여 동작할 수 있다.

예시적인 실시예에서, 명령어를 포함하는 메모리(1716)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 명령어는 상기 방법을 완료하도록 장치(1700)의 처리 컴포넌트(1722)에 의해 실행된다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.

여기서, 상기 메모리(1716)에서의 명령어가 상기 처리 컴포넌트(1722)에 의해 실행될 때, 장치(1700)로 하여금 샘플 이미지 세트 획득 방법을 실행하도록 하며;

하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하는 단계;

상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하는 단계;

포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하는 단계;

상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하는 단계; 및

샘플 이미지 세트를 획득하는 단계 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 를 포함한다.

당업자는 본 명세서에 개시된 설명을 고려하고 본 발명을 실시한 후 본 발명의 다른 실시 예들을 쉽게 생각할 것이다. 본 발명은 본 발명의 일반적인 원리를 따르고 본 발명에서 개시되지 않은 기술분야에서의 일반적인 지식 또는 통상적인 기술수단을 포함하는 본 발명의 임의의 변형, 사용 또는 적응형 변경을 포함하도록 의도된다. 설명 및 예는 다만 예시적인 것으로 간주되어야하며, 본 발명의 진정한 범위 및 사상은 다음의 청구범위에 의해 지적된다.

본 발명은 위에서 설명되고 도면에 도시된 정확한 구조로 한정되지 않으며, 그 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해해야한다. 본 발명의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims (16)

1. 샘플 이미지 세트 획득 방법으로서,
   하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하는 단계;
   상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하는 단계;
   포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하는 단계;
   상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하는 단계; 및
   샘플 이미지 세트를 획득하는 단계 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 를 포함하고;
   상기 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 단계는,
   포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하는 단계 - 상기 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함함 - ; 및
   역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 단계를 포함하며;
   상기 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하는 단계는,
   상기 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 상기 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻는 단계;
   상기 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 상기 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 상기 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻는 단계; 및
   상기 제2 참조 이미지 및 상기 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시키는 단계는,
   상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하는 단계; 및
   상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬시키는 단계를 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 방법.
5. 제4항에 있어서,
   상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고;
   상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하는 단계는,
   상기 노이즈가 추가된 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 비참조 이미지를 획득하고, 상기 노이즈가 추가된 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 참조 이미지를 획득하는 단계 - 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함함 - ;
   상기 제3 비참조 이미지에서의 각 픽셀 포인트 이미지가 제3 참조 이미지에서의 동일한 이미지에 대한 오프셋 벡터를 결정하는 단계; 및
   모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성하는 단계를 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 방법.
6. 제5항에 있어서,
   상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬시키는 단계는,
   상기 노이즈가 추가된 비참조 이미지를 R 채널 이미지, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할하는 단계; 및
   상기 광 흐름도에 따라 각 채널 이미지에서의 픽셀 포인트 이미지를 이동시키고, 이미지가 이동된 4 개의 채널 이미지를 합성하는 단계를 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 방법.
7. 제4항에 있어서,
   상기 샘플 이미지 세트를 획득하는 단계는,
   상기 광 흐름도를 포함한 상기 샘플 이미지 세트를 획득하는 단계를 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 방법.
8. 샘플 이미지 세트 획득 장치로서,
   하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하도록 구성된 제1 획득 모듈;
   상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하도록 구성된 결정 모듈;
   포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하도록 구성된 노이즈 추가 모듈;
   획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시켜, 정렬된 비참조 이미지를 획득하도록 구성된 정렬 모듈;
   상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하도록 구성된 주석 모듈; 및
   샘플 이미지 세트를 획득하도록 구성된 제2 획득 모듈 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 을 포함하고;
   상기 노이즈 추가 모듈은,
   포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하도록 구성된 역 처리 서브 모듈 - 상기 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함함 - ; 및
   역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하도록 구성된 노이즈 추가 서브 모듈을 포함하며;
   상기 역 처리 서브 모듈은,
   상기 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 상기 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻도록 구성된 제1 역 처리 유닛;
   상기 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 상기 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 상기 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻도록 구성된 제2 역 처리 유닛; 및
   상기 제2 참조 이미지 및 상기 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행하도록 구성된 제3 역 처리 유닛을 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 장치.
9. 삭제
10. 삭제
11. 제8항에 있어서,
    상기 정렬 모듈은,
    상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지에 기반하여, 상기 노이즈가 추가된 비참조 이미지에 대응하는 광 흐름도를 결정하도록 구성된 서브 결정 모듈; 및
    상기 광 흐름도에 따라, 상기 노이즈가 추가된 비참조 이미지와 상기 노이즈가 추가된 참조 이미지를 정렬하도록 구성된 서브 정렬 모듈을 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 장치.
12. 제11항에 있어서,
    상기 노이즈가 추가된 비참조 이미지 및 상기 노이즈가 추가된 참조 이미지는 모두 베이어(bayer) 포맷의 로우(RAW) 이미지이고; 상기 서브 결정 모듈은,
    상기 노이즈가 추가된 비참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 비참조 이미지를 획득하고, 상기 노이즈가 추가된 참조 이미지에서의 각 픽셀 유닛의 평균 픽셀값에 기반하여, 제3 참조 이미지를 획득하도록 구성된 획득 유닛 - 각 픽셀 유닛은 하나의 R 픽셀, 두 개의 G 픽셀 및 하나의 B 픽셀을 포함함 - ;
    상기 제3 비참조 이미지에서의 각 픽셀 포인트 이미지가 제3 참조 이미지에서의 동일한 이미지에 대한 오프셋 벡터를 결정하도록 구성된 결정 유닛; 및
    모든 픽셀 포인트의 오프셋 벡터에 기반하여 광 흐름도를 생성하도록 구성된 생성 유닛을 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 장치.
13. 제12항에 있어서,
    상기 서브 정렬 모듈은,
    상기 노이즈가 추가된 비참조 이미지를 R 채널 이미지, G1 채널 이미지, G2 채널 이미지 및 B 채널 이미지로 분할하도록 구성된 분할 유닛;
    상기 광 흐름도에 따라 각 채널 이미지에서의 픽셀 포인트 이미지를 이동시키도록 구성된 이동 유닛; 및
    이미지가 이동된 4 개의 채널 이미지에 대해 합성을 수행하도록 구성된 병합 유닛을 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 장치.
14. 제11항에 있어서,
    상기 제2 획득 모듈은, 상기 광 흐름도를 포함한 상기 샘플 이미지 세트를 획득하도록 구성된 것을 특징으로 하는 샘플 이미지 세트 획득 장치.
15. 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체로서,
    상기 프로그램이 프로세서에 의해 실행될 때 제1항 및 제4항 내지 제7항 중 어느 한 항에 따른 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
16. 샘플 이미지 세트 획득 기기로서,
    프로세서; 및
    프로세서에 의해 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;
    상기 프로세서는,
    하나의 촬영 장면에 대해 연속적으로 촬영한 멀티 프레임 이미지를 획득하고;
    상기 멀티 프레임 이미지에서의 하나의 프레임 이미지를 참조 이미지로 결정하고, 참조 이미지로 결정된 이미지를 제외한 나머지 이미지를 비참조 이미지로 결정하며;
    포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하여, 획득한 노이즈가 추가된 비참조 이미지와 노이즈가 추가된 참조 이미지를 정렬시킴으로써, 정렬된 비참조 이미지를 획득하며;
    상기 포맷 전환된 참조 이미지를 픽셀 정보로 주석 처리하여, 노이즈가 추가되지 않은 참조 이미지를 획득하며;
    샘플 이미지 세트를 획득 - 상기 샘플 이미지 세트는 상기 정렬된 비참조 이미지, 상기 노이즈가 추가된 참조 이미지 및 상기 노이즈가 추가되지 않은 참조 이미지를 포함함 - 하도록 구성되고;
    상기 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 것은,
    포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하는 것 - 상기 역 이미지 처리는, 역 화이트 밸런스 변환, 역 비네팅 변환 및 역 디지털 이득 변환을 포함함 - ; 및
    역 이미지 처리된 참조 이미지 및 역 이미지 처리된 비참조 이미지에 대해 각각 노이즈 추가 처리를 수행하는 것을 포함하며;
    상기 포맷 전환된 참조 이미지 및 포맷 전환된 비참조 이미지에 대해 각각 역 이미지 처리를 수행하는 것은,
    상기 포맷 전환된 참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 참조 이미지를 얻고, 상기 포맷 전환된 비참조 이미지에 대해 역 화이트 밸런스 변환을 수행하여, 제1 비참조 이미지를 얻는 것;
    상기 제1 참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 참조 이미지를 얻고, 상기 제1 비참조 이미지에서의 각 픽셀 위치에 대해, 상기 픽셀 위치의 픽셀값을 상기 목표 비네팅 이득 이미지에서의 동일한 픽셀 위치의 픽셀값으로 나누어, 제2 비참조 이미지를 얻는 것; 및
    상기 제2 참조 이미지 및 상기 제2 비참조 이미지에 대해 각각 역 디지털 이득 변환을 수행하는 것을 포함하는 것을 특징으로 하는 샘플 이미지 세트 획득 기기.

Images