KR102337745B1

KR102337745B1 - 이중 도메인 뉴럴 네트워크 기반 영상 내 모아레 무늬 제거 장치 및 방법

Info

Publication number: KR102337745B1
Application number: KR1020200137347A
Authority: KR
Inventors: 이철; 비엔지아안; 박현국
Original assignee: 동국대학교 산학협력단
Priority date: 2020-10-22
Filing date: 2020-10-22
Publication date: 2021-12-10

Abstract

본 발명은 이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거함에 따라 고품질의 영상을 획득하기 위한 기술적 사상에 관한 것으로, 뉴럴 네트워크를 화소값 영역과 주파수 영역에 각각 적용하고, 화소값 영역에서 모아레 무늬가 제거된 결과 이미지와 주파수 영역에서 모아레 무늬가 제거된 결과 이미지를 결합하여 모아레 무늬를 효과적으로 제거하는 기술에 관한 것으로, 본 발명의 일실시예에 따르면 모아레 무늬 제거 장치는 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부, 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부 및 상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함할 수 있다.

Description

이중 도메인 뉴럴 네트워크 기반 영상 내 모아레 무늬 제거 장치 및 방법{APPARATUS AND METHOD OF REMOVING MOIRE PATTERN IN IMAGE BASED ON DUAL DOMAIN DEEP CONVOLUTIONAL NEURAL NETWORK}

본 발명은 이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거함에 따라 고품질의 영상을 획득하기 위한 기술적 사상에 관한 것으로, 뉴럴 네트워크를 화소값 영역과 주파수 영역에 각각 적용하고, 화소값 영역에서 모아레 무늬가 제거된 결과 이미지와 주파수 영역에서 모아레 무늬가 제거된 결과 이미지를 결합하여 모아레 무늬를 효과적으로 제거하는 기술에 관한 것이다.

최근 디지털 영상 기술의 발전으로 스마트폰 등의 카메라를 이용하여 다양한 환경에서 사진을 촬영할 수 있다.

모아레(Moirι) 무늬는 촬영된 화면에 무지갯빛 또는 물결무늬의 출렁임 등 복잡한 형태와 다양한 색을 포함하는 등 영상의 품질을 저하시킨다.

따라서, 모아레 아티팩트를 효과적으로 제거하고 이미지 디모아레링(demoreing)이라고하는 이미지 품질을 향상시키기 위해 많은 알고리즘이 개발되었다.

또한, 모아레 무늬는 촬영된 화면에 무지갯빛 또는 물결무늬의 출렁임 등 복잡한 형태와 다양한 색을 포함하여 나타나며, 영상의 품질을 저하시킴에 따라 모아레 무늬를 제거하여 영상의 품질을 향상시키기 위해서 다양한 알고리즘이 개발되었다.

예를 들어 종래 기술들 중 Schφberl 등은 카메라 센서 앞에 저역 통과 필터를 부착하여 앨리어싱 현상을 제거하는 기법을 제안하고 있다.

하지만 이 기법은 특수한 하드웨어를 필요로 하며 저역 통과 필터링으로 인해 고주파 성분을 제거하여 결과 영상이 과도하게 부드러워지는 문제를 발생시킨다.

종래 기술들 중 Pekkucuksen와 Altunbasak는 색상 차이 보간법을 기반으로 색상 필터 배열의 부 샘플링(subsampling) 기법을 제안하였다.

하지만 이 기법은 계산 복잡도가 높으며, 결과 영상이 녹색 채널에 과도하게 의존하여 실제 적용에 어려움이 있다.

최근에는 CNN(convolution neural network) 기반의 기법들은 대량의 데이터셋 학습을 통하여 모델 기반의 기법들 보다 우수한 성능을 보이고 있다.

예를 들어 종래 기술들 중 Sun 등은 대량의 데이터셋을 학습시켜 모아레 무늬를 제거하는 기법을 제안하였고, Cheng은 Sun 등의 기법에서 다이나믹 특징 인코딩 모듈(dynamic feature encoding module)을 추가하여 모아레 현상의 복잡한 무늬를 해결하고자 했다.

종래 기술들 중 He 등은 영상의 엣지 정보와 모아레 무늬의 다양한 특성을 고려한 뉴럴 네트워크를 개발하였다.

하지만 이전 기법들은 공통적으로 강한 색과 형태의 모아레 무늬는 효과적으로 제거하지 못하고 학습데이터를 촬영한 카메라의 설정과 다르게 촬영된 영상에 대해서는 품질이 저하되는 단점이 있다.

한국공개특허 제10-2020-0084419호, "모아레 제거 모델을 생성하기 위한 장치, 모아레를 제거하기 위한 방법 및 모아레를 제거하기 위한 촬상 장치" 한국공개특허 제10-2019-0021756호, "영상 처리 방법 및 이를 이용한 표시 장치" 한국등록특허 제10-2136094호, "모아레 패턴을 이용한 안압 측정 방법"

본 발명은 뉴럴 네트워크를 픽셀 영역과 주파수 영역에 각각 적용하고, 픽셀 영역에서의 학습 결과와 주파수 영역에서의 학습 결과를 합성하여 모아레 무늬를 효과적으로 제거하는 모아레 무늬 제거 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 픽셀 영역에서 여러 해상도에 대하여 모아레 무늬를 제거한 결과 이미지와 주파수 영역에서 광범위하게 나타나는 관찰을 기반으로 주파수 영역에서 모아레를 제거한 결과 이미지를 적절하게 결합하여 효과적으로 입력 이미지에서 모아레 무늬를 제거하는 것을 목적으로 한다.

본 발명은 픽셀 영역과 주파수 영역을 각각 독립적으로 학습함에 따라 학습 시간을 감소하고, 메모리 효율을 높이는 것을 목적으로 한다.

본 발명은 앙상블 기법을 이용하여 서로 다른 기하학적 변환에 대한 모아레 무늬를 제거함에 따라 모아레 무늬 제거 효율성을 증가시키는 것을 목적으로 한다.

본 발명의 일실시예에 따르면 이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 장치는 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부, 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부 및 상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함할 수 있다.

상기 입력 이미지는 동일한 대상을 캡쳐하고, 서로 다른 기하학적 변형을 갖는 복수의 이미지로 구성된 버스트 이미지(burst image)를 포함하고, 상기 버스트 이미지(burst image)는 각 이미지에서 서로 다른 모아레 무늬가 포함되고, 상기 각 이미지에서 모아레 무늬가 형성되지 않은 클린 영역이 포함되며, 상기 각 이미지의 전체가 중복되는 중복 정보를 포함할 수 있다.

상기 픽셀 네트워크부는 상기 각 이미지 간의 변형 및 상기 중복 정보를 추출하고, 상기 추출된 변형 및 상기 중복 정보를 결합하여 글로벌 기능 맵(global feature map)을 생성하며, 상기 버스트 이미지(burst image) 중 기준 이미지를 결정하고, 상기 결정된 기준 이미지에 기반하여 상기 서로 다른 기하학적 변형에 따른 이미지의 정렬 불량을 고려하기 위한 주의맵(attention map)을 생성하는 주의 네트워크부를 포함할 수 있다.

상기 픽셀 네트워크부는 상기 생성된 글로벌 기능 맵(global feature map) 및 상기 생성된 주의맵(attention map)을 이용하여 상기 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.

상기 주파수 네트워크부는 상기 결정된 기준 이미지를 상기 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성할 수 있다.

상기 픽셀 네트워크부 및 상기 주파수 네트워크부는 상기 입력 이미지에 대하여 서로 독립적으로 학습하여 상기 입력 이미지에서 모아레 무늬를 제거할 수 있다.

상기 픽셀 네트워크부는 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)로 각각 구성된 상기 브랜치(branch)들을 포함하고, 상기 브랜치(branch)들에서 상기 주의 농축 블록(attention dense block, ADB) 및 상기 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 상기 생성된 가공 입력 이미지에 대한 서로 다른 크기의 픽셀에서의 모아레 무늬를 제거하여 상기 제1 결과 이미지를 생성할 수 있다.

상기 주파수 네트워크부는 상기 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터를 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역에서의 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 상기 제2 결과 이미지를 생성할 수 있다.

상기 결합 네트워크부는 상기 제1 결과 이미지와 상기 제2 결과 이미지의 서로 다른 특성을 보완하기 위해 로컬 혼합 필터를 출력하는 동적 필터 생성 네트워크부를 포함할 수 있다.

상기 동적 필터 생성 네트워크부는 상기 제1 결과 이미지와 상기 제2 결과 이미지와 관련하여 모아레 무늬가 존재하지 않는 이미지와 관련된 상기 로컬 혼합 필터의 계수를 결정할 수 있다.

상기 픽셀 네트워크부, 상기 주파수 네트워크부 및 상기 결합 네트워크부는 상기 입력 이미지의 서로 다른 기하학적 변환에 대하여 추가적으로 학습하여 상기 서로 다른 기하학적 변환에 따른 복수의 제1 결과 이미지, 복수의 제2 결과 이미지 및 복수의 제3 결과 이미지를 생성하고, 상기 복수의 제3 결과 이미지에 대한 평균을 결정하여 모아레 무늬가 제거된 제4 결과 이미지를 생성할 수 있다.

본 발명의 일실시예에 따르면 이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 방법은 픽셀 네트워크부에서, 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계, 주파수 네트워크부에서, 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계 및 결합 네트워크부에서, 상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 단계를 포함할 수 있다.

상기 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계는, 상기 각 이미지 간의 변형 및 상기 중복 정보를 추출하고, 상기 추출된 변형 및 상기 중복 정보를 결합하여 글로벌 기능 맵(global feature map)을 생성하며, 상기 버스트 이미지(burst image) 중 기준 이미지를 결정하고, 상기 결정된 기준 이미지에 기반하여 상기 서로 다른 기하학적 변형에 따른 이미지의 정렬 불량을 고려하기 위한 주의맵(attention map)을 생성하는 단계 및 상기 생성된 글로벌 기능 맵(global feature map) 및 상기 생성된 주의맵(attention map)을 이용하여 상기 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계를 포함할 수 있다.

상기 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계는, 상기 결정된 기준 이미지를 상기 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계를 포함할 수 있다.

상기 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계는, 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)로 각각 구성된 상기 브랜치(branch)들에서 상기 주의 농축 블록(attention dense block, ADB) 및 상기 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 상기 생성된 가공 입력 이미지에 대한 서로 다른 크기의 픽셀에서의 모아레 무늬를 제거하여 상기 제1 결과 이미지를 생성하는 단계를 포함할 수 있다.

본 발명은 뉴럴 네트워크를 픽셀 영역과 주파수 영역에 각각 적용하고, 픽셀 영역에서의 학습 결과와 주파수 영역에서의 학습 결과를 합성하여 모아레 무늬를 효과적으로 제거하는 모아레 무늬 제거 장치 및 방법을 제공할 수 있다.

본 발명은 픽셀 영역에서 여러 해상도에 대하여 모아레 무늬를 제거한 결과 이미지와 주파수 영역에서 광범위하게 나타나는 관찰을 기반으로 주파수 영역에서 모아레를 제거한 결과 이미지를 적절하게 결합하여 효과적으로 입력 이미지에서 모아레 무늬를 제거할 수 있다.

본 발명은 픽셀 영역과 주파수 영역을 각각 독립적으로 학습함에 따라 학습 시간을 감소하고, 메모리 효율을 높일 수 있다.

본 발명은 앙상블 기법을 이용하여 서로 다른 기하학적 변환에 대한 모아레 무늬를 제거함에 따라 모아레 무늬 제거 효율성을 증가시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 모아레 무늬 제거 장치를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 단일 입력 이미지의 모아레 무늬 제거 장치를 설명하는 도면이다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 결합 네트워크부를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 버스트 입력 이미지의 모아레 무늬 제거 장치를 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 주의 네트워크부를 설명하는 도면이다.
도 7a는 본 발명의 일실시예에 따른 글로벌 모듈을 설명하는 도면이다.
도 7b는 본 발명의 일실시예에 따른 주의 모듈을 설명하는 도면이다.
도 8a는 본 발명의 일실시예에 따른 단일 입력 이미지의 모아레 무늬 제거 결과를 비교 설명하는 도면이다.
도 8b는 본 발명의 일실시예에 따른 버스트 입력 이미지의 모아레 무늬 제거 결과를 비교 설명하는 도면이다.
도 9는 본 발명의 일실시예에 따른 모아레 무늬 제거 방법을 설명하는 도면이다.

이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.

실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.

하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.

"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.

본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.

어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.

또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.

즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.

이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일실시예에 따른 모아레 무늬 제거 장치를 설명하는 도면이다.

도 1은 본 발명의 일실시예에 따른 모아레 무늬 제거 장치의 구성 요소를 예시한다.

도 1을 참고하면, 모아레 무늬 제거 장치(100)는 픽셀 네트워크부(110), 주파수 네트워크부(120) 및 결합 네트워크부(130)를 포함한다.

본 발명의 일실시예에 따르면 픽셀 네트워크부(110), 주파수 네트워크부(120) 및 결합 네트워크부(130)는 뉴럴 네트워크를 구성하는 도메인으로 픽셀 네트워크부(110) 및 주파수 네트워크부(120)의 이중 도메인으로 이루어진 뉴런 네트워크를 구성할 수 있다.

예를 들어, 이중 도메인은 픽셀 값 영역에 해당하는 도메인과 관련된 픽셀 네트워크부(110) 및 주파수 영역에 해당하는 도메인과 관련된 주파수 네트워크부(120)와 관련될 수 있다.

일례로, 모아레 무늬 제거 장치(100)는 입력부(미도시)가 픽셀 네트워크부(110) 및 주파수 네트워크부(120)에 각각 연결되고, 출력부(미도시)가 결합 네트워크부(130)에 연결될 수 있다.

예를 들어, 모아레 무늬 제거 장치(100)는 입력부(미도시)를 통해 모아레 무늬가 포함된 단일 입력 이미지 또는 버스트 이미지를 입력 받고, 출력부(미도시)를 통해 모아레 무늬가 제거된 결과 이미지를 출력할 수 있다.

본 발명의 일실시예에 따르면 픽셀 네트워크부(110)는 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.

예를 들어, 모아레 무늬는 곡선이나 줄무늬와 같이 뚜렷하게 구분되는 형태를 가진다.

따라서, 픽셀 네트워크부(110)는 모아레 무늬와 관련된 엣지(edge) 정보를 추출하여 엣지 맵(edge map)을 생성하고, 엣지 맵을 이용하여 입력 이미지를 가공하고, 가공된 입력 이미지를 복수의 해상도에 해당하는 복수의 픽셀 값 영역으로 구분한 뒤 복수의 해상도에 따라 구분된 복수의 브랜치를 이용하여 픽셀 영역에서 모아레 무늬를 제거하기 위한 학습을 통해 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.

본 발명의 일실예에 따른 픽셀 네트워크부(110)는 단일 이미지뿐 만 아니라 버스트 이미지(burst image)를 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.

예를 들어, 입력 이미지는 동일한 대상을 캡쳐하고, 서로 다른 기하학적 변형을 갖는 복수의 이미지로 구성된 버스트 이미지(burst image)를 포함할 수 있다.

예를 들어, 버스트 이미지(burst image)는 각 이미지에서 서로 다른 모아레 무늬가 포함되고, 각 이미지에서 모아레 무늬가 형성되지 않은 클린 영역이 포함되며, 각 이미지의 전체가 중복되는 중복 정보를 포함할 수 있다.

즉, 버스트 이미지는 모아레 무늬를 제거하기 위해 각 이미지가 다른 기하학적 변형을 갖는 동일한 대상을 캡쳐한 이미지 집합에 해당될 수 있다.

각 이미지에는 서로 다른 모아레 무늬가 포함되어 있지만 기본적으로 모아레 무늬가 포함되지 않은 깨끗한 이미지에 대한 유용한 정보를 포함하고 있다.

단일 이미지에 대비하여 버스트 이미지의 장점은 이미지 전체에 정보가 중복되는 점이 있어서, 모아레 무늬 제거율이 증가될 수 있다.

일례로 픽셀 네트워크부(110)는 각 이미지 간의 변형 및 중복 정보를 추출하고, 추출된 변형 및 중복 정보를 결합하여 글로벌 기능 맵(global feature map)을 생성하며, 버스트 이미지(burst image) 중 기준 이미지를 결정하고, 결정된 기준 이미지에 기반하여 서로 다른 기하학적 변형에 따른 이미지의 정렬 불량을 고려하기 위한 주의맵(attention map)을 생성할 수 있다.

또한, 픽셀 네트워크부(110)는 생성된 글로벌 기능 맵(global feature map) 및 생성된 주의맵(attention map)을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.

일례로, 픽셀 네트워크부(110)는 글로벌 기능 맵 및 주의맵을 생성하기 위해 주의 네트워크부를 포함할 수 있다. 예를 들어, 픽셀 영역은 픽셀 값 영역을 포함할 수 있다.

본 발명의 일실시예에 따르면 픽셀 네트워크부(110)는 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)로 각각 구성된 상기 브랜치(branch)들을 포함하고, 브랜치(branch)들에서 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 생성된 가공 입력 이미지에 대한 서로 다른 크기의 픽셀에서의 모아레 무늬를 제거하여 제1 결과 이미지를 생성할 수 있다.

본 발명의 주파수 네트워크부(120)는 입력 이미지를 주파수 영역으로 변환하고, 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성할 수 있다.

예를 들어, 주파수 네트워크부(120)는 입력 이미지가 버스트 이미지일 경우, 버스트 이미지 중 기준 이미지를 주파수 영역으로 변환하고, 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성할 수 있다.

본 발명의 일실시예에 따르면 주파수 네트워크부(120)는 입력 이미지를 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터를 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역에서의 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 제2 결과 이미지를 생성할 수 있다.

본 발명의 일실시예에 따르면 픽셀 네트워크부(110) 및 주파수 네트워크부(120)는 입력 이미지에 대하여 서로 독립적으로 학습하여 입력 이미지에서 모아레 무늬를 제거할 수 있다.

따라서, 본 발명은 픽셀 영역과 주파수 영역을 각각 독립적으로 학습함에 따라 학습 시간을 감소하고, 메모리 효율을 높일 수 있다.

일례로 결합 네트워크부(130)는 제1 결과 이미지와 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성할 수 있다.

예를 들어, 제1 결과 이미지는 픽셀 영역에서 모아레 무늬가 제거된 결과 이미지를 나타낼 수 있고, 제2 결과 이미지는 주파수 영역에서 모아레 무늬가 제거된 결과 이미지를 나타낼 수 있다.

또한, 제3 결과 이미지는 제1 결과 이미지와 제2 결과 이미지 각각을 결합하여 모아레 무늬가 제거된 최종 결과 이미지를 나타낼 수 있다.

본 발명의 일실시예에 따르면 결합 네트워크부(130)는 제1 결과 이미지와 제2 결과 이미지의 서로 다른 특성을 보완하기 위해 로컬 혼합 필터를 출력하는 동적 필터 생성 네트워크부를 포함할 수 있다.

일례로, 동적 필터 생성 네트워크부(미도시)는 제1 결과 이미지와 제2 결과 이미지와 관련하여 모아레 무늬가 존재하지 않는 이미지와 관련된 로컬 혼합 필터의 계수를 결정할 수 있다.

따라서, 결합 네트워크부(130)는 로컬 혼합 필터의 계수에 기반하여 제1 결과 이미지와 제2 결과 이미지의 서로 다른 특성이 보완된 최종 결과 이미지로 제3 결과 이미지를 생성할 수 있다.

본 발명의 일실시예에 따르면 모아레 무늬 제거 장치(100)는 입력 이미지의 서로 다른 기하학적 변환에 대하여 추가적으로 학습하여 모아레 무늬 제거 효율성을 향상시킬 수 있다.

일례로, 픽셀 네트워크부(110), 주파수 네트워크부(120) 및 결합 네트워크부(130)는 입력 이미지의 서로 다른 기하학적 변환에 대하여 추가적으로 학습하여 서로 다른 기하학적 변환에 따른 복수의 제1 결과 이미지, 복수의 제2 결과 이미지 및 복수의 제3 결과 이미지를 생성하고, 복수의 제3 결과 이미지에 대한 평균을 결정하여 모아레 무늬가 제거된 제4 결과 이미지를 최종적으로 생성할 수 있다.

본 발명의 일실시예에 따르면 모아레 무늬 제거 장치(100)는 앙상블 기법을 사용하여 입력 이미지의 90°, -90°, 180° 회전 이미지에 대해서, 수직 및 수평 방향의 반전을 적용하여 전체 8개의 출력 이미지를 생성하고 역 변환을 적용한 8개의 이미지의 평균을 통해 최종 결과 이미지를 생성할 수 있다.

따라서, 본 발명은 앙상블 기법을 이용하여 서로 다른 기하학적 변환에 대한 모아레 무늬를 제거함에 따라 모아레 무늬 제거 효율성을 증가시킬 수 있다.

도 2는 본 발명의 일실시예에 따른 단일 입력 이미지의 모아레 무늬 제거 장치를 설명하는 도면이다.

도 2는 본 발명의 일실시예에 따른 단일 입력 이미지의 모아레 무늬 제거 장치의 구성 요소를 보다 구체적으로 설명하는 도면이다.

도 2를 참고하면, 본 발명의 일실시예에 따른 모아레 무늬 제거 장치(200)는 픽셀 네트워크부(210), 주파수 네트워크부(220) 및 결합 네트워크부(230)로 구성된다.

일례로, 본 발명의 일실시예에 따른 모아레 무늬 제거 장치(200)는 모아레 무늬가 포함된 단일 입력 이미지(240)를 입력 받아 모아레 무늬가 제거된 결과 이미지(241)를 출력할 수 있다.

본 발명의 일실시예에 따르면 픽셀 네트워크부(210)는 엣지 추출부(211), 제1 연속 블록(212), 콘벌루션 블록(213), 업 샘플링 블록(214), 제2 연속 블록(215), 주의 농축 블록(216), 잔류 주의 농축 블록(217)을 포함한다.

일례로, 엣지 추출부(211)는 입력 이미지로부터 모아레 무늬와 관련된 엣지 정보를 추출하고, 추출된 엣지 정보를 이용하여 엣지맵을 형성한다.

본 발명의 일실시예에 따르면 제1 연속 블록(212)은 엣지 추출부(211)에 의해 추출된 엣지 정보를 입력 이미지와 결합한다.

예를 들어, 각 이미지에 대하여 최대 신호 대 잡음비(peak signal-to-noise ratio, PNSR)가 측정될 수 있는데, PNSR이 높을수록 모아레 무늬가 효과적으로 제거된 이미지로 판단할 수 있다.

픽셀 네트워크부(210)에서 엣지 추출부(211)를 이용할 경우 엣지 추출부를 이용하지 않는 경우에 대비하여 PNSR이 증가될 수 있고, 해상도 레벨이 증가할수록 차이는 증가되며, 분석 결과는 아래 표 1과 같다.

해상도 레벨	엣지 추출부 포함 여부	PNSR
1		37.25
1	○	37.86
2		37.32
2	○	37.67
3		37.46
3	○	37.81
4		37.72
4	○	38.05
5		37.88
5	○	38.28

예를 들어, 주의 농축 블록(216)은 5개의 콘벌루션 블록으로 이루어져 16개의 채널을 포함하고 있다.

한편, 잔류 주의 농축 블록(217)은 5개 또는 10개의 콘벌루션 블록으로 이루어져 32개의 채널을 포함하고 있다.

예를 들어, 업 샘플링 블록(214)은 다운 샘플링된 데이터를 업 샘플링하는 역할을 수행한다.

예를 들어, 제2 연속 블록(215)은 제1 연속 블록(212)에 콘벌루션 블록이 추가된다.

일례로, 픽셀 네트워크부(210)는 서로 다른 픽셀 값에서 모아레 무늬를 제거하기 위하여 복수의 브랜치로 구분되는데, 각 브랜치는 콘벌루션 블록(213), 업 샘플링 블록(214), 제2 연속 블록(215), 주의 농축 블록(216), 잔류 주의 농축 블록(217)로 구성된다.

각 브랜치는 커널(kernel) 크기가 2 X 2이고 각 브랜치에서 보폭이 2인 첫 번째 콘벌루션 블록(213)은 상위 레벨 브랜치에서 2배로 특성 맵을 다운 샘플링하는 역할을 수행한다. 예를 들어, 브랜치는 분기로 지칭될 수 있다.

따라서, 픽셀 네트워크부(210)는 입력 이미지를 서로 다른 해상도의 여러 기능 맵으로 변환하여 입력 이미지에서 다양한 수준의 세부 정보를 활용할 수 있다.

본 발명의 일실시예에 따르면 주파수 네트워크부(220)는 이산 코사인 변환 블록(221), 주의 농축 블록(222), 세개의 잔류 주의 농축 블록(223), 콘벌루션 블록(224) 및 역 이산 코사인 변환 블록(225)으로 구성된다.

일례로, 주파수 네트워크부(220)는 이산 코사인 변환 블록(221)을 이용하여 입력 이미지를 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 단일 주의 농축 블록(222) 및 세개의 잔류 주의 농축 블록(223)을 이용하여 주파수 영역에서 모아레 무늬를 제거한 후, 콘벌루션 블록(224)을 통해 역 이산 코사인 변환 블록(225)에서 다시 이미지로 변환하여 제2 결과 이미지를 생성한다.

주파수 네트워크부(220)를 구성하는 잔류 주의 농축 블록(223)의 수 및 잔류 주의 농축 블록(223) 내 콘벌루션 블록의 수에 따라 아래 표 2와 같이 PNSR이 측정될 수 있다.

잔류 주의 농축 블록의 수	잔류 주의 농축 블록 내 콘벌루션 블록의 수	PNSR
3	3	34.02
3	5	34.49
3	10	35.22
5	3	34.31
5	5	34.49
5	10	35.04

주파수 네트워크부(220)를 구성하는 잔류 주의 농축 블록(223)의 수 및 잔류 주의 농축 블록(223) 내 콘벌루션 수는 각각 3 및 10일 경우 가장 PNSR이 높을 수 있다.

본 발명의 일실시예에 따르면 결합 네트워크부(230)는 픽셀 네트워크부(210)의 제1 결과 이미지와 주파수 네트워크부(220)의 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성한다.

예를 들어, 결합 네트워크부(230)의 세부 구성은 도 4를 이용하여 보충 설명한다.

또한, 주의 농축 블록(216), 잔류 주의 농축 블록(217), 주의 농축 블록(222), 세개의 잔류 주의 농축 블록(223)은 도 3a 및 도 3b를 이용하여 보충 설명한다.

또한, 모아레 무늬 제거 장치(200)는 결합 네트워크부(230)를 포함할 경우 PSNR이 38.86으로 단순히 콘벌루션 블록을 연결하여 측정된 PNSR 38.72이 보다 높아 모아레 무늬 제거 효율이 높다.

따라서, 본 발명은 뉴럴 네트워크를 픽셀 영역과 주파수 영역에 각각 적용하고, 픽셀 영역에서의 학습 결과와 주파수 영역에서의 학습 결과를 합성하여 모아레 무늬를 효과적으로 제거하는 모아레 무늬 제거 장치 및 방법을 제공할 수 있다.

도 3a 및 도 3b는 본 발명의 일실시예에 따른 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)을 설명하는 도면이다.

도 3a는 본 발명의 일실시예에 따른 주의 농축 블록(attention dense block, ADB)의 구성 요소를 설명하는 도면이다.

도 3a를 참고하면, 본 발명의 일실시예에 따른 주의 농축 블록(300)은 콘벌루션 블록, SELU블록 및 CBAM 블록이 세 차례 반복 형성된 제1 구조 및 콘택(contact) 블록, 1 X 1 콘벌루션 블록 및 SELU 블록으로 구성된 제2 구조의 병합 구조로 이루어진다.

본 발명의 일실시예에 따른 주의 농축 블록(300)은 단일 컨벌루션 레이어와 픽셀 셔플의 조합 인 업 샘플링 모듈을 사용하여 각 브랜치에서 기능 맵의 해상도를 높인 다음 더 미세한 브랜치의 기능 맵과 연결하는 역할을 수행한다.

도 3b는 본 발명의 일실시예에 따른 잔류 주의 농축 블록(residual attention dense block, RADB)의 구성 요소를 설명하는 도면이다.

도 3b를 참고하면, 본 발명의 일실시예에 따른 잔류 주의 농축 블록(310)은 콘벌루션 블록, SELU블록 및 CBAM 블록이 세 차례 반복 형성된 제1 구조(311)를 주의 농축 블록(300)과 동일하게 포함하고, 콘택(contact) 블록, 1 X 1 콘벌루션 블록 및 로컬 콘벌루션 블록을 포함하는 제2 구조(312)로 구성된다.

본 발명의 일실시예에 따르면 잔류 주의 농축 블록(310)은 상단 브랜치의 끝에서 합성 곱 레이어를 사용하여 최종 출력 이미지를 생성하는 역할을 수행한다.

도 4는 본 발명의 일실시예에 따른 결합 네트워크부를 설명하는 도면이다.

도 4를 참고하면, 결합 네트워크부(400)는 동적 필터 생성 네트워크부(410)를 포함하고, 동적 필터 생성 네트워크부(410)를 통해 픽셀 네트워크부의 결과 이미지와 주파수 네트워크부의 결과 이미지를 적절하게 결합하여 효과적으로 모아레 무늬를 제거할 수 있다.

따라서, 결합 네트워크부(400)는 동적 필터 생성 네트워크부(410)를 통해 획득되는 보완 부위(411)와 제1 결과 이미지 및 제2 결과 이미지를 로컬 콘벌루션 블록(420)을 이용하여 보완 결합하여 제3 결과 이미지를 생성할 수 있다.

예를 들어, 로컬 콘벌루션 블록(420)은 1 X 1 인 컨벌루션 계층으로 제1 결과 이미지 및 제2 결과 이미지 중 어느 하나라도 모아레 무늬가 포함될 경우, 모아레 무늬가 없는 이미지를 형성하기 어렵다.

따라서, 결합 네트워크부(400)는 동적 필터 생성 네트워크부(410)를 통해 획득되는 보완 부위(411)를 활용하여 모아레 무늬가 제거된 제3 결과 이미지가 생성한다.

도 5는 본 발명의 일실시예에 따른 버스트 입력 이미지의 모아레 무늬 제거 장치를 설명하는 도면이다.

도 5는 본 발명의 일실시예에 따른 버스트 입력 이미지의 모아레 무늬 제거 장치의 구성 요소를 보다 구체적으로 설명하는 도면이다.

도 5를 참고하면, 본 발명의 일실시예에 따른 모아레 무늬 제거 장치(500)는 픽셀 네트워크부(510), 주파수 네트워크부(520) 및 결합 네트워크부(530)로 구성된다.

일례로, 본 발명의 일실시예에 따른 모아레 무늬 제거 장치(500)는 모아레 무늬가 포함된 버스트 입력 이미지(540)를 입력 받아 모아레 무늬가 제거된 결과 이미지(241)를 출력할 수 있다.

본 발명의 일실시예에 따르면 픽셀 네트워크부(510)는 주의 네트워크부(511), 콘벌루션 블록(512), 업 샘플링 블록(513), 연속 블록(514), 주의 농축 블록(515), 잔류 주의 농축 블록(516)을 포함한다.

본 발명의 일실시예에 따르면 주의 네트워크부(511)는 버스트 이미지 중 각 이미지 간의 변형 및 상기 중복 정보를 추출하고, 추출된 변형 및 중복 정보를 결합하여 글로벌 기능 맵(global feature map)을 생성하는 글로벌 모듈 및 버스트 이미지(burst image) 중 기준 이미지를 결정하고, 결정된 기준 이미지에 기반하여 서로 다른 기하학적 변형에 따른 이미지의 정렬 불량을 고려하기 위한 주의맵(attention map)을 생성하는 주의 모듈을 포함한다.

일례로, 주의 네트워크부(511)는 모아레 무늬가 제거된 글로벌 이미지를 생성할 수 있다.

주의 네트워크부(511)를 이용한 버스트 이미지의 디모아레 과정은 도 6을 이용하여 보충 설명한다.

예를 들어, 주의 농축 블록(515)은 5개의 콘벌루션 블록으로 이루어져 16개의 채널을 포함하고 있다.

한편, 잔류 주의 농축 블록(516)은 5개 또는 10개의 콘벌루션 블록으로 이루어져 32개의 채널을 포함하고 있다.

예를 들어, 업 샘플링 블록(513)은 다운 샘플링된 데이터를 업 샘플링하는 역할을 수행한다.

예를 들어, 제2 연속 블록(512)은 연속 블록에 콘벌루션 블록이 추가된다.

일례로, 픽셀 네트워크부(510)는 서로 다른 픽셀 값에서 모아레 무늬를 제거하기 위하여 복수의 브랜치로 구분되는데, 각 브랜치는 콘벌루션 블록(512), 업 샘플링 블록(513), 연속 블록(514), 주의 농축 블록(515), 잔류 주의 농축 블록(516)으로 구성된다.

각 브랜치는 커널(kernel) 크기가 2 X 2이고 각 브랜치에서 보폭이 2인 첫 번째 콘벌루션 블록(512)은 상위 레벨 브랜치에서 2배로 특성 맵을 다운 샘플링하는 역할을 수행한다.

따라서, 픽셀 네트워크부(510)는 입력 이미지를 서로 다른 해상도의 여러 기능 맵으로 변환하여 입력 이미지에서 다양한 수준의 세부 정보를 활용할 수 있다.

일례로, 픽셀 네트워크부(510)는 버스트 이미지를 이용하여 모아레 무늬가 제거된 글로벌 이미지를 이용함에 따라 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.

본 발명의 일실시예에 따르면 주파수 네트워크부(520)는 이산 코사인 변환 블록(521), 주의 농축 블록(522), 세개의 잔류 주의 농축 블록(523), 콘벌루션 블록(524) 및 역 이산 코사인 변환 블록(525)으로 구성된다.

일례로, 주파수 네트워크부(520)는 이산 코사인 변환 블록(521)을 이용하여 버스트 이미지 중 기준 이미지를 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 단일 주의 농축 블록(522) 및 세개의 잔류 주의 농축 블록(523)을 이용하여 주파수 영역에서 모아레 무늬를 제거한 후, 콘벌루션 블록(524)을 통해 역 이산 코사인 변환 블록(525)에서 다시 이미지로 변환하여 제2 결과 이미지를 생성한다.

본 발명의 일실시예에 따르면 결합 네트워크부(530)는 픽셀 네트워크부(510)의 제1 결과 이미지와 주파수 네트워크부(520)의 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성한다.

도 6은 본 발명의 일실시예에 따른 주의 네트워크부를 설명하는 도면이다.

본 발명의 일실시예에 따르면 주의 네트워크부(600)는 글로벌 모듈(610), 주의 모듈(620)을 포함하고, 버스트 이미지(630)를 입력 받아 버스트 이미지(630)에서 전역 특징 맵(global feature map)에 해당하는 정보를 글로벌 모듈(610)을 통해 추출하고, 콘벌루션 블록을 이용하여 입력 이미지와 전역 특징 맵을 결합한 후, 주의 모듈(620)을 이용하여 서로 다른 기하학적 변형으로 인한 이미지의 정렬 불량을 고려하기 위해 기준 이미지를 버스트 이미지 중 중앙 이미지로 선택하고, 선택된 기준 이미지를 참조하여 주의 맵(632)을 생성한다.

다음으로, 주의 네트워크부(600)는 전역 특징 맵(global feature map)과 주의맵을 동시에 고려한 데이터(633)에 대하여 글로벌 모듈(610)을 추가 이용함으로써 최종적으로 모아레 무늬가 제거된 글로벌 이미지를 생성할 수 있다.

예를 들어, 주의 맵(632)은 비 기준 이미지의 다양한 기하학적 왜곡을 억제하여 원하지 않는 특징이 이중 도메인 네트워크의 입력으로 사용되는 병합 프로세스에 도달하는 것을 방지 할 수 있다.

주의 네트워크부는 주의 모듈과 글로벌 모듈을 동시에 포함할 시 PSNR이 가장 높게 측정되고 비교 결과는 아래 표 3과 같다

주의 모듈 포함 여부	글로벌 모듈 포함 여부	PSNR
○		37.82
	○	37.65
○	○	37.93

즉, 주의 네트워크부는 주의 모듈과 글로벌 모듈을 동시에 포함할 시 가장 효율적으로 버스트 이미지에 대한 디 모아레 기능을 수행할 수 있다.

도 7a는 본 발명의 일실시예에 따른 글로벌 모듈을 설명하는 도면이다.

도 7a를 참고하면, 본 발명의 일실시예에 따른 글로벌 모듈(700)은 콘벌루션 블록(701) 및 잔류 주의 농축 블록(702)을 포함한다.

예를 들어 콘벌루션 블록(701)은 1 X 1 콘벌루션 블록일 수 있다.

도 7b는 본 발명의 일실시예에 따른 주의 모듈을 설명하는 도면이다.

도 7b를 참고하면, 본 발명의 일실시예에 따른 주의 모듈(710)은 콘벌루션 블록(711), 시그모이드 블록(712) 및 곱셈 블록(713)을 포함한다.

예를 들어, 시그모이드 블록(712)은 시그모이드(sigmoid) 함수를 적용하는 블록일 수 있다.

예를 들어, 곱셈 블록(713)은 매트릭스 곱하기 연산에서 요소별 곱하기(element-wise multiplication) 연산을 수행하기 위한 블록일 수 있다.

콘벌루션 블록(711), 시그모이드 블록(712) 및 곱셈 블록(713)에는 버스트 이미지 중 어느 하나의 이미지와 기준 이미지가 데이터로 입력될 수 있다.

도 8a는 본 발명의 일실시예에 따른 단일 입력 이미지의 모아레 무늬 제거 결과를 비교 설명하는 도면이다.

도 8a를 참고하면, 이미지(800), 이미지(810) 및 이미지(820)는 검증 대상(ground truth) 이미지를 나타낼 수 있고, 이미지(801), 이미지(811) 및 이미지(821)는 모아레 무늬를 포함하는 이미지인 단일 입력 이미지를 나타낼 수 있으며, 이미지(802), 이미지(812) 및 이미지(822)는 픽셀 네트워크부를 이용하여 생성된 제1 결과 이미지를 나타낼 수 있고, 이미지(803), 이미지(813) 및 이미지(823)는 주파수 네트워크부를 이용하여 생성된 제2 결과 이미지를 나타낼 수 있고, 이미지(804), 이미지(814) 및 이미지(824)는 결합 네트워크부를 이용하여 생성된 제3 결과 이미지를 나타낼 수 있다.

각 이미지에 대하여 최대 신호 대 잡음비(peak signal-to-noise ratio, PNSR) 있는데, PNSR이 높을수록 모아레 무늬가 효과적으로 제거된 이미지로 판단할 수 있다.

이미지(801), 이미지(811) 및 이미지(821)의 PNSR은 각각이 28.48, 20.95, 21.01일 수 있다.

이미지(802), 이미지(812) 및 이미지(822)의 PNSR은 각각이 34.34, 37.78, 41.24일 수 있다.

이미지(803), 이미지(813) 및 이미지(823)의 PNSR은 각각이 34.25, 30.30, 34.61일 수 있다.

이미지(804), 이미지(814) 및 이미지(824)의 PNSR은 각각이 35.52, 38.53, 42.35일 수 있다.

단일 입력 이미지의 모아레 무늬 제거 결과를 나타내는 PNSR을 기준으로 제3 결과 이미지가 제1 및 제2 결과 이미지에 대비하여 높은 모아레 무늬 제거율을 나타낸다.

도 8b는 본 발명의 일실시예에 따른 버스트 입력 이미지의 모아레 무늬 제거 결과를 비교 설명하는 도면이다.

도 8b를 참고하면, 이미지(830), 이미지(840) 및 이미지(850)는 검증 대상(ground truth) 이미지를 나타낼 수 있고, 이미지(831), 이미지(841) 및 이미지(851)는 모아레 무늬를 포함하는 이미지인 단일 입력 이미지를 나타낼 수 있으며, 이미지(832), 이미지(842) 및 이미지(852)는 픽셀 네트워크부를 이용하여 생성된 제1 결과 이미지를 나타낼 수 있고, 이미지(833), 이미지(843) 및 이미지(853)는 주파수 네트워크부를 이용하여 생성된 제2 결과 이미지를 나타낼 수 있고, 이미지(834), 이미지(844) 및 이미지(854)는 결합 네트워크부를 이용하여 생성된 제3 결과 이미지를 나타낼 수 있다.

이미지(831), 이미지(841) 및 이미지(851)의 PNSR은 각각이 28.48, 20.95, 21.01일 수 있다.

이미지(832), 이미지(842) 및 이미지(852)의 PNSR은 각각이 36.39, 39.86, 41.15일 수 있다.

이미지(833), 이미지(843) 및 이미지(853)의 PNSR은 각각이 34.25, 30.30, 34.61일 수 있다.

이미지(834), 이미지(844) 및 이미지(854)의 PNSR은 각각이 36.53, 40.11, 42.55일 수 있다.

버스트 입력 이미지의 모아레 무늬 제거 결과를 나타내는 PNSR을 기준으로 제3 결과 이미지가 제1 및 제2 결과 이미지에 대비하여 높은 모아레 무늬 제거율을 나타낸다.

한편, 단일 입력 이미지와 버스트 입력 이미지의 모아레 무늬 제거 결과는 아래 표 4를 통해 비교할 수 있다.

	픽셀 네트워크	주파수 네트워크	결합 네트워크
단일 이미지	38.07	35.61	38.74
버스트 이미지	38.48	35.61	39.22

표 4를 참고하면, 단일 이미지를 이용한 모아레 무늬 제거율보다 버스트 이미지를 이용한 모아레 무늬 제거율이 높고, 픽셀 네트워크 또는 주파수 네트워크를 이용한 모아레 무늬 제거율보다 픽셀 네트워크 및 주파수 네트워크 두 도메인의 결과를 결합한 결과가 모아레 무늬 제거율이 높다.

도 9는 본 발명의 일실시예에 따른 모아레 무늬 제거 방법을 설명하는 도면이다.

도 9는 본 발명의 일실시예에 따라서 이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 방법을 예시한다.

도 9를 참고하면, 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 단계(901)에서 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성한다.

즉, 모아레 무늬 제거 방법은 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성한다.

단계(902)에서 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성한다.

즉, 모아레 무늬 제거 방법은 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성할 수 있다.

단계(903)에서 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 제1 결과 이미지와 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성한다.

즉, 모아레 무늬 제거 방법은 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지와 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지에서의 서로 다른 특성을 보완하여 제3 결과 이미지를 최종적으로 생성할 수 있다.

따라서, 본 발명은 픽셀 영역에서 여러 해상도에 대하여 모아레 무늬를 제거한 결과 이미지와 주파수 영역에서 광범위하게 나타나는 관찰을 기반으로 주파수 영역에서 모아레를 제거한 결과 이미지를 적절하게 결합하여 효과적으로 입력 이미지에서 모아레 무늬를 제거할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 모아레 무늬 제거 장치
110: 픽셀 네트워크부 120: 주파수 네트워크부
130: 결합 네트워크부

Claims

이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 장치에 있어서,
입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부;
상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부; 및
상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함하고,
상기 입력 이미지는 동일한 대상을 캡쳐하고, 서로 다른 기하학적 변형을 갖는 복수의 이미지로 구성된 버스트 이미지(burst image)를 포함하고,
상기 버스트 이미지(burst image)는 각 이미지에서 서로 다른 모아레 무늬가 포함되고, 상기 각 이미지에서 모아레 무늬가 형성되지 않은 클린 영역이 포함되며, 상기 각 이미지의 전체가 중복되는 중복 정보를 포함하는 것을 특징으로 하는
모아레 무늬 제거 장치.
삭제
제1항에 있어서,
상기 픽셀 네트워크부는
상기 각 이미지 간의 변형 및 상기 중복 정보를 추출하고, 상기 추출된 변형 및 상기 중복 정보를 결합하여 글로벌 기능 맵(global feature map)을 생성하며, 상기 버스트 이미지(burst image) 중 기준 이미지를 결정하고, 상기 결정된 기준 이미지에 기반하여 상기 서로 다른 기하학적 변형에 따른 이미지의 정렬 불량을 고려하기 위한 주의맵(attention map)을 생성하는 주의 네트워크부를 포함하는 것을 특징으로 하는
모아레 무늬 제거 장치.
제3항에 있어서,
상기 픽셀 네트워크부는
상기 생성된 글로벌 기능 맵(global feature map) 및 상기 생성된 주의맵(attention map)을 이용하여 상기 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 것을 특징으로 하는
모아레 무늬 제거 장치.
제3항에 있어서,
상기 주파수 네트워크부는
상기 결정된 기준 이미지를 상기 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 것을 특징으로 하는
모아레 무늬 제거 장치.
제1항에 있어서,
상기 픽셀 네트워크부 및 상기 주파수 네트워크부는
상기 입력 이미지에 대하여 서로 독립적으로 학습하여 상기 입력 이미지에서 모아레 무늬를 제거하는 것을 특징으로 하는
모아레 무늬 제거 장치.
이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 장치에 있어서,
입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부;
상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부; 및
상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함하고,
상기 픽셀 네트워크부는
주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)로 각각 구성된 상기 브랜치(branch)들을 포함하고, 상기 브랜치(branch)들에서 상기 주의 농축 블록(attention dense block, ADB) 및 상기 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 상기 생성된 가공 입력 이미지에 대한 서로 다른 크기의 픽셀에서의 모아레 무늬를 제거하여 상기 제1 결과 이미지를 생성하는 것을 특징으로 하는
모아레 무늬 제거 장치.
이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 장치에 있어서,
입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부;
상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부; 및
상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함하고,
상기 주파수 네트워크부는
상기 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터를 주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역에서의 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 상기 제2 결과 이미지를 생성하는 것을 특징으로 하는
모아레 무늬 제거 장치.
이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 장치에 있어서,
입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부;
상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부; 및
상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함하고,
상기 결합 네트워크부는
상기 제1 결과 이미지와 상기 제2 결과 이미지의 서로 다른 특성을 보완하기 위해 로컬 혼합 필터를 출력하는 동적 필터 생성 네트워크부를 포함하는 것을 특징으로 하는
모아레 무늬 제거 장치.
제9항에 있어서,
상기 동적 필터 생성 네트워크부는
상기 제1 결과 이미지와 상기 제2 결과 이미지와 관련하여 모아레 무늬가 존재하지 않는 이미지와 관련된 상기 로컬 혼합 필터의 계수를 결정하는 것을 특징으로 하는
모아레 무늬 제거 장치.
이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 장치에 있어서,
입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부;
상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 주파수 네트워크부; 및
상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 결합 네트워크부를 포함하고,
상기 픽셀 네트워크부, 상기 주파수 네트워크부 및 상기 결합 네트워크부는
상기 입력 이미지의 서로 다른 기하학적 변환에 대하여 추가적으로 학습하여 상기 서로 다른 기하학적 변환에 따른 복수의 제1 결과 이미지, 복수의 제2 결과 이미지 및 복수의 제3 결과 이미지를 생성하고, 상기 복수의 제3 결과 이미지에 대한 평균을 결정하여 모아레 무늬가 제거된 제4 결과 이미지를 생성하는 것을 특징으로 하는
모아레 무늬 제거 장치.
이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 방법에 있어서,
픽셀 네트워크부에서, 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계;
주파수 네트워크부에서, 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계; 및
결합 네트워크부에서, 상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 단계를 포함하고,
상기 입력 이미지는 동일한 대상을 캡쳐하고, 서로 다른 기하학적 변형을 갖는 복수의 이미지로 구성된 버스트 이미지(burst image)를 포함하고,
상기 버스트 이미지(burst image)는 각 이미지에서 서로 다른 모아레 무늬가 포함되고, 상기 각 이미지에서 모아레 무늬가 형성되지 않은 클린 영역이 포함되며, 상기 각 이미지의 전체가 중복되는 중복 정보를 포함하는 것을 특징으로 하는
모아레 무늬 제거 방법.
삭제
제12항에 있어서,
상기 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계는,
상기 각 이미지 간의 변형 및 상기 중복 정보를 추출하고, 상기 추출된 변형 및 상기 중복 정보를 결합하여 글로벌 기능 맵(global feature map)을 생성하며, 상기 버스트 이미지(burst image) 중 기준 이미지를 결정하고, 상기 결정된 기준 이미지에 기반하여 상기 서로 다른 기하학적 변형에 따른 이미지의 정렬 불량을 고려하기 위한 주의맵(attention map)을 생성하는 단계; 및
상기 생성된 글로벌 기능 맵(global feature map) 및 상기 생성된 주의맵(attention map)을 이용하여 상기 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계를 포함하는
모아레 무늬 제거 방법.
제14항에 있어서,
상기 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계는,
상기 결정된 기준 이미지를 상기 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
모아레 무늬 제거 방법.
이중 도메인 뉴럴 네트워크에 기반하여 영상 내 모아레 무늬를 제거 하는 방법에 있어서,
픽셀 네트워크부에서, 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계;
주파수 네트워크부에서, 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성하는 단계; 및
결합 네트워크부에서, 상기 제1 결과 이미지와 상기 제2 결과 이미지를 결합하여 제3 결과 이미지를 생성하는 단계를 포함하고,
상기 입력 이미지로부터 모아레 무늬와 관련된 엣지(edge) 정보를 추출하고, 상기 추출된 엣지(edge) 정보를 포함하는 가공 입력 이미지를 생성하며, 상기 생성된 가공 입력 이미지를 복수의 해상도로 구분된 브랜치(branch)들을 이용하여 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계는,
주의 농축 블록(attention dense block, ADB) 및 잔류 주의 농축 블록(residual attention dense block, RADB)로 각각 구성된 상기 브랜치(branch)들에서 상기 주의 농축 블록(attention dense block, ADB) 및 상기 잔류 주의 농축 블록(residual attention dense block, RADB)을 이용하여 상기 생성된 가공 입력 이미지에 대한 서로 다른 크기의 픽셀에서의 모아레 무늬를 제거하여 상기 제1 결과 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
모아레 무늬 제거 방법.