KR102327758B1 - 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법 - Google Patents

다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법 Download PDF

Info

Publication number
KR102327758B1
KR102327758B1 KR1020200137349A KR20200137349A KR102327758B1 KR 102327758 B1 KR102327758 B1 KR 102327758B1 KR 1020200137349 A KR1020200137349 A KR 1020200137349A KR 20200137349 A KR20200137349 A KR 20200137349A KR 102327758 B1 KR102327758 B1 KR 102327758B1
Authority
KR
South Korea
Prior art keywords
image
moiré
network unit
input image
generating
Prior art date
Application number
KR1020200137349A
Other languages
English (en)
Inventor
이철
비엔지아안
박현국
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020200137349A priority Critical patent/KR102327758B1/ko
Application granted granted Critical
Publication of KR102327758B1 publication Critical patent/KR102327758B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 다중 도메인 딥러닝을 이용하여 영상 내 모아레 무늬를 제거함에 따라 고품질의 영상을 획득하기 위한 기술적 사상에 관한 것으로, 다중 네트워크 기반으로 모아레 무늬를 효과적으로 제거하여 모아레 무늬에 따라 저하된 영상의 색상을 복원하는 기술에 관한 것으로, 본 발명의 일실시예에 따르면 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치는 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부, 상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 주파수 네트워크부, 상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 엣지 네트워크부 및 상기 생성된 엣지 맵(edge)을 이용하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성하고, 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성하는 리파인먼트 네트워크부를 포함할 수 있다.

Description

다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법{APPARATUS AND METHOD OF REMOVING MOIRE PATTERN IN IMAGE USING MULTI-DOMAIN DEEP LEARNING}
본 발명은 다중 도메인 딥러닝을 이용하여 영상 내 모아레 무늬를 제거함에 따라 고품질의 영상을 획득하기 위한 기술적 사상에 관한 것으로, 다중 네트워크 기반으로 모아레 무늬를 효과적으로 제거하여 모아레 무늬에 따라 저하된 영상의 색상을 복원하는 기술에 관한 것이다.
최근 디지털 영상 기술의 발전으로 스마트폰 등의 카메라를 이용하여 다양한 환경에서 사진을 촬영할 수 있다.
하지만, 디스플레이 화면 촬영 시 카메라와 디스플레이의 그리드 위치 차이로 인하여 앨리어싱(aliasing)이 발생하며, 취득된 영상에 모아레 무늬가 포함되고 영상 전체의 색상이 저하된다.
모아레(Moirι) 무늬는 촬영된 화면에 무지갯빛 또는 물결무늬의 출렁임 등 복잡한 형태와 다양한 색을 포함하는 등 영상의 품질을 저하시킨다.
따라서 화면 촬영 영상의 모아레 무늬를 제거하여 영상 품질을 향상시키는 기술의 개발이 필수적이다.
또한, 모아레 무늬는 디지털 카메라로 캡처 한 이미지에서 다채로운 패턴으로, 카메라의 컬러 필터 배열(color filter arrangement, CFA)과 고주파 장면 콘텐츠간에 주파수 앨리어싱이 발생하면 생성되는 모아레 아티팩트와 관련된다.
스크린 샷 이미지에서는 카메라의 컬러 필터 배열과 화면의 하위 픽셀 레이아웃이 삽입되고, 캡처 된 이미지에는 이미지에 다양한 모양과 색상 변형이 있는 모아레 아티팩트가 포함되어 있어 사진의 품질이 저하된다.
따라서, 모아레 아티팩트를 효과적으로 제거하고 이미지 디모아레링(demoreing)이라고하는 이미지 품질을 향상시키기 위해 많은 알고리즘이 개발되었다.
다시 말해, 디스플레이 화면을 디지털 카메라를 통해 촬영 시 카메라의 컬러 필터 배열(CFA)과 디스플레이의 그리드 위치 차이로 인하여 앨리어싱 현상이 발생하며, 취득된 영상에 모아레 무늬가 발생하여 영상의 품질이 저하된다.
모아레 무늬는 촬영된 화면에 무지갯빛 또는 물결무늬의 출렁임 등 복잡한 형태와 다양한 색을 포함하여 나타나며, 영상의 품질을 저하시킴에 따라 모아레 무늬를 제거하여 영상의 품질을 향상시키기 위해서 다양한 알고리즘이 개발되었다.
예를 들어 종래 기술들 중 Schφberl 등은 카메라 센서 앞에 저역 통과 필터를 부착하여 앨리어싱 현상을 제거하는 기법을 제안하고 있다.
하지만 이 기법은 특수한 하드웨어를 필요로 하며 저역 통과 필터링으로 인해 고주파 성분을 제거하여 결과 영상이 과도하게 부드러워지는 문제를 발생시킨다.
종래 기술들 중 Pekkucuksen와 Altunbasak는 색상 차이 보간법을 기반으로 색상 필터 배열의 부 샘플링(subsampling) 기법을 제안하였다.
하지만 이 기법은 계산 복잡도가 높으며, 결과 영상이 녹색 채널에 과도하게 의존하여 실제 적용에 어려움이 있다.
최근에는 CNN(convolution neural network) 기반의 기법들은 대량의 데이터셋 학습을 통하여 모델 기반의 기법들 보다 우수한 성능을 보이고 있다.
예를 들어 종래 기술들 중 Sun 등은 대량의 데이터셋을 학습시켜 모아레 무늬를 제거하는 기법을 제안하였고, Cheng은 Sun 등의 기법에서 다이나믹 특징 인코딩 모듈(dynamic feature encoding module)을 추가하여 모아레 현상의 복잡한 무늬를 해결하고자 했다.
종래 기술들 중 He 등은 영상의 엣지 정보와 모아레 무늬의 다양한 특성을 고려한 뉴럴 네트워크를 개발하였다.
하지만 이전 기법들은 공통적으로 강한 색과 형태의 모아레 무늬는 효과적으로 제거하지 못하고 학습데이터를 촬영한 카메라의 설정과 다르게 촬영된 영상에 대해서는 품질이 저하되는 단점이 있다.
한국공개특허 제10-2020-0084419호, "모아레 제거 모델을 생성하기 위한 장치, 모아레를 제거하기 위한 방법 및 모아레를 제거하기 위한 촬상 장치" 한국등록특허 제10-2125379호, "딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법" 한국공개특허 제10-2019-0021756호, "영상 처리 방법 및 이를 이용한 표시 장치"
본 발명은 다중 네트워크 기반으로 복수개의 서브 네트워크를 통해 모아레를 효과적으로 제거하여 영상의 색상을 복원하는 모아레 제거 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 모아레 무늬를 포함하는 입력 이미지를 픽셀 네트워크와 주파수 네트워크를 통해 각각 독립적으로 학습하고, 독립적 학습 결과를 엣지 네트워크를 통해 학습된 엣지 맵을 이용하여 보완함에 따라 학습 결과의 품질이 향상되면서도, 모아레 무늬를 제거하기 위한 학습 시간을 감소하고, 메모리 효율을 높이는 것을 목적으로 한다.
본 발명은 이미지의 전역적인 색상을 보상하는 전역 브랜치와 이미지의 지역적인 색상을 보상하는 지역 브랜치를 통해 모아레 무늬를 포함하는 입력 이미지와 모아레 무늬를 포함하지 않는 원본 이미지 사이의 밝기 차이를 보상하는 것을 목적으로 한다.
본 발명은 모아레 무늬를 포함하는 입력 이미지 내 텍스처(texture)와 모아레 무늬를 주파수 영역에서의 변환 계수 분포를 이용하여 효과적으로 구분하는 것을 목적으로 한다.
본 발명은 앙상블 기법을 이용하여 서로 다른 기하학적 변환에 대한 모아레 무늬를 제거함에 따라 모아레 무늬 제거 효율성을 증가시키는 것을 목적으로 한다.
본 발명의 일실시예에 따르면 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치는 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부, 상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 주파수 네트워크부, 상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 엣지 네트워크부 및 상기 생성된 엣지 맵(edge)을 이용하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성하고, 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성하는 리파인먼트 네트워크부를 포함할 수 있다.
상기 픽셀 네트워크부는 상기 픽셀 영역에서 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)로 구성되고, 상기 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 상기 제1 결과 이미지를 생성할 수 있다.
상기 픽셀 네트워크부는 상기 다중 수용 필드 블록(multiple receptive field block, MRFB)에서 상기 입력 이미지의 서로 다른 크기의 픽셀 값과 관련된 다일레이션 요인(dilation factor)을 통해 콘벌루션 블록의 수용 필드(receptive field)를 확장하고, 잔류 농축 블록(residual dense block, RDB)을 사용하여 상기 입력 이미지의 픽셀 영역에서 모아레 무늬를 제거할 수 있다.
상기 픽셀 네트워크부는 상기 톤 맵핑 블록(tone-mapping block, TMB)에서 상기 입력 이미지의 전역적인 색상을 보상하는 전역 브랜치(global branch)와 상기 입력 이미지의 지역적인 색상을 보상하는 지역 브랜치(local branch)를 통해 상기 입력 이미지와 모아레 무늬가 없는 원본 이미지 사이의 밝기 차이를 보상할 수 있다.
상기 픽셀 네트워크부는 상기 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)에 상기 입력 이미지를 적용하기 위하여 3 X 3 콘벌루션 커널(convolution kernel)을 이용하여 특징 맵을 추출하고, 2 X 2 콘벌루션 커널(convolution kernel)을 이용하여 상기 추출된 특징 맵의 크기를 조절할 수 있다.
상기 주파수 네트워크부는 상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 상기 제2 결과 이미지를 생성할 수 있다.
상기 주파수 네트워크부는 상기 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터에서 변환 계수 분포 차이를 이용하여 모아레 무늬가 제거된 데이터를 생성하고, 상기 생성된 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 상기 제2 결과 이미지를 생성할 수 있다.
상기 엣지 네트워크부는 소벨(sobel) 연산자를 이용하여 상기 입력 이미지로부터 상기 엣지 정보를 추출하고, U-Net 블록 및 비 로컬 블록으로 이루어진 다중 스케일 네트워크를 이용하여 상기 엣지 맵(edge map)을 생성할 수 있다.
상기 픽셀 네트워크부, 상기 주파수 네트워크부 및 상기 엣지 네트워크부는 상기 입력 이미지에 대하여 서로 독립적으로 학습하여 상기 제1 결과 이미지, 상기 제2 결과 이미지 및 상기 엣지 맵(edge map)을 생성할 수 있다.
상기 리파인먼트 네트워크부는 상기 서로 독립적으로 학습된 제1 결과 이미지, 제2 결과 이미지 및 엣지 맵에 기반하여 상기 입력 이미지의 크기를 점차적으로 증가시키면서 미조정(fine-tuning)을 통해 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 생성할 수 있다.
본 발명의 일실시예에 따르면 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 방법은 픽셀 네트워크부에서, 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계, 주파수 네트워크부에서, 상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 단계, 엣지 네트워크부에서, 상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 단계, 리파인먼트 네트워크부에서, 상기 생성된 엣지 맵(edge)을 이용하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성하는 단계 및 상기 리파인먼트 네트워크부에서, 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성하는 단계를 포함할 수 있다.
상기 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계는 상기 픽셀 영역에서 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)로 구성되고, 상기 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 상기 제1 결과 이미지를 생성하는 단계를 포함할 수 있다.
상기 상기 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 상기 제1 결과 이미지를 생성하는 단계는 상기 다중 수용 필드 블록(multiple receptive field block, MRFB)에서 상기 입력 이미지의 서로 다른 크기의 픽셀 값과 관련된 다일레이션 요인(dilation factor)을 통해 콘벌루션 블록의 수용 필드(receptive field)를 확장하고, 잔류 농축 블록(residual dense block, RDB)을 사용하여 상기 입력 이미지의 픽셀 영역에서 모아레 무늬를 제거하는 단계 및 상기 톤 맵핑 블록(tone-mapping block, TMB)에서 상기 입력 이미지의 전역적인 색상을 보상하는 전역 브랜치(global branch)와 상기 입력 이미지의 지역적인 색상을 보상하는 지역 브랜치(local branch)를 통해 상기 입력 이미지와 모아레 무늬가 없는 원본 이미지 사이의 밝기 차이를 보상하는 단계를 포함할 수 있다.
상기 상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 단계는 상기 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하는 단계, 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터에서 변환 계수 분포 차이를 이용하여 모아레 무늬가 제거된 데이터를 생성하는 단계 및 상기 생성된 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 상기 제2 결과 이미지를 생성하는 단계를 포함할 수 있다.
상기 상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 단계는 소벨(sobel) 연산자를 이용하여 상기 입력 이미지로부터 상기 엣지 정보를 추출하고, U-Net 블록 및 비 로컬 블록으로 이루어진 다중 스케일 네트워크를 이용하여 상기 엣지 맵(edge map)을 생성하는 단계를 포함할 수 있다.
상기 제1 보완 이미지 및 제2 보완 이미지를 생성하는 단계는 서로 독립적으로 학습된 제1 결과 이미지, 제2 결과 이미지 및 엣지 맵에 기반하여 상기 입력 이미지의 크기를 점차적으로 증가시키면서 미조정(fine-tuning)을 통해 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 생성하는 단계를 포함할 수 있다.
본 발명은 다중 네트워크 기반으로 복수개의 서브 네트워크를 통해 모아레를 효과적으로 제거하여 영상의 색상을 복원하는 모아레 제거 장치 및 방법을 제공할 수 있다.
본 발명은 모아레 무늬를 포함하는 입력 이미지를 픽셀 네트워크와 주파수 네트워크를 통해 각각 독립적으로 학습하고, 독립적 학습 결과를 엣지 네트워크를 통해 학습된 엣지 맵을 이용하여 보완함에 따라 학습 결과의 품질이 향상되면서도, 모아레 무늬를 제거하기 위한 학습 시간을 감소하고, 메모리 효율을 높일 수 있다.
본 발명은 이미지의 전역적인 색상을 보상하는 전역 브랜치와 이미지의 지역적인 색상을 보상하는 지역 브랜치를 통해 모아레 무늬를 포함하는 입력 이미지와 모아레 무늬를 포함하지 않는 원본 이미지 사이의 밝기 차이를 보상할 수 있다.
본 발명은 모아레 무늬를 포함하는 입력 이미지 내 텍스처(texture)와 모아레 무늬를 주파수 영역에서의 변환 계수 분포를 이용하여 효과적으로 구분할 수 있다.
본 발명은 앙상블 기법을 이용하여 서로 다른 기하학적 변환에 대한 모아레 무늬를 제거함에 따라 모아레 무늬 제거 효율성을 증가시킬 수 있다.
도 1 및 도 2는 본 발명의 일실시예에 따른 모아레 무늬 제거 장치를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 픽셀 네트워크부를 설명하는 도면이다.
도 4a 및 도 4b는 본 발명의 일실시예에 따른 다중 수용 필드 블록(Multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 엣지 네트워크부를 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 리파인먼트(refinement) 네트워크부를 설명하는 도면이다.
도 7a 내지 도 7c는 본 발명의 일실시예에 따른 모아레 무늬 제거 결과를 종래 기술에 따른 모아레 무늬 제거 결과에 비교 설명하는 도면이다.
도 8은 본 발명의 일실시예에 따른 모아레 무늬 제거 방법을 설명하는 도면이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1 및 도 2는 본 발명의 일실시예에 따른 모아레 무늬 제거 장치를 설명하는 도면이다.
도 1은 본 발명의 일실시예에 따른 모아레 무늬 제거 장치의 구성 요소를 예시한다.
도 1을 참고하면 본 발명의 일실시예에 따른 모아레 무늬 제거 장치(100)는 픽셀 네트워크부(110), 주파수 네트워크부(120), 엣지 네트워크부(130) 및 리파인먼트 네트워크부(140)를 포함한다.
일례로, 픽셀 네트워크부(110), 주파수 네트워크부(120), 엣지 네트워크부(130)는 모아레 무늬를 포함하는 입력 이미지를 입력받는 입력부(미도시)와 연결되고, 리파인먼트 네트워크부(140)는 모아레 무늬가 제거된 결과 이미지를 출력하는 출력부(미도시)와 연결될 수 있다.
본 발명의 일실시예에 따르면 픽셀 네트워크부(110)는 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.
일례로, 픽셀 네트워크부(110)는 픽셀 영역에서 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)로 구성되고, 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 제1 결과 이미지를 생성할 수 있다.
예를 들어, 픽셀 네트워크부(110)는 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)에 입력 이미지를 적용하기 위하여 3 X 3 콘벌루션 커널(convolution kernel)을 이용하여 특징 맵을 추출하고, 2 X 2 콘벌루션 커널(convolution kernel)을 이용하여 추출된 특징 맵의 크기를 조절할 수 있다.
따라서, 픽셀 네트워크부(110)는 픽셀 영역의 다양한 픽셀 값에서 입력 이미지의 모아레 무늬를 제거할 수 있다.
본 발명의 일실시예에 따르면 픽셀 네트워크부(110)는 다중 수용 필드 블록(multiple receptive field block, MRFB)에서 입력 이미지의 서로 다른 크기의 픽셀 값과 관련된 다일레이션 요인(dilation factor)을 통해 콘벌루션 블록의 수용 필드(receptive field)를 확장하고, 잔류 농축 블록(residual dense block, RDB)을 사용하여 입력 이미지의 픽셀 영역에서 모아레 무늬를 제거할 수 있다.
예를 들어, 영상은 복수의 이미지로 구성됨에 따라 영상은 이미지에 포함될 수 있다.
일례로, 픽셀 네트워크부(110)는 톤 맵핑 블록(tone-mapping block, TMB)에서 입력 이미지의 전역적인 색상을 보상하는 전역 브랜치(global branch)와 입력 이미지의 지역적인 색상을 보상하는 지역 브랜치(local branch)를 통해 입력 이미지와 모아레 무늬가 없는 원본 이미지 사이의 밝기 차이를 보상할 수 있다.
본 발명의 일실시예에 따르면 주파수 네트워크부(120)는 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성할 수 있다.
일례로, 주파수 네트워크부(120)는 입력 이미지를 주파수 영역으로 변환하고, 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성할 수 있다.
보다 구체적으로, 주파수 네트워크부(120)는 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터에서 변환 계수 분포 차이를 이용하여 모아레 무늬가 제거된 데이터를 생성한다.
또한, 주파수 네트워크부(120)는 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 제2 결과 이미지를 생성할 수 있다.
따라서, 본 발명은 모아레 무늬를 포함하는 입력 이미지 내 텍스처(texture)와 모아레 무늬를 주파수 영역에서의 변환 계수 분포를 이용하여 효과적으로 구분할 수 있다.
본 발명의 일실시예에 따르면 엣지 네트워크부(130)는 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성할 수 있다.
일례로, 엣지 네트워크부(130)는 소벨(sobel) 연산자를 이용하여 입력 이미지로부터 엣지 정보를 추출하고, U-Net 블록 및 비 로컬 블록으로 이루어진 다중 스케일 네트워크를 이용하여 엣지 맵(edge map)을 생성할 수 있다.
본 발명의 일실시예에 따르면 리파인먼트 네트워크부(140)는 생성된 엣지 맵(edge)을 이용하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성할 수 있다.
또한, 리파인먼트 네트워크부(140)는 제1 보완 이미지 및 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성할 수 있다.
여기서, 제3 결과 이미지는 모아레 무늬가 모두 제거된 최종 결과 이미지에 해당될 수 있다.
본 발명의 일실시예에 따르면 리파인먼트 네트워크부(140)는 서로 독립적으로 학습된 제1 결과 이미지, 제2 결과 이미지 및 엣지 맵에 기반하여 입력 이미지의 크기를 점차적으로 증가시키면서 미조정(fine-tuning)을 통해 제1 보완 이미지 및 제2 보완 이미지를 생성할 수 있다.
일례로, 리파인먼트 네트워크부(140)는 결합 네트워크부로서 제1 보완 이미지와 제2 보완 이미지를 결합하여 최종 결과인 제3 결과 이미지를 생성할 수 있다.
따라서, 본 발명은 다중 네트워크 기반으로 복수개의 서브 네트워크를 통해 모아레를 효과적으로 제거하여 영상의 색상을 복원하는 모아레 제거 장치 및 방법을 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 모아레 무늬 제거 장치의 세부 구성 요소를 예시한다.
도 2를 참고하면, 본 발명의 일실시예에 따른 모아레 무늬 제거 장치(200)는 픽셀 네트워크부(210), 엣지 네트워크부(220), 주파수 네트워크부(230) 및 리파인먼트 네트워크부(240)를 포함한다.
본 발명의 일실시예에 따르면 픽셀 네트워크부(210)는 입력 이미지(250)를 픽셀 값 영역에서 여러 해상도를 가진 브랜치(branch)를 통해 모아레 무늬를 제거할 수 있다.
예를 들어, 픽셀 네트워크부(210)는 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 리파인먼트 네트워크부(240)로 전달하고, 제1 결과 이미지는 리파인먼트 네트워크부(240)로 전달되는 과정에서 엣지 네트워크부(220)에서 추출된 엣지 맵과 결합되어 제1 가공 이미지(251)로 리파인먼트 네트워크부(240)로 전달될 수 있다.
픽셀 네트워크부(210)의 세부 동작은 도 3, 도 4a 및 도 4b를 이용하여 보충 설명한다.
본 발명의 일실시예에 따른 엣지 네트워크부(220)는 입력 이미지(250)로부터 모아레 무늬가 제거된 가상의 결과 이미지의 엣지 정보를 정확히 추출하여 입력 이미지(250)로부터 모아레 무늬가 포함되지 않은 깨끗한 엣지 맵을 예측 생성한다.
예를 들어, 엣지 맵은 주파수 네트워크부(230)에 의해 생성되는 제2 결과 이미지와 결합되어 제2 가공 이미지(252)로 리파인먼트 네트워크부(240)로 전달될 수 있다.
엣지 네트워크부(220)의 세부 동작은 도 5를 이용하여 보충 설명한다.
본 발명의 일실시예에 주파수 네트워크부(230)는 입력 이미지(250)의 주파수 영역을 채택하여 픽셀 영역에서 구분할 수 없는 모아레의 특징을 보완하기 위해 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성한다.
제2 결과 이미지는 엣지 맵과 결합되어 제2 가공 이미지(252)로 리파인먼트 네트워크부(240)로 전달될 수 있다.
일례로, 주파수 네트워크부(230)는 주파수 영역에서의 변환 계수 분포의 차이를 이용하여 입력 이미지 내의 텍스쳐(texture)와 모아레 무늬를 구분함에 따라 픽셀 영역에서 구분하지 못하는 모아레 무늬를 구분할 수 있다.
본 발명의 일실시예에 따르면 리파인먼트 네트워크부(240)는 제1 가공 이미지(251) 및 제2 가공 이미지(252)를 이용하여 제1 보완 이미지(253) 및 제2 보완 이미지(254)를 생성한다.
예를 들어, 제1 보완 이미지(253)는 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지에 대한 보완 이미지일 수 있고, 제2 보완 이미지(254)는 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지에 대한 보완 이미지일 수 있다.
본 발명의 일실시예에 따르면 리파인먼트 네트워크부(240)는 결합 네트워크부로서 제1 보완 이미지(253)와 제2 보완 이미지(254)를 결합하여 최종적으로 제3 결과 이미지(255)를 생성한다.
리파인먼트 네트워크부(240)의 세부 블록 구성은 도 6을 이용하여 보충 설명한다.
본 발명의 일실시예에 따르면 모아레 무늬 제거 장치(200)는 픽셀 네트워크부(210), 엣지 네트워크부(220) 및 주파수 네트워크부(230)를 이용하여 입력 이미지(250)에 대하여 독립적으로 학습을 수행하여 모아레 무늬를 제거하기 위한 제1 결과 이미지, 제2 결과 이미지 및 엣지 맵을 생성한다.
따라서, 본 발명은 모아레 무늬를 포함하는 입력 이미지를 픽셀 네트워크와 주파수 네트워크를 통해 각각 독립적으로 학습하고, 독립적 학습 결과를 엣지 네트워크를 통해 학습된 엣지 맵을 이용하여 보완함에 따라 학습 결과의 품질이 향상되면서도, 모아레 무늬를 제거하기 위한 학습 시간을 감소하고, 메모리 효율을 높일 수 있다.
본 발명의 일실시예에 따르면 픽셀 네트워크부(210)와 리파인먼트 네트워크부(240)는 하기 수학식 1을 이용하여 입력 이미지(250)에 대한 학습을 수행할 수 있다.
[수학식 1]
Figure 112020111971118-pat00001
수학식 1에서, Lp는 픽셀 로스(pixel loss)인 픽셀 네트워크부의 손실 함수를 나타낼 수 있고,
Figure 112020111971118-pat00002
는 학습 출력 결과를 나타낼 수 있고, Igt는 실측 검증 결과를 나타낼 수 있으며,
Figure 112020111971118-pat00003
는 L1 손실과 ASL(advanced Sobel loss) 사이의 균형 파라미터(trade-off parameter)를 나타낼 수 있고, Si()는 Sobel 필터링의 수평, 수직, 대각선 필터중
Figure 112020111971118-pat00004
번째 필터로 얻어진 엣지 맵을 나타낼 수 있다.
한편, 엣지 네트워크부(220)는 하기 수학식 2를 이용하여 입력 이미지(250)에 대한 학습을 수행할 수 있다.
[수학식 2]
Figure 112020111971118-pat00005
수학식 2에서,
Figure 112020111971118-pat00006
는 엣지 네트워크부의 손실 함수를 나타낼 수 있고,
Figure 112020111971118-pat00007
는 추정되는 엣지 맵을 나타낼 수 있으며,
Figure 112020111971118-pat00008
엣지 맵의 실측 결과를 나타낼 수 있다.
마지막으로, 주파수 네트워크부(230)는 하기 수학식 3을 이용하여 입력 이미지(250)에 대한 학습을 수행할 수 있다.
[수학식 3]
Figure 112020111971118-pat00009
수학식 3에서, LDCT는 주파수 네트워크부의 손실 함수를 나타낼 수 있고,
Figure 112020111971118-pat00010
는 학습 출력 결과를 나타낼 수 있고, Igt는 실측 검증 결과를 나타낼 수 있으며, T()는 DCT 연산자를 나타낼 수 있다.
본 발명의 일실시예에 따르면 모아레 무늬 제거 장치(200)는 앙상블 기법을 사용하여 입력 이미지의 90°, -90°, 180° 회전 이미지에 대해서, 수직 및 수평 방향의 반전을 적용하여 전체 8개의 출력 이미지를 생성하고 역 변환을 적용한 8개의 이미지의 평균을 통해 최종 결과 이미지를 생성할 수 있다.
따라서, 본 발명은 앙상블 기법을 이용하여 서로 다른 기하학적 변환에 대한 모아레 무늬를 제거함에 따라 모아레 무늬 제거 효율성을 증가시킬 수 있다.
도 3은 본 발명의 일실시예에 따른 픽셀 네트워크부를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 픽셀 네트워크부의 세부 구성요소를 예시한다.
도 3을 참고하면, 픽셀 네트워크부(300)는 복수의 콘벌루션 블록, 연속 블록(320), 다중 수용 필드 블록(330), 톤 맵핑 블록(340)으로 구성된다.
또한, 복수의 콘벌루션 블록은 3 X 3 콘벌루션 커널(310), 2 X 2 콘벌루션 커널(311), 1 X 1 콘벌루션 커널(312), 픽셀 셔플 커널(313) 및 3 X 3 콘벌루션 커널(314)을 포함한다.
일례로, 픽셀 네트워크부(300)는 픽셀 영역에서 서로 다른 크기를 가지는 3개의 브랜치로 구성되고, 입력 이미지(350)는 3 X 3 콘벌루션 커널(310)을 통해 초기 특징 맵을 추출하고, 추출된 특징 맵을 2 X 2 콘벌루션 커널(311)을 통해 크기를 축소한다.
본 발명의 일실시예에 따른 픽셀 네트워크부(300)의 각 브랜치는 다중 수용 필드 블록(330) 및 톤 맵핑 블록(340)으로 구성된다.
다중 수용 필드 블록(330) 및 톤 맵핑 블록(340)은 도 4a 및 도 4b를 이용하여 보충 설명한다.
일례로, 픽셀 네트워크부(300)는 각 브랜치의 결과물을 모두 결합하고 최종적으로 글로벌 잔류 연결(global residual connection)을 통해 안정성을 강화한다.
본 발명의 일실시예에 따르면 픽셀 네트워크부(300)는 각 브랜치의 마지막 단계에서 축소된 특징 맵을 픽셀 셔플 커널(313)을 통해 크기를 확장하고, 입력 이미지를 결합한 후 3 X 3 콘벌루션 커널(314)을 통해 제1 결과 이미지(351)을 생성한다.
도 4a 및 도 4b는 본 발명의 일실시예에 따른 다중 수용 필드 블록(Multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 설명하는 도면이다.
도 4a는 본 발명의 일실시예에 따른 다중 수용 필드 블록(Multiple receptive field block, MRFB)의 구성 요소를 예시한다.
도 4a를 참고하면, 본 발명의 일실시예에 따른 다중 수용 필드 블록(400)은 제1 브랜치(401), 제2 브랜치(402) 및 제3 브랜치(403)로 구분하여 기계 학습을 위한 블록들이 구성된다.
본 발명의 일실시예에 따르면 제1 브랜치(401), 제2 브랜치(402) 및 제3 브랜치(403)는 서로 다른 다일레이션 요인을 통해 콘벌루션의 수용 필드를 확장하고, 잔류 농축 블록(residual dense block, RDB)를 사용하여 모아레 무늬를 효과적으로 제거한다.
예를 들어, 모아레 무늬는 수용 필드를 확장하여 효과적으로 제거될 수 있다.
제1 브랜치(401), 제2 브랜치(402) 및 제3 브랜치(403)는 3개의 RDB를 점차적으로 결합하여 입력 영상의 계층적 특징을 모두 활용하고, 제1 브랜치(401), 제2 브랜치(402) 및 제3 브랜치(403)의 결과물은 모두 결합되고, 최종적으로 글로벌 잔류 연결을 통해 안정성을 강화할 수 있다.
도 4b는 본 발명의 일실시예에 따른 톤 맵핑 블록(tone-mapping block, TMB)을 예시한다.
도 4b를 참고하면, 톤 맵핑 블록(410)은 콘벌루션 블록(411), 글로벌 평균 풀링 블록(412) 및 FC(fully connected) 블록(413)으로 구성될 수 있다.
본 발명의 일실시예에 따르면 톤 맵핑 블록(410)은 다중 수용 필드 블록(Multiple receptive field block, MRFB)로부터 처리 데이터(FMRFB)를 수신하여 처리 데이터(FTMB)를 출력한다.
본 발명의 일실시예에 따르면 톤 맵핑 블록(410)은 이미지의 전역적인 색상을 보상하는 전역 브랜치와 영상의 지역적인 색상을 보상하는 지역 브랜치를 통해 모아레 이미와 원본 이미지 사이의 밝기 차이를 보상할 수 있다.
따라서, 본 발명은 이미지의 전역적인 색상을 보상하는 전역 브랜치와 이미지의 지역적인 색상을 보상하는 지역 브랜치를 통해 모아레 무늬를 포함하는 입력 이미지와 모아레 무늬를 포함하지 않는 원본 이미지 사이의 밝기 차이를 보상할 수 있다.
예를 들어, 글로벌 브랜치에서는 스트라이드(stride)가 1인 3 X 3 콘벌루션 커널에 해당하는 콘벌루션 블록(411)과 글로벌 평균 풀링 블록(412)을 통해 전역 특징(
Figure 112020111971118-pat00011
)을 추출할 수 있다.
한편, FC 블록(413)은 3개의 FC 층으로 구성되고, 활성 함수가 없는 1개의 FC 층을 통해 전역 변환 매개 변수를 생성할 수 있다.
로컬 브랜치에서는 2개의 3 X 3 콘벌루션 커널에 해당하는 콘벌루션 블록(411)을 통해 지역 특징 맵(Flocal)을 추출하고, 전역 변환 매개 변수와 지역 특징 맵을 곱하여 영상의 전체 색상을 보상할 수 있다.
도 5는 본 발명의 일실시예에 따른 엣지 네트워크부를 설명하는 도면이다.
도 5를 참고하면, 엣지 네트워크부(500)는 소벨 연산자(510), 콘벌루션 블록(520), 다중 스케일 네트워크 블록(530) 및 연결 블록(540)으로 구성된다.
본 발명의 일실시예에 따르면 소벨 연산자(510)는 입력 이미지(550)로부터 엣지 특징 정보(551)를 추출한다.
콘벌루션 블록(520)은 엣지 특징 정보(551)를 다양한 크기로 학습하면서 다중 스케일 네트워크 블록(530)으로 전달한다.
다중 스케일 네트워크 블록(530)은 인코더(531), 비 로컬 블록(532) 및 디코더(533)로 구성되고, 인코더(531) 및 디코더(533)는 U-Net 네트워크에 기반한다.
다중 스케일 네트워크 블록(530)은 엣지 특징 정보(551)에서 제1 결과 이미지 및 제2 결과 이미지의 보완 정보로 사용될 복수의 엣지 특징 정보를 추출하고, 복수의 엣지 특징 정보는 연결 블록(540)을 통해 연결되어 엣지 맵으로 최종 생성된다.
예를 들어, 엣지 맵은 모아레 무늬가 포함되지 않은 이미지에 가까운 깨끗한(clean) 이미지 특성을 포함한다.
도 6은 본 발명의 일실시예에 따른 리파인먼트(refinement) 네트워크부를 설명하는 도면이다.
도 6을 참고하면, 본 발명의 일실시예에 따른 리파인먼트(refinement) 네트워크부(600)는 복수의 콘벌루션 블록과 3 개의 잔류 농축 블록(residual dense block, RDB) 및 콘택(contact) 블록으로 구성된다.
본 발명의 일실시예에 따르면 리파인먼트(refinement) 네트워크부(600)는 픽셀 네트워크부의 결과 이미지와 주파수 네트워크부의 결과 이미지가 서로 다른 영역에서 모아레 영상을 처리하기 때문에 각각의 네트워크부를 이용하여 얻은 2개의 결과 이미지를 제3 결과 이미지를 보완하는 후보들로 사용할 수 있다.
일례로, 리파인먼트(refinement) 네트워크부(600)는 엣지 네트워크부의 결과물인 엣지 맵을 보조 정보로 사용하여 픽셀 네트워크부 및 주파수 네트워크부의 각 결과 영상과 결합하여 모아레 무늬 제거율이 증가된 최종 결과로 제3 결과 이미지를 생성할 수 있다.
본 발명의 일실시예에 따르면 리파인먼트(refinement) 네트워크부(600)는 입력되는 결과 이미지를 무작위로 128 X 128 크기로 수확(crop)하여 배치 크기(batch size)를 16으로 네트워크를 학습하고, 128 X 128 크기의 학습이 완료되면 256 X 256 및 512 X 512로 점차적으로 크기를 키우며 미세 조정(fine-tuning)을 진행할 수 있다.
도 7a 내지 도 7c는 본 발명의 일실시예에 따른 모아레 무늬 제거 결과를 종래 기술에 따른 모아레 무늬 제거 결과에 비교 설명하는 도면이다.
도 7a를 참고하면, 이미지(700)는 모아레 무늬를 포함하는 이미지이고, 이미지(701)은 원본(ground-trough) 이미지이며, 이미지(702)는 종래기술 1인 CAS-CNN을 이용하여 모아레 무늬가 제거된 이미지이고, 이미지(703)는 종래기술 2인 DMCNN을 이용하여 모아레 무늬가 제거된 이미지이며, 이미지(704)는 종래기술 3인 DDCNN을 이용하여 모아레 무늬가 제거된 이미지이고, 이미지(705)는 본 발명을 이용하여 모아레 무늬가 제거된 이미지일 수 있다.
도 7b를 참고하면, 이미지(710)는 모아레 무늬를 포함하는 이미지이고, 이미지(711)은 원본(ground-trough) 이미지이며, 이미지(712)는 종래기술 1인 CAS-CNN을 이용하여 모아레 무늬가 제거된 이미지이고, 이미지(713)는 종래기술 2인 DMCNN을 이용하여 모아레 무늬가 제거된 이미지이며, 이미지(714)는 종래기술 3인 DDCNN을 이용하여 모아레 무늬가 제거된 이미지이고, 이미지(715)는 본 발명을 이용하여 모아레 무늬가 제거된 이미지일 수 있다.
도 7c를 참고하면, 이미지(720)는 모아레 무늬를 포함하는 이미지이고, 이미지(721)은 원본(ground-trough) 이미지이며, 이미지(722)는 종래기술 1인 CAS-CNN을 이용하여 모아레 무늬가 제거된 이미지이고, 이미지(723)는 종래기술 2인 DMCNN을 이용하여 모아레 무늬가 제거된 이미지이며, 이미지(724)는 종래기술 3인 DDCNN을 이용하여 모아레 무늬가 제거된 이미지이고, 이미지(725)는 본 발명을 이용하여 모아레 무늬가 제거된 이미지일 수 있다.
도 7a 내지 도 7c에 도시된 이미지들을 참고하면, 본 발명을 이용하여 모아레 무늬가 제거된 이미지가 원본 이미지에 가장 가깝게 복원되었음을 확인할 수 있다.
모아레 무늬 제거와 관련된 측정 데이터인 최대 신호 대 잡음비(peak signal-to-noise ratio, PNSR) 및 구조 유사 인덱스 맵(Structural Similarity Index Map, SSIM)을 정리하면 아래 표 1과 같을 수 있다.
종래기술1 종래기술2 종래기술3 본 발명
PSNR 36.18 35.47 38.04 41.97
SSIM 0.983 0.973 0.978 0.988
표 1을 참고하면, 본 발명이 이미지 품질 측정 결과를 나타내는 PSNR과 SSIM에서 종래기술들에 대비하여 우수하다.
도 8은 본 발명의 일실시예에 따른 모아레 무늬 제거 방법을 설명하는 도면이다.
도 8을 참고하면, 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 단계(801)에서 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성한다.
즉, 모아레 무늬 제거 방법은 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 모아레 무늬가 제거된 제1 결과 이미지를 생성할 수 있다.
단계(802)에서 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성한다.
즉, 모아레 무늬 제거 방법은 입력 이미지를 주파수 영역으로 변환하고, 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 제2 결과 이미지를 생성할 수 있다.
단계(803)에서 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 가상 이미지의 엣지 정보를 추출하여 엣지 맵을 생성한다.
즉, 모아레 무늬 제거 방법은 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성할 수 있다.
단계(804)에서 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 엣지 맵을 이용하여 제1 결과 이미지 및 제2 결과 이미지에 대한 제1 보완 이미지 및 제2 보완 이미지를 생성한다.
즉, 모아레 무늬 제거 방법은 단계(803)에서 생성된 엣지 맵(edge)을 이용하여 제1 결과 이미지 및 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성할 수 있다.
단계(805)에서 본 발명의 일실시예에 따른 모아레 무늬 제거 방법은 제1 보완 이미지 및 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성한다.
즉, 모아레 무늬 제거 방법은 모아레 무늬가 완벽히 제거된 최종 결과 이미지로서 제3 결과 이미지에 대하여 학습하고, 학습 결과로 제3 결과 이미지를 생성 및 출력한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 모아레 무늬 제거 장치
110: 픽셀 네트워크부 120: 주파수 네트워크부
130: 엣지 네트워크부 140: 리파인먼트 네트워크부

Claims (16)

  1. 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치에 있어서,
    입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 픽셀 네트워크부;
    상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 주파수 네트워크부;
    상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지를 생성하고, 상기 생성된 가상 이미지의 엣지 정보를 추출하며, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 엣지 네트워크부; 및
    상기 생성된 엣지 맵(edge)을 이용하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성하고, 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성하는 리파인먼트 네트워크부를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  2. 제1항에 있어서,
    상기 픽셀 네트워크부는
    상기 픽셀 영역에서 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)로 구성되고, 상기 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 상기 제1 결과 이미지를 생성하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  3. 제2항에 있어서,
    상기 픽셀 네트워크부는
    상기 다중 수용 필드 블록(multiple receptive field block, MRFB)에서 상기 입력 이미지의 서로 다른 크기의 픽셀 값과 관련된 다일레이션 요인(dilation factor)을 통해 콘벌루션 블록의 수용 필드(receptive field)를 확장하고, 잔류 농축 블록(residual dense block, RDB)을 사용하여 상기 입력 이미지의 픽셀 영역에서 모아레 무늬를 제거하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  4. 제3항에 있어서,
    상기 픽셀 네트워크부는
    상기 톤 맵핑 블록(tone-mapping block, TMB)에서 상기 입력 이미지의 전역적인 색상을 보상하는 전역 브랜치(global branch)와 상기 입력 이미지의 지역적인 색상을 보상하는 지역 브랜치(local branch)를 통해 상기 입력 이미지와 모아레 무늬가 없는 원본 이미지 사이의 밝기 차이를 보상하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  5. 제2항에 있어서,
    상기 픽셀 네트워크부는
    상기 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)에 상기 입력 이미지를 적용하기 위하여 3 X 3 콘벌루션 커널(convolution kernel)을 이용하여 특징 맵을 추출하고, 2 X 2 콘벌루션 커널(convolution kernel)을 이용하여 상기 추출된 특징 맵의 크기를 조절하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  6. 제1항에 있어서,
    상기 주파수 네트워크부는
    상기 입력 이미지를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에서 모아레 무늬를 제거한 후 다시 이미지로 변환하여 상기 제2 결과 이미지를 생성하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  7. 제1항에 있어서,
    상기 주파수 네트워크부는
    상기 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하고, 상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터에서 변환 계수 분포 차이를 이용하여 모아레 무늬가 제거된 데이터를 생성하고, 상기 생성된 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 상기 제2 결과 이미지를 생성하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  8. 제1항에 있어서,
    상기 엣지 네트워크부는
    소벨(sobel) 연산자를 이용하여 상기 입력 이미지로부터 상기 엣지 정보를 추출하고, U-Net 블록 및 비 로컬 블록으로 이루어진 다중 스케일 네트워크를 이용하여 상기 엣지 맵(edge map)을 생성하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  9. 제1항에 있어서,
    상기 픽셀 네트워크부, 상기 주파수 네트워크부 및 상기 엣지 네트워크부는
    상기 입력 이미지에 대하여 서로 독립적으로 학습하여 상기 제1 결과 이미지, 상기 제2 결과 이미지 및 상기 엣지 맵(edge map)을 생성하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  10. 제9항에 있어서,
    상기 리파인먼트 네트워크부는
    상기 서로 독립적으로 학습된 제1 결과 이미지, 제2 결과 이미지 및 엣지 맵에 기반하여 상기 입력 이미지의 크기를 점차적으로 증가시키면서 미조정(fine-tuning)을 통해 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 생성하는 것을 특징으로 하는
    모아레 무늬 제거 장치.
  11. 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 방법에 있어서,
    픽셀 네트워크부에서, 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계;
    주파수 네트워크부에서, 상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 단계;
    엣지 네트워크부에서, 상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지를 생성하고, 상기 생성된 가상 이미지의 엣지 정보를 추출하며, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 단계;
    리파인먼트 네트워크부에서, 상기 생성된 엣지 맵(edge)을 이용하여 상기 제1 결과 이미지 및 상기 제2 결과 이미지에 대한 모아레 무늬 제거율이 보완된 제1 보완 이미지 및 제2 보완 이미지를 생성하는 단계; 및
    상기 리파인먼트 네트워크부에서, 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 결합하여 제3 결과 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 방법.
  12. 제11항에 있어서,
    상기 입력 이미지의 픽셀 영역에서 모아레 무늬가 제거된 제1 결과 이미지를 생성하는 단계는
    상기 픽셀 영역에서 서로 다른 크기의 픽셀 값을 가지는 복수의 브랜치(branch)로 구성되는 상기 픽셀 네트워크부의 상기 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 상기 제1 결과 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 방법.
  13. 제12항에 있어서,
    상기 복수의 브랜치(branch) 각각에서 다중 수용 필드 블록(multiple receptive field block, MRFB) 및 톤 맵핑 블록(tone-mapping block, TMB)을 이용하여 상기 제1 결과 이미지를 생성하는 단계는
    상기 다중 수용 필드 블록(multiple receptive field block, MRFB)에서 상기 입력 이미지의 서로 다른 크기의 픽셀 값과 관련된 다일레이션 요인(dilation factor)을 통해 콘벌루션 블록의 수용 필드(receptive field)를 확장하고, 잔류 농축 블록(residual dense block, RDB)을 사용하여 상기 입력 이미지의 픽셀 영역에서 모아레 무늬를 제거하는 단계; 및
    상기 톤 맵핑 블록(tone-mapping block, TMB)에서 상기 입력 이미지의 전역적인 색상을 보상하는 전역 브랜치(global branch)와 상기 입력 이미지의 지역적인 색상을 보상하는 지역 브랜치(local branch)를 통해 상기 입력 이미지와 모아레 무늬가 없는 원본 이미지 사이의 밝기 차이를 보상하는 단계를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 방법.
  14. 제11항에 있어서,
    상기 입력 이미지의 주파수 영역에서 모아레 무늬가 제거된 제2 결과 이미지를 생성하는 단계는
    상기 입력 이미지를 상기 주파수 영역에 해당하는 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환하는 단계;
    상기 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역으로 변환된 데이터에서 변환 계수 분포 차이를 이용하여 모아레 무늬가 제거된 데이터를 생성하는 단계; 및
    상기 생성된 모아레 무늬가 제거된 데이터를 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)하여 상기 제2 결과 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 방법.
  15. 제11항에 있어서,
    상기 입력 이미지에서 모아레 무늬가 모두 제거된 것으로 가정된 가상 이미지의 엣지 정보를 추출하고, 상기 추출된 엣지 정보에 기반한 엣지 맵(edge map)을 생성하는 단계는
    소벨(sobel) 연산자를 이용하여 상기 입력 이미지로부터 상기 엣지 정보를 추출하고, U-Net 블록 및 비 로컬 블록으로 이루어진 다중 스케일 네트워크를 이용하여 상기 엣지 맵(edge map)을 생성하는 단계를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 방법.
  16. 제11항에 있어서,
    상기 제1 보완 이미지 및 제2 보완 이미지를 생성하는 단계는
    서로 독립적으로 학습된 제1 결과 이미지, 제2 결과 이미지 및 엣지 맵에 기반하여 상기 입력 이미지의 크기를 점차적으로 증가시키면서 미조정(fine-tuning)을 통해 상기 제1 보완 이미지 및 상기 제2 보완 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는
    모아레 무늬 제거 방법.
KR1020200137349A 2020-10-22 2020-10-22 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법 KR102327758B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200137349A KR102327758B1 (ko) 2020-10-22 2020-10-22 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200137349A KR102327758B1 (ko) 2020-10-22 2020-10-22 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102327758B1 true KR102327758B1 (ko) 2021-11-18

Family

ID=78717169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200137349A KR102327758B1 (ko) 2020-10-22 2020-10-22 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102327758B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214616A1 (ko) * 2022-05-03 2023-11-09 (주)에이앤아이 단말기에서 모아레 패턴을 제거하는 장치 및 방법
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021756A (ko) 2017-08-23 2019-03-06 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
KR102125379B1 (ko) 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법
KR20200084419A (ko) 2018-12-24 2020-07-13 엘지디스플레이 주식회사 모아레 제거 모델을 생성하기 위한 장치, 모아레를 제거하기 위한 방법 및 모아레를 제거하기 위한 촬상 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021756A (ko) 2017-08-23 2019-03-06 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
KR20200084419A (ko) 2018-12-24 2020-07-13 엘지디스플레이 주식회사 모아레 제거 모델을 생성하기 위한 장치, 모아레를 제거하기 위한 방법 및 모아레를 제거하기 위한 촬상 장치
KR102125379B1 (ko) 2020-02-14 2020-06-22 주식회사 카카오뱅크 딥러닝 기반의 신분증 진위판단장치 및 신분증 진위판단방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214616A1 (ko) * 2022-05-03 2023-11-09 (주)에이앤아이 단말기에서 모아레 패턴을 제거하는 장치 및 방법
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법

Similar Documents

Publication Publication Date Title
Liu et al. Joint demosaicing and denoising with self guidance
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
Liu et al. Learning raw image denoising with bayer pattern unification and bayer preserving augmentation
CN114140353A (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN109410123B (zh) 基于深度学习的去除马赛克的方法、装置及电子设备
WO2018082185A1 (zh) 图像处理方法和装置
KR102327758B1 (ko) 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법
Yue et al. CID: Combined image denoising in spatial and frequency domains using Web images
CN111260580B (zh) 图像去噪方法、计算机装置及计算机可读存储介质
CN109978774B (zh) 多帧连续等曝光图像的去噪融合方法及装置
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
Jin et al. A review of an old dilemma: Demosaicking first, or denoising first?
CN107301662B (zh) 深度图像的压缩恢复方法、装置、设备及存储介质
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
JP7375208B2 (ja) スーパー夜景画像の生成方法、装置、電子機器および記憶媒体
Kim et al. Deep image demosaicing for submicron image sensors
KR20100016272A (ko) Ｐｉｘｏｎ 방법을 사용한 이미지 압축 및 압축 해제
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
Raimundo et al. LAN: Lightweight attention-based network for RAW-to-RGB smartphone image processing
CN113506305A (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN110415175B (zh) 一种快速去除平坦区域编码马赛克的方法
KR102337745B1 (ko) 이중 도메인 뉴럴 네트워크 기반 영상 내 모아레 무늬 제거 장치 및 방법
CN102860012A (zh) 图像处理装置、方法以及记录介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant