KR102224260B1 - 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR102224260B1
KR102224260B1 KR1020190178784A KR20190178784A KR102224260B1 KR 102224260 B1 KR102224260 B1 KR 102224260B1 KR 1020190178784 A KR1020190178784 A KR 1020190178784A KR 20190178784 A KR20190178784 A KR 20190178784A KR 102224260 B1 KR102224260 B1 KR 102224260B1
Authority
KR
South Korea
Prior art keywords
block
cumulative
sampling
data
dcrdb
Prior art date
Application number
KR1020190178784A
Other languages
English (en)
Inventor
고성제
김준연
신홍규
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020190178784A priority Critical patent/KR102224260B1/ko
Application granted granted Critical
Publication of KR102224260B1 publication Critical patent/KR102224260B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

딥러닝 기반 무아레 패턴 제거 방법은, 디스플레이 장치를 촬영한 영상이 입력되면, 입력 영상의 데이터를
Figure 112019135898424-pat00109
(여기서, n은 자연수)의 합성곱(convolution) 연산을 수행하는 단계; 상기
Figure 112019135898424-pat00110
의 합성곱 연산이 수행된 데이터를 이후 합성곱의 누적 입력으로 반영하는
Figure 112019135898424-pat00111
(여기서, j는 0, 1, 2, ..., n)번의 누적 합성곱 연산 및
Figure 112019135898424-pat00112
번의 다운 샘플링을 반복적으로 수행하는 단계; 상기
Figure 112019135898424-pat00113
번의 누적 합성곱 연산 및
Figure 112019135898424-pat00114
번의 다운 샘플링이 수행된 데이터를
Figure 112019135898424-pat00115
번의 업 샘플링 및
Figure 112019135898424-pat00116
(여기서, k는 n-1, ..., 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행하는 단계; 상기
Figure 112019135898424-pat00117
번의 업 샘플링 및
Figure 112019135898424-pat00118
번의 누적 합성곱 연산이 수행된 데이터를 무아레 패턴을 갖는
Figure 112019135898424-pat00119
개 채널의 데이터로 출력하는 단계; 및 상기 무아레 패턴을 갖는
Figure 112019135898424-pat00120
개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여, 무아레 패턴을 제거한 영상을 출력하는 단계;를 포함한다. 이에 따라, 카메라로 디스플레이 장치를 촬영할 경우 나타나는 무아레 패턴을 제거하면서, 디스플레이 상에 나타난 영상의 화질을 향상시킬 수 있다.

Description

딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR REMOVING MOIRE PATTERN BASED ON DEEP LEARNING, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 카메라로 디스플레이 장치를 촬영할 경우 나타나는 무아레 패턴을 제거하기 위한 컴퓨터 비전 기술에 관한 것이다.
사람들은 현대 사회에서 다양한 종류의 디스플레이 기기를 일상생활 중에 쉽게 접하게 된다. 디스플레이에 나타나있는 정보를 저장하기 위한 가장 쉬운 방법은 카메라를 통해 디스플레이에 나타난 화면을 촬영하는 것이다. 그러나, TV나 모니터와 같은 디스플레이 장치를 카메라로 촬영 할 경우 무아레(moire)라고 불리는 물결무늬가 나타나게 된다.
무아레 현상의 원인은 디스플레이에 나타난 그림이나 영상을 촬영할 시 디스플레이 픽셀 배열과 카메라 센서의 픽셀 배열간의 차이로 인해 앨리어싱(aliasing) 현상이 발생하게 되어 원치 않는 물결무늬 형태가 찍히게 되는 것이다. 이는 영상의 화질을 떨어뜨리는 요인이 되어 영상의 내용을 변하게 할 뿐만 아니라 이용자의 만족감을 떨어뜨리는 요인이 된다.
이를 해결하기 위한 방법 중 최근 연구는 먼저 입력 영상을 다상분할(polyphase decomposition)을 통해 4개의 다상 성분들(polyphase components)로 분할한다.
각 분할된 성분들은 패치(patch) 기반의 gaussian mixture model prior를 이용하여 영상을 배경과 무아레 패턴으로 나눈다. 그 후 각 성분으로부터 얻어진 배경들을 이용하여 다상 복원(polyphase reconstruction)을 통해 무아레 패턴이 제거된 영상을 획득한다.
그러나, 디스플레이에 나타난 무아레 패턴을 제거하는 과정에서 디스플레이 상에 나타난 영상의 복원력이 떨어지는 한계가 있다.
KR 10-2017-0031096 A KR 10-0298466 B1 EP 01261195 B1 KR 10-0298466 B1
Demoirιing for Screen-shot Images with Multi-channel Layer Decomposition, Jingyu Yang et al., 2017 IEEE Visual Communications and Image Processing
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 디스플레이 장치를 촬영한 영상은 보존하면서 딥러닝 기반 무아레 패턴 제거 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 딥러닝 기반 무아레 패턴 제거 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 딥러닝 기반 무아레 패턴 제거 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝 기반 무아레 패턴 제거 방법은, 디스플레이 장치를 촬영한 영상이 입력되면, 입력 영상의 데이터를
Figure 112019135898424-pat00001
(여기서, n은 자연수)의 합성곱(convolution) 연산을 수행하는 단계; 상기
Figure 112019135898424-pat00002
의 합성곱 연산이 수행된 데이터를 이후 합성곱의 누적 입력으로 반영하는
Figure 112019135898424-pat00003
(여기서, j는 0, 1, 2, ..., n)번의 누적 합성곱 연산 및
Figure 112019135898424-pat00004
번의 다운 샘플링을 반복적으로 수행하는 단계; 상기
Figure 112019135898424-pat00005
번의 누적 합성곱 연산 및
Figure 112019135898424-pat00006
번의 다운 샘플링이 수행된 데이터를
Figure 112019135898424-pat00007
번의 업 샘플링 및
Figure 112019135898424-pat00008
(여기서, k는 n-1, ..., 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행하는 단계; 상기
Figure 112019135898424-pat00009
번의 업 샘플링 및
Figure 112019135898424-pat00010
번의 누적 합성곱 연산이 수행된 데이터를 무아레 패턴을 갖는
Figure 112019135898424-pat00011
개 채널의 데이터로 출력하는 단계; 및 상기 무아레 패턴을 갖는
Figure 112019135898424-pat00012
개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여, 무아레 패턴을 제거한 영상을 출력하는 단계;를 포함한다.
본 발명의 실시예에서, 상기
Figure 112019135898424-pat00013
번의 누적 합성곱 연산 및
Figure 112019135898424-pat00014
번의 다운 샘플링을 반복적으로 수행하는 단계는,
Figure 112019135898424-pat00015
이 3일 경우, 1번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계; 상기 1번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 2번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계; 상기 2번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 4번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계; 및 상기 4번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 8번의 누적 합성곱 연산을 수행하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기
Figure 112019135898424-pat00016
번의 업 샘플링 및
Figure 112019135898424-pat00017
번의 누적 합성곱 연산을 반복적으로 수행하는 단계는, 상기 8번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 4번의 누적 합성곱 연산을 수행하는 단계; 상기 업 샘플링 및 4번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 2번의 누적 합성곱 연산을 수행하는 단계; 및 상기 업 샘플링 및 2번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 1번의 누적 합성곱 연산을 수행하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기
Figure 112019135898424-pat00018
번의 누적 합성곱 연산 및 상기
Figure 112019135898424-pat00019
번의 누적 합성곱 연산은, 해당 수만큼의 누적 합성곱 연산 후 접합(concatenation) 연산 및
Figure 112019135898424-pat00020
합성곱 연산을 수행하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 해당 수만큼의 누적 합성곱 연산은, 복수의 합성곱의 연산과 비선형 변환을 반복 수행하는 단계; 및 미리 설정된 수만큼의 합성곱의 연산과 비선형 변환의 반복 수행 후 접합(concatenation) 연산 및
Figure 112019135898424-pat00021
합성곱 연산을 수행하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기
Figure 112019135898424-pat00022
번의 업 샘플링 및
Figure 112019135898424-pat00023
번의 누적 합성곱 연산이 수행된 데이터를 무아레 패턴을 갖는
Figure 112019135898424-pat00024
개 채널의 데이터로 출력하는 단계는, 상기
Figure 112019135898424-pat00025
번의 누적 합성곱 연산 및
Figure 112019135898424-pat00026
번의 업 샘플링이 수행된 데이터를 주의 영상 모듈(Convolutional Block Attention Module; CBAM)을 통해 문맥(Context)을 고려한 주의 기반 맵으로 출력하는 단계; 및 상기 주의 기반 맵을
Figure 112019135898424-pat00027
의 합성곱 연산을 수행하여 무아레 패턴을 갖는
Figure 112019135898424-pat00028
개 채널의 데이터로 출력하는 단계;를 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 딥러닝 기반 무아레 패턴 제거 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 딥러닝 기반 무아레 패턴 제거 장치는, 디스플레이 장치를 촬영한 영상이 입력되면, 입력 영상의 데이터를
Figure 112019135898424-pat00029
(여기서, n은 자연수)의 합성곱(convolution) 연산을 수행하는 제1 합성곱 연산부; 상기 제1 합성곱 연산부에서 출력되는 데이터를 이후 합성곱의 누적 입력으로 반영하는
Figure 112019135898424-pat00030
(여기서, j는 0, 1, 2, ..., n)번의 누적 합성곱 연산 및
Figure 112019135898424-pat00031
번의 다운 샘플링을 반복적으로 수행하는 제1 DCRDB부; 상기 제1 DCRDB부에서 출력되는 데이터를
Figure 112019135898424-pat00032
번의 업 샘플링과
Figure 112019135898424-pat00033
(여기서, k는 n-1, ..., 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행하는 제2 DCRDB부; 상기 제2 DCRDB부에서 출력되는 데이터를 문맥(Context)을 고려한 주의 기반 맵으로 출력하는 CBAM(Convolutional Block Attention Module)부; 상기 CBAM부에서 출력되는 주의 기반 맵을
Figure 112019135898424-pat00034
의 합성곱 연산을 수행하여 무아레 패턴을 갖는
Figure 112019135898424-pat00035
개 채널의 데이터로 출력하는 제2 합성곱 연산부; 및 상기 무아레 패턴을 갖는
Figure 112019135898424-pat00036
개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여, 무아레 패턴을 제거한 영상을 출력하는 학습부;를 포함한다.
본 발명의 실시예에서, 상기 제1 DCRDB부는,
Figure 112019135898424-pat00037
이 3일 경우, 1번의 누적 합성곱 연산을 수행하는 제1 DCRDB 블록; 상기 제1 DCRDB 블록의 출력 데이터를 다운 샘플링하는 제1 다운 샘플링 블록; 상기 제1 다운 샘플링 블록의 출력 데이터를 2번의 누적 합성곱 연산을 수행하는 제2 DCRDB 블록; 상기 제2 DCRDB 블록의 출력 데이터를 다운 샘플링하는 제2 다운 샘플링 블록; 상기 제2 다운 샘플링 블록의 출력 데이터를 4번의 누적 합성곱 연산을 수행하는 제3 DCRDB 블록; 상기 제3 DCRDB 블록의 출력 데이터를 다운 샘플링하는 제3 다운 샘플링 블록; 및 상기 제3 다운 샘플링 블록의 출력 데이터를 8번의 누적 합성곱 연산을 수행하는 제4 DCRDB 블록;을 포함할 수 있다.
본 발명의 실시예에서, 상기 제2 DCRDB부는, 제4 DCRDB 블록의 출력 데이터를 업 샘플링하는 제1 업 샘플링 블록; 상기 제1 업 샘플링 블록의 출력 데이터를 4번의 누적 합성곱 연산을 수행하는 제5 DCRDB 블록; 상기 제5 DCRDB 블록의 출력 데이터를 업 샘플링하는 제2 업 샘플링 블록; 상기 제2 업 샘플링 블록의 출력 데이터를 2번의 누적 합성곱 연산을 수행하는 제6 DCRDB 블록; 상기 제6 DCRDB 블록의 출력 데이터를 업 샘플링하는 제3 업 샘플링 블록; 및 상기 제3 업 샘플링 블록의 출력 데이터를 1번의 누적 합성곱 연산을 수행하는 제7 DCRDB 블록;을 포함할 수 있다.
본 발명의 실시예에서, 상기 제1 내지 제7 제7 DCRDB 블록들은 각각, 해당 수만큼의 누적 합성곱 연산을 수행하는 하나 이상의 RDB 블록 시리즈; 상기 RDB 블록 시리즈의 출력 데이터를 접합(concatenation) 연산하는 DCRDB 접합 연산부; 및 상기 접합 연산의 출력 데이터를
Figure 112019135898424-pat00038
합성곱 연산을 수행하는 DCRDB 합성곱 연산부;를 포함할 수 있다.
본 발명의 실시예에서, 상기 하나 이상의 RDB 블록 시리즈의 각 RDB 블록은, 이후 합성곱의 누적 입력으로 반영하는 누적 합성곱을 수행하는 복수개의 RDB 합성 블록; 각 RDB 합성 블록과 연결되어 비선형 변환을 수행하는 복수개의 ReLU부; 상기 복수개의 RDB 합성 블록 및 상기 복수개의 ReLU부의 출력 데이터의 접합(concatenation) 연산하는 RDB 접합 연산부; 및 상기 RDB 접합 연산부의 출력 데이터를
Figure 112019135898424-pat00039
합성곱 연산을 수행하는 RDB 합성곱 연산부;를 포함할 수 있다.
이와 같은 딥러닝 기반 무아레 패턴 제거 방법에 따르면, 디스플레이 장치를 촬영한 경우 디스플레이 상의 영상은 보존하면서 무아레 패턴을 제거하여 퀄리티가 향상된 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 무아레 패턴 제거 장치의 블록도이다.
도 2는 본 발명의 딥러닝에서 사용하는 RDB(Resisual Dense Block)의 구조를 보여주는 블록도이다.
도 3은 본 발명의 딥러닝에서 사용하는 DCRDB(Densely Connected Residual Dense Block)의 구조를 보여주는 블록도이다.
도 4는 본 발명의 딥러닝 기반 무아레 패턴 제거를 위한 전체 프레임워크(framework)를 보여주는 블록도이다.
도 5 및 도 6은 본 발명의 딥러닝 기반 무아레 패턴 제거 결과 영상을 보여주는 도면들이다.
도 7 본 발명의 일 실시예에 따른 딥러닝 기반 무아레 패턴 제거 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
사람들은 현대 사회에서 다양한 종류의 디스플레이 기기를 일상생활 중에 쉽게 접하게 된다. 디스플레이에 나타나있는 정보를 저장하기 위한 가장 쉬운 방법은 카메라를 통해 디스플레이에 나타난 화면을 촬영하는 것이다.
디스플레이에 나타난 그림이나 영상을 촬영할 시 디스플레이 픽셀 배열과 카메라 센서의 픽셀 배열간의 차이로 인해 앨리어싱(aliasing) 현상이 발생하게 되어 원치 않는 물결무늬 형태가 찍히게 된다. 이는 영상의 화질을 떨어뜨리는 요인이 되어 영상의 내용을 변하게 할 뿐만 아니라 이용자의 만족감을 떨어뜨리는 요인이 된다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 무아레 패턴 제거 장치의 블록도이다.
본 발명에 따른 딥러닝 기반 무아레 패턴 제거 장치(10, 이하 장치)는 디스플레이 장치를 촬영한 경우 나타나는 무아레(moire) 패턴은 제거하고 디스플레이 상에 나타난 영상은 그대로 보존하는 데에 그 목적이 있다.
도 1을 참조하면, 본 발명에 따른 장치(10)는 제1 합성곱 연산부(100), 제1 DCRDB부(200), 제2 DCRDB부(400), CBAM부(500), 제2 합성곱 연산부(700) 및 학습부(900)를 포함한다.
본 발명의 상기 장치(10)는 딥러닝 기반 무아레 패턴 제거를 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 제1 합성곱 연산부(100), 상기 제1 DCRDB부(200), 상기 제2 DCRDB부(400), 상기 CBAM부(500), 상기 제2 합성곱 연산부(700) 및 상기 학습부(900)의 구성은 상기 장치(10)에서 실행되는 상기 딥러닝 기반 무아레 패턴 제거를 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 제1 합성곱 연산부(100), 상기 제1 DCRDB부(200), 상기 제2 DCRDB부(400), 상기 CBAM부(500), 상기 제2 합성곱 연산부(700) 및 상기 학습부(900)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
예를 들어, 상기 장치(10)는, 스마트폰, 카메라, 모바일 기기일 수 있고, 상기 디스플레이 장치는 컴퓨터 모니터, TV, 광고판, 전광판, 노트북, 스마트폰 등 디스플레이를 하는 모든 장치를 포함할 수 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 제1 합성곱 연산부(100)는 디스플레이 장치를 촬영한 영상이 입력되면, 입력 영상의 데이터를
Figure 112019135898424-pat00040
(여기서, n은 자연수)의 합성곱(convolution) 연산을 수행한다.
상기 제1 DCRDB(Densely Connected Residual Dense Block)부(200)는 상기 제1 합성곱 연산부(100)에서 출력되는 데이터를 이후 합성곱의 누적 입력으로 반영하는
Figure 112019135898424-pat00041
(여기서, j는 0, 1, 2, ??, n)번의 누적 합성곱 연산 및
Figure 112019135898424-pat00042
번의 다운 샘플링을 반복적으로 수행한다.
상기 제2 DCRDB부(400)는 상기 제1 DCRDB부(200)에서 출력되는 데이터를
Figure 112019135898424-pat00043
번의 업 샘플링과
Figure 112019135898424-pat00044
(여기서, k는 n-1, ??, 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행한다.
상기 CBAM(Convolutional Block Attention Module)부(500)는 상기 제2 DCRDB부(400)에서 출력되는 데이터를 문맥(Context)을 고려한 주의 기반 맵으로 출력한다.
상기 제2 합성곱 연산부(700)는 상기 CBAM부(500)에서 출력되는 주의 기반 맵을
Figure 112019135898424-pat00045
의 합성곱 연산을 수행하여 무아레 패턴을 갖는
Figure 112019135898424-pat00046
개 채널의 데이터로 출력한다.
상기 학습부(900)는 상기 무아레 패턴을 갖는
Figure 112019135898424-pat00047
개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여, 무아레 패턴을 제거한 영상을 출력한다.
상기 각 구성의 구체적인 설명과 기능은 도면과 함께 이하 자세히 설명한다.
도 2는 본 발명의 딥러닝에서 사용하는 RDB(Resisual Dense Block)의 구조를 보여주는 블록도이다. 도 3은 본 발명의 딥러닝에서 사용하는 DCRDB(Densely Connected Residual Dense Block)의 구조를 보여주는 블록도이다. 도 4는 본 발명의 딥러닝 기반 무아레 패턴 제거를 위한 전체 프레임워크(framework)를 보여주는 블록도이다.
도 2를 참조하면, 본 발명은 RDB(residual dense block)을 기본 구조로 한다. RDB의 구조는 convolution과 ReLU를 거치면서 residual block과 dense block을 결합한 형태의 구조이다. RDB는 영상의 초해상도 문제를 해결하기 위해 제안되었던 구조이다.
구체적으로, 각 RDB 블록은 이후 합성곱의 누적 입력으로 반영하는 누적 합성곱을 수행하는 복수개의 RDB 합성 블록(201, 203, 205)과 각 RDB 합성 블록(201, 203, 205)과 연결되어 비선형 변환을 수행하는 복수개의 ReLU부(202, 204, 206)를 포함한다. 본 발명에서는 3개의 RDB 합성 블록이 도시되었으나, 이는 일례이며 입력 영상에 따라 변경될 수 있다.
여기서, 누적 합성곱이란, 이후 합성곱의 누적 입력으로 반영하는 누적 합성곱을 수행하는 것으로, 제1 RDB 합성 블록(201)은 입력 영상을 함성곱하여 출력하고, 제2 RDB 합성 블록(203)은 상기 제1 RDB 합성 블록(201)의 출력뿐 아니라 입력 영상을 함께 합성곱한다. 이와 같이, 제3 RDB 합성 블록(205)는 상기 제2 RDB 합성 블록(202)의 출력뿐 아니라 입력 영상과 제1 RDB 합성 블록(201)의 출력을 함께 합성곱한다.
또한, 각 RDB 블록은 상기 복수개의 RDB 합성 블록(201, 203, 205) 및 상기 복수개의 ReLU부(202, 204, 206)의 출력 데이터의 접합(concatenation) 연산하는 RDB 접합 연산부(207) 및 상기 RDB 접합 연산부(207)의 출력 데이터를
Figure 112019135898424-pat00048
합성곱 연산을 수행하는 RDB 합성곱 연산부(208)를 포함한다.
각 RDB 블록은 최종적으로 RDB 비교부(209)를 통하여, 입력 영상과 상기 RDB 합성곱 연산부(208)의 출력을 비교 학습하여 결과물을 출력한다.
도 3을 참조하면, RDB를 기본 모듈로 하여 DCRDB(Densely Connected Residual Dense Block)을 생성하였다.
각 DCRDB부는 해당 수만큼의 누적 합성곱 연산을 수행하는 하나 이상의 RDB 블록 시리즈(211, 212, 213)를 포함한다. 본 발명에서는 3개의 RDB 블록이 도시되었으나, 이는 일례이며 입력 영상에 따라 변경될 수 있다.
마찬가지로, 상기 DCRDB부의 각 RDB 블록 시리즈는 이후 합성곱의 누적 입력으로 반영하는 누적 합성곱을 수행한다.
각 DCRDB부는 상기 RDB 블록 시리즈(211, 212, 213)의 출력 데이터를 접합(concatenation) 연산하는 DCRDB 접합 연산부(215) 및 상기 접합 연산의 출력 데이터를
Figure 112019135898424-pat00049
합성곱 연산을 수행하는 DCRDB 합성곱 연산부(217)을 포함한다.
각 DCRDB부는 최종적으로 DCRDB 비교부(219)를 통하여, 입력 영상과 상기 DCRDB 합성곱 연산부(217)의 출력을 비교 학습하여 결과물을 출력한다.
도 4를 참조하면, DCRDB부를 기본 구조로 하여 만든 최종 발명 기술의 딥러닝 네트워크 구조이다.
본 발명에서 제안하는 구조는 입력 영상이 들어오면 제1 합성곱 연산부(100)의 3x3 커널을 이용하여 합성곱(convolution) 계층을 한번 거친다. 이후 DCRDB 구조(210)를 한번 거친다.
이때, DCRDB(m)은 DCRDB 구조 속에 포함된 RDB 모듈의 개수가 m개임을 나타낸다. 즉, 도 4에서 제1 DCRDB 블록(210)은 1개의 RDB 블록을 포함하고, 제2 DCRDB 블록(230)은 3개의 RDB 블록을 포함하고, 제3 DCRDB 블록(250)은 4개의 RDB 블록을 포함하고, 제4 DCRDB 블록(270)은 8개의 RDB 블록을 포함한다. 또한, 제5 DCRDB 블록(410)은 4개의 RDB 블록을 포함하고, 제6 DCRDB 블록(430)은 2개의 RDB 블록을 포함하고, 제7 DCRDB 블록(210)은 1개의 RDB 블록을 포함한다.
상기 제1 합성곱 연산부(100)에서 출력되는 영상 데이터는 다운샘플링(downsampling) 계층을 거쳐 영상의 크기를 줄이고 DCRDB 구조를 반복하여 거친다. 영상의 크기를 줄임으로써 더 깊은 구조의 네트워크를 학습할 수 있다.
상기 제1 DCRDB부는,
Figure 112019135898424-pat00050
이 3일 경우, 1번의 누적 합성곱 연산을 수행하는 제1 DCRDB 블록(210), 상기 제1 DCRDB 블록(210)의 출력 데이터를 다운 샘플링하는 제1 다운 샘플링 블록(310), 상기 제1 다운 샘플링 블록(310)의 출력 데이터를 2번의 누적 합성곱 연산을 수행하는 제2 DCRDB 블록(230), 상기 제2 DCRDB 블록(230)의 출력 데이터를 다운 샘플링하는 제2 다운 샘플링 블록(320), 상기 제2 다운 샘플링 블록(320)의 출력 데이터를 4번의 누적 합성곱 연산을 수행하는 제3 DCRDB 블록(250), 상기 제3 DCRDB 블록(250)의 출력 데이터를 다운 샘플링하는 제3 다운 샘플링 블록(330), 상기 제3 다운 샘플링 블록의 출력 데이터를 8번의 누적 합성곱 연산을 수행하는 제4 DCRDB 블록(270)을 포함한다.
이후, 영상을 원래 크기로 되돌리기 위해 업샘플링(upsampling) 계층을 거치며 DCRDB 구조를 반복한다.
상기 제2 DCRDB부는, 제4 DCRDB 블록(270)의 출력 데이터를 업 샘플링하는 제1 업 샘플링 블록(340), 상기 제1 업 샘플링 블록(340)의 출력 데이터를 4번의 누적 합성곱 연산을 수행하는 제5 DCRDB 블록(410), 상기 제5 DCRDB 블록(410)의 출력 데이터를 업 샘플링하는 제2 업 샘플링 블록(350), 상기 제2 업 샘플링 블록(350)의 출력 데이터를 2번의 누적 합성곱 연산을 수행하는 제6 DCRDB 블록(430), 상기 제6 DCRDB 블록(430)의 출력 데이터를 업 샘플링하는 제3 업 샘플링 블록(360), 상기 제3 업 샘플링 블록(360)의 출력 데이터를 1번의 누적 합성곱 연산을 수행하는 제7 DCRDB 블록(450)를 포함한다.
최종적으로 주의(attention) 모듈인 CBAM 구조(500)를 거치고, 제2 합성곱 연산부(700)의 3x3 커널을 이용해 합성곱(convolution) 계층을 거쳐 출력 영상을 3채널의 영상으로 만들어준다.
본 발명을 실시하기 위해 10000장의 스크린 샷 영상에 무아레 패턴을 합성한 데이테 셋(dataset)을 이용하였다. 또한, 본 발명의 성능을 검증하기 위해 학습에 이용되지 않은 100장의 영상을 이용하였다. 1000장의 테스트 영상에 대한 PSNR은 39.54, SSIM은 0.97으로 우수한 성능을 보였다.
도 5 및 도 6은 본 발명의 딥러닝 기반 무아레 패턴 제거 결과 영상을 보여주는 도면들이다.
도 5 및 도 6을 참조하면, 기존 무아레 패턴이 보이는 영상(a)과 달리 본 발명에 따른 딥러닝 기반 무아레 패턴 제거 결과 영상(b)의 화질이 우수한 것을 확인할 수 있다.
도 7 본 발명의 일 실시예에 따른 딥러닝 기반 무아레 패턴 제거 방법의 흐름도이다.
본 실시예에 따른 딥러닝 기반 무아레 패턴 제거 방법은, 도 4의 장치와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또한, 본 실시예에 따른 딥러닝 기반 무아레 패턴 제거 방법은 딥러닝 기반 무아레 패턴 제거를 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 7을 참조하면, 본 실시예에 따른 딥러닝 기반 무아레 패턴 제거 방법은, 디스플레이 장치를 촬영한 영상이 입력되면(단계 S00), 입력 영상의 데이터를
Figure 112019135898424-pat00051
(여기서, n은 자연수)의 합성곱(convolution) 연산을 수행한다(단계 S10). 일 실시예에서, RGB 영상이 입력되는 경우,
Figure 112019135898424-pat00052
의 합성곱을 수행할 수 있다.
상기
Figure 112019135898424-pat00053
의 합성곱 연산이 수행된 데이터를 이후 합성곱의 누적 입력으로 반영하는
Figure 112019135898424-pat00054
(여기서, j는 0, 1, 2, ..., n)번의 누적 합성곱 연산 및
Figure 112019135898424-pat00055
번의 다운 샘플링을 반복적으로 수행한다(단계 S20, 단계 S30).
구체적으로,
Figure 112019135898424-pat00056
이 3일 경우, 1번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계, 상기 1번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 2번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계, 상기 2번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 4번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계 및 상기 4번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 8번의 누적 합성곱 연산을 수행하는 단계를 포함할 수 있다.
Figure 112019135898424-pat00057
번의 합성곱을 모두 수행한 경우(단계 S40), 즉
Figure 112019135898424-pat00058
이 3일 경우 1번, 2번, 4번, 8번의 합성곱과 다운샘플링이 순차적으로 모두 수행된 경우에는 업 샘플링을 수행하고(단계 S50), 아직 수행되지 않은 경우 단계 S20 및 단계 S30를 반복 수행한다.
상기
Figure 112019135898424-pat00059
번의 누적 합성곱 연산 및
Figure 112019135898424-pat00060
번의 다운 샘플링이 수행된 데이터를
Figure 112019135898424-pat00061
번의 업 샘플링 및
Figure 112019135898424-pat00062
(여기서, k는 n-1, ..., 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행한다(단계 S50, 단계 S60).
구체적으로,
Figure 112019135898424-pat00063
이 3일 경우, 상기 8번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 4번의 누적 합성곱 연산을 수행하는 단계, 상기 업 샘플링 및 4번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 2번의 누적 합성곱 연산을 수행하는 단계 및 상기 업 샘플링 및 2번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 1번의 누적 합성곱 연산을 수행하는 단계를 포함할 수 있다.
Figure 112019135898424-pat00064
번의 합성곱을 모두 수행한 경우(단계 S70), 즉
Figure 112019135898424-pat00065
이 3일 경우 업 샘플링과 4번, 2번, 1번의 합성곱이 순차적으로 모두 수행된 경우에는 단계 S80으로 진행하고, 아직 수행되지 않은 경우 단계 S50 및 단계 S60를 반복 수행한다.
상기
Figure 112019135898424-pat00066
번의 업 샘플링 및
Figure 112019135898424-pat00067
번의 누적 합성곱 연산이 수행된 데이터를 무아레 패턴을 갖는
Figure 112019135898424-pat00068
개 채널의 데이터로 출력한다(단계 S80). 이후, 상기 무아레 패턴을 갖는
Figure 112019135898424-pat00069
개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여(단계 S90), 무아레 패턴을 제거한 영상을 출력한다(단계 S100).
본 발명의 딥러닝 기반 무아레 패턴 제거 방법에 따르면, 디스플레이 장치를 촬영한 경우 디스플레이 상의 영상은 보존하면서 무아레 패턴을 제거하여 퀄리티가 향상된 영상을 제공할 수 있다.
이와 같은, 딥러닝 기반 무아레 패턴 제거 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 카메라로 디스플레이 장치를 촬영할 경우 나타나는 무아레 패턴을 제거하는 컴퓨터 비전 기술로, 스마트폰 어플리케이션 등에 유용하게 적용이 가능하다.
10: 딥러닝 기반 무아레 패턴 제거 장치
100: 제1 합성곱 연산부
200: 제1 DCRDB부
400: 제2 DCRDB부
500: CBAM부
700: 제2 합성곱 연산부
900: 학습부
201, 203, 205: RDB 합성 블록
202, 204, 206: ReLU부
207: RDB 접합 연산부
208: RDB 합성곱 연산부
209: RDB 비교부
211, 212, 213: RDB 블록
215: DCRDB 접합 연산부
217: DCRDB 합성곱 연산부
219: DCRDB 비교부
210, 230, 250, 270, 410, 430, 450: DCRDB 블록
310, 320, 330: 다운 샘플링 블록
340, 350, 360: 업 샘플링 블록

Claims (12)

  1. 디스플레이 장치를 촬영한 영상이 입력되면, 입력 영상의 데이터를
    Figure 112020132076869-pat00070
    (여기서, n은 자연수)의 합성곱(convolution) 연산을 수행하는 단계;
    상기
    Figure 112020132076869-pat00071
    의 합성곱 연산이 수행된 데이터를 이후 합성곱의 누적 입력으로 반영하는
    Figure 112020132076869-pat00072
    (여기서, j는 0, 1, 2, ..., n)번의 누적 합성곱 연산 및
    Figure 112020132076869-pat00073
    번의 다운 샘플링을 반복적으로 수행하는 단계;
    상기
    Figure 112020132076869-pat00074
    번의 누적 합성곱 연산 및
    Figure 112020132076869-pat00075
    번의 다운 샘플링이 수행된 데이터를
    Figure 112020132076869-pat00076
    번의 업 샘플링 및
    Figure 112020132076869-pat00077
    (여기서, k는 n-1, ..., 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행하는 단계;
    상기
    Figure 112020132076869-pat00078
    번의 업 샘플링 및
    Figure 112020132076869-pat00079
    번의 누적 합성곱 연산이 수행된 데이터를 무아레 패턴을 갖는
    Figure 112020132076869-pat00080
    개 채널의 데이터로 출력하는 단계; 및
    상기 무아레 패턴을 갖는
    Figure 112020132076869-pat00081
    개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여, 무아레 패턴을 제거한 영상을 출력하는 단계;를 포함하고,
    상기
    Figure 112020132076869-pat00082
    번의 누적 합성곱 연산 및
    Figure 112020132076869-pat00083
    번의 다운 샘플링을 반복적으로 수행하는 단계는,
    Figure 112020132076869-pat00084
    이 3일 경우, 1번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계;
    상기 1번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 2번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계;
    상기 2번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 4번의 누적 합성곱 연산 및 다운 샘플링을 수행하는 단계; 및
    상기 4번의 누적 합성곱 연산 및 다운 샘플링이 수행된 데이터를 8번의 누적 합성곱 연산을 수행하는 단계;를 포함하는, 딥러닝 기반 무아레 패턴 제거 방법.
  2. 삭제
  3. 제1항에 있어서, 상기
    Figure 112020132076869-pat00085
    번의 업 샘플링 및
    Figure 112020132076869-pat00086
    번의 누적 합성곱 연산을 반복적으로 수행하는 단계는,
    상기 8번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 4번의 누적 합성곱 연산을 수행하는 단계;
    상기 업 샘플링 및 4번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 2번의 누적 합성곱 연산을 수행하는 단계; 및
    상기 업 샘플링 및 2번의 누적 합성곱 연산이 수행된 데이터를 업 샘플링 및 1번의 누적 합성곱 연산을 수행하는 단계;를 포함하는, 딥러닝 기반 무아레 패턴 제거 방법.
  4. 제1항에 있어서, 상기
    Figure 112019135898424-pat00087
    번의 누적 합성곱 연산 및 상기
    Figure 112019135898424-pat00088
    번의 누적 합성곱 연산은,
    해당 수만큼의 누적 합성곱 연산 후 접합(concatenation) 연산 및
    Figure 112019135898424-pat00089
    합성곱 연산을 수행하는 단계;를 포함하는, 딥러닝 기반 무아레 패턴 제거 방법.
  5. 제1항에 있어서, 상기
    Figure 112020132076869-pat00128
    번의 누적 합성곱 연산 및 상기
    Figure 112020132076869-pat00129
    번의 누적 합성곱 연산은,
    복수의 합성곱의 연산과 비선형 변환을 반복 수행하는 단계; 및
    미리 설정된 수만큼의 합성곱의 연산과 비선형 변환의 반복 수행 후 접합(concatenation) 연산 및
    Figure 112020132076869-pat00090
    합성곱 연산을 수행하는 단계;를 포함하는, 딥러닝 기반 무아레 패턴 제거 방법.
  6. 제1항에 있어서, 상기
    Figure 112019135898424-pat00091
    번의 업 샘플링 및
    Figure 112019135898424-pat00092
    번의 누적 합성곱 연산이 수행된 데이터를 무아레 패턴을 갖는
    Figure 112019135898424-pat00093
    개 채널의 데이터로 출력하는 단계는,
    상기
    Figure 112019135898424-pat00094
    번의 누적 합성곱 연산 및
    Figure 112019135898424-pat00095
    번의 업 샘플링이 수행된 데이터를 주의 영상 모듈(Convolutional Block Attention Module; CBAM)을 통해 문맥(Context)을 고려한 주의 기반 맵으로 출력하는 단계; 및
    상기 주의 기반 맵을
    Figure 112019135898424-pat00096
    의 합성곱 연산을 수행하여 무아레 패턴을 갖는
    Figure 112019135898424-pat00097
    개 채널의 데이터로 출력하는 단계;를 포함하는, 딥러닝 기반 무아레 패턴 제거 방법.
  7. 제1항, 제3항 내지 제6항의 어느 하나의 항에 따른 딥러닝 기반 무아레 패턴 제거 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
  8. 디스플레이 장치를 촬영한 영상이 입력되면, 입력 영상의 데이터를
    Figure 112020132076869-pat00098
    (여기서, n은 자연수)의 합성곱(convolution) 연산을 수행하는 제1 합성곱 연산부;
    상기 제1 합성곱 연산부에서 출력되는 데이터를 이후 합성곱의 누적 입력으로 반영하는
    Figure 112020132076869-pat00099
    (여기서, j는 0, 1, 2, ..., n)번의 누적 합성곱 연산 및
    Figure 112020132076869-pat00100
    번의 다운 샘플링을 반복적으로 수행하는 제1 DCRDB부;
    상기 제1 DCRDB부에서 출력되는 데이터를
    Figure 112020132076869-pat00101
    번의 업 샘플링과
    Figure 112020132076869-pat00102
    (여기서, k는 n-1, ..., 2, 1, 0)번의 누적 합성곱 연산을 반복적으로 수행하는 제2 DCRDB부;
    상기 제2 DCRDB부에서 출력되는 데이터를 문맥(Context)을 고려한 주의 기반 맵으로 출력하는 CBAM(Convolutional Block Attention Module)부;
    상기 CBAM부에서 출력되는 주의 기반 맵을
    Figure 112020132076869-pat00103
    의 합성곱 연산을 수행하여 무아레 패턴을 갖는
    Figure 112020132076869-pat00104
    개 채널의 데이터로 출력하는 제2 합성곱 연산부; 및
    상기 무아레 패턴을 갖는
    Figure 112020132076869-pat00105
    개 채널의 데이터를 상기 입력 영상의 데이터와 비교 학습하여, 무아레 패턴을 제거한 영상을 출력하는 학습부;를 포함하고,
    상기 제1 DCRDB부는,
    Figure 112020132076869-pat00106
    이 3일 경우, 1번의 누적 합성곱 연산을 수행하는 제1 DCRDB 블록;
    상기 제1 DCRDB 블록의 출력 데이터를 다운 샘플링하는 제1 다운 샘플링 블록;
    상기 제1 다운 샘플링 블록의 출력 데이터를 2번의 누적 합성곱 연산을 수행하는 제2 DCRDB 블록;
    상기 제2 DCRDB 블록의 출력 데이터를 다운 샘플링하는 제2 다운 샘플링 블록;
    상기 제2 다운 샘플링 블록의 출력 데이터를 4번의 누적 합성곱 연산을 수행하는 제3 DCRDB 블록;
    상기 제3 DCRDB 블록의 출력 데이터를 다운 샘플링하는 제3 다운 샘플링 블록; 및
    상기 제3 다운 샘플링 블록의 출력 데이터를 8번의 누적 합성곱 연산을 수행하는 제4 DCRDB 블록;을 포함하는, 딥러닝 기반 무아레 패턴 제거 장치.
  9. 삭제
  10. 제8항에 있어서, 상기 제2 DCRDB부는,
    제4 DCRDB 블록의 출력 데이터를 업 샘플링하는 제1 업 샘플링 블록;
    상기 제1 업 샘플링 블록의 출력 데이터를 4번의 누적 합성곱 연산을 수행하는 제5 DCRDB 블록;
    상기 제5 DCRDB 블록의 출력 데이터를 업 샘플링하는 제2 업 샘플링 블록;
    상기 제2 업 샘플링 블록의 출력 데이터를 2번의 누적 합성곱 연산을 수행하는 제6 DCRDB 블록;
    상기 제6 DCRDB 블록의 출력 데이터를 업 샘플링하는 제3 업 샘플링 블록; 및
    상기 제3 업 샘플링 블록의 출력 데이터를 1번의 누적 합성곱 연산을 수행하는 제7 DCRDB 블록;을 포함하는, 딥러닝 기반 무아레 패턴 제거 장치.
  11. 제10항에 있어서, 상기 제1 내지 제7 DCRDB 블록들은 각각,
    해당 수만큼의 누적 합성곱 연산을 수행하는 하나 이상의 RDB 블록 시리즈;
    상기 RDB 블록 시리즈의 출력 데이터를 접합(concatenation) 연산하는 DCRDB 접합 연산부; 및
    상기 접합 연산의 출력 데이터를
    Figure 112020132076869-pat00107
    합성곱 연산을 수행하는 DCRDB 합성곱 연산부;를 포함하는, 딥러닝 기반 무아레 패턴 제거 장치.
  12. 제11항에 있어서, 상기 하나 이상의 RDB 블록 시리즈의 각 RDB 블록은,
    이후 합성곱의 누적 입력으로 반영하는 누적 합성곱을 수행하는 복수개의 RDB 합성 블록;
    각 RDB 합성 블록과 연결되어 비선형 변환을 수행하는 복수개의 ReLU부;
    상기 복수개의 RDB 합성 블록 및 상기 복수개의 ReLU부의 출력 데이터의 접합(concatenation) 연산하는 RDB 접합 연산부; 및
    상기 RDB 접합 연산부의 출력 데이터를
    Figure 112019135898424-pat00108
    합성곱 연산을 수행하는 RDB 합성곱 연산부;를 포함하는, 딥러닝 기반 무아레 패턴 제거 장치.
KR1020190178784A 2019-12-31 2019-12-31 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 KR102224260B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190178784A KR102224260B1 (ko) 2019-12-31 2019-12-31 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190178784A KR102224260B1 (ko) 2019-12-31 2019-12-31 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (1)

Publication Number Publication Date
KR102224260B1 true KR102224260B1 (ko) 2021-03-05

Family

ID=75164207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190178784A KR102224260B1 (ko) 2019-12-31 2019-12-31 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR102224260B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100298466B1 (ko) 1998-06-04 2001-09-22 오우라 히로시 플랫패널·디스플레이 검사용 화상취득방법 및 장치
JP2004534949A (ja) * 2001-07-05 2004-11-18 フォトン・ダイナミクス・インコーポレーテッド モアレ抑制方法および装置
EP1261195B1 (en) 2001-05-24 2013-05-08 Ricoh Company, Ltd. Image processing method and apparatus and image forming apparatus for reducing moire fringes
KR20170031096A (ko) 2014-07-15 2017-03-20 아이아이엑스 인코포레이티드 화상 처리 방법 및 이 화상 처리 방법을 실행하는 화상 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100298466B1 (ko) 1998-06-04 2001-09-22 오우라 히로시 플랫패널·디스플레이 검사용 화상취득방법 및 장치
EP1261195B1 (en) 2001-05-24 2013-05-08 Ricoh Company, Ltd. Image processing method and apparatus and image forming apparatus for reducing moire fringes
JP2004534949A (ja) * 2001-07-05 2004-11-18 フォトン・ダイナミクス・インコーポレーテッド モアレ抑制方法および装置
KR20170031096A (ko) 2014-07-15 2017-03-20 아이아이엑스 인코포레이티드 화상 처리 방법 및 이 화상 처리 방법을 실행하는 화상 처리 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Bumjun Park ET AL:"Densely Connected Hierarchical Network for Image Denoising", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops(2019.06.16.) 1부.* *
Demoirιing for Screen-shot Images with Multi-channel Layer Decomposition, Jingyu Yang et al., 2017 IEEE Visual Communications and Image Processing
Dong-Wook Kim ET AL:"GRDN:Grouped Residual Dense Network for Real Image Denoising and GAN-Based Real-World Noise Modeling", Proceedings of CVPR Workshops, June 2019( 2019.06.16.) 1부.* *
Hong-Kyu Shin ET AL:"AIM 2019 Challenge on Image Demoireing: Methods and Results", 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), Oct. 2019(2019.10.27.) 1부.* *

Similar Documents

Publication Publication Date Title
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
KR101780057B1 (ko) 고해상도 영상 복원 방법 및 장치
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
JP4782105B2 (ja) 画像処理装置及び画像処理方法
KR20230054432A (ko) 인물 이미지 복원 방법, 장치, 전자 기기, 기억 매체 및 프로그램 제품
EP2529353A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
KR102086711B1 (ko) Simd형 초병렬 연산 처리 장치용 초해상 처리 방법, 장치, 프로그램 및 기억 매체
CN108986029B (zh) 文字图像超分辨率重建方法、系统、终端设备及存储介质
Wee et al. A novel fast fractal super resolution technique
CN111325692B (zh) 画质增强方法、装置、电子设备和可读存储介质
CN111210485A (zh) 图像的处理方法、装置、可读介质和电子设备
CN107135415A (zh) 视频字幕处理方法及装置
CN110458771B (zh) 图像处理方法及装置、电子设备和存储介质
CN109840890B (zh) 图像处理方法及装置、电子设备和存储介质
CN115937794A (zh) 小目标对象检测方法、装置、电子设备及存储介质
KR102224260B1 (ko) 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치
Zamani et al. Multiple-frames super-resolution for closed circuit television forensics
CN111429458B (zh) 一种图像还原的方法、装置及电子设备
CN109816620B (zh) 图像处理方法及装置、电子设备和存储介质
CN110070482B (zh) 图像处理方法、装置和计算机可读存储介质
CN116485944A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
KR102206792B1 (ko) 병렬 특징 피라미드를 이용한 네트워크 영상 내 잡음 제거 방법, 이를 수행하기 위한 기록 매체 및 장치
CN114240787A (zh) 压缩图像修复方法及装置、电子设备和存储介质
CN113706385A (zh) 一种视频超分辨率方法、装置、电子设备及存储介质
KR20080069084A (ko) 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant