KR101987079B1 - 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 - Google Patents

머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 Download PDF

Info

Publication number
KR101987079B1
KR101987079B1 KR1020170181812A KR20170181812A KR101987079B1 KR 101987079 B1 KR101987079 B1 KR 101987079B1 KR 1020170181812 A KR1020170181812 A KR 1020170181812A KR 20170181812 A KR20170181812 A KR 20170181812A KR 101987079 B1 KR101987079 B1 KR 101987079B1
Authority
KR
South Korea
Prior art keywords
frame image
image
noise
current frame
cnn
Prior art date
Application number
KR1020170181812A
Other languages
English (en)
Inventor
이진학
황부군
김성수
Original Assignee
주식회사 홈초이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 홈초이스 filed Critical 주식회사 홈초이스
Priority to KR1020170181812A priority Critical patent/KR101987079B1/ko
Priority to PCT/KR2018/000086 priority patent/WO2019132091A1/ko
Application granted granted Critical
Publication of KR101987079B1 publication Critical patent/KR101987079B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 의한 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법은 노이즈 제거의 대상이 되는 영상인 객체영상이 입력되는 입력단계; 상기 객체영상을 이루는 프레임 영상 중 노이즈 제거의 대상이 되는 현재프레임 영상, 상기 현재프레임 영상을 기준으로 선행하는 P(P는 1이상의 자연수)개 선행프레임 영상 및 상기 현재프레임 영상을 기준으로 후행하는 Q(Q는 1이상의 자연수)개 후행프레임 영상을 선정하는 대상선정단계; 공통 객체를 기준으로 움직임 추정 프로세싱을 수행하고 그 결과에 따라 상기 P개의 선행프레임 영상 및 Q개의 후행프레임 영상을 상기 현재프레임 영상을 기준으로 움직임 정합시킨 영상인 보상프레임 영상을 생성하는 정합단계; 상기 보상프레임 영상과 상기 현재프레임 영상을 이용하여 각 프레임별 가중치 파라미터(
Figure 112017130183738-pat00064
)를 산출하는 파라미터산출단계; 및 상기 현재프레임 영상의 노이즈를 제거하는 연산처리단계를 포함하는 것을 특징으로 하는 것을 특징으로 한다.

Description

머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법{METHOD FOR REMOVING NOISE OF UPSCALED MOVING PICTURE WITH DYNAMIC PARAMETER BASED ON MACHINE LEARNING}
본 발명은 동영상의 노이즈를 제거하는 방법에 관한 것으로서, 더욱 구체적으로는 노이즈 제거의 대상이 되는 영상 프레임을 단위 블록으로 구분하고 구분된 단위 블록을 기준으로 머싱러닝 기법을 계층적으로 적용하여 노이즈 제거에 요구되는 가중치 파라미터를 동적(動的)으로 결정함으로써 특히 업스케일된 동영상에 최적화될 수 있는 노이즈 제거 방법에 대한 것이다.
디스플레이 기술은 물론, 영상 패널을 포함한 다양한 영상장치들의 하드웨어 기술이 비약적으로 발전하고 가정용 TV 또한, 대형화됨에 따라 고화질의 콘텐츠에 대한 수요자 니즈가 증폭되고 있다. 이러한 경향은 최근 UHDTV(Ultra High-Definition Television) 판매의 점진적 확대와 UHD 방송의 상용화 서비스 개시에서도 찾을 수 있다.
그러나 UHD 콘텐츠는 기존 HD 콘텐츠와 대비하여 상당한 비용투자가 요구되므로 자체 UHD로 제작되는 콘텐츠는 아직 보편적으로 활성화되지 못하고 있어 지상파, IPTV, 케이블 TV업계 등은 기존 HD 영상을 UHD 콘텐츠로 변환하는 업스케일링(upscaling) 등의 영상 처리 기술을 적용하여 UHD급 영상 콘텐츠를 주로 제작하여 콘텐츠 수급에 활용하고 있다.
영상 업스케일링을 위한 기술로 한국공개공보 10-2009-0039830호(2009.04.22.)와 같이 픽셀 값을 보간(interpolation)하기 위한 다양한 보간법이 적용되기도 하며, 입력 영상으로부터 고주파 성분을 추출하여 확대된 영상과 고주파수 영상을 융합하는 방법을 통하여 입력영상보다 해상도가 높은 고해상도 영상을 생성하는 기술이 이용되기도 한다.
그러나 HD급 영상을 UHD급 영상으로 업스케일링하는 과정에서 영상 본연의 정보뿐만 아니라 영상에 혼입된 다양한 노이즈(coding noise, ringing artifact, alias artifact, jaggy artifact, thermal noise)가 함께 증폭되고 확대되게 되므로 기존 영상보다 업스케일된 영상에서 노이즈에 의한 영향이 더욱 심화되는 문제가 발생하게 되어 업스케일링 과정의 노이즈 제거는 일반 영상에서의 노이즈 제거보다 더욱 중요한 이슈가 될 수 있다.
영상에서 노이즈를 제거하는 방법으로는 이전 프레임(frame)의 픽셀 값을 이용하는 아래 변환식과 같은 일종의 시간영역필터인 시간상 이동평균(Temporal Moving Average) 필터가 주로 사용된다. 이 변환식을 이용하여 노이즈를 제거하는 방법은 한국공개공보 10-2007-0089485호(2007.08.31.)에 개시되어 있다.
Figure 112017130183738-pat00001
이 변환식에서 파라미터 a는 영상의 시간적 상관계수를 의미하는 가중치 파라미터로서 이 계수가 커질수록 이전 프레임의 영향이 커지며 노이즈제거 효과가 커지게 되나, 움직임이 많은 영상의 경우 파라미터 a가 커질수록 이전 프레임의 잔상이 많이 발생되는 새로운 문제가 야기된다.
이러한 문제점을 개선하기 위하여 한국 특허등록공보 10-1558532(2015.10.01.)에 개시된 바와 같이 시간영역필터에서 노이즈 레벨에 따라 파라미터 a값을 조정하여 이전 프레임의 잔상이 미치는 영향이 최소화되도록 하고, 움직임 측정에 노이즈 레벨을 적용하여 노이즈로 인한 영상 열화를 보완하기 위한 기술도 제시되어 있다.
그러나 이러한 기술은 에지 레벨에서만 어느 정도 효과를 발현할 수 있을 뿐, 파라미터 결정 방식이 단순하여 특히 UHD와 같은 고화질 영상에서는 노이즈 제거의 효율성이 극히 저하된다는 문제점이 있다.
한국공개특허공보 10-2009-0039830호(2009.04.22.) 한국공개특허공보 10-2007-0089485호(2007.08.31.) 한국 특허등록공보 10-1558532(2015.10.01.)
본 발명은 상기와 같은 배경에서 상술된 문제점을 해결하기 위하여 창안된 것으로서, 머신 러닝 기법을 기반으로 해당 프레임 영상에 최적화될 수 있는 시간영역 필터의 가중치 파라미터를 동적으로 결정하여 적용함으로써 특히 저해상도 영상(HD영상)에서 고해상도 영상(UHD) 영상으로 업스케일된 동영상에서 더욱 효과적으로 노이즈를 제거할 수 있는 방법 및 이 방법이 구현된 기록매체를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 아래의 설명에 의하여 이해될 수 있으며, 본 발명의 실시예에 의하여 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 그 구성의 조합에 의하여 실현될 수 있다.
상기 목적을 달성하기 위한 본 발명의 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법은 노이즈 제거의 대상이 되는 영상인 객체영상이 입력되는 입력단계; 상기 객체영상을 이루는 프레임 영상 중 노이즈 제거의 대상이 되는 현재프레임 영상, 상기 현재프레임 영상을 기준으로 선행하는 P(P는 1이상의 자연수)개 선행프레임 영상 및 상기 현재프레임 영상을 기준으로 후행하는 Q(Q는 1이상의 자연수)개 후행프레임 영상을 선정하는 대상선정단계; 공통 객체를 기준으로 움직임 추정 프로세싱을 수행하고 그 결과에 따라 상기 P개의 선행프레임 영상 및 Q개의 후행프레임 영상을 상기 현재프레임 영상을 기준으로 움직임 정합시킨 영상인 보상프레임 영상을 생성하는 정합단계; 상기 보상프레임 영상과 상기 현재프레임 영상을 이용하여 각 프레임별 가중치 파라미터(
Figure 112017130183738-pat00002
)를 산출하는 파라미터산출단계; 및 아래 수식에 의하여 상기 현재프레임 영상의 노이즈를 제거하는 연산처리단계를 포함하여 구성될 수 있다.
Figure 112017130183738-pat00003
Figure 112017130183738-pat00004
상기 수식에서
Figure 112017130183738-pat00005
은 노이즈가 제거된 현재프레임 영상,
Figure 112017130183738-pat00006
는 노이즈가 포함된 현재프레임 영상,
Figure 112017130183738-pat00007
는 보상프레임 영상.
또한, 본 발명은 상기 현재프레임 영상 및 보상프레임 영상 각각을 제1기준블록 단위로 분할하는 블록분할단계를 더 포함할 수 있으며 이 경우, 상기 파라미터산출단계는 상기 제1기준블록 단위로 각각 분할된 현재프레임 영상 및 보상프레임 영상을 이용하여 상기 각 프레임별 가중치 파라미터(
Figure 112017130183738-pat00008
)를 산출하고, 상기 연산처리단계는 상기 현재프레임 영상의 제1기준블록 내부를 이루는 타겟영역의 노이즈를 제거하도록 구성될 수 있다.
나아가 본 발명의 상기 파라미터산출단계는 노이즈 영상과 노이즈 제거 영상에 대한 학습을 통하여 상기 제1기준블록 단위로 각각 분할된 현재프레임 영상 및 보상프레임 영상을 대상으로 제1기준블록단위보다 작은 크기의 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제1CNN처리단계; 최종 1×1크기 특징값 블록이 결과로 출력될 때까지 제 1CNN처리단계에서 산출된 특징값 블록을 대상으로 계층적으로 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 후속CNN처리단계; 및 상기 최종 1×1크기 특징값 블록의 값을 각 프레임별 가중치 파라미터(
Figure 112017130183738-pat00009
)로 산출하는 결과산출단계를 포함하여 구성되는 것이 바람직하다.
또한, 본 발명은 상기 연산처리단계로부터 노이즈 제거 영상이 입력되면 이를 대상으로 업스케일링을 수행하여 업스케일링 영상을 출력하는 업스케일링단계를 더 포함할 수 있다.
더욱 바람직하게 본 발명은 상기 업스케일링 영상을 대상으로 후속 노이즈를 제거하는 후처리단계를 더 포함할 수 있으며 이 경우 본 발명의 상기 후처리단계는 상기 업스케일링 영상이 입력되는 제2입력단계; 상기 업스케일링 영상을 이루는 프레임 영상 중 노이즈 제거의 대상이 되는 제2현재프레임 영상, 상기 제2현재프레임 영상을 기준으로 선행하는 P(P는 1이상의 자연수)개 제2선행프레임 영상 및 상기 제2현재프레임 영상을 기준으로 후행하는 Q(Q는 1이상의 자연수)개 제2후행프레임 영상을 선정하는 제2대상선정단계; 공통 객체를 기준으로 움직임 추정 프로세싱을 수행하고 그 결과에 따라 상기 P개의 제2선행프레임 영상 및 Q개의 제2후행프레임 영상을 상기 제2현재프레임 영상을 기준으로 움직임 정합시킨 영상인 제2보상프레임 영상을 생성하는 제2정합단계; 상기 제2보상프레임 영상과 상기 제2현재프레임 영상을 이용하여 각 프레임별 제2가중치 파라미터(
Figure 112017130183738-pat00010
)를 산출하는 제2파라미터산출단계; 및 아래 수식에 의하여 상기 제2현재프레임 영상의 노이즈를 제거하는 제2연산처리단계를 포함할 수 있다.
Figure 112017130183738-pat00011
Figure 112017130183738-pat00012
상기 수식에서
Figure 112017130183738-pat00013
은 노이즈가 제거된 제2현재프레임 영상,
Figure 112017130183738-pat00014
는 노이즈가 포함된 제2현재프레임 영상,
Figure 112017130183738-pat00015
는 제2보상프레임 영상.
또한, 본 발명은 상기 제2현재프레임 영상 및 제2보상프레임 영상 각각을 제1기준블록 단위로 분할하는 제2블록분할단계를 더 포함할 수 있으며, 이 경우 본 발명의 상기 제2파라미터산출단계는 상기 제1기준블록 단위로 각각 분할된 제2현재프레임 영상 및 제2보상프레임 영상을 이용하여 상기 각 프레임별 제2가중치 파라미터(
Figure 112017130183738-pat00016
)를 산출하고 상기 제2연산처리단계는 상기 제2현재프레임 영상의 제1기준블록 내부를 이루는 타겟영역의 노이즈를 제거하도록 구성될 수 있다.
여기에서 본 발명의 상기 제2파라미터산출단계는 노이즈 영상과 노이즈 제거 영상에 대한 학습을 통하여 상기 제1기준블록 단위로 각각 분할된 제2현재프레임 영상 및 제2보상프레임 영상을 대상으로 제1기준블록단위보다 작은 크기의 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제2CNN처리단계; 최종 1×1크기 특징값 블록이 결과로 출력될 때까지 제 2CNN처리단계에서 산출된 특징값 블록을 대상으로 계층적으로 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제2후속CNN처리단계; 및 상기 최종 1×1크기 특징값 블록의 값을 각 프레임별 제2가중치 파라미터(
Figure 112017130183738-pat00017
)로 산출하는 제2결과산출단계를 포함하여 구성될 수 있다.
더욱 바람직하게, 본 발명의 상기 제2정합단계는 상기 정합단계에서 수행된 움직임 추정 프로세싱 결과와 상기 업스케일링단계에서 업스케일링된 배수 정보에 의하여 정해지는 추정 영역을 이용하여 움직임 추정 프로세싱을 수행하도록 구성될 수 있다.
본 발명에 의한 노이즈 제거방법은 시간영역필터의 가중치 파라미터를 고정화된 값으로 결정되는 방법을 지양하고 머신 러닝 기법의 계층적 적용을 이용하여 동적으로 결정되는 가중치 파라미터를 노이즈 제거의 대상이 되는 각 프레임 영상마다 차등적으로 적용함으로써 특히 업스케일링 동영상(upscaled moving picture/video)의 노이즈 제거를 최적화시킬 수 있는 효과를 제공할 수 있다.
또한, 본 발명의 다른 바람직한 실시예에 의할 때, 노이즈 제거의 대상이 되는 영상의 업스케일링 프로세싱 이전 전처리 과정에서 1차 노이즈를 제거 프로세싱을 수행하고, 업스케일링 프로세싱 이후 후처리 과정에서 이원적으로 노이즈 제거 프로세싱을 수행함으로써, 업스케일링된 동영상의 노이즈 제거를 더욱 효과적으로 수행할 수 있다.
나아가 본 발명의 또 다른 바람직한 실시예에 의할 때, 전처리 과정에서 이용된 움직임 추정 및 움직임 보상(정합 이동) 프로세싱의 결과를 후처리 과정에서 순환적으로 적용함으로써 노이즈 제거 과정의 데이터 처리의 프로세싱의 효율성을 더욱 극대화시킬 수 있는 효과를 제공할 수 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술 사상을 더욱 효과적으로 이해시키는 역할을 하는 것이므로, 본 발명은 이러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 일 실시예에 의한 전처리부를 중심으로 한 노이즈 제거장치의 구성을 도시한 블록도,
도 2는 본 발명의 바람직한 일 실시예에 의한 후처리부를 중심으로 한 노이즈 제거장치의 구성을 도시한 블록도,
도 3은 본 발명의 노이즈 제거 방법에 이용되는 움직임 추정 및 움직임 보상 내지 정합 이동을 설명하는 도면,
도 4는 도 1에 도시된 본 발명의 일 실시예에 의한 파라미터산출부에 대한 상세 구성을 도시한 블록도,
도 5는 본 발명의 바람직한 일 실시예에 의한 전처리 과정에서 노이즈 제거 방법을 구현하는 프로세싱을 도시한 흐름도,
도 6은 본 발명의 바람직한 일 실시예에 의한 머신러닝을 이용하여 동적으로 가중치 파라미터를 결정하는 프로세싱 과정을 도시한 흐름도,
도 7은 본 발명의 바람직한 일 실시예에 의한 후처리 과정을 중심으로 노이즈를 제거하는 프로세싱 과정을 도시한 흐름도,
도 8은 머신 러닝의 기본 구조를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 의한 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법(이하 ‘노이즈 제거 방법’이라 지칭한다)이 구현되는 노이즈 제거 장치(1000)의 상세 구성을 도시한 블록도이다.
본 발명에 의한 노이즈 제거 방법은 ROM, RAM, 입출력 모듈, 통신 모듈, CPU 등과 같은 하드웨어 리소스가 집합되어 있는 컴퓨터 등의 하드웨어 장치에 소프트웨어의 형태로 탑재되어 구동되는 방법으로 구현될 수 있음은 물론, 본 발명에 의한 노이즈 제거 방법이 구현되는 SOC(System on Chip) 및 다른 하드웨어 구성이 조합된 전용 단말장치에 의해서도 구현될 수 있음은 물론이다.
본 발명에 의한 노이즈 제거 장치(1000)는 이와 같이 하드웨어 리소스를 사용하여 본 발명에 의한 노이즈 제거 방법을 구현하는 단말 장치 내지 시스템을 표상하는 것이므로 본 발명에 의한 노이즈 제거 방법이 구현되거나 구현될 수 있는 장치, 단말 내지 시스템이라면 그 지칭되는 명칭에 제한되지 않고 본 발명에 의한 노이즈 제거장치(100)에 해당할 수 있음은 물론이다.
도 1에 도시된 바와 같이 본 발명의 노이즈 제거장치(1000)는 전처리부(100), 업스케일링부(200) 및 후처리부(300)로 구성된다. 이하 도 1 및 도 5 등을 참조하여 본 발명의 노이즈 제거장치(1000)를 구성하는 전처리부(100)에 대한 상세 구성과 구체적으로 프로세싱을 먼저 설명하고 본 발명의 후처리부(300) 등의 상세 프로세싱은 후술하도록 한다.
본 발명의 전처리부(100)는 도 1에 도시된 바와 같이 입력부(110), 대상선정부(120), 정합부(130), 블록분할부(140), 파라미터산출부(150) 및 연산처리부(160)를 포함하여 구성될 수 있다.
본 발명의 상세한 설명에 앞서, 도 1 및 도 2에 도시된 본 발명의 노이즈 제거장치(1000), 전처리부(100) 및 후처리부(300)의 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다.
즉, 각각의 구성은 본 발명의 기술 사상을 실현하기 위한 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 구성되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.
본 발명의 입력부(110)는 노이즈 제거의 대상이 되는 영상(이하 ‘객체영상’이라 지칭한다)이 입력되는 구성으로서 다른 외부 장치와 본 발명의 노이즈 제거장치(1000)사이의 인터페이스(interface) 기능을 수행한다.
노이즈들은 특정 프레임 영상(이미지) 전체를 대상으로 흩어져 있으며 시간적 경과에 의하여 그 밝기가 변화됨으로써 노이즈가 시청자(유저)의 시각에 두드러지는 특성을 가지므로 이러한 특성을 효과적으로 반영하기 위하여 본 발명에서 제안하는 노이즈 제거 방법은 기본적으로 시간영역필터(시간영역함수)를 채용한다.
시간영역필터는 기본적으로 현재 프레임 영상을 기준으로 선행 및 후행하는 프레임 영상 사이의 관계를 이용하므로 본 발명의 대상선정부(120)는 본 발명의 입력부(110)를 통하여 객체영상이 입력되면 객체 영상을 이루는 복수 개의 프레임 영상 중 노이즈 제거의 대상이 되는 현재 프레임 영상, 상기 현재 프레임 영상을 기준으로 시간적으로 선행하는 P개의 선행프레임 영상 및 상기 현재 프레임 영상을 기준으로 후행하는 Q개의 후행프레임 영상을 선정한다(도 5의 S500).
현재프레임, 선행프레임 및 후행프레임은 순차적인 시계열적 특성을 가지므로 특정 프로세싱에서의 현재프레임은 이전 또는 후속 프로세싱에서 후행프레임 또는 선행프레임이 될 수 있음은 물론이다.
본 발명의 대상선정부(120)가 선정하는 선행프레임 개수 P와 후행 프레임 개수 Q는 1이상의 자연수로서 서로 동수(同數) 또는 서로 다른 수일 수 있으며 P와 Q의 개수는 객체영상의 크기, 각 프레임의 픽셀 수, 연산 효율성, 노이즈 특성, 분포 등을 기준으로 가변적으로 설정되는 파라미터에 해당한다.
이와 같이 현재프레임 영상, P개의 선행프레임 영상 및 Q개의 후행프레임 영상이 선정되면 본 발명의 정합부(130)는 도 3에 도시된 바와 같이 각 프레임 영상의 공통 객체 등을 기준으로 움직임 벡터 또는 움직임 추정 프로세싱을 수행하고(S510), 그 결과에 따라 상기 P개의 선행프레임 영상 및 Q개의 후행프레임 영상 각각을 상기 현재프레임 영상을 기준으로 움직임 보상 내지 움직임 정합 프로세싱을 수행하여 각 프레임에 대한 보상프레임 영상을 생성한다(S520).
이와 같이 현재프레임을 기준으로 움직임 보상 내지 움직임 정합된 각 선행 또는 후행프레임 영상을 설명의 효율성을 위하여 이하에서는 보상프레임 영상이라 지칭한다.
이와 같이 움직임 추정 및 보상(정합)을 통하여 K개(P(선행프레임의 개수)+1(현재 프레임의 개수)+Q(후행프레임의 개수))의 모든 프레임에서 객체 등이 정합되면 노이즈의 크기는 아래와 같은 수학적 관계에 의하여 1/K로 축소될 수 있다.
우선, 움직임 추정된 영상 g(x, y)은 아래와 같이 노이즈가 없는 영상 "f(x, y)와 노이즈 η(x, y)의 합으로 정의될 수 있다.
Figure 112017130183738-pat00018
Figure 112017130183738-pat00019
수학식 2에서
Figure 112017130183738-pat00020
는 K개의 움직임 추정된 영상(현재 프레임 영상 포함) g(x, y)를 합산하여 K개로 나눈 것이며,
Figure 112017130183738-pat00021
는
Figure 112017130183738-pat00022
의 평균으로서 η(x, y)는 노이즈 성분이므로 평균하면 노이즈가 없는 영상 f(x, y)만 남게 된다.
Figure 112017130183738-pat00023
는
Figure 112017130183738-pat00024
의 분산 값으로서 K개의 움직임 추정된 영상 g(x, y)를 더해서 K로 나누었을 때 평균적인 노이즈의 크기를 나타낸다. f(x, y)는 K개의 프레임에서 동일하다고 가정되므로 분산을 구하면 η(x, y)만 남게 되고, 이것을 K로 나누게 되므로 노이즈의 크기가 1/K로 축소된다.
이러한 방법으로도 노이즈 제거가 효과적으로 수행되나 영상이 복잡하고 움직임이 복합하거나 움직임 추정이 정확하게 구현되지 않는 경우 영상의 잔상이 남는 등의 부작용이 발생할 수 있다.
그러므로 시간영역필터에서 선행 프레임과 후행 프레임을 함수처리하는 과정에서 가중치 파라미터를 효과적으로 선택하는 방법이 중요하다고 할 수 있다.
다시 본 발명의 설명으로 돌아와, 이와 같이 보상프레임(보상프레임 영상)이 준비되면, 본 발명의 파라미터산출부(150)는 상기 보상프레임 영상과 현재프레임 영상을 이용하여 각 현재 프레임별 가중치 파라미터 "
Figure 112017130183738-pat00025
"를 산출한다(S540).
가중치 파라미터
Figure 112017130183738-pat00026
의 아래첨자 "i" 는 노이즈 제거의 대상이 되는 현재 프레임의 해당 순서를 의미하며, 고정된 값을 가지는 종래 방법을 극복하기 위하여 해당 프레임마다 서로 다른 값을 가지는 즉, 동적(動的)으로 변화되는 파라미터 값을 가지도록 구성된다. 머신 러닝을 이용하여 가중치 파라미터를 산출하는 구체적인 프로세싱은 후술하도록 한다.
최종적으로 본 발명의 연산처리부(160)는 아래 수식에 의하여 상기 현재프레임 영상의 노이즈를 제거한다(S550). 아래 수학식 3은 본 발명에서 제안하는 시간영역필터로서 현재 프레임(n번째 프레임), P개의 선행프레임 및 Q개의 후행프레임 즉, K개의 프레임을 사용한 시간영역필터링을 의미한다.
Figure 112017130183738-pat00027
상기 수학식 3에서
Figure 112017130183738-pat00028
은 노이즈가 제거된 현재프레임 영상,
Figure 112017130183738-pat00029
(i=0일 때)는 노이즈가 포함된 현재프레임 영상,
Figure 112017130183738-pat00030
(i≠0일 때)는 보상프레임 영상을 의미한다.
더욱 바람직하게 본 발명에 의한 노이즈 제거 방법은 노이즈 제거의 정밀성을 더욱 향상시키기 위하여 현재 프레임 영상을 복수 개의 기준블록 단위로 구분하고 구분된 블록을 대상으로 상술된 노이즈 제거 프로세싱을 수행하도록 구성될 수 있다.
이를 위하여 본 발명의 블록분할부(140)는 상기 현재프레임 영상 및 보상프레임 영상(움직임 보상(정합)된 P개의 선행프레임 영상 및 Q개의 후행프레임 영상) 각각을 소정 크기를 가지는 제1기준블록 단위로 분할하는 프로세싱(S530)을 수행한다.
노이즈 제거의 단위가 작아질수록 노이즈 제거의 정확도는 높아지나 처리 속도는 느려지는 관계를 가지므로 제1기준블록은 연산 처리의 효율성 등을 기준으로 가변적인 크기를 가질 수 있음은 물론이다. 이하 설명에서 제1기준블록은 8×8크기를 가지는 것을 예시로 설명한다.
이와 같이 현재프레임 영상 및 보상 프레임 영상이 제1기준블록 단위로 분할되면, 앞서 설명된 파라미터산출부(150)는 상기 제1기준블록(8×8) 단위로 각각 분할된 현재 프레임 영상 및 보상 프레임 영상을 이용하여 해당 현재 프레임의 분할된 기준블록 단위의 가중치 파라미터(
Figure 112017130183738-pat00031
)를 산출하며(S540), 상기 연산처리부(160)는 상기 현재프레임 영상에서 노이즈 제거 프로세싱의 대상이 되는 8×8기준블록 내부를 이루는 타겟영역(target area)의 노이즈를 제거한다(S550).
본 발명의 연산처리부(160)는 제1기준블록 내부의 모든 타겟영역의 노이즈가 제거될 때까지(S560) 제1기준블록을 이동(shift)시키고(S570) 이동된 제1기준블록을 대상으로 상술된 S540 내지 S560 프로세싱을 순환적으로 수행한다.
이하에서는 도 4 및 도 6을 참조하여 본 발명의 바람직한 일 실시예에 의한 가중치 파라미터를 결정하는 프로세싱 과정을 상세히 설명하도록 한다.
본 발명에서는 에지 레벨, 에지 방향을 포함하는 주변 화수들과의 관계를 최대한 활용하기 위하여 머신러닝 기반으로 K개 프레임의 각 기준블록에 대한 가중치 파라미터
Figure 112017130183738-pat00032
를 선택함으로써 동영상에서 노이즈 제거를 효과적으로 수행함은 물론, 움직임 영상의 시간적 필터링으로 인한 블러(blur) 현상이 최소화되도록 구성된다.
나아가 업스케일링에 의한 동영상 노이즈 제거를 효과적으로 수행하기 위하여 업스케일링 전과 업스케일링 후 이원적으로 노이즈 제거를 수행함으로써 업스케일링 효과가 더욱 향상되도록 구성한다. 이에 대한 설명은 가중치 파라미터
Figure 112017130183738-pat00033
에 대한 상세한 설명 이후 후술하도록 한다.
도 4에 도시된 바와 같이 본 발명의 파라미터산출부(150)는 제1CNN처리부(151), 하나 이상의 후속CNN처리부(153) 및 하나 이상의 ReLU부(152)를 포함할 수 있다.
입력부(110)를 통하여 입력되는 객체영상(저해상도 영상)의 각 프레임 순서를 1, 2, … n, n+1, … 이라고 할 때, 현재 노이즈 제거가 수행되는 영상을 n번째 프레임(현재프레임)이라고 하면, 앞서 설명된 바와 같이 P개의 선행프레임과 Q개의 후행프레임에 대하여 움직임 추정과 움직임 보상(정합) 프로세싱을 수행한다.
그 중에서 현재 움직임 추정과 움직임 보상이 수행되는 프레임이 n-m번째 프레임이라고 가정한다. 이후 과정은 P개의 선행프레임 및 Q개의 후행프레임에 대해서 동일하게 수행된다.
앞서 설명된 바와 같이 n번째 프레임(현재 프레임)과 n-m번째 프레임 간의 움직임을 추정하여 각 화소에 대한 움직임 정보를 연산한다. 연산된 각 화소의 움직임 정보를 이용하여 해당 화소들을 연산된 움직임 정보만큼 이동하여 움직임 보상된 n-m번째 프레임(n-m번째 보상프레임 내지 보상프레임 영상)을 구성한다.
움직임 보상된 n-m번째 프레임은 가중치 파라미터
Figure 112017130183738-pat00034
를 결정하기 위하여 8×8크기의 기준블록 단위로 나누며, 각각의 8×8 기준 블록은 해당하는 가중치 파라미터
Figure 112017130183738-pat00035
를 정하기 위한 단위로 사용된다.
이와 같이 8×8크기의 블록을 이용하여 가중치 파라미터
Figure 112017130183738-pat00036
가 결정되면 이 8×8블록의 내부 영역인 4×4(타겟 영역)블록에 대해서 노이즈를 제거한다. 노이즈 제거 단위는 4×4 대신 2×2 또는 1×1 등일 수 있는데 노이즈 제거 단위의 크기는 노이즈 제거의 정확도와 연산 처리 속도의 트레이드오프(trade-off)관계에 의하여 가변적으로 적용될 수 있음은 물론이다.
서로 이웃한 타겟 영역 블록의 가중치 파라미터의 값에 차이가 발생될 수 있고 가중치 파라미터의 차이가 큰 경우 블록 경계가 두드러지는 현상이 발생될 수 있으므로 이를 효과적으로 억제하기 위하여 노이즈 제거의 단위인 타겟 영역 4×4이 다음 타겟 영역 블록과 상호 겹쳐지는 형태로 노이즈 제거가 진행되도록 구성하는 것이 바람직하다.
본 발명의 파라미터산출부(150)는 머신러닝(딥러닝)을 사용하여 훈련을 수행하고 훈련된 결과를 이용하여 가중치 파라미터를 결정하기 위하여 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제1CNN부 및 후속CNN부(151, 153)와 ReLU부(152)로 구성될 수 있다.
CNN부(151) 및 후속 CNN부(153)의 개수는 다양하게 설정될 수 있으나, 본 발명의 설명에서는 CNN부(151, 153)와 ReLU부(152)로 구성된 3개의 은닉층을 가지며, CNN부(151, 153)은 3×3 CNN 2파트, 4×4CNN 1파트 및 1×1CNN 1파트를 가지는 구조를 예시하며, 각각의 은닉층은 C1, C2 및 C3개의 피처맵(feature map)을 가진다.
CNN은 인간의 뇌 구조를 응용한 것으로서 인간의 뇌가 뉴런이라는 최소 단위로 이루어진 것처럼 CNN은 단일 CNN들의 군집으로 모델링하는 것에 해당한다.
딥러닝의 기본 구조인 뉴론(Neuron)은 도 8과 같이 입력에 대하여 웨이트(weight)를 곱한 후 합을 구하는 어파인 변환(Affine Transform) 파트와 입력값의 패스(pass) 여부를 결정하는 활성함수(Activation Function) 파트로 나누어진다.
본 발명에서는 이 어파인 변환 파트로 CNN을 사용하고 활성함수 파트로 ReLU(Rectified Linear Unit)를 사용한다.
우선 본 발명의 제1CNN부(151)는 노이즈 영상과 노이즈가 제거된 영상에 대한 학습을 통하여 제1기준 블록(8×8) 단위로 각각 분할된 현재 프레임 영상과 보상프레임 영상을 대상으로 3×3CNN 적용하여 제1기준 블록(8×8)보다 작은 크기의 특징값 블록(6×6)을 산출한다(S600).
즉, 도 6의 우측에 도시된 바와 같이 8×8크기의 기본블록을 대상으로 3×3 CNN을 수행하여 하나의 특징값을 산출하여 매핑하고 다시 기본블록이 2개씩 중첩되도록 쉬트프(shift)시켜 3×3CNN을 순차적으로 수행함으로써 최종적으로 6×6 블록을 출력한다.
입력된 8×8블록 내의 3×3 블록 9개 화소에 대하여 affine transform(각 화소에 weight를 곱하고 합을 구한 후 변수 값을 더함)을 수행한 결과값을 6×6블록의 첫 번째 (최좌측 최상단) 위치에 매핑한다. 이 과정을 1화소씩 이동하며 수행하여 최종적으로 6×6블록의 모든 값을 채우게 된다(S600).
영상의 휘도 성분(Y) 데이터만 사용한 경우에는 위에서 설명된 바와 같은 프로세싱으로 진행되며, 만약 영상의 컬러 공간(R, G, B) 데이터를 사용하는 경우 3×3블록에 3개의 R, G, B 데이터를 사용하여 3×3×3(27)개 화소에 대하여 affine transform를 수행한다. 그리고 이 과정을 첫 번째 feature map수인 C1개만큼 수행한다.
이와 같이 첫 번째 CNN을 수행한 후, ReLU를 수행한다(S610). ReLU는 입력이 0보다 작은 경우에는 0을 출력하고, 0이상인 경우에는 입력을 그대로 출력하는 기능을 수행한다.
제1CNN부(151) 및 ReLU부(152)의 수행 결과 C1개의 6×6 블록이 후속CNN부(153)으로 입력되면 상술된 동일한 방법으로 3×3 CNN 수행(S620) 및 ReLU가 수행되어(S630) C2개의 4×4 블록이 출력된다.
마지막으로 4×4 CNN을 수행하는 후속CNN부(153)에 C2개의 4×4블록이 입력되면 C2개의 4×4블록의 모든 화소에 대하여 affine transform을 수행하고(S640) 후속적으로 ReLU를 수행(S650)하여 C3개의 1×1 크기의 feature map을 생성한다.
최종적으로 마지막 후속CNN부(153)은 C3개의 입력을 대상으로 1×1 CNN을 수행(S660)하여 최종적으로 가중치 파라미터를 산출한다. 이와 같이 본 발명의 후속 CNN부(153)는 최종 1×1크기 특징값 블록이 결과로 출력될 때까지 제1CNN처리부(151)에서 산출된 특징값 블록을 대상으로 계층적으로 특징값 블록을 산출하며, 본 발명의 결과산출부(155)는 상기 최종 1×1크기 특징값 블록의 값을 해당 프레임의 노이즈 제거 타겟 영역에 대한 가중치 파라미터(
Figure 112017130183738-pat00037
)로 설정한다.
상술된 바와 같은 본 발명의 머신러닝(딥러닝) 구조를 훈련하는 방법은 다음과 같이 구성할 수 있다.
원본 동영상에 인위적으로 다양한 노이즈를 삽입한 복수 개의 샘플 동영상을 제작한다. 삽입되는 노이즈는 white Gaussian noise, Poisson noise, Salt & Pepper noise, coding noise, ringing artifact, alias artifact, jaggy artifact 등이 될 수 있다.
머신러닝의 효용성 및 범용성을 증진시키기 위하여 노이즈를 삽입할 때는 노이즈의 종류뿐만 아니라 노이즈의 크기를 변화시켜가면서 노이즈를 삽입하는 것이 바람직하다. 훈련 (Training)을 위해서 동일한 동영상에 대해서 노이즈가 혼입된 샘플 동영상과, 노이즈가 없는 대상 동영상을 하나의 쌍으로 준비한다.
노이즈가 혼입된 샘플 동영상의 n번째 프레임과 움직임 보상된 n-m 번째 프레임에 대해 각각 기준블록(8×8) 집합을 생성하고, 노이즈가 혼입된 샘플 동영상의 n번째 프레임과 움직임 보상된 n-m번째 프레임의 기준블록(8×8)을 입력 데이터로 사용하여 가중치 파라미터(a) 값을 구하고, 구해진 a 값으로 노이즈를 제거한 n번째 프레임 4×4(타겟 영역) 블록과 노이즈가 없는 n번째 프레임 4×4 블록의 차이가 작게 되도록 반복적으로 훈련을 수행한다.
노이즈를 제거한 n번째 프레임 4×4블록과 노이즈가 없는 n번째 프레임 4×4 블록의 차이는 다음과 같이 MSE(Mean Square Error)를 구하여 사용한다.
Figure 112017130183738-pat00038
상기 수학식 4에서 yi는 노이즈가 없는 n번째 프레임 4x4 블록의 화소이고,
Figure 112017130183738-pat00039
는 노이즈를 제거한 n 번째 프레임 4x4 블록의 화소이며, d은 블록내의 화소수로서 이 실시예의 경우 16이다.
훈련 과정은 MSE가 최소가 되어 더 이상 줄어들지 않을 때까지 반복적으로 수행한다.
딥러닝 훈련은 위한 hyper parameter의 예는 다음과 같다. 최적화는 Adam 알고리즘을 사용하고, learning rate는 0.1, momentum은 0.9, weight decay는 0.0001, learning rate policy는 “fixed"를 사용한다. Weight parameter 초기화를 위해서 ”msra"기법을 사용하며, bias filter는 “constant"를 사용한다.
이와 같이 상술된 머신러닝(딥러닝) 훈련 과정을 통하여 얻어진 weight값을 딥러링 구조에 사용하여 시간영역필터의 가중치 파라미터를 결정하는데 사용한다.
본 발명의 업스케일링부(200)는 이와 같이 노이즈 제거 프로세싱이 완료되어(도 7, S700) 이와 같이 본 발명의 연산처리부(160)로부터 최종적으로 노이즈가 제거된 영상이 입력되면 이를 대상으로 업스케일링 프로세싱을 수행(S710)하여 최종적으로 업스케일링된 영상을 출력한다.
이하에서는 도 2 및 도 7을 참조하여 본 발명의 노이즈 제거장치(1000)를 구성하는 후처리부(300) 및 후처리 과정의 노이즈 제거 프로세싱(S720)에 대하여 상세히 설명하도록 한다.
본 발명의 후처리부(300)는 전처리부(100)와 대응되는 프로세싱을 수행하는 구성으로서 도 2에 도시된 바와 같이 제2입력부(310), 제2대상선정부(320), 제2정합부(130), 제2블록분할부(140), 제2파라미터산출부(350) 및 제2연산처리부(360)를 포함하여 구성될 수 있다.
우선 업스케일링부(200)으로부터 업스케일링된 영상이 후처리부(300)의 제2입력부(310)를 통하여 입력되면, 본 발명의 제2대상선정부(320)는 상기 업스케일링 영상을 이루는 프레임 영상 중 노이즈 제거의 대상이 되는 제2현재프레임 영상, 상기 제2현재프레임 영상을 기준으로 선행하는 P(P는 1이상의 자연수)개 제2선행프레임 영상 및 상기 제2현재프레임 영상을 기준으로 후행하는 Q(Q는 1이상의 자연수)개 제2후행프레임 영상을 선정한다(S721).
본 발명의 제2정합부(330)는 공통 객체를 기준으로 움직임 추정 프로세싱을 수행하고 그 결과에 따라 상기 P개의 제2선행프레임 영상 및 Q개의 제2후행프레임 영상을 상기 제2현재프레임 영상을 기준으로 움직임 정합시킨 영상인 제2보상프레임 영상을 생성한다(S723).
이 때 본 발명의 제2정합부(330)는 공통 객체의 움직임 등은 업스케일링되기 전과 후 모두 상응하는 특성을 가지므로 업스케일링된 영상을 대상으로 움직임 추정, 보상 등의 프로세싱을 새롭게 수행하지 않고, 전처리부(100)의 정합부(130)에서 수행된 움직임 추정(움직임 벡터 등)의 결과와 업스케일링된 배수 정보에 의하여 정해지는 추정 영역을 이용하여 움직임 추정 및 보상 프로세싱이 수행되도록 구성하는 것이 바람직하다.
예를 들어, 전처리부(110)에서 수행된 움직임 추정 결과를 기준으로 업스케일링 배수가 2인 경우 동일 영역으로, 3배 내지 4배인 경우는 전처리 움직임 추정 영역에서 상하좌우 2 화소의 확장 범위, 5배 내지 6배인 경우 상하좌우 3 화소의 확정 범위를 이용하여 움직임 추정 프로세싱을 수행하도로 구성할 수 있다.
움직임 추정 및 보상 프로세싱이 완료되면 본 발명에 의한 후처리부(300)의 제2블록분할부(340)는 상기 제2현재프레임 영상 및 제2보상프레임 영상 각각을 제1기준블록 단위로 분할한다(S723).
본 발명의 제2파라미터산출부(350)는 앞서 설명된 파라미터산출부(150)와 같은 프로세싱을 통하여 제1기준블록 단위로 각각 나뉘어진 제2보상프레임 영상과 상기 제2현재프레임 영상을 이용하여 각 프레임별 제2가중치 파라미터(
Figure 112017130183738-pat00040
)를 산출한다(S725).
업스케일링 전 즉, 전처리 과정에서 산출되는 가중치 파라미터
Figure 112017130183738-pat00041
와 상대적으로 구분하기 위하여 업스케일링된 영상 등을 이용하여 후처리 과정에서 산출되는 가중치 파라미터는
Figure 112017130183738-pat00042
로 표기한다.
그 후 본 발명의 제2연산처리부(30)는 아래 수학식 5와 앞서 설명된 방법과 대응되는 방법을 이용하여 기준단위 블록의 이동(S729)을 순환적으로 적용하여 모든 타겟 영역의 노이즈가 제거될 때까지(S728) 제2현재 프레임 영상의 노이즈를 제거한다(S727).
Figure 112017130183738-pat00043
상기 수식에서
Figure 112017130183738-pat00044
은 노이즈가 제거된 제2현재프레임 영상,
Figure 112017130183738-pat00045
는 노이즈가 포함된 제2현재프레임 영상,
Figure 112017130183738-pat00046
는 제2보상프레임 영상이다.
후처리부(300)의 제2파라미터산출부(350)를 이루는 구체적인 구성인 제2CNN부(351), ReLU부(352) 및 제2후속CNN부(353)은 도 4를 참조하여 설명된 전처리부(100)의 파라미터산출부(150)와 동일하므로 그 상세한 설명은 생략하도록 한다.
후처리부(300)의 제2파라미터산출부(350)에서 제2가중치 파라미터
Figure 112017130183738-pat00047
를 결정하기 위한 딥러닝 훈련에서는 원본 영상의 업스케일링의 비율이 역으로 다운스케일을 수행한 영상을 이용하는 것이 바람직하다. 예를 들어, 2배의 업스케일링을 하는 경우 1/2배로 다운 스케일링을 수행하고, 3배로 업스케일링을 하는 경우 1/3배로 다운 스케일을 수행한다.
이와 같이 다운스케일된 영상에 다양한 노이즈를 혼입시키고 업스케일링을 하여 제작된 노이즈 포함 동영상과 다운 스케일링을 수행하기 이전의 노이즈 없는 동영상을 사용하여 앞서 설명한 딥러닝 훈련을 수행한다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명의 설명과 그에 대한 실시예의 도시를 위하여 첨부된 도면 등은 본 발명에 의한 기술 내용을 강조 내지 부각하기 위하여 다소 과장된 형태로 도시될 수 있으나, 앞서 기술된 내용과 도면에 도시된 사항 등을 고려하여 본 기술분야의 통상의 기술자 수준에서 다양한 형태의 변형 적용 예가 가능할 수 있음은 자명하다고 해석되어야 한다.
상술된 본 발명의 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치(시디롬, 램, 롬, 플로피 디스크, 자기 디스크, 하드 디스크, 광자기 디스크 등)를 포함하며, 유무선 인터넷 전송을 위한 서버도 포함한다.
1000 : 본 발명의 노이즈 제거장치
100 : 전처리부
110 : 입력부 120 : 대상선정부
130 : 정합부 140 : 블록분할부
150 : 파라미터산출부 160 : 연산처리부
200 : 업스케일링부
300 : 후처리부
310 : 제2입력부 320 : 제2대상선정부
330 : 제2정합부 340 : 제2블록분할부
350 : 제2파라미터산출부 360 : 제2연산처리부

Claims (9)

  1. 노이즈 제거의 대상이 되는 영상인 객체영상이 입력되는 입력단계;
    상기 객체영상을 이루는 프레임 영상 중 노이즈 제거의 대상이 되는 현재프레임 영상, 상기 현재프레임 영상을 기준으로 선행하는 P(P는 1이상의 자연수)개 선행프레임 영상 및 상기 현재프레임 영상을 기준으로 후행하는 Q(Q는 1이상의 자연수)개 후행프레임 영상을 선정하는 대상선정단계;
    공통 객체를 기준으로 움직임 추정 프로세싱을 수행하고 그 결과에 따라 상기 P개의 선행프레임 영상 및 Q개의 후행프레임 영상을 상기 현재프레임 영상을 기준으로 움직임 정합시킨 영상인 보상프레임 영상을 생성하는 정합단계;
    상기 현재프레임 영상 및 보상프레임 영상 각각을 제1기준블록 단위로 분할하는 블록분할단계;
    상기 제1기준블록 단위로 각각 분할된 현재프레임 영상 및 보상프레임 영상을 이용하여 상기 각 프레임별 가중치 파라미터(
    Figure 112019002058515-pat00073
    )를 산출하되, 노이즈 영상과 노이즈 제거 영상에 대한 학습을 통하여 상기 제1기준블록 단위로 각각 분할된 현재프레임 영상 및 보상프레임 영상을 대상으로 제1기준블록단위보다 작은 크기의 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제1CNN처리단계, 최종 1×1크기 특징값 블록이 결과로 출력될 때까지 제 1CNN처리단계에서 산출된 특징값 블록을 대상으로 계층적으로 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 후속CNN처리단계와, 상기 최종 1×1크기 특징값 블록의 값을 각 프레임별 가중치 파라미터(
    Figure 112019002058515-pat00074
    )로 산출하는 결과산출단계를 포함하는 파라미터산출단계; 및
    아래 수식에 의하여 상기 현재프레임 영상의 제1기준블록 내부를 이루는 타겟영역의 노이즈를 제거하는 연산처리단계를 포함하는 것을 특징으로 하는 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법.
    Figure 112019002058515-pat00049

    Figure 112019002058515-pat00050

    상기 수식에서
    Figure 112019002058515-pat00051
    은 노이즈가 제거된 현재프레임 영상,
    Figure 112019002058515-pat00052
    는 노이즈가 포함된 현재프레임 영상,
    Figure 112019002058515-pat00053
    는 보상프레임 영상.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 연산처리단계로부터 노이즈 제거 영상이 입력되면 이를 대상으로 업스케일링을 수행하여 업스케일링 영상을 출력하는 업스케일링단계를 더 포함하는 것을 특징으로 하는 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법.
  5. 제 4항에 있어서,
    상기 업스케일링 영상을 대상으로 후속 노이즈를 제거하는 후처리단계를 더 포함하고,
    상기 후처리단계는,
    상기 업스케일링 영상이 입력되는 제2입력단계;
    상기 업스케일링 영상을 이루는 프레임 영상 중 노이즈 제거의 대상이 되는 제2현재프레임 영상, 상기 제2현재프레임 영상을 기준으로 선행하는 P(P는 1이상의 자연수)개 제2선행프레임 영상 및 상기 제2현재프레임 영상을 기준으로 후행하는 Q(Q는 1이상의 자연수)개 제2후행프레임 영상을 선정하는 제2대상선정단계;
    공통 객체를 기준으로 움직임 추정 프로세싱을 수행하고 그 결과에 따라 상기 P개의 제2선행프레임 영상 및 Q개의 제2후행프레임 영상을 상기 제2현재프레임 영상을 기준으로 움직임 정합시킨 영상인 제2보상프레임 영상을 생성하는 제2정합단계;
    상기 제2보상프레임 영상과 상기 제2현재프레임 영상을 이용하여 각 프레임별 제2가중치 파라미터(
    Figure 112017130183738-pat00056
    )를 산출하는 제2파라미터산출단계; 및
    아래 수식에 의하여 상기 제2현재프레임 영상의 노이즈를 제거하는 제2연산처리단계를 포함하는 것을 특징으로 하는 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법.
    Figure 112017130183738-pat00057

    Figure 112017130183738-pat00058

    상기 수식에서
    Figure 112017130183738-pat00059
    은 노이즈가 제거된 제2현재프레임 영상,
    Figure 112017130183738-pat00060
    는 노이즈가 포함된 제2현재프레임 영상,
    Figure 112017130183738-pat00061
    는 제2보상프레임 영상.
  6. 제 5항에 있어서,
    상기 제2현재프레임 영상 및 제2보상프레임 영상 각각을 제1기준블록 단위로 분할하는 제2블록분할단계를 더 포함하고,
    상기 제2파라미터산출단계는 상기 제1기준블록 단위로 각각 분할된 제2현재프레임 영상 및 제2보상프레임 영상을 이용하여 상기 각 프레임별 제2가중치 파라미터(
    Figure 112017130183738-pat00062
    )를 산출하고,
    상기 제2연산처리단계는 상기 제2현재프레임 영상의 제1기준블록 내부를 이루는 타겟영역의 노이즈를 제거하는 것을 특징으로 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법.
  7. 제 6항에 있어서, 상기 제2파라미터산출단계는,
    노이즈 영상과 노이즈 제거 영상에 대한 학습을 통하여 상기 제1기준블록 단위로 각각 분할된 제2현재프레임 영상 및 제2보상프레임 영상을 대상으로 제1기준블록단위보다 작은 크기의 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제2CNN처리단계;
    최종 1×1크기 특징값 블록이 결과로 출력될 때까지 제 2CNN처리단계에서 산출된 특징값 블록을 대상으로 계층적으로 특징값 블록을 산출하는 컨볼루션 신경망(CNN, Convolution Neural Network) 기반의 제2후속CNN처리단계; 및
    상기 최종 1×1크기 특징값 블록의 값을 각 프레임별 제2가중치 파라미터(
    Figure 112017130183738-pat00063
    )로 산출하는 제2결과산출단계를 포함하는 것을 특징으로 하는 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법.
  8. 제 5항에 있어서, 상기 제2정합단계는,
    상기 정합단계에서 수행된 움직임 추정 프로세싱 결과와 상기 업스케일링단계에서 업스케일링된 배수 정보에 의하여 정해지는 추정 영역을 이용하여 움직임 추정 프로세싱을 수행하는 것을 특징으로 하는 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법.
  9. 제 1항 또는 제 4항 내지 제 8항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020170181812A 2017-12-28 2017-12-28 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 KR101987079B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170181812A KR101987079B1 (ko) 2017-12-28 2017-12-28 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
PCT/KR2018/000086 WO2019132091A1 (ko) 2017-12-28 2018-01-03 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170181812A KR101987079B1 (ko) 2017-12-28 2017-12-28 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법

Publications (1)

Publication Number Publication Date
KR101987079B1 true KR101987079B1 (ko) 2019-06-10

Family

ID=66848225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170181812A KR101987079B1 (ko) 2017-12-28 2017-12-28 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법

Country Status (2)

Country Link
KR (1) KR101987079B1 (ko)
WO (1) WO2019132091A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131655A1 (ko) * 2020-12-18 2022-06-23 삼성전자 주식회사 영상 처리 장치 및 이에 의한 멀티 프레임의 처리 방법
KR20230082514A (ko) 2021-12-01 2023-06-08 고려대학교 산학협력단 적응형 자기지도학습을 이용한 노이즈 제거방법
WO2024010133A1 (ko) * 2022-07-08 2024-01-11 한화비전 주식회사 머신 러닝을 이용한 영상 노이즈 학습 서버 및 영상 노이즈 저감 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349110B (zh) * 2019-07-16 2023-04-18 天津师范大学 一种基于累帧过融合的模糊图像增强方法及应用
CN111523513B (zh) * 2020-05-09 2023-08-18 深圳市华百安智能技术有限公司 通过大数据筛选进行人员入户安全验证的工作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980067578A (ko) * 1997-02-06 1998-10-15 김광호 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치
KR20040024888A (ko) * 2002-09-17 2004-03-24 (주)펜타마이크로 시간 필터링을 이용한 영상잡음 제거시 움직임 검출 장치및 그 방법
JP2004173011A (ja) * 2002-11-20 2004-06-17 Sony Corp 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
KR20070089485A (ko) 2006-02-28 2007-08-31 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
KR20090039830A (ko) 2006-08-09 2009-04-22 퀄컴 인코포레이티드 이미지 업스케일링을 위한 적응성 공간 변형 보간법
KR101558532B1 (ko) 2014-06-09 2015-10-12 아스텔 주식회사 영상의 잡음 제거장치
KR20170058277A (ko) * 2015-11-09 2017-05-26 톰슨 라이센싱 잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100453714B1 (ko) * 2001-12-31 2004-10-20 (주)펜타마이크로 Ｍｐｅｇ 영상 압축 기술을 이용한 디지털 영상 저장장치에서의 움직임 검출 장치 및 그 방법
KR101517233B1 (ko) * 2008-08-12 2015-05-15 엘지전자 주식회사 움직임 추정을 이용한 잡음 제거장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980067578A (ko) * 1997-02-06 1998-10-15 김광호 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치
KR20040024888A (ko) * 2002-09-17 2004-03-24 (주)펜타마이크로 시간 필터링을 이용한 영상잡음 제거시 움직임 검출 장치및 그 방법
JP2004173011A (ja) * 2002-11-20 2004-06-17 Sony Corp 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
KR20070089485A (ko) 2006-02-28 2007-08-31 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
KR20090039830A (ko) 2006-08-09 2009-04-22 퀄컴 인코포레이티드 이미지 업스케일링을 위한 적응성 공간 변형 보간법
KR101558532B1 (ko) 2014-06-09 2015-10-12 아스텔 주식회사 영상의 잡음 제거장치
KR20170058277A (ko) * 2015-11-09 2017-05-26 톰슨 라이센싱 잡음 있는 이미지들을 업스케일링하기 위한 방법, 및 잡음 있는 이미지들을 업스케일링하기 위한 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131655A1 (ko) * 2020-12-18 2022-06-23 삼성전자 주식회사 영상 처리 장치 및 이에 의한 멀티 프레임의 처리 방법
KR20230082514A (ko) 2021-12-01 2023-06-08 고려대학교 산학협력단 적응형 자기지도학습을 이용한 노이즈 제거방법
WO2024010133A1 (ko) * 2022-07-08 2024-01-11 한화비전 주식회사 머신 러닝을 이용한 영상 노이즈 학습 서버 및 영상 노이즈 저감 장치

Also Published As

Publication number Publication date
WO2019132091A1 (ko) 2019-07-04

Similar Documents

Publication Publication Date Title
KR101987079B1 (ko) 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
Takeda et al. Super-resolution without explicit subpixel motion estimation
EP2164040B1 (en) System and method for high quality image and video upscaling
US8571309B2 (en) System and method of image upsampling
US20130342758A1 (en) Video retargeting using content-dependent scaling vectors
Mahajan et al. Adaptive and non-adaptive image interpolation techniques
Gal et al. Progress in the restoration of image sequences degraded by atmospheric turbulence
KR100860968B1 (ko) 해상도 향상 장치 및 방법
Karam et al. An efficient selective perceptual-based super-resolution estimator
JP2021184594A (ja) ビデオフレームの補間装置及び方法
Chen et al. A novel multi-image super-resolution reconstruction method using anisotropic fractional order adaptive norm
Li et al. Space–time super-resolution with patch group cuts prior
Maiseli et al. A robust super-resolution method with improved high-frequency components estimation and aliasing correction capabilities
CN114514746B (zh) 用于作为对视频编码的预处理的运动自适应滤波的系统和方法
Qin An improved super resolution reconstruction method based on initial value estimation
Raveendran et al. Image fusion using LEP filtering and bilinear interpolation
Takeda et al. Spatiotemporal video upscaling using motion-assisted steering kernel (mask) regression
Tai et al. A fast algorithm for single image super resolution in both wavelet and spatial domain
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
Zhang et al. Video superresolution reconstruction using iterative back projection with critical-point filters based image matching
Gao et al. High performance super-resolution reconstruction of multi-frame degraded images with local weighted anisotropy and successive regularization
KR102340942B1 (ko) 영상 처리 방법 및 이를 이용한 표시장치
JP6854629B2 (ja) 画像処理装置、画像処理方法
Kim et al. Image and video retargeting using adaptive scaling function
Hung et al. Real-time interpolation using bilateral filter for image zoom or video up-scaling/transcoding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant