KR101418961B1 - 영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법 - Google Patents

영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법 Download PDF

Info

Publication number
KR101418961B1
KR101418961B1 KR1020080001386A KR20080001386A KR101418961B1 KR 101418961 B1 KR101418961 B1 KR 101418961B1 KR 1020080001386 A KR1020080001386 A KR 1020080001386A KR 20080001386 A KR20080001386 A KR 20080001386A KR 101418961 B1 KR101418961 B1 KR 101418961B1
Authority
KR
South Korea
Prior art keywords
image
noise
standard deviation
block
unit
Prior art date
Application number
KR1020080001386A
Other languages
English (en)
Other versions
KR20090075507A (ko
Inventor
김영화
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020080001386A priority Critical patent/KR101418961B1/ko
Publication of KR20090075507A publication Critical patent/KR20090075507A/ko
Application granted granted Critical
Publication of KR101418961B1 publication Critical patent/KR101418961B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상에 포함되어 있는 노이즈의 정도(세기)를 추정하고 이를 이용하여 적응적으로 영상을 처리하는 영상처리 시스템 및 그 방법이 개시된다. 상기 영상 처리 시스템은, 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하는 로컬 표준편차 추정부; 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 구하는 이미지/노이즈 판별부; 및 상기 각 블록 영상의 표준 편차와 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 가중 평균부를 포함하여 영상에 첨가되어 있는 노이즈의 정도를 정확하게 추정할 수 있는 효과가 있다.
영상처리, 노이즈, 분산, 가설검정

Description

영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로 영상을 처리하는 영상처리 시스템 및 방법{Image processing system to estimate noise level and to enhance image adaptively, and the method thereof}
본 발명은 영상처리 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 통계적 가설 검정 방법을 이용하여 영상의 노이즈 정도(세기)를 정확하게 추정하여 추정된 노이즈의 정도에 따라 적응적으로 영상을 처리하는 영상처리 시스템 및 방법에 관한 것이다.
영상을 오염시키는 노이즈(Noise, 잡음)는 정지 영상이나 비디오 신호의 여러 과정에서 발생할 수 있으며, 영상을 개선하려는 다양한 영상처리 기법들의 실제 적용에 있어서 잡음은 그 정도에 따라 영상처리 기법들의 효과를 감소시키는 문제점을 야기한다.
예컨대, 일반적으로 좋은 화질로 알고 있는 DVD 영화 영상의 경우에도 화면을 확대해 보면 영화를 만드는 과정에서 발생한 노이즈를 볼 수 있다. 이러한 영상의 노이즈를 배경 잡음이라고 한다. 디지털 TV의 경우, 이러한 영상을 입력으로 받아 여러 가지 필수 영상 처리 과정을 수행하게 되는데, 이때 영상에 담겨 있는 배 경 잡음으로 인하여 화질 열화가 생기게 된다.
예컨대, 노이즈를 가진 영상에 대해 선명도 강화(sharpness enhancement) 처리를 하게 되면 노이즈는 더 강조되고, 반대로 이러한 노이즈를 제거하기 위하여 잡음 감소(noise reduction) 처리를 하게 되면 영상의 디테일(detail)이 뭉그러지기도 한다. 이러한 영상들이 영상 변환장치를 통과하게 되면 뭉개지는 영상이 되어 이를 대형 화면에 표시하게 되는 경우 그 화질 열화를 관찰할 수 있다.
이러한 노이즈로 인한 화질 열화를 최소화하기 위해선 영상에 담겨있는 노이즈의 정도, 혹은 그 세기를 정확하게 추정하는 것이 필요하다. 영상의 노이즈를 추정하는 기법은 영상처리 분야에서도 매우 필요한 요소 기술로서 현재도 많이 연구되고 있다.
주어진 입력 영상의 원 이미지 성분(image feature, 이하 이미지라 함)과 노이즈 성분을 구별하는 종래의 방법으로는 통계학에서 일반적으로 정의되는 표본분산(sample variance)을 이용하는 방법이 있다. 이러한 방법에서는 주어진 영상 샘플 데이터의 표본분산이 작으면 노이즈로 분류하고, 표본분산이 크면 통상 이미지로 분류한다.
도 1의 (a) 샘플은 약간의 가우시안(Gaussian) 노이즈가 있으나 원 영상의 이미지 성분 중 스몰 디테일(small detail)이 있는 영상이고, (b)샘플은 이미지가 없는 영역에 가우시안 노이즈만 있는 영상이다. 두 영상 모두 데이터의 표본분산은 25 정도로 비슷하다.
또한, 도 2의 (a) 샘플은 스몰 디테일(small detail)이 있는 영상이고, (b) 샘플은 이미지가 없는 영역에 가우시안 노이즈만 있는 영상이다. 하지만 두 영상은 모두 데이터의 표본분산이 2500 정도로 비슷하다.
상술한 바와 같이 통상의 영상처리에서는 주어진 영상 샘플 데이터의 표본분산이 작으면 노이즈로, 크면 이미지로 분류한다. 그런데, 도 1의 영상들에 비하여 도 2의 영상들의 표본분산이 더 큰 값을 갖는다. 따라서 도 1 및 2에 도시된 예를 보더라도, 일반적으로 분산의 좋은 추정량으로 사용되는 표본분산을 사용하여 그 영상이 이미지인지 잡음인지를 판별하는 것은 그 성능에 한계가 있다는 문제점이 있다.
또한, 주어진 영상이 이미지인지 노이즈인지를 판별할 때 대부분의 영상 처리 응용 시스템에서는 가우시안 분포 N(0, σ2)를 따르는 노이즈의 분산에 대한 사전 정보가 전혀 없기 때문에, 노이즈의 분산의 수준에 관계없이 일정한 결과를 도출할 수 없는 문제점이 있다.
따라서 영상에 포함되어 있는 노이즈의 분산의 크기에 상관없이 노이즈를 판별할 수 있어야 하며, 궁극적으로는 노이즈의 분산(혹은 표준편차)을 정확하게 추정할 수 있는 기술이 요구된다. 영상에서 노이즈의 정도 또는 이미지의 정도, 즉 노이즈와 이미지의 상대적인 크기를 수치화하는 방법이 특허출원 제2005-0115811호(이미지/노이즈 식별을 위한 통계적 영상 처리 시스템 및 그 방법)에 개시되어 있다. 그러나, 특허출원 제2005-0115811호에 개시된 방법에 의해서는 영상에서 노이즈와 이미지의 상대적인 크기를 추정할 수 있을 뿐 영상에 포함된 노이즈의 분 산(혹은 표준편차)을 추정할 수는 없다.
따라서 영상에서 노이즈와 이미지의 상대적인 크기를 추정한 결과를 사용하여 노이즈의 분산이나 표준편차를 추정함으로써, 노이즈의 분산이나 표준편차에 따라 영상을 적응적으로 처리할 수 있는 기술이 절실히 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 영상에 첨가되어 있는 노이즈의 정도(분산 또는 표준편차)를 정확하게 추정하는 방법 및 그 장치를 제공하는 것이다.
또한 본 발명이 이루고자 하는 다른 기술적 과제는, 상기 노이즈 추정 방법을 영상처리 분야에 응용하여 추정된 노이즈 정도에 따라 적응적으로 영상을 처리함으로써, 노이즈 환경에서 영상의 화질을 개선할 수 있는 영상처리 방법 및 그 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 영상 처리 시스템은 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하는 로컬 표준편차 추정부; 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 구하는 이미지/노이즈 판별부; 및 상기 각 블록 영상의 표준 편차과 이미지/노이즈 판별치를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 가중 평균부를 포함할 수 있다.
상기 노이즈 표준 편차는,
Figure 112008000858351-pat00001
(여기서, 상기 는 상기 노이즈의 표준 편차, 상기 σ(i,j)는 상기 로컬 표준편차, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응할 수 있다.
상기 영상 처리 시스템은, 상기 이미지/노이즈 판별부에서 출력된 상기 이미지/노이즈 판별치(δ(i,j))와 미리 결정된 기준 값을 비교하는 비교부를 더 포함하며, 상기 가중 평균부는 상기 비교부의 비교결과와 상기 각 블록 영상의 표준 편차(σ(i,j))를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출할 수 있다.
상기 노이즈 표준 편차는,
Figure 112008000858351-pat00002
(여기서, 상기
Figure 112008000858351-pat00003
는 상기 노이즈 표준 편차, 상기 Δ(i,j)는 상기 비교부의 비교결과, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응할 수 있다.
상기 영상 처리 시스템은, 상기 각 블록 영상을 미리 결정된 대역으로 필터링하는 필터를 더 포함하며, 상기 로컬 표준편차 추정부는 필터링된 각 블록 영상 별로 상기 로컬 표준편차를 추정하여 출력하고, 상기 이미지/노이즈 판별부는 상기 필터링된 각 블록 영상에 대한 상기 이미지/노이즈 판별치를 구할 수 있다.
또한 상기 영상 처리 시스템은, 상기 필터링된 블록 영상의 절대치를 산출하고 산출결과를 출력하는 절대치 산정부를 더 포함할 수 있으며, 상기 로컬 표준편차 추정부는 상기 절대치 산정부의 출력결과에 기초하여 각 블록 영상별로 상기 로컬 표준편차를 추정하여 출력하고, 상기 이미지/노이즈 판별부는 상기 절대치 산정부의 출력결과에 기초하여 각 블록 영상에 대한 상기 이미지/노이즈 판별치를 구할 수 있다.
상기 이미지/노이즈 판별부는, 상기 블록 영상 내에서 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 이용하여 최소 방향 표준편차를 더 구하고, 상기 가중 평균부는, 상기 각 블록 영상의 표준 편차, 상기 이미지/노이즈 판별치, 및 상기 최소 방향 표준편차를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출할 수 있다.
상기 최소 방향 표준편차는,
Figure 112008000858351-pat00004
(여기서, σmin(i,j)는 최소 방향 표준편차, Vmin(i,j)는 상기 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 나타내는 방향 긴밀도 중 최소값)과 상응하고, 상기 노이즈 표준 편차는,
Figure 112008000858351-pat00005
(여기서, 상기
Figure 112008000858351-pat00006
는 상기 노이즈 표준 편차, 상기 σ(i,j)는 상기 로컬 표준편차, 상기 σmin(i,j)는 최소 방향 표준편차 긴밀도, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응할 수 있다.
상기 기술적 과제를 해결하기 위한 영상 처리 방법은, 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하고 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 구하는 단계; 및 상기 각 블록 영상의 표준 편차와 상기 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 단계를 포함할 수 있다.
상기 영상 처리 방법은, 상기 이미지/노이즈 판별치와 미리 결정된 기준값을 비교하고 비교결과를 출력하는 단계를 더 포함하며, 상기 노이즈 표준 편차를 산출하는 단계는, 상기 비교결과와 상기 각 블록 영상의 표준 편차를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법은, 상기 블록 영상을 미리 결정된 대역으로 필터링하는 단계를 더 포함하며, 상기 이미지/노이즈 판별치를 구하는 단계는, 상기 로컬 표준 편차추정부는 상기 필터링된 각 블록 영상별로 상기 로컬 표준편차를 추정하여 출력하고, 상기 필터링된 각 블록 영상에 대한 상기 이미지/노이즈 판별치를 구하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법은, 상기 블록 영상을 미리 결정된 대역으로 필터링하는 단계; 및 상기 필터링된 블록 영상의 절대치를 산출하고 산출결과를 출력하는 단계를 더 포함하며, 상기 이미지/노이즈 판별치를 구하는 단계는, 상기 절대치 산출결과에 기초하여 각 블록 영상별로 상기 로컬 표준편차를 추정하여 출력하고, 각 블록 영상에 대한 상기 이미지/노이즈 판별치를 구하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법은, 상기 블록 영상 내에서 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 이용하여 최소 방향 표준편차를 더 구하는 단계를 더 포함하고, 상기 이미지/노이즈 판별치를 구하는 단계는, 상기 각 블록 영상의 표준 편차, 상기 이미지/노이즈 판별치, 및 상기 최소 방향 표준편차를 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출할 수 있다.
상기 기술적 과제를 해결하기 위한 영상 처리 시스템은, 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하고, 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 계산하고 상기 각 블록 영상의 표준 편차와 상기 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 노이즈 추정부; 및 상기 입력 영상을 수신하고 상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차에 기초하여 상기 입력 영상에 포함된 노이즈를 적응적으로 감소시키는 노이즈 감소부를 포함할 수 있다.
상기 노이즈 감소부는, 상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수를 생성하고, 상기 블록 영상이 미리 결정된 밴드대역으로 필터링된 영상에 상기 제1 계수를 곱한 결과를 제1 영상성분으로서 출력하는 제1 영상 출력부; 상기 블록 영상에 제2 계수를 곱한 결과를 제2 영상성분으로서 출력하는 제2 영상 출력부; 및 상기 제1 영상성분과 상기 제2 영상성분을 합산하여 합산결과를 노이즈가 감소된 영상으로서 출력하는 합산부를 포함할 수 있다.
상기 노이즈 감소부는, 상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수를 생성하고, 상기 블록 영상이 미리 결정된 밴드대역으로 필터링된 영상에 상기 제1 계수 및 미리 결정된 제2 계수를 곱한 결과를 제1 영상성분으로서 출력하는 제1 영상 출력부; 및 상기 블록 영상에 상기 제1 영상성분을 합산하여 합산결과를 노이즈가 감소된 영상으로서 출력하는 합산부를 포함할 수 있다.
상기 제1 영상 출력부는, 상기 블록 영상을 상기 미리 결정된 밴드대역으로 필터링하는 필터; 상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차에 기초하여 상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수를 생성하는 계수 생성부; 및 상기 필터에서 출력된 필터링된 영상, 상기 제1 계수, 및 상기 제2 계수를 곱셈하는 제1 연산기를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 영상 처리 방법은, 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하고, 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 계산하고 상기 각 블록 영상의 표준 편차와 상기 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영 상의 노이즈 표준 편차를 산출하는 단계; 및 상기 입력 영상을 수신하고 상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차에 기초하여 상기 입력 영상에 포함된 노이즈를 적응적으로 감소시키는 단계를 포함할 수 있다.
상기 입력 영상을 적응적으로 처리하는 단계는, 상기 노이즈 표준 편차가 클수록 상기 입력 영상의 노이즈 감소 혹은 스무딩(smoothing)을 증가시킬 수 있으며, 상기 노이즈 표준 편차가 클수록 상기 입력 영상의 선명도 강화(sharpness enhancement)를 적게 할 수 있다.
상술한 바와 같이 본 발명에 따른 영상처리 시스템 및 방법은 영상에 첨가되어 있는 노이즈의 정도를 정확하게 추정할 수 있는 효과가 있다.
또한 본 발명에 따른 영상처리 시스템 및 방법은 추정된 노이즈 정도에 따라 적응적으로 영상을 처리함으로써, 노이즈가 포함되어 있는 영상의 화질을 개선할 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시 예에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 실시 예를 예시하는 첨부도면 및 첨부도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 3은 본 발명의 실시 예에 따른 노이즈 추정부를 나타내고, 도 4는 본 발명의 실시 예에 따른 노이즈 추정 방법을 나타낸다. 도 3과 도 4를 참조하면, 본 발명의 일 실시 예에 따른 노이즈 추정부(Noise Estimation Unit, NEU), 10a)는 로컬 표준편차 추정부(Local Block STD Estimation, 11), 이미지/노이즈 판별부(Feature and Noise Detection, 13), 및 가중 평균부(Weighted Average, 15)를 포함할 수 있다.
상기 로컬 표준편차 추정부(11)는 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상(X(i,j), i,j는 미리 정해진 범위의 정수)별로 로컬 표준편차(σ(i,j))를 추정하여 출력할 수 있다. 입력 영상은 다양한 형태일 수 있다. 예컨대, 전체 영상, 한 프레임에 해당하는 영상 혹은 전체 영상의 일부 영상일 수 있으며, 또한, 원 영상이거나 원 영상으로부터 변환 또는 영상 처리된 영상일 수 있다.
각 블록 영상(X(i,j))은 입력 영상을 구성하는 각 부분 영상이다. 즉, 입력 영상은 각 블록 영상(X(i,j))으로 나누어질 수 있는 데, 이때 다른 블록 영상과 겹치는 부분이 존재하는 오버래핑 방식으로 나누어질 수도 있고, 다른 블록 영상과 겹치는 부분이 없는 넌-오버래핑 방식으로 나누어질 수도 있다.
각 블록 영상(X(i,j))은 특정 형태(예컨대, 정방형)의 부분 영상일 수 있으며, 특히, 특허출원 제2005-0115811호의 도 5에 개시된 N× N 정방형의 블록 영상(또는, 부분 영상)인 MN ×N(l,m)에 해당될 수 있다. 이 경우 상기 로컬 표준편차 추정부(11)는 N× N 정방형의 각 블록 영상(MN ×N(l,m))에 대한 로컬 표준편차 (σ(i,j), 여기서, i,j는 l,m에 각각 상응한다)를 추정하여 출력할 수 있다.
상기 이미지/노이즈 판별부(13)는 각 블록 영상별(X(i,j))에 대한 이미지/노이즈 판별치(δ(i,j))를 구할 수 있다.
이미지/노이즈 판별치(δ(i,j))는 해당 블록 영상(X(i,j))의 이미지 정도 혹은 노이즈 정도를 추정하여 수치화한 값이다. 즉, 이미지/노이즈 판별치(δ(i,j))는 해당 블록 영상(X(i,j))의 이미지와 노이즈의 상대적 크기를 수치화한 값으로, 예컨대, 해당 블록 영상(X(i,j))이 순수 이미지인 경우 1, 해당 블록 영상(X(i,j))이 순수 노이즈인 경우 0, 해당 블록 영상(X(i,j))에 이미지와 노이즈가 섞여 있으면 0과 1 사이의 값을 가질 수 있다.
이미지/노이즈 판별치(δ(i,j))는 특허출원 제2005-0115811호에 개시된 방법에 의하여 산출될 수 있다. 특히, 이미지/노이즈 판별치(δ(i,j))는 특허출원 제2005-0115811호의 수학식 18과 동일한 하기의 수학식 1에 의하여 산출될 수 있다.
Figure 112008000858351-pat00007
(여기서, 상기 H(l,m)은 이미지/노이즈 판별치(δ(i,j))와 상응한다.)
이미지/노이즈 판별치(δ(i,j))는 특허출원 제2005-0115811호의 수학식 19 혹은 수학식 20에 의하여 산출될 수도 있다. 이와 같이 이미지/노이즈 판별치 (δ(i,j))를 구하는 방법에 대해서는 특허출원 제2005-0115811호에 개시되어 있으므로, 이에 대한 상세한 설명은 생략한다.
상기 가중 평균부(15)는 각 블록 영상(X(i,j))의 로컬 표준 편차(σ(i,j))와 이미지/노이즈 판별치(δ(i,j))를 수신하고, 이들 값들을 가중 평균하여 입력영상의 노이즈의 표준 편차(Estimated Noise STD,
Figure 112008000858351-pat00008
)를 산출한다.
상기 노이즈 표준 편차(
Figure 112008000858351-pat00009
)는 하기의 수학식 2에 의하여 산출될 수 있다.
Figure 112008000858351-pat00010
(여기서, 상기
Figure 112008000858351-pat00011
는 상기 노이즈 표준 편차, 상기 σ(i,j)는 상기 로컬 표준편차, 및 상기 δ(i,j)는 이미지/노이즈 판별치이다.)
상기 가중 평균부(15)는 상기 노이즈 표준 편차(
Figure 112008000858351-pat00012
)와 밀접한 관계에 있는 노이즈 분산을 산출할 수도 있다.
이하, 도 4를 통하여 상기 노이즈 추정부(10a)가 입력 영상의 노이즈 표준 편차(Estimated Noise STD,
Figure 112008000858351-pat00013
)를 산출하는 방법을 상세히 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 노이즈 추정 방법을 나타낸다. 도 3과 도 4를 참조하면, 상기 노이즈 추정부(10a)는 입력 영상에 대한 가중치 합(sum_weight), 노이즈의 합(sum_noise), 및 블록영상(X(i,j))의 인덱스((i,j))를 미리 정해진 초기값(예컨대, "0")으로 각각 초기화한다(S10).
상기 로컬 표준편차 추정부(11)와 상기 이미지/노이즈 판별부(13) 각각은 다수의 블록 영상들로 구성되는 입력 영상의 첫 번째 블록 영상(또는, 부분 영상, X(i,j))을 수신한다(S12).
상기 로컬 표준편차 추정부(11)는 수신되는 블록 영상(X(i,j))의 로컬 표준편차(σ(i,j))를 추정하여 출력하고, 상기 이미지/노이즈 판별부(13)는 해당 블록 영상(X(i,j))에 대한 이미지/노이즈 판별치(δ(i,j))를 산출한다(S14).
상기 가중 평균부(15)는 상기 이미지/노이즈 판별치(δ(i,j))에 기초하여 가중치의 합(sum_weight)을 산출한다(S16). 구체적으로는, ‘1- δ(i,j)’을 이전 가중치의 합(sum_weight)에 가산함으로써(sum_weight += 1- δ(i,j)), 가중치의 합(sum_weight)을 업데이트할 수 있다. 상기 가중 평균부(15)는 또한, 상기 로컬 표준편차(σ(i,j))와 상기 이미지/노이즈 판별치(δ(i,j))에 기초하여 노이즈 합(sum_noise)을 산출한다(S16). 구체적으로는 σ(i,j) * (1- δ(i,j))을 이전 노이즈 합(sum_noise)에 가산함으로써(sum_noise += σ(i,j) * (1- δ(i,j))), 노이즈 합(sum_noise)을 업데이트할 수 있다.
상기 노이즈 추정부(10a)는 상기 블록 영상(X(i,j))이 입력 영상을 구성하는 블록 영상들 중에서 노이즈 추정 대상이 되는 마지막 샘플(즉, 마지막 블록 영상)인지 판단한다(S18).
상기 노이즈 추정부(10a)는 상기 블록 영상(X(i,j))이 마지막 샘플이 아닌 경우, 상기 i 또는 j를 증가시키고(S20), 다시 S12 단계 내지 S16 단계를 거쳐 다른 블록 영상에 대한 노이즈 합(sum_noise)과 가중치의 합(sum_weight)을 계산하여 이전 블록 영상(X(i,j))에 대한 노이즈 합(sum_noise)과 가중치의 합(sum_weight)에 가중한다. 이러한 과정이 입력 영상의 마지막 블록 영상까지 수행된다.
상기 블록 영상(X(i,j))이 마지막 샘플인 경우, 상기 가중 평균부(15)는 상기 수학식 2에 의한 입력 영상의 노이즈 표준 편차(Estimated Noise STD,
Figure 112008000858351-pat00014
)를 산출하여 출력할 수 있다(S22).
도 5는 본 발명의 다른 실시 예에 따른 노이즈 추정부(10b)를 나타낸다. 도 3과 도 5를 참조하면, 상기 노이즈 추정부(10b)는 로컬 표준편차추정부(11), 이미지/노이즈 판별부(13), 비교부(17), 및 가중 평균부(15＇)를 포함할 수 있다.
상기 노이즈 추정부(10b)는 도 3의 노이즈 추정부(10a)와 비교하여 상기 비교부(17)를 더 포함한다.
상기 비교부(17)는 상기 이미지/노이즈 판별부(13)에서 출력된 상기 이미지/노이즈 판별치(δ(i,j))와 미리 결정된 기준 값을 비교하여 비교결과(Δ(i,j))를 출력할 수 있다.
상기 비교부(17)에서 출력되는 비교결과(Δ(i,j))는 다음의 수학식 3에 의하여 산출될 수 있다.
Figure 112008000858351-pat00015
(여기서, T는 상기 미리 결정된 기준 값이다.)
따라서, 상기 이미지/노이즈 판별치(δ(i,j))는 상기 수학식 1과 같이 δ(i,j)가 0인 경우(즉, 블록 영상(X(i,j))이 노이즈 성분으로만 이뤄진 경우), 1인 경우(즉, 블록 영상(X(i,j))이 이미지(image) 성분으로만 이뤄진 경우), 또는 상기 1과 0 사이 값을 갖는 경우(즉, 블록 영상(X(i,j))에 노이즈 성분과 이미지 성분이 섞여있는 경우)가 될 수 있고, 비교결과(Δ(i,j))는 1 혹은 0인 값이 될 수 있다.
상기 가중 평균부(15＇)는 상기 비교부(17)의 비교결과(Δ(i,j))와 상기 각 블록 영상(X(i,j))의 표준 편차(σ(i,j))를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차(
Figure 112008000858351-pat00016
)를 산출할 수 있다.
이때, 상기 노이즈 표준 편차(
Figure 112008000858351-pat00017
)는 수학식 4에 의하여 산출될 수 있다.
Figure 112008000858351-pat00018
(여기서, 상기 Δ(i,j)는 상기 비교부의 비교결과이다.)
도 6은 본 발명의 다른 실시 예에 따른 노이즈 추정 방법을 나타낸다. 도 5 와 도 6을 참조하면, 상기 노이즈 추정부(10b)는 입력 영상에 대한 가중치 합(sum_weight), 노이즈의 합(sum_noise), 및 블록영상(X(i,j))의 인덱스((i,j))를 미리 정해진 초기값(예컨대, "0")으로 각각 초기화한다(S61).
상기 로컬 표준편차 추정부(11)와 상기 이미지/노이즈 판별부(13) 각각은 상기 가중 평균부(15')는 다수의 블록 영상들로 구성되는 입력 영상 중에서 첫 번째 블록 영상(또는, 부분 영상, X(i,j))을 수신한다(S63).
상기 로컬 표준편차 추정부(11)는 수신되는 블록 영상(X(i,j))의 로컬 표준편차(σ(i,j))를 추정하여 출력하고, 상기 이미지/노이즈 판별부(13)는 해당 블록 영상별(X(i,j))에 대한 이미지/노이즈 판별치(δ(i,j))를 산출한다(S65).
상기 비교부(17)는 상기 이미지/노이즈 판별부(13)에서 출력된 상기 이미지/노이즈 판별치(δ(i,j))와 미리 결정된 기준 값을 비교하여 비교결과(Δ(i,j))를 출력할 수 있다(S67).
상기 가중 평균부(15＇)는 상기 비교결과(Δ(i,j))에 기초하여 가중치의 합(sum_weight += Δ(i,j))을 산출하고, 상기 로컬 표준편차(σ(i,j))와 상기 비교결과(Δ(i,j))에 기초하여 노이즈 합(sum_noise += σ(i,j) * Δ(i,j))을 산출한다(S69).
상기 노이즈 추정부(10b)는 상기 블록 영상(X(i,j))이 입력 영상을 구성하는 블록 영상들 중에서 노이즈 추정 대상이 되는 마지막 샘플(즉, 마지막 블록 영상)인지 판단한다(S71).
상기 노이즈 추정부(10b)는 상기 블록 영상(X(i,j))이 마지막 샘플이 아닌 경우, 상기 i 또는 j를 증가시키고(S73), 다시 S63 단계 내지 S69 단계를 거쳐 다른 블록 영상에 대한 노이즈 합(sum_noise)과 가중치의 합(sum_weight)을 계산하여 이전 블록 영상(X(i,j))에 대한 노이즈 합(sum_noise)과 가중치의 합(sum_weight)에 가중한다.
상기 가중 평균부(15＇)는 상기 블록 영상(X(i,j))이 마지막 샘플인 경우, 상기 수학식 4에 의한 입력 영상의 노이즈 표준 편차(Estimated Noise STD,
Figure 112008000858351-pat00019
)를 산출하여 출력할 수 있다(S75).
도 7은 본 발명의 다른 실시 예에 따른 노이즈 추정부(10c)를 나타낸다. 도 3, 도 5, 및 도 7을 참조하면, 도 7의 노이즈 추정부(10c)는 도 3 및 도 5의 노이즈 추정부(10a과 10b)와 비교하여 필터(25)를 더 포함한다. 상기 필터(25)는 상기 다수의 블록 영상들로 구성되는 상기 블록 영상(X(i,j))을 미리 결정된 대역으로 필터링한다.
예컨대, 상기 필터(25)는 하이패스필터(High Pass Filter)가 될 수 있으며, 이때 상기 필터(25)는 상기 블록 영상(X(i,j))의 저주파 성분을 제거하고 고주파 성분의 영상만을 필터링할 수 있다.
상기 필터링된 입력 영상은 하기의 수학식 5와 상응할 수 있다.
Figure 112008000858351-pat00020
(여기서, 상기 ｘhigh(i,j)는 상기 필터링된 블록 영상이고 상기 C는 미리 결정된 상수이다.)
이때, 도 3 및 도 5의 노이즈 추정부(10a, 10b)의 상기 로컬 표준편차 추정부(11) 및 상기 이미지/노이즈 판별부(13) 각각은 필터링된 블록 영상(Xhigh(i,j))을 수신하여 각 블록 영상(Xhigh(i,j))별로 로컬 표준편차(σ(i,j)) 및 이미지/노이즈 판별치(δ(i,j))를 산출하고, 가중 평균부(15,15＇)는 노이즈 표준 편차(
Figure 112008000858351-pat00021
)를 산출하여 출력할 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 노이즈 추정부(10d)를 나타낸다. 도 3, 도4, 도 7, 및 도 8을 참조하면, 도 8의 노이즈 추정부(10d)는 도 7의 노이즈 추정부(10c)와 비교하여 절대치 산정부(abs, 27)를 더 포함한다.
상기 절대치 산정부(27)는 상기 필터링된 블록 영상(Xhigh(i,j))의 절대치를 산출하고 산출결과(|Xhigh(i,j)|)를 출력한다.
이때, 도 3 및 도 5의 노이즈 추정부(10d)의 상기 로컬 표준편차 추정부(11) 및 상기 이미지/노이즈 판별부(13) 각각은 절대치 산정부(27)의 출력결과(|Xhigh(i,j)|)을 수신하여 각 블록 영상별로 로컬 표준편차(σ(i,j)) 및 이미지/노이즈 판별치(δ(i,j))를 산출하고, 가중 평균부(15 및 15＇)는 노이즈 표준 편차(
Figure 112008000858351-pat00022
)를 산출하여 출력할 수 있다.
도 9는 본 발명의 다른 실시 예에 따른 노이즈 추정부(10e)를 나타낸다. 도 3과 도 9를 참조하면, 도 9의 노이즈 추정부(10e)의 이미지/노이즈 판별부(13＇)는 각 블록 영상(X(i,j))에 대한 이미지/노이즈 판별치(δ(i,j))를 산출함과 동시에 최소 방향 표준편차((σmin(i,j))를 더 산출할 수 있다.
상기 최소 방향 표준편차((σmin(i,j))는 상기 블록 영상(X(i,j)) 내에서 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 이용하여 산출된 결과이다. 예컨대, 상기 최소 방향 표준편차(σmin(i,j))는 특허출원 제2005-0115811호에 개시된 방법에 의해 산출되는, 블록 영상 내의 P(2이상의 정수)개의 방향(θ1, θ2, … , θP) 각각에 대한 방향 긴밀도(Vθ(l, m), θ =θ1, θ2, … , θP) 중의 최소값(Vmin(i,j))으로부터 다음의 수학식 6에 의해 산출될 수 있다.
Figure 112008000858351-pat00023
이때, 상기 가중 평균부(또는, 방향 적응적 가중 평균부(Direction Adaptive Weighted Average, 15")는 상기 각 블록 영상(X(i,j))의 로컬 표준 편차(σ(i,j)), 상기 이미지/노이즈 판별치(δ(i,j)), 및 상기 최소 방향 표준편차(σmin(i,j))를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차(
Figure 112008000858351-pat00024
)를 산출할 수 있다.
이때, 상기 노이즈 표준 편차(
Figure 112008000858351-pat00025
)는 하기의 수학식 7에 상응할 수 있다.
Figure 112008000858351-pat00026
(여기서, σmin(i,j)는 최소 방향 표준편차이다.)
상술한 바와 같이, 본 발명의 실시예에 따른 노이즈 추정부는 다양한 변형예가 있을 수 있다. 예컨대, 도 9의 노이즈 추정부(10e)에 도 7 및 도 8에 도시된 노이즈 추정부(10c, 10d)처럼, 필터(25) 및/또는 절대치 산정부(27)가 더 추가됨으로써, 또 다른 본 발명의 실시 예에 따른 노이즈 추정부가 구현될 수 있다.
도 10은 본 발명의 일 실시 예에 따른 영상처리 시스템의 개략적인 블록도로서 본 발명의 실시 예에 따른 노이즈 추정부 및 방법을 실제 영상처리에 응용하기 위한 하나의 예시적인 시스템이다. 도 11은 도 10의 노이즈 감소부의 블록도이다. 도 3, 도 5, 도 10, 및 도 11을 참조하면, 도 10의 영상처리 시스템(100)은 노이즈 추정부(Noise Estimation Unit, NEU, 10)와 노이즈 감소부(또는, 적응적 노이즈 감소부(Adaptive Noise Reduction, 101)를 포함할 수 있다. 참조번호 10은 상술한 다양한 본 발명의 실시예에 따른 노이즈 추정부 중 임의의 하나를 나타낸다. 상기 노이즈 추정부(10)는 도 3, 5, 7 내지 9의 노이즈 추정부(10a 내지 10e) 중의 하나가 될 수 있음은 물론이다.
상기 노이즈 추정부(10)는 다수의 블록 영상들(X(i,j))로 구성되는 입력 영상에서 각 블록 영상별(X(i,j))로 로컬 표준편차(σ(i,j))를 추정하여 출력하고, 상기 각 블록 영상(X(i,j))에 대한 이미지/노이즈 판별치(δ(i,j))를 계산하고 상기 각 로컬 표준편차(σ(i,j))와 상기 이미지/노이즈 판별치(δ(i,j))에 기초하여 상기 입력 영상의 노이즈 표준 편차(
Figure 112008000858351-pat00027
)를 산출할 수 있다.
상기 노이즈 추정부(10)에 대해서는 이미 도 3 내지 도 9를 통하여 그 다양한 실시 예에 대하여 상세히 설명하였으므로 이에 대한 상세한 설명은 생략한다.
상기 노이즈 감소부(101)는 상기 입력 영상을 수신하고 상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차(
Figure 112008000858351-pat00028
)에 기초하여 상기 입력 영상에 포함된 노이즈를 적응적으로 감소시켜 상기 노이즈가 감소된 영상을 출력할 수 있다.
예컨대, 상기 노이즈 감소부(101)는 상기 노이즈 표준 편차(
Figure 112008000858351-pat00029
)가 큰 경우 상기 입력 영상에 대한 감소(reduction, 또는 스무딩(smoothing))를 많이 하고, 상기 노이즈 표준 편차(
Figure 112008000858351-pat00030
)가 적은 경우 상기 입력 영상에 대한 감소를 적게 할 수 있다.
상기 노이즈 감소부(101)는 제1 영상 출력부(102), 제2 영상 출력부(108), 및 합산부(110)를 포함할 수 있다.
상기 제1 영상 출력부(102)는 상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수(g)를 생성하고, 상기 블록 영상(X(i,j))이 미리 결정된 밴드대 역으로 필터링된 영상(Xf)에 상기 제1 계수(g)를 멀티플라이하고 멀티플라이한 결과를 제1 영상성분(Xf*g)으로서 출력할 수 있다. 본 명세서에서 *는 곱셈을 의미한다.
상기 제1 영상 출력부(102)는 필터(103), 계수 생성부(105), 및 제1 연산기(107)를 포함할 수 있다. 상기 필터(103)는 평균필터(예컨대, 3X3 average filter)일 수 있다. 예컨대, 상기 필터(103)는 상기 블록 영상(X(i,j))을 3X3 화소 단위로 가중 평균하여 필터링된 영상 신호를 출력할 수 있다.
상기 계수 생성부(105)는 상기 노이즈 표준 편차(
Figure 112008000858351-pat00031
)에 기초하여 상기 노이즈 표준 편차(
Figure 112008000858351-pat00032
)와 미리 결정된 상관관계를 갖는 제1 계수(g)를 생성할 수 있다.
도 12는 도 10의 계수 생성부(15)에서 생성되는 제1 계수(g)와 노이즈 표준 편차(
Figure 112008000858351-pat00033
)와의 상관관계를 설명하기 위한 그래프이다. 도 10 내지 도 12를 참조하면, 상기 제1 계수(g)는 도 12의 (a)와 같이 노이즈 표준 편차(
Figure 112008000858351-pat00034
)가 미리 결정된 상수(K) 이상일 때 "1"이고 상기 노이즈 표준 편차(
Figure 112008000858351-pat00035
)가 상기 상수(K) 보다 작은 경우 1차 증가함수를 갖는 그래프 상의 어느 한점에 위치하는 값일 수 있다.
또는, 도 12의 (b)와 같이 상기 제1 계수(g)는 노이즈 표준 편차(
Figure 112008000858351-pat00036
)가 미리 결정된 제1 상수(K1) 이하일 때 "0"이고 상기 노이즈 표준 편차(
Figure 112008000858351-pat00037
)가 상기 제1 상수(K1)와 미리 결정된 제2 상수(K2) 이하일 때 고차(2차 이상) 증가함수를 갖는 그래프 상의 어느 한 점에 위치하는 값일 수 있다. 또한, 상기 제1 계수(g)는 노이즈 표준 편차(
Figure 112008000858351-pat00038
)가 미리 결정된 제2 상수(K2) 이상일 때 "1"일 수 있다.
도 12에는 두 가지 그래프만이 예시적으로 도시되나, 제1 계수(g)와 노이즈 표준 편차(
Figure 112008000858351-pat00039
)와의 상관관계는 다른 그래프 형태 혹은 수식으로 표현될 수 있다.
상기 제1 연산기(107)는 상기 필터(103)에서 출력된 필터링된 영상(Xf)과 상기 제1 계수(g)를 곱할 수 있다.
상기 제2 영상 출력부(108)는 상기 블록 영상(x)에 제2 계수(1-g)를 곱하고, 곱한 결과를 제2 영상성분(x*(1-g))으로서 출력할 수 있다.
상기 제1 계수(g)와 상기 제2 계수(1-g)의 합은 "1"일 수 있다.
상기 합산부(110)는 상기 제1 영상성분(Xf*g)과 상기 제2 영상성분(x*(1-g))을 합산하여 합산결과(y, y = Xf*g + x*(1-g))를 노이즈가 감소된 영상으로서 출력할 수 있다.
노이즈 표준 편차(
Figure 112008000858351-pat00040
)가 증가할수록 상기 제1 계수(g)는 0에서부터 1까지의 범위에서 증가하는 반면, 상기 제2 계수(1-g)는 1에서부터 0까지의 범위에서 감소한다. 따라서, 노이즈 표준 편차(
Figure 112008000858351-pat00041
)가 클수록 상기 입력 영상의 노이즈 감소 혹은 스무딩(smoothing) 효과는 증가된다.
상술한 바와 같이, 본 발명의 실시 예에 따른 영상처리 시스템(100)은 노이즈 표준 편차(
Figure 112008000858351-pat00042
)에 기초하여 추정된 노이즈 정도에 따라 적응적으로 영상을 처리함으로써, 노이즈 환경에서 영상의 화질을 개선할 수 있는 효과가 있다.
도 13은 본 발명의 다른 실시 예에 따른 영상처리 시스템을 나타내는 블록도이고, 도 14와 도 15는 각각 도 13의 적응적 선명도 강화부(Adaptive Sharpness Enhancement, 121)의 일 예를 나타내는 블록도이다. 도 3, 도 5, 및 도 13 내지 도 15를 참조하면, 도 13의 영상처리 시스템(120)은 노이즈 추정부(Noise Estimation Unit, NEU, 10)와 적응적 선명도 강화부(Adaptive Sharpness Enhancement, 121 혹은 121')를 포함할 수 있다.
상기 노이즈 추정부(10)는 상술한 다양한 본 발명의 실시 예에 따른 노이즈 추정부(10a 내지 10e) 중의 하나가 될 수 있음은 물론이다.
상기 노이즈 추정부(10)는 상기 입력 영상의 노이즈 표준 편차(
Figure 112008000858351-pat00043
)를 산출할 수 있다. 상기 노이즈 추정부(10)에 대해서는 이미 도 3 내지 도 9를 통하여 그 다양한 실시 예에 대하여 상세히 설명하였으므로 이에 대한 상세한 설명은 생략한다.
상기 적응적 선명도 강화부(121, 121')는 상기 입력 영상을 수신하고 상기 노이즈 추정부(10)에서 출력된 상기 노이즈 표준 편차(
Figure 112008000858351-pat00044
)에 기초하여 상기 입력 영상의 선명도를 적응적으로 강화시켜 상기 선명도가 강화된 영상을 출력할 수 있다.
예컨대, 상기 적응적 선명도 강화부(121, 121')는 상기 노이즈 표준 편차(
Figure 112008000858351-pat00045
)가 큰 경우 상기 입력 영상의 선명도 강화(sharpening)를 적게 하고, 상기 노이즈 표준 편차(
Figure 112008000858351-pat00046
)가 적은 경우 상기 입력 영상의 선명도 강화를 많이 할 수 있다.
상기 적응적 선명도 강화부(121, 121')는 제1 영상 출력부(122, 122')와 합산부(129)를 포함할 수 있다. 상기 제1 영상 출력부(122, 122')는 노이즈 표준 편차(
Figure 112008000858351-pat00047
)와 미리 결정된 상관관계를 갖는 제1 계수(α)를 생성하고, 필터링된 영상(xs, xss)에 상기 제1 계수(α) 및 미리 결정된 제2 계수(q)를 곱하고, 곱한 결과(xs*q*α, xss*q*α)를 제1 영상성분으로서 출력할 수 있다.
상기 제1 영상 출력부(122, 122')는 필터(123, 123'), 계수 생성부(127), 및 제1 연산기(125)를 포함할 수 있다.
상기 필터(123, 123')는 비선명 마스킹 필터(예컨대, 3*3 unsharp masking filter, 123)일 수 있으며, 이때 상기 필터(123)는 블록영상(X(i,j))의 비선명(unsharpness)부분을 강화하여 필터링할 수 있다.
또는, 상기 필터(123, 123‘)는 도 15와 같이 선명 필터(Sharpness Filter, 123’)일 수 있으며, 이때 상기 필터(123‘)는 블록영상(X(i,j))의 선명(sharpness)부분을 강화하여 필터링할 수 있다.
상기 제1 연산기(125)는 필터(123, 123')에서 출력된 필터링된 영상(xs, xss), 상기 제1 계수(α), 및 상기 제2 계수(q)를 곱할 수 있다.
상기 계수 생성부(또는, 선명도 세기 적응적 조절부(Sharpening Strength Adjusting unit), 127)는 상기 노이즈 표준 편차(
Figure 112008000858351-pat00048
)에 기초하여 상기 노이즈 표 준 편차(
Figure 112008000858351-pat00049
)와 미리 결정된 상관관계를 갖는 제1 계수(α)를 생성할 수 있다.
도 16은 도 13의 계수 생성부에서 생성되는 제1 계수(α)와 노이즈 표준 편차와의 상관관계를 설명하기 위한 그래프이다. 도 13 내지 도 16을 참조하면, 상기 제1 계수(α)는 도 16의 (a)와 같이 노이즈 표준 편차(
Figure 112008000858351-pat00050
)가 미리 결정된 상수(K) 이상일 때 "0"이고, 상기 노이즈 표준 편차(
Figure 112008000858351-pat00051
)가 "0"일 때 "1"이고 상기 노이즈 표준 편차(
Figure 112008000858351-pat00052
)가 상기 상수(K) 보다 작은 경우 감소 함수(즉, 반비례 함수)를 갖는 그래프 상의 어느 한 점에 위치하는 값일 수 있다.
상기 제1 계수(α)는 도 16의 (b)나 (c)와 같이 노이즈 표준 편차(
Figure 112008000858351-pat00053
)가 미리 결정된 상수(K) 이상일 때 "0"이고, 상기 노이즈 표준 편차(
Figure 112008000858351-pat00054
)가 "0"일 때 "1"이고 상기 노이즈 표준 편차(
Figure 112008000858351-pat00055
)가 상기 상수(K)보다 작은 경우 고차(이차 이상) 함수적으로 감소하는 그래프(반비례 그래프) 상의 어느 한 점에 위치하는 값일 수 있다.
또는, 상기 제1 계수(α)는 도 18의 (d)와 같이 노이즈 표준 편차(
Figure 112008000858351-pat00056
)가 미리 결정된 제1 상수(K1) 이하일 때 "1"이고 상기 노이즈 표준 편차(
Figure 112008000858351-pat00057
)가 상기 제1 상수(K1)와 미리 결정된 제2 상수(K2) 이하일 때 1차 함수적으로 감소하는 그래프 상의 어느 한 점에 위치하는 값일 수 있다.
도 16에는 네 가지 그래프만이 예시적으로 도시되나, 제1 계수(α)와 노이즈 표준 편차(
Figure 112008000858351-pat00058
)와의 상관관계는 다른 그래프 형태 혹은 수식으로 표현될 수 있음은 물론이다.
상기 합산부(129)는 상기 제1 연산기(125)의 출력결과(xs*α*q 혹은 xss*q*α)와 블록 영상(x)을 합산하여 합산결과를 선명도가 강화된 영상으로서 출력할 수 있다.
노이즈 표준 편차(
Figure 112008000858351-pat00059
)가 증가할수록 상기 제1 계수(α)는 1에서부터 0까지의 범위에서 감소한다. 따라서, 노이즈 표준 편차(
Figure 112008000858351-pat00060
)가 클수록 상기 입력 영상의 선명도 강화(sharpness enhancement)는 적게 이루어지고, 노이즈 표준 편차(
Figure 112008000858351-pat00061
)가 적을수록 상기 입력 영상의 선명도 강화(sharpness enhancement)는 많이 이루어진다.
상술한 바와 같이, 본 발명의 실시 예에 따른 영상처리 시스템(100)은 노이즈 표준 편차(
Figure 112008000858351-pat00062
)에 기초하여 추정된 노이즈 정도에 따라 적응적으로 영상을 처리함으로써, 노이즈 환경에서 영상의 화질을 개선할 수 있는 효과가 있다.
상술한 본 발명의 실시 예에서는 입력 영상의 노이즈 표준 편차(
Figure 112008000858351-pat00063
)를 정확하게 추정하고, 추정된 노이즈 표준 편차(
Figure 112008000858351-pat00064
)에 따라 노이즈 감소, 선명도 강화 등의 영상 처리를 적응적으로 수행하는 예가 기술되었으나, 본 발명이 상술한 영상 처리 기법에 한정되는 것은 아니다.
본 발명의 실시 예에 따른 노이즈 추정부 및 영상 처리 시스템은 하드웨어 및 소프트웨어로 구현될 수 있다. 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 각각 이미지와 노이즈에 해당되며 모두 분산이 25로 같은 두 샘플 영상을 나타낸다.
도 2는 각각 이미지와 노이즈에 해당되며 모두 분산이 2500으로 같은 두 샘플 영상을 나타낸다.
도 3은 본 발명의 실시 예에 따른 노이즈 추정부의 블록도이다.
도 4는 본 발명의 실시 예에 따른 노이즈 추정 방법을 나타낸다.
도 5는 본 발명의 다른 실시 예에 따른 노이즈 추정부의 블록도이다.
도 6은 본 발명의 다른 실시 예에 따른 노이즈 추정방법을 나타낸다.
도 7은 본 발명의 다른 실시 예에 따른 노이즈 추정부의 블록도이다.
도 8은 본 발명의 다른 실시 예에 따른 노이즈 추정부의 블록도이다.
도 9는 본 발명의 다른 실시 예에 따른 노이즈 추정부의 블록도이다.
도 10은 본 발명의 일 실시 예에 따른 영상처리 시스템의 블록도이다.
도 11은 도 10의 노이즈 감소부의 블록도이다.
도 12는 도 10의 계수 생성부에서 생성되는 제1 계수와 노이즈 표준 편차와의 상관관계를 설명하기 위한 그래프이다.
도 13은 본 발명의 다른 실시 예에 따른 영상처리 시스템의 블록도이다.
도 14와 도 15 각각은 도 13의 선명도 강화부의 블록도이다.
도 16은 도 13의 계수 생성부에서 생성되는 제1 계수와 노이즈 표준 편차와의 상관관계를 설명하기 위한 그래프이다.

Claims (26)

  1. 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상을 미리 결정된 대역으로 필터링하는 필터;
    상기 필터링된 각 블록 영상 별로 로컬 표준편차를 추정하여 출력하는 로컬 표준편차 추정부;
    상기 필터링된 각 블록 영상에 대한 이미지 혹은 노이즈의 상대적 크기를 나타내는 이미지/노이즈 판별치를 구하는 이미지/노이즈 판별부; 및
    상기 각 블록 영상의 표준 편차와 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 가중 평균부를 포함하는 영상 처리 시스템.
  2. 제1항에 있어서, 상기 노이즈 표준 편차는,
    Figure 112008000858351-pat00065
    (여기서, 상기
    Figure 112008000858351-pat00066
    는 상기 노이즈 표준 편차, 상기 σ(i,j)는 상기 로컬 표준편차, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응하는 영상 처리 시스템.
  3. 제1항에 있어서, 상기 영상 처리 시스템은,
    상기 이미지/노이즈 판별부에서 출력된 상기 이미지/노이즈 판별치와 미리 결정된 기준 값을 비교하는 비교부를 더 포함하며,
    상기 가중 평균부는 상기 비교부의 비교결과와 상기 각 블록 영상의 표준 편차를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 영상 처리 시스템.
  4. 제3항에 있어서, 상기 노이즈 표준 편차는,
    Figure 112008000858351-pat00067
    (여기서, 상기
    Figure 112008000858351-pat00068
    는 상기 노이즈 표준 편차, 상기 Δ(i,j)는 상기 비교부의 비교결과, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응하는 영상 처리 시스템.
  5. 삭제
  6. 제1항에 있어서, 상기 필터링된 블록 영상은,
    Figure 112014009362740-pat00069
    (여기서, 상기 ｘhigh(i,j)는 상기 필터링된 블록 영상, 상기 ｘ(i,j)는 상기 블록 영상, 및 상기 C는 미리 결정된 상수)와 상응하는 영상 처리 시스템.
  7. 제1항 또는 제3항에 있어서, 상기 영상 처리 시스템은,
    상기 필터링된 블록 영상의 절대치를 산출하고 산출결과를 출력하는 절대치 산정부를 더 포함하며,
    상기 로컬 표준편차 추정부는 상기 절대치 산정부의 출력결과에 기초하여 각 블록 영상별로 상기 로컬 표준편차를 추정하여 출력하고,
    상기 이미지/노이즈 판별부는 상기 절대치 산정부의 출력결과에 기초하여 각 블록 영상에 대한 상기 이미지/노이즈 판별치를 구하는 영상 처리 시스템.
  8. 제1항 또는 제3항에 있어서, 상기 이미지/노이즈 판별부는,
    상기 블록 영상 내에서 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 이용하여 최소 방향 표준편차를 더 구하고,
    상기 가중 평균부는,
    상기 각 블록 영상의 표준 편차, 상기 이미지/노이즈 판별치, 및 상기 최소 방향 표준편차에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 영상 처리 시스템.
  9. 제8항에 있어서,
    상기 최소 방향 표준편차는,
    Figure 112008000858351-pat00070
    (여기서, σmin(i,j)는 최소 방향 표준편차, Vmin(i,j)는 상기 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 나타내는 방향 긴밀도 중 최소값)과 상응하고,
    상기 노이즈 표준 편차는,
    Figure 112008000858351-pat00071
    (여기서, 상기
    Figure 112008000858351-pat00072
    는 상기 노이즈 표준 편차, 상기 σ(i,j)는 상기 로컬 표 준편차, 상기 σmin(i,j)는 최소 방향 표준편차 긴밀도, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응하는 영상 처리 시스템.
  10. 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상을 미리 결정된 대역으로 필터링하는 단계;
    상기 필터링된 각 블록 영상 별로 로컬 표준편차를 추정하여 출력하고 상기 필터링된 각 블록 영상에 대한 이미지/노이즈 판별치를 구하는 단계; 및
    상기 각 블록 영상의 표준 편차와 상기 이미지/노이즈 판별치에 기초한 가중평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 단계를 포함하는 영상 처리 방법.
  11. 제10항에 있어서, 상기 노이즈 표준 편차는,
    Figure 112008000858351-pat00073
    (여기서, 상기
    Figure 112008000858351-pat00074
    는 상기 노이즈 표준 편차, 상기 σ(i,j)는 상기 로컬 표준편차, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응하는 영상 처리 방법.
  12. 제10항에 있어서, 상기 영상 처리 방법은,
    상기 이미지/노이즈 판별치와 미리 결정된 기준 값을 비교하고 비교결과를 출력하는 단계를 더 포함하며,
    상기 노이즈 표준 편차를 산출하는 단계는,
    상기 비교결과와 상기 각 블록 영상의 표준 편차를 수신하고, 상기 수신한 값들을 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 단계를 더 포함하는 영상 처리 방법.
  13. 제12항에 있어서, 상기 노이즈 표준 편차는,
    Figure 112008000858351-pat00075
    (여기서, 상기
    Figure 112008000858351-pat00076
    는 상기 노이즈 표준 편차, 상기 Δ(i,j)는 상기 비교부의 비교결과, 및 상기 δ(i,j)는 이미지/노이즈 판별치)와 상응하는 영상 처리 방법.
  14. 삭제
  15. 제10항에 있어서, 상기 필터링된 블록 영상은,
    Figure 112014009362740-pat00077
    (여기서, 상기 ｘhigh(i,j)는 상기 필터링된 블록 영상, 상기 ｘ(i,j)는 상기 입력 영상, 및 상기 C는 미리 결정된 상수)와 상응하는 영상 처리 방법.
  16. 제10항 또는 제12항에 있어서, 상기 영상 처리 방법은,
    상기 필터링된 블록 영상의 절대치를 산출하고 산출결과를 출력하는 단계를 더 포함하며,
    상기 이미지/노이즈 판별치를 구하는 단계는,
    상기 절대치 산출결과에 기초하여 각 블록 영상별로 상기 로컬 표준편차를 추정하여 출력하고, 각 블록 영상에 대한 상기 이미지/노이즈 판별치를 구하는 단계를 더 포함하는 영상 처리 방법.
  17. 제10항 또는 제12항에 있어서, 상기 영상 처리 방법은,
    상기 블록 영상 내에서 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 이용하여 최소 방향 표준편차를 더 구하는 단계를 더 포함하고,
    상기 이미지/노이즈 판별치를 구하는 단계는,
    상기 각 블록 영상의 표준 편차, 상기 이미지/노이즈 판별치, 및 상기 최소 방향 표준편차를 가중 평균하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 영상 처리 방법.
  18. 제17항에 있어서, 상기 최소 방향 표준편차는,
    Figure 112008000858351-pat00078
    (여기서, σmin(i,j)는 최소 방향 표준편차, Vmin(i,j)는 상기 기 설정된 복수 개의 방향 각각에 대해 화소 값 간의 상관관계 정도를 나타내는 방향 긴밀도 중 최소값)과 상응하고,
    상기 노이즈 표준 편차는,
    Figure 112008000858351-pat00079
    (여기서, 상기
    Figure 112008000858351-pat00080
    는 상기 노이즈 표준 편차, 상기 σ(i,j)는 상기 로컬 표준편차, 상기 σmin(i,j)는 최소 방향 표준편차 긴밀도, 및 상기 δ(i,j)는 이미지/ 노이즈 판별치)와 상응하는 영상 처리 방법.
  19. 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하고, 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 계산하고 상기 각 블록 영상의 표준 편차와 상기 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 노이즈 추정부; 및
    상기 입력 영상을 수신하고 상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차에 기초하여 상기 입력 영상을 적응적으로 처리하는 적응적 영상 처리부를 포함하며,
    상기 적응적 영상 처리부는,
    상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수를 생성하고, 상기 블록 영상이 미리 결정된 밴드대역으로 필터링된 영상에 상기 제1 계수를 곱하고, 곱한 결과를 제1 영상성분으로서 출력하는 제1 영상 출력부;
    상기 블록 영상에 제2 계수를 곱하고, 곱한 결과를 제2 영상성분으로서 출력하는 제2 영상 출력부; 및
    상기 제1 영상성분과 상기 제2 영상성분을 합산하여 합산결과를 노이즈가 감소된 영상으로서 출력하는 합산부를 포함하는 영상 처리 시스템.
  20. 삭제
  21. 다수의 블록 영상들로 구성되는 입력 영상에서 각 블록 영상별로 로컬 표준편차를 추정하여 출력하고, 상기 각 블록 영상에 대한 이미지/노이즈 판별치를 계산하고 상기 각 블록 영상의 표준 편차와 상기 이미지/노이즈 판별치에 기초한 가중 평균에 의하여 상기 입력 영상의 노이즈 표준 편차를 산출하는 노이즈 추정부; 및
    상기 입력 영상을 수신하고 상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차에 기초하여 상기 입력 영상을 적응적으로 처리하는 적응적 영상 처리부를 포함하며,
    상기 적응적 영상 처리부는,
    상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수를 생성하고, 상기 블록 영상이 미리 결정된 밴드대역으로 필터링된 영상에 상기 제1 계수 및 미리 결정된 제2 계수를 곱하고, 곱한 결과를 제1 영상성분으로서 출력하는 제1 영상 출력부; 및
    상기 블록 영상에 상기 제1 영상성분을 합산하여 합산결과를 노이즈가 감소된 영상으로서 출력하는 합산부를 포함하는 영상 처리 시스템.
  22. 제19항 또는 제21항에 있어서, 상기 제1 영상 출력부는,
    상기 블록 영상을 상기 미리 결정된 밴드대역으로 필터링하는 필터;
    상기 노이즈 추정부에서 출력된 상기 노이즈 표준 편차에 기초하여 상기 노이즈 표준 편차와 미리 결정된 상관관계를 갖는 제1 계수를 생성하는 계수 생성부; 및
    상기 필터에서 출력된 필터링된 영상, 상기 제1 계수, 및 상기 제2 계수를 곱셈하는 제1 연산기를 포함하는 영상 처리 시스템.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 제10항에 기재된 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
KR1020080001386A 2008-01-04 2008-01-04 영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법 KR101418961B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080001386A KR101418961B1 (ko) 2008-01-04 2008-01-04 영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080001386A KR101418961B1 (ko) 2008-01-04 2008-01-04 영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090075507A KR20090075507A (ko) 2009-07-08
KR101418961B1 true KR101418961B1 (ko) 2014-07-16

Family

ID=41332713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080001386A KR101418961B1 (ko) 2008-01-04 2008-01-04 영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101418961B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459034B1 (ko) 2013-07-11 2014-11-07 숭실대학교산학협력단 영상 처리 시스템 및 방법
KR101538353B1 (ko) * 2014-05-29 2015-07-22 숭실대학교산학협력단 영상 처리 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050041886A (ko) * 2003-10-30 2005-05-04 삼성전자주식회사 전역 통계 및 국부 통계에 의해 컨트롤되는 노이즈 감소장치 및 그 방법
JP2005167520A (ja) 2003-12-01 2005-06-23 Nippon Institute Of Technology 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
KR100584593B1 (ko) * 2003-07-10 2006-05-30 삼성전자주식회사 이산 웨이블릿 변환을 이용한 노이즈 감소 방법 및 장치
KR20070056756A (ko) * 2005-11-30 2007-06-04 중앙대학교 산학협력단 이미지/노이즈 판별을 위한 통계적 영상처리 시스템 및방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584593B1 (ko) * 2003-07-10 2006-05-30 삼성전자주식회사 이산 웨이블릿 변환을 이용한 노이즈 감소 방법 및 장치
KR20050041886A (ko) * 2003-10-30 2005-05-04 삼성전자주식회사 전역 통계 및 국부 통계에 의해 컨트롤되는 노이즈 감소장치 및 그 방법
JP2005167520A (ja) 2003-12-01 2005-06-23 Nippon Institute Of Technology 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
KR20070056756A (ko) * 2005-11-30 2007-06-04 중앙대학교 산학협력단 이미지/노이즈 판별을 위한 통계적 영상처리 시스템 및방법

Also Published As

Publication number Publication date
KR20090075507A (ko) 2009-07-08

Similar Documents

Publication Publication Date Title
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
US7885462B2 (en) Image processing method and system using gain controllable clipped histogram equalization
JP5839631B2 (ja) ブロックノイズの検出方法
US8126266B2 (en) Video signal processing method, program for the video signal processing method, recording medium recording the program for the video signal processing method, and video signal processing apparatus
US8107765B2 (en) Block-based image restoration system and method
US7529425B2 (en) Denoising method, apparatus, and program
CN104980626B (zh) 用于降低图像噪声的方法和设备
EP1924082B1 (en) Image processing apparatus and image processing method
US7792384B2 (en) Image processing apparatus, image processing method, program, and recording medium therefor
US8983221B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR101303660B1 (ko) 잡음제거를 고려한 선명도 향상 방법 및 장치 그리고 잡음가중치 계산 방법 및 장치
EP1320071A2 (en) Image enhancement with under- and overshoot suppression
KR20050012751A (ko) 로컬 에지 통계적 분포를 기초로 선명도 메트릭스들을추정하는 방법 및 시스템
US7885475B2 (en) Motion adaptive image processing apparatus and method thereof
EP1909227B1 (en) Method of and apparatus for minimizing ringing artifacts in an input image
KR100677133B1 (ko) 이미지 디테일 강조에 있어서 잡음 있는 가장자리의 검출및 처리를 위한 방법 및 장치
JPH1051661A (ja) 低域フィルタリングとヒストグラム等化を用いた画質改善方法及びその回路
US20120189208A1 (en) Image processing apparatus, image processing method, image processing program, and storage medium
US8577167B2 (en) Image processing system and spatial noise reducing method
KR101031153B1 (ko) 신호 처리 장치 및 방법
US7269296B2 (en) Method and apparatus for shoot suppression in image detail enhancement
Masood et al. Color differences based fuzzy filter for extremely corrupted color images
WO2007057808A2 (en) Blur estimation
KR101418961B1 (ko) 영상의 노이즈 세기를 추정하고 이를 이용하여 적응적으로영상을 처리하는 영상처리 시스템 및 방법
van Zyl Marais et al. Robust defocus blur identification in the context of blind image quality assessment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 6