KR101615122B1 - 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR101615122B1
KR101615122B1 KR1020140183003A KR20140183003A KR101615122B1 KR 101615122 B1 KR101615122 B1 KR 101615122B1 KR 1020140183003 A KR1020140183003 A KR 1020140183003A KR 20140183003 A KR20140183003 A KR 20140183003A KR 101615122 B1 KR101615122 B1 KR 101615122B1
Authority
KR
South Korea
Prior art keywords
weight
image
pixel
patch
search area
Prior art date
Application number
KR1020140183003A
Other languages
English (en)
Inventor
홍민철
뚜안 안 응웬
김동영
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020140183003A priority Critical patent/KR101615122B1/ko
Application granted granted Critical
Publication of KR101615122B1 publication Critical patent/KR101615122B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

적응적인 비국부 평균 노이즈 제거 방법은, 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산하는 단계; 상기 입력 영상을 다운 스케일링하는 단계; 다운 스케일링된 영상의 상기 검색 영역 내에서 패치들 간의 유사도에 따른 제2 가중치를 계산하는 단계; 및 상기 제1 가중치 및 상기 제2 가중치를 기초로 각 화소의 영상을 복원하는 단계를 포함한다. 이에 따라, 국부 활동성이 높은 영역에서의 왜곡 현상 및 윤곽선 손실 현상을 감소시킬 수 있다.

Description

적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치{ADAPTIVE NON-LOCAL MEANS DENOISING METHOD, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 패치 기반의 비국부 평균 노이즈 제거 방식의 성능 향상을 위해 다운 스케일 영상들의 패치 정보를 활용함으로써 국부 활동성이 높은 영역에서 유사도가 높은 패치들의 확보를 증대시키는 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.
일반적으로 디지털 영상은 아날로그 신호로의 획득 과정 및 디지털 신호로 변환하는 과정에서 영상 시스템 등에 의해 원 영상에 노이즈가 첨부된 현상으로 표현된다. 첨부 노이즈에 의해 왜곡된 영상은 영상 압축 과정에서 고주파 성분의 증대로 인해 압축 효율의 저하의 요인이 되며, 영상 인식 시스템에서 인식률의 저하 요인이 될 수 있다.
상기와 같이 첨부 노이즈에 의한 영상 왜곡 현상은 다양한 영상 응용 분야에서 문제점을 발생하게 되므로, 전처리 과정에서 효과적으로 첨부 노이즈를 최소화하는 것은 해당 응용 시스템의 성능을 극대화하기 위해 매우 중요하다고 할 수 있다.
디지털화된 원 영상에 다양한 현상에 의해 발생하는 노이즈 왜곡 영상을 복원하기 위한 연구는 오랜 기간 진행되었으며, 가전분야, 재난/보안용 영상 감시 시스템, 의학 및 국방 등의 다양한 응용 분야에서 관련 서비스의 성능 향상을 위해 고성능 노이즈 제거 방식에 대한 필요성이 증대되고 있다.
비국부 평균(Non-local means) 기법은 노이즈 제거에 매우 효과적인 방식임이 입증되었으며 성능 향상을 위한 연구가 활발히 진행되고 있다. 특히, 비국부 평균 필터의 통계적 분석, 가중치 함수의 선정, 노이즈 양 및 국부 활동성에 따른 패치 크기의 적응적 결정, 연산량의 절감을 위한 알고리즘의 가속화 등과 관련된 연구가 활발히 진행되고 있다.
비국부 평균 방식의 기본 개념인 패치간의 공간상의 상관관계 활용은 희소 이론(Sparsity theory)와 결합하여 block matching based two-stage 3D(BM3D) 노이즈 제거 필터 방식이 발표되었으며, 이와 관련된 연구가 진행되고 있다.
이와 같이 패치 간의 유사도 검색을 기반으로 노이즈 제거 방식이 제안되었으나, 다운 스케일 영상을 활용하여 패치 기반의 노이즈 제거 방식의 성능 향상을 도모하는 연구는 미흡한 상태이다.
KR 2014-0055503 A KR 2010-0085346 A
A. Buades, B. Coll, and J. M. Morel, "Image denoising methods. A new nonlocal principle," SIAM Review, vol. 52, no. 1, pp. 113-147, Jan. 2010. P. Milanfar, "A tour of modern image filtering," IEEE Signal Process. Magazine, vol. 30, no. 1, pp. 106-128, Jan. 2013
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 다운 스케일 영상을 이용하여 국부 활동성이 높은 영역에서의 왜곡 현상 및 윤곽선 손실 현상을 감소시키기 위한 적응적인 비국부 평균 노이즈 제거 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 적응적인 비국부 평균 노이즈 제거 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 적응적인 비국부 평균 노이즈 제거 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 적응적인 비국부 평균 노이즈 제거 방법은, 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산하는 단계; 상기 입력 영상을 다운 스케일링하는 단계; 다운 스케일링된 영상의 상기 검색 영역 내에서 패치들 간의 유사도에 따른 제2 가중치를 계산하는 단계; 및 상기 제1 가중치 및 상기 제2 가중치를 기초로 각 화소의 영상을 복원하는 단계를 포함한다.
본 발명의 실시예에서, 상기 제1 가중치를 계산하는 단계는, 아래의 수학식을 이용하여 제1 가중치를 계산할 수 있다.
Figure 112014123112942-pat00001
여기서, w(i, j)는 화소 g(i)를 중심으로 하는 패치 N(i)와 화소 g(j)를 중심으로 하는 패치 N(j)와의 유사도를 표현하는 가중치 값을 나타내고, g는 원 영상, W는 화소 g(i)를 기준으로 하는 검색 영역, Ga는 가우시안 완화 필터 커널을 나타내고, P는 화소 g(i) 및 화소 g(j)를 중심으로 하는 패치의 크기를 나타내고, h는 가중치 함수의 매개 변수를 나타낸다.
본 발명의 실시예에서, 상기 입력 영상을 다운 스케일링하는 단계는, 상기 입력 영상을 2q(여기서, q는 0보다 큰 유리수)배로 다운 스케일링할 수 있다.
본 발명의 실시예에서, 상기 제2 가중치를 계산하는 단계는, 아래의 수학식을 이용하여 제2 가중치를 계산할 수 있다.
Figure 112014123112942-pat00002
여기서,
Figure 112014123112942-pat00003
는 영상 g를 수평 및 수직 방향으로 2q배 다운 스케일링한 영상을 나타낸다.
본 발명의 실시예에서, 상기 각 화소의 영상을 복원하는 단계는, 아래의 수학식을 이용하여 가중치를 계산할 수 있다.
Figure 112014123112942-pat00004
여기서,
Figure 112014123112942-pat00005
는 화소 g(i)에 대응하는 2q배 다운 스케일링한 영상의
Figure 112014123112942-pat00006
에 위치한 화소를 중심으로 하는 패치의 검색 영역을 의미하며,
Figure 112014123112942-pat00007
는 a보다 크지 않은 최대 자연수 값을 의미한다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 적응적인 비국부 평균 노이즈 제거 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 적응적인 비국부 평균 노이즈 제거 장치는, 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산하는 제1 가중치 계산부; 상기 입력 영상을 다운 스케일링하는 다운 스케일링부; 다운 스케일링된 영상의 상기 검색 영역 내에서 패치들 간의 유사도에 따른 제2 가중치를 계산하는 제2 가중치 계산부; 및 상기 제1 가중치 및 상기 제2 가중치를 기초로 각 화소의 영상을 복원하는 영상 복원부를 포함한다.
본 발명의 실시예에서, 상기 제1 가중치 계산부는, 아래의 수학식을 이용하여 제1 가중치를 계산할 수 있다.
Figure 112014123112942-pat00008
여기서, w(i, j)는 화소 g(i)를 중심으로 하는 패치 N(i)와 화소 g(j)를 중심으로 하는 패치 N(j)와의 유사도를 표현하는 가중치 값을 나타내고, g는 원 영상, W는 화소 g(i)를 기준으로 하는 검색 영역, Ga는 가우시안 완화 필터 커널을 나타내고, P는 화소 g(i) 및 화소 g(j)를 중심으로 하는 패치의 크기를 나타내고, h는 가중치 함수의 매개 변수를 나타낸다.
본 발명의 실시예에서, 상기 다운 스케일링부는, 상기 입력 영상을 2q(여기서, q는 0보다 큰 유리수)배로 다운 스케일링할 수 있다.
본 발명의 실시예에서, 상기 제2 가중치 계산부는, 아래의 수학식을 이용하여 제2 가중치를 계산할 수 있다.
Figure 112014123112942-pat00009
여기서,
Figure 112014123112942-pat00010
는 영상 g를 수평 및 수직 방향으로 2q배 다운 스케일링한 영상을 나타낸다.
본 발명의 실시예에서, 상기 영상 복원부는, 아래의 수학식을 이용하여 가중치를 계산할 수 있다.
Figure 112014123112942-pat00011
여기서,
Figure 112014123112942-pat00012
는 화소 g(i)에 대응하는 2q배 다운 스케일링한 영상의
Figure 112014123112942-pat00013
에 위치한 화소를 중심으로 하는 패치의 검색 영역을 의미하며,
Figure 112014123112942-pat00014
는 a보다 크지 않은 최대 자연수 값을 의미한다.
이와 같은 적응적인 비국부 평균 노이즈 제거 방법에 따르면, 다운 스케일 영상을 활용하여 국부 활동성이 높은 영역과의 유사도가 높은 패치 수를 증대시켜 비국부 평균 노이즈 제거 방식의 문제점인 국부 활동성이 높은 영역에서의 왜곡 현상 및 윤곽선 손실 현상을 감소시킬 수 있다. 또한, 비국부 평균 방식과 비교하여 본 발명은 PSNR(Peak Signal to Noise Ratio) 성능이 개선되고 시각적 성능이 향상되어 양질의 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 적응적인 비국부 평균 노이즈 제거 장치의 블록도이다.
도 2는 도 1의 적응적인 비국부 평균 노이즈 제거 장치에서 패치간의 유사도 계산을 설명하기 위한 개념도이다.
도 3은 본 발명에 따른 복원 영상을 종래 기술과 비교하는 도면들이다.
도 4는 본 발명의 일 실시예에 따른 적응적인 비국부 평균 노이즈 제거 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 적응적인 비국부 평균 노이즈 제거 장치의 블록도이다. 도 2는 도 1의 적응적인 비국부 평균 노이즈 제거 장치에서 패치간의 유사도 계산을 설명하기 위한 개념도이다.
일반적으로 디지털 영상은 아날로그 신호로의 획득 과정 및 디지털 신호로 변환하는 과정에서 영상 시스템 등에 의해 원 영상에 노이즈가 첨부된 현상으로 표현된다. 첨부 노이즈에 의해 왜곡된 영상은 영상 압축 과정에서 고주파 성분의 증대로 인해 압축 효율의 저하의 요인이 되며, 영상 인식 시스템에서 인식률의 저하 요인이 될 수 있다.
상기와 같이 첨부 노이즈에 의한 영상 왜곡 현상은 다양한 영상 응용 분야에서 문제점을 발생하게 되므로, 전처리 과정에서 효과적으로 첨부 노이즈를 최소화하는 것은 해당 응용 시스템의 성능을 극대화하기 위해 매우 중요하다고 할 수 있다.
본 발명에 따른 적응적인 비국부 평균 노이즈 제거 장치(10, 이하 장치)는 노이즈에 의해 왜곡된 영상의 다운 스케일 영상들을 이용하여 디지털화된 영상에 발생하는 노이즈를 제거한다. 종래의 비국부 평균 기법을 이용하여 노이즈를 제거할 때 검색 영역이 커질수록 유사도가 높은 패치의 수가 증가함과 동시에 유사도가 낮은 패치의 수도 증가하여 열화 현상이 발생하는 문제점을 보완하기 위해, 2q배 다운 스케일링한 영상을 활용하여 국부 활동성이 유사한 패치의 수를 증가시켜 노이즈 제거 성능을 향상시킨다.
도 1을 참조하면, 본 발명에 따른 장치(10)는 제1 가중치 계산부(110), 다운 스케일링부(130), 제2 가중치 계산부(150) 및 영상 복원부(170)를 포함한다.
본 발명의 상기 장치(10)는 적응적인 비국부 평균 노이즈 제거를 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 제1 가중치 계산부(110), 상기 다운 스케일링부(130), 상기 제2 가중치 계산부(150) 및 상기 영상 복원부(170)의 구성은 상기 장치(10)에서 실행되는 적응적인 비국부 평균 노이즈 제거를 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 예를 들어, 상기 장치(10)는 디스플레이 장치, 스마트 폰 등의 일부 구성으로 형성될 수도 있고, 디스플레이 장치, 스마트 폰 등의 타 단말과 유무선 통신하는 별도의 단말로 구성될 수도 있다.
또한, 상기 제1 가중치 계산부(110), 상기 다운 스케일링부(130), 상기 제2 가중치 계산부(150) 및 상기 영상 복원부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다. 특히, 상기 제1 가중치 계산부(110) 및 상기 제2 가중치 계산부(150)는 별도로 도시하였으나, 하나로 형성될 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
제1 가중치 계산부(110)는 영상이 입력되면, 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산한다.
i번째 화소를 복원하려고 할 때, 화소 g(i)를 기준으로 일정 범위를 설정하고, 그 일정 범위 안에 있는 화소 g(j)와 기준이 되는 g(i)와의 유사도를 측정하는데, 그 일정 범위를 검색 영역이라고 정의한다.
도 2를 참조하면, 원쪽의 원 영상에서 화소 g(i)를 기준으로 하는 W는 검색 영역이고, N(i)는 화소 g(i)를 중심으로 하는 패치, N(j)는 화소 g(j)를 중심으로 하는 패치이다. 패치는 각 화소를 기준으로 일정 크기로 형성되고, 검색 영역은 패치의 크기보다 크다. 패치의 크기 및 검색 영역의 크기는 필요에 따라 임의로 설정할 수 있다.
일반적으로 원 영상에 독립적인 노이즈에 의해 왜곡된 영상의 모델은 다음의 수학식 1과 같이 기술될 수 있다.
[수학식 1]
Figure 112014123112942-pat00015
수학식 1에서 g, f 및 n은 각각 노이즈에 의해 왜곡된 관측 영상, 원 영상 및 노이즈 성분을 의미하며, i는 화소의 2차원 공간상의 위치를 나타낸다.
비국부 평균 기법을 이용한 i번째 화소는 다음의 수학식 2와 같이 복원된다.
[수학식 2]
Figure 112014123112942-pat00016
수학식 2에서 W는 화소 g(i)를 기준으로 하는 검색 영역을 의미하며, w(i, j)는 화소 g(i)를 중심으로 하는 패치 N(i)와 화소 g(j)를 중심으로 하는 패치 N(j)와의 유사도를 표현하는 가중치 값을 나타낸다. 패치간의 유사도에 따른 가중치는 다음의 수학식 3과 같이 결정된다.
[수학식 3]
Figure 112014123112942-pat00017
여기서, Ga는 가우시안 완화 필터 커널을 의미하며, P는 화소 g(i) 및 화소 g(j)를 중심으로 하는 패치의 크기를 나타낸다. 더불어, h는 가중치 함수의 매개 변수를 의미하며, 일반적으로 노이즈 정도(noisy level)가 사용된다.
비국부 평균 방식은 패치 N(i)와 유사도가 높은 패치가 검색 영역 내에 많이 존재할수록 우수한 성능을 나타내지만, N(i)에 존재하는 노이즈에 의한 왜곡 정도가 심한 경우 노이즈 제거 성능이 만족스럽지 못하게 된다. 더불어, 검색 영역이 커질수록 유사도가 높은 패치를 검색할 가능성은 높아지나, 유사도가 낮은 패치의 수도 비례하여 증가하는 관계로 열화 현상이 발생할 수 있다. 이와 같이 단일 영상으로 성능 향상에는 한계성이 존재한다.
본 발명에서는, 국부 활동성이 큰 영역에서는 유사도가 높은 패치수가 매우 제한적이므로 다운 스케일 영상을 이용하여 국부 활동성이 큰 패치를 위해 다운 스케일링 영상의 대응되는 화소를 기준으로 하는 검색 영역 내에서 유사도가 높은 영역의 패치 수를 증가시킨다. 이를 통해 국부 활동성이 큰 패치들에 대해 효과적인 노이즈 제거 및 에지 영역에서 발생하는 왜곡 현상을 감소시키고자 한다.
도 2에서 왼쪽의 원 영상 g를 다운 스케일링하여 오른쪽의 다운 스케일링 영상을 획득하고, 이로부터 검색 영역을 확장하여 가중치를 계산한다. 왜곡 영상 g를 2q(여기서, q는 0보다 큰 유리수)배로 다운 스케일링한 영상을 이용한 가중치는 다음의 수학식 4와 같이 결정된다.
[수학식 4]
Figure 112014123112942-pat00018
수학식 4에서
Figure 112014123112942-pat00019
는 영상 g를 수평 및 수직 방향으로 2g배 다운 스케일링한 영상을 의미하며, 다운 스케일링한 영상을 사용하여 다음의 수학식 5와 같이 복원 영상을 획득하게 된다.
[수학식 5]
Figure 112014123112942-pat00020
수학식 5에서
Figure 112014123112942-pat00021
는 g(i)에 대응하는 2q배 다운 스케일한 영상의
Figure 112014123112942-pat00022
에 위치한 화소를 중심으로 하는 패치의 검색 영역을 의미하며,
Figure 112014123112942-pat00023
는 a보다 크지 않은 최대 자연수 값을 의미한다.
이에 따라, 본 발명에서는 국부 활동성이 높은 영역에서 유사도가 높은 패치의 효과적인 확보를 위해 국부적으로 유사한 기하학적 특성이 많이 존재하는 다운 스케일된 영상들을 활용하여 비국부 평균 노이즈 방식의 성능을 향상시킬 수 있다.
이하에서는, 본 발명의 효과를 검증하기 위해, 영상에 가우시안 노이즈를 첨부해서 실험하였다. 성능 비교를 위해 PSNR(Peak Signal to Noise Ratio)을 사용하였으며, 비국부 평균 노이즈 제거 방식(NLM)[비특허문헌 1]과 성능 비교를 하였다.
본 발명에 따른 방식은 연산량을 고려하여 수평 및 수직 방향으로 2배 다운 스케일한 영상(수학식 5의 Q=1)로 적용하였다. 더불어, 패치 크기는 7×7로 정의하였으며, NLM 방식의 패치 검색 영역은 21×21(패치당 검색 패치수 441개)를, 본 발명에 따른 방식은 원 해상도 및 다운 스케일한 영상에 각각 15×15 검색 영역을 적용하였다(패치당 검색 패치수 450개).
본 발명은 노이즈에 의해 왜곡된 부분을 개선시켜 보정하고 최대한 원 영상의 정보를 보존한다. 실험 결과로부터 제안 방식의 성능이 기존의 방식보다 PSNR 성능이 노이즈 양에 관계 없이 우월함을 확인 할 수 있었다. 더불어, 영상의 국부 활동성이 클수록 PSNR의 개선이 높아짐을 확인할 수 있었으며, 이는 제안 방식의 성능이 국부 활동성이 큰 영역에서 효과적으로 나타난 것을 알 수 있다.
시각적 성능 비교를 위해 참고용 결과 도면을 도 3에 도시하였다. 도 3에서, (a)는 원영상, (b)는 왜곡 영상, (c)는 NLM 방식에 따른 복원 결과 영상, (d)는 본 발명에 따른 복원 결과 영상을 나타낸다.
도 3을 참조하면, NLM 복원 영상은 고주파 영역에서 왜곡 현상이 존재하는 반면, 본 발명에 따른 방식에서는 국부 활동성이 큰 영역을 효과적으로 활용함으로써 고주파 영역에서의 왜곡 현상이 현저히 감소되었음을 확인할 수 있었으며, 상기 결과는 PSNR 결과와 일치함을 알 수 있었다.
도 4는 본 발명의 일 실시예에 따른 적응적인 비국부 평균 노이즈 제거 방법의 흐름도이다.
본 실시예에 따른 적응적인 비국부 평균 노이즈 제거 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 적응적인 비국부 평균 노이즈 제거 방법은 적응적인 비국부 평균 노이즈 제거를 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 4를 참조하면, 본 실시예에 따른 적응적인 비국부 평균 노이즈 제거 방법은, 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산한다(단계 S10). 상기 제1 가중치는 수학식 3을 이용하여 계산될 수 있다.
또한, 상기 입력 영상을 다운 스케일링한다(단계 S30). 상기 입력 영상은 2q(여기서, q는 0보다 큰 유리수)배 다운 스케일링할 수 있다.
상기 제1 가중치를 계산하는 단계(단계 S10) 및 입력 영상을 다운 스케일링하는 단계(단계 S30)는, 동시에 또는 순차적으로 수행될 수 있다.
상기 입력 영상이 다운 스케일링되면, 다운 스케일링된 영상의 상기 검색 영역 내에서 패치들 간의 유사도에 따른 제2 가중치를 계산한다(단계 S50). 상기 제2 가중치는 수학식 4를 이용하여 계산될 수 있다.
상기 제1 가중치 및 상기 제2 가중치가 계산되면, 상기 제1 가중치 및 상기 제2 가중치를 기초로 각 화소의 영상을 복원한다(단계 S70). 각 화소의 복원 영상은 수학식 5를 이용하여 획득할 수 있다.
본 발명은 다운 스케일 영상을 활용하여 국부 활동성이 높은 영역과의 유사도가 높은 패치 수를 증대시켜 비국부 평균 노이즈 제거 방식의 문제점인 국부 활동성이 높은 영역에서의 왜곡 현상 및 윤곽선 손실 현상을 감소시킬 수 있다. 또한, 비국부 평균 방식과 비교하여 본 발명은 PSNR(Peak Signal to Noise Ratio) 성능이 개선되고 시각적 성능이 향상된다.
이와 같은, 적응적인 비국부 평균 노이즈 제거 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 비국부 평균 노이즈 제거 방식의 성능 향상을 위해 다운 스케일된 영상을 활용하여 국부 활동성이 큰 패치들에 대해 유사도가 높은 패치 수를 증가시켜 효과적인 노이즈 제거 및 에지 영역에서의 왜곡 현상을 감소시키는 방식에 대해 제안하였다. 실험 결과를 통해 PSNR 및 시각적 성능 향상이 이루어졌음을 확인할 수 있었으며, 가전분야, 재난/보안용 영상 감시 시스템, 의학 및 국방 등의 다양한 고해상도 영상 응용 분야에 활용 가능할 것으로 기대된다.
10: 적응적인 비국부 평균 노이즈 제거 장치
110: 제1 가중치 계산부
130: 다운 스케일링부
150: 제2 가중치 계산부
170: 영상 복원부

Claims (11)

  1. 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산하는 단계;
    상기 입력 영상을 다운 스케일링(Downscaling)하는 단계;
    다운 스케일링된 영상의 상기 검색 영역 내에서 패치들 간의 유사도에 따른 제2 가중치를 계산하는 단계; 및
    상기 제1 가중치 및 상기 제2 가중치를 기초로 각 화소의 영상을 복원하는 단계를 포함하고,
    상기 제1 가중치를 계산하는 단계는,
    상기 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들의 크기와 가우시안 완화 필터 커널을 이용하여 상기 제1 가중치를 계산하는, 적응적인 비국부 평균 노이즈 제거 방법.
  2. 제1항에 있어서, 상기 제1 가중치를 계산하는 단계는,
    아래의 수학식을 이용하여 제1 가중치를 계산하고,
    Figure 112014123112942-pat00024

    여기서, w(i, j)는 화소 g(i)를 중심으로 하는 패치 N(i)와 화소 g(j)를 중심으로 하는 패치 N(j)와의 유사도를 표현하는 가중치 값을 나타내고, g는 원 영상, W는 화소 g(i)를 기준으로 하는 검색 영역, Ga는 가우시안 완화 필터 커널을 나타내고, P는 화소 g(i) 및 화소 g(j)를 중심으로 하는 패치의 크기를 나타내고, h는 가중치 함수의 매개 변수를 나타내는, 적응적인 비국부 평균 노이즈 제거 방법.
  3. 제2항에 있어서, 상기 입력 영상을 다운 스케일링하는 단계는,
    상기 입력 영상을 2q(여기서, q는 0보다 큰 유리수)배로 다운 스케일링하는, 적응적인 비국부 평균 노이즈 제거 방법.
  4. 제3항에 있어서, 상기 제2 가중치를 계산하는 단계는,
    아래의 수학식을 이용하여 제2 가중치를 계산하고,
    Figure 112014123112942-pat00025

    여기서,
    Figure 112014123112942-pat00026
    는 영상 g를 수평 및 수직 방향으로 2q배 다운 스케일링한 영상을 나타내는, 적응적인 비국부 평균 노이즈 제거 방법.
  5. 제4항에 있어서, 상기 각 화소의 영상을 복원하는 단계는,
    아래의 수학식을 이용하여 가중치를 계산하고,
    Figure 112014123112942-pat00027

    여기서,
    Figure 112014123112942-pat00028
    는 화소 g(i)에 대응하는 2q배 다운 스케일링한 영상의
    Figure 112014123112942-pat00029
    에 위치한 화소를 중심으로 하는 패치의 검색 영역을 의미하며,
    Figure 112014123112942-pat00030
    는 a보다 크지 않은 최대 자연수 값을 의미하는, 적응적인 비국부 평균 노이즈 제거 방법.
  6. 제1항 내지 제5항 중 어느 하나의 항에 따른 적응적인 비국부 평균 노이즈 제거 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  7. 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들 간의 유사도에 따른 제1 가중치를 계산하는 제1 가중치 계산부;
    상기 입력 영상을 다운 스케일링(Downscaling)하는 다운 스케일링부;
    다운 스케일링된 영상의 상기 검색 영역 내에서 패치들 간의 유사도에 따른 제2 가중치를 계산하는 제2 가중치 계산부; 및
    상기 제1 가중치 및 상기 제2 가중치를 기초로 각 화소의 영상을 복원하는 영상 복원부를 포함하고,
    상기 제1 가중치 계산부는,
    상기 입력 영상에서 일정 크기의 검색 영역 내에 존재하는 각 화소를 중심으로 하는 패치들의 크기와 가우시안 완화 필터 커널을 이용하여 상기 제1 가중치를 계산하는, 적응적인 비국부 평균 노이즈 제거 장치.
  8. 제7항에 있어서, 상기 제1 가중치 계산부는,
    아래의 수학식을 이용하여 제1 가중치를 계산하고,
    Figure 112014123112942-pat00031

    여기서, w(i, j)는 화소 g(i)를 중심으로 하는 패치 N(i)와 화소 g(j)를 중심으로 하는 패치 N(j)와의 유사도를 표현하는 가중치 값을 나타내고, g는 원 영상, W는 화소 g(i)를 기준으로 하는 검색 영역, Ga는 가우시안 완화 필터 커널을 나타내고, P는 화소 g(i) 및 화소 g(j)를 중심으로 하는 패치의 크기를 나타내고, h는 가중치 함수의 매개 변수를 나타내는, 적응적인 비국부 평균 노이즈 제거 장치.
  9. 제8항에 있어서, 상기 다운 스케일링부는,
    상기 입력 영상을 2q(여기서, q는 0보다 큰 유리수)배로 다운 스케일링하는, 적응적인 비국부 평균 노이즈 제거 장치.
  10. 제9항에 있어서, 상기 제2 가중치 계산부는,
    아래의 수학식을 이용하여 제2 가중치를 계산하고,
    Figure 112014123112942-pat00032

    여기서,
    Figure 112014123112942-pat00033
    는 영상 g를 수평 및 수직 방향으로 2q배 다운 스케일링한 영상을 나타내는, 적응적인 비국부 평균 노이즈 제거 장치.
  11. 제10항에 있어서, 상기 영상 복원부는,
    아래의 수학식을 이용하여 가중치를 계산하고,
    Figure 112014123112942-pat00034

    여기서,
    Figure 112014123112942-pat00035
    는 화소 g(i)에 대응하는 2q배 다운 스케일링한 영상의
    Figure 112014123112942-pat00036
    에 위치한 화소를 중심으로 하는 패치의 검색 영역을 의미하며,
    Figure 112014123112942-pat00037
    는 a보다 크지 않은 최대 자연수 값을 의미하는, 적응적인 비국부 평균 노이즈 제거 장치.
KR1020140183003A 2014-12-18 2014-12-18 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 KR101615122B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140183003A KR101615122B1 (ko) 2014-12-18 2014-12-18 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140183003A KR101615122B1 (ko) 2014-12-18 2014-12-18 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (1)

Publication Number Publication Date
KR101615122B1 true KR101615122B1 (ko) 2016-04-25

Family

ID=55918875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183003A KR101615122B1 (ko) 2014-12-18 2014-12-18 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR101615122B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776501B1 (ko) * 2016-05-23 2017-09-19 숭실대학교산학협력단 비국부 평균 알고리즘을 이용한 영상 잡음 제거 장치 및 방법
CN116385416A (zh) * 2023-04-11 2023-07-04 杭州三普机械有限公司 一种高速编织机智能控制方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179971A (ja) 2013-02-14 2014-09-25 Canon Inc 画像処理装置、画像処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179971A (ja) 2013-02-14 2014-09-25 Canon Inc 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박상욱, 강문기, "영상 잡음 제거를 위해 개선된 비지역적 평균 알고리즘", 전자공학회논문지 제48권 SP편 제1호, pp.46-53, 2011.01*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776501B1 (ko) * 2016-05-23 2017-09-19 숭실대학교산학협력단 비국부 평균 알고리즘을 이용한 영상 잡음 제거 장치 및 방법
CN116385416A (zh) * 2023-04-11 2023-07-04 杭州三普机械有限公司 一种高速编织机智能控制方法及系统
CN116385416B (zh) * 2023-04-11 2023-09-01 杭州三普机械有限公司 一种高速编织机智能控制方法及系统

Similar Documents

Publication Publication Date Title
US10339643B2 (en) Algorithm and device for image processing
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
EP2993642B1 (en) Method and apparatus for generating sharp image based on blurry image
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
US9965832B2 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN102147915B (zh) 一种权重的稀疏边缘正则化图像复原方法
CN108629744B (zh) 一种图像增强方法
KR101583155B1 (ko) 어안렌즈 영상 보정 방법 및 그 장치
KR101671391B1 (ko) 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2014070273A1 (en) Recursive conditional means image denoising
US20160267632A1 (en) Apparatus, system, and method for enhancing image data
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
Makwana et al. Single image super-resolution via iterative back projection based Canny edge detection and a Gabor filter prior
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
KR101615122B1 (ko) 적응적인 비국부 평균 노이즈 제거 방법, 이를 수행하기 위한 기록 매체 및 장치
Barzigar et al. A video super-resolution framework using SCoBeP
KR101661476B1 (ko) 비의도 움직임 완화 필터링 기반의 동영상 안정화 방법, 이를 수행하기 위한 기록매체 및 장치
Sadaka et al. Efficient super-resolution driven by saliency selectivity
KR101753365B1 (ko) Ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ 방법을 이용한 효율적인 영상 잡음 제거 방법 및 장치
KR101650897B1 (ko) 저해상도 컨텐츠를 위한 윈도우 사이즈 주밍 방법 및 그 장치
Lin et al. An iterative enhanced super-resolution system with edge-dominated interpolation and adaptive enhancements
Ansari et al. A Survey on Blurred Images with Restoration and Transformation Techniques
Barzigar et al. A robust super resolution method for video
Ravishankar et al. Image super resolution using sparse image and singular values as priors

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 4