KR101674078B1 - 블록 기반의 영상 잡음 제거 방법 및 장치 - Google Patents

블록 기반의 영상 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR101674078B1
KR101674078B1 KR1020090125701A KR20090125701A KR101674078B1 KR 101674078 B1 KR101674078 B1 KR 101674078B1 KR 1020090125701 A KR1020090125701 A KR 1020090125701A KR 20090125701 A KR20090125701 A KR 20090125701A KR 101674078 B1 KR101674078 B1 KR 101674078B1
Authority
KR
South Korea
Prior art keywords
block
current block
blocks
weight
similarity
Prior art date
Application number
KR1020090125701A
Other languages
English (en)
Other versions
KR20110068645A (ko
Inventor
신건식
김동현
이재헌
김상윤
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020090125701A priority Critical patent/KR101674078B1/ko
Priority to US12/913,909 priority patent/US8818126B2/en
Publication of KR20110068645A publication Critical patent/KR20110068645A/ko
Application granted granted Critical
Publication of KR101674078B1 publication Critical patent/KR101674078B1/ko

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

소정 크기의 블록들로 구획된 입력 영상의 블록들 중, 현재 블록을 위한 검색 범위 내의 참조 블록들 및 현재 블록 간의 유사도를 결정하고, 유사도에 기초하여 상기 현재 블록에 대한 참조 블록별 가중치를 결정하여, 입력 영상의 블록들마다, 참조 블록별 가중치에 기초하여 현재 블록의 잡음을 제거한 결과 블록을 생성하는 블록 기반의 영상 잡음 제거 방법이 개시된다.
잡음 제거, 그레인 잡음, 블로킹 현상

Description

블록 기반의 영상 잡음 제거 방법 및 장치{Method and apparatus for block-based image denoising}
본 발명의 이미지 및 비디오의 잡음 제거를 위한 영상 처리에 관한 것이다.
영상 잡음 제거를 위해 지역 선형 최소 평균 제곱 오차 방식(Local Linear Minimum Mean Square Error; LLMMSE) 기반의 필터와 바이래터럴 필터(bilateral filter)가 많이 이용된다. LLMMSE 기반의 필터 및 양방향 필터를 이용한 영상 잡음 제거 방식은, 픽셀 기반의 영상 처리 후 원본 픽셀 값이 필터링된 픽셀 값으로 갱신된다.
해상도 1920x1080의 FHD(Full High Definition)급 비디오가 상용화되고, 해상도 3840x2160 이상의 UD(Ultra Definition)급 비디오의 개발이 염두되고 있음에 따라, 고화질 영상 처리 및 실시간 영상 처리를 위한 영상 잡음 제거 처리의 고속화가 요구된다.
본 발명은 블록 기반의 영상 잡음 제거에 관한 것이다.
본 발명의 일 실시예에 따른 블록 기반의 영상 잡음 제거 방법은, 소정 크기의 블록들로 구획된 입력 영상의 블록들 중, 현재 블록을 위한 검색 범위 내의 참조 블록들 및 상기 현재 블록 간의 유사도를 결정하는 단계; 상기 유사도에 기초하여 상기 현재 블록에 대한 참조 블록별 가중치를 결정하는 단계; 및 상기 입력 영상의 블록들마다, 상기 참조 블록별 가중치에 기초하여 상기 현재 블록의 잡음을 제거한 결과 블록을 생성하는 단계를 포함한다.
일 실시예에 따른 상기 유사도 결정 단계는, 상기 현재 블록을 중심으로 하는 검색 범위 내에 위치한 상기 현재 블록의 주변 블록마다, 상기 현재 블록 및 상기 주변 블록 간의 유사도를 결정할 수 있다. 일 실시예에 따른 상기 유사도 결정 단계는, 상기 참조 블록 및 상기 현재 블록의 절대차합(Sum of Absolute Differences; SAD)을 결정할 수 있다.
일 실시예에 따른 상기 가중치 결정 단계는, 상기 참조 블록 및 상기 현재 블록의 절대차합에 대한 지수 함수값을 상기 참조 블록의 가중치로서 결정할 수 있다. 일 실시예에 따른 상기 가중치 변경 단계는, 상기 현재 블록의 참조 블록들의 가중 평균을 위한 정규화 전에, 소프트 임계 처리에 의해 상기 참조 블록별 가중치가 변경될 수 있다.
일 실시예에 따른 상기 가중치 결정 단계는, 상기 현재 블록 및 이웃 블록의 잡음을 제거한 결과 블록들 간의 경계 차이를 완화하기 위해 상기 참조 블록별 가 중치를 변경하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결과 블록 생성 단계는, 상기 현재 블록을 위한 결과 블록은, 상기 참조 블록들 및 상기 참조 블록별 가중치의 가중 평균에 의해 생성될 수 있다.
일 실시예에 따른 상기 블록 기반의 영상 잡음 제거 방법은, 상기 입력 영상의 컬러 채널별로 처리할 수 있다.
본 발명의 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치는, 소정 크기의 블록들로 구획된 입력 영상의 블록들 중, 현재 블록을 위한 검색 범위 내의 참조 블록들 및 상기 현재 블록 간의 유사도를 결정하는 유사도 결정부; 상기 유사도에 기초하여 상기 현재 블록에 대한 참조 블록별 가중치를 결정하는 가중치 결정부; 및 상기 입력 영상의 블록들마다, 상기 참조 블록별 가중치에 기초하여 상기 현재 블록의 잡음을 제거한 결과 블록을 생성하는 결과 블록 생성부를 포함한다.
일 실시예에 따른 상기 가중치 결정부는, 상기 현재 블록 및 이웃 블록의 잡음을 제거한 결과 블록들 간의 경계 차이를 완화하기 위해 상기 참조 블록별 가중치를 변경할 수 있다.
본 발명은, 일 실시예에 따른 블록 기반의 영상 잡음 제거 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
이하 도 1 내지 5를 참조하여, 본 발명의 일 실시예에 따라 블록 단위로 영상의 잡음 제거 장치 및 방법이 상술된다.
도 1 은 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치의 블록도를 도시한다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는 유사도 결정부(110), 가중치 결정부(120) 및 결과 블록 생성부(130)를 포함한다. 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는 입력 영상을 소정 크기의 블록들로 구획하여, 블록을 기반으로 하는 영상 처리를 수행한다.
일 실시예에 따른 유사도 결정부(110)는, 입력 영상의 블록들 중, 현재 블록과 참조 블록 간의 유사도를 결정한다.
일 실시예에 따른 유사도 결정부(110)에 의해 처리되는 현재 블록은, 상호 중첩되지 않도록 연속적으로 처리되는 블록들 중, 현재 처리되는 블록을 의미한다. 현재 블록의 참조 블록은, 현재 블록을 위한 검색 범위 내의 블록들 중 하나이며, 일 실시예에 따른 유사도 결정부(110)는 검색 범위 내의 적어도 하나의 참조 블록별로, 현재 블록에 대한 유사도를 각각 결정할 수 있다. 참조 블록들은, 검색 범위 안에서 상호 중첩되도록 선택될 수도 있다.
일 실시예에 따른 현재 블록을 위한 검색 범위는 현재 블록을 중심으로 하는 시간적 또는 공간적으로 인접한 영역을 포함할 수 있다. 또한, 검색 범위로서 원본 영상 중 일부 영역이 결정되거나, 이전에 잡음 제거된 블록들로 구성된 영상 중 일부 영역이 검색 범위로서 결정되어 다음 블록의 영상 잡음 제거에 재귀적으로 이용될 수도 있다. 이하, 설명의 편의를 위해 일 실시예에 따른 유사도 결정부(110)는, 입력된 원본 영상의 공간적 주변 영역을 검색 범위를 기반으로, 현재 블록 및 참조 블록 간의 유사도를 결정한다.
다만, 본 발명의 일 실시예에 따른 현재 블록의 검색 범위는, 현재 블록을 중심으로 하는 공간적 주변 영역에만 한정되는 것이 아니면, 당해 기술 분야에서 이해 가능한 시간적 또는 공간적으로 인접한 영역으로 넓게 해석될 수 있다.
일 실시예에 따른 유사도 결정부(110)는, 현재 블록 및 주변 블록 간의 유사도를 결정하기 위해, 참조 블록 및 현재 블록의 절대차합(Sum of Absolute Differences; SAD)을 이용할 수 있다.
일 실시예에 따른 유사도 결정부(110)에 의해 결정된 현재 블록에 대한 참조 블록별 유사도는 가중치 결정부(120)로 출력된다.
일 실시예에 따른 가중치 결정부(120)는, 유사도 결정부(110)로부터 입력된 현재 블록에 대한 참조 블록별 유사도에 기초하여, 현재 블록에 대한 참조 블록별 가중치를 결정한다.
일 실시예에 따른 가중치 결정부(120)는, 참조 블록 및 현재 블록의 절대차합에 대한 지수 함수값을 참조 블록의 가중치로서 결정할 수 있다.
일 실시예에 따른 가중치 결정부(120)는, 현재 블록 및 이웃 블록의 잡음을 제거한 결과 블록들 간의 경계 차이를 완화하기 위해, 참조 블록별 가중치를 부가적으로 변경할 수 있다. 예를 들어 현재 블록에 대한 참조 블록들의 가중 평균을 위한 정규화 이전에, 가중치 결정부(120)는 소프트 임계 처리를 통해 참고 블록별 가중치를 변경할 수 있다. 이때 소프트 임계 처리를 위한 임계치는 현재 블록 및 이웃 블록들의 평균 휘도를 고려하여 결정될 수 있다.
일 실시예에 따른 가중치 결정부(120)에 의해 결정된 현재 블록에 대한 참조 블록별 가중치는 결과 블록 생성부(130)로 출력된다.
일 실시예에 따른 결과 블록 생성부(130)는, 가중치 결정부(120)로부터 입력된 참조 블록별 가중치에 기초하여, 입력 영상의 블록들마다 현재 블록의 잡음을 제거한 결과 블록을 생성한다. 이때 결과 블록 생성부(130)에 의해 처리되는 결과 블록들은, 현재 블록에 대해 일대일로 대응되므로 현재 블록과 마찬가지로 다른 결과 블록들과 중첩되지 않는다.
일 실시예에 따른 결과 블록 생성부(130)는, 현재 블록에 대한 참조 블록들 및 참조 블록별 가중치의 가중 평균에 의해, 현재 블록의 잡음이 제거된 결과 블록을 생성하여 출력할 수 있다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는, 입력 영상의 컬러 채널별로 잡음 제거 처리를 수행할 수 있다. 예를 들어, YCbCr 컬러 방식의 입력 영상에 대한 잡음 제거 처리를 위해, 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는 Y 채널 뿐만 아니라 Cb 채널 및 Cr 채널에 대해서도 일 실시예에 따른 블록 기반의 영상 잡음 제거 처리를 수행할 수 있다. 또한 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는, RGB 컬러 방식의 입력 영상에 대한 잡음 제거 처리를 위해, R 채널, G 채널 및 B 채널 각각에 대해 일 실시예에 따른 블록 기반의 영상 잡음 제거 처리를 수행할 수 있다.
일 실시예에 따른 결과 블록 생성부(130)에 의해 생성된 결과 블록들로 구성된 결과 영상은, 블록 기반의 영상 처리에 의해 연산량이 감소되며 잡음이 효과적 으로 제거될 수 있다. 또한, 가중치의 소프트 임계 처리를 통해, 결과 블록들 간의 경계에서 발생할 수 있는 블록킹 현상이 효과적으로 완화될 수 있다.
도 2 는 픽셀 기반의 유사도 결정과 블록 기반의 유사도 결정 방법을 비교한다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)의 유사도 결정부(110) 및 가중치 결정부(120)는 현재 블록에 대한 참조 블록의 유사도 및 가중치를 결정한다. 참조 영상 정보로서 공간적으로 주변 영상 정보가 이용되는 경우를 예로 들면, 픽셀 단위로 영상 처리를 하는 경우, 현재 픽셀(210) 및 주변 픽셀(220) 간의 유사도가 측정되고 그에 따른 가중치가 결정될 수 있다.
이에 비해 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)의 유사도 결정부(110) 및 가중치 결정부(120)는, 현재 블록(215)에 대한 주변 블록(225) 간의 유사도에 기초하여 현재 블록(215)에 대한 주변 블록(225)의 가중치를 결정한다.
도 3 은 픽셀 기반의 갱신과 블록 기반의 갱신 방법을 비교한다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)의 결과 블록 생성부(130)는, 현재 블록의 잡음이 제거된 결과 블록을 블록 단위로 출력한다. 픽셀 기반의 영상 처리의 경우, 현재 픽셀(310)은 현재 픽셀(310)에 대해 잡음 제거 처리가 된 결과 픽셀(320)로 갱신될 수 있다. 이에 비해 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)의 결과 블록 생성부(130)는, 현재 블록(315)을 현재 블록(315)의 잡음이 제거된 결과 블록(325)로 갱신한다.
도 2 및 도 3을 참조하여 전술된 바와 같이, 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는, 유사도, 가중치 결정 및 잡음 제거된 결과 블록의 생성 동작을 모두 블록 기반으로 처리함으로써, 픽셀 기반의 영상 잡음 처리에 비해 정확한 에지(edge) 영역 및 텍스처(texture) 영역을 검출할 수 있으며, 결과적으로 영상 신호의 훼손이 감소될 수 있다.
따라서, 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는, 픽셀 기반의 영상 잡음 제거 처리에 비해, 에지 영역이나 텍스처 영역와 같이 다수의 픽셀들을 포함하는 영역에 대한 영상 처리하는 경우에도, 시각적으로 픽셀들이 자연스럽게 연결되도록 처리할 수 있다.
또한, 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는, 필름 그레인 잡음(film grain noise) 또는 영상 확대 및 축소에 의한 잡음(scaled noise)과 같이 다수의 픽셀에 걸쳐 있는 잡음에 대하여, 잡음의 크기보다 큰 블록을 이용함으로써 잡음을 효과적으로 제거할 수 있다. 또한, 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는 블록 기반의 영상 처리이므로 픽셀 기반의 영상 처리에 비해 연산량이 감소시킬 수 있다.
도 4 는 일 실시예에 따른 가중치 결정 방법을 도시한다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)의 결과 블록 생성부(130)는 현재 블록에 대한 참조 블록들의 가중 평균을 결정할 때, 참조 블록별 가중치들의 합이 1이 되도록 정규화를 수행한다. 다만, 현재 블록 및 참조 블록 간의 휘도 등 영상 특성들의 차이에 의해, 결과 블록들 간의 경계에 블로킹 현상이 발생할 수 있다. 예를 들어, 가중 평균을 위한 가중치의 정규화 이후, 원본 블록들 중 작은 휘도를 갖는 블록들에 대한 잡음 제거 처리 후, 처리 전후의 휘도 변동폭이 상대적으로 커지면서, 블록마다 잡음 제거 레벨이 달라지기 때문이다.
따라서 결과 블록들 간의 경계에 대한 블로킹 현상의 방지를 위해, 가중 평균을 위한 정규화가 수행되기 이전에 일 실시예에 따른 가중치 결정부(120)는 참조 블록별 가중치를 조절할 수 있다. 이하 도 4를 참조하여 일 실시예에 따른 가중치 결정부(120)의 가중치 결정 방법을 설명한다.
각각의 그래프(400, 480, 490)는, 가로축은 픽셀 위치, 세로축은 가중치의 크기를 나타낸다. 그래프(400, 480, 490)는 단계별 픽셀 위치에 대한 가중치의 크기를 나타낸다. 도 4를 참조로 한 설명의 편의를 위해, 공간적으로 현재 블록에 인접하는 영역이 검색 범위로 선택되고, 참조 블록은 현재 블록에 인접하는 영역 중에 위치한 주변 블록들 중 하나로 선택되는 경우를 상정한다.
제 1 그래프(400)는 일 실시예에 따른 가중치 결정부(120)에 의해 결정된 최초 가중치를 나타낸다. 공간적으로 현재 블록을 중심으로 하는 검색 범위에 포함되는 블록들에 대해, 현재 블록에 대한 최초 가중치(410) 및 주변 블록들에 대한 최초 가중치들(420, 430, 440, 450, 460, 470)들이 결정될 수 있다.
일 실시예에 따른 가중치 결정부(120)는 아래 수학식 1에 따라 최초 가중치를 결정할 수 있다.
Figure 112009077930256-pat00001
M이 0보다 큰 정수일 때, M개의 블록을 포함하는 검색 범위 내에서, i번째 블록은 현재 블록, m번째 블록은 주변 블록을 나타낸다. i 및 m은 0보다 크고 M보다 작거나 같은 정수이다.
Figure 112009077930256-pat00002
는 현재 블록
Figure 112009077930256-pat00003
을 나타내는 벡터,
Figure 112009077930256-pat00004
은 m번째 주변 블록
Figure 112009077930256-pat00005
을 나타내는 벡터를 나타낸다.
함수
Figure 112009077930256-pat00006
는 입력에 대한 절대차합(Sum of Absoulte Difference; SAD)을 출력하며, 현재 블록 및 주변 블록 간의 유사도를 나타낸다.
Figure 112009077930256-pat00007
는 분산값을 나타낸다. 일 실시예에 따른 가중치 결정부(120)는 현재 블록 및 주변 블록에 대해 측정된 분산값을 이용하거나, 고정된 분산값을 이용할 수도 있다.
일 실시예에 따른 가중치 결정부(120)는, 현재 블록 및 주변 블록 간의 유사도 및 분산값을 입력으로 하는 지수 함수를 이용하여, 가우스 곡선 함수의 형태를 따르는, 현재 블록에 대한 주변 블록의 가중치를 결정할 수 있다. 결과적으로, 일 실시예에 따른 가중치 결정부(120)는,
Figure 112009077930256-pat00008
를 i번째 현재 블록에 대한 m번째 주변 블록의 최초 가중치로서 결정될 수 있다.
제 2 그래프(480)은, 일 실시예에 따른 가중치 결정부(120)의 소프트 임계 처리를 통해 조절된 가중치들을 도시한다. 일 실시예에 따른 가중치 결정부(120)는, 최초 가중치들(410, 420, 430, 440, 450, 460, 470)에 대한 소프트 임계 처리를 통해 가중치를 조절할 수 있다. 구체적으로 소프트 임계 처리는 수학식 2에 따른다.
Figure 112009077930256-pat00009
함수
Figure 112009077930256-pat00010
는 소프트 임계 처리 함수이며, 수학식 2에 따라 정의된다. 즉, 가중치
Figure 112009077930256-pat00011
및 임계치
Figure 112009077930256-pat00012
를 입력으로 하는 함수
Figure 112009077930256-pat00013
의 소프트 임계 처리를 통해, 임계치
Figure 112009077930256-pat00014
보다 작은 최초 가중치들(420, 430, 440, 460, 470)에 대해서는 중간 가중치 0이 결정되고, 임계치
Figure 112009077930256-pat00015
보다 큰 최초 가중치들(410, 450)에 대해서만 임계치
Figure 112009077930256-pat00016
만큼 감산된 결과
Figure 112009077930256-pat00017
가 중간 가중치(412, 452)로서 결정될 수 있다.
또한, 제 3 그래프(490)는 정규화된 최종 가중치들을 도시한다. 즉, 소프트 임계 처리를 통해 생성된 중간 가중치들에 대해 정규화를 수행함으로써, 현재 블록에 대한 검색 범위 내의 주변 블록들 중, 주변 블록별 최종 가중치들이 결정될 수 있다. 제 3 그래프(490)에 따르면, 0이 아닌 중간 가중치(412, 452)에 대해서만 유효한 값을 갖는 최종 가중치(415, 455)가 결정될 수 있다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)의 결과 블록 생성부(130)는, 가중치 결정부(120)에 의해 결정된 현재 블록에 대한 주변 블록별 최종 가중치들 및 주변 블록들의 가중 평균을 산출함으로써, 현재 블록의 잡음이 제거된 결과 블록을 생성할 수 있다. 이상 일 실시예에 따른 결과 블록 생성부(130)의 결과 블록 생성 동작은 이하 수학식 3을 따를 수 있다.
Figure 112009077930256-pat00018
Figure 112009077930256-pat00019
는 현재 블록을 위한 검색 범위를 나타내며,
Figure 112009077930256-pat00020
는 가중치의 합을 1로 유지하기 위한 정규화 인수이다. 따라서, 결과 블록들 간 경계의 블로킹 현상을 방지하기 위한 가중치
Figure 112009077930256-pat00021
를 이용하여, 현재 블록
Figure 112009077930256-pat00022
에 대해 잡음이 제거된 결과 블록
Figure 112009077930256-pat00023
는 검색 범위
Figure 112009077930256-pat00024
내의 주변 블록
Figure 112009077930256-pat00025
들에 대한 가중 평균 을 통해 결정될 수 있다.
일 실시예에 따른 가중치 결정부(120)는, 결과 블록 간 경계의 블로킹 현상을 방지하기 위한 가중치 조절 동작을 선택적으로 수행할 수 있다. 따라서, 가중치 결정부(120)가 블로킹 현상 방지를 위한 가중치 조절을 수행하지 않은채 결정된 가중치를 이용하여, 결과 블록 생성부(130)는 수학식 4에 따라 결과 블록을 결정할 수도 있다.
Figure 112009077930256-pat00026
따라서, 현재 블록 및 주변 블록 간의 유사도에 기초하여 결정된 최초 가중치
Figure 112009077930256-pat00027
및 주변 블록
Figure 112009077930256-pat00028
간의 가중 평균을 통해, 결과 블록들 간 경계의 블로킹 현상을 고려하지 않고 영상 잡음을 제거한 결과 블록
Figure 112009077930256-pat00029
이 생성될 수 있다.
동일한 영상 정보에 잡음이 존재하는 경우, 잡음이 있는 영상 신호의 평균값은 영상 신호의 평균값 그대로 유지되고, 잡음의 평균은 항상 0이 되므로, 영상 잡음이 효과적으로 제거되기 위해서는 블록 크기가 통계적으로 소정 크기 이상인 것이 바람직하다.
따라서, 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는, 소정 크기의 블록을 기반으로 하며, 현재 블록 및 참조 블록 간의 유사도를 온/오프(on/off) 방식으로 구별하지 않고 가중치를 이용하여 구별하므로, 가중치를 이용한 영상 처리는 인위적이지 않고 자연스럽게 영상 잡음을 제거할 수 있다.
일 실시예에 따른 블록 기반의 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는 픽셀 기반의 영상 처리에 비해 그레인 잡음 제거에 효과적이다. 또한, 일 실시예에 따른 블록 기반의 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치(100)는 크게 어긋난 계단 현상이 발생한 영역에 대해서는 에지로 간주하여 잡음 제거 처리를 수행하지 않으며, 실제 에지 부근에 작게 어긋난 계단 현상이 발생한 영역에 대해서는 잡음 제거 처리를 수행하여, 시각적으로 자연스럽게 연결되는 에지가 생성될 수 있다.
도 5 는 일 실시예에 따른 블록 기반의 영상 잡음 제거 방법의 흐름도를 도시한다.
단계 510에서, 소정 크기의 블록들로 구획된 입력 영상의 블록들 중, 현재 블록을 위한 검색 범위 내의 참조 블록들 및 현재 블록 간의 유사도가 결정된다. 참조 블록 및 현재 블록 간의 유사도는, 참조 블록의 평균값 및 현재 블록의 평균값 간의 절대차를 통해 산출될 수 있다.
단계 520에서, 유사도에 기초하여 현재 블록에 대한 참조 블록별 가중치가 결정된다. 참조 블록별 가중치는, 참조 블록별 유사도에 대한 지수 함수값에 비례할 수 있다.
또한, 현재 블록 및 이웃 블록의 잡음을 제거한 결과 블록들 간의 경계 차이 를 완화하기 위해, 참조 블록별 가중치가 변경될 수 있다. 일 실시예에 따르면 소프트 임계 처리를 통해 참조 블록별 가중치가 조절될 수 있다.
단계 530에서, 입력 영상의 블록들마다, 참조 블록별 가중치에 기초하여 현재 블록의 잡음을 제거한 결과 블록이 생성된다. 검색 범위 내의 참조 블록들에 대한 참조 블록별 가중치 및 참조 블록 간의 가중 평균을 통해, 현재 블록에 대해 잡음이 제거된 결과 블록이 생성될 수 있다.
일 실시예에 따른 블록 기반의 영상 잡음 제거 방법은, 상호 중첩되지 않는 현재 블록에 대한 영상 처리를 통해, 블록별로 잡음 제거된 결과 블록을 생성하므로, 블록 기반의 유사도에 기초한 블록 기반의 잡음 제거 처리가 가능하다. 따라서, 일 실시예에 따르면 픽셀 기반의 잡음 제거 처리에 비해 시각적으로 주변 영상 정보와 자연되도록 잡음이 제거된 영상이 생성될 수 있고, 블록 단위로 연산되므로 픽셀 기반의 영상 처리에 비해 연산 속도가 향상될 수 있다.
또한, 현재 블록 및 주변 블록 간의 영상 특성을 고려하여 영상 잡음을 제거함으로써 블록 기반의 영상 처리를 통해 발생할 수 있는 블로킹 현상을 방지할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 일 실시예에 따른 블록 기반의 영상 잡음 제거 장치의 블록도를 도시한다.
도 2 는 픽셀 기반의 유사도 결정과 블록 기반의 유사도 결정 방법을 비교한다.
도 3 은 픽셀 기반의 갱신과 블록 기반의 갱신 방법을 비교한다.
도 4 는 일 실시예에 따른 가중치 결정 방법을 도시한다.
도 5 는 일 실시예에 따른 블록 기반의 영상 잡음 제거 방법의 흐름도를 도시한다.

Claims (17)

  1. 소정 크기의 블록들로 구획된 입력 영상의 블록들 중, 현재 블록을 위한 검색 범위 내의 참조 블록들 및 상기 현재 블록 간의 유사도를 결정하는 단계;
    상기 유사도에 기초하여 상기 현재 블록에 대한 참조 블록별 중간 가중치를 결정하는 단계;
    상기 결정된 참조 블록별 중간 가중치에 대해 상기 현재 블록 및 이웃 블록들의 평균 휘도를 이용하여 결정되는 임계값에 기초한 소프트 임계 처리에 의해 상기 참조 블록별 최종 가중치를 결정하는 단계; 및
    상기 입력 영상의 블록들마다, 상기 참조 블록별 최종 가중치에 기초하여 상기 현재 블록의 잡음을 제거한 결과 블록을 생성하는 단계를 포함하고,
    상기 입력 영상의 블록은 상기 입력 영상의 블록들 중 하나로서 상호 중첩되지 않도록 연속적으로 처리되는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  2. 제 1 항에 있어서, 상기 최종 가중치는,
    상기 최종 가중치를 이용하여 결정된 결과 블록들 간의 경계 차이가 완화되도록 결정되는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  3. 제 1 항에 있어서, 상기 유사도 결정 단계는,
    상기 현재 블록을 중심으로 하는 검색 범위 내에 위치한 상기 현재 블록의 주변 블록마다, 상기 현재 블록 및 상기 주변 블록 간의 유사도를 결정하는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  4. 제 1 항에 있어서, 상기 유사도 결정 단계는,
    상기 참조 블록 및 상기 현재 블록의 절대차합(Sum of Absolute Differences; SAD)을 결정하는 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  5. 제 4 항에 있어서, 상기 중간 가중치 결정 단계는,
    상기 참조 블록 및 상기 현재 블록의 절대차합에 대한 지수 함수값을 상기 참조 블록의 중간 가중치로서 결정하는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 결과 블록 생성 단계는,
    상기 현재 블록을 위한 결과 블록은, 상기 참조 블록들 및 상기 참조 블록별 최종 가중치의 가중 평균에 의해 생성되는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  8. 제 1 항에 있어서, 상기 블록 기반의 영상 잡음 제거 방법은,
    상기 입력 영상의 컬러 채널별로 처리하는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 방법.
  9. 소정 크기의 블록들로 구획된 입력 영상의 블록들 중, 현재 블록을 위한 검색 범위 내의 참조 블록들 및 상기 현재 블록 간의 유사도를 결정하는 유사도 결정부;
    상기 유사도에 기초하여 상기 현재 블록에 대한 참조 블록별 중간 가중치를 결정하고, 상기 결정된 참조 블록별 중간 가중치에 대해 상기 현재 블록 및 이웃 블록들의 평균 휘도를 이용하여 결정되는 임계값에 기초한 소프트 임계 처리에 의해 상기 참조 블록별 최종 가중치를 결정하는 가중치 결정부; 및
    상기 입력 영상의 블록들마다, 상기 참조 블록별 최종 가중치에 기초하여 상기 현재 블록의 잡음을 제거한 결과 블록을 생성하는 결과 블록 생성부를 포함하고,
    상기 현재 블록은 상기 입력 영상의 블록들 중 하나로서 상호 중첩되지 않도록 연속적으로 처리되는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  10. 제 9 항에 있어서, 상기 최종 가중치는,
    상기 최종 가중치를 이용하여 결정된 결과 블록들 간의 경계 차이가 완화되도록 결정되는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  11. 제 9 항에 있어서, 상기 유사도 결정부는,
    상기 현재 블록을 중심으로 하는 검색 범위 내에 위치한 상기 현재 블록의 주변 블록마다, 상기 현재 블록 및 상기 주변 블록 간의 유사도를 결정하는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  12. 제 9 항에 있어서, 상기 유사도 결정부는,
    상기 참조 블록 및 상기 현재 블록의 절대차합을 결정하는 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  13. 제 12 항에 있어서, 상기 가중치 결정부는,
    상기 참조 블록 및 상기 현재 블록의 절대차합에 대한 지수 함수값을 상기 참조 블록의 중간 가중치로서 결정하는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  14. 삭제
  15. 제 9 항에 있어서, 상기 결과 블록 생성부는,
    상기 현재 블록을 위한 결과 블록은, 상기 참조 블록들 및 상기 참조 블록별 최종 가중치의 가중 평균에 의해 생성되는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  16. 제 9 항에 있어서, 상기 블록 기반의 영상 잡음 제거 장치는,
    상기 입력 영상의 컬러 채널별로 처리하는 것을 특징으로 하는 블록 기반의 영상 잡음 제거 장치.
  17. 제 1 항 내지 제 5 항, 제 7 항 및 제 8 항 중 어느 한 항의 블록 기반의 영상 잡음 제거 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020090125701A 2009-12-16 2009-12-16 블록 기반의 영상 잡음 제거 방법 및 장치 KR101674078B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090125701A KR101674078B1 (ko) 2009-12-16 2009-12-16 블록 기반의 영상 잡음 제거 방법 및 장치
US12/913,909 US8818126B2 (en) 2009-12-16 2010-10-28 Method and apparatus for block-based image denoising

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090125701A KR101674078B1 (ko) 2009-12-16 2009-12-16 블록 기반의 영상 잡음 제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110068645A KR20110068645A (ko) 2011-06-22
KR101674078B1 true KR101674078B1 (ko) 2016-11-08

Family

ID=44142996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090125701A KR101674078B1 (ko) 2009-12-16 2009-12-16 블록 기반의 영상 잡음 제거 방법 및 장치

Country Status (2)

Country Link
US (1) US8818126B2 (ko)
KR (1) KR101674078B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201136298A (en) * 2010-04-12 2011-10-16 Novatek Microelectronics Corp Filter and filtering method for reducing image noise
KR101910870B1 (ko) 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP6625165B2 (ja) 2013-02-14 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6362333B2 (ja) 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
TWI514854B (zh) * 2013-03-29 2015-12-21 Univ Nat Yunlin Sci & Tech Establishment of Adjustable Block - based Background Model and Real - time Image Object Detection
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US9489720B2 (en) * 2014-09-23 2016-11-08 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
CN107615331B (zh) 2015-05-15 2021-03-02 深圳市大疆创新科技有限公司 用于支持基于邻域块降维的图像去噪的系统和方法
KR20170107252A (ko) * 2016-03-15 2017-09-25 삼성전자주식회사 이미지 데이터의 노이즈 제거 방법
CN105678718B (zh) * 2016-03-29 2019-11-15 努比亚技术有限公司 图像去噪方法和装置
US10043252B2 (en) 2016-06-14 2018-08-07 Intel Corporation Adaptive filtering with weight analysis
JP6870993B2 (ja) * 2017-01-20 2021-05-12 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置
CN109886213B (zh) * 2019-02-25 2021-01-08 湖北亿咖通科技有限公司 疲劳状态判断方法、电子设备及计算机可读存储介质
CN113014825B (zh) * 2021-01-22 2022-11-22 浙江大华技术股份有限公司 图像亮度调整方法、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
WO2004002135A1 (ja) * 2002-06-25 2003-12-31 Matsushita Electric Industrial Co., Ltd. 動き検出装置及びそれを用いたノイズリダクション装置
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
KR100672592B1 (ko) * 2005-01-14 2007-01-24 엘지전자 주식회사 디스플레이 장치의 영상 보상장치 및 보상방법
GB2422975B (en) * 2005-02-08 2007-12-12 Imagination Tech Ltd Conversion of video data from interlaced to non-interlaced format
KR100800888B1 (ko) * 2005-12-08 2008-02-04 연세대학교 산학협력단 패턴 정보를 이용한 영상잡음 제거방법
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US7925113B2 (en) * 2007-04-27 2011-04-12 Hewlett-Packard Development Company, L.P. Generating compound images having increased sharpness and reduced noise
US20080285868A1 (en) * 2007-05-17 2008-11-20 Barinder Singh Rai Simple Adaptive Wavelet Thresholding
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
KR101338612B1 (ko) 2007-08-08 2013-12-06 엘지디스플레이 주식회사 영상 노이즈 제거장치 및 제거방법, 이를 구비한액정표시장치
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
EP2232873B1 (en) * 2007-12-19 2012-03-21 Dolby Laboratories Licensing Corporation Adaptive motion estimation
US8855213B2 (en) * 2009-03-26 2014-10-07 Apple Inc. Restore filter for restoring preprocessed video image
US8508668B2 (en) * 2009-09-15 2013-08-13 Broadcom Corporation Method and system for utilizing non-local means (NLM) for separation of luma (Y) and chroma (CbCr) components

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Buades ET AL, 2005. CVPR 2005. IEEE Computer Society Conference on, 2005.06.20-25, VOL.2, 60 - 65P*
Donoho, Information Theory, IEEE Transactions on, 1995.05., Volume:41, Issue: 3, 613 - 627*
Pierrick Coupe ET AL., APRIL 2008, IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 27, NO. 4, 425 - 441

Also Published As

Publication number Publication date
US8818126B2 (en) 2014-08-26
KR20110068645A (ko) 2011-06-22
US20110142368A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
KR101674078B1 (ko) 블록 기반의 영상 잡음 제거 방법 및 장치
KR101108435B1 (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
KR100687645B1 (ko) 움직임 검출 장치 및 그것을 이용한 잡음 제거 장치
KR101327789B1 (ko) 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
JP2011041276A (ja) ぶれ補正方法、ぶれ補正装置およびコンピューター読み取り可能な媒体
KR20070118755A (ko) 의사 윤곽 제거 방법 및 그 장치
KR101031153B1 (ko) 신호 처리 장치 및 방법
KR101984173B1 (ko) 비디오의 잡음 제거 방법 및 장치
US20140205202A1 (en) Noise reduction apparatus, noise reduction method, and program
Dar et al. An enhanced adaptive histogram equalization based local contrast preserving technique for HDR images
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
KR101517233B1 (ko) 움직임 추정을 이용한 잡음 제거장치
CN101141655A (zh) 影像信号像素点色彩值调整方法
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
JP2005149266A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4277550B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
KR101024818B1 (ko) 오차 확산법을 이용한 영상 처리 장치
KR101007840B1 (ko) 신호 처리 장치 및 방법, 기록 매체
JPH08265572A (ja) 画像処理装置
Hong et al. The histogram processing algorithm for vehicle camera image pixel contrast improving

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant