KR101551568B1 - 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치 - Google Patents

가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR101551568B1
KR101551568B1 KR1020140041426A KR20140041426A KR101551568B1 KR 101551568 B1 KR101551568 B1 KR 101551568B1 KR 1020140041426 A KR1020140041426 A KR 1020140041426A KR 20140041426 A KR20140041426 A KR 20140041426A KR 101551568 B1 KR101551568 B1 KR 101551568B1
Authority
KR
South Korea
Prior art keywords
block
size block
variable
size
blocks
Prior art date
Application number
KR1020140041426A
Other languages
English (en)
Inventor
강청희
이도경
최창렬
정제창
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140041426A priority Critical patent/KR101551568B1/ko
Application granted granted Critical
Publication of KR101551568B1 publication Critical patent/KR101551568B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

가변 크기 블록을 이용한 후처리를 통하여 영상에서 잡음을 제거하는 방법 및 장치가 개시된다. 가변 크기 블록을 이용한 영상 잡음 제거 방법은, 입력 영상에 초기 크기 블록을 설정하는 단계와, 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성하는 단계와, 히스토그램에 기반하여 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계와, 참조 영상에서 초기 크기 블록에 상응하는 참조 패치와 블록 군집에 포함된 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거하는 단계를 포함한다. 따라서, 영상의 휘도값의 상관 관계에 따라 블록의 크기를 가변적으로 변화시켜 블록 정합을 수행할 수 있으며, 이를 통하여 고해상도 영상에 포함된 영상 잡음을 효과적으로 제거할 수 있다.

Description

가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치{METHOD AND APPARATUS FOR REDUCING IMAGE NOISE USING VARIABLE SIZE BLOCK}
본 발명은 영상 잡음 제거에 관한 것으로, 더욱 상세하게는 가변 크기 블록을 이용한 후처리를 통하여 영상에서 잡음을 제거하는 방법 및 장치에 관한 것이다.
디지털 영상 입력을 위한 이미지 센서의 제작 기술의 발달로 DSLR(Digital Single-lens Reflex Camera)과 같은 고가의 디지털 카메라가 점차 보편화되고 있으며, 스마트폰 등의 모바일 멀티미디어 기기에도 고해상도의 디지털 카메라 모듈이 일반적으로 적용되고 있다.
또한, 디지털 영상의 해상도 증가와 함께 깨끗하고 선명한 디지털 영상에 대한 요구가 증가하고 있다.
그러나, 이미지 센서가 소형화되고 해상도가 늘어남에 따라 디지털 영상 입력 과정에서는 더 많은 열화 잡음이 발생할 가능성이 커졌다.
상세하게는, 디지털 영상에서의 잡음은 보통 저조도 환경, 느린 셔터 스피드, 또는 높은 감도 모드 등으로 인하여 발생한다.
디지털 카메라로 사진을 찍을 때, 내장되어 있는 촬상 소자(예컨대, CCD (Charged-Coupled Device)와 CMOS(Complementary Metal Oxide Semiconductor))는 각 픽셀의 광량을 측정하기 위한 수많은 픽셀들로 이루어져 있고, 이러한 픽셀들의 배열로 영상을 나타내게 된다.
다만, 다른 많은 촬상 소자들이 그러하듯이, CCD도 완벽하지 않기 때문에 잡음(대표적으로, 백색 잡음)을 포함한 영상을 촬영하게 된다. 대부분의 경우에 빛은 잡음보다 강하게 비추지만, 조도가 매우 낮은 환경이나, 감도를 매우 높여서 촬영해야 하는 경우에, 실제 광량보다 더 많은 잡음 데이터를 포함하여 픽셀 값이 결정될 수 있기 때문에 잡음의 정도가 심해질 수 있다.
또한, 셔터 스피드가 느린 경우는 픽셀 당 CCD가 빛을 더욱 많이 축적함에 따라, 실제로 측정되는 빛만큼 또는 그 이상의 잡음을 포함하는 픽셀로 인하여 영상에 잡음이 발생한다.
마찬가지로, 디지털 카메라에서 CCD가 빛을 받아들일 때 빛에 대한 반응을 의미하는 감도가 높은 경우에도, CCD 센서가 빛에 대하여 뿐만 아니라, 잡음 자체에 대하여도 민감하게 반응하기 때문에 영상에 잡음을 포함할 확률이 높아진다.
이 외에도, 외부 환경으로부터의 간섭, 아날로그 또는 디지털 및 유/무선 전송에 의한 간섭으로 인하여 영상의 잡음이 발생할 수도 있다.
이러한 영상에 발생하는 잡음을 제거하기 위한 기술로, 블록 정합을 수행하여 영상 잡음을 제거하는 기술(Block Matching 3D Filtering, BM3D)이 제안되고 있다.
그러나, 종래의 블록 정합을 수행하여 영상 잡음을 제거하는 기술은 고정된 크기의 블록을 이용하여 블록 정합을 수행하기 때문에 고해상도의 영상에 적용하는데 한계점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 고해상도 영상에 포함된 영상 잡음을 효과적으로 제거할 수 있는 블록 정합에 기반한 영상 처리 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 고해상도 영상에 포함된 영상 잡음을 효과적으로 제거할 수 있는 블록 정합에 기반한 영상 처리 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 가변 크기 블록을 이용한 영상 잡음 제거 방법은, 입력 영상에 초기 크기 블록을 설정하는 단계와, 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성하는 단계와, 히스토그램에 기반하여 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계와, 참조 영상에서 초기 크기 블록에 상응하는 참조 패치와 블록 군집에 포함된 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거하는 단계를 포함한다.
여기에서, 상기 초기 크기 블록은, 16×16 사이즈를 가질 수 있다.
여기에서, 상기 히스토그램은, 초기 크기 블록을 소정의 블록들로 나눈 후, 소정의 블록들 각각의 휘도값의 평균 및 분산을 산출하여 생성될 수 있다.
여기에서, 상기 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계는, 소정의 블록들 각각의 휘도값에 대한 분산이 미리 설정된 임계값보다 작거나, 소정의 블록들의 각각이 최소 크기 블록이 될 때까지 초기 크기 블록을 상기 적어도 하나의 가변 크기 블록으로 분할할 수 있다.
여기에서, 상기 최소 크기 블록은, 4×4 사이즈를 가질 수 있다.
여기에서, 상기 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계는, 소정의 블록이 정사각형인 경우, 소정의 블록을 가로 또는 세로로 분할하고, 분할된 블록의 휘도값의 평균을 비교하여 소정의 블록을 가로 또는 세로의 분할을 결정할 수 있다.
여기에서, 상기 영상 잡음을 제거하는 단계는, 임계값 처리 및 위너 필터(Wiener filter)를 적용하여 수행될 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 가변 크기 블록을 이용한 영상 잡음 제거 장치는, 입력 영상에 초기 크기 블록을 설정하고, 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성하는 히스토그램 생성부와, 히스토그램에 기반하여 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 블록 분할부와, 참조 영상에서 초기 크기 블록에 상응하는 참조 패치와 블록 군집에 포함된 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거하는 영상 잡음 제거부를 포함한다.
상기와 같은 본 발명에 따른 영상 잡음 제거 방법 및 장치는 블록 내의 영상의 휘도값의 상관 관계에 따라 블록의 크기를 가변적으로 변화시켜 블록 정합을 수행할 수 있으며, 이를 통하여 고해상도 영상에 포함된 영상 잡음을 효과적으로 제거할 수 있다.
또한, 휘도값의 변화가 많지 않은 비교적 넓은 영역을 한 번에 군집화하여 처리할 수 있을 뿐만 아니라, 휘도값의 변화가 많은 영역에 대하여도 섬세하게 처리하여 에지 성분을 잘 보존하면서 영상 잡음을 제거할 수 있다.
도 1은 블록 매칭을 수행하여 영상 잡음을 제거하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시예에 따라 가변 크기 블록으로 분할되는 영상을 설명하기 위한 예시도이다.
도 3은 본 발명의 실시예에 따라 분할된 가변 크기 블록의 휘도값의 분포를 나타내는 히스토그램이다.
도 4는 본 발명의 실시예에 따라 영상을 가변 크기 블록으로 분할하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따라 초기 블록이 분할되지 않은 경우를 나타낸다.
도6은 본 발명의 실시예에 따라 초기 블록이 수직 방향으로 분할된 경우를 나타낸다.
도 7은 본 발명의 실시예에 따라 초기 블록이 수평 방향으로 분할된 경우를 나타낸다.
도 8은 본 발명의 실시예에 따른 가변 크기 블록을 이용한 영상 잡음 제거 장치(900)를 설명하기 위한 블록도이다.
도 9는 본 발명의 실시예에 따라 영상 잡음을 제거한 경우의 결과를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 블록 매칭을 수행하여 영상 잡음을 제거하는 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 블록 매칭을 수행하여 영상 잡음을 제거하는 방법은, 임계값 처리를 이용한 기본 추정(Basic estimate)과 위너 필터(Wiener filter)를 이용한 최종 추정(Final estimate)의 두 단계로 구성될 수 있다. 여기서, 임계값 처리는 Hard thresholding을 의미할 수 있다.
잡음이 포함된 입력 영상이 입력되면, 블록 정합(Block matching), 임계값 처리(Hard thresholding) 및 집성(Aggregation) 과정을 포함하는 기본 추정이 수행될 수 있다. 또한, 기본 추정의 수행 결과에 따른 영상의 픽셀값을 이용하여 블록 정합(Block matching), 위너 필터(Wiener filter) 및 집성(Aggregation) 과정을 포함하는 최종 추정이 수행될 수 있다. 여기서, 집성은 노이즈가 제거된 블록을 원본의 입력 영상에 적용하는 것을 의미할 수 있다.
즉, 기본 추정 단계는 임계값 처리를 통하여 영상에 포함된 잡음을 러프(rough)하게 제거하는 것을 의미할 수 있고, 최종 추정 단계는 기본 추정의 결과에 위너 필터를 적용하여 화질을 강화하는 것을 의미할 수 있다.
다만, 영상의 휘도값의 변화가 비교적 적으며, 넓은 면적을 차지하는 영역 안의 픽셀은 인접한 위치의 픽셀과 휘도값이 비슷할 확률이 높다. 따라서, 영상 내의 비슷한 영역을 고정된 크기의 블록에 대한 정합을 통해 군집화하여 필터링하는 경우, 고해상도 영상에서 잡음을 제거하는데 비효율적이다.
따라서, 본 발명의 실시예에 따른 영상 잡음 제거 방법은, 블록 내의 영상의 휘도값의 상관 관계에 따라 블록의 크기를 가변적으로 변화시켜 블록 정합을 수행할 수 있다.
예를 들어, 고해상도 영상 내에서, 휘도값이 평탄한 영역은 큰 크기의 블록을 이용하여 블록 정합을 수행할 수 있다. 또한, 휘도값의 변화가 큰 영역은 휘도값의 변화 정도를 통계값으로 추출하고, 추출된 통계값에 따라 정해진 작은 크기의 블록으로 분할하여 블록 정합을 수행할 수 있다.
결과적으로, 영상 잡음을 제거하는 과정에서 영상 내의 픽셀 간의 상관 관계를 고려하여 결정된 크기의 블록으로 블록 정합을 수행하여, 휘도값의 변화가 많지 않은 비교적 넓은 영역을 한 번에 군집화하여 처리할 수 있을 뿐만 아니라, 휘도값의 변화가 많은 영역에 대하여도 섬세하게 처리하여 에지 성분을 잘 보존하면서 영상 잡음을 제거할 수 있다.
도 2는 본 발명의 실시예에 따라 가변 크기 블록으로 분할되는 영상을 설명하기 위한 예시도이고, 도 3은 본 발명의 실시예에 따라 분할된 가변 크기 블록의 휘도값의 분포를 나타내는 히스토그램이다.
도 2 (a)를 참조하면, 입력 영상에서 초기 크기 블록(A)을 설정할 수 있다. 초기 크기 블록(A)은 입력 영상의 임의의 위치에 설정될 수 있으며, 다수의 초기 크기 블록(A)이 설정될 수 있음은 물론이다. 여기서, 초기 크기 블록은 16×16 사이즈를 가질 수 있다.
도 2 (b) 및 (c)를 참조하면, 초기 크기 블록(A)은 다수의 소정의 블록들(B1, B2, C1, C2, C3, C4)로 분할될 수 있다. 예컨대, 소정의 블록들(B1, B2, C1, C2, C3, C4)은 정사각형 또는 직사각형일 수 있다. 예를 들어, B1 및 B2 블록은 직사각형이고, C1, C2, C3 및 C4는 정사각형이다.
도 3을 참조하면, 초기 크기 블록(A) 및 소정의 블록들(B1, B2, C1, C2, C3, C4) 각각의 휘도값의 평균 및 분산을 산출하여 히스토그램을 생성할 수 있다. 즉, 도 3 (a)는 초기 크기 블록(A)에 대한 히스토그램, 도 3 (b)는 B1 블록의 히스토그램, 도 3 (c)는 B2 블록의 히스토그램, 도 3 (d)는 C1 블록의 히스토그램, 도 3 (e)는 C2 블록의 히스토그램, 도 3 (f)는 C3 블록의 히스토그램, 도 3 (g)는 C4 블록의 히스토그램을 각각 나타낸다.
히스토그램은 초기 크기 블록(A)을 소정의 블록들(B1, B2, C1, C2, C3, C4)로 나눈 후, 소정의 블록들(B1, B2, C1, C2, C3, C4) 각각의 휘도값의 평균 및 분산을 산출하여 생성될 수 있다.
본 발명의 실시예에 따르면, 생성된 히스토그램에 기반하여 초기 크기 블록(A)을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성할 수 있다. 예를 들어, 소정의 블록들(B1, B2, C1, C2, C3, C4) 각각의 휘도값에 대한 분산(variance)이 미리 설정된 임계값보다 작거나, 소정의 블록들의 각각이 최소 크기 블록이 될 때까지 초기 크기 블록(A)을 적어도 하나의 가변 크기 블록으로 분할할 수 있다. 여기서, 최소 크기 블록은 4×4 사이즈를 가질 수 있다.
또한, 참조 영상에서 초기 크기 블록(A)에 상응하는 참조 패치와 블록 군집에 포함된 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거할 수 있다. 여기서, 참조 영상은 입력 영상이 참조할 수 있는 원본 영상을 의미할 수 있으며, 가변 크기 블록은 소정의 블록들(B1, B2, C1, C2, C3, C4) 중에서 결정될 수 있다.
상세하게는, 임계값 처리 및 위너 필터(Wiener filter)를 적용하여 영상 잡음을 제거를 수행할 수 있다. 즉, 임계값 처리를 통하여 영상에 포함된 잡음을 러프(rough)하게 제거할 수 있고, 임계값 처리된 결과에 위너 필터를 적용하여 화질을 강화할 수 있다.
따라서, 본 발명의 실시예에 따른 가변 크기 블록을 이용한 영상 잡음 제거 방법은, 입력 영상에 초기 크기 블록을 설정하는 단계와, 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성하는 단계와, 히스토그램에 기반하여 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계와, 참조 영상에서 초기 크기 블록에 상응하는 참조 패치와 블록 군집에 포함된 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거하는 단계를 포함할 수 있다.
도 4는 본 발명의 실시예에 따라 영상을 가변 크기 블록으로 분할하는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하여, 본 발명의 실시예에 따라 입력 영상을 가변 크기 블록으로 분할하는 방법을 설명한다.
초기 크기 블록 또는 초기 크기 블록을 분할한 소정의 블록의 휘도값에 대한 분산(variance)이 미리 설정된 임계값 보다 작거나, 소정의 블록이 최소 크기 블록인 경우까지 분할이 진행될 수 있다(S410).
소정의 블록은 정사각형이거나 직사각형일 수 있다. 즉, 초기 크기 블록은 세로 방향 또는 가로 방향으로 분할되어 다수의 소정의 블록이 될 수 있다. 따라서, 소정의 블록이 정사각형인지 직사각형인지 판단할 수 있다(S420).
소정의 블록이 정사각형인 경우, 소정의 블록을 가로 또는 세로로 분할하고, 분할된 블록의 휘도값의 평균을 비교하여 소정의 블록을 가로 또는 세로로 분할할 수 있다(S421). 예를 들어, 소정의 블록을 가로로 분할한 경우에 분할된 블록의 휘도값 평균의 차이값(가로 분할 평균 차이값)과 세로로 분할한 경우에 분할된 블록의 휘도값 평균의 차이값(세로 분할 평균 차이값)을 비교할 수 있다. 가로 분할 평균 차이값이 세로 분할 평균 차이값보다 큰 경우에는 가로로 더 분할할 수 있다. 반면에, 세로 분할 평균 차이값이 가로 분할 평균 차이값보다 큰 경우에는 세로로 더 분할할 수 있다.
소정의 블록이 직사각형인 경우, 소정의 블록의 세로 길이와 가로 길이를 비교할 수 있다(S430). 먼저, 소정의 블록의 세로 길이가 가로 길이 보다 긴 경우, 직사각형의 소정의 블록을 가로 방향으로 분할할 수 있다(S431). 또한, 소정의 블록의 가로 길이가 세로 길이 보다 긴 경우, 직사각형의 소정의 블록을 세로 방향으로 분할할 수 있다(S432).
소정의 블록에 대한 분할은 S410의 조건을 만족할 때까지 반복적으로 수행될 수 있다.
도 5는 본 발명의 실시예에 따라 초기 블록이 분할되지 않은 경우를 나타내고, 도6은 본 발명의 실시예에 따라 초기 블록이 수직 방향으로 분할된 경우를 나타내며, 도 7은 본 발명의 실시예에 따라 초기 블록이 수평 방향으로 분할된 경우를 나타낸다.
도 5 (a)는 입력 영상에 초기 크기 블록이 설정된 경우를 나타낸다. 또한, 도 5 (b)는 입력 영상에 다수의 초기 크기 블록이 설정되어 군집을 형성한 것을 나타낸다. 즉, 도 5을 참조하면, 초기 크기 블록이 분할되지 않은 상태에서 블록 매칭이 수행될 수 있다.
도 6은 입력 영상에 세로 방향으로 긴 직사각형의 가변 크기 블록이 설정된 경우를 나타내고, 도 7은 입력 영상에 가로 방향으로 긴 직사각형의 가변 크기 블록이 설정된 경우를 나타낸다.
상세하게는, 도 6 (a) 및 도 7 (a)는 입력 영상에 직사각형의 가변 크기 블록이 설정된 경우를 나타낸다. 또한, 도 6 (b) 및 도 7 (b)는 입력 영상에 다수의 직사각형의 가변 크기 블록이 설정되어 군집을 형성하는 것을 나타내며, 도 6 (c) 도 7 (c)는 초기 크기 블록이 다양한 크기의 가변 크기 블록으로 분할될 수 있음을 나타낸다. 즉, 초기 크기 블록은 크기를 달리하는 직사각형의 가변 크기 블록으로 분할되어 군집을 형성하여 블록 매칭될 수 있다.
도 8은 본 발명의 실시예에 따른 가변 크기 블록을 이용한 영상 잡음 제거 장치(900)를 설명하기 위한 블록도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 가변 크기 블록을 이용한 영상 잡음 제거 장치(900)는, 히스토그램 생성부(910), 블록 분할부(920) 및 영상 잡음 제거부(930)를 포함한다.
히스토그램 생성부(910)는 입력 영상에 초기 크기 블록을 설정하고, 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성할 수 있다. 여기서, 히스토그램은 초기 크기 블록을 소정의 블록들로 나눈 후, 소정의 블록들 각각의 휘도값의 평균 및 분산을 산출하여 생성될 수 있다.
블록 분할부(920)는 소정의 블록들 각각의 휘도값에 대한 분산이 미리 설정된 임계값보다 작거나, 소정의 블록들의 각각이 최소 크기 블록이 될 때까지 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할할 수 있다.
상세하게는, 블록 분할부(920)는 소정의 블록이 정사각형인 경우, 소정의 블록을 가로 또는 세로로 분할하고, 분할된 블록의 휘도값의 평균을 비교하여 소정의 블록을 가로 또는 세로로 분할할 수 있다.
예를 들어, 가로 분할 평균 차이값이 세로 분할 평균 차이값보다 큰 경우에는 가로로 더 분할할 수 있다. 반면에, 세로 분할 평균 차이값이 가로 분할 평균 차이값보다 큰 경우에는 세로로 더 분할할 수 있다.
또한, 블록 분할부(920)는 소정의 블록이 직사각형인 경우, 소정의 블록의 세로 길이와 가로 길이를 비교할 수 있고, 소정의 블록의 세로 길이가 가로 길이 보다 긴 경우, 직사각형의 소정의 블록을 가로 방향으로 분할하고, 소정의 블록의 가로 길이가 세로 길이 보다 긴 경우, 직사각형의 소정의 블록을 세로 방향으로 분할할 수 있다.
영상 잡음 제거부(930)는 임계값 처리 및 위너 필터(Wiener filter)를 입력 영상에 적용하여 영상 잡음을 제거할 수 있다.
상술한 본 발명의 실시예에 따른 영상 잡음 제거 장치(900)의 구성을 설명의 편의상 각각의 구성부로 나열하여 설명하였으나, 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 본 발명의 실시예에 따른 영상 잡음 제거 장치(900)의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
도 9는 본 발명의 실시예에 따라 영상 잡음을 제거한 경우의 결과를 설명하기 위한 도면이다.
도 9를 참조하여, 본 발명의 실시예에 따라 처리한 결과 영상을 평가할 수 있다. 도 9 (a)는 원본 영상을 나타내고, 도 9 (b)는 영상 잡음을 포함한 입력 영상을 나타낸다. 또한, 도 9 (c)는 종래의 영상 잡음 제거 기법(BM3D)을 이용하여 입력 영상을 처리한 결과 영상을 나타내고, 도 9 (d)는 본 발명의 실시예에 따른 영상 잡음 제거 방법 및 장치를 입력 영상에 적용하여 처리한 결과 영상을 나타낸다.
도 9 (a), (b), (c) 및 (d)를 비교하여 본 결과, 휘도값이 평탄한 영역 및 복잡한 영역 모두에서 도 9 (c)의 결과 영상 보다 도 9(d)의 결과 영상이 보다 선명한 것을 알 수 있다. 즉, 본 발명의 실시예에 따라 입력 영상을 처리한 경우 보다 효과적으로 영상 잡음을 제거할 수 있음을 알 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
900: 영상 잡음 제거 장치 910: 히스토그램 생성부
920: 블록 분할부 930: 영상 잡음 제거부

Claims (12)

  1. 영상 잡음 제거 장치에 의해 수행되는 방법에 있어서,
    입력 영상에 초기 크기 블록을 설정하는 단계;
    상기 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성하는 단계;
    상기 히스토그램에 기반하여 상기 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계; 및
    참조 영상에서 상기 초기 크기 블록에 상응하는 참조 패치와 상기 블록 군집을 단위로 상기 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거하는 단계를 포함하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  2. 청구항 1에 있어서,
    상기 초기 크기 블록은,
    16×16 사이즈를 가지는 것을 특징을 하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  3. 청구항 1에 있어서,
    상기 히스토그램은,
    상기 초기 크기 블록을 소정의 블록들로 나눈 후, 상기 소정의 블록들 각각의 휘도값의 평균 및 분산을 산출하여 생성되는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  4. 청구항 3에 있어서,
    상기 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계는,
    상기 소정의 블록들 각각의 휘도값에 대한 분산이 미리 설정된 임계값보다 작거나, 상기 소정의 블록들의 각각이 최소 크기 블록이 될 때까지 상기 초기 크기 블록을 상기 적어도 하나의 가변 크기 블록으로 분할하는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  5. 청구항 4에 있어서,
    상기 최소 크기 블록은,
    4×4 사이즈를 가지는 것을 특징을 하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  6. 청구항 3에 있어서,
    상기 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 단계는,
    상기 소정의 블록이 정사각형인 경우,
    상기 소정의 블록을 가로 또는 세로로 분할하고, 가로로 분할된 경우에 블록의 휘도값의 평균과 세로로 분할된 경우에 블록의 휘도값의 평균을 비교하여 상기 소정의 블록을 가로 또는 세로의 분할을 결정하는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  7. 청구항 1에 있어서,
    상기 영상 잡음을 제거하는 단계는,
    임계값 처리 및 위너 필터(Wiener filter)를 적용하여 수행되는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 방법.
  8. 입력 영상에 초기 크기 블록을 설정하고, 상기 초기 크기 블록의 휘도값 분포에 기반한 히스토그램을 생성하는 히스토그램 생성부;
    상기 히스토그램에 기반하여 상기 초기 크기 블록을 적어도 하나의 가변 크기 블록으로 분할하여 블록 군집을 형성하는 블록 분할부; 및
    참조 영상에서 상기 초기 크기 블록에 상응하는 참조 패치와 상기 블록 군집을 단위로 상기 적어도 하나의 가변 크기 블록을 블록 매칭(block matching)하여 영상 잡음을 제거하는 영상 잡음 제거부를 포함하는, 가변 크기 블록을 이용한 영상 잡음 제거 장치.
  9. 청구항 8에 있어서,
    상기 히스토그램은,
    상기 초기 크기 블록을 소정의 블록들로 나눈 후, 상기 소정의 블록들 각각의 휘도값의 평균 및 분산을 산출하여 생성되는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 장치.
  10. 청구항 9에 있어서,
    상기 블록 분할부는,
    상기 소정의 블록들 각각의 휘도값에 대한 분산이 미리 설정된 임계값보다 작거나, 상기 소정의 블록들의 각각이 최소 크기 블록이 될 때까지 상기 초기 크기 블록을 상기 적어도 하나의 가변 크기 블록으로 분할하는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 장치.
  11. 청구항 10에 있어서,
    상기 블록 분할부는,
    상기 소정의 블록이 정사각형인 경우,
    상기 소정의 블록을 가로 또는 세로로 분할하고, 가로로 분할된 경우에 블록의 휘도값의 평균과 세로로 분할된 경우에 블록의 휘도값의 평균을 비교하여 상기 소정의 블록을 가로 또는 세로의 분할을 결정하는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 장치.
  12. 청구항 8에 있어서,
    상기 영상 잡음 제거부는,
    임계값 처리 및 위너 필터(Wiener filter)를 적용하여 수행되는 것을 특징으로 하는, 가변 크기 블록을 이용한 영상 잡음 제거 장치.
KR1020140041426A 2014-04-07 2014-04-07 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치 KR101551568B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140041426A KR101551568B1 (ko) 2014-04-07 2014-04-07 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140041426A KR101551568B1 (ko) 2014-04-07 2014-04-07 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101551568B1 true KR101551568B1 (ko) 2015-09-08

Family

ID=54247738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140041426A KR101551568B1 (ko) 2014-04-07 2014-04-07 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101551568B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791789B1 (ko) * 2016-06-20 2017-10-31 성균관대학교산학협력단 컬러 영상의 잡음을 제거하기 위한 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148014A (ja) 2008-12-22 2010-07-01 Nippon Hoso Kyokai <Nhk> ノイズレベル検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148014A (ja) 2008-12-22 2010-07-01 Nippon Hoso Kyokai <Nhk> ノイズレベル検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791789B1 (ko) * 2016-06-20 2017-10-31 성균관대학교산학협력단 컬러 영상의 잡음을 제거하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
CN102388402B (zh) 图像处理装置及图像处理方法
KR101429371B1 (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
US8913153B2 (en) Imaging systems and methods for generating motion-compensated high-dynamic-range images
CN106412720B (zh) 视频水印去除的方法和装置
CN111383186B (zh) 一种图像处理方法、装置及终端设备
US20120195520A1 (en) Image restoration apparatus and image restoration method
WO2014107120A1 (en) Method for imaging processing, and image processing device
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
JP5527781B2 (ja) 画質を向上させる方法
TW201742001A (zh) 影像雜訊估測方法及裝置與影像擷取裝置
JP4245045B2 (ja) 撮像装置、撮像信号処理方法及びプログラム
KR101805629B1 (ko) 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
KR101552680B1 (ko) 노이즈 저감 장치 및 방법
US20150062371A1 (en) Encoding apparatus and method
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
CN111161299A (zh) 影像分割方法、计算机程序、存储介质及电子装置
KR101551568B1 (ko) 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치
US20100239164A1 (en) Method and apparatus for reducing spatial noise of images
KR102183518B1 (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
US20170150111A1 (en) Image processing system with aliasing detection mechanism and method of operation thereof
CN111416937A (zh) 图像处理方法、装置、存储介质及移动设备
CN108805852B (zh) 一种图像空域噪声的评估方法及装置
CN115174807A (zh) 防抖检测方法、装置、终端设备和可读存储介质
KR100764395B1 (ko) 디지털 카메라용 적응적 링잉 제거 장치
EP3503548B1 (en) Video encoding method and system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5