KR101361114B1 - 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법 - Google Patents

디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법 Download PDF

Info

Publication number
KR101361114B1
KR101361114B1 KR1020120076270A KR20120076270A KR101361114B1 KR 101361114 B1 KR101361114 B1 KR 101361114B1 KR 1020120076270 A KR1020120076270 A KR 1020120076270A KR 20120076270 A KR20120076270 A KR 20120076270A KR 101361114 B1 KR101361114 B1 KR 101361114B1
Authority
KR
South Korea
Prior art keywords
noise
image
image information
pixel
frame
Prior art date
Application number
KR1020120076270A
Other languages
English (en)
Other versions
KR20140009726A (ko
Inventor
송지호
Original Assignee
매크로영상기술(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매크로영상기술(주) filed Critical 매크로영상기술(주)
Priority to KR1020120076270A priority Critical patent/KR101361114B1/ko
Priority to PCT/KR2013/003390 priority patent/WO2014010817A1/ko
Publication of KR20140009726A publication Critical patent/KR20140009726A/ko
Application granted granted Critical
Publication of KR101361114B1 publication Critical patent/KR101361114B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 바람직한 일실시예의 디지털 영상을 위한 적응적 잡음 저감 시스템은, 영상 정보의 시간적 잡음을 저감하는 시간적 잡음 저감부; 상기 영상 정보의 공간적 잡음을 저감하는 공간적 잡음 저감부; 및 상기 시간적 잡음 저감부로부터의 제 1 출력 영상과 상기 공간적 잡음 저감부로부터의 제 2 출력 영상을 결합하는 영상 결합부;를 포함한다.
본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법에 따르면, 시간적 뿐만 아니라 공간적인 잡음도 동시에 감소시시키는 것에 의해 선명한 영상을 출력할 수 있다.

Description

디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법{Adaptive Noise Reduction System for Digital Image and Method Therefor}
본 발명은 디지털 영상을 위한 적응적 영상 잡음 저감 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 잡음이 포함되어 있는 영상 정보를 시간적, 공간적 잡음 저감 방법으로 잡음을 적응적으로 저감시키는 것에 의해, 선명한 화질을 획득할 수 있는 디지털 영상을 위한 적응적 영상 잡음 저감 시스템 및 그 방법에 관한 것이다.
일반적으로, 영상의 잡음을 억제하기 위해서는 크게 시간축의 데이터를 이용하는 시간적(temporal) 방법과 같은 공간상의 데이터를 이용하는 공간적(spatial) 방법이 있다.
시간적 영상 잡음 억제 방법은 복수의 영상 상의 같은 위치의 화소에 대한 영상 처리 방법이다. 시간적 영상 잡음 억제 방법에서 중요한 정보는 이전 화면의 화소와 현재 화면의 화소의 유사 정도이다. 화소의 유사 정도 정보는 움직임 정보라고도 한다. 일반적으로 이 움직임 정도에 따라, 잡음 억제를 함으로써 시간적 영상잡음 억제 방법은 적응적인 속성을 지니게 된다.
공간적 영상 잡음 억제 방법은 화면상 각 화소와 주변 화소 정보를 이용한 영상처리 방법이다. 공간적 영상잡음 억제 방법에서 중요한 정보는 화면상의 잡음 정도와 에지 정보이다. 특히, 에지 정보는 공간적 영상 잡음 억제 필터의 성능 평가에 중요한 역할을 한다. 일반적으로 에지 정보를 이용하여 에지는 보존하고 잡음 정도에 따라 억제 강도를 조절함으로써 적응적인 속성을 지니게 된다.
다만, 상술한 바와 같은, 시간적 영상 잡음 억제 방법과 공간적 영상 잡음 억제 방법을 결합하는 것에 대한 연구들은 제한적이었다.
본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, 시간적 뿐만 아니라 공간적인 잡음도 동시에 감소시키는 것에 의해, 선명한 영상을 출력할 수 있는 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법을 제공하는 것에 그 목적이 있다.
본 발명의 바람직한 일실시예의 디지털 영상을 위한 적응적 잡음 저감 시스템은, 영상 정보의 시간적 잡음을 저감하는 시간적 잡음 저감부; 상기 영상 정보의 공간적 잡음을 저감하는 공간적 잡음 저감부; 상기 시간적 잡음 저감부로부터의 제 1 출력 영상과 상기 공간적 잡음 저감부로부터의 제 2 출력 영상을 결합하는 영상 결합부; 및 시간에 따라 입력되는 영상 정보의 움직임 정도를 산출하는 움직임 정도 산출부;를 포함한다.
또한, 상기 움직임 정도 산출부로부터의 산출되는 움직임 정도는, 현재 단계의 영상 정보까지의 움직임 누적 정보값; 및 현재 단계의 영상 정보와 상기 현재 단계의 1 단계 이전의 영상 정보를 비교하여 움직임의 세기를 측정하는 움직임 강도 정보값;을 포함하는 것을 특징으로 한다.
아울러, 본 발명의 디지털 영상을 위한 적응적 잡음 저감 시스템은, 화소에 대한 잡음을 산출하는 화소 잡음 정도 산출부; 및 상기 화소 잡음 정도 산출부로부터 산출된 상기 화소 잡음을 이용하여, 하나의 프레임을 이루는 전체 영상 정보로부터 에지로 판단되는 화소를 뺀 화소 중에서, 잡음이 없는 화소의 비율을 계산하여 다음 단계에서 영상 정보가 입력될 경우, 상기 시간적 잡음 저감부의 잡음 저감의 강도 조절 계수를 산출하는 영상 잡음 산출부;를 더 포함하는 것이 바람직하다.
구체적으로 상기 화소 잡음 정도 산출부는, 중심 화소와 주변 화소들 사이의 표준 편차를 산출하는 제 1 잡음 산출기; 상기 주변 화소들의 평균값을 산출하고, 상기 중심 화소 및 주변 화소들 각각과 상기 평균값의 차이의 절대값을 산출하고, 상기 절대값의 메디안 값을 산출하는 제 2 잡음 산출기; 및 상기 중심 화소와 상기 주변 화소들 사이의 차이값의 절대값을 산출하여, 로그값을 구한 후, 상기 로그값의 평균값을 산출하는 제 3 잡음 산출기;를 포함한다. 또한, 상기 화소 잡음 정도 산출부는, 상기 제 1, 제 2 잡음 산출기로부터 산출된 잡음값들이 다른 규격의 영상 정보의 신호에 대해 같은 값을 갖도록 영상 정보 신호의 규격에 따라 일정 보상 패턴에 의해 상기 제 1, 제 2 잡음 산출기로부터 산출된 잡음값들을 보상하여 출력하는 것이 바람직하다.
또한, 본 발명의 상기 움직임 정도 산출부는, 현재 단계의 영상 정보를 저역 통과시키는 제 1 저역 통과 필터; 상기 현재 단계의 1 단계 이전의 영상 정보를 저역 통과시키는 제 2 저역 통과 필터; 및 상기 현재 단계의 영상 정보 및 상기 1 단계 이전의 영상 정보를 혼합한 영상 정보를 저역 통과시키는 제 3 저역 통과 필터;를 포함하는 것을 특징으로 한다. 아울러, 상기 제 1, 제 2 및 제 3 저역 통과 필터에 사용되는 마스크는, 베이어 패턴의 영상 정보가 입력된 경우, R:G:B 화소의 가중치 비율을 1:2:1이 되도록 하는 것이 바람직하다. 구체적으로, 상기 움직임 정도 산출부는, 상기 제 1, 제 2 및 제 3 저역 통과 필터로부터의 출력, 상기 현재 단계의 영상 정보, 상기 현재 단계의 영상 정보와 상기 1 단계 이전의 영상 정보를 혼합한 영상 정보 및 상기 1 단계 이전의 영상 정보를 이용하여, 상기 1 단계 이전의 영상 정보로부터 상기 현재 단계의 영상 정보의 움직임의 강도를 산출하는 움직임 강도 산출기;를 더 포함하는 것을 특징으로 한다.
아울러, 본 발명의 디지털 영상을 위한 적응적 잡음 저감 시스템은, 입력되는 영상 정보가 베이어 패턴 신호인 경우, 중심 화소가 R, G, B 중 어떤 색인지를 판단하여, 상기 중심 화소와 다른 색의 화소를 스킵하고, 상기 중심 화소와 같은 색의 주변 화소에 의해 영상 정보를 재구성하는 영상 인터페이스부;를 더 포함할 수 있다. 또한, 본 발명의 디지털 영상을 위한 적응적 잡음 저감 시스템의 입력은, 현재 단계의 영상 정보, 상기 현재 단계의 영상 정보까지의 움직임 누적 정보값 및 상기 1 단계 이전의 영상 정보를 포함하는 것을 특징으로 한다.
아울러 상기 영상 결합부는, 상기 움직임 정도 산출부로부터 산출된 값을 이용하여, 상기 제 1 출력 영상과 상기 제 2 출력 영상의 결합을 위한 각각의 가중치를 선택하는 것이 바람직하다.
또한, 상기 움직임 정도 산출부는, 현재 단계의 영상 정보까지의 움직임 누적 정보값; 및 현재 단계의 영상 정보와 1 단계 이전의 영상 정보를 비교하여 움직임의 세기를 측정하는 움직임 강도 정보값;을 산출하되, 상기 영상 결합부는, 상기 움직임 누적 정보값을 이용하여 상기 제 1 출력 영상과 제 2 출력 영상을 결합하여 제 1 결합 영상을 만들고, 상기 움직임 강도 정보값을 이용하여 상기 제 1 출력 영상과 제 2 출력 영상을 결합하여 제 2 결합 영상을 만들고, 상기 제 1 결합 영상과 상기 제 2 결합 영상을 결합하여 최종 결합 영상을 출력하는 것을 특징으로 한다.
본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법에 따르면, 시간적 뿐만 아니라 공간적인 잡음도 동시에 감소시시키는 것에 의해 선명한 영상을 출력할 수 있다.
도 1은 본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 시스템의 구성도.
도 2a 내지 도 2c는 본 발명의 영상 인터페이스부의 입력 신호에 대한 처리의 예시도.
도 3은 본 발명의 바람직한 일실시예에 따른 움직임 정도 산출부의 구성도.
도 4는 본 발명의 바람직한 실시예에 따른 제 1, 제 2 및 제 3 저역 통과 필터에 사용되는 마스크의 예시도.
도 5는 본 발명의 바람직한 일실시예에 따른 화소 잡음 정도 산출부의 구성도.
도 6은 본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 방법의 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명의 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법에 대해 상세히 설명하기로 한다.
본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
먼저, 도 1은 본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 시스템(100)의 구성도이다. 도 1로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예의 디지털 영상을 위한 적응적 잡음 저감 시스템(100)은 영상 인터페이스부(10), 움직임 정도 산출부(20), 화소 잡음 정도 산출부(30), 시간적 잡음 저감부(40), 영상 잡음 산출부(50), 공간적 잡음 저감부(60), 영상 결합부(70) 및 저장부(80)를 포함한다.
하기에 본 발명의 디지털 영상을 위한 적응적 잡음 저감 시스템(100)의 각 구성 요소에 대해 구체적으로 설명하기로 한다.
영상 인터페이스부(10)는, 앞단의 이미지 센서 등의 영상 입력 장치로부터 입력되는 영상 정보가 베이어(Bayer) 패턴 신호인 경우, 중심 화소가 R, G, B 중 어떤 색인지를 판단하여, 중심 화소와 다른 색의 화소를 건너뛰고, 중심 화소와 같은 색의 주변 화소에 의해 영상 정보를 재구성하는 역할을 한다. 즉, 영상 입력 장치로부터의 입력은 Y/C 신호일 수도 있으며, 베이어 패턴 신호일 수도 있는 데, 두가지 종류의 입력 신호에 대해 본 영상 인터페이스부(10)의 뒷단에서 같은 방법으로 신호를 처리할 수 있도록 하는 역할을 한다. 영상 인터페이스부(10)로 입력되는 앞단의 이미지 센서 등의 영상 입력 장치로부터의 영상 신호는, 시간적으로 1 단계 이전의 영상 정보까지의 움직임 누적 정보값(Mhk -1(p)), 현재 영상 정보(Ik(p)), 이전 단계의 영상 정보(Ik -1(p))를 포함한다.
도 2a 내지 도 2c는 본 발명의 영상 인터페이스부(10)의 입력 신호에 대한 처리의 예시도를 나타낸다. 도 2a는 Y/C 신호가 입력될 경우로, 본 발명의 영상 인터페이스부(10)는 10x9의 데이터 공간을 가정할 시 위쪽 5x9을 Y 데이터가 사용하고, 아래쪽의 5x9을 C 데이터가 사용한다. 이때, Y 데이터의 35개 화소(pixel) 테이터를 뒷단으로 전달하고, C 데이터의 25개 화소 데이터를 뒷단으로 전달하게 된다.
도 2b는 영상 인터페이스부(10)에 중심 화소가 G인 베이어 패턴 신호가 입력된 경우의 처리의 일실시예를 나타낸다. 10x9의 데이터 공간을 가정할 시, 베이어 패턴 신호의 입력 시 9x9의 데이터 공간만 사용하고, 중심 화소가 G 화소일 경우 37개의 화소를 뒷단으로 전달하게 된다. 이때 C 데이터는 비활성화된다.
도 2c는 영상 인터페이스부(10)에 중심 화소가 B 또는 R인 베이어 패턴 신호가 입력된 경우의 처리의 일실시예를 나타낸다. 10x9의 데이터 공간을 가정할 시, 베이어 패턴 신호의 입력 시 9x9의 데이터 공간만 사용하고, 중심 화소가 B 또는 R 화소일 경우 25개의 화소를 뒷단으로 전달하게 된다. 이때 C 데이터는 비활성화된다.
도 1로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 움직임 정도 산출부(20)에서는, 영상 인터페이스부(10)로부터 입력된 1 단계 이전의 영상 정보까지의 움직임 누적 정보값(Mhk -1(p)), 현재 영상 정보(Ik(p)) 및 이전 단계의 영상 정보(Ik -1(p))를 이용하여, 시간에 따라 입력되는 영상 정보의 움직임 정도를 산출하게 된다.
본 발명의 움직임 정도 산출부(20)는, 현재 단계의 영상 정보(Ik(p))까지의 움직임 누적 정보값(Mhk(p)) 및 현재 단계의 영상 정보(Ik(p))와 1 단계 이전의 영상 정보(Ik -1(p))를 비교하여 움직임의 세기를 측정하는 움직임 강도 정보값(Mok(p))을 산출한다. 또한, 1 단계 이전의 영상 정보(Ik -1(p))까지의 움직임 누적 정보값(Mhk- 1(p))을 영상 결합부(70)로 전달한다. 구체적으로, 움직임 누적 정보값(Mhk(p))이란, 현재 단계의 영상 정보까지 이전 단계의 영상과 비교하여 얼마나 많은 프레임 동안 움직임이 검출되지 않았는가에 대한 누적 수치이다. 예를 들면, 현재 단계의 영상 정보(Ik(p))와 1 단계 이전의 영상 정보(Ik -1(p)) 사이에서 움직임이 검출되지 않았고, 1 단계 이전의 영상 정보(Ik -1(p))와 2 단계 이전의 영상 정보 사이에서 움직임이 검출되지 않았고, 그 이전에는 움직임이 검출되었다면, 움직임 누적 정보값(Mhk(p))은 '2'로 설정될 수 있을 것이다. 또한, 움직임 누적 정보값(Mhk(p))이 일정 수치에 도달하면 움직임이 검출되기 전까지 그 수치를 유지하고 움직임이 검출되면 일정 수치를 빼는 형태가 된다. 또한, 움직임 강도 정보값(Mok(p))은 1 단계 이전 단계의 영상 정보(Ik -1(p))로부터 현재 단계의 영상 정보(Ik(p))가 얼마나 많은 움직임이 있었는지, 즉 움직임의 강도를 나타내기 위한 수치로 미리 설정된 수치에 의해 움직임의 강도를 표현할 수 있다.
도 3은 본 발명의 바람직한 일실시예에 따른 움직임 정도 산출부(20)의 구성도를 나타낸다.
도 3으로부터 알 수 있는 바와 같이 본 발명의 움직임 정도 산출부(20)는, 고정 시간적 영상 혼합기(21), 제 1 저역 통과 필터(22), 제 2 저역 통과 필터(23), 제 3 저역 통과 필터(24) 및 움직임 강도 산출기(25)를 포함한다.
먼저, 고정 시간적 영상 혼합기(21)는, 현재 영상 정보(Ik(p)) 및 이전 단계의 영상 정보(Ik -1(p))를 혼합하여 출력(Imk(p))한다. 혼합하는 기법으로는 알파 블렌딩(Alpha Blending)을 예로 들 수 있을 것이다.
또한, 본 발명의 움직인 정도 산출부(20)는 세개의 저역 통과 필터(22, 23, 24)를 포함한다. 즉, 현재 단계의 영상 정보(Ik(p))를 저역 통과시키는 제 1 저역 통과 필터(22), 1 단계 이전 단계의 영상 정보(Ik -1(p))를 저역 통과시키는 제 2 저역 통과 필터(23), 및 현재 단계의 영상 정보(Ik(p)) 및 1 단계 이전 단계의 영상 정보(Ik -1(p))를 혼합한 영상 정보(Imk(p))를 저역 통과시키는 제 3 저역 통과 필터(24)를 포함한다.
제 1, 제 2 및 제 3 저역 통과 필터(22, 23, 24)에 사용되는 마스크는, 베이어 패턴의 영상 정보가 입력된 경우, R:G:B 화소의 가중치 비율을 1:2:1이 되도록 하는 것을 특징으로 한다. 베이어 패턴의 영상 정보를 주파수 영역에서 볼 때, 중심 부분은 Y 성분이 주를 이루며, 이 중심 부분의 비율을 분석하면 R:G:B의 비율이 1:2:1 정도로 나온다. 따라서, 베이어 패턴 영상 정보에 대해 R:G:B의 비율이 1:2:1이 되는 필터를 이용하면 각 화소 마다 저역 통과된 Y 성분을 얻을 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 제 1, 제 2 및 제 3 저역 통과 필터(22, 23, 24)에 사용되는 마스크의 예시도이다. 베이어 패턴 영상 정보를 5x5 영역으로 본다고 가정하였을 경우, 도 4의 모든 마스크는 R:G:B 화소의 가중치 비율이 1:2:1인 것을 알 수 있다.
아울러, 본 발명의 움직임 정도 산출부(20)는 제 1 저역 통과 필터(22)의 출력(Igk(p)), 제 2 저역 통과 필터(23)의 출력(Igk -1(p)) 및 제 3 저역 통과 필터(24)로부터의 출력(Igmk(p)), 현재 단계의 영상 정보(Ik(p)), 현재 단계의 영상 정보(Ik(p))와 1 단계 이전 단계의 영상 정보(Ik -1(p))를 혼합한 영상 정보(Imk(p)) 및 1 단계 이전 단계의 영상 정보(Ik -1(p))를 이용하여, 1 단계 이전 단계의 영상 정보(Ik -1(p))로부터 현재 단계의 영상 정보(Ik(p))가 얼마나 많은 움직임이 있었는지, 즉 움직임의 강도를 산출하는 움직임 강도 산출기(25)를 포함한다. 움직임 강도 산출기(25)에서 산출되는 움직임 강도는, 문턱값과의 정규화 방법을 통해 산출 될 수 있다
다음으로, 본 발명의 바람직한 일실시예에 따른 화소 잡음 정도 산출부(30)는, 영상 인터페이스부(10)에 의해 재구성된 현재 단계의 영상 정보(I'k(p))를 이용하여 화소에 대한 잡음을 산출하는 역할을 한다.
도 5는 본 발명의 바람직한 일실시예에 따른 화소 잡음 정도 산출부(30)의 구성도를 나타낸다. 도 5로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 화소 잡음 정도 산출부(30)는, 제 1 잡음 산출기(31), 제 2 잡음 산출기(32), 제 3 잡음 산출기(33), 제 1 잡음 수치 보상기(34), 제 2 잡음 수치 보상기(35) 및 제 3 잡음 수치 보상기(36)를 포함한다.
제 1 잡음 산출기(31)는, 중심 화소와 주변 화소들 사이의 표준 편차(N_1'k(p))를 산출한다. 또한, 제 2 잡음 산출기(32)는 주변 화소들의 평균값을 산출하고, 중심 화소 및 주변 화소들 각각과 평균값의 차이의 절대값을 산출하고, 최종적으로 절대값의 메디안 값(N_2'k(p))을 산출한다. 마지막으로, 제 3 잡음 산출기(33)는, 중심 화소와 주변 화소들 사이의 차이값의 절대값을 산출하여, 로그값을 구한 후, 로그값의 평균값(N_3'k(p))을 산출한다. 즉, 제 1 잡음 산출기(31)는 중심 화소와 주변 화소의 관계를 수치로 표시한 것이고, 제 2 잡음 산출기(32)는 중심 화소를 제외한 주변 화소들 사이의 관계를 수치로 표시한 것이고, 제 3 잡음 산출기(33)는 임펄스(Impulse) 잡음 화소를 수치로 표시한 것이다.
또한, 제 1 잡음 수치 보상기(34), 제 2 잡음 수치 보상기(35)는 제 1, 제 2 잡음 산출기(31, 32)로부터 산출된 잡음값들이 다른 규격의 영상 정보의 신호에 대해 같은 값을 갖도록 영상 정보 신호의 규격에 따라 일정 보상 패턴에 의해 제 1, 제 2 잡음 산출기(31, 32)로부터 산출된 잡음값들을 보상하는 역할을 한다. 즉, 영상 인터페이스부(10)로 입력되는 영상 신호가 Y/C 신호인 경우나, 베이어 패턴 신호인 경우나 동일한 값을 출력할 수 있도록 보상하는 역할을 한다. 제 3 잡음 수치 보상기(36)는, 제 3 잡음 산출기(33)로부터 잘못된 임펄스 잡음 화소가 출력되지 않도록, 예를 들면 영상의 에지(edge) 부분 등이 잡음으로 인식되어 출력되지 않도록 보상하는 역할을 한다.
본 발명의 영상 잡음 산출부(50)는, 화소 잡음 정도 산출부(30)로터 산출된 화소 잡음을 이용하여, 하나의 프레임(Frame)을 이루는 전체 영상 정보로부터 에지로 판단되는 화소를 뺀 화소 중에서, 잡음이 없는 화소의 비율을 계산하여 다음 단계에서 영상 정보가 입력될 경우, 시간적 잡음 저감부(40)의 잡음 저감의 강도 조절 계수(S)를 산출하는 역할을 한다. 즉, 시간적 잡음 저감부(40)의 잡음을 어느 정도 저감시킬 것인지를 잡음 저감의 강도 조절 계수(S)에 의해 결정할 수 있게 된다.
다음으로, 본 발명의 시간적 잡음 저감부(40)는, 영상의 시간축 데이터에 대한 잡음을 저감하는, 즉 영상 정보의 시간적 잡음을 저감하는 역할을 한다. 구체적으로 시간적 잡음 저감부(40)는, 현재 단계의 영상 정보(Ik(p)) 및 1 단계 이전 단계의 영상 정보(Ik -1(p))를 이용하여, 잡음이 저감된 현재 단계의 영상 정보(OTk(p))를 출력한다.
본 발명의 공간적 잡음 저감부(60)는, 영상의 공간축 데이터에 대한 잡음을 저감하는, 즉 영상 정보의 공간적 잡음을 저감하는 역할을 한다. 구체적으로 공간적 잡음 저감부(60)는, 영상 인터페이스부(10)에 의해 재구성된 현재 단계의 영상 정보(I'k(p)) 및 화소 잡음 정도 산출부(30)로부터의 출력을 이용하여 잡음이 저감된 영상 정보(OS'k(p))를 출력한다.
본 발명의 영상 결합부(70)는, 시간적 잡음 저감부(40)로부터의 제 1 출력 영상과 공간적 잡음 저감부(60)로부터의 제 2 출력 영상을 결합하는 역할을 한다.
구체적으로, 영상 결합부(70)는 움직임 누적 정보값(Mhk(p))을 이용하여 제 1 출력 영상과 제 2 출력 영상을 결합하여 제 1 결합 영상을 만들고, 움직임 강도 정보값(Mok(p))을 이용하여 제 1 출력 영상과 제 2 출력 영상을 결합하여 제 2 결합 영상을 만든다. 즉, 움직임 누적 정보값(Mhk(p)) 및 움직임 강도 정보값(Mok(p))을 제 1 출력 영상과 제 2 출력 영상을 결합하기 위한 가중치로 사용하여, 제 1 결합 영상 및 제 2 결합 영상을 만든다. 또한, 제 1 결합 영상과 제 2 결합 영상을 결합하여 최종 결합 영상(Omix'k(p))을 출력하게 된다. 제 1 결합 영상과 제 2 결합 영상을 결합 시에도, 적절한 가중치를 이용하여 두 개 영상을 결합하게 된다. 영상 결합부(70)에서의 영상 결합의 방법으로는 알파 블렌딩 기법을 예로 들 수 있다.
또한, 본 발명의 저장부(80)는 영상 결합부(70)로부터 출력된 신호를 저장하여 영상 출력 장치로 전송하거나, 영상 인터페이스부(10)로 피드백하여 본 발명의 디지털 영상을 위한 적응적 잡음 저감 시스템(100)이 적응적으로 잡음을 저감시킬 수 있도록 한다. 즉, 도 1에 나타낸 Mhk(p) 및 Ofeedback'k(p)가 다음 단계의 영상 처리시, 영상 인터페이스부(10)의 입력 신호인 Mhk -1(p) 및 Ik -1(p)가 된다.
물론, 저장부(80)를 통하지 않고, 영상 결합부(70)로부터 직접적으로 영상 출력 장치로 전송하는 것도 가능할 것이다.
참고로, 영상 인터페이스부(10)로 입력되는 신호가 Y/C 신호인 경우, 시간적 잡음 저감부(40), 공감 잡음 저감부(50) 및 영상 결합부(70)는 Y 신호 및 C 신호를 이용한다. 반면, 움직임 정도 산출부(20), 화소 잡음 정도 산출부(30), 영상 잡음 산출부(50)는 Y 신호만을 이용하게 된다.
또한, 영상 인터페이스부(10)로 입력되는 신호가 베이어 패턴 신호인 경우, 재구성된 현재 단계의 영상 정보(I'k(p)) 이외의, 입력된 1 단계 이전의 영상 정보(Ik -1(p))까지의 움직임 누적 정보값(Mhk -1(p)), 현재 영상 정보(Ik(p)) 및 이전 단계의 영상 정보(Ik -1(p)) 신호는 영상 인터페이스부(10)에 의해 재구성되지 않은 신호를 사용한다.
도 6은 본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 방법의 흐름도를 나타낸다. 도 6으로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 디지털 영상을 위한 적응적 잡음 저감 방법은, 입력되는 영상 정보가 베이어 패턴 신호인 경우, 중심 화소가 R, G, B 중 어떤 색인지를 판단하여, 중심 화소와 다른 색의 화소를 건너뛰고, 중심 화소와 같은 색의 주변 화소에 의해 영상 정보를 재구성하는 영상 인터페이스 단계(S10), 시간에 따라 입력되는 영상 정보의 움직임 정도를 산출하는 움직임 정도 산출 단계(S20), 영상 정보의 시간적 잡음을 저감하는 시간적 잡음 저감 단계(S30), 화소에 대한 잡음을 산출하는 화소 잡음 정도 산출 단계(S40), 및 영상 정보의 공간적 잡음을 저감하는 공간적 잡음 저감 단계(S50)을 포함한다.
또한, 본 발명의 디지털 영상을 위한 적응적 잡음 저감 방법은, 화소 잡음 정도 산출 단계(S40)로부터 산출된 화소 잡음을 이용하여, 하나의 프레임을 이루는 전체 영상 정보로부터 에지로 판단되는 화소를 뺀 화소 중에서, 잡음이 없는 화소의 비율을 계산하여 다음 영상 정보가 입력될 경우, 시간적 잡음 저감 단계의 잡음 저감의 강도 조절 계수를 산출하는 영상 잡음 산출 단계(S60) 및 시간적 잡음 저감 단계(S30)로부터의 제 1 출력 영상과 공간적 잡음 저감 단계(S40)로부터의 제 2 출력 영상을 결합하는 영상 결합 단계(S70)를 더 포함한다.
상술한 바와 같이 본 발명의 바람직한 일실시예의 디지털 영상을 위한 적응적 잡음 저감 시스템(100) 및 그 방법에 따르면, 디지털 영상의 시간적 잡음과 공간적 잡음을 효과적으로 저감시키는 것에 의해 선명한 영상 정보를 출력할 수 있음을 알 수 있다.
100 : 디지털 영상을 위한 적응적 잡음 저감 시스템
10 : 영상 인터페이스부 20 : 움직임 정도 산출부
30 : 화소 잡음 정도 산출부 40 : 시간적 잡음 저감부
50 : 영상 잡음 산출부 60 : 공간적 잡음 저감부
70 : 영상 결합부 80 : 저장부
21 : 고정 시간적 영상 혼합기 22 : 제 1 저역 통과 필터
23 : 제 2 저역 통과 필터 24 : 제 3 저역 통과 필터
25 : 움직임 강도 산출기
31 : 제 1 잡음 산출기 32 : 제 2 잡음 산출기
33 : 제 3 잡음 산출기 34 : 제 1 잡음 수치 보상기
35 : 제 2 잡음 수치 보상기 36 : 제 3 잡음 수치 보상기

Claims (11)

  1. 중심 화소와 상기 중심 화소의 주변 화소들로 구성된 영상 정보를 출력하는 영상 인터페이스부;
    상기 영상 인터페이스부로부터 출력되는 영상 정보를 입력받아 시간적 잡음을 저감하는 시간적 잡음 저감부;
    상기 영상 인터페이스부로부터 출력되는 영상 정보를 입력받아 공간적 잡음을 저감하는 공간적 잡음 저감부;
    상기 시간적 잡음 저감부로부터의 제 1 출력 영상과 상기 공간적 잡음 저감부로부터의 제 2 출력 영상을 결합하는 영상 결합부;
    상기 영상 인터페이스부로부터 출력되는 영상 정보를 입력받아 화소에 대한 잡음을 산출하는 화소 잡음 정도 산출부; 및
    상기 화소 잡음 정도 산출부로부터 산출된 상기 화소 잡음을 이용하여, 현재 단계인 k번째 프레임을 이루는 전체 영상 정보로부터 에지로 판단되는 화소를 뺀 화소 중에서 잡음이 없는 화소의 비율을 계산하여, 상기 시간적 잡음 저감부에서 다음 단계인 k+1번째 프레임의 영상 정보의 처리시 사용될 잡음 저감의 강도 조절 계수를 산출하는 영상 잡음 산출부;를 포함하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  2. 제 1 항에 있어서,
    상기 적응적 잡음 저감 시스템은,
    시간에 따라 입력되는 상기 영상 인터페이스부로부터의 영상 정보의 움직임 정도를 산출하는 움직임 정도 산출부;를 더 포함하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  3. 제 2 항에 있어서,
    상기 움직임 정도 산출부로부터 산출되는 움직임 정도는,
    상기 k번째 프레임의 영상 정보까지의 움직임 누적 정보값; 및
    상기 k번째 프레임의 영상 정보와 상기 현재 단계의 1 단계 이전 단계인 k-1번째 프레임의 영상 정보를 비교하여 움직임의 세기를 측정하는 움직임 강도 정보값;을 포함하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 화소 잡음 정도 산출부는,
    상기 중심 화소와 상기 주변 화소들 사이의 표준 편차를 산출하는 제 1 잡음 산출기;
    상기 주변 화소들의 평균값을 산출하고, 상기 중심 화소 및 상기 주변 화소들 각각과 상기 평균값의 차이의 절대값을 산출하고, 상기 절대값의 메디안 값을 산출하는 제 2 잡음 산출기; 및
    상기 중심 화소와 상기 주변 화소들 사이의 차이값의 절대값을 산출하여, 로그값을 구한 후, 상기 로그값의 평균값을 산출하는 제 3 잡음 산출기;를 포함하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  7. 제 6 항에 있어서,
    상기 화소 잡음 정도 산출부는,
    상기 제 1 잡음 산출기로부터 산출된 잡음값이 다른 규격의 영상 정보인 Y/C 신호 및 베이어 패턴 신호에 대해 같은 값을 갖도록, 영상 정보 신호의 규격에 따라 일정 보상 패턴에 의해 상기 제 1 잡음 산출기로부터 산출된 잡음값을 보상하여 출력하는 제 1 잡음 수치 보상기; 및
    상기 제 2 잡음 산출기로부터 산출된 잡음값이 다른 규격의 영상 정보인 Y/C 신호 및 베이어 패턴 신호에 대해 같은 값을 갖도록, 영상 정보 신호의 규격에 따라 일정 보상 패턴에 의해 상기 제 2 잡음 산출기로부터 산출된 잡음값을 보상하여 출력하는 제 2 잡음 수치 보상기;를 포함하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  8. 제 2 항에 있어서,
    상기 움직임 정도 산출부는,
    상기 k번째 프레임의 영상 정보를 저역 통과시키는 제 1 저역 통과 필터;
    상기 현재 단계의 1 단계 이전 단계인 k-1번째 프레임의 영상 정보를 저역 통과시키는 제 2 저역 통과 필터; 및
    상기 k번째 프레임의 영상 정보 및 상기 k-1번째 프레임의 영상 정보를 저역 통과시키는 제 3 저역 통과 필터;를 포함하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  9. 제 8 항에 있어서,
    상기 움직임 정도 산출부는,
    상기 제 1, 제 2 및 제 3 저역 통과 필터로부터의 출력, 상기 k번째 프레임의 영상 정보, 상기 k번째 프레임의 영상 정보와 상기 k-1번째 프레임의 영상 정보를 혼합한 영상 정보 및 상기 k-1번째 프레임의 영상 정보를 이용하여, 상기 k-1번째 프레임의 영상 정보로부터 상기 k번째 프레임의 영상 정보의 움직임의 강도를 산출하는 움직임 강도 산출기;를 더 포함하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  10. 제 1 항에 있어서,
    상기 영상 인터페이스부는,
    입력되는 영상 정보가 베이어 패턴 신호인 경우, 중심 화소가 R, G, B 중 어떤 색인지를 판단하여, 상기 중심 화소와 다른 색의 화소를 건너뛰고, 상기 중심 화소와 같은 색의 주변 화소들에 의해 영상 정보를 재구성하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
  11. 제 2 항에 있어서,
    상기 영상 결합부는,
    상기 움직임 정도 산출부로부터 산출된 값을 이용하여, 상기 제 1 출력 영상과 상기 제 2 출력 영상의 결합을 위한 각각의 가중치를 선택하는 것을 특징으로 하는 디지털 영상을 위한 적응적 잡음 저감 시스템.
KR1020120076270A 2012-07-12 2012-07-12 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법 KR101361114B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120076270A KR101361114B1 (ko) 2012-07-12 2012-07-12 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법
PCT/KR2013/003390 WO2014010817A1 (ko) 2012-07-12 2013-04-22 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 잡음 제거 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120076270A KR101361114B1 (ko) 2012-07-12 2012-07-12 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140009726A KR20140009726A (ko) 2014-01-23
KR101361114B1 true KR101361114B1 (ko) 2014-02-13

Family

ID=49916231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120076270A KR101361114B1 (ko) 2012-07-12 2012-07-12 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101361114B1 (ko)
WO (1) WO2014010817A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659349B2 (en) * 2015-06-12 2017-05-23 Gopro, Inc. Color filter array scaler
US10530995B2 (en) 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
KR102317683B1 (ko) 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
KR102390408B1 (ko) * 2017-11-08 2022-04-25 한화테크윈 주식회사 영상잡음제거장치 및 방법
KR102240054B1 (ko) * 2019-08-30 2021-04-14 (주)미래컴퍼니 영상 처리 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100429804B1 (ko) * 2001-12-29 2004-05-03 삼성전자주식회사 적응적 영상 노이즈 감쇄 장치 및 그 방법
KR20050120563A (ko) * 2004-06-17 2005-12-22 삼성전자주식회사 비디오 신호에 대한 움직임 적응성 노이즈 감소 장치 및그 방법
KR20110112619A (ko) * 2010-04-07 2011-10-13 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316364A1 (en) * 2007-06-25 2008-12-25 The Hong Kong University Of Science And Technology Rate distortion optimization for video denoising
KR101119268B1 (ko) * 2010-03-10 2012-03-20 삼성전자주식회사 영상의 컬러 잡음 제거 방법 및 장치
KR20120032170A (ko) * 2010-09-28 2012-04-05 엘지전자 주식회사 영상 신호의 잡음 제거방법 및 그 방법을 이용한 영상 신호 처리장치
KR101180884B1 (ko) * 2010-12-22 2012-09-07 중앙대학교 산학협력단 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법
KR101133520B1 (ko) * 2011-01-03 2012-04-04 엠텍비젼 주식회사 색 노이즈 제거 방법 및 장치
KR101179500B1 (ko) * 2011-01-03 2012-09-07 엠텍비젼 주식회사 적응적 잡음 제거 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100429804B1 (ko) * 2001-12-29 2004-05-03 삼성전자주식회사 적응적 영상 노이즈 감쇄 장치 및 그 방법
KR20050120563A (ko) * 2004-06-17 2005-12-22 삼성전자주식회사 비디오 신호에 대한 움직임 적응성 노이즈 감소 장치 및그 방법
KR20110112619A (ko) * 2010-04-07 2011-10-13 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법

Also Published As

Publication number Publication date
WO2014010817A1 (ko) 2014-01-16
KR20140009726A (ko) 2014-01-23

Similar Documents

Publication Publication Date Title
US8036457B2 (en) Image processing apparatus with noise reduction capabilities and a method for removing noise from a captured image
WO2012111232A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
KR101361114B1 (ko) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법
US8792746B2 (en) Image processing apparatus, image processing method, and program
US9641753B2 (en) Image correction apparatus and imaging apparatus
US8736719B2 (en) Image processing apparatus and control method for the same
KR20120112051A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
US20070247554A1 (en) Noise reduction apparatus of frame recursive type
JP2015154454A (ja) 動画像符号化装置、プログラム、および、集積回路
KR20150118004A (ko) 움직임 검출 장치 및 움직임 검출 방법
KR102411033B1 (ko) Ｉｓｐ 바이어스-보상 노이즈 감소 시스템들 및 방법들
US10970822B2 (en) Image processing method and electronic device thereof
US10311550B2 (en) Image processing device for eliminating graininess of image
US20100085486A1 (en) Image processing apparatus and method
US9349167B2 (en) Image processing method and image processing apparatus
US10264212B1 (en) Low-complexity deinterlacing with motion detection and overlay compensation
TWI392334B (zh) 影像處理裝置以及影像處理方法
JP7300164B2 (ja) ノイズリダクション方法
US20190208090A1 (en) Image processing device and associated image processing method
JP6843510B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006340395A (ja) 色変換装置および色変換方法
CN108881670B (zh) 影像处理方法及影像处理装置
US20120207399A1 (en) Image processing apparatus and image processing method
JP2014086957A (ja) 画像処理装置及び画像処理方法
KR100677748B1 (ko) 노이즈 감쇄장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee