KR20080046015A - 영상 잡음 제거 방법 및 장치 - Google Patents

영상 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR20080046015A
KR20080046015A KR1020060115422A KR20060115422A KR20080046015A KR 20080046015 A KR20080046015 A KR 20080046015A KR 1020060115422 A KR1020060115422 A KR 1020060115422A KR 20060115422 A KR20060115422 A KR 20060115422A KR 20080046015 A KR20080046015 A KR 20080046015A
Authority
KR
South Korea
Prior art keywords
noise
pixel
pixels
current
boundary
Prior art date
Application number
KR1020060115422A
Other languages
English (en)
Other versions
KR101298642B1 (ko
Inventor
정영훈
황원규
이금석
박주희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060115422A priority Critical patent/KR101298642B1/ko
Priority to US11/863,393 priority patent/US8050509B2/en
Publication of KR20080046015A publication Critical patent/KR20080046015A/ko
Application granted granted Critical
Publication of KR101298642B1 publication Critical patent/KR101298642B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

시공간적 잡음 제거 및 시인성 향상을 위한 영상 잡음 제거 방법 및 장치가 개시되어 있다. 본 발명은 현재 화소의 주변 화소들의 시공간 잡음 정도를 추출하고, 추출된 잡음 정도에 따라 현재 화소 주변의 시공간상 화소에 가중치를 두어 현재 화소의 잡음을 필터링하고, 잡음 필터링된 화소와 부스트 업된 화소에 상기 경계 강도에 따른 가중치를 적용하여 합산하며, 시공간 잡음 정도는 화소들의 공간적 경계 강도, 화소들의 시간적 상관도, 화소들의 시공간적 밝기 변화중 적어도 하나에 근거하여 추출되는 것임을 특징으로 한다.

Description

영상 잡음 제거 방법 및 장치{Method and apparatus for eliminating image noise}
도 1은 본 발명에 따른 영상 잡음 제거 장치의 전체 블록도이다.
도 2는 도 1의 영상 잡음 제거 장치의 상세 블록도이다.
도 3은 도2의 고역 통과 필터부에서 펄터를 적용시키기 위한 윈도우를 도시한 것이다.
도 4는 도 2의 경계 강도 파라메터 함수를 표현하기 위한 비선형 특성 그래프이다.
도 5는 도 2의 밝기 파라메터 함수를 표현하기 위한 특성 그래프이다.
도 6a 및 도 6b는 도 2의 가중치 함수를 표현하기 위한 특성 그래프이다.
도 7은 도 2의 가중치 평균 함수를 위한 밝기값 차이를 나타낸 도면이다.
본 발명은 영상 처리 시스템에 관한 것이며, 특히 시공간적 잡음 제거 및 시인성 향상을 위한 영상 잡음 제거 방법 및 장치에 관한 것이다.
일반적으로 카메라를 통해 획득되고 채널을 통해 전송된 티브이 영상 신호에 는 영상 획득 과정과 전송 과정에서 필수적으로 잡음이 부가된다. 이러한 잡음은 시청자에게 열화된 영상을 제공하고, 고품질의 영상을 제공하기 위한 영상 신호 처리 과정에서 부적절한 영향을 미친다.
따라서 이러한 잡음 제거 방법은 통상적으로 공간 잡음 제거 알고리듬과 시간 잡음 제거 알고리듬으로 구분된다.
공간 잡음 제거 알고리듬은 영상의 정적 모델(stationary model)을 이용하기 때문에 잡음이 제거된 영상에서 윤곽선을 보존하지 못하는 문제점이 있다. 다시 말하면 윤곽선 영역은 공간적으로 고주파 성분을 갖는다. 따라서 공간 잡음 제거 알고리듬은 고주파 잡음을 제거하기 위해 필터링을 수행할 경우 고주파 잡음과 함께 윤곽선의 손상으로 인해 영상 신호가 뭉개지는 현상을 초래한다.
또한 시간 잡음 제거 알고리듬은 다수 프레임들의 영상 신호들을 사용하여 시간적으로 잡음 특성을 파악하거나 물체의 형태 변화 또는 시간적인 신호의 변화를 토대로 잡음과 신호를 분리한다. 시간 잡음 제거 알고리듬은 공간 잡음 제거 알고리듬보다 효과면에서 우수하지만 하드웨어 및 소프트웨어 구현시 많은 계산량을 요구하는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 영상 처리에 있어서 공간적 경계 성분(spatial edge detector)과 시간적 상관도(temporal correlation), 시공간적 밝기(spatial-temporal brightness)를 고려하여 영상 잡음을 제거하고 시인성을 향상시키는 영상 잡음 제거 방법 및 장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 영상 잡음 제거 방법에 있어서,
현재 화소의 주변 화소들의 시공간 잡음 정도를 추출하는 과정;
상기 추출된 잡음 정도에 따라 현재 화소 주변의 시공간상 화소에 가중치를 두어 현재 화소의 잡음을 필터링하는 과정;
상기 잡음 필터링된 화소와 부스트 업된 화소에 상기 경계 강도에 따른 가중치를 적용하여 합산하는 과정을 포함한다.
상기의 기술적 과제를 해결하기 위하여, 본 발명의 영상 처리 장치에 있어서,
현재 프레임의 화소의 주변 화소들과 이전 프레임들의 현재 화소의 주변 화소들의 시공간 정보를 바탕으로 현재 화소의 주변 화소들의 시공간 잡음 정도를 추출하는 잡음 정도 추출부;
상기 잡음 정도 추출부에서 추출된 잡음 정도에 따라 현재 화소 주변의 시공간상 화소에 가중치를 두어 현재 화소의 잡음을 필터링하는 시공간 잡음 제거부;
상기 시공간 잡음 제거부에서 잡음 필터링된 화소와 부스트 업된 화소에 경계 강도에 따른 가중치를 적용하여 합산하는 경계 개선부를 포함한다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명에 따른 영상 잡음 제거 장치의 전체 블록도이다.
도 1의 영상 잡음 제거 장치는 제1,제2저장부(110, 120), 잡음 정도 추출부(130), 시공간 잡음 제거부(140), 경계 개선부(150)를 포함한다. 여기서 잡음 정도 추출부(100)는 경계 파라메터 추출부(130), 상관도 파라메터 추출부(140), 밝기 파라메터 추출부(150)로 세분화된다.
제1저장부(110)는 이전 프레임의 영상 신호를 저장한다.
제2저장부(120)는 현재 프레임의 영상 신호를 저장한다.
잡음 정도 추출부(100)는 현재 프레임의 화소의 주변 화소들과 이전 프레임들의 현재 화소의 주변 화소들의 시공간 정보를 바탕으로 현재 화소의 주변 화소들의 시공간 잡음 정도를 추출한다. 잡음 정도 추출부(100)는 경계 파라메터 추출부(130), 상관도 파라메터 추출부(140), 밝기 파라메터 추출부(150)를 통해 각각 경계 파라메터, 상관도 파라메터, 밝기 파라메터를 추출하고, 그 추출된 경계 파라메터, 상관도 파라메터, 밝기 파라메터를 합산하여 잡음 정도를 추출한다.
경계 파라메터 추출부(130)는 현 화소 주위의 경계 강도를 추출하기 위해 현재 프레임의 영상 신호를 고역 통과 필터링하여 경계(edge) 부분에 해당하는 고주파 성분을 추출하고, 그 고주파 성분에 임의의 함수를 적용하여 경계 파라메터를 추출한다.
상관도 파라메터 추출부(140)는 2차원 저역 통과 필터를 사용하여 현재 및 이전 프레임의 영상 신호들간의 시간 차이에 의한 상관도를 추출하고, 그 상관도에 임의의 함수를 적용하여 상관도 파라메터를 추출한다.
밝기 파라메터 추출부(150)는 시간의 흐름에 따른 현재 화소 주위의 정보 변 화를 추출하는 것이다. 즉, 밝기 파라메터 추출부(150)는 2차원 저역 통과 필터를 사용하여 현재 및 이전 프레임내 현재 화소 주변의 화소 변화를 추출하고, 그 주변 화소 변화값에 임의의 함수를 적용하여 밝기 파라메터를 추출한다.
시공간 잡음 제거부(160)는 잡음 정도 추출부(100)에서 추출된 잡음 정도에 따라 현재 화소 주변의 시공간상 화소에 가중치를 두어 현재 화소의 잡음을 필터링한다.
경계 개선부(170)는 시공간 잡음 제거부(160)에서 잡음 필터링된 화소와 부스트 업(boosted-up)된 화소에 경계 강도에 따른 가중치를 적용하여 그 화소들을 합산하여 출력한다.
도 2는 도 1의 영상 잡음 제거 장치를 상세하게 설명하는 블록도이다. 또한 도 2의 블록도는 영상 잡음 제거를 구현하는 흐름도로 대치될 수 있다.
먼저, 경계 파라메터 추출부(130)는 고역 통과 필터부(232), 경계 강도 추출부(234), 경계 강도 파라메터 계산부(236)로 구성된다.
고역 통과 필터부(232)는 2차원 고역 통과 필터를 사용하여 현재 프레임의 영상 신호로부터 현재 화소 주위의 경계 정보에 해당하는 고역 성분을 추출한다. 이때 고역 통과 필터에 적용하기 위한 윈도우는 도 3에 도시된 바와 같이 현재 화소(I(x,y)) 주변의 MxN화소로 설정된다. 또한 필터 계수는 고역통과 특성을 갖는다.
고역 통과 필터링된 화소는 수학 식 1과 같이 나타낼 수 있다.
Figure 112006085397226-PAT00001
여기서, Fij 는 필터 계수(i = -Δw ~ + Δw, j = -Δh ~ + Δh)이며, I(x,y) 는 필터내의 각 위치에서의 화소값이다.
이때 필터 계수는 MxN 화소의 2차원 매트릭스 형태이며, 그 계수들의 합이 "0"로 구성된다.
경계 강도 추출부(234)는 고역 통과 필터부(232)와 경계 강도 파라메타 계산부(236)사이의 입출력 관계를 매핑시키기 위해 임의의 매핑 함수를 사용하여 고역 신호를 변형한다. 예를 들면, 고역 통과 필터부(232)와 경계 강도 파라메타 계산부(236)가 1:1로 매핑이 된다면, 함수는 Y=X이 된다. 또한 선형적이거나 비선형적인 함수가 필요할 경우 적절한 매핑 함수를 이용할 수 있다. 수학식 2는 경계 강도값(Edge(x,y))과 고역통과신호(IHPF(x,y)간의 매핑 함수를 나타낸다.
Figure 112006085397226-PAT00002
경계 강도 파라메터 계산부(236)는 변형된 신호를 수학식 3과 같은 함수 기반의 계산식 또는 임의의 룩-업 테이블(Look-Up-Table) 방식에 의해 파라메터(δEdge(x,y))로 변환한다. 공간상 경계가 강해질수록 잡음을 제거하는 강도는 약해져야 하므로, 함수는 도 4와 같이 반비례하는 특성을 가져야 한다. 즉, 반비례 특성을 모델링하기 위해 도 4처럼 지수(Exponential), 로그(log)등의 비선형 특성을 사용하거나 Piecewisw Line 특성을 사용하여 수학적 모델을 설정하여야 한다.
Figure 112006085397226-PAT00003
다시 도 2로 돌아가서, 상관도 파라메터 추출부(140)는 상관 필터부(242), 상관도 추출부(244), 상관도 파라메터 계산부(246)로 구성된다.
상관 필터부(242)는 2차원 저역통과 필터(2D LPF)를 사용하여 시간 상관 정보를 추출한다. 이 때 상관 필터부(242)는 시간적 차이를 고려하기 위해 프레임간 차이를 구해야 한다. 따라서 상관 필터부(242)는 시간적으로 차이가 있는 두 프레임이상의 영상 정보의 차이를 구하고, 2D 저역 통과 필터를 사용하여 현재 프레임의 화소값과 시간적으로 떨어져 있는 다른 프레임 화소값들간의 상관도를 구한다.
이때 필터값은 다양하게 적용될 수 있으나, 일반적으로 현 프레임 화소와 타 프레임 화소간의 유클리디안 거리에 기반을 둔 가중치로 설정된다.
수학식 4는 현재 프레임과 이전프레임, 즉 2프레임간의 시간적 상관 필터링에 관한 수식이다. 단, 다수의 프레임이 사용될 경우 수학식 4에서 필터와 프레임은 확장될 수 있다.
Figure 112006085397226-PAT00004
여기서, Fij 는 필터 계수(i = -Δw ~ + Δw, j = -Δh ~ + Δh)이며, Icurr(x,y) 는 필터내의 각 위치에서의 현재 프레임의 화소값이며, Iprev(x,y) 는 필터내의 각 위치에서의 이전 프레임의 화소값이다.
이때 필터 계수는 MxN 화소의 2차원 매트릭스 형태이며, 그 계수들의 합이 "0"로 구성된다.
상관도 추출부(244)는 상관 필터부(242)와 상관도 파라메터 계산부(246)사이의 입출력 관계를 매핑시키기 위해 임의의 매핑 함수를 사용하여 화소간의 차이 신호를 변형한다.
수학식 5는 상관함수(Corr(x,y))와 차이신호(IDIFF(x,y))간의 매핑 함수를 나타낸다.
Figure 112006085397226-PAT00005
상관도 파라메터 계산부(246)는 변형된 신호를 수학식 6과 같은 함수 기반의 계산식 또는 임의의 룩-업 테이블(Look-Up-Table) 방식에 의해 파라메터(δTempo(x,y))로 변환한다. 즉, 상관도 파라메터 계산부(246)는 임의의 함수를 사용하여 시간적 상관도와 파라메타 사이의 관계식을 설정할 수 있다.
수학식 6이 함수 개념은 시간적 상관 높을 경우에는 잡음 제거를 강하게 하 고, 상관도가 약할 경우(움직임이 많은 경우) 잡음제거를 약하게 하여 경계부분을 보존한다.
Figure 112006085397226-PAT00006
다시 도 2로 돌아가서, 밝기 파라메터 추출부(150)는 밝기 분석부(252), 밝기값 추출부(254), 밝기 파라메터 계산부(256)로 구성된다.
밝기 분석부(252)는 수학식 7에 나타난 바와 같이 2D 저역통과 필터를 사용하여 현 프레임의 현재 화소 주변의 밝기 신호와 이전 프레임들의 현재 화소 주변의 밝기 신호를 분석한다.
필터 계수는 저역통과 필터 계수이며, 프레임의 수에 따라 다양한 필터계수가 사용된다. 현재 프레임과 필터링하려는 프레임간의 시간적 차이가 멀어질수록 유클리디안 거리에 따라 필터 계수의 크기가 작아지게 된다.
Figure 112006085397226-PAT00007
여기서,
Figure 112006085397226-PAT00008
는 현재 프레임과 이전 프레임에서의 필터 계수(i = -Δ w ~ + Δw, j = -Δh ~ + Δh)이며, Icurr(x,y) 는 필터내의 각 위치에서의 현재 프레임의 화소값이며, Iprev(x,y) 는 필터내의 각 위치에서의 이전 프레임의 화소값이다.
밝기값 추출부(254)는 밝기 분석부(252)와 밝기 파라메터 계산부(256)사이의 입출력 관계를 매핑시키기 위해 임의의 매핑 함수를 사용하여 주변 화소의 밝기 신호를 변형한다.
수학식 8은 밝기 함수(Bright(x,y))와 밝기 신호(IBright(x,y))간의 매핑 함수를 나타낸다.
Figure 112006085397226-PAT00009
밝기 파라메터 계산부(256)는 변형된 신호를 수학식 9와 같은 함수 기반의 계산식 또는 임의의 룩-업 테이블(Look-Up-Table) 방식에 의해 파라메터(δBright(x,y))로 변환한다.
Figure 112006085397226-PAT00010
수학식 9와 같은 함수는 Weber's Law에 따라 주변 밝기가 어둡거나 밝은 영역보다는 중간밝기에서의 잡음 민감도가 증가되는 성질을 이용한다. 따라서 수학식 9는 중간 밝기 영역에서 밝기 파라메터(δBright(x,y))를 증대시키는 함수를 의미한다. 수학식 9의 함수는 기본적으로 도 5에 표현되어 있는 특성을 지닌다. 도 4처럼 지수(Exponential), 로그(log)등의 비선형 특성을 사용하거나 Piecewisw Line 특성을 사용하여 수학적 모델을 설정할 수 있다.
다시 2로 돌아가서, 가산부(262)는 수학식 10에서와 같이 경계 강도 파라메터 계산부(236), 상관도 파라메터 계산부(246), 밝기 파라메터 계산부(256)에서 구해진 경계 강도 파라메터(δEdge(x,y)), 상관도 파라메터(δTempo(x,y)), 밝기 파라메터(δBright(x,y))를 합산하여 잡음 정도 파라메터(δ(x,y))를 추출한다.
Figure 112006085397226-PAT00011
수학식 10은 잡음 정도 파라메터(δ(x,y)) 감소 될수록 경계 영역이거나, 시공간상 관련성이 적거나, 아니면 밝기가 아주 밝거나 어두운 영역이기 때문에 결국 잡음제거를 약하게 하는 의미이다.
가중치 추출부(264)는 화소들(I1~I30)간의 차이와 잡음 정도 파라메터(δ(x,y))를 이용하여 각 화소들(I1~I30)에 대한 가중치(wi(x,y))를 구한다.
가중치(wi(x,y))는 다양한 형태의 수식으로 모델링될 수 있다.
예를 들면, 가중치(wi(x,y))는 수학식 11과 같이 지수(exponential) 함수(예 1)를 사용하거나 Piecewise linear 형태의 함수(예2)를 사용하여 다음과 같이 정의할 수 있다.
Figure 112006085397226-PAT00012
도 6a 및 도 6b는 지수(exponential) 함수를 사용하거나 Piecewise linear 형태의 함수를 사용하여 가중치 함수를 모델링한 그래프이다. 도 6a 및 도 6b에서 x축은 현재화소와 시공간상의 주변화소들(I1~I30)간의 밝기값 차이이며, y축은 가중치(wi(x,y))이다.
따라서 수학식 11에서 잡음 정도 파라메터(δ(x,y))가 커질수록 가중치(wi(x,y))는 줄어들게 된다.
잡음 필터부(268)는 가중치 추출부(264)에서 추출된 MxN-1 개의 가중치(wi(x,y))를 사용하여 현재 프레임과 이전 프레임의 현재의 화소의 주변 화소에 가중 평균값을 구하고, 그 가중 평균값을 현재 화소에 대치함으로써 잡음이 제거된 화소값을 구한다.
수학식 12는 잡음 필터부(268)에서 가중치 평균 함수를 이용하여 잡음이 제거된 현재 화소값(IDenoise(x,y))을 구하는 식이다.
Figure 112006085397226-PAT00013
부스트-업부(272)는 고역 통과 필터를 사용하여 현재 프레임의 영상 신호를 부스트-업(Boosted-Up)시킨다.
수학식 13은 부스트-업(Boosted-Up) 신호값을 나타낸다.
Figure 112006085397226-PAT00014
경계 비주얼 개선부(274)는 잡음 필터부(268)에서 잡음이 제거된 화소값과 부스트-업부(272)에서 부스트-업된 화소값에 대해 각각 경계 강도에 해당하는 가중치(Weight)를 조절하여, 시각적으로 경계가 향상된 영상을 출력한다. 이때 가중치는 경계 강도 추출부(234)에서 추출된 경계 강도를 이용한다.
수학식 14는 가중치(weight)가 적용된 최종 출력의 화소값(IFinal(x,y))이다.
Figure 112006085397226-PAT00015
따라서 경계 영역(경계 강조가 강한 부분)에서는 부스트-업된 화소값에 더 가중치를 둠으로써 경계를 유지하고, 평탄 영역(경계 강도가 약한 부분))에서는 잡 음 제거된 화소값에 더 가중치를 둠으로써 잡음을 강하게 제거한다.
이때 가중치(weight)는 수학식 15와 같이 경계 강도값의 함수로 나타낼 수 수 있다.
Figure 112006085397226-PAT00016
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.
또한 본 발명은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상술한 바와 같이 본 발명에 의하면, 공간적 경계 성분, 시간적 변화 성분, 시공간적 밝기 변화를 고려하여 시공간적 잡음 제거를 수행할 수 있다. 즉, 본 발명은 시각 모델을 사용하여 시각적으로 민감한 중간 계조에서 발생하는 잡음을 억 제하고, 또한 시간적으로 민감한 경계부분에서 발생하는 잡음의 영향력을 줄이고, 또한 시각적으로 민감하지 않는 영역에서 발생하는 잡음을 강하게 제거할 수 있다. 따라서 본 발명은 캠코더와 디지털 카메라, 광 기록/재생 장치, 휴대용 멀티미디어 장치, 디지털 TV와 프로젝션 장치등에 적용할 수 있다.

Claims (14)

  1. 영상 잡음 제거 방법에 있어서,
    현재 화소의 주변 화소들의 시공간 잡음 정도를 추출하는 과정;
    상기 추출된 잡음 정도에 따라 현재 화소 주변의 시공간상 화소에 가중치를 두어 현재 화소의 잡음을 필터링하는 과정;
    상기 잡음 필터링된 화소와 부스트 업된 화소에 상기 경계 강도에 따른 가중치를 적용하여 합산하는 과정을 포함하는 영상 잡음 제거 방법.
  2. 제1항에 있어서, 상기 시공간 잡음 정도는
    현재 프레임의 화소의 주변 화소들과 이전 프레임들의 현재 화소의 주변 화소들의 시공간 정보를 바탕으로 추출되는 것임을 특징으로 하는 영상 잡음 제거 방법.
  3. 제1항에 있어서, 상기 시공간 잡음 정도는 화소들의 공간적 경계 강도, 화소들의 시간적 상관도, 화소들의 시공간적 밝기 변화중 적어도 하나에 근거하여 추출되는 것임을 특징으로 하는 영상 잡음 제거 방법.
  4. 제1항에 있어서, 상기 시공간 잡음 정도 추출 과정은
    화소들의 공간적 경계 강도, 화소들의 시간적 상관도, 화소들의 시공간적 밝기를 추출하는 과정;
    상기 공간적 경계 강도, 시간적 상관도, 시공간적 밝기를 함수 기반의 계산식에 의해 임의의 파라메터들로 변환하는 과정을 구비하는 것을 특징으로 하는 영상 잡음 제거 방법.
  5. 제4항에 있어서, 상기 경계 강도 추출 과정은 현재 프레임의 영상 신호를 고역 통과 필터링하여 경계 강도를 추출하고,
    그 고역 필터링된 신호를 임의의 함수에 의해 변형하고,
    그 변형된 신호를 함수 기반의 계산식에 의해 파라메터로 변환하는 것임을 특징으로 하는 영상 잡음 제거 방법.
  6. 제4항에 있어서, 상기 상관도 추출 과정은 현재 프레임들의 현재 화소의 주변 화소와 이전 또는 이후 프레임들의 현재 화소의 주변 화소간의 차이를 추출하고,
    그 화소 차이를 임의의 함수에 의해 변형하고,
    그 변형된 차이값을 함수 기반의 계산식에 의해 파라메터로 변환하는 것임을 특징으로 하는 영상 잡음 제거 방법.
  7. 제4항에 있어서, 상기 밝기 추출 과정은 현재 및 이전 프레임내 현재 화소 주변의 화소 변화를 추출하고,
    그 화소 변화를 임의의 함수에 의해 변형하고,
    그 변형된 화소 변화를 함수 기반의 계산식에 의해 파라메터로 변환하는 것임을 특징으로 하는 영상 잡음 제거 방법.
  8. 제1항에 있어서, 상기 잡음 필터링 과정은
    상기 공간적 경계 강도 파라메터, 시간적 상관 파라메터, 시공간적 밝기 파라메터들을 합산하고,
    상기 합산된 파라메터값 및 현재 화소와 그 주변 화소들간의 차이값을 기반으로 현재 화소 및 그 주변 화소들 각각의 가중치를 계산하고,
    상기 계산된 가중치를 기반으로 현재 프레임과 이전 프레임의 현재 화소의 주변 화소에 대해 가중 평균을 구하고, 그 가중 평균값을 현재 화소에 대치하는 것임을 특징으로 하는 영상 잡음 제거 방법.
  9. 제1항에 있어서, 상기 경계 강도에 따른 가중치를 적용하여 출력하는 과정은
    현재 프레임의 영상 신호를 부스트-업하고,
    상기 잡음 필터링된 화소와 상기 부스트 업된 화소에 경계 강도에 따른 가중치를 적용하여 합산하는 것임을 특징으로 하는 영상 잡음 제거 방법.
  10. 제9항에 있어서, 상기 경계 강도에 따른 가중치는 상기 생성된 경계 정보를 입력받는 임의의 함수의 출력에 의해 결정되는 파라메터임을 특징으로 하는 영상 잡음 제거 방법.
  11. 영상 처리 장치에 있어서,
    현재 프레임의 화소의 주변 화소들과 이전 프레임들의 현재 화소의 주변 화소들의 시공간 정보를 바탕으로 현재 화소의 주변 화소들의 시공간 잡음 정도를 추출하는 잡음 정도 추출부;
    상기 잡음 정도 추출부에서 추출된 잡음 정도에 따라 현재 화소 주변의 시공간상 화소에 가중치를 두어 현재 화소의 잡음을 필터링하는 시공간 잡음 제거부;
    상기 시공간 잡음 제거부에서 잡음 필터링된 화소와 부스트 업된 화소에 경계 강도에 따른 가중치를 적용하여 합산하는 경계 개선부를 포함하는 영상 잡음 제거 장치.
  12. 제11항에 있어서, 상기 잡음 정도 추출부는
    현재 프레임의 영상 신호를 고역 통과 필터링하여 경계 강도를 추출하는 경계 파라메터 추출부;
    상기 현재 프레임들의 현재 화소의 주변 화소와 이전 또는 이후 프레임들의 현재 화소의 주변 화소간의 차이를 추출하는 상관도 파라메터 추출부;
    상기 현재 및 이전 프레임내 현재 화소 주변의 화소 변화를 추출하는 밝기 파라메터 추출부를 구비하는 것을 특징으로 하는 영상 잡음 제거 장치.
  13. 제11항에 있어서, 상기 시공간 잡음 제거부는
    상기 공간적 경계 강도 파라메터, 시간적 상관 파라메터, 시공간적 밝기 파라메터들을 합산하는 가산부;
    상기 가산부에서 합산된 파라메터값 및 현재 화소와 그 주변 화소들간의 차이값을 기반으로 현재 화소 및 그 주변 화소들 각각의 가중치를 추출하는 가중치 추출부;
    상기 가중치 추출부에서 추출된 가중치를 기반으로 현재 프레임과 이전 프레임의 현재 화소의 주변 화소에 대해 가중 평균을 구하고, 그 가중 평균값을 현재 화소에 대치하는 잡음 필터부를 구비하는 것을 특징으로 하는 영상 잡음 제거 장치.
  14. 제11항에 있어서, 경계 개선부는
    현재 프레임의 영상 신호를 고역 필터링하여 부스트-업하는 부스트-업부;
    상기 잡음 필터링된 화소와 상기 부스트 업부에서 부스트업된 화소에 경계 강도에 따른 가중치를 적용하여 합산하는 경계 비주얼 개선부를 구비하는 것을 특징으로 하는 영상 잡음 제거 장치.
KR1020060115422A 2006-11-21 2006-11-21 영상 잡음 제거 방법 및 장치 KR101298642B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060115422A KR101298642B1 (ko) 2006-11-21 2006-11-21 영상 잡음 제거 방법 및 장치
US11/863,393 US8050509B2 (en) 2006-11-21 2007-09-28 Method of and apparatus for eliminating image noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060115422A KR101298642B1 (ko) 2006-11-21 2006-11-21 영상 잡음 제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080046015A true KR20080046015A (ko) 2008-05-26
KR101298642B1 KR101298642B1 (ko) 2013-08-21

Family

ID=39417033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060115422A KR101298642B1 (ko) 2006-11-21 2006-11-21 영상 잡음 제거 방법 및 장치

Country Status (2)

Country Link
US (1) US8050509B2 (ko)
KR (1) KR101298642B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140033856A (ko) * 2012-09-11 2014-03-19 삼성전자주식회사 잡음 추정 장치 및 방법
US8810602B2 (en) 2009-06-09 2014-08-19 Samsung Electronics Co., Ltd. Image processing apparatus, medium, and method
KR102315359B1 (ko) * 2021-02-01 2021-10-21 한양대학교 산학협력단 밀집 순환 합성곱 신경망을 이용한 블라인드 동영상 잡음 제거 시스템 및 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5538684B2 (ja) * 2008-03-13 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
TWI504248B (zh) * 2008-10-27 2015-10-11 Realtek Semiconductor Corp 影像處理裝置及影像處理方法
KR101520624B1 (ko) * 2008-12-31 2015-05-15 삼성전자주식회사 비트 맵 방식의 영상 인코딩/디코딩 방법 및 장치
US8767127B2 (en) * 2009-04-17 2014-07-01 General Instrument Corporation System for reducing noise in video processing
JP5393245B2 (ja) * 2009-05-12 2014-01-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、x線画像撮影装置およびx線画像撮影装置の制御方法
KR101690297B1 (ko) * 2010-04-12 2016-12-28 삼성디스플레이 주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
JPWO2012098854A1 (ja) * 2011-01-20 2014-06-09 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
EP2564786A1 (en) * 2011-08-31 2013-03-06 General Electric Company Method for automatic contour filter positioning for medical X-ray imaging
US9503756B2 (en) 2011-12-09 2016-11-22 Arris Enterprises, Inc. Encoding and decoding using perceptual representations
KR101306242B1 (ko) 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
JP6082304B2 (ja) * 2012-04-17 2017-02-15 キヤノン株式会社 画像処理装置及びその処理方法
US9041834B2 (en) * 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams
KR20140086632A (ko) * 2012-12-28 2014-07-08 삼성디스플레이 주식회사 영상 처리 장치 및 그것을 포함하는 표시 장치
TWI596573B (zh) 2013-04-25 2017-08-21 財團法人工業技術研究院 影像處理裝置及其影像雜訊抑制方法
US10326969B2 (en) * 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
JP6381198B2 (ja) * 2013-11-08 2018-08-29 キヤノン株式会社 制御装置、制御方法及びプログラム
US10013078B2 (en) * 2014-04-11 2018-07-03 Pixart Imaging Inc. Optical navigation device and failure identification method thereof
CN104166969B (zh) * 2014-08-25 2017-06-13 广东威创视讯科技股份有限公司 数字图像增强方法和系统
JP6075888B2 (ja) * 2014-10-16 2017-02-08 キヤノン株式会社 画像処理方法、ロボットの制御方法
US20170024860A1 (en) * 2015-07-24 2017-01-26 Le Holdings (Beijing) Co., Ltd. Method and device for adaptive spatial-domain video denoising
CN105915761A (zh) * 2015-07-24 2016-08-31 乐视云计算有限公司 一种自适应视频空域去噪方法及装置
US10043252B2 (en) * 2016-06-14 2018-08-07 Intel Corporation Adaptive filtering with weight analysis
CN107979712B (zh) * 2016-10-20 2020-02-21 上海富瀚微电子股份有限公司 一种视频降噪方法及装置
CN109274949A (zh) * 2018-10-30 2019-01-25 京东方科技集团股份有限公司 一种视频图像处理方法及其装置、显示设备
CN110706245B (zh) * 2019-10-18 2021-09-21 合肥工业大学 基于累积法的gm(1,1)预测模型的图像边缘检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
EP0878776B1 (en) * 1997-05-12 2003-08-27 STMicroelectronics S.r.l. Adaptive intrafield reducing of gaussian noise by fuzzy logic processing
US7046857B2 (en) * 1997-07-31 2006-05-16 The Regents Of The University Of California Apparatus and methods for image and signal processing
JPH11250246A (ja) * 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
US6295382B1 (en) * 1998-05-22 2001-09-25 Ati Technologies, Inc. Method and apparatus for establishing an adaptive noise reduction filter
KR100327385B1 (en) * 2000-07-18 2002-03-13 Lg Electronics Inc Spatio-temporal three-dimensional noise filter
KR100405150B1 (ko) * 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
KR100948381B1 (ko) * 2003-05-15 2010-03-22 삼성전자주식회사 인간시각시스템을 이용한 영상 워터마킹 방법
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
KR100624421B1 (ko) * 2004-05-04 2006-09-19 삼성전자주식회사 디지탈 영상 신호 필터링 장치 및 방법
US7724979B2 (en) * 2004-11-02 2010-05-25 Broadcom Corporation Video preprocessing temporal and spatial filter
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
JP4517872B2 (ja) * 2005-02-10 2010-08-04 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4789140B2 (ja) * 2005-05-19 2011-10-12 株式会社メガチップス 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810602B2 (en) 2009-06-09 2014-08-19 Samsung Electronics Co., Ltd. Image processing apparatus, medium, and method
KR20140033856A (ko) * 2012-09-11 2014-03-19 삼성전자주식회사 잡음 추정 장치 및 방법
KR102315359B1 (ko) * 2021-02-01 2021-10-21 한양대학교 산학협력단 밀집 순환 합성곱 신경망을 이용한 블라인드 동영상 잡음 제거 시스템 및 방법

Also Published As

Publication number Publication date
US20080118179A1 (en) 2008-05-22
US8050509B2 (en) 2011-11-01
KR101298642B1 (ko) 2013-08-21

Similar Documents

Publication Publication Date Title
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
Parihar et al. A study on Retinex based method for image enhancement
US8279345B2 (en) System and method for random noise estimation in a sequence of images
JP4733127B2 (ja) 適応性3dノイズ減少装置及び方法
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
US7529425B2 (en) Denoising method, apparatus, and program
KR100624421B1 (ko) 디지탈 영상 신호 필터링 장치 및 방법
KR20160102524A (ko) 이미지의 역 톤 매핑을 위한 방법
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
KR20140091094A (ko) 영상 처리 장치 및 방법
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
US20080239155A1 (en) Low Complexity Color De-noising Filter
US20170256037A1 (en) Image de-noising method and apparatus thereof
Kumari et al. Fast single image and video deweathering using look-up-table approach
WO2007057808A2 (en) Blur estimation
KR101717733B1 (ko) Hdr 이미지 처리 장치 및 방법
Fry et al. Validation of modulation transfer functions and noise power spectra from natural scenes
Srinivas et al. Channel prior based Retinex model for underwater image enhancement
KR102346752B1 (ko) 저시정 영상개선 기능을 갖는 영상처리 시스템 및 이의 영상처리 방법
Albu Linear prediction based image enhancement method
Tigga et al. Image deblurring with impulse noise using alternating direction method of multipliers and Lucy-Richardson method
Sari et al. Development of denoising method for digital image in low-light condition
Wen et al. TransIm: Transfer image local statistics across EOTFs for HDR image applications
Selvi et al. Dehazing of natural images using non-linear wavelet filter
Jayanthi et al. Underwater haze removal using contrast boosted grayscale image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 6