KR101595883B1 - 영상의 움직임 보상 노이즈 제거 장치 및 방법 - Google Patents

영상의 움직임 보상 노이즈 제거 장치 및 방법 Download PDF

Info

Publication number
KR101595883B1
KR101595883B1 KR1020100009645A KR20100009645A KR101595883B1 KR 101595883 B1 KR101595883 B1 KR 101595883B1 KR 1020100009645 A KR1020100009645 A KR 1020100009645A KR 20100009645 A KR20100009645 A KR 20100009645A KR 101595883 B1 KR101595883 B1 KR 101595883B1
Authority
KR
South Korea
Prior art keywords
noise
image
generating
removing means
noise removing
Prior art date
Application number
KR1020100009645A
Other languages
English (en)
Other versions
KR20110090068A (ko
Inventor
정영제
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020100009645A priority Critical patent/KR101595883B1/ko
Publication of KR20110090068A publication Critical patent/KR20110090068A/ko
Application granted granted Critical
Publication of KR101595883B1 publication Critical patent/KR101595883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있는 영상의 움직임 보상 노이즈 제거 장치 및 방법에 관한 것이다. 영상의 움직임 보상 노이즈 제거 장치는 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단; 상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단; 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단을 포함한다.

Description

영상의 움직임 보상 노이즈 제거 장치 및 방법{Apparatus and method for reducing motion compensation noise of image}
본 발명은 동영상의 움직임 보상 노이즈를 제거하는 장치 및 방법에 관한 것이다.
이미지 센서의 경우 저조도 시에 비디오 신호의 증폭을 위해 이미지 센서의 출력을 증폭시킨다. 이때 화면 상에 게인(gain) 노이즈가 발생하게 되는데, 이 노이즈를 제거하기 위해 일반적으로 시간축 상에 N×N 공간 필터링을 사용하여 영상에서 노이즈를 제거한다.
시간축 상의 필터링은 동영상의 경우 비디오 증폭에 따른 게인 노이즈 이외에 움직이는 물체 및 영상의 에지(edge) 부분까지 필터링이 되어 영상이 흐려지는 문제가 발생한다. 또한 동영상의 경우 화면에 움직임이 심할 경우 움직임이 많을수록 필터링이 많이 되어 영상의 끌림이 발생한다.
본 발명이 해결하고자 하는 기술적인 과제는 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거하는 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상의 움직임 보상 노이즈 제거 장치는 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단; 상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단; 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 2D 노이즈 제거수단은 입력된 이미지를 필터링하여 서브 이미지들을 생성하는 웨이블릿 변환부; 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 움직임 예측부; 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 노이즈 제거부; 및 상기 노이즈가 제거된 상기 서브 이미지들을 합성하여 출력 이미지를 생성하는 웨이블릿 역변환부를 포함할 수 있다.
본 발명에 있어서, 상기 움직임 예측부는 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 움직임 벡터 처리부; 및 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 이미지 생성부를 포함할 수 있다.
본 발명에 있어서, 상기 노이즈 제거부는 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거할 수 있다.
본 발명에 있어서, 상기 합성비율 생성수단은 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이하이면 상기 2D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이가 일정값 이상이면 상기 3D 노이즈 제거수단의 출력 영상이 더 커지도록 상기 합성비율을 조정할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상의 움직임 보상 노이즈 제거 방법은 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거 단계; 상기 2D 노이즈가 제거된 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거 단계; 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성단계; 및 상기 생성된 합성비율에 따라 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상을 합성하여 출력 영상을 생성하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 2D 노이즈 제거 단계는 (a) 입력된 이미지를 웨이블릿 변환하여 서브 이미지들을 생성하는 단계; (b) 상기 서브 이미지들 중 이전 및 현재의 저주파 부대역 이미지로부터 움직임을 예측하여 관심 영역(ROI:region of interest) 이미지를 생성하는 단계; (c) 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이미지에 따라 선택적으로 노이즈를 제거하는 단계; 및 (d) 상기 노이즈가 제거된 상기 서브 이미지들에 웨이블릿 역변환을 수행하여 출력 이미지를 생성하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 이전 및 현재의 저주파 부대역 이미지로부터 움직임 예측 백터를 생성하고 정규화하는 단계; 및 (b-2) 상기 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (c)단계는 상기 서브 이미지들 중 고주파 부대역 이미지들에서 상기 관심영역 이진 이미지에 따라 기 설정된 노이즈 감쇄 곡선을 적용하여 노이즈를 제거할 수 있다.
본 발명에 있어서, 상기 합성비율을 생성단계에서 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이하이면 상기 2D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정하고, 상기 2D 노이즈가 제거된 영상 및 상기 3D 노이즈가 제거된 영상의 차이가 일정값 이상이면 상기 3D 노이즈가 제거된 영상이 더 커지도록 상기 합성비율을 조정할 수 있다.
상술한 바와 같이 본 발명에 따르면, 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있다.
도 1은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 2D 노이즈 제거수단에서 움직임을 예측하고, 관심영역 이미지를 생성하는 예를 보이는 도면이다.
도 3은 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하는 예를 보이는 도면이다.
도 4는 도 1 중 2D 노이즈 제거수단에서 선택적으로 노이즈를 제거하기 위해 기 설정되어 있는 노이즈 감쇄 곡선을 보이는 도면이다.
도 5는 도 1 중 3D 노이즈 제거수단에서 3D 노이즈 제거 전 영상 및 3D 노이즈 제거 후 영상을 보이는 도면이다.
도 6은 도 1 중 합성비율 생성수단에서 영상 차이에 따른 합성비율 적용 곡선을 보이는 도면이다.
도 7은 본 발명에 따른 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 방법의 동작을 보이는 흐름도 이다.
도 8은 도 7 중 2D 노이즈 제거 방법의 상세 흐름도 이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명에 따른 영상의 움직임 보상 노이즈 제거 장치의 구성을 보이는 블록도로서, 2D 노이즈 제거수단(100), 3D 노이즈 제거수단(200), 저장수단(300), 합성비율 생성수단(400) 및 영상 합성수단(500)를 포함한다.
2D 노이즈 제거수단(100)은 웨이블릿 변환한 입력 영상(Iin(t))로부터 관심 영역 이미지를 생성하여 노이즈를 제거한 후 웨이블릿 역변환을 수행하여 2D 노이즈가 제거된 영상(I2(t))을 출력한다.
본 발명에서 2D 노이즈 제거수단(100)은 웨이블릿 변환부(110), 고주파 부대역 추출부(120), 저주파 부대역 추출부(130), 움직임 벡터 처리부(140), ROI 이미지 생성부(150), 노이즈 제거부(160) 및 웨이블릿 역변환부(170)를 포함한다.
웨이블릿 변환부(110)는 입력된 이미지를 필터링하여 서브 이미지들을 생성한다. 웨이블릿 변환부(110)는 2차원 이미지의 각 행에 대해 저역 통과 필터와 고역 통과 필터를 적용시키고 다운 샘플링을 수행하여 저주파 부대역 서브 이미지로서, LL(low-low) 이미지 및 고주파 부대역 서브 이미지들로서, LH(low-high), HL(high-low) 및 HH(high-high) 이미지들을 생성한다.
여기서, LL 이미지는 원본 영상에 수평과 수직 방향으로 저역 통과 필터를 적용하여 2로 서브 샘플된 것이다. HL 이미지는 원본 영상에 수직방향으로 고역 통과 필터를 적용한 것으로 수직 방향 주파수의 오차 성분을 포함하고 있다. LH 이미지는 수평 방향으로 고역 통과 필터를 적용한 것으로 수평방향 주파수의 오차 성분을 포함하고 있다. HH 이미지는 수평과 수직 방향에 고역 통과 필터를 적용한 것이다.
웨이블릿 변환은 영상의 시간적 정보 및 주파수 정보를 모두 공유하고 있다. 이것은 주파수 및 공간적 영상 처리를 가능하게 한다. K단계의 웨이블릿 변환 시에 K단계의 저주파 부대역 이미지는 여전히 공간적 정보를 담고 있기 때문에 프레임간 움직인 정보를 얻을 수 있다. 또한 저주파 부대역 이미지의 움직임 정보는 다른 고주파 부대역에서도 공간적 정보와 일치하거나 1/2로 축소한 이미지와 동일하므로 고주파 부대역 중 움직임 정보가 있는 웨이블릿 계수들을 판단할 수가 있고, 선택적으로 노이즈 제거 기준값(threshold값)을 움직임 정보의 움직임 양에 비례하여 적용할 수 있다.
도 2a 및 도 2d에는 이전(I(t-1)) 및 현재(I(t)) 원 영상이, 도 2b 및 도 2e에는 이전(I(t-1)) 및 현재(I(t)) 영상을 웨이블릿 변환한 예가 도시되어 있다.
고주파 부대역 추출부(120)는 웨이블릿 변환되어 생성된 서브 이미지들 중 고주파 부대역 이미지 즉, LH(low-high), HL(high-low) 및 HH(high-high) 이미지들을 추출한다.
저주파 부대역 추출부(130)는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지 즉, LL(low-low) 이미지를 추출한다. 상기에서 언급된 바와 같이 저주파 부대역 이미지는 공간적 정보를 담고 있기 때문에 프레임간 움직인 정보를 얻을 수 있다.
도 2c 및 도 2f에는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지가 도시되어 있다.
움직임 벡터 처리부(140)는 이전(I(t-1)) 및 현재(I(t))의 저주파 부대역 이미지에 대하여 움직임 예측 백터를 생성하고, 생성된 움직임 벡터를 정규화한다.
ROI(region of interest:관심 영역) 이미지 생성부(150)는 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성한다. 도 2g에는 도 2c 및 도 2f의 저주파 부대역 이미지에 대하여 움직임 예측 벡터를 생성하고 정규화 한 후, 기준값에 따라 생성된 관심영역 이진 파일의 예가 도시되어 있다.
노이즈 제거부(160)는 도 3h에 도시된 고주파 부대역 추출부(110)에서 추출된 고주파 부대역 이미지들에서 도 3g에 도시된 관심영역 이진 이미지에 따라 선택적으로 노이즈를 제거한다. 노이즈 제거부(160)에는 도 4에 도시된 바와 같은 노이즈 감쇄 곡선이 기저장되어 있다. 관심 영역 이진 이미지가 1인 경우 도 4a에 도시된 바와 같은 노이즈 감쇄 곡선을 적용하고, 관심 영역 이진 이미지가 0인 경우 도 4b에 도시된 바와 같은 노이즈 감쇄 곡선을 적용하여 노이즈를 제거한다.
저주파 부대역 이미지의 움직임 정보는 다른 고주파 부대역에서도 공간적 정보와 일치하거나 1/2로 축소한 이미지와 동일하므로 고주파 부대역 중 움직임 정보가 있는 웨이블릿 계수들을 판단할 수가 있고, 선택적으로 노이즈 제거 기준값(threshold값)을 움직임 정보의 움직임 양에 비례하여 적용할 수 있다.
웨이블릿 역변환부(170)는 노이즈가 제거된 4개의 서브 이미지를 결합하여 원본 영상으로 복원하여 출력한다. 도 4i에는 노이즈가 제거된 후 웨이블릿 역변환이 수행된 이미지가 도시되어 있다. 도 2a 및 도 2d와 비교 시에 노이즈가 제거 되었음을 알 수 있다.
3D 노이즈 제거수단(200)은 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 저장수단(300)에 저장된 3D 노이즈가 제거된 이전 영상(I3(t-1)) 에 소정의 필터 계수를 적용하여 3D 노이즈를 제거한 영상(I3(t))을 출력한다.
저조도 시에 비디오 증폭 시킨 영상은 많은 노이즈를 포함하고 있다. 도 5a에는 영상 픽셀에서의 시간에 따른 휘도 변화량을 나타내고 있다. 3D 노이즈 제거수단(200)은 저역 통과 필터(low pass filter)로 구성될 수 있으며, 이러한 저역 통과 필터를 통과하여 영상의 노이즈를 제거할 수 있으며, 도 5b에는 3D 필터링을 적용한 결과가 도시되어 있다.
이러한 3D 필터링을 구현하는 수식이 수학식 1에 나타나 있다.
Figure 112010007225102-pat00001
여기서, A, B는 필터링 계수 이다.
저장수단(300)에는 3D 노이즈가 제거된 영상들(...I3(t-1), I3(t))이 저장되어 있다.
합성비율 생성수단(400)은 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율(W)를 생성한다.
도 6에는 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이에 따른 합성비율(W) 적용 곡선이 도시되어 있다. 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이값이 클수록 움직임이 많기 때문에 합성비율(W) 값을 작게 하여 2D 노이즈 제거수단(100)의 출력 영상(I2(t))에 가중치를 더 주고, 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))의 차이값이 작을수록 움직임이 거의 없기 때문에 합성비율(W) 값을 크게 하여 3D 노이즈 제거수단(200)의 출력 영상(I3(t))에 가중치를 더 주도록 한다.
영상 합성수단(500)은 생성된 합성비율(W)에 따라 2D 노이즈 제거수단(100)의 출력 영상(I2(t)) 및 3D 노이즈 제거수단(200)의 출력 영상(I3(t))을 합성하여 최종 출력 영상(Iout(t))을 생성한다.
영상 합성수단(500)에서 최종 출력 영상을 생성하는 수식이 수학식 2에 나타나 있다.
Figure 112010007225102-pat00002
이와 같이 웨이블릿 변환을 이용하여 동영상의 움직임을 예측하여 2D 노이즈를 제거하고, 3D 필터링을 이용하여 3D 노이즈를 제거함으로써 영상이 흐려지는 문제점이나 영상의 끌림 발생을 억제할 수 있다.
이하, 도 7 및 도 8을 참조하여 본 발명에 따른 영상의 움직임 보상 노이즈 제거 방법을 상세히 설명한다.
영상이 입력되면, 2D 웨이블릿 필터링을 수행한다(710단계). 2D 웨이블릿 필터링은 도 1에 개시된 2D 노이즈 제거수단(100)에서 수행하며, 도 8에 상세한 흐름도가 개시되어 있다. 이하 도 8을 참조하여 2D 웨이블릿 필터링을 설명한다.
웨이블릿 변환부(110)는 입력된 영상을 필터링하여 서브 이미지들을 생성한다(711단계).
웨이블릿 변환이 완료되면, 고주파 부대역 추출부(120)는 웨이블릿 변환되어 생성된 서브 이미지들 중 고주파 부대역 이미지들을 추출하고, 저주파 부대역 추출부(130)는 웨이블릿 변환되어 생성된 서브 이미지들 중 저주파 부대역 이미지를 추출한다(712단계).
고주파 부대역 추출 및 저주파 부대역 추출이 완료되면, 움직임 벡터 처리부(140)는 이전(I(t-1)) 및 현재(I(t))의 저주파 부대역 이미지에 대하여 움직임 예측 백터를 생성하고, 생성된 움직임 벡터를 정규화한다(713단계).
이어서, ROI(region of interest:관심 영역) 이미지 생성부(150)는 정규화된 움직임 벡터값을 기준값과 비교하여 기준값 보다 작은 경우 0을, 기준값 보다 작지 않은 경우 1로 구성된 관심영역 이진 이미지를 생성한다(714단계).
관심영역 이진 이미지가 생성되면, 노이즈 제거부(160)는 고주파 부대역 추출부(110)에서 추출된 고주파 부대역 이미지들에서 관심영역 이진 이미지에 따라 선택적으로 노이즈를 제거한다(715단계).
노이즈 제거가 완료되면, 웨이블릿 역변환부(170)는 노이즈가 제거된 4개의 서브 이미지를 결합하여 원본 영상으로 복원하여 최종 2D 필터링된 영상(I2(t))을 출력한다(716단계).
입력 영상(Iin(t))에 대한 2D 필터링이 완료되면, 2D 필터링 결과 출력 영상(I2(t)) 및 이전 3D 필터링 결과 영상(I3(t-1))을 이용하여 현재 영상에 대한 3D 필터링을 수행한다(720단계). 3D 필터링 시에 저역 톡과 필터를 통하여 영상의 노이즈를 제거할 수 있으며, 3D 필터링 식이 상기 수학식 1에 개시되어 있다.
이어서, 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율(W)를 산출한다(730단계). 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이값이 클수록 움직임이 많기 때문에 합성비율(W) 값을 작게 하여 2D 필터링 결과 영상(I2(t))에 가중치를 더 준다. 그리고 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))의 차이값이 작을수록 움직임이 거의 없기 때문에 합성비율(W) 값을 크게 하여 3D 필터링 결과 영상(I3(t))에 가중치를 더 주도록 한다.
합성비율(W) 산출이 완료되면, 생성된 합성비율(W)에 따라 2D 필터링 결과 영상(I2(t)) 및 3D 필터링 결과 영상(I3(t))을 합성하여 최종 출력 영상(Iout(t))을 생성한다(740, 750단계). 최종 출력 영상(Iout(t)) 합성 식에 상기 수학식 2에 개시되어 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 웨이블릿 변환한 입력 영상으로부터 관심 영역 이미지를 생성하고, 상기 관심영역 이미지를 이용하여 상기 웨이블릿 변환한 입력 영상의 노이즈를 제거한 후 웨이블릿 역변환을 수행하는 2D 노이즈 제거수단;
    상기 2D 노이즈 제거수단의 출력 영상 및 3D 노이즈가 제거된 이전 영상에 소정의 필터 계수를 적용하여 노이즈를 제거하는 3D 노이즈 제거수단;
    상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상의 차이에 따라 어느 노이즈 제거수단의 출력에 가중치를 더 가할 것인지를 나타내는 합성비율을 생성하는 합성비율 생성수단; 및
    상기 생성된 합성비율에 따라 상기 2D 노이즈 제거수단 및 3D 노이즈 제거수단의 출력 영상을 합성하여 출력 영상을 생성하는 영상 합성수단;을 포함하고,
    상기 2D 노이즈 제거수단은,
    입력 영상을 필터링하여 저주파 부대역 이미지(LL) 및 고주파 부대역 이미지들(LH, HL, HH)을 생성하는 웨이블릿 변환부;
    이전 및 현재의 저주파 부대역 이미지(LL)로부터 움직임 예측 벡터를 생성하여 정규화하는 움직임 벡터 처리부;
    정규화된 움직임 벡터값을 기준값과 비교하여 상기 기준값 보다 작을 경우 0을, 상기 기준값 보다 작지 않은 경우 1로 구성된 관심영역(ROI: region of interest) 이진 이미지를 생성하는 관심영역 이미지 생성부;
    상기 관심영역 이진 이미지가 1인 경우 상기 고주파 부대역 이미지들(LH, HL, HH)에 노이즈 감쇄 곡선을 적용하여 노이즈를 제거하고, 상기 관심영역 이진 이미지가 0인 경우 상기 고주파 부대역 이미지들(LH, HL, HH)에 노이즈 감쇄 곡선을 적용하여 노이즈를 제거하는 노이즈 제거부; 및
    상기 저주파 부대역 이미지(LL) 및 노이즈가 제거된 고주파 부대역 이미지들(LH, HL, HH)을 합성하여 상기 출력 영상을 생성하는 웨이블릿 역변환부;를 포함하는 것을 특징으로 하는 영상의 움직임 보상 노이즈 제거 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020100009645A 2010-02-02 2010-02-02 영상의 움직임 보상 노이즈 제거 장치 및 방법 KR101595883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100009645A KR101595883B1 (ko) 2010-02-02 2010-02-02 영상의 움직임 보상 노이즈 제거 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100009645A KR101595883B1 (ko) 2010-02-02 2010-02-02 영상의 움직임 보상 노이즈 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110090068A KR20110090068A (ko) 2011-08-10
KR101595883B1 true KR101595883B1 (ko) 2016-02-26

Family

ID=44927914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100009645A KR101595883B1 (ko) 2010-02-02 2010-02-02 영상의 움직임 보상 노이즈 제거 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101595883B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140141159A (ko) * 2013-05-31 2014-12-10 주식회사 나노포커스레이 의료 영상 처리 방법 및 시스템
KR102161613B1 (ko) * 2013-12-11 2020-10-05 엘지이노텍 주식회사 깊이영상 생성장치
TWI827725B (zh) * 2018-12-07 2024-01-01 日商索尼半導體解決方案公司 圖像處理裝置及圖像處理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160909A (ja) 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd ノイズ低減装置
JP2008258848A (ja) * 2007-04-03 2008-10-23 Sanyo Electric Co Ltd ノイズ低減装置、ノイズ低減方法、及び電子機器
JP2008283341A (ja) 2007-05-09 2008-11-20 Matsushita Electric Ind Co Ltd 圧縮符号化画像のノイズ除去装置及びノイズ除去方法
JP2009219066A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160909A (ja) 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd ノイズ低減装置
JP2008258848A (ja) * 2007-04-03 2008-10-23 Sanyo Electric Co Ltd ノイズ低減装置、ノイズ低減方法、及び電子機器
JP2008283341A (ja) 2007-05-09 2008-11-20 Matsushita Electric Ind Co Ltd 圧縮符号化画像のノイズ除去装置及びノイズ除去方法
JP2009219066A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 画像処理装置

Also Published As

Publication number Publication date
KR20110090068A (ko) 2011-08-10

Similar Documents

Publication Publication Date Title
US8050509B2 (en) Method of and apparatus for eliminating image noise
US8488009B2 (en) Image processing apparatus, image processing method, and program
KR101511564B1 (ko) 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치 및 방법
US9430816B2 (en) Image processing method, image processing system, image processing device, and image processing program capable of removing noises over different frequency bands, respectively
US20090092337A1 (en) Image processing apparatus, image processing method, and computer program
JP5027757B2 (ja) 動画像雑音除去装置、その方法およびそのプログラム
JP2008219654A (ja) 画像処理装置及び画像処理方法
US9111339B1 (en) System and method for reducing noise from an image
KR101595883B1 (ko) 영상의 움직임 보상 노이즈 제거 장치 및 방법
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
JP2009219066A (ja) 画像処理装置
WO2015133593A1 (en) Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium
US8106971B2 (en) Apparatus and method for estimating signal-dependent noise in a camera module
RU2448367C1 (ru) Способ повышения визуальной информативности цифровых полутоновых изображений
JP2008199448A (ja) 撮像装置、画像処理装置および画像処理方法
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
Oh et al. Advanced film grain noise extraction and synthesis for high-definition video coding
JP2003337942A (ja) 画像処理装置
JP5022400B2 (ja) 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム
Matsuo et al. Reducing noise in high-resolution video sequences by using wavelet shrinkage in the temporal-spatial domain
JP2008211627A (ja) 撮像装置
Acharya et al. Robust video denoising for better subjective evaluation
KR20230095791A (ko) 이미지 처리 장치 및 그 처리 방법
JP2018101907A (ja) 画像符号化装置及びその制御方法及びプログラム
Spampinato et al. Camera shaking effects reduction by means of still sequence stabilization and spatio-temporal filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 4