KR101984173B1 - 비디오의 잡음 제거 방법 및 장치 - Google Patents

비디오의 잡음 제거 방법 및 장치 Download PDF

Info

Publication number
KR101984173B1
KR101984173B1 KR1020130004034A KR20130004034A KR101984173B1 KR 101984173 B1 KR101984173 B1 KR 101984173B1 KR 1020130004034 A KR1020130004034 A KR 1020130004034A KR 20130004034 A KR20130004034 A KR 20130004034A KR 101984173 B1 KR101984173 B1 KR 101984173B1
Authority
KR
South Korea
Prior art keywords
noise
current frame
motion detection
value
temporal noise
Prior art date
Application number
KR1020130004034A
Other languages
English (en)
Other versions
KR20130105316A (ko
Inventor
이창민
강문기
박상욱
이민석
Original Assignee
한화에어로스페이스 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화에어로스페이스 주식회사, 연세대학교 산학협력단 filed Critical 한화에어로스페이스 주식회사
Priority to US13/804,363 priority Critical patent/US8908101B2/en
Publication of KR20130105316A publication Critical patent/KR20130105316A/ko
Application granted granted Critical
Publication of KR101984173B1 publication Critical patent/KR101984173B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은 비디오 영상의 잡음 제거 방법 및 장치에 관한 것이다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 잡음 제거 방법은, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분 영상에서 잡음을 제거하는 단계; 상기 잡음 제거된 차분 영상을 기초로 상기 현재 프레임의 움직임 정보를 검출하는 단계; 상기 움직임 정보에 따라, 상기 현재 프레임과 상기 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는 단계; 및 상기 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거하는 단계;를 포함할 수 있다.

Description

비디오의 잡음 제거 방법 및 장치{Method and Apparatus for Noise Reduction}
본 발명은 비디오의 잡음 제거 방법 및 장치에 관한 것이다.
최근 디지털 영상은 다양한 분야에서 응용되고 있다. 이러한 디지털 영상은 획득 과정, 저장 과정, 전송 과정 등 영상 처리 단계에서 발생하는 잡음으로 인해 열화된다. 이러한 잡음은 영상의 화질을 저하시킬 뿐만 아니라 압축(compression), 인식(recognition) 등에 수반되는 과정들의 효율을 떨어뜨리는 요인이 된다. 따라서 디지털 영상의 잡음 제거는 영상 처리 시스템에서 가장 중요한 과정 중의 하나로서, 잡음을 제거하여 화질을 개선함과 동시에 신호의 특성을 보존하는 연구가 요청되고 있다.
디지털 영상에서의 잡음 제거 기법은 크게 공간적 잡음 제거(spatial noise reduction), 시간적 잡음 제거(temporal noise reduction), 삼차원 잡음 제거(3D noise reduction)와 같이 세가지로 분류된다.
공간적 잡음 제거 기법은 시간 영역에서의 처리는 무시하고 공간 영역에서만 잡음을 제거하는 방법이다. 시간적 잡음 제거 기법은 시간 영역에서의 픽셀들을 고려하여 잡음을 제거하는 방법이다. 삼차원 잡음 제거(3DNR) 기법은 시간적 방법과 공간적 방법을 결합하여 각각의 장점을 얻는 방법이다.
미국 등록특허 제7705918호
본 발명은 비디오 촬영 시 이미지 센서에서 발생하는 열 잡음을 제거하는 장치 및 방법을 제시한다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 시간적 잡음 제거 방법은, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분에서 잡음을 제거하는 단계; 및 상기 잡음 제거된 차분을 기초로 상기 현재 프레임의 움직임 정보를 검출하고, 상기 움직임 정보에 따라 상기 현재 프레임의 시간적 잡음을 제거하는 단계;를 포함할 수 있다.
상기 차분 영상의 잡음 제거 단계는, 국부적 윈도우 내에서, 상기 현재 프레임과 상기 이전 프레임의 대응 픽셀들 간의 차분 값을 평균하는 단계; 및 상기 평균 차분 값에서 잡음 레벨에 따라 설정된 오프셋 값을 차감하여, 제2 평균 차분 값을 산출하는 단계;를 포함할 수 있다.
상기 시간적 잡음 제거 단계는, 상기 오프셋 값에 따라 설정되는 상수 및 상기 제2 평균 차분 값을 기초로, 상기 현재 프레임의 국부적 윈도우의 중심 픽셀에 대한 제1 움직임 검출 계수를 산출하는 단계; 상기 현재 프레임의 국부적 윈도우 내에서, 상기 제1 움직임 검출 계수의 평균값 및 최소값의 가중합에 의해 제2 움직임 검출 계수를 산출하는 단계; 및 상기 현재 프레임의 국부적 윈도우 내에서, 상기 제2 움직임 검출 계수 및 상기 이전 프레임의 제3 움직임 검출 계수를 기초로, 상기 현재 프레임의 제3 움직임 검출 계수를 산출하는 단계;를 포함할 수 있다.
상기 시간적 잡음 제거 단계는, 상기 제3 움직임 검출 계수를 이용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는 단계;를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 공간적 잡음 제거 방법은, 시간적 잡음이 제거된 현재 프레임의 국부적 윈도우 내에서, 중심 픽셀을 기준으로 설정된 복수의 방향마다 중심 픽셀에 대한 차분 값의 평균을 산출하는 단계; 상기 평균 차분 값이 최소인 방향을 검출하는 단계; 및 상기 검출된 방향의 픽셀들의 픽셀 값을 평균하는 단계;를 포함할 수 있다.
상기 복수의 방향은 가로, 세로, 대각선, 역대각선 방향을 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 잡음 제거 방법은, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분에서 잡음을 제거하는 단계; 상기 잡음 제거된 차분을 기초로 상기 현재 프레임의 움직임 정보를 검출하는 단계; 상기 움직임 정보에 따라, 상기 현재 프레임과 상기 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는 단계; 및 상기 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거하는 단계;를 포함할 수 있다.
상기 방법은, 상기 차분 영상 잡음 제거 단계 이전에, 잡음 레벨에 따라 크기가 가변하는 마스크를 적용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임을 필터링하는 단계;를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 시간적 잡음 제거 장치는, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분에서 잡음을 제거하는 차분부; 및 상기 현재 프레임의 시간적 잡음 제거를 위해, 상기 잡음 제거된 차분을 기초로 상기 현재 프레임의 움직임 정보를 검출하는 계수산출부;를 포함할 수 있다.
상기 영상차분부는, 국부적 윈도우 내에서, 상기 현재 프레임과 상기 이전 프레임의 대응 픽셀들 간의 차분 값을 평균하는 제1차분부; 및 상기 평균 차분 값에서 잡음 레벨에 따라 설정된 오프셋 값을 차감하여, 제2 평균 차분 값을 산출하는 제2차분부;를 포함할 수 있다.
상기 계수산출부는, 상기 오프셋 값에 따라 설정되는 상수 및 상기 제2 평균 차분 값을 기초로, 상기 현재 프레임의 국부적 윈도우의 중심 픽셀에 대한 제1 움직임 검출 계수를 산출하는 제1계수산출부; 상기 현재 프레임의 국부적 윈도우 내에서, 상기 제1 움직임 검출 계수의 평균값 및 최소값의 가중합에 의해 제2 움직임 검출 계수를 산출하는 제2계수산출부; 및 상기 현재 프레임의 국부적 윈도우 내에서, 상기 제2 움직임 검출 계수 및 상기 이전 프레임의 제3 움직임 검출 계수를 기초로, 상기 현재 프레임의 제3 움직임 검출 계수를 산출하는 제3계수산출부;를 포함할 수 있다.
상기 장치는, 상기 현재 프레임의 제3 움직임 검출 계수를 이용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는 잡음 제거부;를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 공간적 잡음 제거 장치는, 시간적 잡음이 제거된 현재 프레임의 제2 국부적 윈도우 내에서, 중심 픽셀을 기준으로 설정된 복수의 방향마다 중심 픽셀에 대한 차분 값의 평균을 산출하는 방향 차분부; 상기 평균 차분 값이 최소인 방향을 검출하는 최소값 검출부; 및 상기 검출된 방향의 픽셀들의 픽셀 값을 평균하여 상기 현재 프레임의 공간적 잡음을 제거하는 잡음 제거부;를 포함할 수 있다.
상기 복수의 방향은 가로, 세로, 대각선, 역대각선 방향을 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 비디오 영상의 잡음 제거 장치는, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분에서 잡음을 제거하고, 상기 잡음 제거된 차분을 기초로 산출된 상기 현재 프레임의 움직임 정보에 따라, 상기 현재 프레임과 상기 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는 시간적 잡음 제거부; 및 상기 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거하는 공간적 잡음 제거부;를 포함할 수 있다.
상기 비디오 영상의 잡음 제거 장치는, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분 이전에, 잡음 레벨에 따라 크기가 가변하는 마스크를 적용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임을 필터링하는 가변필터;를 더 포함할 수 있다.
본 발명은 움직임이 있는 비디오 영상에서, 평탄 영역에서의 잡음 제거 효과를 최대화하면서 움직임이 있는 영역에서의 블러를 최소화하여, 영상 품질을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 영상의 잡음 제거 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가변 필터의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 마스크 구성의 예를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 시간적 잡음 제거부의 구성을 개략적으로 도시한 블록도이다.
도 5는 도 4의 영상 차분부의 구성을 개략적으로 나타낸 도면이다.
도 6은 현재 프레임과 이전 프레임의 대응하는 국부적 윈도우 예를 나타낸 도면이다.
도 7은 도 4의 계수 산출부의 구성을 개략적으로 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 공간적 잡음 제거부의 구성을 개략적으로 도시한 블록도이다.
도 9는 종래의 AWA(Adaptive Weight Averaging) 알고리즘의 가중치 계산을 설명하는 도면이다.
도 10 내지 도 12는 도 8의 공간적 잡음 제거를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 비디오 영상의 잡음 제거 방법을 개략적으로 설명하기 위한 흐름도이다.
도 14는 도 13의 필터링 방법을 개략적으로 설명하는 흐름도이다
도 15는 도 13의 시간적 잡음 제거 방법을 개략적으로 설명하는 흐름도이다.
도 16은 도 13의 공간적 잡음 제거 방법을 개략적으로 설명하는 흐름도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면상의 동일한 부호는 동일한 요소를 지칭한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들이 이러한 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 비디오 영상의 잡음 제거 장치의 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 비디오 영상의 잡음 제거 장치(1)는 가변 필터(10), 움직임 적응 시간적 잡음 제거부(40), 메모리(50) 및 공간적 잡음 제거부(60)를 포함한다.
비디오 영상(또는 동영상)은 프레임 단위로 잡음 제거 장치(1)로 입력된다.
가변 필터(10)는 잡음 레벨에 비례하여 크기가 가변하는 NxM 저역 통과 필터(LPF)(여기서, N과 M은 자연수)이다. 가변 필터(10)는 현재 프레임과 이전 프레임을 필터링한다. 여기서, 이전 프레임은 시간적 잡음이 제거된 프레임이다. 잡음 레벨은 미리 설정된 값 또는 사용자에 의해 입력되는 값인 잡음 파라미터일 수 있다. 또는 잡음 레벨은 센서 게인에 따라 가변할 수도 있다. 현재 프레임과 이전 프레임의 잡음 레벨은 동일하다고 가정한다.
가변 필터(10)는 현재 프레임을 저역 통과 필터링하는 제1 가변 필터(20) 및 이전 프레임을 저역 통과 필터링하는 제2 가변 필터(30)를 포함한다. 시간적 및 공간적 잡음 제거에 앞서, 현재 프레임과 이전 프레임을 우선 저역 통과 필터링하여 잡음을 제거함으로써 움직임 검출 시 오차를 저감할 수 있다. 잡음이 상대적으로 적은 경우에는 가변 필터(10)의 크기를 작게 사용하여 움직임 검출을 위한 잡음 제거 시 움직임 블러가 발생하는 문제를 최소화한다. 반대로 잡음이 많은 경우에는 가변 필터(10)의 크기를 크게 사용하여 움직임 검출을 위해 잡음을 충분히 제거할 수 있도록 한다.
움직임 적응 시간적 잡음 제거부(40)(이하, '시간적 잡음 제거부'라 칭함)는 필터링된 현재 프레임의 움직임 정보를 기초로 시간적 잡음을 제거한다. 연속하여 입력되는 프레임들로부터 정확하게 잡음을 제거하기 위해 인접 프레임 간의 이동 물체 추적이 필요하다. 그러나, 잡음이 심한 경우 이동 물체의 정확한 움직임 정보의 검출이 어렵다. 따라서, 시간적 잡음 제거부(40)는 움직임 정보 검출시 추가적인 잡음 제거를 수행한다.
구체적으로, 시간적 잡음 제거부(40)는 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분에 포함된 잡음을 제거한다. 그리고, 잡음 제거된 차분을 기초로 현재 프레임의 움직임 정보를 나타내는 움직임 검출 계수를 산출하여, 현재 프레임의 시간적 잡음을 제거한다.
일반적인 시간적 잡음 제거는, 현재 프레임과 이전 프레임 사이에서 움직임 정보를 검출하고, 픽셀들을 움직임 영역(motion region)과 비-움직임 영역(non-motion region)으로 분류한다. 비-움직임 영역에서는, 시간 축을 따라 현재 프레임과 이전 프레임에서의 픽셀에 시간적 필터가 적용된다. 움직임 영역에서는, 움직임이 흐려지는 것을 피하기 위하여 시간적 필터에 의한 잡음 제거를 하지 않는다. 이에 비해, 본 발명의 실시예는 움직이는 물체를 대상으로 움직임 영역에서도 시간적 잡음 제거를 수행하며, 평탄 영역에서의 잡음 제거 효과는 최대한 유지하면서도 움직임 영역에서의 블러는 최소화할 수 있도록 한다. 이를 위해, 시간적으로 인접한 프레임 간의 차분 값에 잡음에 해당하는 수치의 오프셋(offset)의 차분을 추가하여 차분에 포함된 잡음을 제거한다. 그리고, 움직임 검출 계수의 잡음을 제거하여 움직임 검출 계수를 보상한다.
메모리(50)는 시간적 잡음 제거된 프레임을 저장한다. 저장된 프레임은 다음에 입력되는 프레임의 시간적 잡음 제거시 이전 프레임으로 참조된다. 메모리(50)는 임시 저장 수단으로서, 프레임 버퍼일 수 있다.
공간적 잡음 제거부(60)는 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거한다. 공간적 잡음 제거부(60)는 시간적 잡음 제거된 프레임에 주요 4개 방향에서 각각 차분 값을 구하고, 차분 값이 가장 작은 방향에 대한 평균값을 취해 공간적 잡음 제거를 수행한다.
도 2는 본 발명의 일 실시예에 따른 가변 필터의 구성을 개략적으로 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 마스크 구성의 예를 나타낸다.
도 2를 참조하면, 가변 필터(10)는 잡음 예측부(110), 마스크 선택부(130), 제1 가변 필터(20), 및 제2 가변 필터(30)를 포함한다.
잡음 예측부(110)는 잡음 파라미터를 수신하고, 잡음 파라미터를 기초로 잡음 레벨을 예측한다. 잡음 파라미터는 영상 센서(미도시)의 센서 게인(sensor gain)일 수 있다. 센서 게인에 따라 영상 데이터의 휘도 레벨이 증폭되고, 센서 게인이 높을수록 잡음이 증가한다.
마스크 선택부(130)는 예측된 잡음 레벨에 대응하는 필터 마스크를 선택한다. 마스크가 크면 잡음이 많은 영상에서 움직임 검출이 용이하나 모션 블러(motion blur)가 많이 발생한다. 마스크가 작으면 모션 블러가 적으나 잡음이 많은 경우 움직임 검출이 어렵다. 따라서, 마스크 선택부(130)는 예측된 잡음 레벨에 따라 복수의 마스크 중 하나를 선택한다. 일 예로서, 마스크 선택부(130)는 각 잡음 레벨에 대응하는 마스크를 미리 일대일 매칭시킨 후, 예측된 잡음 레벨에 매칭하는 마스크를 선택할 수 있다. 다른 예로서, 마스크 선택부(130)는 예측된 잡음 레벨과 임계값의 비교 결과에 따라 마스크를 선택할 수 있다. 임계값은 복수 설정되어 예측된 잡음 레벨이 해당하는 범위를 찾고, 해당 범위에 일대일 매칭된 마스크가 선택될 수 있다. 도 3에는 5x13, 5x9, 5x5, 5x3의 마스크가 각각 예시적으로 도시되어 있다. 도 3은 예시적인 마스크이며, 본 발명은 이에 한정되지 않고 마스크 크기를 설정할 수 있음은 물론이다. 각 마스크의 중심이 현재 픽셀의 위치에 대응한다. 잡음 레벨이 클수록 마스크 크기가 커지고, 잡음 레벨이 작을수록 마스크 크기가 작아진다. 예를 들어, 잡음이 적은 경우(잡음 레벨이 낮은 경우)에는 마스크의 크기를 5x3으로 선택하고, 잡음이 큰 경우(잡음 레벨이 높은 경우)에는 마스크의 크기를 5x13으로 선택할 수 있다. 제1 가변 필터(20)와 제2 가변 필터(30)의 마스크는 동일한 크기로 선택된다.
제1 가변 필터(20)는 선택된 마스크를 적용하여 현재 프레임을 필터링한다.
제2 가변 필터(30)는 선택된 마스크를 적용하여 이전 프레임을 필터링한다.
도 4는 본 발명의 일 실시예에 따른 시간적 잡음 제거부의 구성을 개략적으로 도시한 블록도이다. 도 5는 도 4의 차분부의 구성을 개략적으로 도시한 도면이다. 도 7은 도 4의 계수 산출부의 구성을 개략적으로 도시한 도면이다.
도 4를 참조하면, 시간적 잡음 제거부(40)는 영상 차분부(402), 계수 산출부(404) 및 시간 필터(406)를 포함할 수 있다.
영상 차분부(402)는 현재 프레임과 이전 프레임의 차분에서 잡음 레벨에 따라 설정된 오프셋 값을 차감하여 차분에 포함된 잡음을 제거한다. 도 5를 함께 참조하면, 영상 차분부(402)는 제1 차분부(412) 및 제2 차분부(472)를 포함한다. 여기서, 이전 프레임은 시간적 잡음 제거된 프레임이다.
제1 차분부(412)는 각 픽셀에 대한 SAD(i)값을 계산한다. 식 (1)은 현재 프레임의 현재 픽셀, 즉 i번째 픽셀 위치에서 SAD(i)값을 산출하는 식이다. SAD(i) 값은 식 (1)에서 보는 바와 같이, NxM 크기의 국부적 윈도우(W) 내에서, 현재 프레임과 이전 프레임의 평균 차분 값이다. m은 국부적 윈도우(W)가 커버하는 픽셀들의 위치이고, i번째 픽셀은 국부적 윈도우(W)가 커버하는 픽셀들 중 중심 픽셀이다. n(W)는 국부적 윈도우(W)가 커버하는 픽셀들의 개수이다. 도 6은 SAD(i) 값 계산을 위해 현재 프레임(In)과 이전 프레임(
Figure 112013003635904-pat00001
)의 대응하는 국부적 윈도우(W)를 각각 도시하고 있다.
Figure 112013003635904-pat00002
...(1)
제2 차분부(472)는 i번째 픽셀의 평균 차분 값, 즉 SAD(i) 값에서 잡음 레벨에 대응하는 오프셋(offset) 값을 차감한 제2 평균 차분 값(
Figure 112013003635904-pat00003
)을 획득하여 잡음에 의한 움직임 검출 에러를 저감한다. 식 (2)에서 보는 바와 같이, 0보다 작은 값을 갖지 않는 한도에서 SAD(i) 값에서 오프셋 값을 빼고 다시 상수 c를 더해준다. 여기서, 오프셋 값은 잡음이 많고 적음에 따라 가변적으로 설정해 주는 상수 값으로 잡음이 많을 경우 오프셋 값은 큰 값으로 설정하고, 잡음이 적을 경우 오프셋 값은 작은 값으로 설정한다. 예를 들어, 잡음이 상대적으로 적은 3dB의 경우 오프셋 값은 15, 잡음이 많은 10dB의 경우 30으로 설정할 수 있다. SAD(i) 값과 오프셋 값과의 차이가 0이 되어 잡음 제거가 어려워지는 경우를 방지하기 위해, SAD(i) 값과 오프셋 값과의 차이와 0 중 큰 값에 c를 더해준다. 즉, c는 0에 가깝지만 0이 아닌 작은 값으로서, SAD(i) 값이 0이 되지 않도록 설정되는 값이다.
Figure 112013003635904-pat00004
...(2)
계수 산출부(404)는 잡음 제거된 차분 값을 기초로 현재 프레임의 움직임 정보를 나타내는 움직임 검출 계수를 산출한다. 도 7을 참조하면, 계수 산출부(404)는 제1 계수 산출부(414), 제2 계수 산출부(434), 및 제3 계수 산출부(454)를 포함할 수 있다.
제1 계수 산출부(414)는 오프셋 값에 따라 설정되는 상수 및 제2 평균 차분 값을 기초로, i번째 픽셀의 제1 움직임 검출 계수(
Figure 112013003635904-pat00005
)를 산출한다. 제1 계수 산출부(414)는 제2 평균 차분 값(
Figure 112013003635904-pat00006
)을 오프셋 값에 따라 설정되는 상수를 이용하여 스케일링함으로써, i번째 픽셀의 제1 움직임 검출 계수(
Figure 112013003635904-pat00007
)를 산출한다. 식 (3)에서 보는 바와 같이, 제1 계수 산출부(414)는 제1 움직임 검출 계수(
Figure 112013003635904-pat00008
)를 0에서 1 사이의 값을 갖도록 제2 평균 차분 값(
Figure 112013003635904-pat00009
)에 적절한 스케일 상수 a를 곱하여 i번째 픽셀의 제1 움직임 검출 계수(
Figure 112013003635904-pat00010
)를 산출한다. 스케일 상수 a는 오프셋 값과 연동하여 설정한다. 즉, 오프셋 값이 큰 경우 제1 움직임 검출 계수(
Figure 112013003635904-pat00011
)는 작은 값을 갖게 되므로 스케일 상수 a를 크게 설정하고, 오프셋 값이 작은 경우 움직임 검출 계수(
Figure 112013003635904-pat00012
)는 오프셋 값이 클 때에 비해 큰 값을 갖게 되므로 스케일 상수 a를 작게 설정한다. 예를 들어, 3dB 잡음의 경우 오프셋 값은 15, 스케일 상수(a)는 0.025로 설정하고, 10dB 잡음의 경우 오프셋 값은 30, 스케일 상수(a)는 0.035로 설정할 수 있다.
Figure 112013003635904-pat00013
...(3)
제2 계수 산출부(434)는 평탄 영역에서의 잡음 제거 효과를 증대시키기 위해 제1 움직임 검출 계수(
Figure 112013003635904-pat00014
)의 평균값을 이용한다. 제2 계수 산출부(434)는 현재 프레임의 국부적 윈도우(W) 내에서, 제1 움직임 검출 계수(
Figure 112013003635904-pat00015
)를 가중치로 하는 제1 움직임 검출 계수(
Figure 112013003635904-pat00016
)의 평균값 및 최소값의 가중합에 의해 제2 움직임 검출 계수(
Figure 112013003635904-pat00017
)를 산출한다. 식 (4)에서 보는 바와 같이 국부적 윈도우(W) 영역 안에서, 제1 움직임 검출 계수(
Figure 112013003635904-pat00018
)의 평균값(
Figure 112013003635904-pat00019
)과 제1 움직임 검출 계수(
Figure 112013003635904-pat00020
)의 최소값(
Figure 112013003635904-pat00021
)을 산출한다. 그리고, 식 (3)에서 산출한 제1 움직임 검출 계수(
Figure 112013003635904-pat00022
)로 가중 합을 취하여 제2 움직임 검출 계수(
Figure 112013003635904-pat00023
)를 산출한다. 제1 움직임 검출 계수(
Figure 112013003635904-pat00024
)의 평균값(
Figure 112013003635904-pat00025
)의 가중치는 제1 움직임 검출 계수(
Figure 112013003635904-pat00026
)이고, 제1 움직임 검출 계수(
Figure 112013003635904-pat00027
)의 최소값(
Figure 112013003635904-pat00028
)의 가중치는 (1 - 제1 움직임 검출 계수(
Figure 112013003635904-pat00029
))이다.
Figure 112013003635904-pat00030
...(4)
평균값(
Figure 112013003635904-pat00031
)은 하기 식 (5)에서 보는 바와 같이 현재 프레임의 국부적 윈도우(W) 내에서, 각 픽셀들의 제1 움직임 검출 계수(
Figure 112013003635904-pat00032
)를 평균한 값이다.
Figure 112013003635904-pat00033
...(5)
최소값(
Figure 112013003635904-pat00034
)은 하기 식 (6)에서 보는 바와 같이 현재 프레임의 국부적 윈도우(W) 내 픽셀들의 제1 움직임 검출 계수(
Figure 112013003635904-pat00035
)들 중 최소 값이다.
Figure 112013003635904-pat00036
...(6)
제3 계수 산출부(454)는 움직임 영역에서 블러를 최소화하기 위해 주변 픽셀의 움직임 정보와, 시간적 움직임 정보로서 이전 프레임의 대응 픽셀의 움직임 정보를 이용한다. 제3 계수 산출부(454)는 현재 프레임의 국부적 윈도우(W) 내에서, 제2 움직임 검출 계수(
Figure 112013003635904-pat00037
) 및 이전 프레임의 제3 움직임 검출 계수(
Figure 112013003635904-pat00038
)를 기초로, 현재 프레임의 제3 움직임 검출 계수(
Figure 112013003635904-pat00039
)를 산출한다. 하기 식 (7)에서 보는 바와 같이, 현재 프레임의 국부적 윈도우(W) 내에서, 제2 움직임 검출 계수(
Figure 112013003635904-pat00040
)의 최대 값(
Figure 112013003635904-pat00041
)을 구한다. 그리고, 하기 식 (8)과 같이 이전 프레임의 제3 움직임 검출 계수(
Figure 112013003635904-pat00042
)와 상수 b의 차와 0 중에 큰 값을 구하고, 이를 식 (7)에서 구한 제2 움직임 검출 계수(
Figure 112013003635904-pat00043
)의 최대 값(
Figure 112013003635904-pat00044
)과 비교하고, 이 중 큰 값을 제3 움직임 검출 계수(
Figure 112013003635904-pat00045
)로 취한다.
Figure 112013003635904-pat00046
...(7)
Figure 112013003635904-pat00047
...(8)
식 (8)에 의해 최종 획득된 제3 움직임 검출 계수(
Figure 112013003635904-pat00048
)는 시간 필터(406)의 계수로서 이용될 수 있다. 제3 움직임 검출 계수(
Figure 112013003635904-pat00049
)는 0에서 1 사이의 값을 가지며, 움직임이 많은 영역에서는 1에 가까운 값을 갖고 움직임이 적은 영역에서는 0에 가까운 값을 갖는다.
시간 필터(406)는 현재 프레임의 제3 움직임 검출 계수(
Figure 112013003635904-pat00050
)를 가중치로 하여, 현재 프레임과 이전 프레임의 가중 합에 의해 현재 프레임의 시간적 잡음을 제거한다. 하기 식 (9)와 같이, 현재 프레임의 가중치는 제3 움직임 검출 계수이고, 시간적 잡음 제거된 이전 프레임의 가중치는 (1 - 제3 움직임 검출 계수)이다. 시간 필터(406)는 시간적 잡음 제거된 현재 프레임(
Figure 112013003635904-pat00051
)을 출력한다.
Figure 112013003635904-pat00052
...(9)
여기서,
Figure 112013003635904-pat00053
은 메모리(50)에 저장되어 있던 시간적 잡음 제거된 이전 프레임이고,
Figure 112013003635904-pat00054
는 현재 입력된 프레임이고,
Figure 112013003635904-pat00055
는 시간적 잡음 제거된 현재 프레임이다. 움직임이 많은 경우, 제3 움직임 검출 계수(
Figure 112013003635904-pat00056
)는 1에 가까운 값을 갖고, 움직임 블러를 최소화하기 위해 현재 프레임(
Figure 112013003635904-pat00057
)에는 높은 가중치를 주고, 이전 프레임(
Figure 112013003635904-pat00058
)에는 낮은 가중치를 준다. 반대로 움직임이 적은 경우, 제3 움직임 검출 계수(
Figure 112013003635904-pat00059
)는 0에 가까운 값을 갖고, 잡음 제거 효과를 크게 하기 위해 상대적으로 잡음이 많은 현재 프레임(
Figure 112013003635904-pat00060
)에는 낮은 가중치를 주고, 이미 잡음 제거가 수행되어 메모리(50)에 저장되어 있던 이전 프레임(
Figure 112013003635904-pat00061
)에는 높은 가중치를 준다.
도 8은 본 발명의 일 실시예에 따른 공간적 잡음 제거부의 구성을 개략적으로 도시한 블록도이다. 도 10 내지 도 12는 도 8의 공간적 잡음 제거를 설명하기 위한 도면이다.
도 9는 종래의 AWA(Adaptive Weight Averaging) 알고리즘의 가중치 계산을 설명하는 도면이다.
기존의 공간적 잡음 제거를 위한 2DNR 알고리즘인 AWA(Adaptive Weight Averaging)는 도 9(a) 및 하기 식 (10)에서와 같이 소정 윈도우(S) 내에서 중심 픽셀(xc)과 주변 픽셀(xi)의 가중치(wi) 합으로 나타낼 수 있으며, 가중치(wi)는 중심 픽셀(xc)과 주변 픽셀(xi)의 차분 값(│xi-xc│)이 일정한 임계치(Th) 이하일 경우 그 값을 1로 설정하고, 임계치 이상일 경우에는 0으로 설정한다.
Figure 112013003635904-pat00062
...(10)
도 9(b)를 참조하면, 잡음이 많지 않은 에지 영상의 경우에는 AWA의 가중치들이 비교적 정확하게 구해진다. 그러나 도 9(c)와 같이 잡음이 심한 경우에는 에지 영역의 판단이 매우 어렵게 되고 따라서 그에 해당하는 가중치의 분포는 그 영역이 속한 패턴의 형태를 나타내지 못하고 랜덤 잡음의 분포만을 그대로 나타내게 된다. 따라서 시간적 잡음 제거(3DNR)된 움직임 영역에서 제거되지 못한 잡음을 AWA는 제대로 제거해 내지 못하고 AWA가 수행된 이후에도 움직임 영역이나 에지 영역에서 잡음이 그대로 남아있는 문제점이 있다.
이와 같은 문제점을 해결하기 위한 본 발명의 공간적 잡음 제거부(60)는 패턴의 형태를 가로, 세로, 대각선, 역대각선의 4개 주요 방향으로 한정하고, 그 한정된 방향으로만 공간적 잡음 제거(2DNR)를 수행하는 방향성 평균 필터(directional average filter)이다.
도 8을 참조하면, 공간적 잡음 제거부(60)는 방향 차분부(602), 최소값 검출부(604) 및 평균부(606)를 포함할 수 있다.
방향 차분부(602)는 시간적 잡음이 제거된 현재 프레임(
Figure 112013003635904-pat00063
)의 국부적 윈도우(W) 내에서, 중심 픽셀을 기준으로 설정된 복수의 방향마다 중심 픽셀에 대한 차분 값의 평균을 산출한다. 여기서 국부적 윈도우(W)는 시간적 잡음 제거부에서의 국부적 윈도우와 상이할 수 있으며, 본 실시예에서는 5x5 윈도우를 예로서 설명하겠다.
하기 식 (11)에서와 같이, 4개 주요 방향에 대해서 각각 4개의 차분 값을 구한다. 여기서, l은 방향을 나타내는 인덱스이고, Sl은 l방향에서 중심 픽셀(xc)을 제외한 주변 픽셀들의 집합이다.
Figure 112013003635904-pat00064
...(11)
도 10을 함께 참조하면, 제1 방향을 세로 방향, 제2 방향을 대각선 방향, 제3 방향을 가로 방향, 제4 방향을 역대각선 방향으로 설정한다. 5x5 윈도우 내에서 제1 방향의 주변 픽셀 집합을 S1, 제2 방향의 주변 픽셀 집합을 S2, 제3 방향의 주변 픽셀 집합을 S3, 제4 방향의 주변 픽셀 집합을 S4라 한다. 각 방향에서 5x5 윈도우의 중심 픽셀(xc)과 주변 픽셀 간 차분의 평균인 평균 차분 값(Dl)을 구한다.
최소값 검출부(604)는 평균 차분 값(Dl)이 최소인 방향을 검출한다. 하기 식 (12)와 같이 4개 방향에서 구한 평균 차분 값(D1, D2, D3, D4) 중에 가장 작은 값(Dmin)을 검출한다. 도 11에서는 세로 방향의 평균 차분 값(D1)이 가장 작은 값으로 구해졌음을 보여주고 있다. 이는 도 10의 영역, 즉 중심 픽셀(xc)과 그 주변 5x5 윈도우에 속한 국부 영역은 세로 방향의 에지일 가능성이 크다는 것을 나타낸다.
Figure 112013003635904-pat00065
...(12)
평균부(606)는 평균 차분 값이 최소인 방향의 픽셀들의 픽셀 값을 평균하여 현재 프레임의 공간적 잡음을 제거한다. 이때 중심 픽셀과 주변 픽셀 모두의 픽셀 값을 평균한다. 하기 식 (13)에서,
Figure 112013003635904-pat00066
는 중심 픽셀(xc)과 주변 픽셀 집합(Sl)에 포함된 주변 픽셀들의 집합이고, n(
Figure 112013003635904-pat00067
)는 이 집합의 픽셀 개수이다. 도 12는 세로 방향의 영역에 속하는 픽셀들에 대해서만 평균 값을 구하는 연산을 보여주고 있다.
Figure 112013003635904-pat00068
...(13)
도 13은 본 발명의 일 실시예에 따른 비디오 영상의 잡음 제거 방법을 개략적으로 설명하기 위한 흐름도이다. 도 14는 도 13의 필터링 방법을 개략적으로 설명하는 흐름도이다. 도 15는 도 13의 시간적 잡음 제거 방법을 개략적으로 설명하는 흐름도이다. 도 16은 도 13의 공간적 잡음 제거 방법을 개략적으로 설명하는 흐름도이다. 이하에서는 도 1 내지 도 12를 참조하여 설명된 내용과 중복하는 내용의 상세한 설명은 생략하겠다.
도 13을 참조하면, 현재 프레임과 이전 프레임이 필터링되어, 1차 잡음이 제거된다(S100). 여기서 이전 프레임은 시간적 잡음 제거된 프레임이다. 현재 프레임과 이전 프레임은 잡음 레벨에 비례하여 크기가 가변하는 NxM(N과 M은 자연수) 마스크에 의해 필터링된다. 이때 잡음 레벨은 미리 설정될 수도 있고, 사용자에 의해 입력된 값일 수도 있다. 또는 잡음 레벨은 센서 게인에 따라 가변할 수도 있다. 현재 프레임과 이전 프레임의 잡음 레벨은 동일하다고 가정한다.
도 14를 함께 참조하면, 잡음 파라미터로부터 잡음 레벨이 예측된다(S110). 예를 들어, 센서 게인 값으로부터 잡음 레벨이 예측될 수 있다. 센서 게인은 영상 처리 시스템의 제어부로부터 촬상 소자에 대한 정보로서 제공될 수 있다. 예측된 잡음 레벨에 따라 매칭되는 마스크가 선택된다(S130). 마스크는 잡음 레벨별로 미리 설정되어 있을 수 있다. 선택된 마스크에 의해 현재 프레임과 이전 프레임이 각각 필터링된다(S150). 시간적 및 공간적 잡음 제거에 앞서, 현재 프레임과 이전 프레임을 우선 필터링하여 잡음을 제거함으로써 움직임 검출 시 오차를 저감할 수 있다. 또한 마스크 크기를 잡음에 따라 가변함으로써 모션 블러를 최적화할 수 있다.
이하에서는 필터링된 현재 프레임 및 이전 프레임에 대한 시간적 잡음 제거 및 공간적 잡음 제거를 설명하겠다.
먼저, 현재 프레임과 이전 프레임으로부터 검출된 움직임 정보를 이용하여 현재 프레임의 시간적 잡음이 제거된다(S200).
도 15를 함께 참조하면, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분에서 잡음이 제거된다(S210). 구체적으로, 국부적 윈도우 내에서, 현재 프레임과 이전 프레임의 대응 픽셀들 간의 평균 차분 값이 산출된다(S220). 평균 차분 값에서 현재 프레임의 잡음 레벨에 따라 설정되는 오프셋 값이 차감되어, 제2 평균 차분 값이 산출된다(S230). 오프셋 값은 미리 설정될 수도 있고, 사용자에 의해 입력될 수도 있다.
잡음 제거된 차분 값을 기초로 현재 프레임의 움직임 정보가 검출되고, 움직임 정보에 따라 현재 프레임의 시간적 잡음이 제거된다(S240). 현재 프레임의 움직임 정보는 각 픽셀의 움직임 정도를 나타내는 움직임 검출 계수를 포함한다. 구체적으로 움직임 검출 계수는 다음과 같은 단계에 의해 산출된다.
먼저, 오프셋 값에 따라 설정되는 상수 및 제2 평균 차분 값을 기초로, 각 픽셀의 제1 움직임 검출 계수가 산출된다(S250). 제2 평균 차분 값을 0과 1 사이의 값을 갖도록 오프셋 값에 따라 설정되는 상수에 의해 스케일링함으로써 각 픽셀의 제1 움직임 검출 계수가 산출된다.
다음으로, 현재 프레임의 국부적 윈도우 내에서, 제1 움직임 검출 계수의 평균값 및 최소값의 가중합에 의해 제2 움직임 검출 계수가 산출된다(S260). 제1 움직임 검출 계수의 평균값의 가중치는 제1 움직임 검출 계수이고, 제1 움직임 검출 계수의 최소값의 가중치는 (1 - 제1 움직임 검출 계수)이다.
다음으로, 현재 프레임의 국부적 윈도우 내에서, 제2 움직임 검출 계수 및 이전 프레임의 제3 움직임 검출 계수를 기초로, 현재 프레임의 제3 움직임 검출 계수가 산출된다(S270). 움직임 블러를 최소화하기 위해, 블럭 단위, 즉 국부적 윈도우 단위로, 제2 움직임 검출 계수의 최대값이 취해지고, 이전 프레임의 제3 움직임 검출 계수와 상수의 차와 0 중 큰 값과 상기 제2 움직임 검출 계수의 최대값 중 큰 값이 제3 움직임 검출 계수로 취해진다. 제3 움직임 검출 계수는 0과 1 사이의 값을 가지며, 움직임이 많은 경우 1에 가까운 값을 갖고 움직임이 적은 경우 0에 가까운 값을 갖는다.
제3 움직임 검출 계수를 이용하여, 현재 프레임과 시간적 잡음 제거된 이전 프레임의 가중합에 의해 현재 프레임의 시간적 잡음이 제거된다(S280). 현재 프레임의 가중치는 제3 움직임 검출 계수이고, 시간적 잡음 제거된 이전 프레임의 가중치는 (1 - 제3 움직임 검출 계수)이다.
다시 도 13을 참조하면, 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거한다(S300). 구체적으로 도 16을 함께 참조하면, 시간적 잡음이 제거된 현재 프레임의 국부적 윈도우 내에서, 중심 픽셀을 기준으로 설정된 복수의 방향마다 중심 픽셀에 대한 차분 값의 평균이 산출된다(S310). 여기서 복수의 방향은 가로, 세로, 대각선, 역대각선 방향을 포함할 수 있다. 그리고, 각 방향의 평균 차분 값 중 최소인 방향이 검출된다(S330). 다음으로, 검출된 방향의 픽셀들의 픽셀 값이 평균된다(S350).
종래의 비디오 잡음 제거 방식들은 시간적 잡음 제거 시 단순히 움직임 검출 계수의 기울기 값을 변화시켜 잡음 제거 강도를 조절하는데 반해, 본 발명의 실시예에서는 움직임 검출 계수에 오프셋(offset)을 적용하고, 움직임 검출 계수의 평균값과, 주변 픽셀의 움직임 정보에 의한 공간적 움직임 정보와 이전 프레임의 움직임 정보에 의한 시간적 움직임 정보를 이용함으로써, 잡음 제거로 인한 움직임 블러를 최소화하면서 잡음 제거 효과는 증대시켰다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (20)

  1. 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분을 기초로 상기 현재 프레임의 움직임 정보를 검출하는 단계; 및
    상기 움직임 정보에 따라 상기 현재 프레임의 시간적 잡음을 제거하는 단계;를 포함하고,
    상기 움직임 정보 검출 단계는,
    국부적 윈도우 내에서, 상기 현재 프레임과 상기 이전 프레임의 대응 픽셀들 간의 차분 값을 평균하는 단계;
    상기 평균 차분 값에서 잡음 레벨에 따라 설정된 오프셋 값을 차감하여, 제2 평균 차분 값을 산출하는 단계;
    상기 오프셋 값에 따라 설정되는 상수 및 상기 제2 평균 차분 값을 기초로, 상기 현재 프레임의 국부적 윈도우의 중심 픽셀에 대한 제1 움직임 검출 계수를 산출하는 단계;
    상기 현재 프레임의 국부적 윈도우 내에서, 상기 제1 움직임 검출 계수의 평균값 및 최소값의 가중합에 의해 제2 움직임 검출 계수를 산출하는 단계; 및
    상기 현재 프레임의 국부적 윈도우 내에서, 상기 제2 움직임 검출 계수 및 상기 이전 프레임의 제3 움직임 검출 계수를 기초로, 상기 현재 프레임의 제3 움직임 검출 계수를 산출하는 단계;를 포함하는 비디오 영상의 잡음 제거 방법.
  2. 삭제
  3. 삭제
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 시간적 잡음 제거 단계는,
    상기 제3 움직임 검출 계수를 이용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는 단계;를 더 포함하는 비디오 영상의 잡음 제거 방법.
  5. 삭제
  6. 삭제
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거하는 단계;를 더 포함하는 비디오 영상의 잡음 제거 방법.
  8. 삭제
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제7항에 있어서, 상기 공간적 잡음 제거 단계는,
    상기 시간적 잡음이 제거된 현재 프레임의 제2 국부적 윈도우 내에서, 중심 픽셀을 기준으로 설정된 복수의 방향마다 중심 픽셀에 대한 차분 값의 평균을 산출하는 단계;
    상기 평균 차분 값이 최소인 방향을 검출하는 단계; 및
    상기 검출된 방향의 픽셀들의 픽셀 값을 평균하는 단계;를 포함하는 비디오 영상의 잡음 제거 방법.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 움직임 검출 단계 이전에,
    잡음 레벨에 따라 크기가 가변하는 마스크를 적용하여 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임을 필터링하는 단계;를 더 포함하는 비디오 영상의 잡음 제거 방법.
  11. 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분을 기초로 상기 현재 프레임의 움직임 정보를 검출하고, 상기 움직임 정보에 따라 상기 현재 프레임의 시간적 잡음을 제거하는 시간적 잡음 제거부;를 포함하고,
    상기 시간적 잡음 제거부는,
    국부적 윈도우 내에서, 상기 현재 프레임과 상기 이전 프레임의 대응 픽셀들 간의 차분 값을 평균하고, 상기 평균 차분 값에서 잡음 레벨에 따라 설정된 오프셋 값을 차감하여, 제2 평균 차분 값을 산출하는 차분부;
    상기 오프셋 값에 따라 설정되는 상수 및 상기 제2 평균 차분 값을 기초로, 상기 현재 프레임의 국부적 윈도우의 중심 픽셀에 대한 제1 움직임 검출 계수를 산출하는 제1계수산출부;
    상기 현재 프레임의 국부적 윈도우 내에서, 상기 제1 움직임 검출 계수의 평균값 및 최소값의 가중합에 의해 제2 움직임 검출 계수를 산출하는 제2계수산출부; 및
    상기 현재 프레임의 국부적 윈도우 내에서, 상기 제2 움직임 검출 계수 및 상기 이전 프레임의 제3 움직임 검출 계수를 기초로, 상기 현재 프레임의 제3 움직임 검출 계수를 산출하는 제3계수산출부;를 포함하는 비디오 영상의 잡음 제거 장치.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서, 상기 시간적 잡음 제거부는,
    상기 현재 프레임의 제3 움직임 검출 계수를 이용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임의 가중합에 의해 상기 현재 프레임의 시간적 잡음을 제거하는, 비디오 영상의 잡음 제거 장치.
  15. 삭제
  16. 삭제
  17. 제11항에 있어서,
    상기 시간적 잡음이 제거된 현재 프레임에서 에지 방향을 기초로 공간적 잡음을 제거하는 공간적 잡음 제거부;를 더 포함하는 비디오 영상의 잡음 제거 장치.
  18. 삭제
  19. 제17항에 있어서, 상기 공간적 잡음 제거부는,
    상기 시간적 잡음이 제거된 현재 프레임의 제2 국부적 윈도우 내에서, 중심 픽셀을 기준으로 설정된 복수의 방향마다 중심 픽셀에 대한 차분 값의 평균을 산출하고, 상기 평균 차분 값이 최소인 방향의 픽셀들의 픽셀 값을 평균하는, 비디오 영상의 잡음 제거 장치.
  20. 제11항에 있어서,
    상기 현재 프레임과 시간적 잡음 제거된 이전 프레임의 차분 이전에, 잡음 레벨에 따라 크기가 가변하는 마스크를 적용하여, 상기 현재 프레임과 시간적 잡음 제거된 이전 프레임을 필터링하는 가변필터;를 더 포함하는 비디오 영상의 잡음 제거 장치.
KR1020130004034A 2012-03-14 2013-01-14 비디오의 잡음 제거 방법 및 장치 KR101984173B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/804,363 US8908101B2 (en) 2012-03-14 2013-03-14 Method and apparatus for reducing noise of video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120026199 2012-03-14
KR20120026199 2012-03-14

Publications (2)

Publication Number Publication Date
KR20130105316A KR20130105316A (ko) 2013-09-25
KR101984173B1 true KR101984173B1 (ko) 2019-06-03

Family

ID=49453961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130004034A KR101984173B1 (ko) 2012-03-14 2013-01-14 비디오의 잡음 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101984173B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467240B1 (ko) * 2018-02-05 2022-11-15 한화테크윈 주식회사 영상의 잡음 제거 장치 및 방법
KR102584521B1 (ko) 2019-02-15 2023-10-05 한화비전 주식회사 움직임 검출을 수행하는 방법 및 움직임 검출을 수행하는 영상처리장치
KR102240054B1 (ko) * 2019-08-30 2021-04-14 (주)미래컴퍼니 영상 처리 장치
CN111583151B (zh) * 2020-05-09 2023-05-12 浙江大华技术股份有限公司 一种视频降噪方法及设备、计算机可读存储介质
CN113689347A (zh) * 2021-08-18 2021-11-23 西安万像电子科技有限公司 基于均值偏移聚类的量化噪声去除方法、设备及存储介质
CN116523765B (zh) * 2023-03-13 2023-09-05 湖南兴芯微电子科技有限公司 一种实时视频图像降噪方法、装置及存储器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008153726A (ja) * 2006-12-14 2008-07-03 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP2012018466A (ja) * 2010-07-06 2012-01-26 Panasonic Corp 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468862B1 (ko) * 2003-03-03 2005-01-29 삼성전자주식회사 영상 잡음 저감 장치 및 그 방법
US7317842B2 (en) * 2003-10-30 2008-01-08 Samsung Electronics Co., Ltd. Global and local statistics controlled noise reduction system
JP4358283B1 (ja) 2008-08-04 2009-11-04 株式会社東芝 ノイズ低減装置及びノイズ低減方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008153726A (ja) * 2006-12-14 2008-07-03 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP2012018466A (ja) * 2010-07-06 2012-01-26 Panasonic Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20130105316A (ko) 2013-09-25

Similar Documents

Publication Publication Date Title
KR101984173B1 (ko) 비디오의 잡음 제거 방법 및 장치
KR101674078B1 (ko) 블록 기반의 영상 잡음 제거 방법 및 장치
CN104980626B (zh) 用于降低图像噪声的方法和设备
KR101830804B1 (ko) 적응 필터링을 이용한 디지털 이미지 안정화 방법
US8204337B2 (en) Image processing system and method for noise reduction
KR101508386B1 (ko) 움직임 적응적 잡음 제거 방법 및 그 장치
CN103929568B (zh) 用于稳定数字图像帧的第一序列的方法及图像稳定装置
US20150310594A1 (en) Method for imaging processing, and image processing device
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
WO2008128772A2 (en) Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signals
CN101123681A (zh) 一种数字图像降噪方法及装置
KR101306242B1 (ko) 영상의 시간적 잡음 제거 방법 및 장치
US8908101B2 (en) Method and apparatus for reducing noise of video
JP2012235443A (ja) マシンビジョンシステムのためのノイズ低減技術
KR100739753B1 (ko) 양방향 시간적 잡음 제거 방법 및 장치
KR101517233B1 (ko) 움직임 추정을 이용한 잡음 제거장치
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
KR20200099834A (ko) 움직임 검출을 수행하는 방법 및 움직임 검출을 수행하는 영상처리장치
KR101375187B1 (ko) 디지털 영상 처리기에서 노이즈 제거 장치
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
JP2012018466A (ja) 画像処理装置及び画像処理方法
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
KR101079299B1 (ko) 시간적 및 공간적 영상 잡음 제거 장치
KR100772380B1 (ko) 확장된 잡음 적응 움직임 검출 방법 및 장치
KR100754219B1 (ko) 비디오 시퀀스로부터의 잡음 분산(표준 편차)을 추정하기위한 확장된 방법및 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130114

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180102

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130114

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181115

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190501

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190524

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190527

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220422

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230424

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240425

Start annual number: 6

End annual number: 6