KR101720881B1 - 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치 - Google Patents

Abstract

주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치가 개시된다. 영상 잡음제거 방법은 입력 영상의 제1 픽셀을 중심으로 하는 제1 패치를 샘플링하는 단계, 적어도 하나 이상의 픽셀을 사이에 두고 제1 픽셀과 일정 간격 이격된 제2 픽셀을 중심으로 하는 제2 패치를 샘플링하는 단계, 및 제1 패치와 제2 패치의 유사도를 평가하는 단계를 포함한다.

Description

주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치{IMAGE DENOISING METHOD BASED ON NON-LOCAL MEANS ALGORITHM USING PRINCIPAL COMPONENTS ANALYSIS AND IMAGE PROCESSING APPARATUS USING THE SAME}

본 발명은 디지털 영상 처리 기술에 관한 것으로, 더욱 상세하게는, 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치에 관한 것이다.

영상은 자연에서 디지털 매체의 영상으로 획득될 때부터, 그리고 전송 혹은 저장과 같은 과정에서 잡음이 추가된다. 영상처리 분야에서는 이러한 잡음을 제거하기 위해 다양한 기법을 사용하고 있다. 잡음 제거는 영상에서 잡음을 줄이고, 영상의 기존 형태나 특징들을 잘 보존하는 것을 목표로 한다.

잡음 제거 알고리즘을 크게 두 종류로 구분할 수 있다. 하나는 공간 도메인 내에서 잡음을 제거하는 것이고, 다른 하나는 변환 도메인 내에서 잡음을 제거하는 것이다.

공간 도메인 내에서 잡음을 제거하는 방법들 중 대표적인 방법들로는 가우시안 필터, 중간값 필터, 바이레터럴 필터 등을 사용하는 방법들이 있다. 이 방법들은 해당 화소에 대해 주변 화소들을 이용하여 잡음을 제거하는 알고리즘들로 지역적 잡음 제거 알고리즘으로 분류된다. 그리고 비지역적 잡음제거 알고리즘은 대표적으로 Buades가 제안한 비지역적 평균기반 잡음제거 알고리즘(non-local mean denoising algorithm)이 있는데, 이 알고리즘은 영상 전반에 걸쳐 해당 화소와 대상 화소의 유사도를 잡음제거 연산에 이용한다.

변환 도메인에서의 잡음제거는 흔히 주파수 도메인 변환을 이용하는 웨이블릿 변환들을 이용한다. 이러한 웨이블릿 변환은 직교 웨이블릿과 비직교 웨이블릿 등이 있고, 이미지 압축에 효과적이며 임계화 연산을 기반으로 잡음을 제거한다.

전술한 영상 잡음 제거 방법들 중 공간 도메인에서의 잡음제거 방법인 비지역적 잡음제거 알고리즘은 영상 전반에 걸쳐 해당 화소에 대해 다른 화소들과 비교하여 유사도를 가지고 잡음제거 연산을 수행할 때 낮은 유사도를 가진 비교 대상들고 잡음제거 연산에 포함되어, 잡음제거 연산의 정확성을 떨어뜨리는 문제점을 가지고 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 비지역적 평균(non-local mean, NLM) 알고리즘의 주성분 분석(principal components analysis, PCA)에서 공분산 행렬의 적은 계산량 환경을 제공하여 좀 더 빠른 계산으로 영상의 잡음 제거를 수행할 수 있는 영상 처리 장치를 제공하는데 있다.

본 발명의 다른 목적은, 영상 처리 장치에 채용할 수 있는 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에서는, 입력 영상의 제1 픽셀을 중심으로 하는 제1 패치를 샘플링하는 단계, 적어도 하나 이상의 픽셀을 사이에 두고 제1 픽셀과 일정 간격 이격된 제2 픽셀을 중심으로 하는 제2 패치를 샘플링하는 단계, 및 제1 패치와 제2 패치의 유사도를 평가하는 단계를 포함하는, 영상 잡음제거 방법이 제공된다.

여기에서, 제2 패치를 샘플링하는 단계는, 제1 픽셀과 제2 픽셀 사이에 위치하는 적어도 하나 이상의 픽셀을 중심으로 하는 다른 패치의 샘플링을 생략하고 제1 패치를 샘플링하는 단계 후에 바로 수행된다.

여기에서, 영상 잡음제거 방법은, 유사도를 평가하는 단계 후에, 제1 픽셀에 대한 제2 픽셀의 유사도에 따라 제1 픽셀의 제1 픽셀값을 보정하는 단계를 더 포함할 수 있다. 보정하는 단계는 중간값 필터 또는 미디언 필터를 사용하여 제1 픽셀을 보정할 수 있다.

여기에서, 유사도를 평가하는 단계는, 제1 패치를 샘플링하는 단계와 제2 패치를 샘플링하는 단계에 의해 축소된 차원을 가지는 주성분 분석(principal components analysis, PCA)에서 제1 패치와 제2 패치의 유클리디안 거리를 이용하여 두 패치들의 유사도를 평가할 수 있다.

여기에서, 영상 잡음제거 방법은, 유사도를 평가하는 단계 후에, 비지역적 평균 알고리즘을 수행하여 영상의 잡음을 제거하는 단계를 더 포함할 수 있다.

여기에서, 제1 픽셀과 제2 픽셀의 주기 또는 제1 픽셀과 제2 픽셀 사이의 간격은 2×S이고, 여기서 S는 샘플링하는 패치의 일 방향에서의 크기 또는 픽셀 개수를 나타낼 수 있다.

여기에서, 영상 잡음제거 방법은, 제1 픽셀을 샘플링하는 단계 전에, 영상 내 일부 픽셀을 중심으로 하는 패치들을 샘플링하는데 필요한 파라미터를 결정하는 단계를 더 포함할 수 있다. 파라미터는 패치의 크기에 대한 파라미터, 패치 서치를 위한 서칭 윈도우의 크기에 대한 파라미터 및 샘플링 간격 또는 주기에 대한 파라미터를 포함할 수 있다.

여기에서, 영상 잡음제거 방법은, 파라미터를 결정하는 단계 후에, 일정한 간격으로 픽셀을 샘플링하기 위해 인접한 두 픽셀들 사이의 소정 간격이나 영상 내 매트릭스 화소 배열의 소정 행의 일부 픽셀들의 기설정 주기에 따라서 픽셀들을 샘플링하는 단계를 더 포함할 수 있다. 픽셀들을 샘플링하는 단계는 제1 패치를 샘플링하는 단계와 제2 패치를 샘플링하는 단계를 포함할 수 있다.

여기에서, 픽셀들을 샘플링하는 단계는, 영상의 잡음도를 판단하는 단계, 잡음도에 따라 상기의 간격을 유지하거나 조정하는 단계, 및 유지 또는 조정된 간격에 따라 영상 내 일부 픽셀들 및/또는 일부 픽셀들을 각각 중심으로 하는 패치들을 샘플링하는 단계를 더 포함할 수 있다.

여기에서, 영상 잡음제거 방법은, 픽셀들을 샘플링하는 단계 또는 상기의 간격을 유지하거나 조정하는 단계 후에, 축소된 차원의 공분산 행렬을 계산하는 단계, 및 공분산 행렬의 계산 결과를 토대로 주성분 분석을 수행하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 입력 영상의 제1 픽셀을 중심으로 하는 제1 패치를 샘플링하고, 적어도 하나 이상의 픽셀을 사이에 두고 제1 픽셀과 일정 간격 이격된 제2 픽셀을 중심으로 하는 제2 패치를 샘플링하는 샘플링부, 및 축소된 차원에서 제1 패치와 제2 패치의 유사도를 평가하는 주성분 분석 처리부를 포함하는, 영상 처리 장치가 제공된다.

여기에서, 샘플링부는, 제1 픽셀과 제2 픽셀 사이에 위치하는 적어도 하나 이상의 픽셀을 중심으로 하는 다른 패치의 샘플링을 생략하고 제1 패치를 샘플링한 후에 바로 제2 패치를 샘플링할 수 있다.

여기에서, 주성분 분석 처리부는, 주성분 분석(principal components analysis, PCA)으로서 샘플링부에 의해 축소된 차원을 가지고 제1 패치와 제2 패치의 유클리디안 거리를 이용하여 두 패치들의 유사도를 평가할 수 있다.

여기에서, 영상 처리 장치는, 유클리디안 거리를 토대로 제1 픽셀을 보정하여 영상의 잡음을 제거하는 비지역적 평균 알고리즘 처리부를 더 포함할 수 있다.

여기에서, 제1 픽셀과 제2 픽셀의 주기 또는 제1 픽셀과 제2 픽셀 사이의 간격은 약 2×S일 수 있다. 여기서, S는 샘플링하는 패치의 일 방향에서의 크기 또는 픽셀 개수를 포함할 수 있다.

여기에서, 영상 처리 장치는, 영상 내 일부 픽셀을 중심으로 하는 패치들을 샘플링하는데 필요한 파라미터를 결정하는 파라미터 결정부를 더 포함할 수 있다. 파라미터는 패치의 크기에 대한 파라미터, 패치 서치를 위한 서칭 윈도우의 크기에 대한 파라미터 및 샘플링 간격 또는 주기에 대한 파라미터를 포함할 수 있다.

여기에서, 영상 처리 장치는, 입력 영상의 잡음도를 계산하는 영상 잡음 계산부; 및 영상 내 패치들을 샘플링하는데 사용되는 인접한 두 중심 픽셀들 사이의 간격이나 영상 내 매트릭스 화소 배열의 소정 행의 일부 픽셀들에 대한 기설정 주기를 유지하거나 조정하는 패치 간격 설정부를 더 포함할 수 있다. 이때, 샘플링부는, 패치 간격 설정부에 의해 유지되거나 조정되는 간격에 따라 영상 내 일부 픽셀들 혹은 이 픽셀들 각각을 중심으로 하는 패치들을 샘플링할 수 있다.

상술한 바와 같은 본 발명의 실시예에 따른 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치를 채용할 경우에는, 적은 연산량으로 비지역적 평균(non-local mean) 알고리즘에 이용되는 주성분 분석(principal components analysis, PCA)의 공분산 행렬의 복합도를 줄여 소비 전력을 감소시킬 수 있다. 특히, 전력 효율이 중요한 모바일 환경에서 더욱더 효과적인 영상 처리 방법 및 영상 처리 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 공분산 행렬을 효율적으로 계산하기 위해 일정한 픽셀 간격을 유지하면서 샘플링을 수행하고 이를 토대로 주성분 분석을 수행함으로써 영상 잡음제거 효율을 크게 향상시킬 수 있는 장점이 있다.

즉, Non-local means(NLM) 알고리즘은 비교적 쉬운 구현과 그에 비해 높은 효율성 때문에 영상에 존재하는 잡음들을 제거하는 영상 잡음제거(Image denoising) 방법들 중 보편적으로 쓰이는 알고리즘 중 하나인데, 본 실시예에서는 높은 복잡도를 해결하여 좀 더 빠른 알고리즘 수행을 위한 방법들 중 하나인 주성분 분석(Principal components analysis, PCA)을 활용하여 NLM 알고리즘의 복잡도를 줄일 수 있다. 특히, PCA를 활용하기 위해 사용되는 공분산 행렬(Covariance matrix)을 효율적으로 계산할 수 있는 장점이 있다.

또한, 카메라 등과 같은 영상장비들로 촬영하여 얻은 영상들은 필수적으로 불필요한 잡음들이 수반되게 되는데 특히 '저녁' 환경과 같이 주변 빛이 부족할 때 두드러지게 발생하는 영상 잡음 수반 현상에 효과적으로 적용하여 영상 잡음을 제거할 수 있다.

이와 같이, 본 실시예에 의하면, 디지털 광학 렌즈를 사용하는 모든 장비에서 효과적으로 영상 잡음을 제거할 수 있다. 장비는 디지털 카메라, 스마트폰, 폐쇄회로텔레비전(CCTV), 전산화 단층(computed tomography) 장치 등을 포함할 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 하드웨어 구성에 대한 블록도이다.
도 2는 도 1의 영상 처리 장치의 소프트웨어 모듈 구성에 대한 개략적인 블록도이다.
도 3은 도 2의 영상 처리 장치에 이용할 수 있는 영상 처리 방법에 대한 순서도이다.
도 4는 도 3의 영상 처리 방법의 주성분 분석을 위한 공분산 행렬 계산에 이용할 수 있는 샘플링 과정을 설명하기 위한 예시도이다.
도 5는 도 4의 영상 처리 방법의 주성분 분석을 위한 공분산 행렬 계산에 이용할 수 있는 영상 처리 장치의 추가적인 소프트웨어 구성에 대한 블록도이다.
도 6은 도 4의 영상 처리 방법에서 영상 잡음도가 큰 경우에 채용할 수 있는 샘플링 과정을 설명하기 위한 예시도이다.
도 7은 도 4의 영상 처리 방법에서 영상 잡음도가 크지 않은 경우에 채용할 수 있는 샘플링 과정을 설명하기 위한 예시도이다.
도 8은 도 7의 샘플링 과정에 대한 변형예를 설명하기 위한 예시도이다.
도 9는 본 실시예에 따른 영상 잡음제거 방법을 적용한 경우와 비교예를 설명하기 위한 도면이다.
도 10은 본 실시예에 따른 영상 처리 장치를 채용한 모바일 단말을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, 용어 "포함한다", "가진다" 등은 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서 오해의 소지가 없는 한 어떤 문자의 첨자가 다른 첨자를 가질 때, 표시의 편의를 위해 첨자의 다른 첨자는 첨자와 동일한 형태로 표시될 수 있다.

본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 하드웨어 구성에 대한 블록도이다.

도 1을 참조하면, 본 실시예에 따른 영상 처리 장치(100)는 프로세서(110), 메모리(120), 입력부(130) 및 출력부(140)를 포함한다. 영상 처리 장치(100)는 영상의 잡음제거에 사용하는 비지역적 평균 알고리즘에 주성분 분석을 효과적으로 적용하기 위하여 주성분 분석에 먼저 수행되는 공분산 행렬을 효율적으로 계산한다.

공분산 행렬의 효율적인 계산은 영상 패치 샘플링 시에 소정 픽셀 간격의 패치들만을 샘플링하여 연산하는 것을 특징으로 한다. 이러한 특징은 영상의 모든 픽셀들을 각각 중심으로 하는 패치들에 대하여 공분산 행렬을 수행하는 기존의 PCA를 이용한 영상 잡음제거 기술과 달리 일부 패치들을 생략하고 다른 일부 패치들만을 이용하여 비지역적 평균 알고리즘을 수행하는 점에서 적은 계산량 환경을 제공할 수 있다.

특히, 본 실시예의 영상 패치 샘플링에 사용되는 일부 패치들은 상대적으로 높은 유사도를 가진 픽셀들을 포함하도록 선택된다. 이러한 본 실시예의 영상 처리 장치의 영상 잡음제거 방법에 대하여는 아래의 설명에서 상세히 설명될 것이다.

영상 처리 장치(100)의 구성요소들을 좀 더 구체적으로 설명하면 다음과 같다.

프로세서(110)는 하나 이상의 코어와 캐시 메모리를 포함할 수 있다. 프로세서(110)가 멀티 코어 구조를 구비하는 경우, 멀티 코어(multi-core)는 두 개 이상의 독립 코어를 단일 집적 회로로 이루어진 하나의 패키지로 통합한 것을 지칭한다. 단일 코어는 중앙 처리 장치를 지칭할 수 있다. 중앙처리장치(CPU)는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다. 코어는 처리할 명령어를 저장하는 레지스터(register), 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU), 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어부(control unit), 내부 버스 등을 구비할 수 있다.

전술한 프로세서(110)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성될 수 있다.

또한, 프로세서(110)는 주변장치 인터페이스와 메모리 인터페이스를 더 포함할 수 있다. 주변장치 인터페이스는 프로세서와 입출력 시스템 및/또는 프로세서와 다른 주변 장치를 연결하고, 메모리 인터페이스는 프로세서와 메모리(120)를 연결할 수 있다. 입출력 시스템은 입력부(130) 및 출력부(140)를 포함할 수 있다.

전술한 프로세서(110)는 메모리(120)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 해당 모듈에 대응하는 특정한 여러 가지의 기능을 수행할 수 있다. 본 실시예에서 소프트웨어 모듈은 파라미터 결정 모듈, 주성분 분석 모듈 및 비지역적 평균 알고리즘 처리 모듈을 포함할 수 있다. 그리고 주성분 분석 모듈은 영상 잡음 계산 모듈, 패치 간격 설정 모듈, 샘플링 모듈, 공분산 행렬 계산 모듈 및 주성분 분석 처리 모듈을 포함할 수 있다.

메모리(120)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리를 포함할 수 있다. 메모리(120)는 소프트웨어, 프로그램, 명령어 집합 또는 이들의 조합을 저장할 수 있다.

입력부(130)는 입력 영상을 받고 입력 영상을 프로세서(110)에 전달한다. 입력부(130)는 아날로그 디지털 컨버터, 래치, 샘플앤홀더 또는 이들의 조합을 포함할 수 있으나, 이에 한정되지는 않는다.

출력부(140)는 프로세서(110)로부터 잡음이 제거된 영상(출력 영상)을 받아 장치 외부로 출력한다. 출력부(140)는 디지털 아날로그 컨버터, 버퍼, 앰프 또는 이들의 조합을 포함할 수 있다.

도 2는 도 1의 영상 처리 장치의 소프트웨어 모듈 구성에 대한 개략적인 블록도이다.

도 2를 참조하면, 본 실시예에 따른 영상 처리 장치(100)는 소프트웨어 모듈들로서 파라미터 결정부(112), 주성분 분석부(114) 및 비지역적 평균 알고리즘 처리부(116)를 포함한다. 이러한 소프트웨어 모듈들은 앞서 설명한 프로세서, 메모리 또는 이들의 조합으로 구성되는 하드웨어 구조에 의해 구현될 수 있다. 예를 들어, 각 소프트웨어 모듈은 프로그램 형태로 메모리에 저장되어 프로세서에 의해 수행될 수 있다.

파라미터 결정부(112)는 패치 크기(

)에 대한 파라미터 S, 픽셀 (pixel)

를 중심으로 소정 크기(

) 범위 안에 있는 픽셀들의 집합을 지칭하는 서칭 윈도우(seraching window)에 대한 파라미터 R, 및

차원을 가진 패치를 본 실시예의 PCA를 이용하여 낮춘 차원

을 결정한다. 파라미터 결정부(112)는 영상의 잡음도에 따라 파라미터를 결정할 수 있다. 영상의 잡음도는 잡음이 매우 큰 경우, 잡음이 매우 크지 않은 경우로 구분할 수 있다.

주성분 분석부(114)는 주성분 분석(principal components analysis)을 이용하여 새로운 변수를 추정 또는 생성한다. 새로운 변수는 공분산 행렬을 효과적으로 수행하는데 이용할 수 있는 샘플링 결과로서 일정한 간격으로 패치를 샘플링하는 것을 포함할 수 있다. 즉, 주성분 분석부(114)는 다차원의 데이터의 변량을 최대한으로 유지하며 차원축소를 행하는 방법으로서, 다차원 변수의 변량을 주성분(principal component)이라는 적은 수의 변수로 축소하는 것에 대응한다.

비지역적 평균 알고리즘 처리부(116)는 비지역적 평균(non-local mean, NLM) 알고리즘을 처리한다. NLM 알고리즘은 현재 처리하고자 하는 픽셀(pixel)

를 그 주변의 픽셀들을 이용해서 픽셀

에 존재하는 잡음을 줄이게 된다.

좀 구체적으로 설명하면, 픽셀

를 중심으로 픽셀

를 포함한 영상 패치(patch)와 픽셀

에 이웃한 픽셀

를 중심으로 픽셀

를 포함한 영상 패치를, 이들 사이의 거리의 제곱(

)를 이용하여 두 패치가 얼마나 비슷한지 비교한 후 그 값에 따라 픽셀

값에 가중치를 주어서 픽셀

값을 보정한다. 이러한 과정들은 기존의 경우 아래의 수학식 1과 같이 픽셀

주변에 있는 모든 이웃한 픽셀들을 대상으로 반복하게 되나, 본 실시예에서는 주성분 분석부(114)에서 픽셀

와 이 픽셀

다음에 샘플링하는 다음 픽셀

를 픽셀

로부터 일정 간격 떨어져 있는 특정 픽셀을 선택하도록 구성되므로, 이러한 주성분 분석부(114)의 샘플링 결과에 따르게 된다. 즉, 본 실시예에서는 수학식 2와 같이 픽셀

를 중심으로 포함한 제1 영상 패치와 픽셀

와 일정 거리 이격된 픽셀

를 중심으로 포함한 제2 영상 패치를, 이들 두 패치들의 중심 픽셀들 사이의 거리(혹은 주기)의 제곱을 이용하여 비교한 후 그 비교 값에 따라 픽셀

또는 제2 영상 패치에 인접하게 위치하는 제1 영상 패치의 적어도 하나의 픽셀에 가중치를 주어서 픽셀

값을 보정할 수 있다.

위의 수학식 1에서,

는 잡음이 존재하는 영상,

는 원본 영상의 추정치,

는 함수 파라미터(parameter),

는 픽셀

를 중심으로

크기를 가지는 주변 픽셀패치(neighborhood patch),

는 픽셀

를 중심으로

범위 안에 있는 픽셀들의 집합(Searching window)이다. 수학식 2의 항목들은 축소된 차원(d)이 반영된 것을 제외하고 수학식 1의 항목들과 실질적으로 동일할 수 있다.

수학식 1로 나타낸 비교예의 NLM 알고리즘은 픽셀

주변에 있는 모든 이웃한 픽셀들을 대상으로 각 픽셀 값을 보정하므로, NLM 알고리즘의 복잡도가 매우 크다. 영상 전체 픽셀 개수가

이면 NLM 알고리즘의 복잡도는

가 된다. 이는 최신의 하드웨어를 이용한다고 하더라고 하나의 정지영상에 존재하는 잡음을 제거하기 위해서는 상대적으로 매우 많은 시간이 소모된다. 특히 스마트폰과 같은 휴대 단말에서는 노트북이나 데스크탑 컴퓨터 장치에 비해 영상 내 잡음 제거를 위한 시간이 크게 증가할 수 있다.

한편, 위의 수학식 2에 의하면, 본 실시예에 따른 NLM 알고리즘은

차원을 가진 패치를 새로운 샘플링 기법을 적용한 주성분 분석(PCA)을 이용하여

차원으로 낮춘 뒤 중심 픽셀들 간의 주기 또는 거리의 제곱(

)을 계산할 수 있다. 이렇게 되면, 복잡도가

로 줄어들게 되어 빠른 알고리즘 수행이 가능하다.

도 3은 도 2의 영상 처리 장치에 이용할 수 있는 영상 처리 방법에 대한 순서도이다. 영상 처리 방법은 영상 잡음제거 방법을 포함할 수 있다.

도 3을 참조하면, 본 실시예에 따른 영상 처리 방법은 먼저 영상 처리 장치에서 카메라, 메모리, 네트워크 등으로부터 영상을 입력받는다(S31). 입력 영상은 잡음이 존재하는 영상이다.

다음, 영상 처리 장치는 파라미터 결정부를 통해 주변 픽셀 사이즈에 대한 파라미터(S), 서칭 윈도우 크기에 대한 파라미터(R), 축소된 차원에 대한 파라미터(d) 등의 파라미터를 결정한다(S32).

다음, 영상 처리 장치는 주성분 분석부를 통해 주성분 분석 과정(S33)을 진행한다. 주성분 분석 과정(S33)은 일정한 픽셀 간격 또는 일정한 중심 픽셀들의 주기에 따라 일부 패칭들을 샘플링하고(S331), 샘플링한 일부 패치에 대한 공분산 행렬 계산을 수행(S332)한 후, 공분산 행렬의 계산 결과를 토대로 주성분 분석을 수행하도록 구현될 수 있다(S333).

다음, 영상 처리 장치는 주성분 분석 과정의 처리 결과를 토대로 비지역적 평균 알고리즘을 수행한다(S34). 비지역적 평균 알고리즘은 공분산 행렬의 적은 계산량을 토대로 처리되므로 신속하게 수행될 수 있다. 비지역적 평균 알고리즘의 처리가 완료되면, 영상 처리 장치는 영상을 출력한다. 출력 영상은 효과적으로 잡음이 제거된 영상이 된다.

도 4는 도 3의 영상 처리 방법의 주성분 분석을 위한 공분산 행렬 계산에 이용할 수 있는 샘플링 과정을 설명하기 위한 예시도이다.

도 4를 참조하면, 본 실시예에 따른 영상 처리 방법에서는 위에서 설명한 실시예와 달리 영상 잡음도에 따라 인접한 두 패치들의 중심 패치들 사이의 간격(pd)을 기준 간격보다 작게 하거나 크게 할 수 있다.

구체적으로 설명하면, 영상 처리 방법을 수행하는 영상 처리 장치는 비지역적 평균 알고리즘을 수행하기 위해 필요한 파라미터들을 결정한 후, 영상의 잡음도를 제1 기준치 및 제2 기준치와 비교할 수 있다(S3310).

비교 결과, 잡음도가 제1 기준치 미만이면, 영상 처리 장치는 기준 간격(pd)에 소정 간격(α1)을 더하여 인접한 두 중심 픽셀들 사이의 거리를 증가시킬 수 있다(S3311). 또한, 상기의 비교 결과, 잡음도가 제2 기준치를 초과하면, 영상 처리 장치는 기준 간격(pd)에 소정 간격(α2)을 빼서 인접한 두 패치의 두 중심 픽셀들 사이의 거리를 감소시킬 수 있다(S3312). 그리고 상기의 비교 결과, 잡음도가 제1 기준치 이상이고 제2 기준치 이하이면, 영상 처리 장치는 연속으로 샘플링하는 두 패치들의 두 중심 픽셀들 사이의 간격을 기준 간격(pd)으로 결정할 수 있다(S3313).

다음, 영상 처리 장치는 잡음을 제거하고자 하는 영상에 대하여 앞에서 결정된 간격(pd)을 유지하면서 주성분 분석(PCA)의 공분산 행렬 연산을 위한 샘플링을 수행할 수 있다(S3314).

도 5는 도 4의 영상 처리 방법의 주성분 분석을 위한 공분산 행렬 계산에 이용할 수 있는 영상 처리 장치의 추가적인 소프트웨어 모듈들에 대한 블록도이다.

도 5를 참조하면, 본 실시예에 따른 영상 처리 장치의 주성분 분석부(114)는 영상 잡음 계산부(1141), 패치 간격 설정부(1142), 샘플링부(1143), 공분산 행렬 계산부(1144) 및 주성분 분석 처리부(1145)를 포함할 수 있다. 이러한 소프트웨어 모듈들(1141 내지 1145)은 도 2에서 설명한 바와 같이 메모리에 저장되어 프로세서에 의해 수행될 수 있으나, 이에 한정되지는 않는다.

영상 잡음 계산부(1141)는 잡음을 제거하고자 하는 영상에 대한 잡음도를 계산한다. 영상 잡음도 계산은, 원영상이 있는 경우, 원영상과의 비교를 토대로 계산될 수 있고, 원영상이 없는 경우, 소정의 관심 영역에서의 열화 영상을 역 열화 과정을 적용하여 복원된 근사 영상과의 비교를 토대로 계산될 수 있다.

영상 잡음은 일정 값이 더해진 형태의 가산 잡음, 일정 값이 곱해진 형태의 증가 잡음, 모든 주파수 대역에서 발생하는 백색 잡음, 특정 대역에서만 발생하는 유색 잡음, 잡음의 밝기 값이 특정 구간에 걸쳐 일정하게 분포하는 균일 잡음, 영상 신호의 날카롭고 갑작스런 혼란에 의해 발생하고 희고 검은 화소가 영상 전체에 걸쳐 흩어진 형태를 나타내는 임펄스 잡음, 영상 신호의 변동에 의해 발생하는 가우시안 잡음, 레이저 영상화의 잡음을 묘사하는데 유용한 지수 잡음, 주기적인 교란에 의한 주기적 잡음 등을 포함할 수 있다. 다만, 본 실시예에 따른 영상 잡음은 비지역적 평균 알고리즘을 적용하여 제거할 수 있는 잡음을 포함한다.

패치 간격 설정부(1142)는 비지역적 평균 알고리즘에 사용되는 주성분 분석의 공분산 행렬의 연산을 위해 패치들을 샘플링할 때, 인접한 패치들의 중심이 되는 중심 픽셀들 사이의 거리 또는 주기를 설정한다. 패치 간격 설정부(1142)는 영상의 잡음도에 따라 상기의 간격(pd)를 설정할 수 있다. 패치 간격 설정부(1142)는 도 4를 참조하여 앞서 설명한 간격(pd) 설정 과정과 유사하게 동작하도록 구현될 수 있다.

샘플링부(1143)는 패치 간격 설정부(1142)에 의해 설정된 간격을 토대로 일부 패치들에 속한 영상의 일부 픽셀들을 샘플링한다. 샘플링부(1143)는 영상에서 앞서 설정된 패치 간격으로 일부 픽셀들을 샘플링할 수 있다.

공분산 행렬 계산부(1144)는 샘플링부(1143)에 의해 얻은 일부 픽셀들을 이용하여 공분산 행렬을 수행한다. 공분산 행렬 계산부(1144)는 공분산 행렬의 연산에 적은 픽셀들을 이용하므로 기존의 주성분 분석의 공분산 행렬 연산 대비 상대적으로 신속하게 영상 내 잡음제거를 위한 공분산 행렬 연산을 수행할 수 있다.

주성분 분석 처리부(1145)는 공분산 행렬 계산부(1144)의 영상 내 샘플링한 일부 픽셀들의 공분산 행렬 연산 결과를 토대로 주성분 분석을 수행한다. 주성분 분석 처리부(1145)는 위의 수학식 2에 나타낸 바와 같이 기존 대비 축소된 차원으로 주성분 분석을 수행할 수 있다.

도 6은 도 4의 영상 처리 방법에서 영상 잡음도가 큰 경우에 채용할 수 있는 샘플링 과정을 설명하기 위한 예시도이다.

도 6을 참조하면, 본 실시예의 영상 처리 방법에서는 주성분 분석(PCA)를 수행하기 위해 먼저 패치들의 공분산 행렬을 계산할 때, 공분산 행렬을 효율적으로 계산하기 위해 다음과 같은 샘플링 절차를 포함할 수 있다.

픽셀

가 중심인 패치와 픽셀

바로 옆 픽셀

이 중심인 패치는 영상 특성상 매우 비슷하기 때문에 공분산 행렬에서 이들 모두를 고려하는 것은 비효율적이다. 따라서 본 실시예에서는 적절한 샘플링을 통하여 영상의 모든 픽셀들을 고려한 경우보다 빠르게 잡음을 제거할 수 있으면서 효과는 거의 달라지지 않는 효율적인 공분산 행렬을 구할 수 있다.

즉, 본 실시예에서는, 비지역적 평균 알고리즘을 수행하는데 있어서, 먼저 제1 픽셀(p11)을 중심으로 하는 제1 패치(P1)를 샘플링하고, 바로 이어서 제1 픽셀(p11)에서 일정 거리 이격된 제2 픽셀(p12)을 중심으로 하는 제2 패치(P2)를 샘플링한다. 이러한 과정은 제1 픽셀(p11)과 제2 픽셀(p12)을 포함하는 영상 화소 배열의 특정 가로행에 대하여 수행된 후, 제1 픽셀(p11)에서 일정 거리 이격된 제3 픽셀(p21)을 중심으로 하는 제3 패치(P3)를 샘플링하도록 수행될 수 있다. 상기의 일정 거리는 3개의 연속 배열되는 픽셀들의 길이에 대응할 수 있다.

본 실시예에서 중심 픽셀들 간의 주기 또는 간격(

)은 인접한 두 패치들이 부분적으로 중첩되는 간격에서 2배보다 확실하게 작은 간격일 수 있다. 예를 들어, 상기의 주기 또는 간격(

)은, 패치의 폭(S)이 연속 배치된 세 개의 픽셀들의 길이에 대응할 때, 인접한 두 중심 픽셀들 사이에 하나의 픽셀에서 5개의 연속 픽셀들이 배열된 거리에 대응할 수 있다.

이와 같이, 본 실시예에 따른 영상 처리 방법은 잡음도가 큰 영상에서 샘플링되는 인접한 두 패치들의 중심 픽셀들 사이의 간격이 패치의 폭의 약 2배보다 확실하게 작은 거리를 두고 공분산 행렬의 연산을 위한 패치들의 샘플링을 수행하여 주성분 분석을 이용하는 비지역적 평균 알고리즘의 효율을 향상시킬 수 있다.

도 7은 도 4의 영상 처리 방법에서 영상 잡음도가 크지 않은 경우에 채용할 수 있는 샘플링 과정을 설명하기 위한 예시도이다.

도 7을 참조하면, 본 실시예의 영상 처리 방법에서는 비지역적 평균 알고리즘을 수행하는데 있어서, 먼저 제1 픽셀(p11)을 중심으로 하는 제1 패치(P1)를 샘플링하고, 바로 이어서 제1 픽셀(p11)에서 제1 패치(P1)의 가로 폭에 대응하는 거리의 약 두 배 거리 이격된 제2 픽셀(p12)을 중심으로 하는 제2 패치(P2)를 샘플링한다. 이러한 과정은 제1 픽셀(p11)과 제2 픽셀(p12)을 포함하는 영상 화소들의 매트릭스 배열의 특정 가로행에 대하여 수행된 후, 제1 픽셀(p11)에서 세로 방향으로 제1 패치(P1)의 세로 폭에 대응하는 거리의 약 두 배 거리 이격된 제3 픽셀(p21)을 중심으로 하는 제3 패치(P3)를 샘플링하도록 수행될 수 있다. 영상 잡음은 크게 백색 가우시안 잡음과, 임펄스 잡음이 대표적이며, 통상 이들 두 잡음이 혼재되어 나타난다. 본래 영상의 미리 설정된 열화 정도가 매우 크지 않다면 잡음도가 매우 크기 않을 것으로 판단할 수 있다.

이와 같이, 본 실시예에 따른 영상 처리 방법은 잡음도가 매우 크지 않은 영상에서 인접한 두 패치들의 중심 픽셀들 사이의 간격이 패치 폭의 약 2배 거리(

)를 두고 가로 및 세로 패치들을 샘플링하여 비지역적 평균 알고리즘의 주성분 분석을 위한 공분산 행렬 연산을 수행하도록 구현될 수 있다. 이러한 샘플링 절차를 이용하면 비지역적 평균 알고리즘에서 영상 잡음을 매우 효율적으로 제거할 수 있다.

도 8은 도 7의 샘플링 과정에 대한 변형예를 설명하기 위한 예시도이다.

도 8을 참조하면, 본 실시예의 영상 처리 방법에서는 비지역적 평균 알고리즘을 수행하는데 있어서, 제1 픽셀(p11)을 중심으로 하는 제1 패치(P1)를 먼저 샘플링하고, 바로 이어서 제1 픽셀(p11)에서 제1 패치(P1)의 가로 폭의 약 두 배 거리 이격된 제2 픽셀(p12)을 중심으로 하는 제2 패치(P2)를 샘플링한다. 이러한 과정은 제1 픽셀(p11)과 제2 픽셀(p12)을 포함하는 영상 화소들의 매트릭스 배열의 특정 가로 행에 대하여 수행된 후, 제1 픽셀(p11)에서 세로 방향으로 일정 거리 이격된 제3 픽셀(p21)을 중심으로 하는 제3 패치(P3)를 샘플링하도록 수행하고, 그 다음에 제3 픽셀(c21)을 가로지르는 다음 가로 행에서 제3 픽셀(c21)에서 제3 패치(P3)의 가로 폭에 대응하는 거리의 약 두 배 거리 이격된 제4 픽셀(c22)을 중심으로 하는 제4 패치(P4)를 샘플링하도록 구현될 수 있다. 상기의 일정 거리는 적어도 하나 이상의 픽셀의 폭에 대응하는 거리를 포함할 수 있다. 본 실시예에서 패치의 가로 폭(S1)과 세로 폭(S2)은 서로 동일하다.

이와 같이, 본 실시예에 따른 영상 처리 방법은 영상의 잡음도에 따라 영상 내 인접한 두 패치들의 중심 픽셀들 사이의 간격이 소정 간격 이격된 거리를 갖도록 패치들을 샘플링하여 비지역적 평균 알고리즘의 주성분 분석을 위한 공분산 행렬 연산을 효과적으로 수행할 수 있다.

도 9는 본 실시예에 따른 영상 잡음제거 방법을 적용한 경우와 비교예를 설명하기 위한 도면이다.

도 9에 나타낸 바와 같이, 몇몇 표준 테스트 정지 영상을 대상으로 본 실시예에 따른 영상 잡음제거 방법을 적용한 결과(본 실시예)와 비교예의 적용 결과를 보여준다. 본 실시예에서 사용한 파라미터들은

이다.

영상 잡음이 매우 큰 경우(σ=50, ｈ=156)를 제외하면, 잡음도가 크지 않은 영상에서 인접한 중심 픽셀들 사이의 간격이

인 경우가 가장 큰 효율을 보이고 있음을 알 수 있다.

도 10은 본 실시예에 따른 영상 처리 장치를 채용한 모바일 단말을 설명하기 위한 도면이다.

도 10을 참조하면, 본 실시예에 따른 영상 처리 장치(110a)는 디스플레이 장치(170)와 카메라(180)를 포함하는 모바일 단말(200)에 탑재되어 모바일 단말(200)의 카메라(180) 등으로부터 획득한 영상에서 잡음을 제거하기 위해 사용될 수 있다. 모바일 단말(200)은 통신장치를 포함하고, 통신장치를 이용하여 네트워크(300)를 통해 다른 모바일 단말(400)이나 서버 장치(500) 등에 연결될 수 있다. 영상 처리 장치(110a)는 모바일 단말(200)의 제어부, 메모리 시스템 또는 이들의 조합에 포함될 수 있다.

전술한 영상 처리 장치(110a)를 이용하면, 모바일 단말(200)은 작은 계산량으로 기존 대비 좀 더 빠른 계산으로 잡음 제거 알고리즘을 수행할 수 있고, 그에 의해 전력 효율이 중요한 모바일 환경에서 더욱 효과적으로 영상 처리를 수행할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

1. 영상 처리 장치에서 수행되는 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법에 있어서,
   상기 주성분 분석을 위한 단계들로서,
   입력 영상 내 일부 픽셀을 중심으로 하는 패치들을 샘플링하는데 필요한 파라미터를 결정하는 단계;
   상기 입력 영상의 제1 픽셀을 중심으로 하는 제1 패치를 샘플링하는 단계;
   적어도 하나 이상의 픽셀을 사이에 두고 상기 제1 픽셀과 일정 간격 이격된 제2 픽셀을 중심으로 하는 제2 패치를 샘플링하는 단계; 및
   상기 제1 패치와 상기 제2 패치의 유사도를 평가하는 단계를 포함하며,
   상기 제1 패치를 샘플링하는 단계와 상기 제2 패치를 샘플링하는 단계는 인접한 두 픽셀들 사이의 소정 간격이나 상기 입력 영상 내 소정 행의 일부 픽셀들의 기설정 주기에 따라서 픽셀들을 일정한 간격으로 샘플링하는, 영상 잡음제거 방법.
2. 청구항 1에 있어서,
   상기 제2 패치를 샘플링하는 단계는, 상기 제1 픽셀과 상기 제2 픽셀 사이에 위치하는 적어도 하나 이상의 픽셀을 중심으로 하는 다른 패치의 샘플링을 생략하고 상기 제1 패치를 샘플링하는 단계 후에 바로 수행되는, 영상 잡음제거 방법.
3. 청구항 1에 있어서,
   상기 유사도를 평가하는 단계 후에, 상기 제1 픽셀에 대한 상기 제2 픽셀의 유사도에 따라 상기 제1 픽셀의 제1 픽셀값을 보정하는 단계를 더 포함하는,
   영상 잡음제거 방법.
4. 청구항 3에 있어서,
   상기 보정하는 단계는 미디언 필터를 사용하여 보정하는, 영상 잡음제거 방법.
5. 청구항 1에 있어서,
   상기 유사도를 평가하는 단계는, 상기 제1 패치를 샘플링하는 단계와 상기 제2 패치를 샘플링하는 단계에 의해 축소된 차원을 가지는 주성분 분석(principal components analysis, PCA)에서 상기 제1 패치와 상기 제2 패치의 유클리디안 거리를 이용하여 두 패치들의 유사도를 평가하는, 영상 잡음제거 방법.
6. 청구항 5에 있어서,
   상기 유사도를 평가하는 단계 후에, 비지역적 평균 알고리즘을 수행하여 상기 영상의 잡음을 제거하는 단계를 더 포함하는, 영상 잡음제거 방법.
7. 청구항 1에 있어서,
   상기 제1 픽셀과 상기 제2 픽셀의 주기 또는 상기 제1 픽셀과 상기 제2 픽셀 사이의 간격은 2×S이고, 여기서 상기 S는 샘플링하는 패치의 일 방향에서의 크기 또는 픽셀 개수를 포함하는, 영상 잡음제거 방법.
8. 삭제
9. 청구항 1에 있어서,
   상기 파라미터는 패치의 크기에 대한 파라미터, 패치 서치를 위한 서칭 윈도우의 크기에 대한 파라미터 및 샘플링 간격 또는 주기에 대한 파라미터를 포함하는, 영상 잡음제거 방법.
10. 삭제
11. 청구항 1에 있어서,
    상기 제1 패치를 샘플링하는 단계와 상기 제2 패치를 샘플링하는 단계는, 상기 영상의 잡음도를 판단하는 단계, 상기 잡음도에 따라 상기 간격을 유지하거나 조정하는 단계, 및 상기 유지 또는 조정된 간격에 따라 상기 영상 내 일부 픽셀들을 샘플링하는 단계를 더 포함하는,
    영상 잡음제거 방법.
12. 청구항 11에 있어서,
    상기 제1 패치를 샘플링하는 단계와 상기 제2 패치를 샘플링하는 단계 후에 또는 상기 간격을 유지하거나 조정하는 단계 후에, 축소된 차원의 공분산 행렬을 계산하는 단계, 및 상기 공분산 행렬의 계산 결과를 토대로 상기 주성분 분석을 수행하는 단계를 더 포함하는, 영상 잡음 제거 방법.
13. 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음 제거를 수행하는 영상 처리 장치에 있어서,
    상기 주성분 분석을 수행하는 주성분 분석부; 및
    상기 주성분 분석부의 평가 결과를 토대로 비지역적 평균 알고리즘을 수행하는 비지역적 평균 알고리즘 처리부를 포함하고,
    상기 주성분 분석부는,
    입력 영상의 제1 픽셀을 중심으로 하는 제1 패치를 샘플링하고, 적어도 하나 이상의 픽셀을 사이에 두고 상기 제1 픽셀과 일정 간격 이격된 제2 픽셀을 중심으로 하는 제2 패치를 샘플링하는 샘플링부;
    상기 제1 패치와 상기 제2 패치의 유사도를 평가하는 주성분 분석 처리부;
    상기 입력 영상의 잡음도를 계산하는 영상 잡음 계산부; 및
    상기 입력 영상 내 패치들을 샘플링하는데 사용되는 인접한 두 중심 픽셀들 사이의 간격이나 상기 입력 영상 내 매트릭스 화소들의 소정 행의 일부 픽셀들에 대한 기설정 주기를 유지하거나 조정하는 패치 간격 설정부를 포함하고,
    상기 샘플링부는, 상기 유지하거나 조정되는 간격에 따라 상기 입력 영상 내 일부 픽셀들을 샘플링하는, 영상 처리 장치.
14. 청구항 13에 있어서,
    상기 샘플링부는, 상기 제1 픽셀과 상기 제2 픽셀 사이에 위치하는 적어도 하나 이상의 픽셀을 중심으로 하는 다른 패치의 샘플링을 생략하고 상기 제1 패치를 샘플링한 후에 바로 제2 패치를 샘플링하는, 영상 처리 장치.
15. 청구항 13에 있어서,
    상기 주성분 분석 처리부는, 주성분 분석(principal components analysis, PCA)에서 상기 샘플링부에 의해 축소된 차원을 가지고 상기 제1 패치와 상기 제2 패치의 유클리디안 거리를 이용하여 두 패치들의 유사도를 평가하는, 영상 처리 장치.
16. 청구항 15에 있어서,
    상기 유클리디안 거리를 토대로 상기 제1 픽셀을 보정하여 상기 영상의 잡음을 제거하는 비지역적 평균 알고리즘 처리부를 더 포함하는, 영상 처리 장치.
17. 청구항 13에 있어서,
    상기 제1 픽셀과 상기 제2 픽셀의 주기 또는 상기 제1 픽셀과 상기 제2 픽셀 사이의 간격은 2×S이고, 여기서 상기 S는 샘플링하는 패치의 일 방향에서의 크기 또는 픽셀 개수를 포함하는, 영상 처리 장치.
18. 청구항 13에 있어서,
    상기 영상 내 일부 픽셀을 중심으로 하는 패치들을 샘플링하는데 필요한 파라미터를 결정하는 파라미터 결정부를 더 포함하는, 영상 처리 장치.
19. 청구항 18에 있어서,
    상기 파라미터는 패치의 크기에 대한 파라미터, 패치 서치를 위한 서칭 윈도우의 크기에 대한 파라미터 및 샘플링 간격 또는 주기에 대한 파라미터를 포함하는, 영상 처리 장치.
20. 삭제

Images