KR102274320B1 - 영상 처리 방법 및 장치 - Google Patents

Abstract

기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 기준 대표값들 및 참조 대표값들에 기초하여 기준 영상과 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들을 획득하는 단계, 계층 영상들로부터 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하는 단계, 기준 대표값들 및 참조 대표값들로부터 기준 영역들 및 참조 영역들간의 유사도를 판단하는 단계, 및 판단된 유사도에 따라, 기준 영상과 참조 영상에 필터링을 적용하여 노이즈를 제거하는 단계로 이루어진 영상 처리 방법이 개시된다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING THE IMAGE}

영상 처리 방법 및 장치에 관한 것으로, 구체적으로는 복수 개의 입력 영상들로부터 화질이 개선된 출력 영상을 획득하는 영상 처리 방법 및 장치에 관한 것이다.

조도가 상대적으로 낮은 어두운 환경이나 역광과 같이 열악한 영상 촬영 환경에서 디지털 카메라와 같은 영상 촬영 장치로 영상을 촬영하는 경우, 화질 열화 문제가 발생할 수 있다. 예를 들어, 충분한 노출(exposure) 시간 확보를 위해 긴 노출 시간(long exposure time)을 설정하여 촬영하는 경우, 길어지는 셔터 스피드와 영상 촬영 장치의 흔들림이나 오브젝트의 움직임에 의한 모션 블러(motion blur) 현상이 발생할 수 있다. 또한, 카메라의 감도를 고감도로 설정하고 영상을 촬영하는 경우, 어두운 영상이 노이즈 성분과 함께 증폭되어, 전체적으로 영상에 노이즈가 강하게 나타날 수 있다.

이와 같은 저조도 환경에서 촬영된 영상의 화질 열화 문제를 해결하기 위해, 한 장의 결과 영상에 기초하여 모션 블러를 제거하는 기술 및 고성능의 노이즈 제거 기술 등이 개발되어 왔고, 최근에는 한 장의 영상이 아닌 복수 개의 영상을 이용하여 이를 융합하여 처리하는 기술이 개발되고 있다.

복수 개의 영상들을 이용하여 화질이 개선된 출력 영상을 획득할 때 유사도 판단에 필요한 연산량 및 메모리 이동량을 감소시켜, 노이즈 제거 속도를 향상시킨 영상 처리 장치 및 방법이 개시된다. 또한, 본 발명의 일 실시예에 따른 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

일부 개시에 따른 영상 처리 방법은 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 단계, 상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 단계, 상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 단계, 및 상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 필터링을 적용하여 노이즈를 제거하는 단계를 포함할 수 있다.

상기 기준 대표값은 상기 기준 영역 안의 픽셀들의 픽셀값들로부터, 상기 참조 대표값은 상기 참조 영역 안의 픽셀들의 픽셀값들로부터 획득될 수 있다.

상기 기준 대표값은 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값이고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값일 수 있다.

상기 영상 처리 방법은 상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 단계를 더 포함할 수 있다.

상기 유사도를 판단하는 단계는 상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사도를 판단할 수 있다.

상기 유사도를 판단하는 단계는 상기 기준 대표값 및 상기 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사 여부를 판단할 수 있다.

상기 노이즈를 제거하는 단계는 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 필터링을 적용하고, 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 필터링을 적용하지 않을 수 있다.

상기 영상 처리 방법은 상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 기준 대표값들 및 상기 참조 대표값들을 획득하는 단계, 상기 유사도 판단 단계 및 상기 노이즈 제거 단계를 순차적으로 수행할 수 있다.

본원 발명은 상기 영상 처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체를 포함한다.

영상의 노이즈를 제거하는 영상 처리 장치는 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 계산하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 계층적 영상 구조 획득부, 상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 대표값 획득부, 상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 유사도 판단부, 및 상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 시간축 필터링을 적용하여 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.

상기 계층적 영상 구조 획득부는 상기 기준 대표값을 상기 기준 영역 안의 픽셀들의 픽셀값들로부터, 상기 참조 대표값을 상기 참조 영역 안의 픽셀들의 픽셀값들로부터 획득할 수 있다.

상기 계층적 영상 구조 획득부는 상기 기준 대표값을 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 하고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 할 수 있다.

상기 영상 처리 장치는 상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 움직임 정보 획득부를 더 포함할 수 있다.

상기 유사도 판단부는 상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사 여부를 판단할 수 있다.

상기 유사도 판단부는 상기 기준 대표값 및 상기 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사도를 판단할 수 있다.

상기 노이즈 제거부는 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 시간축 필터링을 적용하고, 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 시간축 필터링을 적용하지 않을 수 있다.

상기 영상 처리 장치는 상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 대표값 획득부의 상기 기준 대표값들 및 상기 참조 대표값들의 획득 동작, 상기 유사도 판단부의 유사도 판단 동작 및 상기 노이즈 제거부의 노이즈 제거 동작을 순차적으로 수행하여 출력 영상을 획득할 수 있다.

도 1은 복수 개의 입력 영상들로부터 출력 영상을 획득하는 영상 처리 장치를 설명하기 위한 도면이다.
도 2는 영상 처리 장치의 일 실시예의 구성을 도시한 도면이다.
도 3은 계층적 영상 구조의 일 실시예를 설명하기 위하여 도시한 도면이다.
도 4는 영상 채널 별로 획득된 계층적 영상 구조의 일 실시예를 도시한 도면이다.
도 5는 누적 영상 1D 커브를 획득하는 일 실시예를 도시한 도면이다.
도 6은 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 7은 상위 계층의 움직임 정보에 기초하여 하위 계층의 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 8은 유사도 계산시 기준 영상과 참조 영상을 직접 비교하는 경우, 입력 영상들의 영상 처리 방법을 간략하게 도시한 도면이다.
도 9는 유사도 계산시 계층적 영상 구조의 획득시 같이 획득된 기준 대표값과 참조 대표값을 비교하는 경우, 입력 영상들의 영상 처리 방법을 간략하게 도시한 도면이다.
도 10은 계층적 영상 구조에 기초하여 영상 처리를 수행하는 동작을 설명하기 위한 도면이다.
도 11은 영상 처리 방법의 일 실시예를 설명하기 위한 흐름도이다.

이하 첨부된 도면을 참고하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

도 1은 복수 개의 입력 영상들로부터 출력 영상을 획득하는 영상 처리 장치(100)를 설명하기 위한 도면이다.

입력 영상들(110)은 동일한 피사체를 대상으로 하여 시간적 간격을 가지고 연속 촬영되거나 동시에 촬영된 영상들을 나타낸다. 이와 같은 입력 영상들(110) 중 어느 하나의 입력 영상을 기준 영상(112)으로 설정할 수 있고, 그 외 나머지 입력 영상들은 제 1 참조 영상(114) 내지 제 n 참조 영상(114-n)으로 설정할 수 있다. 제 1 참조 영상(114) 내지 제 n 참조 영상(114-n)은 도 1에 도시된 바와 같이 n개가 될 수 있으며, 이때 n은 1 이상의 정수 값을 가질 수 있다.

기준 영상(112)은 영상 처리 장치(100)가 수행하는 영상 처리에 있어 기준이 되는 영상을 의미하고, 제 1 참조 영상(114) 내지 제 n 참조 영상(114-n)은 영상 처리를 위해 사용되는 나머지 영상들을 의미한다. 예를 들어, 기준 영상(112)은 동일한 피사체를 대상으로 하여 촬영된 영상 중 첫 번째로 촬영된 영상일 수 있고, 참조 영상(114)은 기준 영상(112) 다음에 촬영된 영상일 수 있다. 기준 영상(112) 및 참조 영상(114)의 구분은 위의 실시예에 한정되지 아니하며, 영상 처리 장치(100)는 복수 개의 영상 중 기준 영상(112)을 임의로 또는 소정의 기준에 따라 결정할 수 있다. 참조 영상은 적어도 하나가 될 수 있으며, 설명의 편의상 본 명세서에서는 하나의 참조 영상(114)을 가지는 경우에 대해서만 설명한다.

영상 처리 장치(100)는 기준 영상(112)과 참조 영상(114)을 입력으로 하여 영상 처리된 출력 영상(120)을 획득할 수 있다. 노출 시간을 짧게 하여 피사체를 촬영하는 경우, 기준 영상(112) 및 참조 영상(114)에는 카메라 등과 같은 영상 촬영 장치의 움직임 또는 피사체의 움직임에 의한 화질 열화가 포함될 수 있는데, 영상 처리 장치(100)는 위와 같은 화질 열화를 제거하여 화질이 개선된 출력 영상(120)을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 노이즈의 제거, 디테일의 향상 또는 대비의 향상 등의 영상 처리를 수행하여 고품질의 출력 영상(120)을 획득할 수 있다.

디지털 카메라와 같은 영상 촬영 장치의 이미지 센서가 처리할 수 있는 해상도가 증가함에 따라 입력 영상들(110)의 해상도 또한 높아지고 있다. 해상도가 높아짐에 따라, 고해상도의 입력 영상들(110)을 영상 처리함에 있어서 메모리 공간의 효율적인 활용을 위하여 입력 영상들(110)을 전체 영상의 크기보다 작은 크기의 영상 영역으로 분할하여 처리할 수 있다. 영상 처리 장치(100)는 입력 영상 간의 전역적인 움직임 정보를 추정하고, 전역적인 움직임 정보를 기초로 타일 영상 기반의 이미지 처리를 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 구성을 도시한 도면이다.

영상 처리 장치(200)은 도1의 영상 처리 장치(100)와 동일한 영상 처리 장치일 수 있다. 영상 처리 장치(200)은 계층적 영상 구조 획득부(210), 움직임 정보 획득부(220), 대표값 획득부(230) 유사도 판단부(240) 및 노이즈 제거부(250)를 포함할 수 있다.

영상 처리 장치(200)는 입력 영상들(110)을 획득할 수 있다. 영상 처리 장치(200)는 입력 영상들(110) 중 기준 영상(112)을 구분할 수 있다. 만약 기준 영상(112)이 미리 정해지지 않았다면, 영상 처리 장치(200)는 입력 영상들(110) 중 기준 영상(112)을 정할 수 있다.

계층적 영상 구조 획득부(210)는 입력 영상들(110) 각각의 계층적 영상 구조를 획득할 수 있다. 계층적 영상 구조를 구성하는 계층의 수는 2개 이상이다. 계층적 영상 구조를 구성하는 계층의 수는 입력 영상들(110)의 해상도에 따라 결정될 수 있다. 입력 영상들(110)의 계층적 영상 구조는 각각 동일한 수의 계층을 가질 수 있다. 도 3 및 도 4에서 계층적 영상 구조의 실시예를 도시하고 있는바, 도 3 및 도 4에 대하여 설명한다.

도 3은 계층적 영상 구조의 일 실시예를 설명하기 위하여 도시한 도면이다.

도 3 도면(310)은 3단계의 계층 구조를 가지고 있는 계층적 영상 구조(310)를 나타내고, 도면(320)은 계층적 영상 구조(310)를 도형적으로 표현한 것이다. 도 3에서는 설명의 편의를 위해, 도면(310)이 라플라시안 이미지 피라미드이고, 기준 영상 및 참조 영상의 크기가 (가로 H, 세로 W)=(H x W)라고 가정한다.

계층적 영상 구조(310)가 라플라시안 이미지 피라미드의 경우, 가장 상위 레벨(레벨=3)의 피라미드 영상은 저주파 대역 성분을 가질 수 있고, 하위 레벨로 내려갈수록 더 높은 고주파 대역 성분을 가질 수 있다. 따라서, 가장 하위 레벨(레벨=1)은 가장 높은 고주파 대역 성분을 가질 수 있다. 또한, 참조 영상의 크기가 (H x W)이라면, "레벨=1"에서의 영상의 크기는 (H x W)이고, "레벨=2"에서의 영상의 크기는 (H/2 x W/2)이며, "레벨=3"에서의 영상의 크기는 (H/4 x W/4)이다.

가우시안 이미지 피라미드에서 "레벨=2"에서의 영상은 "레벨=1"에서의 영상에 가우시안 스무딩(Gaussian Smoothing)을 적용하여 획득할 수 있다. 가우시안 스무딩이란 일정 영역의 픽셀들의 평균값 또는 가중평균값을 구하여, 그 값을 대표값으로 정하고, 대표값을 가지는 픽셀을 일정 영역의 픽셀들의 대표 픽셀로 하는 이미지 처리를 의미한다. 예를 들면, "레벨=1"에서의 영상 중 특정 2 x 2 크기의 영역 안의 픽셀들의 평균값을 구할 수 있다. 그리고 평균값을 특정 영역 안의 픽셀들의 대표값으로 결정할 수 있다. 그리고 "레벨=2"에서의 영상의 픽셀 중 특정 2 x 2 크기의 영역 안의 픽셀들과 대응되는 픽셀은 특정 2 x 2 크기의 영역 안의 픽셀들의 대표값과 동일한 값을 가진다. 마찬가지로 "레벨=1"에서의 영상 중 2 x 2 크기의 다른 영역 안의 픽셀들과 상기 픽셀들과 대응되는 "레벨=2"에서의 영상의 픽셀에 대하여도 동일하게 적용된다.

영상 처리 장치(200)는 계층적 영상 구조(310)의 가장 상위 레벨에서부터 가장 하위 레벨까지 일련의 영상 처리를 수행할 수 있고, 해당 레벨에서의 처리 결과를 다음 하위 레벨의 영상 처리에 적용할 수 있다.

도 4은 영상 채널 별로 획득된 계층적 영상 구조의 일 실시예를 도시한 도면이다.

도 4에는 3단계의 계층 구조를 가지고 있는 계층적 영상 구조들이 도형적으로 표현되어 있다. 영상 처리 장치는 기준 영상 및 참조 영상을 구성하고 있는 영상 채널별로 계층적 영상 구조를 획득할 수 있다. 예를 들어, 기준 영상 및 참조 영상이 YCbCr의 색공간을 가지고 있는 경우, 영상 처리 장치는 기준 영상 및 참조 영상의 영상 채널별로 구성된 계층적 영상 구조를 이용할 수 있다. 기준 영상은 Y채널의 계층적 영상 구조(410), Cb 채널의 계층적 영상 구조(420), Cr 채널의 계층적 영상 구조(430)를 가질 수 있고, 참조 영상도 Y 채널의 계층적 영상 구조(440), Cb 채널의 계층적 영상 구조(450), Cr 채널의 계층적 영상 구조(460)를 가질 수 있다.

영상 처리 장치는 어느 하나의 영상 채널에 대한 영상 처리 결과를 나머지 영상 채널의 영상 처리에 적용할 수 있다. 예를 들어, 영상 처리 장치는 Y 채널의 계층적 영상 구조(410,440)에서의 영상 처리 결과를 Cb 채널의 계층적 영상 구조(420, 450)에서의 영상 처리에 적용할 수 있다.

만약 기준 영상 및 참조 영상이 YCbCr444 형식이라면, 영상 처리 장치는 Y 채널의 영상 처리 과정에서 도출된 움직임의 크기를 Cb 채널 및 Cr 채널의 영상 처리 과정에 그대로 적용할 수 있다. 기준 영상 및 참조 영상이 YCbCr422 형식인 경우, 영상 처리 장치는 Y 채널의 영상 처리 과정에서 도출된 움직임의 크기를 조절하여 Cb 채널 및 Cr 채널의 영상 처리 과정에 적용할 수 있다. 예를 들어, 휘도 채널(Y 채널)의 영상 크기가 (가로 H, 세로 W)이고, 크로마(chroma) 채널(Cb 채널, Cr 채널)의 영상 크기가 (가로 H/2, 세로 W)인 경우, 영상 처리 장치는 휘도 채널의 영상 처리 과정에서 도출된 움직임의 크기 중 세로 방향의 움직임의 크기는 크로마 채널에 그대로 적용하고, 가로 방향의 움직임의 크기는 절반으로 줄여 크로마 채널에 적용할 수 있다.

다시 도 2를 참조하면, 계층적 영상 구조 획득부(210)는 상위 레벨의 영상에서 하위 레벨의 영상까지의 계층적 영상 구조를 이루는 각 레벨의 영상들에 있어서, 현재 레벨의 계층적 영상 정보를 이전 레벨의 영상 처리 결과를 반영하여 결정할 수 있다. 가장 상위 레벨의 경우, 이전 레벨이 없기 때문에 가장 상위 레벨의 계층적 영상 정보가 그대로 사용될 수 있다. 가장 상위 레벨이 아닌 경우, 현재 레벨의 계층적 영상 정보에 이전 상위 레벨에서 영상 처리된 결과 영상 정보와 영상 처리 전 계층적 영상 정보 간의 차분 영상을 현재 레벨 방향으로 투영시켜 반영함으로써, 현재 레벨의 새로운 계층적 영상 정보를 결정할 수 있다.

움직임 정보 획득부(220)는 기준 영상(112)에 대한 참조 영상(114)의 움직임 정도를 나타내는 움직임 정보를 추정할 수 있다. 움직임 정보는 기준 영상(112)과 참조 영상(114) 사이에 존재하는 움직임 벡터를 포함할 수 있는데, 전역 움직임 벡터 (global motion vector) 나 지역 움직임 벡터 (local motion vector), 혹은 두 가지 모두에 대한 정보를 포함할 수 있다. 전역 움직임 벡터는 기준 영상(112) 또는 기준 영상(112)의 기준 영역을 기준으로 하여 참조 영상(114) 또는 참조 영상(114)의 참조 영역이 상대적으로 어느 정도의 위치 차이를 가지는지를 의미한다. 움직임 정보는 기준 영상(112) 및 참조 영상(114)의 상위 계층에서부터 추정되며, 상위 계층에서 추정된 움직임 정보는 기준 영상(112) 및 참조 영상(114)의 하위 계층의 움직임 정보를 추정하는데 사용된다. 보다 구체적으로, 상위 계층에서 추정된 움직임 정보는 하위 계층에서 기준 영상(112)에 대한 참조 영상(114)의 움직임 정도를 나타내는 움직임 정보를 추정시 참조 영상(114) 내의 탐색 영역의 설정에 이용될 수 있다. 이렇게 움직임 정보 획득부(220)가 움직임 정보 추정을 상위 계층부터 하위 계층으로 순차적으로 수행하기 때문에, 움직임 정보를 추정하기 위하여 참조 영상(114)의 전 영역을 탐색하지 않으므로, 신속하고 효율적으로 움직임 정보를 추정할 수 있다.

전역 움직임 정보 획득부(220)는 기준 영상(112)의 각 컬럼(column)과 각 로우(row) 별 누적 픽셀 값들로 이루어지는 수평 방향의 누적 영상 1D 커브와 수직 방향의 누적 영상 1D 커브를 획득하고, 참조 영상(114)의 각 컬럼과 각 로우 별 누적 픽셀 값들로 이루어지는 수평 방향의 누적 영상 1D 커브와 수직 방향의 누적 영상 1D 커브를 획득할 수 있다. 이하 도 5를 통해서 누적 영상 1D 커브에 대하여 설명한다.

도 5는 누적 영상 1D 커브를 획득하는 일 실시예를 도시한 도면이다.

도 5에는 영상 처리 장치가 움직임 정보를 추정하기 위해 누적 영상 1D 커브를 획득하는 일례가 도시되어 있다. 영상 처리 장치는 기준 영상 및 참조 영상 모두에 대해 동일한 방법을 이용하여 누적 영상 1D 커브를 획득할 수 있다. 이하에서는 도 5를 참조하여 참조 영상(510)의 누적 영상 1D 커브를 획득하는 과정에 대해 설명한다.

영상 처리 장치는 참조 영상(510)의 수평 방향(x 방향)으로 이동하면서 임의의 컬럼에 위치하는 모든 영상 픽셀들의 픽셀값을 합산할 수 있다. 영상 처리 장치는 합산된 결과를 1D 커브 상의 높이 값으로 표시하여 수평 방향의 누적 영상 1D 커브(520)를 획득할 수 있다.

또한, 영상 처리 장치는 참조 영상(510)의 수직 방향(y 방향)으로 이동하면서 임의의 로우(row)에 위치하는 모든 영상 픽셀들의 픽셀값을 합산할 수 있다. 마찬가지로, 영상 처리 장치는 합산된 결과를 1D 커브 상의 높이 값으로 표시하여 수직 방향의 누적 영상 1D 커브(530)를 획득할 수 있다.

위의 과정을 통해 획득된 수평 방향 및 수직 방향의 누적 영상 1D 커브(520, 530)는 수평 방향 및 수직 방향별 누적 픽셀값을 나타낼 수 있다. 예를 들어, 수평 방향의 누적 영상 1D 커브(520)에서, 임의의 위치에서의 커브 값은 참조 영상(510)에서 해당 위치의 컬럼에 포함되는 픽셀값들의 누적값을 나타낼 수 있다.

다시 도 2을 참조하면, 움직임 정보 획득부(220)는 기준 영상(112)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브와 참조 영상(114)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 영상(112)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브와 참조 영상(114)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브 간의 패턴을 다시 비교하여 움직임 정보를 추정할 수 있다.

전역 움직임 정보 획득부(220)는 기준 영상(112)의 수평 방향의 누적 영상 1D 커브에서 누적 픽셀 값들에 기초하여 탐색 영역을 설정하고, 탐색 영역 안에서 기준 영상(112)에 대한 수평 방향의 누적 픽셀 값들과 참조 영상(114)에 대한 수평 방향의 누적 픽셀 값들 간의 상호 상관도가 최대가 되는 상대적 위치를 파악할 수 있다. 움직임 정보 획득부(220)는 상호 상관도가 최대가 되는 상대적 위치를 이용하여 수평 방향에 대한 참조 영상(114)의 움직임을 추정할 수 있다.

전역 움직임 정보 획득부(220)는 기준 영상(112)의 수직 방향의 누적 영상 1D 커브에서 누적 픽셀 값들에 기초하여 탐색 영역을 설정하고, 탐색 영역 안에서 기준 영상(112)에 대한 수직 방향의 누적 픽셀 값들과 참조 영상(114)에 대한 수직 방향의 누적 픽셀 값들 간의 상호 상관도가 최대가 되는 상대적 위치를 파악하여 수직 방향에 대한 참조 영상(114)의 움직임을 추정할 수 있다. 움직임 정보 획득부(220)는 상호 상관도를 추정하기 위해 NCC(normalized cross correlation) 기법 등을 포함하는 다양한 기법을 이용할 수 있다. 움직임 정보 추정에 대하여 도 6를 참조하여, 보다 상세히 설명한다.

도 6은 움직임 정보를 추정하는 일 실시예를 도시한 도면이다. 도 6에는 영상 처리 장치(100)의 움직임 정보 획득부(220)가 기준 영상(112)과 참조 영상(114)의 수평 방향의 누적 영상 1D 커브(610, 620) 간의 패턴을 비교하고, 기준 영상(112)과 참조 영상(114)의 수직 방향의 누적 영상 1D 커브(650, 660) 간의 패턴을 비교하여, 제 1 움직임 정보를 추정하는 일 실시예가 도시되어 있다.

도 6의 (a)는 수평 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(610)와 참조 영상(114)의 누적 영상 1D 커브(620)가 도시되어 있다. 움직임 정보 획득부(220)는 기준 영상(112)의 누적 영상 1D 커브(610)를 중심으로 일정한 탐색 영역(630)을 설정할 수 있다. 예를 들어, 움직임 정보 획득부(220)는 기준 영상(112)의 누적 영상 1D 커브(610) 중 극대점, 극소점 또는 변곡점 등을 중심으로 하여 탐색 영역(630)을 설정할 수 있다.

움직임 정보 획득부(220)는 탐색 영역(630)에서 기준 영상(112)의 누적 영상 1D 커브(610)와 참조 영상(114)의 누적 영상 1D 커브(620) 간의 상호 상관도가 최대가 되는 상대적 위치를 검출할 수 있다. 검출된 상대적 위치에서, 기준 영상(112)의 누적 영상 1D 커브(610)와 참조 영상(114)의 누적 영상 1D 커브(620)는 최대치의 유사도를 가질 수 있다. 움직임 정보 획득부(220)는 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수평 방향에 대한 움직임의 크기(Mx)(640)를 추정할 수 있다.

도 6의 (b)에서, 움직임 정보 획득부(220)는 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(650)와 참조 영상(114)의 누적 영상 1D 커브(660)에 대해서도 도 6의 (a)에서 수행한 과정과 같은 방식으로, 탐색 영역(670)을 설정하고, 탐색 영역(670)에서 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(650)와 참조 영상(114)의 누적 영상 1D 커브(660) 간의 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수직 방향에 대한 움직임의 크기(My)(680)를 추정할 수 있다.

이와 같이, 기준 영상(112)과 참조 영상(114) 간의 전역적인 움직임이 병진 운동인 경우, 영상 처리 장치(100)의 움직임 정보 획득부(220)는 수평 방향에 대한 움직임의 크기(Mx)(640)와 수직 방향에 대한 움직임의 크기(My)(680)에 기초하여 제 1 움직임 정보를 추정할 수 있다.

움직임 정보 획득부(220)는 병진 운동뿐만 아니라 확장된 운동 모델을 처리하기 위해 기준 영상(112) 및 참조 영상(114)에 움직임의 추정을 위한 복수 개의 움직임 탐색 영역들을 설정할 수 있다. 움직임 정보 획득부(220)는 설정된 복수 개의 움직임 탐색 영역들에서, 기준 영상(112)의 누적 픽셀 값들과 참조 영상(114)의 누적 픽셀 값들 간의 수평 방향 및 수직 방향별 비교를 통해 제 1 움직임 정보를 추정할 수 있다. 움직임 정보 획득부(220)는 각각의 움직임 탐색 영역에서 병진 운동의 움직임 정도를 추정하고, 추정 결과를 분석하여 참조 영상(114)의 회전 등 확장된 운동 모델에서의 움직임을 추정할 수 있다. 예를 들어, 입력 영상의 위쪽, 아래쪽, 왼쪽, 오른쪽에 움직임 탐색 영역들이 설정된 경우, 움직임 정보 획득부(220)는 각 움직임 탐색 영역들의 위치에서 기준 영상(112)에 비해 참조 영상(114)이 어느 정도 이동하였는지를 추정할 수 있다. 움직임 정보 획득부(220)는 이와 같은 네 개의 움직임 탐색 영역들에서의 움직임 정도를 분석하여 참조 영상(114)의 회전 운동을 추정할 수 있다.

움직임 정보 획득부(220)는 기준 영상(112)에 대한 참조 영상(114)의 움직임 정도를 나타내는 움직임 정보를 갱신할 수 있다. 움직임 정보 획득부(220)는 기준 영상(112)에 대한 계층적 영상 구조와 참조 영상(114)에 대한 계층적 영상 구조에서, 같은 레벨의 영상들에 대하여 움직임 정보를 추정하거나 갱신할 수 있다. 예를 들어, 움직임 정보 획득부(220)는 계층적 영상 구조에서 각 레벨의 영상들에 대하여, 움직임 정보 획득부(220)가 상위 계층에서 움직임 정보를 추정하기 위해 수행했던 방법과 유사한 방법을 이용하여 하위 계층에서 움직임 정보를 추정할 수 있다.

기준 영상(112)과 참조 영상(114) 각각에 대한 계층적 영상 구조에서, 움직임 정보 획득부(220)는 같은 레벨의 영상들에 대하여 움직임 정보를 추정할 수 있다. 움직임 정보 획득부(220)는 기준 영상(112)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브와 참조 영상(114)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교할 수 있다. 마찬가지로 움직임 정보 획득부(220)는 기준 영상(112)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브와 참조 영상(114)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브 간의 패턴을 비교할 수 있다. 그리고 움직임 정보 획득부(220)는 수평 방향의 1D 커브 간의 패턴의 비교 결과와 수직 방향의 1D 커브 간의 패턴의 비교 결과에 기초하여 움직임 정보를 추정할 수 있다. 다만, 움직임 정보 획득부(220)는 상위 레벨에서 추정한 움직임 정보를 기본 정보로 사용하여, 하위 레벨에서 추정한 움직임 정보를 추정하기 위한 초기치로 이용할 수 있다. 즉, 상위 레벨에서 추정한 움직임 정보로부터 도출된 움직임 초기치에 기초하여 탐색 영역을 설정할 수 있다. 이에 따라 참조 영상(114)에서의 탐색 영역을 줄일 수 있고, 보다 정확하게 움직임을 추정할 수 있다.

도 7는 상위 계층의 움직임 정보에 기초하여 하위 계층의 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.

도 7에는 영상 처리 장치(100)의 움직임 정보 획득부(220)가 기준 영상(112) 및 참조 영상(114)에 대한 각각의 계층적 영상 구조에서 같은 레벨의 영상에 대하여, 기준 영상(112)과 참조 영상(114)의 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 영상(112)과 참조 영상(114)의 수직 방향의 누적 영상 1D 커브 간의 패턴을 비교하여, 하위 레벨에서의 움직임 정보를 추정하는 일 실시예가 도시되어 있다.

도 7의 (a)는 수평 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(710)와 참조 영상(114)의 누적 영상 1D 커브(720)가 도시되어 있다. 움직임 정보 획득부(220)는 기준 영상(112)의 누적 영상 1D 커브(710)를 중심으로 일정한 탐색 영역(730)을 설정할 수 있다. 이 때, 움직임 정보 획득부(220)는 상위 레벨에서의 움직임 정보에서 도출된 움직임 초기치에 기초하여 탐색 영역을 설정할 수 있다. 예를 들어, 움직임 정보 획득부(220)가 수평 방향의 움직임을 추정하는 경우, 제 1 움직임 정보에서 도출된 수평 방향의 움직임 초기치(Mx')(740)에 기초하여 탐색 영역(730)의 중심 위치(750)를 설정할 수 있다. 움직임 정보 획득부(220)는 탐색 영역(730)에서 기준 영상(112)의 누적 영상 1D 커브(710)와 참조 영상(114)의 누적 영상 1D 커브(720) 간의 상호 상관도가 최대가 되는 상대적 위치를 이용하여 수평 방향에 대한 움직임의 크기(dMx)(745)를 추정할 수 있다.

도 7의 (b)에서, 움직임 정보 획득부(220)는 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(760)와 참조 영상(114)의 누적 영상 1D 커브(770)에 대해서도 상위 레벨에서의 움직임 정보에서 도출된 수직 방향의 움직임 초기치(My')(785)에 기초하여 탐색 영역(780)의 중심 위치(795)를 설정하고, 탐색 영역(780)에서 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(760)와 참조 영상(114)의 누적 영상 1D 커브(770) 간의 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수직 방향에 대한 움직임의 크기(dMy)(790)를 추정할 수 있다.

움직임 정보 획득부(220)는 상위 레벨에서의 움직임 정보에서 도출된 수평 방향의 움직임 초기치(Mx')(740), 상위 레벨에서의 움직임 정보에서 도출된 수직 방향의 움직임 초기치(My')(785), 수평 방향에 대한 움직임의 크기(dMx)(745) 및 수직 방향에 대한 움직임의 크기(dMy)(790)에 기초하여 하위 레벨에서의 움직임 정보를 추정할 수 있다. 예를 들어, 하위 레벨에서의 움직임 정보에 포함된 수평 방향 및 수직 방향에 대한 최종적인 움직임의 크기(MX, MY)는 다음의 수학식과 같이 나타낼 수 있다.

지역 움직임 정보는 블록 단위로 탐색될 수 있다. 기준 영상을 다양한 크기의 블록들로 나눈 뒤, 기준 영상의 블록과 가장 유사한 블록을 타겟 영상에서 찾는다. 이때, 가장 유사한 블록을 찾는 방법으로는 두 블록의 픽셀들의 SAD (sum of differences)나 SSE (sum of square error) 등이 사용될 수 있다. 블록 단위의 탐색 역시 전역 움직임 탐색시와 마찬가지로 계산량의 감소를 위해, 움직임 정보를 미리 예측한 뒤 제한된 주변 영역에서만의 탐색으로 정보 탐색영역을 제한할 수 있는데, 상위 레벨의 해당 위치 블록의 움직임 정보 등을 활용할 수 있다.

다시 도 2를 참조하면, 유사도 판단부(240)에서 움직임 정보 획득부(220)에서 추정된 움직임 정보를 기초로 기준 영상의 기준 영역들과 참조 영상의 참조 영역들 간의 유사도를 판단한다. 유사도 판단부(240)는 기준 영상을 일정한 크기로 분할한 기준 영역들과 참조 영상을 일정한 크기로 분할한 참조 영역들을 움직임 정보를 이용하여 매칭할 수 있다. 유사도를 판단함에 있어서, 기준 영역 및 참조 영역을 대표하는 기준 대표값 및 참조 대표값을 이용할 수 있다. 대표값 획득부(230)에서 기준 대표값 및 참조 대표값을 다양한 방식으로 획득할 수 있다. 유사도를 판단하는 방식에 따라 유사도 판단의 연산 속도 및 메모리 이동량이 개선될 수 있다. 따라서 종래 유사도 판단 방법과 본원 발명에서 제안하는 유사도 판단 방법의 일 실시예를 비교하여, 유사도 판단의 연산 속도 및 메모리 이동량이 개선 여부를 설명한다.

도 8와 도 9는 각각 종래의 유사도 판단 방법과 본원 발명의 유사도 판단 방법의 일 실시예를 나타낸다. 도 8과 도 9를 참조하여 유사도 판단시 본원 발명의 특징 및 효과를 설명한다.

도 8은 유사도 판단시 기준 영상과 참조 영상을 직접 비교하는 경우, 입력 영상들의 유사도 판단 방법을 간략하게 도시한 도면이다.

입력영상(810)은 기준 영상(812)과 참조 영상(814)을 포함한다. 도 8의 기준 영상(812)과 참조 영상(814)은 각각 도 1의 기준 영상(112)과 참조 영상(114)의 계층적 영상 구조 중 움직임 정보가 결정된 일 계층의 영상을 의미한다.

영상 정합부(820)에서, 기준 영상(812)과 참조 영상(814)를 비교하기 전에, 기준 영상(812)과 참조 영상(814) 간의 움직임 정보를 이용하여, 기준 영상(812)의 각 기준 영역마다 대응되는 참조 영상(814)의 각 참조 영역을 검출한다. 그리고 서로 대응되는 기준 영역과 참조 영역을 이용하여 기준 영상(812)과 참조 영상(814)을 정합한다.

유사도 판단부(830)에서 기준 영상(812)의 기준 영역들과 각 기준 영역에 대응되는 참조 영상(814)의 참조 영역들을 비교하여 유사도를 판단한다. 유사도 판단부(830)는 기준 영역과 기준 영역에 대응되는 참조 영역의 픽셀들 간에 휘도 또는 색차 성분의 차의 절대값을 계산하여 차감 영상을 획득하는 영상 차감부(832) 및 영상 차감부(832)에서 획득한 차감 영상으로부터 유사도를 판단하는 저역 통과 필터(834)를 포함한다.

예를 들어, 기준 영역의 각 픽셀의 휘도 성분을 이용하여 유사도를 판단할 경우, 영상 차감부(832)에서 기준 영역의 각 픽셀의 휘도 성분과 기준 영역에 대응되는 참조 영역의 각 픽셀의 휘도 성분을 획득한다. 그리고 획득된 픽셀들의 휘도 성분들의 차의 절대값을 구한다. 그리고 픽셀들의 휘도 성분들의 차의 절대값을 각 픽셀의 휘도 성분으로 하는 차감 영상을 획득한다.

저역 통과 필터(834)에서 영상 차감부(832)에서 획득한 차감 영상에 가우시안 스무딩 필터를 적용하여 차감 영상의 평균값 또는 가중 평균값을 구할 수 있다. 그리고 평균값 또는 가중 평균값을 유사도로 결정할 수 있다.

노이즈 제거부(840)는 유사도 판단부(830)에서 결정된 유사도를 기초로 입력 영상(810)의 노이즈를 제거한다.

도 9는 유사도 판단시 계층적 영상 구조의 획득시 같이 획득된 기준 대표값과 참조 대표값을 비교하는 경우, 입력 영상들의 유사도 판단 방법을 간략하게 도시한 도면이다.

입력 영상(910)은 도8의 입력 영상(810)과 동일하다.

대표값 획득부(920)는 도 2의 계층적 영상 구조 획득부(210)로부터 블록 (930)의 유사도 판단을 위하여 기준 대표값(912)과 참조 대표값(914)을 획득할 수 있다. 대표값 획득부(920)는 도 2의 대표값 획득부(230)를 의미한다. 도 2의 계층적 영상 구조 획득부(210)에서는 하위 계층 영상으로부터 상위 계층 영상을 획득할 때, 기준 영상 및 참조 영상의 대표값이 획득된다.

예를 들어, 도 3에서와 같이 "레벨=1"에서의 영상의 크기는 (H x W)이고, "레벨=2"에서의 영상의 크기는 (H/2 x W/2)이며, "레벨=3"에서의 영상의 크기는 (H/4 x W/4)일 경우, "레벨=1"의 영상에서 "레벨=2"의 영상을 획득하기 위하여, "레벨=1"의 영상을 2 x 2 크기의 영역들로 분할할 수 있다. 이 때 각 영역으로부터 4 개의 픽셀에 포함된 휘도 성분의 평균값을 구할 수 있다. 평균값은 "레벨=2"의 영상을 구성하는 픽셀의 휘도 성분의 값이 될 수 있다. 평균값은 평균값이 도출된 2 x 2 크기의 영역의 대표값으로 결정될 수 있다. 마찬가지로 "레벨=2"의 영상에서 "레벨=3"의 영상을 획득하는 과정에서도 "레벨=1"의 영상에서 "레벨=2"의 영상을 획득하는 과정에서 이루어진 방법이 적용될 수 있다.

더 예를 들자면, "레벨=3"의 영상을 획득하는 과정에서 획득된 "레벨=2"의 영상의 2 x 2 크기의 영역의 대표값은 "레벨=1"의 영상의 4 x 4 크기의 영역의 대표값이 될 수도 있다.

유사도 판단부(930)는 기준 영역과 기준 영역에 대응되는 참조 영역을 비교하는 대신에 기준 영역을 대표하는 기준 대표값(912)과 기준 영역에 대응되는 참조 영역을 대표하는 참조 대표값(914)을 이용하여 기준 영역과 참조 영역의 유사 여부를 판단한다. 유사도 판단부(930)는 도 2의 유사도 판단부 (240)를 의미한다. 유사도 판단부(930)은 대표값 획득부(920)에서 획득한 기준 대표값(912) 및 참조 대표값(914)의 차의 절대값을 계산하는 대표값 차감부(932)를 포함할 수 있다.

대표값 차감부(932)에서는 대표값 획득부(920)에서 획득한 기준 대표값과 참조 대표값의 차의 절대값을 계산한다. 계산된 절대값을 유사도로 결정할 수 있다.

노이즈 제거부(940)는 유사도 판단부(930)에서 결정된 유사도를 기초로 입력 영상(910)의 노이즈를 제거한다.

이하 상기 수학식 3과 수학식 4에 기초하여 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법의 차이를 설명한다. 수학식3과 수학식4의 similarity는 유사도를 의미한다. GaussianSmoothing은 가우시안 스무딩 필터를 이용하여 이미지의 픽셀들의 각 성분의 평균값 또는 가중 평균값을 획득하는 함수를 의미한다. AbsoluteDifferences는 변수 간의 차의 절대값을 획득하는 함수를 의미한다. frame 0과 frame 1은 각각 GaussianSmoothing 또는 AbsoluteDifferences에 입력되는 기준 영상 및 참조 영상을 의미한다.

도 8의 유사도 판단 방법은 수학식 3에 의하여 유사도를 판단하며, 도 9의 유사도 판단 방법은 수학식 4에 의하여 유사도를 판단한다. 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법은 GaussianSmoothing 함수와 AbsoluteDifferences 함수의 적용 순서가 다르므로, 같은 기준 영역과 참조 영역을 입력으로 하였더라도, 서로 다른 값의 유사도가 출력될 수 있다. 다만 움직임 정보 획득부(220)에 의하여 서로 대응되는 기준 영역과 참조 영역을 비교하므로 서로 다른 값의 유사도가 출력될 확률은 매우 낮다. 따라서 도 8의 유사도 판단 방법으로 출력되는 유사도와 도 9의 유사도 판단 방법으로 출력되는 유사도는 거의 동일하다.

또한 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법을 혼합 (hybrid) 형태로 사용하는 것도 가능하다. 수학식 3, 4의 차이점에 따라, 도 9의 유사도 계산 결과는 도 8의 유사도 계산 결과와 다르다. 움직임 정보 획득부에 의해 대부분의 경우 거의 동일한 유사도를 계산하지만, 아주 극단적인 경우에는 오차를 발생시킬 수 있다. 특히 문제가 되는 경우는 도 12와 같이 두 영상의 특정 부분에서 동일 방향에 대한 픽셀 값 기울기 (gradient) 가 서로 반대가 되는 경우이다. 물론 대부분의 촬영에서는 위에서 언급한 바와 같이 움직임 정보 획득부에서 두 블록이 선택되기는 힘들다. 하지만, 촬영 중, 카메라를 고속으로 이동시키는 등의 이상 동작이 발생하는 경우, 촬영된 영상들이 서로 매우 달라지게 되고, 이 경우 도 12와 같은 케이스가 발생할 수 있다. 이때, 움직임 정보 획득부에서 계산된 두 블록의 차 정보 (예를 들어, SAD, SSE 등) 를 토대로, 해당 블록의 유사도 계산시 도 8의 방식 혹은 도 9의 방식을 선택할 수 있다. 예를 들어, SAD 값이 다른 블록들의 움직임 정보 획득 결과에 비해 매우 큰 경우, 이는 위에서 언급한 극단의 경우라 판단하여 도 8에서와 같이 유사도를 계산하고, SAD의 값이 다른 블록들과 비슷한 경우에는 본 발명과 같이 도 9의 형태로 계산할 수 있다.

이하 상기 수학식 3과 수학식 4에 기초하여 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법의 계산량의 차이를 설명한다. 도 8에서는 기준 영역과 참조 영역의 서로 대응되는 기준 영역의 픽셀들과 참조 영역의 픽셀들의 차의 절대값을 획득하고, 획득한 절대값의 평균값 또는 가중평균값을 구하여, 그 평균값 또는 가중평균값을 대표값으로 정의한다. 즉 수학식 3의 GaussianSmoothing과 AbsoluteDifferences이 유사도 판단 단계에서 모두 수행된다.

그러나 도 9에서는 계층적 영상 구조 획득부(210)에서 이미 획득된 기준 영역의 기준 대표값과 참조 영역의 참조 대표값을 획득하고, 기준 대표값과 참조 대표값 간의 차의 절대값을 계산하는 연산만을 시행한다. 즉, 수학식 4의 AbsoluteDifferences만이 유사도 판단 단계에서 수행된다. 그리고 GaussianSmoothing은 계층적 영상 구조 획득부에서 획득된 것을 다시 활용하므로 계산량이 줄어든다. 그러므로 도 9에 도시된 유사도 판단 방법은 도 8에 도시된 유사도 판단 방법보다 계산량이 현저하게 적다.

마찬가지로 메모리 이동량에 있어서도 도 9의 유사도 판단 방법이 도 8의 유사도 판단 방법보다 유리하다. 도 8의 유사도 판단 방법은 기준 영상과 참조 영상 전체를 입력으로 하고, 도 9의 유사도 판단 방법은 각 기준 영역들의 기준 대표값 및 각 참조 영역의 참조 대표값만을 입력으로 하므로, 도 9의 유사도 판단 방법이 메모리 전송량이 더 적다.

상기 내용을 종합하면, 도 9의 유사도 판단 방법은 도 8의 유사도 판단 방법에 비하여, 성능은 떨어지지 않으면서, 계산량 및 메모리 이동량을 획기적으로 줄이는 효과가 있는 것을 알 수 있다. 계산량 및 메모리 이동량이 감소함으로써 전체 이미지 처리 과정이 빨라지고, 메모리를 효율적으로 관리할 수 있게 된다.

도 2를 참조하면, 유사도 판단부(240)에서 판단된 유사도에 따라 노이즈 제거부(250)에서 영상의 노이즈를 제거한다. 노이즈 제거부(250)는 시간축상 필터(temporal filter)를 이용하여 노이즈를 제거할 수 있다. 시간축상 필터란 기준 영역과 기준 영역에 대응되며, 기준 영역과 시간적으로 다른 시점에 위치하는 참조 영역의 평균값 또는 가중평균값을 구하여 노이즈를 제거하는 필터를 의미한다. 노이즈 제거부(250)의 시간축상 필터는 기준 영역과 참조 영역 간 유사도에 따라 참조 영역의 가중치를 달리하여 기준 영역과 참조 영역의 가중 평균값을 구함으로써 노이즈를 제거할 수 있다. 참조 영상이 하나가 아닌 복수인 경우, 참조 영상과 기준 영상의 유사도에 따라 각 참조 영상의 가중치를 달리하여 시간축상 필터를 적용할 수 있다.

설명의 편의를 목적으로 영상 처리 장치(100)를 계층적 영상 구조 획득부(210), 움직임 정보 획득부(220), 대표값 획득부(230), 유사도 판단부(240) 및 노이즈 제거부(250) 다섯 개의 파티션(partition)으로 분할하였을 뿐 영상 처리 장치(100)는 다른 종류의 파티션을 가질 수 있다.

도 10은 계층적 영상 구조에 기초하여 영상 처리를 수행하는 동작을 설명하기 위한 도면이다.

영상 처리 장치는 이미지 계층 구조에서 가장 상위 레벨(레벨=3)의 영상(저주파 대역 영상)(1005)에 대해 기준 영상에 대한 움직임을 추정하고 영상 처리를 수행하여 결과 영상(저주파 대역 영상)(1010)을 획득할 수 있고, 결과 영상(1010)을 현재 레벨에 적용할 수 있다. 영상 처리 장치는 가장 상위 레벨에서 획득된 결과 영상(1010)을 다음 레벨에 적용하기 위해 영상의 크기를 업-스케일링한 출력 영상(1020)을 획득할 수 있다.

영상 처리 장치는 중간 레벨(레벨=2)의 영상(고주파 대역 영상)(1015)에 가장 상위 레벨에서 업-스케일링된 출력 영상(1020)을 적용하여 새로운 입력 영상(저주파 대역 영상)(1025)을 획득할 수 있다. 중간 레벨에서 획득된 새로운 입력 영상(1025)에는 가장 상위 레벨의 결과 영상(1010)의 움직임 추정 정보 및 영상 처리된 결과가 적용될 수 있다. 예를 들어, 피라미드 이미지 구조에서는 하위 레벨의 영상 크기는 상위 레벨의 영상 크기에 두 배이므로, 영상 처리 장치는 상위 레벨에서 추정한 움직임 추정치를 두 배로 스케일링하여 하위 레벨에서의 움직임 초기치로 이용할 수 있다. 영상 처리 장치는 가장 상위 레벨에서 수행했던 것과 같이, 새로운 입력 영상(1025)에 대해 기준 영상에 대한 움직임을 추정하고 영상 처리를 수행하여 결과 영상(저주파 대역 영상)(1030)을 획득할 수 있다. 영상 처리 장치는 결과 영상(1030)을 현재 레벨인 중간레벨에 적용하고, 이렇게 획득된 결과 영상(1030)을 다음 레벨에 적용하기 위해 영상의 크기를 업-스케일링한 출력 영상(저주파 대역 영상)(1040)을 획득할 수 있다.

영상 처리 장치는 가장 하위 레벨(레벨=1)의 영상(고주파 대역 영상)(1035)에 중간 레벨에서 업-스케일링된 출력 영상(1040)을 적용하여 새로운 입력 영상(저주파 대역 영상)(1045)을 획득할 수 있다. 가장 하위 레벨에서 획득된 새로운 입력 영상(1045)에는 중간 레벨의 결과 영상(1030)의 움직임 추정 정보 및 영상 처리된 결과가 적용될 수 있다. 예를 들어, 이미지 피라미드 구조에서는 하위 레벨의 영상 크기는 상위 레벨의 영상 크기에 두 배이므로, 영상 처리 장치는 중간 레벨에서 추정한 움직임 추정치를 두 배로 스케일링하여 가장 하위 레벨에서의 움직임 초기치로 이용할 수 있다.

영상 처리 장치는 중간 레벨에서 수행했던 것과 같이, 새로운 입력 영상(1045)에 대해 기준 영상에 대한 움직임을 추정하고 영상 처리를 수행하여 결과 영상(저주파 대역 영상)(1050)을 획득할 수 있다. 위 과정을 통해 획득된 결과 영상(1050)이 하나의 참조 영상에 대한 최종적인 결과 영상이 될 수 있다. 영상 처리 장치는 하나의 참조 영상에 대한 최종적인 결과 영상이 획득되면 다음의 참조 영상에 대해 위와 같은 과정을 반복하여 수행할 수 있다.

도 11은 본 발명의 일 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.

S1110에서는 기준 영상과 참조 영상에 대하여 각각 n개의 레벨의 계층 영상들로 구성되는 계층적 영상 구조를 획득한다. 참조 영상은 연속으로 촬영된 복수 개의 영상일 수 있다. 계층적 영상 구조가 획득되면서 계층 영상들로부터 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들이 같이 획득될 수 있다. 이 때 상기 기준 대표값들 및 상기 참조 대표값들은 삭제하지 않고 메모리에 저장한다.

S1120에서는 이미지 처리는 가장 상위 레벨인 n 레벨부터 시작한다. 이 때 이미지 처리의 대상이 되는 레벨을 N 레벨이라고 정의할 수 있다. 그러므로 처음에는 N 레벨을 n 레벨로 정한다.

S1130에서는 N 레벨의 계층 영상으로부터 기준 영상의 각 기준 영역들의 기준 대표값들 및 참조 영상의 각 참조 영역들의 참조 대표값들을 획득한다.

S1140에서는 기준 영상의 N 레벨의 계층 영상들과 참조 영상의 N 레벨의 계층 영상들 간의 비교 결과에 따라 계산된 기준 영상의 픽셀과 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득한다.

S1150에서는 움직임 정보에 기초하여 서로 매칭되는 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들로부터 각각 기준 영상의 기준 영역들 및 참조 영상의 참조 영역들간의 유사도를 판단한다. 기준 대표값은 기준 영역 안의 픽셀들의 픽셀값들로부터, 참조 대표값은 참조 영역 안의 픽셀들의 픽셀값들로부터 획득된다. 이 때 픽셀값은 픽셀의 휘도 또는 색차 성분의 값을 의미한다. 기준 대표값은 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값일 수 있다. 마찬가지로 참조 대표값은 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값일 수 있다. 기준 대표값 및 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사 여부를 판단할 수 있다.

S1160에서는 판단된 유사도에 따라, N 레벨에 대하여 기준 영상과 참조 영상에 시간축 필터링을 적용하여 노이즈를 제거한다. 유사도와 미리 정해진 임계치의 비교를 통해 시간축 필터링의 수행 여부를 결정할 수 있다. 유사도의 크기에 따라 참조 영상의 참조 영역들에 가중치를 부가하여 시간축 필터링을 수행할 수 있다.

S1170에서는 N 레벨에 대한 노이즈 제거가 끝난 후, N 레벨이 가장 하위 레벨인 1 레벨이라면 영상 처리 방법을 종료한다.

S1180에서는 만약 1 레벨이 아니라면 N 레벨의 다음 하위 레벨을 N 레벨로 새로 결정한다. 그리고 다시 S1130에서 S1170을 새로 결정된 레벨에서 반복한다.

결과적으로 계층적 영상 구조의 최상위 레벨의 계층 영상부터 대표값 획득부, 유사도 판단부 및 노이즈 제거부가 순차적으로 수행되고, 다시 한 단계 아래 레벨의 계층 영상부터 상기 구성 단위들의 기능이 반복하여 수행되어, 최하위 레벨의 계층 영상에 대한 상기 구성 단위들의 기능의 수행이 완료될 때까지 반복됨으로써 출력 영상을 획득할 수 있다.

한편, 상술한 본 발명의 일실시예에 따른 영상 처리 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

1. 영상의 노이즈를 제거하는 영상 처리 방법에 있어서,
   기준 영상의 기준 영역 안의 픽셀들의 픽셀값들로부터 상기 기준 영상의 상기 기준 영역에 대한 기준 대표값 및 참조 영상의 참조 영역 안의 픽셀들의 픽셀값으로부터 상기 참조 영상의 상기 참조 영역에 대한 참조 대표값을 획득하는 단계;
   상기 기준 대표값 및 상기 참조 대표값에 기초하여 상기 기준 영상의 계층적 영상 구조와 상기 참조 영상의 계층적 영상 구조를 획득하는 단계;
   상기 기준 영상과 상기 참조 영상의 움직임 정보에 기초하여 상기 기준 영상의 상기 계층적 영상 구조의 상기 기준 영역을 상기 참조 영상의 상기 계층적 영상 구조의 상기 참조 영역에 매칭하는 단계;
   상기 획득된 기준 대표값 및 상기 획득된 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 상기 기준 영역들과 상기 참조 영역들의 유사도를 판단하는 단계; 및
   상기 유사도가 상기 참조 영역에 기초하여 상기 기준 영역에 대한 시간축 필터링이 수행됨을 나타내면, 상기 참조 영역에 기초하여 상기 기준 영역에 상기 시간축 필터링을 적용하여 상기 기준 영역의 노이즈를 제거하는 단계를 포함하고,
   각각의 계층적 영상 구조는 해상도를 달리하는 복수 개의 계층 영상들로 구성된, 영상 처리 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 기준 대표값은 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값이고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값인 것을 특징으로 하는 영상 처리 방법.
4. 제 1 항에 있어서,
   상기 영상 처리 방법은,
   상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 단계를 더 포함하는 영상 처리 방법.
5. 제 4 항에 있어서,
   상기 유사도를 판단하는 단계는,
   상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사도를 판단하는 것을 특징으로 하는 영상 처리 방법.
6. 삭제
7. 제 1 항에 있어서,
   상기 노이즈를 제거하는 단계는,
   상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 유사도에 따라 상기 참조 영상의 참조 영역에 가중치를 부가하고, 상기 기준 영역과 상기 참조 영역의 가중 평균을 구하는 상기 시간축 필터링을 적용하고,
   상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 필터링을 적용하지 않는 것을 특징으로 하는 영상 처리 방법.
8. 제 1 항에 있어서,
   상기 영상 처리 방법은,
   상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 기준 대표값 및 상기 참조 대표값을 획득하는 단계, 상기 유사도 판단 단계 및 상기 노이즈 제거 단계를 순차적으로 수행하는 것을 특징으로 하는 영상 처리 방법.
9. 제 1 항의 영상 처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
10. 영상의 노이즈를 제거하는 영상 처리 장치에 있어서,
    명령어들을 저장하는 메모리; 및
    상기 메모리에 전기적으로 결합된 적어도 하나의 프로세서를 포함하고, 상기 저장된 명령어가 실행될 때, 상기 적어도 하나의 프로세서는:
    기준 영상의 기준 영역 안의 픽셀들의 픽셀 값들로부터 상기 기준 영상의 기준 영역에 대한 기준 대표값 및 참조 영상의 참조 영역 안의 픽셀들의 픽셀 값들로부터 상기 참조 영상의 참조 영역에 대한 참조 대표값을 획득하고,
    상기 기준 대표값 및 상기 참조 대표값에 기초하여 상기 기준 영상의 계층적 영상 구조와 상기 참조 영상의 계층적 영상 구조를 획득하고,
    상기 기준 영상과 상기 참조 영상의 움직임 정보에 기초하여 상기 기준 영상의 상기 계층적 영상 구조의 상기 기준 영역을 상기 참조 영상의 상기 계층적 영상 구조의 상기 참조 영역에 매칭하고,
    상기 획득된 기준 대표값 및 상기 획득된 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 상기 기준 영역들과 상기 참조 영역들의 유사도를 판단하고,
    상기 유사도가 상기 참조 영역에 기초하여 상기 기준 영역에 대한 시간축 필터링이 수행됨을 나타내면, 상기 참조 영역에 기초하여 상기 기준 영역에 상기 시간축 필터링을 적용하여 상기 기준 영역의 노이즈를 제거하고,
    각각의 계층적 영상 구조는 해상도를 달리하는 복수 개의 계층 영상들로 구성된, 영상 처리 장치.
11. 삭제
12. 제 10 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 기준 대표값을 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 하고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 하는 것을 특징으로 하는 영상 처리 장치.
13. 제 10 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 영상 처리 장치.
14. 제 13 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사 여부를 판단하는 것을 특징으로 하는 영상 처리 장치.
15. 삭제
16. 제 10 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 유사도에 따라 상기 참조 영상의 참조 영역에 가중치를 부가하고, 상기 기준 영역과 상기 참조 영역의 가중 평균을 구하는 상기 시간축 필터링을 적용하고,
    상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 시간축 필터링을 적용하지 않는 것을 특징으로 하는 영상 처리 장치.
17. 제 10 항에 있어서, 상기 적어도 하나의 프로세서는
    상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 기준 대표값 및 상기 참조 대표값의 획득 동작, 유사도 판단 동작 및 노이즈 제거 동작을 순차적으로 수행하는 것을 특징으로 하는 영상 처리 장치.

Images