KR20060099351A - 영상 장치의 흔들림에 의한 영상 블러링 제거 방법 - Google Patents

Abstract

본 발명은 영상 장치의 흔들림에 의한 영상 블러링 제거 방법에 관한 것으로서, 움직이는 카메라의 CCD 셀(또는 CMOS)에서 영상 데이터를 취득할 때, 각 셀간의 시간적 차이에 의해 나타나는 블러링 현상에 대해, 취득된 영상을 짝수라인 영상과 홀수라인 영상으로 분리, 두 영상간에서 특징점 추출 및 정합, 영상 모션 계산, 영상 모자이크 생성 과정을 통해 취득된 한 장의 영상에서 소프트웨적인 방법으로 선명한 영상을 생성한다. 이를 통해, 고해상도의 영상장치에서 주로 사용하는 인터레이스드 스캔 방식의 영상에서 나타나는 영상의 어긋남 블러를 효과적으로 제거할 수 있다.

블러(Blur)

Description

영상 장치의 흔들림에 의한 영상 블러링 제거 방법{Method for removing blurred image by motion of image equipment}

도 1은 기존의 프로그래시브 스캔 방식과 인터레이스드 스캔 방식을 나타낸 개념도,

도 2는 인터레이스드 스캔 방식에서 짝수라인 영상과 홀수라인 영상 획득 시차로 발생하는 모션 블러 현상을 설명하기 위한 도면,

도 3a는 본 발명의 일실시예에 의한 영상블러링 제거방법을 나타낸 흐름도,

도 3b는 본 발명의 일실시예로서, 입력된 영상에서 홀수라인 영상과 짝수라인 영상을 생성하는 과정을 나타낸 흐름도,

도 3c는 본 발명의 일실시예로서, 생성된 두 영상에 에지추출 후, 두 에지 차이를 이용하여 영상모션을 인식하는 과정을 나타낸 흐름도,

도 4는 인터레이스드 스캔 방식의 카메라가 이동 중에 획득한 영상의 예를 나타낸 도면,

도 5는 짝수라인 영상 및 홀수라인 영상을 이용한 모션블러 여부 결정 방법을 나타낸 도면,

도 6은 서브 픽셀(Sub-Pixel) 정합의 개념을 나타낸 도면,

도 7은 인접 화소간의 선형 보간 방법을 나타낸 도면,

도 8은 카메라의 좌우 움직임 시 생성된 모션 블러 제거 실험 결과를 나타낸 도면,

도 9는 카메라의 상하 움직임 시 생성된 모션 블러 제거 실험 결과를 나타낸 도면,

도 10은 카메라의 대각선 움직임 시 생성된 블러 제거 실험 결과를 나타낸 도면,

도 11은 카메라의 회전 모션 시 생성된 블러 제거 실험 결과를 나타낸 도면이다.

본 발명은 영상 장치의 흔들림에 의한 영상 블러링 제거 방법에 관한 것으로, 더욱 상세하게는 영상 장치의 흔들림에 의해 발생한 영상 블러링시에 블러링된 영상을 이용하여 선명한 영상을 생성하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법에 관한 것이다.

영상 블러링은 카메라 초점의 불일치, 장시간 동안의 CCD 노출, 인터레이스드 스캔 방식 카메라에서의 손떨림 등에 의해 발생된다. 또한, 짧은 시간동안의 CCD 노출의 경우에도 카메라에 근접한 물체가 매우 빠르게 움직일 때에는 장시간 CCD 노출 경우처럼 블러가 발생할 수 있다.

이 블러 문제를 해결하기 위해 많은 방법들이 연구되었는데([1] P.A. Jansson, Deconvolution of Image and Spectra, second ed. Academic Press, 1997. [2] Moshe Ben-Era and Shree K. Nayar, Motion-Based Motion Deblurring, IEEE Tr. on PAMI, vol. 26, no. 6, June 2004. [3] H. Shekarfoush and R. Chellappa, Data-Driven Multi-Channel Super-Resolution with Application to Video Sequence, J. Optical Soc. of Am. A, vol. 16, no. 3, pp. 481-492, 1999.), 주로 PSF(Point Spread Function)을 이용하여 블러링된 여러 장의 영상으로부터 선명한 영상을 생성하였다. 특히, Moshe과 Shree는 영상 모션을 이용하여 연속된 PSF를 예측하여 선명한 영상을 생성하였는데, 고분해능 카메라 외에 추가적으로 낮은 분해능을 가지는 비디오 카메라를 이용하여 효과적으로 영상 모션을 계산하는 방법을 제안하였다[2]. 그러나, 이 알고리즘은 여러 장의 블러링된 영상을 이용하므로, 한 장의 블러링된 영상만으로는 선명한 영상을 얻는데 한계가 있었다.

한 장의 영상만을 이용하는 방법으로 하드웨어적인 방법도 연구되었는데, CMOS 센서를 이용하여 영상 움직임을 인식하고 CMOS로부터 영상 생성을 선택적으로 정지하는 것이다. 그러나, 이 방법은 카메라 움직임에 대한 영상 블러를 제거하지 못하는 단점이 있었다. 또 카메라 내부에 모션을 인식하는 2축 압전 레이트 자이로, 2개의 카메라 렌즈를 이송할 수 있는 액추에이터로 구성된 장치를 이용하여 블러를 최소화시키는 방법도 개발되었는데([4] Endo, Takayuki and Canon Inc., Optical apparatus, United States Patent:6,628,898, Sept. 2003. [5] Imada, Shinji and Canon Inc., Image blur correction apparatus and image pickup apparatus with the image blur correction apparatus, United States Patent:6,470,147, Oct. 2002. [6] Terao, Kentaro and Nikon Co., Blur correcting device and lens barrel, United States Patent:6,816,674, Nov. 2004. [7] Imada, Shinji and Canon Inc., Control device for image blur correction, United States Patent:6,408,135, June 2002.), 상기한 2축 압전 레이트 자이로는 인식된 카메라 움직임에 대해 2개의 렌즈를 각각 상하좌우로 이동하여 실시간적으로 카메라 모션을 보상하는 것이다. 이 방법은 인터레이스드 스캔 방식의 카메라에 대해서도 블러링을 제거할 수 있으나, 카메라의 팬/틸트 움직임 외의 회전이나 줌 모션에 대해서는 보상할 수 없는 단점이 있었다.

하드웨어적으로 영상 블러링을 해결하는 방법으로서, 디지털 카메라의 흔들림에 의한 영상 블러링 효과를 줄일 수 있도록 스태빌라이저(Stabilizer)를 사용하고 있다. 이미 많은 분야에서 상용화된 스태빌라이저(Stabilizer)는 항공기, 헬리콥터 등에 사용되었으나, 이 스태빌라이저(Stabilizer)를 초소형화하여 일반 디지털 카메라에 적용하여 상품화하고 있다.

그러나, 이는 영상 장치에 추가적인 하드웨어(Stabilizer)가 필요하게 되므로 영상 장치의 제조 비용을 상승시키는 단점이 있었다.

그러면 여기서 기존의 영상 획득 방법에 대해 설명하기로 한다.

도 1은 기존의 프로그래시브 스캔 방식과 인터레이스드 스캔 방식을 나타낸 개념도이다. 구체적으로, 도 1a는 프로그래시브 스캔 방식을 나타낸 도면이고, 도 1b는 인터레이스드 스캔시 짝수라인 영상획득 과정을 나타낸 것이고, 도 1c는 인터레이스드 스캔시 홀수라인 영상획득 과정을 나타낸 것이다.

이와 같이, CCD에서 영상 데이터를 읽는 방식은 프로그래시브 스캔(Progressive Scan)과 인터레이스드 스캔(Interlaced Scan)이 있다. 프로그래시브 스캔은 도 1a에 도시된 바와 같이, 모든 셀에서 영상 데이터를 한 번에 취득한 후, 순차적으로 읽어내는 방식이다. 이와는 달리, 인터레이스드 스캔은 짝수라인 영상과 홀수라인 영상을 교대로 읽어내는 방식인데, 2개의 영상 소자로부터의 합산된 전압값을 화소화하여 안정적인 화소값을 만들어 내는 것을 기본 원리로 하고 있다. 이를 위해서, 셀에서의 영상 소자 조합 방법은 도 1b 및 도 1c에서와 같이 2가지 방법이 있다. 즉, 그 하나의 방법은 도 1b에 도시된 바와 같이 영상 소자 (0과 1), (2와 3), 및 (4와 5),... 등을 조합하여 각각 화소를 만들거나, 나머지 방법은 도 1c에 도시된 바와 같이 영상 소자 (1과 2), (3과 4),... 등을 조합하여 화소를 만들게 되므로 도 1b에서 만든 화소들의 사이 사이의 영상 값을 얻을 수 있게 된다. 이렇게 얻은 영상 중 전자를 짝수라인 영상이라 하면, 후자는 홀수라인 영상이라 정의된다. 이 인터레이스드 스캔 방식은 프로그래시브 스캔 방식에 비해 복잡하지만, 다음과 같은 이유 때문에 많이 채택되고 있다.

그 첫번째 이유로는, TV 송신방식이 주로 인터레이스드 스캔 방식을 채택하고 있기 때문이다. 향후 상용화될 HDTV 또한 이 방식을 채택할 예정이므로 인터레 이스드 스캔 방식이 계속 사용되어질 것을 예상하고 있다.

그 두 번째 이유는, 인터레이스드 스캔 방식이 보다 고감도의 선명한 화소를 얻을 수 있기 때문이다. 반도체 제조 기술의 발달로 인해 화소의 밀도가 갈수록 높아지고 있는데, 화소의 밀도가 높아지면, 1개의 화소가 빛을 받는 면적이 줄어들기 때문에 감도가 줄어드는 문제가 있다. 그런데, 인터레이스드 스캔 방식에서는 복수의 화상 소자 신호를 합산하여 사용하므로 빛에 대한 감도를 높일 수 있다. 실제로 상용화된 카메라 중에서 35만 화소 이하의 밀도를 갖는 카메라는 프로그래시브 스캔 방식을 사용하고 있는 반면, 그 이상의 카메라는 인터레이스드 스캔 방식을 채택하고 있다.

그러나, 인터레이스드 스캔 방식에서는 카메라가 움직일 때 짝수라인 영상과 홀수라인 영상의 획득 시점 차이로 인하여 물체나 카메라가 움직일 때 블러 현상이 발생한다는 문제점이 있었다. 이의 원인에 대해 도 2를 통해 설명한다.

도 2는 인터레이스드 스캔 방식에서 짝수라인 영상과 홀수라인 영상 획득 시차로 발생하는 모션 블러 현상을 설명하기 위한 도면이다. 도 2에 도시된 바와 같이, 물체가 움직이고 있을 때, 짝수라인 영상과 홀수라인 영상 차이로 인해서 블러가 발생하고 있다.

(a)에 도시된 바와 같이, 우측으로 물체가 움직이는데, (b)에서와 같이 시간 t에 짝수라인 영상을 획득하고, (c)에서와 같이 시간 t+Δt에 홀수라인 영상을 획득하면, (d)에서와 같이 어긋남 현상이 발생하게 된다. 즉, 시간 t와 시간 t+Δt간 의 시간차가 발생한 상황에서 짝수라인 영상과 홀수라인 영상을 획득된 그대로 조합하여 발생하는 현상이다.

결과적으로 인터레이스드 스캔 방식으로 움직이는 영상 데이터를 취득할 경우에, 짝수라인 영상과 홀수라인 영상의 획득 시차로 인하여, 두 영상이 조합되면 (d)와 같이 두 영상의 어긋남 현상이 발생하여 시각적으로는 블러로 보이게 된다.

따라서, 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위한 것으로서, 인터레이스드 스캔 방식에 의한 영상 획득시에 영상 장치의 흔들림에 의해 블러가 발생할 경우에, 짝수라인 영상 또는 홀수라인 영상 정보로부터 보간을 통해 원 영상을 복원하며, 복원된 원 영상들을 비교함으로써 카메라의 흔들림 여부를 결정하고, 카메라가 흔들려서 촬영된 영상에 대해서는 영상 모자이크 기술을 이용하여 짝수라인과 홀수라인이 정렬된 영상을 구성함으로써, 블러링된 한 장의 영상만으로 선명한 영상을 생성하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법을 제공하는데 있다.

상기한 본 발명의 목적을 달성하기 위한 하나의 양상은,

영상 소자에서 획득된 영상을 짝수라인과 홀수라인으로 분리하고, 짝수라인 영상 또는 홀수라인 영상에서 각각의 라인간의 선형 보간으로 새로운 영상을 생성 하는 단계;

상기 짝수라인 영상과 홀수라인 영상간의 정합을 통하여 영상의 이동 벡터를 추출하여, 코너점을 포함하는 특징점을 추출한 다음 특징점간의 정합을 수행하는 단계; 및

짝수라인 영상 또는 홀수라인 영상 중에서 선택된 어느 하나의 라인 영상을 기준 영상으로 하여 기준 영상에서 복원될 추가 영상의 라인 픽셀을 상하 기준 영상 라인 픽셀 값의 평균과 추가 영상 양 선형 보간으로 취득된 값을 융합하여 계산하는 단계

를 포함하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법에 관계한다.

또한, 본 발명의 목적을 달성하기 위한 다른 양상은,

a. 영상 소자에서 획득된 영상을 짝수라인과 홀수라인으로 분리하고, 짝수라인 영상 또는 홀수라인 영상에서 각각의 라인간의 선형 보간으로 새로운 영상을 생성하는 단계;

b. 짝수라인 영상 또는 홀수라인 영상의 원 영상을 복원하여 복원된 영상간의 차이와 미리 설정된 값간의 비교를 통해 영상 움직임 여부를 판단하는 단계;

c. 영상 움직임이 있다고 판별되면, 짝수 영상과 홀수 영상간의 정합을 통하여 영상의 이동 벡터를 추출하여, 코너점을 포함하는 특징점을 추출한 다음 특징점간의 정합을 수행하는 단계;

d. 특징점간 정합을 수행한 후에 가장 정합도가 높은 특징점의 추출에 의해 생성된 두 영상간의 벡터인 광류에 대해 서브 픽셀(Sub-Pixel) 정합을 수행하는 단계;

e. 상기 추출된 광류를 기반으로 두 영상간의 카메라 모션을 계산하여 두 영상간 영상 모자이크를 생성하는 단계; 및

f. 짝수라인 영상 또는 홀수라인 영상 중에서 선택된 어느 하나의 라인 영상을 기준 영상으로 하여 기준 영상에서 복원될 추가 영상의 라인 픽셀을 상하 기준 영상 라인 픽셀 값의 평균과 추가 영상 양 선형 보간으로 취득된 값을 융합하여 계산하는 단계

를 포함하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법에 관계한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 더욱 상세하게 설명한다.

먼저, 본 실시예에 영상 장치 중에서 디지털 카메라에서의 블러 제거 방법을 설명하기로 한다. 물론, 캠코더를 포함한 CCD 셀(또는 CMOS)을 이용하여 영상 획득을 수행하는 모든 영상 장치에 본 발명이 적용될 수 있음은 주지의 사실이다.

상기한 바와 같이, 디지털 카메라에서 영상을 취득할 때, 디지털 카메라 흔들림에 의하여 블러링된 영상이 취득된다. 이 블러링 현상은 움직이는 카메라의 CCD 셀에서 영상 데이터를 취득할 때, 짝수라인과 홀수라인의 셀간의 영상 획득 시 간적 차이에 의해 나타난다. 이 때, CCD 셀에서 A/D 변환하는 순서를 프로그래시브 스캔(Progressive Scan) 방식이 아닌 인터레이스드 스캔(Interlaced Scan) 방식으로 영상을 생성한다면, 취득된 영상에서 분리된 짝수라인 영상과 홀수라인 영상 사이에 카메라 모션을 인식할 수 있다.

본 발명에서는 카메라로부터 취득된 한 장의 영상에 대해 홀수라인 영상과 짝수라인 영상을 각각 분리하고, 홀수라인 영상과 짝수라인 영상간에서 영상 모자이크 방법을 적용하기로 한다. 여기서 한 장의 영상이란 1프레임의 영상을 의미한다.

본 발명에서 제안하는 알고리즘은 도 3에 도시된 바와 같이, CCD 셀(또는 CMOS)로의 영상 입력 단계(S10), 짝수라인 영상과 홀수라인 영상으로 분리 및 생성 단계(S12), 영상 움직임 판정 단계(S14), 특징점 추출 및 정합 단계(S16∼S18), outlier 제거 단계(S20), 서브 픽셀(Sub-Pixel) 정합 단계(S22), 카메라 모델(motion) 계산(S24), 영상 모자이크 생성 단계(S26)로 이루어져 있다. 각 과정에 대해 상세히 설명하기로 한다.

영상분리

디지털 카메라로부터 취득된 영상에서 짝수라인 영상과 홀수라인 영상으로 각각 분리한다(도 3b의 S101). 분리된 두 영상간의 CCD 배열의 물리적인 위치를 동일시하기 위해, 짝수라인 영상에서 각각의 라인간의 선형 보간으로 새로운 영상을 생성한다(도 3b의 S103). 이하에서 설명되는 짝수라인 영상은 선형보간에 의해 생 성된 영상을 의미한다.

일반적으로, 디지털 카메라로부터 취득된 영상을 일반 유저에게 공급하는 것은 소프트 블러(soft blur)를 하거나, 동일한 CCD 셀에서 시간을 두고 몇 번 A/D 변환 후 평균값으로 생성하는 경우이다. 그런데, 본 실시예에서는 각 CCD 셀에서 한번만 A/D 변환 후 영상을 생성하는 장치에 대하여 적용하기로 한다.

먼저, 짝수 영상 및 홀수 영상간의 어긋남 여부를 판단하는 일이 선행되어야 한다. 이 판단을 위해서 본 실시예에서는 짝수라인 혹은 홀수라인으로 구성된 영상을 이용하여, 각각 결여된 선의 영상들을 보간을 통하여 원 영상의 크기로 재현한 후, 두 영상간의 차이 정도를 검출하여 영상의 차이 여부를 판단한다. 이를 위해서, 우선 취득된 영상을 짝수라인 영상과 홀수라인 영상으로 각각 분리한다. 이 두 영상의 세로 길이는 원 영상의 절반이므로, 원 영상의 크기로 만들기 위해서 각 영상라인 사이에 기존의 영상라인의 화소들 간의 보간을 통하여 새로운 영상라인을 생성시킨다. 즉 중간 영상라인의 화소는 아래 식(1)과 같은 선형 보간을 사용하여 생성한다.

--- 식(1)

여기서, (x,y)는 영상 좌표이며, y는 홀수 값이다. 식(1)에 의해 생성된 영상들 중 짝수 영상을 I1 , 홀수라인 영상을 I2로 부르기로 한다. 도 4는 인터레이스드 스캔 방식의 카메라가 이동 중에 획득한 영상의 예를 보여준다. 도 4a에서 수직의 창틀이나 벽면의 모서리들이 이중으로 보이는 영상이 인터레이스드 스캔 방식 에서의 나타나는 시차에 의한 영상의 블러 현상이다. 이 영상에서 짝수 영상을 분리하면 도 4b와 같고, 홀수 영상은 도 4c와 같다.

제안한 알고리즘을 적용 여부를 판단하기 위해서는 영상의 움직임 여부에 대한 인식이 필요하다. 영상 움직임 여부 판단을 위해서는 두 영상간의 차이를 검출하는 것이 효과적이지만, 두 영상은 각각 짝수라인 영상과 홀수라인 영상으로서 다른 위치의 영상이므로, 직접 비교가 어렵다. 따라서, 각각의 영상 정보를 활용하여 원 영상을 복원하고, 복원된 영상들의 차이를 추출한다. 도 5는 짝수 영상 및 홀수 영상으로부터 복원된 영상 I’과 I”를 보여준다. (a)에 도시된 바와 같이, 복원된 두 영상들은 유사하지만 위치적 차이가 존재하므로 두 영상간의 차이를 추출하면 (b)와 같은 영상이 된다. 아래에서 더욱 상세히 설명하기로 한다.

디지털 카메라 움직임 인식

디지털 카메라 움직임이 없을 때, 취득된 영상에 발명한 알고리즘을 적용할 필요는 없다. 따라서 본 발명의 알고리즘을 적용하기 전에 디지털 카메라의 움직임을 인식하여야 한다. 여기서, 디지털 카메라 움직임을 인식하기 위해 Canny Operator(또는 Sobel Operator, Roberts Operator, Prewitt Operator, Laplacian Operator, Gaussian Edge Operator 등을 이용해도 된다)를 이용하여 두 영상에서 에지를 추출 후(도 3c의 S141), 두 에지 영상간 차분을 생성한다(도 3c의 S143).

카메라 움직임이 없을 때는 에지 차이가 크지 않지만, 카메라 움직임이 있을 때는 에지 차이가 크게 나타난다. 이에 본 실시예에서는 적분 영상에서 차이를 계 산하여(도 3c의 S145), 미리 설정된 값보다 에지 차이가 클 경우에만(도 3c의 S147) 본 발명의 알고리즘을 적용하기로 한다. 한편, 에지 영상을 계산할 때 불필요한 시간을 줄이기 위해 영상의 일부에서만 에지 영상을 생성하고, 두 에지 영상 차이를 계산할 수도 있다.

특징점(코너점) 추출

분리된 두 영상에서 특징점을 추출한다. 특징점 추출은 Plessey Operator , Kitchen/Rosenfeld Operator, Curvature Scale Space Operator , SUSAN(Smallest Univalue Segment Assimilating Nucleus) Operator 중 어느 알고리즘을 사용할 수 있다. 또는 특징점(코너점)에서 추출된 에지 라인을 특징점으로 설정해도 된다. 두 영상에서 특징점을 추출할 때, 불필요한 시간을 줄이기 위해 영상의 일부에서만 추출할 수도 있다.

특징점 추출 과정을 구체적으로 설명하면 다음과 같다. 모션 블러 존재 여부가 확인되면 블러 영상들에 대해서는 원래의 위치로 이동하여 교정하는 과정이 필요하다. 본 실시예에서는 짝수 영상과 홀수 영상간의 정합을 통하여 영상의 이동 벡터를 추출하며, 정합을 위해 특징점을 추출한 다음 특징점간의 정합 방법을 이용한다. 특징점 추출을 위해서 코너점 추출에 성능이 좋은 SUSAN(Smallest Univalue Segment Assimilating Nucleus) 알고리즘[8]을 이용한다. SUSAN에서 사용한 에지 강도 계산은 원형 마스크 중심 (도 6에서 + ) 점에서의 영상 값의 원형 마스크 영역 내에 있는 각 영상 값과 차이를 합산한 결과 값을 가우시안 함수를 적용하여 식 (2)와 같이 나타낼 수 있다.

--- 식(2)

여기서, I는 화소(gray) 값이고, T는 화소 값의 차에 대한 임계(threshold) 값이다. 식(2)에서 T가 크면 화소 그레이 변화가 큰 곳만 특징점으로 추출되고, T가 작으면 화소 변화가 작은 곳에서도 특징점이 추출된다. 여기서 G는 추출될 특징점의 수를 결정해 주는 파라미터이다.

--- 식(3)

본 실시예에서는 원형 마스크 지름의 크기를 7 화소, T는 30, G는 가변하도록 설정한다.

특징점(코너점) 정합

두 영상에서 추출된 특징점간의 동일한 공간상의 점을 찾기 위해서 특징점간 상관 정합을 수행한다. 일반적으로 카메라가 CCD로부터 A/D 변환하는 시간은 1/15초 이내로 소비한다. 카메라에서 이 시간 내에 10 픽셀 이상이 움직임이 나타나지 않는다고 가정한다. 따라서, 특징점간 정합할 때, 10 픽셀 이내의 특징점간 상관 정합을 수행한다. 이 10 픽셀의 설정값은 임의로 조정 가능하다. 상관 정합 방법은 Sum of Absolute Differences(SAD), Sum of Squared Differences(SSD), Cross Correlation(CC), Normalized Cross Correlation(NCC), Zero-mean Normalized Cross Correlation(ZNCC)중에서 어느 것을 사용할 수도 있다. 특징점간 정합을 수행한 후에 가장 정합도가 높은 특징점을 추출하게 되면 두 영상간의 벡터가 생성된다. 이 벡터를 일반적으로 광류로 정의한다.

상기 특징점 정합 방법으로 주로 상관 정합을 이용하는데, 본 실시예에서는 빠른 정합을 위하여 식(4)와 같이 Sum of Squared Differences(SSD)를 사용한다.

--- 식(4)

여기서, I1’, I2’ 짝수 영상과 홀수 영상으로부터 복원된 영상이며, N은 마스크 크기이다.

오류 광류 제거

추출된 광류는 오류 광류를 포함하고 있다. 이 오류 광류를 제거하기 위해, M-estimators, Least Median of Squares(LMedS), 2차원 히스토그램 방법을 사용할 수 있다.

서브 픽셀(Sub-Pixel) 정합

오류 광류를 제거 후, 추출된 광류는 픽셀 단위로 정합이 된 것이다. 이 광류를 이용하여 영상 모자이크를 생성하면 선명한 영상을 생성할 수 없는 경우가 있다. 물론, 서브 픽셀(Sub-Pixel) 정합 과정이 없어도 선명한 영상을 얻을 수 있다.

더욱 선명한 영상을 생성하기 위해서, 추출된 광류를 서브 픽셀(Sub-Pixel) 정합을 수행한다. 추출된 광류에 대해 서브 픽셀(Sub-Pixel) 정합을 수행하기 위해 3단계의 과정을 거치게 된다.

도 6a에서 원은 짝수 영상의 CCD를 의미하고 사각형은 홀 수 영상에서 정합된 화소의 위치를 의미한다. 제 1 단계는, 도 6b에 도시된 바와 같이 가로축으로 3픽셀, 세로축으로 3픽셀 내에서 몇 개의 셀로 나눈다. 제 2 단계는, 각 셀의 영상 값을 짝수라인의 6개 영상을 기반으로 거리 선형보간하여 생성한다. 제 3 단계는, 광류의 홀수라인 영상과 셀의 영상 값들 중에서 가장 비슷한 셀을 찾는다. 찾은 셀은 소수점 이하의 정밀도를 가지게 된다. 이 방법 이외에 Gradient based 광류, Frequency based 광류를 사용할 수도 있다.

카메라 모델

추출된 광류를 기반으로 두 영상간의 카메라 모션을 계산한 후, 이 모델을 이용하여 두 영상간 영상 모자이크를 생성한다. 카메라 모델은 영상 광축 회전과 영상 상하 이동식, Hermert, Affine, Pseudo Affine, Scond-order Transform, Projection Transform중 어느 것을 사용할 수도 있다.

보간법

계산된 카메라 모델을 이용하여 영상 모자이크를 생성할 때, 양 선형 보간법을 사용한다. 기준 영상을 오리지널 영상으로 하고, 기준 영상에서 홀수라인 영상 값이 없는 것으로 한다. 분리된 홀수라인 영상을 추가 영상으로 한다. 이와 반대로 기준 영상에서 짝수라인 영상 값이 없는 것으로 하고, 분리된 짝수라인 영상을 추가 영상으로 할 수도 있다. 기준 영상에서 홀수라인 영상 복원은 기준 영상의 짝수라인 영상과 추가 영상에서 양 선형 보간법을 적용하는 것이다. 기준 영상에서 복원될 홀수라인 픽셀은 상하 짝수라인 픽셀 값의 평균과 추가 영상 양 선형보간으로 취득된 값을 융합하여 계산된다. 보간법은 nearest 화소 이용 보간법, 양선형 보간법, 고차항 보간법, B-spline보간법 중 어느 것을 사용해도 무관하다.

정확한 영상의 이동을 계산하기 위해서는 정합된 정확한 화소들의 위치와 함께 영상 변환 모델을 이용해야 한다.

공간상의 한점 P(X,Y,Z)이 (XL,YL,ZL)에 위치하고 있는 카메라 CCD의 한점 (x,y)에 투영된다면, 다음 식(5)로 표현될 수 있다.

--- 식(5)

여기서, f는 카메라 초점이고, λ는 스케일 벡터이며, m은 카메라 회전행렬이다. 여기서, m은 다음 식(6)으로 정의할 수 있다.

--- 식(6)

여기서,

이며, (ω,φ,k)는 카메라의 자세로서 각각 X,Y,Z축의 회전각이다. 두개의 영상에서 짝수선 영상을 좌표 기준으로 하고, 홀수선 영상이 (XL,YL,ZL)에 위치하면 두 영상 관계는 다음 식(7)과 같이 표현된다.

--- 식(7)

여기서, (x1,y1)과 (x2,y2)는 공간상의 한 점이 각각 짝수라인 영상과 홀수라인 영상에 투영되어 나타난 영상 좌표이다. 식(7)에서 세 번째 행을 각각 첫 번째, 두 번째 행을 나누면 일반적인 공선조건식이 된다.

--- 식(8)

식(8)에서 공간상의 점이 평면상에 존재한다면 다음과 같이 표현할 수 있다.

--- 식(9)

영상 변환 식은 식(9)에서 a7,a8을 0으로 설정하여 얻어진다.

--- 식(10)

영상 변환 식은 미지수가 6개(a1,a2,a3,a4,a5,a6)이므로, 두 영상간의 동일점이 최소 3개가 있어야 미지수를 구할 수 있다. 식(9)을 행렬로 표현하면 다음과 같다.

B=Ap ---식(11)

여기서,

이며, i와 j는 각각 짝수라인 영상과 홀수라인 영상에서 추출되어 정합된 특징점의 번호이다. 식(11)은 최소제곱법을 사용하여 6개의 미지수를 구할 수 있다.

계산된 영상 변환 모델을 이용하여 영상 모자이크를 생성할 때, 영상의 보간이 필요하다. 이 연구에서는 홀수라인 영상 복원은 짝수라인 영상과 홀수라인 영상에서 양 선형 보간법을 적용한다. 짝수라인 상에서 복원될 홀수라인 화소는 상하 짝수라인 화소 값의 평균과 홀수라인 영상의 양 선형보간으로 취득된 값을 융합하여 계산된다.

--- 식(12)

여기서, (x1,y1)은 짝수선 영상 I1에서 좌표, y1은 홀수 값, 홀수선 영상 I2의 좌표로서 (x2,y2)은 식(10)에 (x1,y1)을 입력하여 얻어지는 값, a는 복원될 (x1,y1)와 거리를 뜻하며, L은

)이다. b,c는 도 7에서 보듯이 (x2,y2)과 주변 CCD와 거리이다. 홀수선 영상에서 양 선형 보간법을 사용할 때, 도 7과 같이 4가지 경우가 있다. 도 7a는 화소가 정확히 짝수라인에 위치하는 경우로서, 식(2)에서 짝 수 영상만을 이용하여 홀수라인 영상을 생성한다. 도 7b는 화소가 정확히 홀수라인에 위치하는 경우로서 식(2)에서 홀수 영상만을 이용하여 홀수라인 영상을 생성한다. 도 7c는 짝수라인 위쪽에 위치할 경우인데, 짝수라인 위에 위치하는 홀수라인 두 화소를 거리 보간하여 식(2)에 입력하여 홀수라인 영상을 생성한다. 도 7d는 7c와 반대의 경우로써, 짝수라인 아래에 위치하는 홀수라인 두 화소를 거리 보간한 후 식(2)에 입력하여 홀수라인 영상을 생성한다.

카메라 모션에 의한 각 영상 픽셀 보정

계산된 카메라 모델에서 카메라 모션을 추출하여, 짝수라인 영상의 픽셀 수(또는 홀수 영상의 픽셀 수) 만큼 나누어서, 각 픽셀당 카메라 모션을 계산한 후, 다시 이 모션을 카메라 모델식에 입력하여 보간법을 수행한다. 이 방법은 각 픽셀 단위로 새로운 영상을 생성하기 때문에, 카메라가 빠르게 움직이고 카메라에 투영되는 물체가 가까울 때 더욱 효과적이다.

여기서, 상기한 전체 과정 중에서 단축된 최소 과정을 통해서도 본 발명에서 수행하고자 하는 블러를 제거할 수 있다.

즉, 영상 소자에서 획득된 영상을 짝수라인과 홀수라인으로 분리하고, 짝수라인 영상 또는 홀수라인 영상에서 각각의 라인간의 선형 보간으로 새로운 영상을 생성한 다음, 상기한 짝수라인 영상과 홀수라인 영상간의 정합을 통하여 영상의 이동 벡터를 추출하여, 코너점을 포함하는 특징점을 추출한 다음 특징점간의 정합을 수행한다. 이후, 짝수라인 영상 또는 홀수라인 영상 중에서 선택된 어느 하나의 라인 영상을 기준 영상으로 하여 기준 영상에서 복원될 추가 영상의 라인 픽셀을 상하 기준 영상 라인 픽셀 값의 평균과 추가 영상 양 선형 보간으로 취득된 값을 융합하여 계산하는 과정을 거쳐 본 발명을 수행할 수 있다.

또한, 본 실시예에서는 양 선형 보간에 대해서만 설명하고 있으나, 상기한 바와 같이 nearest 화소 이용 보간법, 양선형 보간법, 고차항 보간법, B-spline보간법 중에서 선택적으로 어느 하나를 이용할 수 있다.

실험 결과

본 발명에서 제안하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법의 이용에 따른 효과를 검증하기 위해, 디지털 카메라를 좌우, 상하, 대각선 이동, 그리고 회전할 때 촬영한 블러 영상을 대상으로 적용 실험하였다.

도 8은 카메라의 좌우 움직임이 있을 때, 취득된 영상에 제안한 알고리즘을 적용한 실험이다. 도 8a는 인터레이스드 스캔 카메라가 움직이는 경우 나타나는 전형적인 블러 영상으로서, 수직으로 나타난 창틀의 선이 2개씩으로 보이고 있음은 앞에서 기술한 바와 같이, 짝수 영상과 홀수 영상간의 불일치의 결과이다. 이와 같은 블러 영상에 본 발명을 적용하기 위해서 선행되어야 할 과정은 영상에 이동성 블러의 존재여부 판단이다. 이를 위해서 블러 영상으로부터 반 크기의 짝수라인 영상과 홀수라인 영상을 분리해 내며, 각각의 짝수라인 영상 정보와 홀수라인 영상 정보로부터 보간을 통해 각각 원래 크기의 영상을 복원한다. 원래의 크기로 복원된 짝수라인 영상과 홀수라인 영상의 비교를 위해, 본 발명에서는 에지를 추출하여 비교하는 방법을 사용한다. 도 8b는 블러가 포함된 도 8a의 영상으로부터 에지를 추출하여 그 차이를 보여주는 영상이다(중앙의 흰 부분내의 검정선들이 에지의 차이임). 도 8c는 카메라가 흔들리지 않고 촬영한 영상으로서 도 8a와의 차이점을 보여주기 위한 영상인데, 카메라의 이동여부 판단을 위한 알고리즘을 도 8c에 적용했을 때 도 8d와 같이 홀수라인 영상과 짝수라인 영상간의 차이가 거의 없음을 알 수 있다. 결국 카메라 움직임이 없을 때는 에지 차이가 거의 없지만, 카메라 움직임이 있을 때는 에지 차이가 크게 나타난다는 것을 알 수 있다. 도 8a의 블러 영상에 제안한 알고리즘을 적용한 결과는 도 8e와 같이 영상의 어긋남이 사라지고 선명한 영상을 얻었다.

위에서와 동일한 알고리즘을 상하로 움직인 카메라 영상에 대해서도 적용하였다. 도 9는 디지털 카메라를 상하로 움직일 때 나타나는 블러 영상(도 9a)에 본 알고리즘을 적용한 결과이다. 상하 움직임이 있을 때, 획득된 영상에 제안한 알고리즘의 적용한 결과는 도 9b와 같다. 이 영상에서도 화질이 월등히 개선되었음을 알 수 있다.

보다 복잡한 이동 형태인 대각선 이동(수평 및 상하의 복합 이동)과 회전이동 등에 대해서도 본 알고리즘을 적용 실험하였다. 도 10a는 대각선 이동 시 나타나는 블러인데, 본 알고리즘 적용으로 도 10b와 같이 개선된 화질의 영상을 얻을 수 있었다.

블러 제거가 보다 어려운 영상은 카메라가 회전하는 경우로서 선형적인 상하 좌우 이동 영상에 비해 복원이 훨씬 어려워진다. 이와 같은 영상의 경우에는 화소들의 이동 벡터와 함께 카메라의 영상 변환 모델을 이용해야만, 영상을 정확한 위치로 정렬하여 모션 블러를 제거할 수 있다. 도 11은 카메라의 회전 시 촬영한 영상이 본 알고리즘 적용으로 개선을 보여주는 실험으로서 도 11a는 블러를 포함하는 원 영상이고, 도 11b는 제안한 알고리즘에 의해 화질이 개선된 영상이다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의하여 많은 변형이 가능함은 명백할 것이다.

상술한 바와 같이, 본 발명에 따른 영상 장치의 흔들림에 의한 영상 블러링 제거 방법은, 발생된 영상 블러링에 대해 소프트웨어적으로 해결함으로써 CCD 소자 또는 CMOS 소자를 이용하는 영상 장비 설계시 추가적인 하드웨어가 필요치 않아 제조 비용을 낮출 수 있을 뿐만 아니라, 기존 영상 장비에의 적용이 용이하다.

Claims (12)

1. a. 영상 소자에서 획득된 영상을 짝수라인과 홀수라인으로 분리하고, 짝수라인 영상 또는 홀수라인 영상에서 각각의 라인간의 선형 보간으로 새로운 영상을 생성하는 단계;

   b. 짝수라인 영상 또는 홀수라인 영상의 원 영상을 복원하여 복원된 영상간의 차이와 미리 설정된 값간의 비교를 통해 영상 움직임 여부를 판단하는 단계;

   c. 영상 움직임이 있다고 판별되면, 짝수 영상과 홀수 영상간의 정합을 통하여 영상의 이동 벡터를 추출하여, 코너점을 포함하는 특징점을 추출한 다음 특징점간의 정합을 수행하는 단계;

   d. 상기 특징점간 정합을 통해 가장 정합도가 높은 특징점의 추출에 의해 생성된 두 영상간의 벡터인 광류에 대해 서브 픽셀(Sub-Pixel) 정합을 수행하는 단계;

   e. 상기 추출된 광류를 기반으로 두 영상간의 카메라 모션을 계산하여 두 영상간 영상 모자이크를 생성하는 단계; 및

   f. 짝수라인 영상 또는 홀수라인 영상 중에서 선택된 어느 하나의 라인 영상을 기준 영상으로 하여 기준 영상에서 복원될 추가 영상의 라인 픽셀을 상하 기준 영상 라인 픽셀 값의 평균과 추가 영상 양 선형 보간으로 취득된 값을 융합하여 계산하는 단계를 포함하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
2. 제 1 항에 있어서, 상기 a. 단계에서, 취득된 영상에 대해 1회의 A/D 변환이 이루어지는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
3. 제 1 항에 있어서, 상기 a. 단계는,

   짝수라인 영상과 홀수라인 영상으로 각각 분리하는 단계; 및

   짝수라인 영상 또는 홀수라인 영상을 이용하여, 각각 결여된 선의 영상들을 보간을 통하여 원 영상의 크기로 재현하는 단계

   로 이루어진 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
4. 제 1 항에 있어서, 상기 b. 단계는,

   짝수라인 영상과 홀수라인 영상에서 에지를 추출하는 단계;

   상기 추출된 에지 영상간 차분을 생성시키는 단계;

   상기 생성된 차분 영상의 차이를 계산하는 단계; 및

   상기 계산된 차이값이 미리 설정된 값보다 큰가를 판별하는 단계

   로 이루어진 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
5. 제 1 항에 있어서, 상기 b. 단계에서 에지 영상의 계산 시간을 줄이기 위해, 영상 일부에서만 에지 영상을 생성하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
6. 제 1 항에 있어서, 상기 c. 단계에서 특징점에서 추출된 에지 라인을 특징점으로 설정하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
7. 제 1 항에 있어서, 상기 c. 단계에서 에지 강도 계산은,

   원형 마스크 중심점에서의 영상 값의 원형 마스크 영역 내에 있는 각 영상 값과 차이를 합산한 결과 값을 가우시안 함수를 적용하는 아래식과 같이 이루어지는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.

   

   (여기서, I는 화소(gray) 값, T는 화소 값의 차에 대한 임계(threshold) 값, G는 추출될 특징점의 수를 결정해 주는 파라미터)
8. 제 1 항에 있어서, 상기 c. 단계에서 상기 특징점의 정합은 상관 정합을 이용하며, 빠른 정합을 위하여 아래식과 같이 Sum of Squared Differences(SSD)를 이 용하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.

   

   (여기서, I1’, I2’ 짝수 영상과 홀수 영상으로부터 복원된 영상, N은 마스크 크기)
9. 제 1 항에 있어서, 상기 c. 단계와 d. 단계 사이에 오류 광류를 제거하는 과정을 더 진행하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
10. 제 1 항에 있어서, 상기 d. 단계의 서브 픽셀(Sub-Pixel) 정합은,

    n×n 픽셀을 다수개의 셀로 분할하는 단계;

    짝수라인 또는 홀수라인의 2n 영상을 기반으로 하여 거리 선형보간하여 분할된 셀의 영상 값을 생성하는 단계; 및

    광류의 홀수라인 영상 또는 짝수라인 영상과 셀의 영상 값들 중에서 가장 근접한 셀을 검색하는 단계

    로 이루어진 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.

    (여기서, n은 자연수이다.)
11. 제 1 항에 있어서, 상기 f. 단계 이후에, 계산된 카메라 모델에서 카메라 모션을 추출하여, 짝수라인 영상의 픽셀 수 또는 홀수 영상의 픽셀 수로 분할하여 각 픽셀당 카메라 모션을 계산한 후, 계산된 모션에 대해 재보간을 수행하는 과정을 더 진행하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.
12. 영상 소자에서 획득된 영상을 짝수라인과 홀수라인으로 분리하고, 짝수라인 영상 또는 홀수라인 영상에서 각각의 라인간의 선형 보간으로 새로운 영상을 생성하는 단계;

    상기 짝수라인 영상과 홀수라인 영상간의 정합을 통하여 영상의 이동 벡터를 추출하여, 코너점을 포함하는 특징점을 추출한 다음 특징점간의 정합을 수행하는 단계; 및

    짝수라인 영상 또는 홀수라인 영상 중에서 선택된 어느 하나의 라인 영상을 기준 영상으로 하여 기준 영상에서 복원될 추가 영상의 라인 픽셀을 상하 기준 영상 라인 픽셀 값의 평균과 추가 영상 양 선형 보간으로 취득된 값을 융합하여 계산하는 단계

    를 포함하는 것을 특징으로 하는 영상 장치의 흔들림에 의한 영상 블러링 제거 방법.

Images