KR20090126815A

KR20090126815A - 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치

Info

Publication number: KR20090126815A
Application number: KR1020080053132A
Authority: KR
Inventors: 권오현; 정기웅
Original assignee: 삼성디지털이미징 주식회사
Priority date: 2008-06-05
Filing date: 2008-06-05
Publication date: 2009-12-09
Also published as: KR101486773B1

Abstract

본 발명에서는 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을 갖는 촬상장치가 개시된다. 상기 흔들림 보상을 위한 영상처리방법은, 동영상 촬영으로 시간상 선후하여 연속적으로 획득되는 영상 프레임의 스트림(stream)에 대해 의도되지 않은 영상 흔들림을 보상하기 위한 영상처리방법으로서, (a) 현재 입력되는 프레임 상에 적어도 둘 이상의 서브 윈도를 설정하는 단계, (b) 현재 프레임의 서브 윈도와, 선행 프레임을 비교하여 상호 정합되는 영상블록을 찾아내고, 제1 지역 움직임 벡터들을 산출하는 단계, (c) 제1 지역 움직임 벡터들로부터 제1 전역 움직임 벡터를 산출하는 단계, (d) 현재 프레임에 대해 상기 제1 전역 움직임 벡터를 역으로 적용하여 1차 흔들림 보상된 프레임을 생성하는 단계, (e) 시간상 선후하는 보상된 프레임의 스트림을 입력으로 하고, 현재 입력되는 프레임에 대해 적어도 둘 이상의 서브 윈도를 설정하는 단계, (f) 현재 프레임의 서브 윈도와 선행 프레임을 비교하여 상호 정합되는 영상 블록을 찾아내고, 제2 지역 움직임 벡터를 산출하는 단계, (g) 제2 지역 움직임 벡터들로부터 제2 전역 움직임 벡터를 산출하는 단계 및 (h) 현재 프레임에 대해 상기 제2 전역 움직임 벡터를 역관계로 적용하여 2차 흔들림 보상된 프레임을 생성하는 단계를 포함한다.

본 발명에 의하면, 손 떨림이나 외부진동에 의한 의도하지 않은 영상의 흔들림을 제거하여 영상을 안정화시킬 수 있는 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을 갖는 촬상장치가 제공된다.

Description

흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을 갖는 촬상장치{Image processing method for image-stabilization and imaging device having image-stabilization function}

본 발명은 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을 갖는 촬상장치에 관한 것으로, 보다 구체적으로, 촬영중 의도되지 않은 손 떨림이나 외부 진동에 의한 영상의 흔들림을 제거함으로써 영상 안정화를 구현하는 영상처리방법 및 촬상장치에 관한 것이다.

디지털 카메라, 캠코더 등과 같은 촬상장치는 피사체의 영상을 포착하여 영상 데이터화하고 적정의 파일 형태로 기록하는 것으로, 촬영자의 손 떨림이나 주변 진동에 의한 흔들림 등이 촬영된 동영상 내에 그대로 반영되어 영상이 번지거나 흐려지는 등의 화질 저하가 발생될 가능성이 높다. 종래에는 카메라 등의 촬상장치를 삼각대와 같은 지지대 상에 거치시킴으로써 촬영 이전에 영상 안정화를 꾀할 수 있었으나, 최근 기술발전에 수반하여 디지털 카메라가 소형 박형화되는 추세에 있고, 휴대폰과 같은 소형 모바일 기기에 카메라나 캠코더의 기능이 부가됨에 따라 별도의 지지대를 결합시키지 않고 촬영하는 경우가 빈번하게 발생하고 있으며, 이에 따 라 영상처리기법을 적용하여 촬영된 영상을 안정화시키고자 하는 많은 연구가 이루어지고 있다.

본 발명의 목적은 손 떨림이나 외부진동에 의한 의도하지 않은 영상의 흔들림을 제거하여 영상을 안정화시킬 수 있는 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을 갖는 촬상장치를 제공하는 것이다.

상기와 같은 과제 및 그 밖의 과제를 해결하기 위하여, 본 발명의 흔들림 보상을 위한 영상처리방법은,

동영상 촬영으로 시간상 선후하여 연속적으로 획득되는 영상 프레임의 스트림 (stream)에 대해 의도되지 않은 영상 흔들림을 보상하기 위한 영상처리방법으로서,

(a) 현재 입력되는 프레임 상에 적어도 둘 이상의 서브 윈도를 설정하는 단계;

(b) 상기 현재 프레임의 서브 윈도와, 선행 프레임을 비교하여 상호 정합되는 영상블록을 찾아내고, 제1 지역 움직임 벡터들을 산출하는 단계;

(c) 상기 제1 지역 움직임 벡터들로부터 제1 전역 움직임 벡터를 산출하는 단계;

(d) 상기 현재 프레임에 대해 상기 제1 전역 움직임 벡터를 역으로 적용하여 1차 흔들림 보상된 프레임을 생성하는 단계;

(e) 시간상 선후하는 상기 보상된 프레임의 스트림을 입력으로 하고, 현재 입력되는 프레임에 대해 적어도 둘 이상의 서브 윈도를 설정하는 단계;

(f) 상기 현재 프레임의 서브 윈도와 선행 프레임을 비교하여 상호 정합되는 영상 블록을 찾아내고, 제2 지역 움직임 벡터를 산출하는 단계;

(g) 상기 제2 지역 움직임 벡터들로부터 제2 전역 움직임 벡터를 산출하는 단계; 및

(h) 상기 현재 프레임에 대해 상기 제2 전역 움직임 벡터를 역관계로 적용하여 2차 흔들림 보상된 프레임을 생성하는 단계;를 포함한다.

상기 (c) 및 (g)의 전역 움직임 벡터의 산출 단계에서, 상기 전역 움직임 벡터는 상기 지역 움직임 벡터들의 평균치 또는 가중 평균치로 구해질 수 있다.

그리고, 상기 (c) 및 (g)의 전역 움직임 벡터의 산출 단계 중 적어도 하나의 단계는,

칼만 필터를 적용하여 예측 움직임 벡터를 산출하는 단계;

상기 예측 움직임 벡터와 지역 움직임 벡터들을 비교하여 문턱 값 이상의 편차를 보이는 지역 움직임 벡터를 검출하는 단계; 및

상기 검출된 지역 움직임 벡터를 제외한 다른 지역 움직임 벡터들을 평균하여 전역 움직임 벡터를 산출하는 단계;를 포함할 수 있다.

또한, 상기 (a) 및 (e)의 서브 윈도 설정 단계 이전에는, 현재 입력되는 프레임을 이진화된 윤곽 영상으로 변환하는 단계가 더 포함될 수 있다.

상기 (a) 및 (e)의 서브 윈도 설정 단계에서, 상기 서브 윈도는 상기 프레임의 중앙영역을 제외한 모서리 영역에 설정되는 것이 바람직하다. 그리고, 상기 서 브 윈도는 상기 프레임의 4 모서리 영역에 각기 설정될 수 있다.

한편, 상기 (b) 제1 지역 움직임 벡터를 산출하는 단계에서,

현재 입력되는 프레임이 시간 축 상에서 T=k 단계일 때,

상기 선행 프레임은 T=k-1 단계의 흔들림 보상된 프레임인 것이 바람직하다.

그리고, 상기 (f) 제2 지역 움직임 벡터를 산출하는 단계에서,

현재 입력되는 프레임이 시간 축 상에서 T=k 단계일 때,

상기 선행 프레임은 T=k-1 단계의 재보상된 프레임인 것이 바람직하다.

한편, 본 발명의 다른 실시 형태에 따른 흔들림 보상 기능을 갖는 촬상장치는, 현재 입력되는 프레임 상에 설정된 적어도 둘 이상의 서브 윈도와, 선행 프레임을 비교하여 상호 정합되는 영상 블록을 찾아내고, 지역 움직임 벡터들을 산출하는 지역 움직임 벡터 산출부;

시간상으로 선행하는 프레임들에서 획득된 전역 움직임 벡터의 축적치로부터 현 단계의 예측 움직임 벡터를 산출하는 칼만 필터부;

상기 예측 움직임 벡터로부터 문턱 값 이상의 편차를 보이는 지역 움직임 벡터를 배제하고, 나머지 지역 움직임 벡터들로부터 전역 움직임 벡터를 산출하는 전역 움직임 벡터 산출부; 및

상기 현재 프레임에 대해 상기 전역 움직임 벡터의 역관계를 반영하여 흔들림 보상된 프레임을 생성하는 흔들림 보상부;를 구비한다.

바람직하게, 상기 촬상장치는 현재 입력되는 프레임을 이진화된 윤곽 영상으로 변환하는 이진화 영상 변환부를 더 구비한다.

바람직하게, 상기 촬상장치는 현재 입력되는 프레임 상에서, 상기 지역 움직임 벡터가 산출되는 서브 윈도를 설정하는 윈도 설정부를 더 구비한다.

한편, 상기 전역 움직임 벡터 산출부는 상기 지역 움직임 벡터들의 평균치 또는 가중 평균치를 구하여 전역 움직임 벡터로 출력할 수 있다.

본 발명에 개시된 흔들림 보상을 위한 영상처리에 의하면, 촬영으로 획득된 영상 프레임에 대해 적어도 2회 이상의 흔들림 보상을 적용함으로써 보다 안정화된 영상을 획득할 수 있는 기술적 수단을 제공한다.

또한, 촬영된 영상 프레임으로부터 지역 움직임 벡터들을 산출해내고 흔들림에 기인하는 전역 움직임 벡터를 추정하여, 그 역관계를 적용함으로써 당초의 영상 프레임에 존재하는 영상의 번짐이나 흔들림과 같이 의되하지 않은 영상의 움직임을 효과적으로 제거할 수 있다.

뿐만 아니라, 칼만 필터를 적용하여 예측치와 큰 편차를 보이는 지역 움직임 벡터들을 효과적으로 가려냄으로써, 손 떨림이나 외부 진동에 의한 움직임을 높은 신뢰성으로 검출할 수 있다.

이하, 명세서에 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 형태에 관하여 구체적으로 설명하기로 한다. 도 1에는 본 발명의 일 실시 형태에 관한 흔들림 보상 기능을 갖는 촬상장치의 전체적인 구성이 개괄적으로 도시되어 있다. 도면을 참조하면, 상기 촬상장치는, 다수의 광학 렌즈들을 포함하여 피사체 영상을 촬상면에 대해 결상시키기 위한 광학 유닛(110), 상기 광학 유닛(110)을 경유한 피사체 영상을 전기적인 영상신호로 변환하기 위한 촬상소자(120), 상기 촬상소자(120)의 출력신호를 처리하여 양자화된 디지털 영상신호로 변환하기 위한 아날로그 프론트 엔드(Analog Front End;AFE) 회로(130), 영상처리를 위한 작업영역을 제공하도록 영상신호를 일시적으로 저정하는 DRAM(140;Dynamic Random Access Memory), 피사체의 영상 데이터가 정지영상 또는 동영상 파일 형태로 저장되는 기록매체(170), 그리고, 전반적인 데이터 흐름과 각 구성부분들을 총괄적으로 제어하는 디지털 신호 처리기(150)를 포함한다.

상기 광학 유닛(110)은 광축 방향을 따라 전후 이동하며 초점 거리를 변화시키는 줌 렌즈(112), 촬상소자(120)로의 노광시간 및 입사 광량을 조절하기 위한 셔터(114)와 조리개(116), 그리고, 촬상소자(120)에 결상되는 피사체 영상의 초점을 조절하는 포커스 렌즈(118)를 포함한다. 상기 줌 렌즈(112), 셔터(114), 조리개(116), 그리고 포커스 렌즈(118)는 드라이버(111)로 제어되는 액츄에이팅 모터(미도시)에 의해 구동된다.

상기 촬상소자(120)는 예를 들어, CCD(Charged Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로서, 광학 유닛(110)을 경유하여 입사된 피사체의 영상을 전기적인 화상 신호로 변환한다. 상기 촬상소자(120)의 동작은 타이밍 생성기(121;Timing Generator;TG)를 개재하여 디지털 신호 처리기(150)에 의해 제어될 수 있다. 상기 촬상소자(120)는 정지영상 촬영 및 동영상 촬영을 모두 수행할 수 있으며, 동영상 촬영에서는 시간 흐름에 따라 규격 화된 프레임 레이트(Frame Per Second;FPS), 예를 들어, 60 FPS의 프레임 레이트를 갖고 촬상소자(120)로의 노광 및 1 화면 분의 데이터 판독이 수행될 수 있으며, 일정한 프레임 레이트를 두고 얻어지는 1 화면을 1 프레임이라고 한다. 그리고, 동영상 촬영시 시간 축에 대해 연속 취득된 복수 개의 프레임들은 동영상 스트림을 구성하며 궁극적으로 하나의 동영상 파일화되어 기록매체(170) 내에 저장된다.

상기 아날로그 프론트엔드 회로(130;AFE 회로)는 촬상소자(120)의 출력 신호에 대해, 높은 신호-잡음 비율 (Signal to Noise ratio)이 유지되도록 상호 연관된 이중 샘플링(Correlated Double Sampling; CDS) 방식으로 샘플 홀드를 행하고, AGC(Auto Gain Control)에 의해 화상 신호의 이득을 제어하고, ADC(Analog Digital Conversion) 처리를 수행함으로써, 촬상소자(120)로부터 출력된 아날로그 화상 신호를 디지털 영상 신호로 변환한다. 이렇게 아날로그 프론트 엔드 회로(130;AFE 회로)에서 양자화된 디지털 영상 신호는 선택적으로 화질보정처리 및 휘도(Y)/색도(C) 변환 처리 등을 거친 다음, 처리대상에 따라 정지영상의 경우에는 1 프레임에 대한 영상 데이터가 인코더(161)로 전달되며, 동영상의 경우에는 시간상 연속되는 동영상 스트림에 대해 흔들림 보상을 위한 영상처리가 적용된 후, 인코더(161)로 전달된다. 상기 흔들림 보상을 위한 영상처리에 대해서는 후에 상세히 설명하기로 한다.

상기 DRAM(140;또는 SDRAM)은 각종 데이터 처리를 위한 작업영역을 제공하는 휘발성 메모리로서, 촬영개시로부터 축적되는 일련의 동영상 프레임들을 일시적으로 저장함으로써, 흔들림 보상을 위한 영상처리를 위한 작업영역을 제공하게 된다. 상기 인코더(161), 디코더(162)와, 디지털 신호 처리기(150)는 DRAM(140)을 작업영역으로 사용하게 된다.

상기 디지털 신호 처리기(150)는 EEPROM(155;Electronically Erasable and Programmable ROM)에 기록된 프로그램을 실행함으로써 촬상장치의 각 구성요소들을 총괄적으로 제어하게 되며, 각종 처리를 수행하게 된다. 예를 들어, 상기 디지털 신호 처리기(150)는 드라이버(111)를 개재하여 광학 유닛(110)의 동작을 제어하고, 타이밍 생성기(121)를 통하여 촬상소자(120)의 작동을 제어하도록 제어명령을 생성한다. 또한, 상기 디지털 신호 처리기(150)는 인코더/디코더(161,162)의 가동 여부 및 그 처리대상에 대한 제어하게 된다.

특히, 상기 디지털 신호 처리기(150)는 흔들림 보상 동작과 관련하여, 도 2에 도시된 바와 같이, 이진화 영상 변환부(151), 윈도 설정부(152), 지역 움직임 벡터 산출부(153), 칼만 필터부(155), 전역 움직임 벡터 산출부(157), 그리고 흔들림 보상부(159)를 포함한다. 상기 이진화 영상 변환부(151)는 시간상으로 연속하여 취득되는 원 영상 프레임으로부터 휘도분포를 참조하여 피사체의 윤곽정보만을 추출함으로써 원 영상 프레임을 이진화된 윤곽 영상으로 변환한다.

상기 윈도 설정부(152)는 흔들림 보상이 적용될 영상 프레임 내에서 적정의 서브 윈도를 설정하게 된다. 바람직하게, 상기 윈도 설정부(152)는 움직이는 주 피사체가 위치할 개연성이 높은 영상 프레임의 중앙영역(Region of Photographing)을 배제하고, 중앙영역을 둘러싸는 모서리 부분을 따라 적어도 둘 이상의 서브 윈도를 설정하게 된다. 상기 윈도 설정부(152)는 서브 윈도의 구체적인 설정 형태로서, 영 상 프레임의 4 모서리 부분에 각기 서브 윈도를 설정할 수 있다. 설정된 서브 윈도로부터 지역 움직임 벡터(LMV)가 산출된다.

상기 지역 움직임 벡터 산출부(153)는 시간상으로 연속하는 현재의 입력 프레임(k번째)과 이전 프레임(k-1번째, 참조 프레임)을 영상 블록 단위로 비교하고, 서로 정합되는 영상 블록을 찾아내고, 정합 블록 간의 상대적인 위치로부터 지역 움직임 벡터(LMV)를 산출하게 된다. 보다 구체적으로 상기 지역 움직임 벡터 산출부(153)는 현재 프레임(k)의 서브 윈도를 이전의 참조 프레임(k-1)의 대응되는 영역 상에서 픽셀 단위로 이동시키면서 서브 윈도와 정합되는 영상 블록을 찾게 되며, 서브 윈도에 대한 정합 블록의 상대적인 위치를 지역 움직임 벡터(LMV)로 출력한다. 여기서, 지역 움직임 벡터(LMV)는 이전 프레임(k-1)에서의 F 블록이 현재 프레임(k)에서의 F` 블록으로 이동한 경우, F 블록과 F` 블록 사이의 이동거리와 이동방향을 검출한 것으로 정의될 수 있다. 상기 지역 움직임 벡터 산출부(153)에서는 영상 프레임 상에 설정된 서브 윈도들에 대해 각기 지역 움직임 벡터(LMV)를 산출하게 된다. 예를 들어, 영상 프레임의 각 모서리 부분에 설정된 4 개의 서브 윈도(W1,W2,W3,W4)로부터 각각의 지역 움직임 벡터(LMV1,LMV2,LMV3,LMV4)를 산출한다. 상기 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV4)은 흔들림으로 발생된 전역 움직임 벡터(FMV)를 산출하기 위해 취합되며, 예를 들어, 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV4)을 평균(또는 가중 평균)함으로써 전역 움직임 벡터(FMV)를 얻을 수 있다.

상기 칼만 필터부(155)는, 예를 들어, 등가속도 모델의 칼만 필터(Kalman filter)를 적용하여, 시간상으로 선행하는 이전 프레임들(k-1 이하)에 대한 전역 움직임 벡터들(FMV)을 참조하여 현재 프레임(k)에서의 예측 움직임 벡터(PFMV)를 산출하게 된다. 상기 칼만 필터부(155)는 예측 움직임 벡터(PFMV)를 제공함으로써 예측치를 크게 벗어난 오류적인 지역 움직임 벡터(LMV)를 배제하고 보다 정확한 전역 움직임 벡터(FMV)를 산출하도록 한다.

상기 전역 움직임 벡터 산출부(157)는 영상 프레임 상에 설정된 서브 윈도들(W1,W2,3,W4)로부터 계산된 여러 개의 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV4)을 취합하여 전역 움직임 벡터(FMV)를 계산한다. 예를 들어, 상기 전역 움직임 벡터 산출부(157)는 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV)을 평균(또는 가중 평균)하여 전역 움직임 벡터(FMV)를 산출한다. 이때, 칼만 필터부(155)에 의해 배제된 오류적인 지역 움직임 벡터는 제외하고 나머지 지역 움직임 벡터만을 이용하여 전역 움직임 벡터(FMV)를 산출한다.

상기 흔들림 보상부(159)는 산출된 전역 움직임 벡터(FMV)를 이용하여 현재 입력된 프레임(k)에 대해 흔들림 보상을 수행한다. 즉, 계산된 전역 움직임 벡터(FMV)의 역관계를 반영하도록 전역 움직임 벡터(FMV)와 같은 크기이며 반대방향으로 현재 프레임(k)을 평행 이동시킴으로써 흔들림에 의한 영상의 움직임을 상쇄하고 안정적인 영상 프레임을 생성한다.

한편, 다시 도 1을 참조하면, 사용자 입력부(190)는 사용자의 조작을 감지하기 위한 다수의 버튼(button) 및 레버(level) 등의 입력 메커니즘(input mechanism)을 포함할 수 있으며, 사용자의 조작에 따라 소정의 명령을 생성하여 디 지털 신호 처리기(150)로 전달하게 된다. 상기 LCD 패널(180)은 LCD 드라이버(181)를 개재하여 디지털 신호 처리기(150)와 연결되며, 디지털 신호 처리기(150)로부터 영상신호를 전송받아 화면상에 표시해준다.

도 3은 영상 프레임 상에서 적정의 서브 윈도를 설정하는 방법을 설명하기 위한 도면이다. 도면을 참조하면, 프레임 중앙영역(Region of photographing)을 둘러싸는 4 모서리 부분에 직사각형의 서브 윈도(W)가 설정되어 있다. 통상적으로 프레임 중앙영역(Region of photographing)에는 움직이는 주 피사체가 위치할 개연성이 높기 때문에, 흔들림으로 발생된 전역 움직임 벡터(FMV)를 구하기 어렵다. 따라서, 정확한 전역 움직임 벡터(FMV)를 산출하기 위해서는 움직이는 객체가 배제될 수 있는 프레임의 각 모서리 부분에 서브 윈도(W)를 설정하는 것이 바람직하다. 그리고, FFT(Fast Fourier Transform) 계산의 효율성을 높이기 위해서는 정사각형 형태로 변환하는 것이 유리하므로, 도시된 바와 같이, 서브 윈도(W)를 구성하는 분할 영역 1,2의 배치관계를 수평 또는 수직으로 변경하여 서브 윈도(W)의 형태를 정사각형으로 변환할 수 있다. 후술하는 바와 같이, 시간상으로 선후하는 2개의 영상 프레임들(k-1,k)로부터 지역 움직임 벡터(LMV)를 구하기 위해, 현재 프레임(k)의 서브 윈도(W)를 이전 프레임(k-1)의 대응영역(서브 윈도와 그 주위를 둘러싼 확장영역) 상에서 이동시키면서 서브 윈도(W)와 정합되는 정합 블록을 찾아내고, 서브윈도(W)에 대한 정합 블록의 상대적인 위치를 지역 움직임 벡터(LMV)로 산출하게 된다.

도 4는 본 발명의 흔들림 보상을 위한 영상처리방법을 설명하기 위한 플로우 차트이다. 시간상으로 연속하는 영상 프레임의 스트림(1번째,.,k번째,.,N번째)을 입력으로 하고, 현재 입력되는 영상 프레임(k번째)을 이진화된 윤곽 영상으로 변환한다(S10). 예를 들어, R,G,B 영상신호를 Y,Cb,Cr 영상신호로 변환한 후, 휘도신호(Y)의 분포를 참조하고 일정한 문턱 값을 적용하여 피사체의 윤곽 정보를 담은 이진화된 윤곽 영상을 생성할 수 있다. 윤곽 영상 데이터를 산출하는 다양한 기법이 있으며, 에지 데이터를 구해서 소정의 문턱 값을 기준으로 이진화시키거나, 또는 연산처리의 부담을 줄이기 위해 도 5에 도시된 바와 같이, 입력 프레임(Original image frame)과, 입력 프레임(Origin image frame)을 X,Y 축 방향으로 평행 이동(ex. 1픽셀)시킨 프레임(Shifted image frame) 간의 차분 영상(Shifted difference edge)에 대해 문턱 값(Threshold)을 적용하면 이진화된 윤곽 영상(Binary image)을 얻을 수 있다.

다음에, 현재 프레임(k번째)과, 메모리에 저장되어 있던 이전 프레임(참조 프레임, k-1번째)을 영상 블록 단위로 비교하고, 상호 정합도에 기초하여 지역 움직임 벡터(LMV)를 추출하게 된다(S20). 이때, 시간상으로 연속하는 현재 프레임(k)과 참조 프레임(k-1)을 블록 단위로 비교하는 블록 매칭 알고리즘(Block Matching Algorithm)은 대표 점 매칭(representative point matching), 윤곽 무늬 매칭(edge pattern matching), 비트 평면 매칭(bit-plane matching), 그리고, 위상 상관(phase correlation)과 같은 다양한 기법을 이용하여 구현될 수 있다. 예를 들어, 현재 프레임(k)의 주목하는 서브 윈도(W)를 참조 프레임(k-1)의 대응되는 영역 상에서 픽셀 단위로 이동시키면서 상관계수를 산출하고, 최대의 상관계수(피크)가 얻어지는 정합 블록을 찾아내어 서브 윈도(W)에 대한 정합 블록의 상대적인 위치를 지역 움직임 벡터(LMV)로 산출한다. 상기 지역 움직임 벡터(LMV)는 X-Y 2차원 좌표축 상에서 이동방향과 이동량에 관한 정보를 포함하게 된다. 그리고, 상기 상관계수는 사전에 정해진 일정한 함수의 값으로 정의될 수 있는데, 예를 들어, 위상 상관(phase correlation)에서는 현재 프레임(k)과 참조 프레임(k-1) 간의 2차원 콘벌루션(convolution)으로 표시되는 교차상관함수로 정의되거나, 또는 2차원 공간 푸리에 상에서 정교화된 교차상관함수로 정의될 수 있다.

한편, 현재 프레임(k) 상에 설정된 4개의 서브 윈도(W1~W4)로부터 LMV1,LMV2,LMV3,LMV4의 지역 움직임 벡터들을 산출할 수 있으며, 산출된 여러 개의 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV4)을 취합하여 전역 움직임 벡터(FMV)를 산출한다. 만일 서브 윈도(W) 내에 움직이는 동적 객체가 존재한다면, 해당 서브 윈도(W)로부터 계산된 지역 움직임 벡터는 제외하고, 다른 지역 움직임 벡터만으로 전역 움직임 벡터(FMV)를 산출하는 것이 흔들림 보상의 목적을 고려할 때 바람직하다.

이렇게 오류적인 지역 움직임 벡터를 배제하기 위해, 칼만 필터(Kalman filter)를 적용하여 예측 움직임 벡터(PFMV)를 산출하고(S30), 산출된 예측 움직임 벡터(PFMV)와 각 지역 움직임 벡터(LMV1,LMV2,LMV3,LMV4)를 비교한 결과에 따라 적절하지 않은 지역 움직임 벡터를 필터링하여 배제시킬 수 있다(S40). 상기 칼만 필터는 잡음성분을 포함하는 동적 시스템에서 실제 관측치들을 이용하여 미지의 상태변수를 최적으로 추정하기 위한 선형의 반복적인 알고리즘으로, 본 영상 안정화에 서는 시간상으로 선행하는 이전 프레임들(k-1번째 이하의 프레임들)로부터 구해진 축적된 전역 움직임 벡터들(FMV, 실제 관측치)로부터 현재 프레임(k)의 예측 움직임 벡터(PFMV)를 산출하는데 사용되며, 등가속도 모델의 칼만 필터가 적용될 수 있다. 칼만 필터를 적용하여 오류적인 지역 움직임 벡터를 제외시킨 다음, 나머지 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV4)을 취합하여 전역 움직임 벡터(FMV)를 산출한다(S50). 예를 들어, 상기 전역 움직임 벡터(FMV)는 지역 움직임 벡터들(LMV1,LMV2,LMV3,LMV4)의 평균치로 계산될 수 있다.

도 6에는 산출된 지역 움직임 벡터에 대해 칼만 필터를 적용하고, 전역 움직임 벡터(FMV)를 산출하는 과정이 모식적으로 도시되어 있다. 도시된 바와 같이, LMV1,LMV2,LMV3,LMV4의 지역 움직임 벡터들을 취합하여 전역 움직임 벡터 FMV를 산출해내는데, 칼만 필터(Kalman Filter)로 획득된 예측 움직임 벡터 PFMV에서 크게 벗어난 지역 움직임 벡터들은 제외시키고 적정의 지역 움직임 벡터들만을 취합하여 전역 움직임 벡터 FMV를 산출한다. 그리고, 최종적으로 산출된 전역 움직임 벡터 FMV는 칼만 필터로 입력되어 이후 단계에서 예측 움직임 벡터 PFMV를 산출하기 위한 기본 데이터로 활용된다.

한편, 최종적인 전역 움직임 벡터(FMV)가 산출되면, 이를 이용하여 현재 입력된 프레임(k)에 대한 흔들림 보상을 수행한다(S60, 1차 흔들림 보상). 즉, 계산된 전역 움직임 벡터(FMV)와 같은 크기이며 반대방향으로 현재 프레임(k)을 평행 이동시킴으로써 흔들림에 의한 움직임을 상쇄하고 안정화된 프레임(k`)을 얻게 된다. 이렇게 안정화된 프레임(k`)은 원 영상의 프레임(k)을 대체하는 동시에 메모리 에 저장되어 다음 단계의 프레임(k+1)과 비교되는 참조 프레임이 된다. 다음에, 1차 흔들림 보상된 프레임(k`)에 대해 재차 S10 ~ S60 단계를 적용하여 2차적인 흔들림 보상이 수행되며 보다 안정화된 영상을 취득하게 된다(S70, 2차 흔들림 보상). 이에 대해서는 후에 보다 상세히 설명하기로 한다.

도 7은 시간상 연속적으로 입력되는 원 영상(Origin)의 프레임들과 흔들림 보상된 영상(Stab1)의 프레임들 사이의 관계를 설명하기 위한 도면이다. 도면을 참조하면, 시간상 연속하는 원 영상(Origin)의 프레임들(#2,#3,#4,...)은 순차적으로 흔들림 보상된 영상(Stab1)의 프레임들(#2`,#3`,#4`,...)로 대체되며, 예를 들어, 원 영상(Origin) 중 k번째 프레임(#k)은 보상된 영상(Stab1)의 k-1번째 프레임(#k-1`)을 참조 프레임으로 하고, 상호 정합되는 영상 블록을 찾아내어 움직임 벡터를 산출하고, 산출된 움직임 벡터를 반영하여 흔들림 보상된 영상(Stab1)의 k번째 프레임(#k`)을 생성하게 된다.

한편, 본 발명에서는 1차 흔들림 보상된 영상(Stab1)에 대해◎2차 흔들림 보상을 반복 적용함으로써 재보상된 영상(Stab2)을 생성하며, 시간상 연속되는 1차 흔들림 보상된 영상(Stab1)의 프레임들(#2`,#3`,#4`,...)은 2차 보상된 영상(Stab2)의 프레임들(#2``,#3``,#4``,..)로 대체되어 더욱 안정적인 영상을 제공한다. 이하에서 설명될 2차 흔들림 보상은, 보상 완료된 영상(Stab1)을 대상으로 재차 영상 안정화가 적용된다는 점에서 차이가 있으며, 그 구체적인 기술적 내용에 있어서는 1차 흔들림 보상에서 설명된 사항과 실질적으로 동일 또는 유사하다. 보다 구체적으로, 현재 프레임(#k`)과 이전 프레임(참조 프레임, #k-1``)을 블록 단 위로 비교하여 상호 정합도에 기초하여 지역 움직임 벡터(LMV`)를 추출하게 된다. 즉, 현재 프레임(#k`)의 주목하는 서브 윈도(W)를 참조 프레임(#k-1``)의 대응되는 영역 상에서 이동시키면서 블록 단위로 비교하여 상관계수의 피크가 얻어지는 정합 블록을 찾아내고, 서브 윈도(W)와 정합 블록 간의 상대적인 위치를 지역 움직임 벡터(LMV`)로 산출하게 된다.

다음에, 여러 개의 서브 윈도(W)들로부터 계산된 지역 움직임 벡터(LMV`)들을 취합하여 전역 움직임 벡터(FMV`)를 산출한다. 그리고, 칼만 필터(Kalman filter)의 등가속도 모델로부터 예측된 전역 움직임 벡터(PFMV`)와 비교하여 적절하지 않은 것으로 판단되는 지역 움직임 벡터를 제외하고 나머지 지역 움직임 벡터만을 평균하여 최종적인 전역 움직임 벡터(FMV`)를 산출한다. 그리고, 계산된 전역 움직임 벡터(FMV`)를 이용하여 현재 입력된 프레임(k`)에 대해 흔들림 보상을 수행하여, 전역 움직임 벡터(FMV`)와 동일한 크기이며 반대방향으로 현재 프레임(#k`)을 평행 이동시킴으로써 흔들림에 의한 움직임을 상쇄시킨다. 이렇게 재보상된 k번째 프레임(#k``)은 보상된 k번째 프레임(#k`)을 대체함과 동시에, 프레임 메모리에 저장되어 다음 k+1번째 프레임(#k+1`)과 비교되는 참조 프레임이 된다.

이상에서 설명된 본 발명의 일 실시 형태에서는 원 프레임에 대해 1차 흔들림 보상을 적용하여 보상된 프레임을 생성하고, 이 보상된 프레임에 대해 2차 흔들림 보상을 반복 적용함으로써 보다 안정화된 재보상 프레임을 획득하는 것으로 설명되었으나, 흔들림 보상을 적용하는 횟수에 관하여서는 요구되는 안정화 수준에 응하여 2회 이상 다수 회에 걸쳐서 반복적으로 적용될 수 있는 것이며, 예시된 횟 수에 의해 본 발명의 기술적 범위가 제한되는 것은 아니다.

한편, 1차 흔들림 보상된 이미지상의 특정 점 I`(x,y)는 전역 움직임 벡터(a,b)와 같은 크기이고 반대방향으로 원 이미지상의 특정 점 I(x,y)을 평행 이동시킨 것에 해당되므로, 이하와 같이 표현될 수 있다.

I`(x,y) = I(x-a,y-b)

또한, 2차 흔들림 보상된 이미지상의 특정 점 I``(x,y)는 전역 움직임 벡터(a`,b`)와 같은 크기이고 반대방향으로 1차 흔들림 보상된 이미지상의 특정 점 I`(x,y)을 평행 이동시킨 것에 해당되고, 상기 수학식 1을 적용하면 이하와 같이 표현될 수 있다.

I``(x,y) = I`(x-a`,y-b`)

= I(x-a-a`,y-b-b`)

= I(x-α,y-β) (α=a+a`, β=b+b`)

결론적으로, 2회에 걸친 흔들림 보상은 1차 흔들림 보상과 비교하여, (a`,b`)의 흔들림 벡터가 추가적으로 고려될 수 있으므로, 더 안정적인 영상을 획득할 수 있다.

한편, 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

도 1은 본 발명의 바람직한 일 실시 형태에 관한 촬상장치의 개괄적인 구성을 보인 전체적인 구성도이다.

도 2는 흔들림 보상 동작과 관련된 디지털 신호 처리기의 기능적인 구성을 보인 구성도이다.

도 3은 영상 프레임 상에서 적정의 서브 윈도를 설정하는 방법을 설명하기 위한 도면이다.

도 4는 본 발명의 바람직한 일 실시 형태에 관한 흔들림 보상을 위한 영상처리방법을 설명하기 위한 플로우 차트이다.

도 5는 현재의 입력 프레임으로부터 이진화된 윤곽 영상을 얻기 위한 일 실시 형태를 설명하기 위한 도면이다.

도 6은 지역 움직임 벡터들을 취합하고 칼만 필터를 적용하여 전역 움직임 벡터를 산출하는 처리과정을 설명하기 위한 도면이다.

도 7은 원 영상 프레임과, 1차 흔들림 보상된 프레임과, 2차 흔들림 보상된 프레임의 관계를 설명하기 위한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

110 : 광학 유닛 112 : 줌 렌즈

114 : 셔터 116 : 조리개

118 : 포커스 렌즈 120 : 촬상소자

121 : 타이밍 생성기 130 : 아날로그 프론트엔드 회로

140 : DRAM(SDRAM) 150 : 디지털 신호 처리기

151 : 이진화 영상 변환부 152 ; 윈도 설정부

153 : 지역 움직임 벡터 산출부 155 : 칼만 필터부

157 : 전역 움직임 벡터 산출부 159 : 흔들림 보상부

161 : 인코더 162 : 디코더

165 : EEPROM 170 : 기록매체

180 : LCD 패널 181 : LCD 드라이버

W : 서브 윈도 LMV1~LMV4 : 지역 움직임 벡터

FMV : 전역 움직임 벡터 PFMV : 예측 움직임 벡터

Origin : 원 영상 Stab 1 : 1차 흔들림 보상된 영상

Stab 2 : 2차 흔들림 보상된 영상

Claims

동영상 촬영으로 시간상 선후하여 연속적으로 획득되는 영상 프레임의 스트림 (stream)에 대해 의도되지 않은 영상 흔들림을 보상하기 위한 영상처리방법으로서,

(a) 현재 입력되는 프레임 상에 적어도 둘 이상의 서브 윈도를 설정하는 단계;

(b) 상기 현재 프레임의 서브 윈도와, 선행 프레임을 비교하여 상호 정합되는 영상블록을 찾아내고, 제1 지역 움직임 벡터들을 산출하는 단계;

(c) 상기 제1 지역 움직임 벡터들로부터 제1 전역 움직임 벡터를 산출하는 단계;

(d) 상기 현재 프레임에 대해 상기 제1 전역 움직임 벡터를 역으로 적용하여 1차 흔들림 보상된 프레임을 생성하는 단계;

(e) 시간상 선후하는 상기 보상된 프레임의 스트림을 입력으로 하고, 현재 입력되는 프레임에 대해 적어도 둘 이상의 서브 윈도를 설정하는 단계;

(f) 상기 현재 프레임의 서브 윈도와 선행 프레임을 비교하여 상호 정합되는 영상 블록을 찾아내고, 제2 지역 움직임 벡터를 산출하는 단계;

(g) 상기 제2 지역 움직임 벡터들로부터 제2 전역 움직임 벡터를 산출하는 단계; 및

(h) 상기 현재 프레임에 대해 상기 제2 전역 움직임 벡터를 역관계로 적용하 여 2차 흔들림 보상된 프레임을 생성하는 단계;를 포함하는 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제1항에 있어서,

상기 (c) 및 (g)의 전역 움직임 벡터의 산출 단계에서, 상기 전역 움직임 벡터는 상기 지역 움직임 벡터들의 평균치 또는 가중 평균치로 구해지는 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제1항에 있어서,

상기 (c) 및 (g)의 전역 움직임 벡터의 산출 단계 중 적어도 하나의 단계는,

칼만 필터를 적용하여 예측 움직임 벡터를 산출하는 단계;

상기 예측 움직임 벡터와 지역 움직임 벡터들을 비교하여 문턱 값 이상의 편차를 보이는 지역 움직임 벡터를 검출하는 단계; 및

상기 검출된 지역 움직임 벡터를 제외한 다른 지역 움직임 벡터들을 평균하여 전역 움직임 벡터를 산출하는 단계;를 포함하는 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제1항에 있어서,

상기 (a) 및 (e)의 서브 윈도 설정 단계 이전에는, 현재 입력되는 프레임을 이진화된 윤곽 영상으로 변환하는 단계가 더 포함되는 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제1항에 있어서,

상기 (a) 및 (e)의 서브 윈도 설정 단계에서, 상기 서브 윈도는 상기 프레임의 중앙영역을 제외한 모서리 영역에 설정되는 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제5항에 있어서,

상기 서브 윈도는 상기 프레임의 4 모서리 영역에 각기 설정되는 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제1항에 있어서,

상기 (b) 제1 지역 움직임 벡터를 산출하는 단계에서,

현재 입력되는 프레임이 시간 축 상에서 T=k 단계일 때,

상기 선행 프레임은 T=k-1 단계의 흔들림 보상된 프레임인 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
제1항에 있어서,

상기 (f) 제2 지역 움직임 벡터를 산출하는 단계에서,

현재 입력되는 프레임이 시간 축 상에서 T=k 단계일 때,

상기 선행 프레임은 T=k-1 단계의 재보상된 프레임인 것을 특징으로 하는 흔들림 보상을 위한 영상처리방법.
현재 입력되는 프레임 상에 설정된 적어도 둘 이상의 서브 윈도와, 선행 프레임을 비교하여 상호 정합되는 영상 블록을 찾아내고, 지역 움직임 벡터들을 산출하는 지역 움직임 벡터 산출부;

시간상으로 선행하는 프레임들에서 획득된 전역 움직임 벡터의 축적치로부터 현 단계의 예측 움직임 벡터를 산출하는 칼만 필터부;

상기 예측 움직임 벡터로부터 문턱 값 이상의 편차를 보이는 지역 움직임 벡터를 배제하고, 나머지 지역 움직임 벡터들로부터 전역 움직임 벡터를 산출하는 전역 움직임 벡터 산출부; 및

상기 현재 프레임에 대해 상기 전역 움직임 벡터의 역관계를 반영하여 흔들림 보상된 프레임을 생성하는 흔들림 보상부;를 구비하는 것을 특징으로 하는 흔들림 보상 기능을 갖는 촬상장치.
제9항에 있어서,

현재 입력되는 프레임을 이진화된 윤곽 영상으로 변환하는 이진화 영상 변환부를 더 구비하는 것을 특징으로 하는 흔들림 보상 기능을 갖는 촬상장치.
제9항에 있어서,

현재 입력되는 프레임 상에서, 상기 지역 움직임 벡터가 산출되는 서브 윈도를 설정하는 윈도 설정부를 더 구비하는 것을 특징으로 하는 흔들림 보상 기능을 갖는 촬상장치.
제9항에 있어서,

상기 전역 움직임 벡터 산출부는 상기 지역 움직임 벡터들의 평균치 또는 가중 평균치를 구하여 전역 움직임 벡터로 출력하는 것을 특징으로 하는 흔들림 보상 기능을 갖는 촬상장치.