KR20040082645A - 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법 - Google Patents

Abstract

촬영된 영상을 안정적으로 출력하기 위하여 영상 보정을 실시하는 영상획득시스템가 개시된다. 영상획득시스템는, 통상의 촬영을 위한 블록들로 구성되며, 영상 보정을 위하여 장치 몸체의 떨림을 감지하기 위한 수평 및 수직 방향 모션센서와, CCD를 통해 출력된 영상을 저장하기 위한 이미지 메모리, 모션센서의 일정시간 출력 데이터를 이용하여 영상에서의 개략적인 이동벡터를 산출하며, 이미지 메모리에 저장되는 현재 영상에 대해 모션센서에서 검출된 이동벡터를 합산하여 저장되도록 하는 하이브리드모션검출부, 및 하이브리드모션검출부로부터 필드 또는 프레임 시간 간격으로 저장된 이전영상과 현재영상을 독출하여 두 영상의 비교를 통한 차분에 따라 영상 보정이 수행되도록 장치를 제어하는 이미지 제어부를 포함한다. 이미지 제어부는 이전 및 현재의 두 영상 사이의 차분이 소정레벨 이상인 구간에 대해서는 이동물체로 간주하여 영상보정대상에서 제외시켜 영상보정이 수행되도록 한다. 이와 같은 영상획득시스템는 모션센서를 이용한 보정 및 영상처리를 통한 보정 방법을 융합하여 최소의 비용으로 고성능의 영상 안정화를 달성할 수 있다.

Description

안정된 영상을 획득할 수 있는 영상획득시스템 및 그 안정화 방법{Device and method capable of acquisition stbilization image}

본 발명은 영상획득시스템 및 그 영상처리방법에 관한 것으로서, 특히, 촬영된 영상을 안정적으로 출력하기 위하여 영상 보정을 수행하는 영상획득시스템 및 그 안정화 방법에 관한 것이다.

전통적인 비디오 카메라뿐만 아니라 실시간 모니터링이 가능한 디지털 카메라 및 카메라 내장 휴대폰 등 영상을 획득할 수 있는 다양한 장치들이 출시되고 있다. 이처럼 영상을 획득할 수 있는 장치들이 다양화되면서 전문적인 촬영지식이 없는 일반인들도 더 많은 촬영기회를 갖게 되었으며, 이에 따라 영상획득시스템들은 점점 더 고기능화가 요구되고 있다. 즉, 최근 출시되고 있는 영상획득시스템들은 주변 환경에 대응하여 자동으로 촬영 상태가 조절되는 기능을 포함하는 경우가 많으며, 또한, 고배율의 광학시스템을 채용하여 원거리 촬영이 가능하도록 줌 인/아웃 기능등을 지원하고 있다.

그러나 종래의 영상 획득 장치들은 다양한 기능이 부가되어 비교적 고화질의 영상을 얻을 수 있게 되었지만, 이동 중인 차량에서 촬영을 하거나 원거리 촬영시에는 사용자의 의도하지 않은 떨림에 의해 안정된 영상을 획득하는 것이 쉽지 않다는 문제점이 있었다. 즉, 이동중인 차량에서 촬영을 하는 경우 차량의 진동에 의해 출력영상이 차의 진동과 함께 흔들리는 상태로 표시되며, 원거리 촬영과 같은 경우에는 광학배율이 높아짐에 따라 촬영자의 미세한 손떨림에도 영상이 크게 흔들리는 상태로 출력되는 문제가 발생하게 되었다. 이러한 떨림은 6자유도(3방향 변위 떨림, 3방향 각도 떨림)에 의해 발생하며, 특히 6자유도 중에서 수평각도(Yawing) 및 수직각도(Pitching) 떨림에 의해 영상의 질이 크게 떨어진다. 따라서 고가의 카메라에는 보통 수평 및 수직각도 영상 떨림을 보정할 수 있는 기능이 필수적으로 탑재되고 있다.

위와 같이 영상 떨림의 발생에 대해 안정된 영상을 얻기 위한 보정 방법이다양하게 제안되고 있다. 영상보정방법은 크게 영상신호처리를 통한 보정 방법과 물리적 떨림 감지 센서를 통한 보정방법으로 구분할 수 있다.

도 1은 영상신호처리를 통한 떨림 보정을 수행하는 영상획득시스템의 블록도이다. 시스템은, 크게 영상신호처리파트와 제어파트로 구분할 수 있다. 영상신호처리파트(110)는 광학 시스템(105), CCD(Charge Coupled Device: 112), S(sample)/H(hold)회로 및 AGC(Auto Gain Control)회로부(114), 아날로그 디지털 컨버터(A/D: 116), 영상처리부(118), 및 수직동기구동부(119)를 포함한다. 그리고 제어파트(120)는 명령 입력부(122), 모션검출부(124), 이미지 메모리(125), 이미지 제어부(126), 및 카메라 제어부(128)를 포함한다.

CCD(112)는 광학시스템(105)을 통해 입력된 피사체의 광학적 이미지를 전기적신호로 변환시킨다.

S/H 및 AGC회로부(114)는 CCD(112)로부터 전달된 전기적신호에 대해 자동으로 이득을 조절하며, A/D(116)와 함께 아날로그 신호를 디지털신호로 변환한다.

영상처리부(118)는, A/D(116)를 통해 변환된 디지털신호에 대해 어드레스를 부가하여 이미지 메모리(125)에 저장되도록 하는 한편, 이미지 제어부(126)로부터 제공된 영상떨림보정정보에 따른 영상처리를 수행하는 영상신호처리부(118-1)와, 영상신호처리부(118-1)에서 전달된 신호가 화면에 출력될 수 있도록 표준 비디오 신호로 변환하는 비디오 인코더(118-2)와, 영상신호처리부(118-1) 및 CCD(112)의 동작 시점을 결정할 수 있도록 타이밍신호를 제공하는 타이밍 발생기(118-3), 및 타이밍 발생기(118-3)에 동기신호를 제공하는 싱크발생기(118-4)를 포함한다.

수직동기구동부(119)는 타이밍 발생기(118-3)로부터 타이밍신호를 수급하고, CCD(112)에 촬상된 이미지로부터 전기적인 영상신호가 수평라인 단위로 출력될 수 있도록 CCD(112)에 동기신호를 제공한다.

명령입력부(122)는 사용자로부터 카메라의 이용에 관한 다양한 명령을 입력받아 카메라 제어부에 전달한다. 예를 들어, 손떨림보정명령 및 줌 인/아웃명령 등을 입력 받는다.

이미지 메모리(125)는 영상신호처리부(118-1)를 통해 CCD(112)로부터 출력된 영상을 저장한다.

모션검출부(124)는 CCD(112)로부터 순차적으로 이미지 메모리(125)에 저장된 영상에서 이전 필드 또는 이전 프레임 영상과의 비교를 통해 이전 영상과 현재 영상 사이의 차분을 계산한다. 피사체는 촬영 대상 및 배경을 포함한다.

이미지 제어부(126)는, 모션검출부(124)로부터 검출된 두 영상 사이의 차분에 따른 보정값을 계산하고, 계산된 보정값에 따라 영상 보정이 수행될 수 있도록 영상신호처리부(118-1)를 제어한다.

카메라 제어부(128)는 명령 입력부(122)를 통해 입력되는 명령 및 검출신호에 대응하여 장치 전반을 제어한다. 즉, 손떨림 보정 명령에 대응하여 이미지 제어부에 손떨림보정제어신호를 전달하며, 줌 인/아웃 명령에 응답하여 광학시스템(105)의 렌즈를 이동시키기 위한 모터(미도시)에 제어신호를 출력한다. 또한, 외부 환경에 대응하여 카메라를 제어한다. 즉, 피사체와의 거리에 따른 포커스 조절 및 외부 조도에 따른 광량을 조절하는 아이리스 등의 동작 제어를 위하여렌즈구동제어신호(모터구동제어신호) 및 셔터제어신호 등을 출력한다.

위와 같은 시스템은 CCD(112)를 통해 촬영된 영상을 순차적으로 메모리(125)에 저장하며, 영상처리 알고리즘을 통해 필드 또는 프레임 단위로 이전 영상정보와 현재 영상정보의 비교를 통해 보정을 실시하게 된다. 영상신호처리를 통한 보정을 수행하는 시스템의 예가 US5832101에 개시되어 있다. US5832101에 개시된 시스템은, 도 2a와 같이 2차원 명암영상을 수직ㆍ수평 라인 메모리(P'v, P'h)에 투영하여 1차원 데이터를 형성하며, 이 1차원 데이터를 이전 필드 또는 프레임의 수평 및 수직 라인 데이터(Pv, Ph)와 비교하여 최적으로 일치하는 위치를 탐색하는 것으로 이동벡터(Motion Vector)를 구하고 있다. 도 2b는 도 2a에서 얻어진 필드 간 차분을 이용한 최적 운동 벡터를 나타내는 그래프 및 최적 운동벡터를 구하는 수학식을 보이고 있다. 이러한 시스템은, 영상의 정보가 양호한 경우 거의 완벽에 가까운 보정을 수행할 수 있다.

그러나 위 영상신호처리를 통한 보정 방법은 피사체가 모두 고정된 상태라는 가정 하에 설계된 보정방법으로 영상에 이동물체가 있거나 특징이 전혀 없는 영상, 반복적인 패턴이 연속되는 영상, 조도가 매우 낮은 영상 등에 있어서는 손떨림에 의해 발생하는 화질 저하에 대해 보정 능력이 현저히 떨어지는 문제점이 있었다. 최근에는 영상처리가 고도화 됨에 따라 영상에서 이동물체와 고정물체를 선택적으로 판별하고, 고정물체를 기준으로 이동벡터를 검출하는 방법이 제시되고 있지만 고가의 처리비용을 요구하는 문제가 발생한다.

한편, 카메라의 물리적 떨림 감지를 통한 영상보정방법은, 카메라의 떨림 자체에 대한 각속도를 센서를 통해 감지하고, 이를 필드주기로 시간에 따라 적분한 후, 적분한 결과 값에 대해 보정계수를 곱하는 것으로, CCD 영상의 이동량을 산출한다. 그리고 산출된 값에 따라 광학시스템의 렌즈를 실시간 구동하여 촬상영역을 이동시키는 것으로 보정을 행한다. 카메라의 물리적 떨림 감지를 통한 영상보정방법은 통상 전자식 영상 안정화(eletronic image stabilization) 방법이라 불린다.

도 3은 전자식 영상 안정화 방식을 이용하는 영상획득시스템의 블록도이다. 영상처리시스템은, 도 1에 보인 영상획득시스템과 대부분 동일 구성 요소로 이루어진다. 다만, 도 1의 시스템에서 모션검출부(124) 및 이미지 메모리(125)를 A/D컨버터(326) 및 수직ㆍ수평 모션 센서(322, 324)가 대체하고 있으며, CCD의 수평라인을 지정하여 출력할 수 있도록 타이밍 발생기(118-3)에서 수직동기구동부(119)에 스킵라인 제어신호가 출력되고 있는 점에 차이가 있다. 또한, 도시되지 않고 있지만, 영상획득시스템은 광학시스템(105)을 이동시키기 위한 모터를 포함하며, 카메라 제어부(128)는 수평 및 수직 모셔 센서(322, 324)를 통해 검출된 떨림량에 따라 모터를 구동시키기 위한 모터제어신호가 출력되도록 설계된다.

위와 같은 전자식 영상 안정화 방식을 이용하는 시스템은 US4637571이 효시이며, US4637571은 미사일 본체에 내장된 카메라의 떨림을 보정하기 위하여 자이로 센서를 통해 각속도를 얻고, 획득한 각속도를 적분하여 비디오 카메라의 수직ㆍ수평 코일을 제어하는 것으로 안정된 영상을 얻는다.

그러나 전자식 영상 안정화 방식을 이용하는 영상획득시스템은 피사체의 이동을 감안하여 촬상면적이 실제로 출력되는 영상보다 넓을 것이 요구된다. 따라서실제 촬상면적보다 영상을 획득하기 위한 CCD 소자의 수가 증가하여 비용이 상승하게 된다.

한편, 위와 같이 촬상면적이 증가하는 것을 방지할 수 있는 기술이 US4623930에 개시되어 있다. US4623930에는 카메라 렌즈의 떨림을 센서를 통해 검출하고, 떨림에 따른 광학 경로를 프리즘으로 직접 변경하여 고정된 영상면에 촬상되도록 하는 광학식 영상 안정화 방식을 제안하고 있다. 더 나아가 US6429895에서는 광학식 영상 안정화 방식에서 고해상도 영상을 얻을 수 있는 광학식 보정 방법이 제안되어 있다.

그러나 광학식 영상 안정화 방식은 광학경로 제어를 위한 프리즘 구동장치 및 그 제어장치가 고가인 관계로 방송용 비디오 카메라와 같은 고가의 장치에 한정적으로 이용되고 있는 실정이다.

또한, US5282044에서는 자이로 센서에서 발생하는 드리프트(drift) 문제를 해결하기 위하여 영상처리를 이용한 보정방식 및 자이로 센서를 통한 광학식 보정 방식을 병행하여 광학식 보정의 정밀도를 향상시키는 방법을 제안하고 있다. 그러나 US5282044는 자이로 센서의 드리프트 문제를 해결하는 데 기술이 국한되고 있으며, 또한 회전 거울을 이용하고 있어 시스템의 부피가 커질뿐만 아니라 비용이 상승하는 문제점을 갖는다.

또한, 위 언급된 종래 전자식 또는 광학식 영상 안정화 기술들에 있어서는, 대부분 떨림을 감지하기 위한 센서로서 소형 자이로 센서(예를 들어, 압전형 진동 자이로 센서)를 이용하고 있는 데, 자이로 센서의 드리프트에 의한 변동 및 15㎐이상의 고주파 성분에 대해서는 자이로 신호의 출력에 위상 지연이 발생하여 보정 능력이 저하되는 문제점을 갖는다. 또한, 전자식 영상 안정화 기술은 고주파 떨림이 있는 경우 촬상 시점과 자이로 센서를 통한 검출신호 보정 시점에 차이가 발생하여 보정이 정확한 시점에서 수행되지 못하는 단점을 갖는다. 또한, 압전형 진동 자이로는 사용환경의 온도변화(-5℃ ~ 75℃)에 따라 출렴감도가 최대 15%까지 변화하는 단점이 있어 신뢰도가 떨어지는 문제점이 있었다.

본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 시스템의 부피를 증가시키지 않을 뿐만 아니라 비용면에서 유리하며, 온도변화 및 고주파 떨림에 대해서도 보다 더 안정된 영상을 얻을 수 있는 영상획득시스템 및 그 안정화 방법을 제공하는 데 있다.

도 1은 종래 영상처리를 통한 영상 안정화 방법을 이용하는 영상획득시스템의 블록도,

도 2a는 영상투영방법을 설명하기 위한 도면,

도 2b는 차분 상관을 이용하여 최적 운동벡터를 산출하는 그래프 및 수학식을 나타낸 도면,

도 3은 종래 전자식 영상 안정화 방법을 이용하는 영상획득시스템의 블록도,

도 4는 본 발명에 따른 영상획득시스템의 블록도,

도 5는 도 4의 하이브리드모션검출부의 상세 블록도,

도 6은 도 4에 보인 영상획득시스템의 영상획득시스템의 영상 입ㆍ출력에 따른 처리 동작을 나타낸 타이밍도,

도 7은 도 4에 보인 영상획득시스템의 영상보정동작을 설명하는 순서도,

도 8a 및 8b는 수평 및 수직 투영라인버퍼에 저장된 이전필드 및 현재필드의 영상 및 투영데이터를 나타낸 도면, 그리고

도 8c 내지 도 8e는 도 8a 및 도 8b에 보인 두 필드 영상의 차분에 따른 마스킹 과정을 나타낸 도면이다.

*도면의 주요부분에 대한 부호의 설명*

105, 405: 광학시스템 112, 412: CCD

114, 414: S/H 및 AGC 회로 116, 326, 416, 424-3: A/D

118, 418: 영상처리부 118-1, 418-1: 영상신호처리부

118-2, 418-2: 비디오 디코더 118-3, 418-3: 타이빙 발생기

118-4, 418-4: 싱크 발생기 122, 422: 명령입력부

124: 모션검출부 125, 424-4: 이미지 메모리

126, 426: 이미지 제어부 128, 428: 카메라 제어부

424: 떨림검출부 424-1, 424-2: 모션센서

424-5: 하이브리드모션검출부 5a:필터

5b: 옵셋제어기 5c: 이득제어기

5d: 모션신호적분기 5e: 필드/프레임 이동벡터 버퍼

5f: 수평투영라인버퍼 5g: 수직투영라인버퍼

5h: 보조버퍼

상기의 목적을 달성하기 위한 본 발명의 영상획득시스템는, 광학시스템에 입사된 광에 따른 피사체의 이미지를 전기적신호로 변환하여 출력하는 고체촬상소자; 시스템 몸체의 수직 및 수평 방향 떨림에 따른 전기적신호를 각각 출력하는 떨림센서부; 상기 고체촬상소자를 통해 촬영된 영상을 저장하는 메모리; 상기 떨림센서부로부터 전달된 상기 수직 및 수평 방향 떨림신호를 소정시간 구간 동안 적분하여 상기 피사체의 모션벡터를 산출하며, 상기 고체촬상소자를 통해 촬영된 2차원의 필드/프레임 영상 데이터를 수평 및 수직 방향의 1차원 데이터로 각각 투영하는 하이브리드모션검출부; 및 현재 필드/프레임의 상기 수평 및 수직 투영 데이터를 상기하이브리드모션검출부에서 검출한 상기 소정시간 구간 동안의 상기 모션벡터 값만큼 이동시킨 수평 및 수직 투영 데이터와 이전 투영된 필드/프레임 수평 및 수직 투영 데이터를 각각 비교하고, 상기 두 비교 데이터의 차분에 따른 영상 보정을 수행하는 이미지 제어부;를 포함한다.

여기서, 상기 모션벡터를 산출하기 위한 상기 소정시간 구간은 단위 필드/프레임 구간 동안 적분을 수행한다. 이는 전자식 영상 안정화 방법이 실시간 보정을 행하여 영상을 출력하는 반면, 영상처리를 통한 보정은 1필드 또는 1프레임의 시간지연을 두고 영상을 출력하기 때문에 영상처리를 통한 보정 방법에 준하여 1필드 또는 1프레임 지연된 보정을 행하도록 하기 위함이다.

상기 하이브리드모션검출부는, 상기 떨림센서부로부터 출력된 검출신호로부터 떨림에 따른 신호만을 추출하기 위하여 옵셋을 자동으로 계산하는 옵셋제어기; 상기 옵셋제어기를 통해 출력된 상기 검출신호의 크기와 위상에 따라 상기 고체촬상소자에서 촬영된 영상의 각 화소단위로 이득을 결정하는 이득제어기; 상기 이득제어기로부터 출력된 상기 검출신호를 일정시간 적분하여 모션벡터를 산출하는 모션신호적분기; 상기 모션신호적분기를 통해 산출된 이전 필드/프레임 구간 동안의 적분결과값과 현재 필드/프레임 구간 동안의 적분결과값을 각각 저장하는 필드/프레임 이동벡터 버퍼; 및 상기 고체촬상소자를 통해 촬영된 이전 2차원 필드/프레임 영상과 현재 2차원 필드/프레임 영상 각각의 수평 및 수직 라인데이터를 각각 저장하는 수평 및 수직 투영라인 버퍼;를 포함한다.

상기 하이브리드모션검출부는, 상기 모션벡터에 따라 이동된 상기 현재필드/프레임에서 이전 필드/프레임과의 차분치가 소정레벨 이상인 부분에 대한 새로운 수평 및 수직 데이터를 저장하는 보조버퍼;를 더 포함한다.

상기 이미지 제어부는, 상기 두 투영 데이터의 비교 결과 발생된 차분에 대해서 두 비교 데이터의 상관 오차가 최소가 되는 위치로 영상 보정을 수행한다. 그리고 상기 이미지 제어부는, 상기 두 투영 데이터의 비교 결과 발생된 차분이 소정레벨 이상인 구간에 대해 차분이 발생되지 않은 것으로 간주하고, 상기 모션벡터가 가산된 현재 필드/프레임의 새로운 수평 및 수직 라인데이터와 이전 필드/프레임의 새로운 수평 및 수직 라인데이터를 생성하여 상기 보조버퍼에 저장한 후, 상기 보조버퍼에 저장된 데이터에 대해 상관 오차가 최소가 되는 위치로 영상 보정을 수행한다. 이는 전체적인 영상의 이동은 떨림센서부에서 검출되기 때문에 이동물체에 따른 영상변화분은 보정 대상에서 제외되도록 하는 것이다.

상기의 목적을 달성하기 위한 본 발명에 따른 영상획득시스템의 영상 안정화 방법은, 쵤영시 수직 및 수평 방향 떨림신호를 소정시간 구간 동안 적분하여 피사체의 모션벡터를 산출하는 단계; 상기 촬영된 2차원의 필드/프레임 영상 데이터를 수평 및 수직 방향의 1차원 데이터로 각각 투영하는 단계; 현재 필드/프레임의 상기 수평 및 수직 투영 데이터를 상기 소정시간 구간 동안의 상기 모션벡터 값만큼 이동시킨 수평 및 수직 투영 데이터와 이전 투영된 필드/프레임 수평 및 수직 투영 데이터를 각각 비교하는 단계; 및 상기 두 비교 데이터의 차분에 따른 영상 보정을 수행하는 단계;를 포함한다.

여기서, 상기 모션벡터를 산출하는 단계는, 단위/필드 프레임 구간 동안 검출신호를 적분하여 상기 모션벡터를 산출한다.

또한, 상기 모션벡터를 산출하는 단계는, 상기 검출신호로부터 떨림에 따른 신호만을 추출하기 위하여 옵셋을 계산하는 단계; 상기 옵셋에 의한 상기 검출신호의 크기와 위상에 따라 상기 촬영된 영상의 각 화소단위로 이득을 결정하는 단계; 상기 이득에 따라 출력된 상기 검출신호를 일정시간 적분하는 단계;를 포함한다.

상기 영상 보정 수행 단계는, 상기 두 투영 데이터의 비교 결과 발생된 차분에 대해서 두 비교 데이터의 상관 오차가 최소가 되는 위치로 영상 보정을 수행한다. 또한, 상기 영상보정 수행 단계는, 상기 두 투영 데이터의 비교 결과 발생된 차분이 소정레벨 이상인 구간에 대해 차분이 발생되지 않은 것으로 간주하고, 모션벡터가 가산된 상기 현재 필드/프레임의 새로운 수평 및 수직 라인데이터와 이전 필드/프레임의 새로운 수평 및 수직 라인데이터를 생성하여 저장하는 단계; 및 상기 새롭게 생성된 데이터에 대해 상관 오차가 최소가 되는 위치로 영상 보정을 수행하는 단계;를 포함한다.

이상과 같은 영상획득시스템 및 출력영상 안정화 방법은, 기존의 영상획득시스템에서 영상떨림보정의 성능을 높이기 위하여 추가의 센서 및 구동장치들을 장착하고 있는 데 반해, 영상신호처리를 통한 보정 방법과 운동센서를 통한 전자식 영상 안정화 방법을 혼합하여 영상떨림을 보정함으로서, 비용을 최소화하면서 보다 더 안정된 영상을 얻을 수 있게 한다.

이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.

도 4는 본 발명에 따른 영상획득시스템의 개략적인 블록도이다. 시스템은,크게 영상신호처리파트(410)와 제어파트로 구분할 수 있다. 영상신호처리파트(410)는 광학 시스템(405), CCD(Charge Coupled Device: 412), S(sample)/H(hold)회로 및 AGC(Auto Gain Control)회로부(414), 제1 아날로그 디지털 컨버터(A/D: 416), 영상처리부(418), 및 수직동기구동부(419)를 포함한다. 제어파트(420)는 명령 입력부(422), 수평 및 수직 모션센서(424-1, 424-2), 제2 A/D(424-3), 이미지 메모리(424-4), 하이브리드모션검출부(424-5), 이미지 제어부(426), 및 카메라 제어부(428)를 포함한다.

CCD(412)는 광학시스템(405)을 통해 입사된 피사체의 광학적 이미지를 전기적신호로 변환시킨다.

S/H 및 AGC회로부(414)는 CCD(412)로부터 전달된 전기적신호에 대해 자동으로 이득이 조절될 수 있도록 동작하며, 제1 A/D(416)와 함께 아날로그 신호를 디지털신호로 변환한다.

영상처리부(418)는, 제1 A/D(416)를 통해 변환된 디지털신호에 대해 어드레스를 부가하여 이미지 메모리(424-4)에 저장되도록 하는 한편, 영상떨림보정정보에 따른 영상처리를 수행하는 영상신호처리부(418-1)와, 영상신호처리부(418-1)에서 전달된 신호가 화면에 출력되도록 표준 비디오 신호로 변환하는 비디오 인코더(418-2)와, 영상신호처리부(418-1) 및 CCD(412)의 동작 시점을 결정할 수 있도록 타이밍신호를 제공하는 타이밍 발생기(418-3), 및 타이밍 발생기(418-3)에 동기신호를 제공하는 싱크발생기(418-4)를 포함한다.

수직동기구동부(419)는 타이밍 발생기(418-3)로부터 타이밍신호를 수급하고,CCD(412)에 촬상된 이미지로부터 전기적인 영상신호가 수평라인 단위로 출력될 수 있도록 CCD(412)에 타이밍신호를 제공한다.

명령 입력부(422)는 사용자로부터 카메라의 이용에 관한 다양한 명령을 입력받아 카메라 제어부(428)에 전달한다. 예를 들어, 손떨림보정명령 및 줌 인/아웃명령 등을 입력 받는다.

수평 및 수직 모션센서(424-1, 424-2)는 장치 몸체의 떨림을 검출하여 전기적인 신호를 출력한다. 여기서 수평 및 수직 모션센서(424-1, 424-2)는 자이로센서가 이용된다.

이미지 메모리(424-4)는 영상신호처리부(418-1)를 통해 CCD(412)로부터 출력된 디지털영상신호를 저장한다.

하이브리드모션검출부(424-5)는 수평 및 수직 모션센서(424-1, 424-2)로부터 전달된 수평 및 수직 방향 떨림신호에 근거하여 피사체의 수평 및 수직 방향 모션벡터를 검출한다. 이때, 하이브리드모션검출부(424-5)는, 수평 및 수직방향 모션 센서(424-1, 424-2)로부터 각각 출력된 신호를 단위 필드 또는 단위 프레임 구간 동안 적분하여 산출된 모션벡터를 저장한다. 한편 하이브리드모션검출부(424-5)는 CCD(412)를 통해 촬영된 2차원 데이터를 수평 및 수직방향 각각의 1차원 데이터로 투영한다.

이미지 제어부(426)는, 하이브리드모션검출부(424-5)에 투영된 현재 필드 또는 프레임 영상에 모션벡터 산출 값만큼 이동된 위치의 데이터와 이전 필드 또는 프레임 영상과의 비교를 통해 이전 영상과 현재 영상 사이의 차분을 산출한다. 그리고 산출된 차분을 통해 보정값을 계산한 후, 보정값에 따라 영상보정이 수행되도록 영상신호처리부(418-1)를 제어한다. 이때, 이미지 제어부(426)는 이전영상과 현재영상 사이에서 소정 레벨 이상의 차분이 발생한 구간에 대해서는 보정 대상에서 제외시켜 처리하도록 영상신호처리부(418-1)를 제어한다.

카메라 제어부(428)는 명령 입력부(422)를 통해 입력되는 명령 및 장치에 장착된 센서들로부터의 검출신호에 대응하여 카메라 전반을 제어한다. 즉, 손떨림 보정 명령에 대응하여 이미지 제어부(426)에 손떨림보정제어신호를 전달하며, 줌 인/아웃 명령에 응답하여 광학시스템(405)의 렌즈를 이동시키기 위한 모터(미도시)에 제어신호를 출력한다. 또한, 외부 환경에 대응하여 카메라를 제어한다. 또한, 카메라 제어부(428)는 피사체와의 거리에 따른 포커스 조절 및 외부 조도에 따른 광량을 조절하는 아이리스 등의 동작 제어를 위하여 렌즈구동제어신호(모터구동제어신호) 및 셔터제어신호 등을 출력한다.

도 5는 도 4의 하이브리드모션검출부에 대한 상세 블록도이다. 하이브리드모션검출부(428-5)는, 필터(5a), 옵셋제어기(5b), 이득제어기(5c), 모션신호 적분기(5d), 필드/프레임 이동벡터 버퍼(5f), 수평투영라인 버퍼(5g), 그리고 보조버퍼(5h)를 포함한다.

필터(5a)는 제2 A/D(424-3)로부터 출력된 수평 및 수직 자이로 센서의 모션검출신호에서 잡음을 제거하는 등의 필터링을 수행한다.

옵셋제어기(5b)는, 필터링된 신호로부터 움직임에 따른 신호만을 추출하기 위하여 옵셋을 자동으로 계산한다. 신호의 옵셋이 변하기 때문에 옵셋을 자동으로계산하는 과정이 필요하므로 채용된다.

이득제어기(5c)는, 센서신호의 크기와 위상에 따라 CCD(412)의 화소단위로 이득을 결정한다. 이득은 줌배율에 따라 달라지며, 실제 장치에 적용되는 경우에는 미리 결정된 이득변환표에 따라 결정할 수도 있다.

모션신호 적분기(5d)는 이득제어기(5c)로부터 출력된 자이로센서의 모션검출신호를 일정시간 적분하여 수평 및 수직 모션벡터 Sh(k),Sv(k)를 산출한다.

필드/프레임 이동벡터 버퍼는 모션신호 적분기(5d)를 통해 산출된 과거 시간 구간 동안의 적분결과값 Sh(k-1),Sv(k-1)와 현재시간 구간 동안의 적분결과값 S_h(k),S_v(k)를 저장한다.

수평투영라인버퍼(5e)는 CCD(412)로부터 영상처리부(418)를 통해 전달된 필드/프레임의 수평라인 데이터 Ph(k), Ph(k-1)를 저장한다. 제1 수평투영라인버퍼(5e-1)와 제2 수평투영라인버퍼(5e-2)는 서로 교대로 현재 필드/프레임 데이터 Ph(k) 및 이전 필드/프레임 데이터 Ph(k-1)를 저장하게 된다.

수직투영라인버퍼(5f)는 CCD(412)로부터 영상처리부(418)를 통해 전달된 필드 또는 프레임의 수직라인 데이터 Pv(k), Pv(k-1)를 저장한다. 제1 수직투영라인버퍼(5f-1)와 제2 수평투영라인버퍼(5f-2)는 서로 교대로 현재 필드/프레임 데이터 Pv(k) 및 이전 필드/프레임 데이터 Pv(k-1)를 저장하게 된다.

위와 같은 영상획득시스템은 사용자가 명령 입력부(422)를 통해 손떨림보정명령을 입력하면 카메라 제어부(428)에서 하이브리드모션검출부(424-5) 및 이미지제어부(426)에 사용자의 영상보정명령에 따른 제어신호를 출력하여 영상의 보정을 실시하게 된다.

도 6은 도 4에 보인 영상획득시스템의 영상 입ㆍ출력에 따른 처리 동작을 나타낸 타이밍도이다. 여기서, 시간 T0는 입력 영상의 필드 단위이며, 수직동기신호에 의해 영상의 홀수필드와 짝수필드가 구분되어 출력된다. 또한, 전자셔터는 주어진 시간 내에서 동작되며, 전자셔터의 동작에 의해 CCD(412) 내에 축적된 전하는 다음필드를 구성하게 된다. 또한, CCD(412)에서 출력된 영상신호는 영상신호처리부(418)를 통해 도 5에 보인 수평 및 수직 투영라인 버퍼(5e, 5f)에 즉시 저장되며, 영상처리과정을 거쳐 다음 필드의 비디오출력 영상이 된다.

도 7은 도 4에 보인 영상획득시스템의 보정동작을 설명하는 순서도이다. 먼저, 명령 입력부(422)를 통해 사용자로부터 손떨림보정명령이 입력되고, 쵤영이 시작되면, 하이브리드모션검출부(424-5)는 수평 및 수직 자이로센서(424-1, 424-2)로부터 각각 전달된 각속도를 소정시간, 여기서는 단위 필드 구간 동안 적분하여 수평 및 수직 모션벡터 Sh, Sv를 산출하여 저장한다(S710). 또한, 하이브리드모션검출부(424-5)는 CCD(412)로부터 출력된 수평 및 수직 라인 데이터 Ph(k), Pv(k)를 획득한다(S720). 이때, 수평 및 수직 투영라인버퍼(5e, 5f)에는 도 8a와 같은 1필드 이전의 영상 I(k-1)가 이미 저장되어 있다. 도 8b는 현재 필드에서 획득한 수평 및 수직 투영 데이터에 따른 영상 I(k)를 나타낸다. 도 8a 및 도 8b에 보인 두 필드 영상에서 현재 필드영상 I(k)는 이전 필드 영상 I(k-1)에 대해 수평방향으로 Sh, 수직방향으로 -Sv만큼 이동되었다. 이는 고정된 배경 영상이 카메라의 떨림에의해 수평 및 수직방향으로 이동된 결과이다. 그러나 배경 영상이 수평 및 수직방향으로 이동되었음에도 불구하고, 투영된 영상의 우측부에 표시되고 있는 물체(A)는 형태 및 위치가 다소 변화되어 나타나고 있음을 볼 수 있다. 이는 우측에 표시되고 있는 물체(A)가 이동물체임을 나타낸다.

위와 같이 하이브리드모션검출부(424-5)에서 모션벡터 Sh, Sv를 산출하고(S710), CCD로부터 출력된 영상이 수평 및 수직 투영라인버퍼(5e, 5f)에 저장되면(S720), 이미지 제어부(426)는 수평 및 수직 투영라인버퍼(5e, 5f)에 저장된 현재 필드에 모션벡터 Sh, Sv가 합산된 데이터, 즉, 모션벡터 값만큼 위치가 이동된 데이터 Ph(k)+Sh, Pv(k)+Sv와 이전 필드의 수평 및 수직 라인 데이터 Ph(k-1), Pv(k-1)를 서로 비교하여 차분치를 계산한다(S730). 도 8c는 현재 필드의 수평라인 데이터 Ph(k)-Sh 및 이전 필드의 수평라인 데이터 Ph(k-1)를 나타낸 그래프이다. 그러면, 이미지 제어부(426)는 두 필드 영상 사이의 차분치에 절대값을 취한 후, 두 필드 영상의 수평 및 수직라인 데이터 사이의 차분이 도 8d와 같이 소정레벨 이상인 구간이 존재하는가를 판단한다(S740). 그리고 소정레벨 이상인 구간이 존재하면, 발생 구간(B)에 대해서는 두 필드 영상에서의 수평 및 수직라인 데이터 구간을 도 8e와 같이 마스킹한다(S750). 이후, 마스킹 된 구간에 대해서 각 필드의 새로운 라인 데이터를 산출한다(S760). 즉, 현재 필드 영상에서 움직이는 물체가 존재하면, 이전필드와 현재필드 데이터 사이에는 차분치가 커질 수 있다. 따라서 레벨 차이가 큰 구간에 대해서는 이동 물체가 존재하는 것으로 간주하고, 그 구간에 대해서는 차분치가 발생하지 않은 것으로 처리한 후, 현재필드의 데이터와 이전필드에 대해 각각 새로운 데이터를 생성하여 보조 버퍼에 저장한다(S770). 다음으로 이미지 제어부(426)는 마스킹 된 구간(B)을 제외한 나머지 구간에 대해서 이전필드 및 현재필드 사이의 수평 및 수직 방향 데이터의 차분치에 따른 수평 및 수직 방향 미세 보정값 -Uv*, Uh*를 S772에 보인 수학식을 통해 산출하고(S770), 새로운 보정값 -Sv(k-1)+Uv*, -Sh(k-1)+Uh를 계산한다(S780).

다음으로 이미지 제어부(426) 새로운 보정값에 따라 이미지 메모리(424-4)에서 출력할 영상의 시작 위치를 지정한다. 여기서, 이미지 제어부(426)는 계산된 차분치의 절대값에서 소정레벨 이상의 차분 발생 구간이 없으면, 곧 바로 이전 필드와 현재 필드의 비교 데이터의 차분치에 따른 산출된 보정값에 따라 미세보정을 수행한다.

여기서, 이미지 제어부(426)는 이전 필드 및 현재 필드의 투영 데이터들 사이의 차분치에 절대값을 취하여 설정된 허용치보다 크면 이동물체 등에 의해 영상의 변화가 심한 부분으로 간주하고, 이전 필드 및 현재 필드에서 해당 구간은 삭제를 한다. 왜냐하면 본 발명은 미세한 보정을 구하는 것이 목적이기 때문에 운동이 심한 부분의 데이터는 제거하고 영상 보정을 수행한다. 그러면, 결국 삭제 후 남은 투영 데이터 부분은 모션센서의 오차에 의해 발생한 것이므로 이를 영상처리를 통해 보정한다. 이때, 보정은 도 2b에서 보인 바와 같이 주어진 탐색 구간 내에서 이전필드 및 현재필드 두 라인 데이터의 패턴차이가 최소화 되는 지점(U*)을 구하는 '차분상관법'을 이용한다.

한편, 위의 설명에서 모션센서로부터 적분신호를 얻는 설정시간 및 CCD출력영상의 저장 단위는 필드 단위로 설명되고 있지만, 각각은 프레임 단위로 설정할 수 있다.

상기와 같은 본 발명의 영상획득시스템 및 그 안정화 방법에 의하면, 모션센서의 일정시간 출력데이터를 이용하여 영상의 개략적인 이동벡터를 얻고, 미세한 덜림정보는 영상의 필드시간 간격으로 저장된 영상의 비교에 의해 정확한 이동벡터를 구하여 고성능의 영상 안정화를 달성할 수 있다.

또한, 모션센서(자이로 센서)를 통해서는 개략적인 이동벡터만을 얻으므로 온도 및 고주파 떨림에 대해서 둔감하여 오차의 발생을 줄일 수 있다.

또한, 일반적인 영상획득시스템은 CCD소자를 포함하고 있으므로, 영상처리를 통한 떨림 보정을 활용함으로서, 추가의 비용을 최소화 할 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 설명하고 있으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (10)

1. 광학시스템에 입사된 광에 따른 피사체의 이미지를 전기적신호로 변환하여 출력하는 고체촬상소자;

   시스템 몸체의 수직 및 수평 방향 떨림에 따른 전기적신호를 각각 출력하는 떨림센서부;

   상기 고체촬상소자를 통해 촬영된 영상을 저장하는 메모리;

   상기 떨림센서부로부터 전달된 상기 수직 및 수평 방향 떨림신호를 소정시간 구간 동안 적분하여 상기 피사체의 모션벡터를 산출하며, 상기 고체촬상소자를 통해 촬영된 2차원의 필드/프레임 영상 데이터를 수평 및 수직 방향의 1차원 데이터로 각각 투영하는 하이브리드모션검출부; 및

   현재 필드/프레임의 상기 수평 및 수직 투영 데이터를 상기 하이브리드모션검출부에서 검출한 상기 소정시간 구간 동안의 상기 모션벡터 값만큼 이동시킨 수평 및 수직 투영 데이터와 이전 투영된 필드/프레임 수평 및 수직 투영 데이터를 각각 비교하고, 상기 두 비교 데이터의 차분에 따른 영상 보정을 수행하는 이미지 제어부;를 포함하는 것을 특징으로 하는 영상획득시스템.
2. 제 1항에 있어서,

   상기 소정시간 구간은 단위 필드/프레임 구간인 것을 특징으로 하는 영상획득시스템.
3. 제 1항에 있어서, 상기 하이브리드모션검출부는,

   상기 떨림센서부로부터 출력된 검출신호로부터 떨림에 따른 신호만을 추출하기 위하여 옵셋을 자동으로 계산하는 옵셋제어기;

   상기 옵셋제어기를 통해 출력된 상기 검출신호의 크기와 위상에 따라 상기 고체촬상소자에서 촬영된 영상의 각 화소단위로 이득을 결정하는 이득제어기;

   상기 이득제어기로부터 출력된 상기 검출신호를 일정시간 적분하여 모션벡터를 산출하는 모션신호적분기;

   상기 모션신호적분기를 통해 산출된 이전 필드/프레임 구간 동안의 적분결과값과 현재 필드/프레임 구간 동안의 적분결과값을 각각 저장하는 필드/프레임 이동벡터 버퍼; 및

   상기 고체촬상소자를 통해 촬영된 이전 2차원 필드/프레임 영상과 현재 2차원 필드/프레임 영상 각각의 수평 및 수직 라인데이터를 각각 저장하는 수평 및 수직 투영라인 버퍼;를 포함하는 것을 특징으로 하는 영상획득시스템.
4. 제 3항에 있어서,

   상기 이미지 제어부는, 상기 두 투영 데이터의 비교 결과 발생된 차분에 대해서 두 비교 데이터의 상관 오차가 최소가 되는 위치로 영상 보정을 수행하는 것을 특징으로 하는 영상획득시스템.
5. 제 1항에 있어서,

   상기 하이브리드모션검출부는, 상기 모션벡터에 따라 이동된 상기 현재 필드/프레임에서 이전 필드/프레임과의 차분치가 소정레벨 이상인 부분에 대한 새로운 수평 및 수직 데이터를 저장하는 보조버퍼;를 더 포함하며,

   상기 이미지 제어부는, 상기 두 투영 데이터의 비교 결과 발생된 차분이 소정레벨 이상인 구간에 대해 차분이 발생되지 않은 것으로 간주하고, 모션벡터가 가산된 현재 필드/프레임의 새로운 수평 및 수직 라인데이터와 이전 필드/프레임의 새로운 수평 및 수직 라인데이터를 생성하여 상기 보조버퍼에 저장한 후, 상기 보조버퍼에 저장된 데이터에 대해 상관 오차가 최소가 되는 위치로 영상 보정을 수행하는 것을 특징으로 하는 영상획득시스템.
6. 쵤영시 수직 및 수평 방향 떨림신호를 소정시간 구간 동안 적분하여 피사체의 모션벡터를 산출하는 단계;

   상기 촬영된 2차원의 필드/프레임 영상 데이터를 수평 및 수직 방향의 1차원 데이터로 각각 투영하는 단계;

   현재 필드/프레임의 상기 수평 및 수직 투영 데이터를 상기 소정시간 구간 동안의 상기 모션벡터 값만큼 이동시킨 수평 및 수직 투영 데이터와 이전 투영된 필드/프레임 수평 및 수직 투영 데이터를 각각 비교하는 단계; 및

   상기 두 비교 데이터의 차분에 따른 영상 보정을 수행하는 단계;를 포함하는 것을 특징으로 하는 영상획득시스템의 출력 영상 안정화 방법.
7. 제 6항에 있어서,

   상기 모션벡터를 산출하는 단계는, 단위/필드 프레임 구간 동안 검출신호를 적분하여 상기 모션벡터를 산출하는 것을 특징으로 하는 영상획득시스템의 출력 영상 안정화 방법.
8. 제 7항에 있어서,

   상기 모션벡터를 산출하는 단계는,

   상기 검출신호로부터 떨림에 따른 신호만을 추출하기 위하여 옵셋을 계산하는 단계;

   상기 옵셋에 의한 상기 검출신호의 크기와 위상에 따라 상기 촬영된 영상의 각 화소단위로 이득을 결정하는 단계;

   상기 이득에 따라 출력된 상기 검출신호를 일정시간 적분하는 단계;를 포함하는 것을 특징으로 하는 영상획득시스템의 출력 영상 안정화 방법.
9. 제 8항에 있어서,

   상기 영상 보정 수행 단계는, 상기 두 투영 데이터의 비교 결과 발생된 차분에 대해서 두 비교 데이터의 상관 오차가 최소가 되는 위치로 영상 보정을 수행하는 것을 특징으로 하는 영상획득시스템의 출력 영상 안정화 방법.
10. 제 9항에 있어서,

    상기 영상보정 수행 단계는,

    상기 두 투영 데이터의 비교 결과 발생된 차분이 소정레벨 이상인 구간에 대해 차분이 발생되지 않은 것으로 간주하고, 모션벡터가 가산된 상기 현재 필드/프레임의 새로운 수평 및 수직 라인데이터와 이전 필드/프레임의 새로운 수평 및 수직 라인데이터를 생성하여 저장하는 단계; 및

    상기 새롭게 생성된 데이터에 대해 상관 오차가 최소가 되는 위치로 영상 보정을 수행하는 단계;를 포함하는 것을 특징으로 하는 영상획득시스템의 출력 영상 안정화 방법.