KR960014831B1 - 캠코더의 자동영상 안정화 장치 - Google Patents

Abstract

내용없음.

Description

캠코더의 자동영상 안정화 장치

제1도는 종래 이중 영상 안정화 장치의 블럭도.

제2도는 종래 영상신호의 투사를 나타낸 도면.

제3도는 종래 움직임 검출기의 실시예를 나타낸 블럭도.

제4도는 종래 영상 안정화 장치의 다른 실시예를 나타낸 블럭도.

제5도는 움직임 벡터 검출영역을 설명하기 위한 도면.

제6도는 본 발명 자동영상 안정화 장치의 블럭도.

제7도는 본 발명에 따른 대표점 검출영역과 움직임 벡터검출을 위한 탐색영역의 도면.

* 도면의 주요부분에 대한 부호의 설명

25 : A/D 변환기 26 : 움직임 벡터 검출기

27 : 줌밍 처리부 28 : 마이크로 컴퓨터

29 : 메모리 제어기 30 : D/A 변환기

본 발명은 캠코더에 관한 것으로 특히 촬영시 손떨림에 의한 영상의 흔들림을 자동으로 보정하여 줄 수 있는 캠코더의 자동영상 안정화 장치에 관한 것이다.

종래 캠코더의 이중 영상 안정화 장치(일본국 히다찌사 특허)는 제1도와 같이 여분영역(2), 주사영역(3), 화면영역(4)으로 구분되어 주사영역(3)만큼만 영상신호를 읽어들이는 촬상부(1)와, 촬상부(1)의 출력 신호를 처리하는 신호처리기(5)와, 신호처리기(5)의 움직임 성분을 검출하여 궤환방향과 순방향으로 출력하는 움직임 검출기(6)와, 신호처리기(4)의 출력측에 접속되어 주사영역(3)의 영상신호를 저장하는 버퍼메모리(7)와, 움직임 검출기(6)의 궤환 방향신호를 입력받아 주사영역(3)을 제어하는 주사영역 제어기(8)와, 주사영역 제어기(8)에 의해 구동되어 주사영역(3)을 바꾸어 줌으로써 대략적인 움직임 보정을 해주는 촬상부 구동부(9)와, 움직임 검출기(6)의 순방햐 신호를 입력받아 버퍼메모리(7)에 저장된 주사영역(3)의 영상신호를 보정하여 출력하도록 제어하는 메모리 제어기(10)를 포함하여 구성된다.

이와 같이 구성된 종래 영상 안정화의 동작은 다음과 같다.

먼저 촬상부(1)에서 주사영역(3)으로 입력받아 영상신호를 신호처리기(4)를 거쳐 버퍼메모리(7)에 저장시킨다.

이와 동시에 신호처리기(4)의 신호가 움직임 검출기(6)로 입력되어 움직임 성분을 검출하기 위해 상관관계 계산을 행한다.

이때의 상관관계 계산은 제2도와 같이 촬상소자(11)의 수직과 수평방향 에지신호(12)(13)의 3차원 영상을 1차원으로 줄인 에지 데이타로 투사시켜 움직임 검출기(6)의 상세도로 나타낸 제3도와 같이 1비트 라인 메모리(14)에 각각 기억시킨다.

또한, 줄어든 에지 데이타는 한 필드 기간동안 라인 메모리(15)까지 지연되고 움직임 성분은 지연되지 않은 라인메모리(14)의 현재 필드 데이타와 지연된 라인 메모리(15)의 이전 필드 데이타의 상관관계가 상관관계 계산부(16)를 통하여 계산된다.

이와 같이 구해진 움직임 성분은 메모리 제어기(10)에 입력되어 주사영역(3)의 영상신호를 저장하고 있는 버퍼메모리(7)의 행/열의 어드레스 위치를 움직임량 만큼 보상시켜 선택함으로써 안정된 영상신호를 출력하였다.

또한, 종래의 다른 실시예로 제4도와 같은 마츄시타(Matsushita)사의 영상 안정화 시스템을 들 수 있는데 이의 구성을 살펴보면 입력되는 영상신호의 밴드성분을 추출하는 프리-필터(18), 필드간의 움직임 성분이 기억되는 이전대표값 메모리부(19), 상기 프리-필터(17)와 이전대표값 메모리부(19)의 상관관계를 계산하는 상관관계 계산부(20), 상관관계 계산부(20)의 출력측에 접속되어 사분면에서 움직임 성분을 검출하는 최대 상호관계 제어부(21)를 포함하여 움직임 성분 검출기(22)를 구비하고, 상기 움직임 성분 검출기(22)의 출력을 받아 비디오 카메라의 움직임을 가장 잘 나타내는 하나의 움직임 성분만을 선택하는 마이크로 컴퓨터(23)와, 입력되는 영상신호와 마이크로 컴퓨터(23)의 제어를 받아 움직임 성분을 보정하여 출력하는 필드 메모리(24)를 포함하여 이루어진 것이다.

이와 같은 제4도의 실시예를 제5도를 참고로 하여 설명하면 다음과 같다.

즉, 입력영상신호는 움직임 성분 검출기(22)와 필드메모리(24)에 각각 입력되어 움직임 성분 검출기(22)에 입력된 영상신호는 밴드 성분추출 필터인 프리필터(17)를 거쳐 필드간의 움직임 성분이 리프리젠터티브 포인트 메칭(Representative Point Matching) 기법을 이용하여 계산된다.

여기서, 프리필터(17)에는 노이즈와 영상신호에서 불필요한 고주파 성분을 억제하기 위해 직렬로 연결된 로우 패스 필터(LPF)와, 영상 보상을 위한 하이 패스필터(HPF)를 사용한다.

또한, 상기 리프리젠터티브 포인트 매칭계산은 이전대표값 메모리부(19)에 입력되는 한 필드의 영상신호에서 제5도와 같이 4개의 사분면에서 각각 30개의 정해진 대표점 위치에서의 영상 데이타를 저장한다.

이러한 이전화면의 한 필드의 대표값과 현 화면의 한 필드의 영상신호값이 상관관계 계산부(20)와 최대 상관관계 제어부(21)를 거쳐 4개의 사분면에서의 움직임 성분으로 각각 검출되어 마이크로 컴퓨터(23)로 입력된다.

따라서, 마이크로 컴퓨터(23)에서는 입력된 4개의 움직임 성분중에서 비디오 카메라의 움직임을 가장 잘 나타내는 하나의 움직임 성분만을 선택하여 이 움직임 성분으로 필드메모리(24)에 저장된 영상신호값의 어드레스 위치를 조절시켜 움직임 값이 보정된 안정한 영상을 출력시킨다.

그러나, 상기와 같은 종래 움직임 보정 시스템에 있어서는 다음과 같은 결점이 있다.

첫째, 움직임 벡터를 좀더 정확하게 찾기 위하여는 방대한 하드웨어가 필요하며 하드웨어를 줄인 경우 다소 부정확한 움직임 벡터가 검출된다.

특히 마쯔시다사의 움직임 성분 검출방법은 다소 정확하기는 하나 120개의 대표점과의 상호관계를 계산해야 하기 때문에 많은 양의 하드웨어가 필요하다.

둘째, 고정된 대표점에서의 데이타를 갖고 상관관계를 계산하기 때문에 좀더 확실한 영상정보를 갖는 점을 놓치기 쉽다.

본 발명은 이와 같은 종래의 결점을 해결하기 위한 것으로 가변적인 16개의 대표점을 선택하여 움직임 성분을 정확하게 찾을 수 있는 장치를 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명은 입력되는 영상신호를 저장하는 기억수단과, 상기 기억수단에 저장된 영상신호를 기준으로 디지탈 줌밍을 수행하여 전체 영상에서 표시되는 영상부분을 선택하도록 하는 줌밍 처리수단과, 한 필드의 영상 데이타를 복수의 대표점 검출영역으로 나누고 상기 대표점 검출영역의 모든점 중에서 최대의 값을 갖는 대표점 선택하고, 상기 대표점을 움직임 벡터 검출영역의 중심점으로 하고 상기의 대표점과 다음 필드의 영상 데이타의 상기 움직임 벡터 검출영역의 대표점을 비교하여 움직임 벡터를 검출하는 움직임 벡터 검출수단과, 상기 움직임이 사용자의 손떨림인지 비디오 카메라의 이동인지를 복수의 움직임 벡터의 연속을 비교하여 결정하고, 상기 기억수단에 저장된 영상신호를 읽어내어 검출된 움직임이 사용자의 손떨림에 의한 것이라고 판단될때 줌밍 처리수단을 제어하여 이를 보상하도록 하는 제어수단을 포함하여 구성함을 특징으로 한다.

이하, 첨부된 도면을 참고로 하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

제6도는 본 발명의 자동영상 안정화 장치의 블럭도로 입력되는 아날로그 영상신호를 디지탈 값으로 변환시키는 A/D 변환기(25)와, A/D 변환기(25)의 디지탈 값으로부터 움직임 벡터를 검출하는 움직임 벡터 검출부(26)와, 상기 A/D 변환기(25)의 디지탈 값을 기억시키는 줌밍(Zooming) 처리부(27)와, 상기 움직임 벡터 검출기(26)의 출력을 메모리 제어기(29)로 전달되도록 제어하는 마이크로 컴퓨터(28)와, 마이크로 컴퓨터(280의 제어에 의해 움직임 정보를 전달받아 줌밍 처리부(27)의 영상데이타 어드레스 위치를 조절하는 메모리 제어기(29)와, 줌밍 처리부(27)의 디지탈 신호를 아날로그 신호로 변환시켜 안정화된 영상을 출력하는 D/A 변환기(30)를 구비하여 구성한 것이다.

상기 줌밍 처리부(27)는 영상신호를 기억시키는 필드 메모리(31)와, 움직임을 보상시키기 위한 영상부분만으로 전체화면에 출력되게 디지탈줌 처리하는 줌밍부(32)로 구성되며, 움직임 벡터 검출기(26)는 A/D 변환기(25)의 디지탈 신호의 노이즈를 제거하는 필터(33)와, 두 영역간의 에지를 검출하기 위하여 특별한 형태의 마스크 처리를 하는 마스크 처리부(34)와, 마스크 처리부(34)에 연결되어 움직임 성분을 검출하기 위한 대표값을 결정하는 이전 대표점 검출부(35)와, 상기 마스크 처리부(34)와 이전 대표점 검출부(35)의 상관관계를 계산하여 움직임 성분을 출력시키는 상관관계 계산부(36)를 포함하여 구성된다.

이와 같은 구성을 갖는 본 발명은 영상신호가 입력되면 A/D 변환기(25)를 거쳐 디지탈 신호로 변환된 후 줌밍 처리부(27)의 필드메모리(31)에 기억됨과 동시에 움직임 벡터 검출기(26)의 필터(33)를 거쳐 노이즈가 제거된다.

이때의 필터(33)는 로우 패스 필터를 사용하며 아래와 같은 평균 필터원리를 이용한다.

즉, 3×3의 영역에 대한 평균 필터 계수 행렬은

출력되는 새로운 영상 행렬에서의 중심 화소값

여기서, fi, j는 계수행렬, Pi, j는 입력 영상데이타이다.

이와 같이 필터(33)에서 영상 데이타가 출력되면 대표값을 구하기 위해 특별한 형태의 마스크를 통과하게 된다.

즉, 마스크 처리부(34)를 통하여 제7도에서와 같이 정의된 영역에서 대표점을 검출할때 중요한 에지 결과를 출력하게 된다.

이때, 수평, 수직방향의 주변화소들과 휘도값 처리를 더한 값을 그 위치에서의 에지값으로 정한다.

이렇게 구해진 에지 데이타는 이전 대표점 검출부(35)를 통해 움직임 성분을 검출하기 위한 대표값을 결정하게 된다.

예를 들어 제7a도에 나타난 바와 같이 16개의 부분으로 나누어진 영역에서 에지값이 가장 큰 점을 대표점으로 정한다.

여기서, 16개의 부분간에 여유를 둔 것을 각 영역에서의 움직임 성분 검출을 위해서 탐색시 인접 부분과의 데이타 중복을 피하기 위함이다.

상기 이전 대표점 검출부(35)에서 출력된 이전화면의 대표점과 마스크 처리부(34)의 현재화면의 에지 데이타가 상관관계 계산부(36)에서 제7b도와 같이 16개의 각 대표점 주변을 움직임 성분 검출을 위한 탐색영역으로 하여 대표점과 탐색영역 내의 에지값의 상관관계를 계산한다.

그리고 각 16개 부분에 대하여 상관관계를 구한 값을 합산하여 최소가 되는 위치 벡터가 움직임 성분으로 되어 마이크로 컴퓨터(28)에 입력된다.

이러한, 마이크로 컴퓨터(28)의 동작을 제8도를 참고로 하여 설명한다.

즉, 움직임 벡터 검출기(26)에서 검출된 대표점의 상관관계를 이용한 움직임 벡터값인 움직임 성분(i,j) 값은 S₁단계에서 각 10개의 프레임에서 추출된 움직임 성분으로 저장된다.

그러면 S₂단계에서 움직임 성분들의 진위를 판정하여 오검출된 움직임 성분일 경우는 S₃단계와 같이 전 프레임의 움직임 성분과 같이되고 올바른 움직임 성분이면 S₄단계와 같이 그 값이 움직임 성분으로 된다.

다음에 S₅단계에서 각각 재 저장된 10개의 움직임 벡터는 S₆단계에서 패닝판정을 실시한다.

만일, 사용자에 의한 고의적인 카메라 이동이면 S₇단계에서와 같이 움직임 벡터값이 0이 되고 손떨림에 의한 움직임이면 S₈단계에서와 같이 움직임 벡터값으로 인식한다.

그리고 S₉단계에서 패닝판정을 따른 움직임 성분에 의해 영상을 중앙으로 보상시켜 보상값을 출력한다.

이와 같이 마이크로 컴퓨터(28)에서 보상값을 출력하면 메모리 제어기(29)에서 필드 메모리(31)의 어드레스를 제어하여 보상영역의 화면을 출력한다.

따라서, 줌밍 처리부(27)의 줌밍부(32)에서는 제9도와 같이 움직임을 보상시키기 위한 영상 부분만을 가지고 전체화면에 출력되도록 디지탈 줌처리를 한 후 D/A 변환기(30)를 거쳐 아날로그 영상신호로 출력된다.

이상에서 설명한 바와 같은 본 발명은 간단한 하드웨어 구성으로 좀더 정확한 움직임 성분을 검출하여 손떨림에 의한 흔들리는 영상을 안정화된 영상으로 보정하여 출력할 수 있는 효과가 있다.

Claims (3)

1. 입력되는 영상신호를 저장하는 기억수단과; 상기 기억수단에 저장된 영상신호를 기준으로 디지탈 줌밍을 수행하여 전체 영상에서 표시되는 영상부분을 선택하도록 하는 줌밍 처리수단과; 한 필드의 영상 데이타를 복수의 대표점 검출영역으로 나누고 상기 대표점 검출영역의 모든 점중에서 최대의 값을 갖는 대표점 선택하고, 상기 대표점을 움직임 벡터 검출영역의 중심점으로 하고 상기의 대표점과 다음 필드이 영상 데이타의 상기 움직임 벡터 검출영역의 대표점을 비교하여 움직임 벡터를 검출하는 움직임 벡터 검출수단과; 상기 움직임이 사용자의 손떨림인지 비디오 카메라의 이동인지를 복수의 움직임 벡터의 연속을 비교하여 결정하고, 상기 기억수단에 저장된 영상신호를 읽어내어 검출된 움직임이 사용자의 손떨림에 의한 것이라고 판단될때 줌밍 처리수단을 제어하여 이를 보상하도록 하는 제어수단을 포함하여 구성함을 특징으로 하는 캠코더의 자동영상 안정화 장치.
2. 제1항에 있어서, 줌밍 처리수단은 디지탈 값으로 변환된 영상신호를 기억시키는 필드 메모리와, 상기 필드 메모리에 연결되어 움직임을 보상시키기 위한 영상부분만으로 전체화면에 출력되도록 디지탈 줌 처리를 하는 줌밍부를 포함하여 구성함을 특징으로 하는 캠코더의 자동영상 안정화 장치.
3. 제1항에 있어서, 움직임 벡터 검출수단은 디지탈 변환된 영상신호의 노이즈를 제거하는 필터와, 상기 필터의 출력측에 접속되어 두 영역간의 에지를 검출하기 위해 마스크 처리를 하는 마스크 처리부와, 상기 마스크 처리부의 출력측에 접속되어 움직임 성분을 검출하기 위한 대표값을 결정하는 이전 대표점 검출부와, 상기 마스크 처리부와 이전 대표점 검출부의 상관관계를 계산하여 움직임 성분을 출력시키는 상관관계 계산부를 포함하여 구성함을 특징으로 하는 캠코더의 자동영상 안정화 장치.