KR940001831B1 - 캠코더의 화상떨림 보상방법 및 장치 - Google Patents

Abstract

내용 없음.

Description

캠코더의 화상떨림 보상방법 및 장치

제1도는 본 발명에 따른 회로도.

제2도는 화상의 전체이동 및 대상물의 이동 상태도.

제3도는 본 발명에 따른 떨림 보상 상태도.

제4도는 본 발명에 따른 서브블럭 추출개념도.

제5도는 본 발명에 따른 서브블럭 추출예시도.

제6도는 운동량 검출 개략도.

제7도는 본 발명에 따른 움직임 검출 개략도.

제8도는 본 발명에 따른 움직임 검출에 발생된 위치 벡터 어드레스 발생 예시도.

제9도는 제7도에 도시된 동적검출의 실시 예시도.

본 발명은 캠코더에 있어서 화상떨림 보상방법 및 장치에 관한 것으로, 특히 운동추출 알고리즘에 의해 입력 영상의 움직임량을 검출하고 상기 움직임 검출신호에 의해 전체화면에 떨림을 보상하는 캠코더의 화상떨림 보상방법 및 장치에 관한 것이다.

휴대용 비디오 카메라를 이용하여 대상물을 촬영할 때 사용자의 신체적인 떨림에 의해서 전체적인 화면의 떨림 현상이 일어나게 된다. 상기 화면이 떨린 자체로 기록되면 재생 화면에서 그대로 나타나므로 시청자의 눈의 피로를 가중시키는 문제점이 있었다.

따라서 본 발명의 목적은 운동검출 장치를 이용하여 전체화면에서 화면의 떨림을 검출하고 상기 화면떨림 검출신호에 의해 보상하여 떨림 현상을 제거할 수 있는 방법 및 회로를 제공함에 있다.

상기 목적을 수행하기 위한 본 발명에 전체 화상에서 운동검출이 필요한 위치에서 서브블럭을 추출하고 상기 추출된 서브출력을 그이전 프레임에 추출한 서브블럭과 비교하여 운동량을 검출하고, 운동검출값에 따라 떨림을 보상토록 되어 있다.

이하 본 발명을 첨부된 도면을 참조하여 상세히 설명한다.

제1도는 본 발명에 따른 회로도로서, B, G, B 신호를 색차신호(Y, R-Y, B-Y)를 변환하는 좌표 변환기(11)와, 상기 좌표 변환기(11)의 휘도(Y)를 신호를 디지털 데이터로 변환하는 A/D 변환기(12)와, 수직 및 수평동기신호(Vsync, Hsync) 및 클럭신호(CLK)에 따라 상기 A/D변환기(12)의 출력 데이터를 프레임 단위로 저장할 로우/칼럼 어드레스 데이터를 발생하는 제1, 2어드레스 발생기(15, 16)와, 상기 A/D변환기(12)의 출력 휘도 데이터를 상기 제1, 2어드레스 발생기(15, 16)의 출력에 따라 프레임 단위로 나누어 저장하는 제1, 2프레임 메모리(13, 14)와, 상기 입력되는 동기신호를 받아 상기 제1, 2어드레스 발생기(15), (16)의 억세스를 제어하는 어드레스 제어회로(25)와, 상기 제1프레임 메모리(13)에서 출력되는 서브블럭 윤곽 데이터를 저장하는 서브블럭 윤곽 메모리(18)와, 상기 제2프레임 메모리(14)에서 출력되는 서브블럭 데이터를 저장하는 서브블럭 메모리(19)와, 상기 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(19)의 입출력 데이터를 지정하는 어드레스 신호 및 서브블럭위치 정보를 발생하는 서브블럭 어드레스 발생기(20)와, 상기 서브블럭 어드레스 발생기(20)의 출력에 따라 위치 데이터를 일시 기억하는 X, Y벡터 레지스터(21)와, 상기 X, Y벡터 레지스터(21)의 출력위치 벡터들 가운데 최소값을 상기 제1, 2어드레스 발생기(15, 16)에 입력하여 프레임 어드레스 발생을 제어하는 최소화 회로(17)와, 상기 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(19)의 출력 데이터 차의 누적합을 구하여 최소값일 때 상기 서브블럭 어드레스(20)에 입력하여 위치정보 운동벡터 발생을 제어하는 산술회로(22)로 구성된다.

상기 산술회로(22)는 상기 서브블럭 윤곽 메모리(28) 및 서브블럭 메모리(19)의 출력값을 각각 절대치화하는 절대치회로(221)와, 상기 절대치회로(221)의 출력을 합하는 합성기(222)와, 상기 합성기(222)의 출력을 최소화하는 최소화 회로(223)로 구성된다.

따라서 본 발명의 구체적 일실시예를 제1도를 참조하여 상세히 설명하면, 캠코더는 동영상을 촬영하여 비디오 테이프에 기록하는 장치인데, 상기 동영상의 특징은 초당 30프레임의 연속된 정지 영상의 흐름으로 구성되어 있다. 소정 프레임에서 서로 인정한 프레임간 통계적인 특성을 매우 상관성이 높은 것으로 알려져 있다. 따라서 인접한 프레임의 타영상에 의해서 운동량을 검출할 수 있는데, 만약 캠코더에서 사용자의 떨림에 의해 발생한 운동량과 실제 대상물(피사체)의 실제 움직임에 의해서 발생한 운동량 사이의 상태의 변화는 제2도와 같이 나타난다.

제1도에서 실선은 비교하고자 하는 프레임이고, 점선은 이전 프레임을 나타내고 있다. 카메라의 떨림에 의해서 촬영된 영상은(2A)와 같이 화면이 전체적으로 움직이게 되나 대상물의 실제적인 운동에 의한 결과는(2B)와 같이 해당 영상이 부분적인 움직임으로 나타난다.

상기 떨림 보상을 위해 본 발명을 실제 촬영되는 화면으로부터 기록화면을 분할하고, 상기 분할된 화면의 떨림을 검출하여 움직임량을 추출해낸다. 상기 움직임량의 추출값을 기준으로 시작점을 이동시켜 떨림을 보상하고자 하는 것이 본 발명이다.

제3도에서와 같이 실선의 실제 촬영된 화면으로부터 시작점(x0, y0)을 나타낸 소정 화면이 점선과 같이 변환되어 움직임량(xm, ym)이 검출되어 있다면 이 검출값에 따라 시작점을 이동시켜 기록한다면 떨림이 없는 화상을 비디오 테이프에 기록할 수 있게 된다.

이를 위해, B, G, B 영상신호를 좌표변환기(11)에 입력하여 휘도(Y) 및 색차신호(R-Y, B-Y)로 변환한다.

상기 좌표변환기(11)에서 변환 출력된 휘도(Y) 신호를 A/D변환기(12)에서 디지털 데이터로 변환하여 제1, 2프레임 메모리(13, 14)에 저장한다.

상기 제1, 2프레임 메모리(13, 14)에 기록시 수직.수평 동기단(VSync, HSync) 및 클럭(CLK) 신호에 따라 제1어드레스 발생기(15)에서 발생하는 로우/칼럼 어드레스 신호에 의해 상기 A/D변환기(12)의 출력 데이터를 프레임 단위로 제1프레임 메모리(13)에 기록하고, 제2어드레스 발생기(!6)에 발생되는 로우/칼럼 어드레스 신호에 의해 프레임 단위로 제2프레임 메모리(14)에 기록한다.

상기 제1, 2프레임 메모리(13, 14)에 상기 A/D변환된 디지털 휘도 데이터를 기록시 어드레스 제어회로(25)의 출력에 따라 제어된다.

상기 어드레스 제어회로(25)는 수직동기단(VSync)의 신호를 받아 내부적으로 소정 카운트하여 상기 제1프레임 메모리(13)가 휘도 데이터를 라이트할때는 제1어드레스 발생기(15)를 인에이블하여 로우/칼럼 어드레스 데이터가 발생하도록 하고, 상기 제1프레임(B)에 데이터 저장이 완료될 시점이면 제2어드레스 발생기(16)를 제어하여 제2프레임 메모리(!4)로 그 다음 프레임의 휘도 데이터를 라이트할 로우/칼럼 어드레스 데이터를 발생한다.

상기한 바와 같이 제1, 2프레임 메모리(13, 14)에 순차적으로 입력되는 두 프레임의 휘도 데이터의 저장이 완료되면 어드레스 제어회로(25)의 출력에 의해 제1, 2어드레스 발생기(15, 16)를 제어하여 제1, 2프레임 메모리(13, 14)내의 영상에 대해 제4도와 같이 소정의 서브블럭을 추출하도록 제어하는데, 서브블럭 추출은 매 프레임에서 행하여지는데 윤곽내의 모든 데이터를 저장해야 하며 현재 프레임의 서브블럭의 데이터와 그 이전 프레임의 서브블럭의 데이터 값을 보관하기 위해 상기한 바와 같이 어드레스 신호에 의해 이루어진다.

제5도와 같이 4-5개 정도 서브블럭이 선택되는 것을 예로 하며, 서브블럭의 크기는 계산량을 고려하여 작으면 작을수록 신속히 처리할 수 있으나 부정확하여지기 때문에 8×8픽셀∼16×16픽셀 정도에서 적절히 선택하면 바람직한 것으로 본다. 그리고 서브블럭 갯수와 위치도 제5도와 같이 화면으로부터 전체적으로 분포하도록 4개 이상이 좋으나 본 발명의 실시예에서는 5개로 하였다. 제5도에서 실선이 그것을 도시하였다.

상기 제1, 2프레임 메모리(13, 14)내의 선택된 서브블럭의 데이터를 제1, 2어드레스 발생기(15, 16)의 제어에 의해 읽혀져 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(18, 19)에 기록한다.

상기 제1프레임 메모리(13)의 선택된 서브블럭 데이터가 서브블럭 윤곽 메모리(18)에 기록되는데, 서브블럭 윤곽 메모리(18)는 상기 선택된 서브블럭 보다 큰 영역을 가지도록 하여 선택된 서브블럭 값이 충분히 기록되도록 한다. 즉, 서브블럭에 대해 윤곽이 나타나도록 기록되며, 상기 서브블럭 윤곽 메모리(18)의 화상 데이터 기입/독출은 서브블럭 어드레스 발생기(20)에서 발생되는 기입/독출 제어신호 및 어드레스 신호에 따라 처리된다.

즉, 상기 서브블럭 윤곽 메모리(18)는 제5도에서 점선으로 운동량 검출을 위해 윤곽으로 표시되는데, 상기 윤곽의 크기는 떨림이 최대로 일어날 수 있는 크기로 해주면 되는데, 떨림은 시간적으로 상하 좌우로 반복적으로 일어나며, 운동 자체가 크지 않으므로 10픽셀 정도이면 충분하다. 서브블럭과 윤곽과의 관계식을 다음 ①식과 같이 표현할 수 있다.

BBs=BSTT max

BBs; 서브블럭 윤곽크기

Bs; 서브블럭크기

Tmax : 최대 떨림

그리고 제2프레임 메모리(14)의 선택된 서브블럭 화상 데이터는 서브블럭 메모리(19)에 저장되어 지는데, 역시 서브블럭 어드레스 발생기(20)에서 발생되는 제어신호 및 어드레스 신호에 따라 기입/독출된다. 상기 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(19)에 기입된 서브블럭은 산술회로(22)의 절대치회로(221)에서 현프레임의 서브블럭과 이전 프레임의 서브블럭과 차의 영상을 구하는 것으로 서브블럭 윤곽 메모리(18)의 서브블럭값(A)의 서브블럭 메모리(19)의 저장값(B)을 감산한 후(A-B) 절대치화한다(A-B). 상기 절대치 회로(221)에서 처리한 값을 합성기(222)에서 합산한다.

상기 제1, 2프레임 메모리(13, 14) 서브블럭의 탐색영역은 10픽셀이며, 이때 10회 정도 산술회로(22)의 절대치회로(221)와 합성기(222)를 거쳐 합산처리한다.

예를 들어, 상기 절차를 상하좌우 1픽셀씩 이동하면서 구한 결과를 Ey+, Ey-, Ex+, Ey-라고 할 때 Eo, Ey+, Ey-, Ex+, Ex-를 서로 비교하여 최소화 회로(223)에서 최소값을 찾는다. 상기 최소값이 일어나는 위치가 그 전 프레임과 가장 비슷한 위치가 된다. 만약 Eo가 가장 적다면 그 서브블럭에서의 움직임은 전혀 일어나지 않았다고 볼 수 있으며, Eo외에 다른 어떤 값이 최소값이라면 그쪽 방향으로 운동이 일어났다고 볼 수 있다. 그러면 원점(x0, y0)값을 그 방향으로 이동시켜 위의 절차를 수행하여 Eo가 최소값이 될때까지 반복한다. 이렇게 하여 제6도와 같이 최종적으로 x0, y0의 위치가 x1, y1이 되며, 그 전 프레임의 x0, y0의 위치의 데이터들은 현재 프레임에서 x1, y1으로 이동했다는 것을 알 수 있다.

상기한 구체적인 처리 흐름은 제7도에서와 같으며, 상기 서브블럭의 차를 계산하여 상기 합성기(222)에서 누적 래치한 합산값으로부터 최소화 회로(222)에서 비교기에 의한 비교에 의해 최소값의 선택에 따라 움직임이 검출되는데, 이 값이 서브블럭 어드레스 발생기(20)에 인가된다.

상기의 블럭의 운동검출은 제5도에서와 같이 전체 화면에서 각각의 모든 블럭에 대해서 수행하되, 각 블럭의 탐색영역이 10픽셀이면 10회 처리하여 움직임을 검출하여 제7도에서 보여주듯이 떨림이 생겨서 화면이 움직였을 때 제8a도와 같이 모든 블럭에서 일정한 양의 운동이 검출되며 그 양과 방향은 거의 같다. 그리고 제8b도와 같이 대상물이 움직였을때는 몇개의 블럭에서 움직임이 검출되며, 양과 방향은 다를 수 있다. 이러한 특징에 의해서 떨림을 감지할 수 있으며 움직임 검출량에 의해서 검출값을 서브블럭 어드레스 발생기(20)에 입력한다.

상기 서브블럭 어드레스 발생기(20)에 움직임 검출값이 입력될시 이때의 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(19)에 인가한 위치어드레스 값에 따른 위치 벡터 값을 X, Y벡터 레지스터(21)에 기록한다. 상기 제1, 2프레임 메모리(13, 14)의 5개의 서브블럭에 위치 벡터 값에 X, Y벡터 레지스터(21)에 모두 저장되어지면 이 값을 읽어 최소화회로(17)에서 최속값을 선택하여 제1, 2어드레스 발생기(15, 16)에 입력한다. 이때 제1, 2어드레스 발생기(15, 16)는 상기 최소화 회로(17)에 의해 발생한 위치 벡터 값에 따라 어드레스를 발생하여 제1, 2프레임 메모리(13, 14)에 인가하면 위치 벡터값 만큼 제3도와 같이 시작됨을 이동시켜 테이프에 기록하도록 하며, 재생시 이로인해 떨림없는 화면을 시청할 수 있게 된다.

상술한 바와 같이 운동 검출에 의해 전체 화면의 떨림을 보상하여 양질의 화상 신호를 기록할 수 있는 이점이 있다.

Claims (6)

1. 캠코더의 화상떨림 보상 회로에 있어서, R, G, B 신호를 색차신호(Y, R-Y, B-Y)를 변환하는 좌표변환기(11)와, 상기 좌표 변환기(11)의 휘도(Y) 신호를 디지털 데이터로 변환하는 A/D변환기(12)와, 수직 및 수평동기신호(Vsync, Hsync) 및 클럭신호(CLK)에 따라 상기 A/D변환기(12)의 출력 데이터를 프레임 단위로 저장할 로우/칼럼 어드레스 데이터를 발생하는 제1, 2어드레스 발생기(15, 16)와, 상기 A/D변환기(12)의 출력 휘도 데이터를 상기 제1, 2어드레스 발생기(15, 16)의 출력에 따라 프레임 단위로 나누어 저장하는 제1, 2프레임 메모리(13, 14)와, 상기 제1, 2프레임 메모리(13, 14)를 제어하는 어드레스 제어회로(25)와, 상기 제1프레임 메모리(13)에서 출력되는 서브블럭 윤곽 데이터를 저장하는 서브블럭 윤곽 메모리(18)와, 상기 제2프레임 메모리(14)에서 출력되는 서브블럭 데이터를 저장하는 서브블럭 메모리(19)와, 상기 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(19)의 입출력 데이터를 지정하는 어드레스 신호 및 서브블럭위치 정보를 발생하는 서브블럭 어드레스 발생기(20)와, 상기 서브블럭 어드레스 발생기(20)의 출력에 따라 위치 데이터를 일시 기억하는 X, Y벡터 레지스터(21)와, 상기 X,Y벡터 레지스터(21)의 출력위치 벡터들 가운데 최소값을 상기 제1, 2어드레스 발생기(15, 16)에 입력하여 프레임 어드레스 발생을 제어하는 최소화 회로(17)와, 상기 서브블럭 윤곽 메모리(18) 및 서브블럭 메모리(19)의 출력 데이터 차의 누적합을 구하여 최소값일 때 상기 서브블럭 어드레스(20)에 입력하여 위치정보 운동벡터 발생을 제어하는 산술회로(22)로 구성됨을 특징으로 하는 캠코더의 화상떨림 보상회로.
2. 제1항에 있어서, 상기 산술회로(22)는 상기 서브블럭 윤과 메모리(18) 및 서브블럭 메모리(19)의 출력값을 각각 절대치화 하는 절대치회로(221)와, 상기 절대치회로(221)의 출력을 합하는 합성기(222)와, 상기 합성기(222)의 출력을 최소화하는 최소화 회로(223)로 구성됨을 특징으로 하는 캠코더의 화상떨림 보상회로.
3. 제1항에 있어서, 서브블럭 윤곽 메모리(18)가 상기 제1프레임 메모리(13)의 추출 서브블럭 사이즈보다 충분히 큰 사이즈로 구성되어 있음을 특징으로 하는 캠코더의 화상떨림의 보상회로.
4. 캠코더의 영상 떨림 보상 방법에 있어서, 영상의 휘도신호를 디지털화하여 복수 프레임 단위로 나누어 기록하는 제1과정과, 상기 복수의 프레임으로부터 움직임을 검출할 서브블럭을 선택하는 제2과정과, 상기 복수의 프레임 화상 신호중 이전 프레임 영상신호와 현프레임의 영상신호 대응 서브블럭 영상신호를 비교하여 서브 차영상신호를 검출하는 제3과정과, 상기 제3과정의 차영상 신호의 값을 가산하고 상기 모든 서브블럭의 차영상 신호의 가산값에서 최소치를 선택하여 움직임량을 검출하는 제4과정과, 상기 제4과정의 최소값에 대응하는 위치 벡터 어드레스 값을 발생하는 제5과정과, 상기 제5과정에서 발생한 위치 벡터 어드레스 값에서 최소값을 추출하여 추출한 값만큼 상기 프레임 화면을 이동하여 움직임 만큼 떨림을 보상하는 제6과정으로 이루어짐을 특징으로 하는 캠코더의 화상떨림 방법.
5. 제4항에 있어서, 제4과정의 서브블럭의 차영사신호 검출을 서브블럭의 픽셀수 만큼 실행함을 특징으로 하는 캠코더의 화상떨림 방법.
6. 제4항에 있어서, 서브블럭의 추출이 전체 화면으로부터 고른 분포가 되도록 선택되어짐을 특징으로 하는 캠코더의 화상떨림 방법.