KR100748174B1 - 동영상의 손떨림 검출 및 보정 장치 - Google Patents

Abstract

본 발명은 동영상의 손떨림 검출 및 보정 장치에 관한 것이다. 본 발명의 장치는, 수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하고, 이와 같이 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하여, 연산한 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정한다. 본 발명에 따르면, 주변의 배경을 이용하여 상당히 정확한 전체 움직임을 찾을 수 있다.

움직임, 손떨림, 패닝, 움직임 벡터, 임계값, 누적 움직임량

Description

동영상의 손떨림 검출 및 보정 장치{Apparatus for detecting and correcting motion by hand in moving pictures}

도 1은 본 발명에 따른 동영상의 손떨림 보정 장치의 일실시예 구조도,

도 2a는 본 발명의 장치에 입력되는 가로 방향의 라인의 일예시도,

도 2b는 본 발명의 장치에 입력되는 세로 방향의 라인의 일예시도,

도 3a는 도 1의 움직임 예측부가 수직 방향의 움직임을 예측하는 것을 설명하기 위한 일예시도,

도 3b는 도 1의 움직임 예측부가 수평 방향의 움직임을 예측하는 것을 설명하기 위한 일예시도,

도 4a 및 도 4b는 도 1의 움직임 예측부가 수직 및 수평 방향으로 움직임을 예측하는 것을 설명하기 위한 일예시도,

도 5는 도 1의 누적 움직임량 연산부의 일실시예 상세 구조도,

도 6은 도 1의 보정부가 수행하는 보정 과정을 설명하기 위한 일예시도.

<도면의 주요 부분에 대한 부호의 설명>

110 : 움직임 예측부 120 : 누적 움직임량 연산부

130 : 손떨림 결정부 140 : 보정부

본 발명은 동영상의 손떨림 검출 및 보정 장치에 관한 것으로서, 보다 상세하게는 캠코더 또는 카메라에 사용되는 동영상의 손떨림 검출 및 보정 장치에 관한 것이다.

일반적으로, 동영상의 손떨림 보정에 있어 움직임을 검출하는 방법으로는 블록 매칭 알고리즘이 가장 널리 알려져 있다. 이러한 블록 매칭 알고리즘을 사용하기 위해서는 이전 프레임을 저장할 메모리를 필요로 하는데, 이와 같은 메모리를 추가하지 않기 위해서는 동영상 인코더(encoder)의 메모리를 이용할 수 밖에 없기 때문에 인코더와 연동해서 동작하여야 한다. 따라서, 인코더의 인코딩 속도에 영향을 미치지 않기 위해서는 손떨림 보정을 위해 필요한 전체 움직임 벡터(global motion vector)를 상당히 정확하면서도 최대한 빨리 찾는 것이 과제라 할 수 있다.

이에 대한 선행기술로서, 대한민국 공개특허 제1999-0011577(손떨림 보정시 전체적인 움직임 검출장치 및 방법), 대한민국 공개특허 제2005-0023549호(손떨림 움직임 보상 카메라폰) 및 대한민국 공개특허 제2001-0096969호(영상 단말기의 영상신호 송신 방법 및 장치)가 개시되어 있다.

위 공개특허 제1999-0011577호는 부분적인 움직임의 영향을 배제하고 전체 움직임만을 검출하기 위한 방법을 제시하였는데, 이 방법을 사용할 경우 영상 내에 크기가 작으면서도 움직이는 물체가 하나만 존재하여도 그것의 영향을 받아 움직이는 물체의 방향이 전체 움직임으로 검출되게 된다.

그러나, 손떨림 보정의 기본 정의는 영상 내에서 움직이는 물체의 방향을 이용하여 전체 움직임을 찾는 것이 아니라, 반대로 움직임이 없으면서도 특징이 될만한 물체(예를 들어 나무 혹은 책상, 의자 등의 배경)를 이용하여 전체 움직임을 찾는 것이므로, 위 공개특허에 의해서는 부분적인 움직임의 영향에 의해서는 손떨림에 의한 움직임을 찾아낼 수 없는 문제점이 있다.

또한, 공개특허 제2005-0023549호는 움직임 센서를 이용하여 움직임 벡터를 구한 후, 입력되는 영상이미지의 시작점을 조정하거나, 직접적으로 센서의 구동 펄스를 변조하여 움직임을 보상하는 방법을 제시하고 있다.

그러나, 위 공개특허 제2005-0023549호는, 움직임 벡터가 어떤 임계값을 넘어가면 움직임으로 검출하는 것으로서, 그 움직임이 손떨림에 의한 움직임인지, 아니면 의도적인 움직임(패닝; panning)인지 정확하게 알아낼 수 없으므로, 정확한 손떨림에 의한 움직임을 검출할 수 없는 문제점이 있으며, 또한, 인코더 메모리를 이용하므로, 인코딩 속도에 영향을 미치는 문제점이 있다.

한편, 위 공개특허 제2001-0096969호는, 카메라의 움직임에 의해서 생기는 영상의 흔들림을 보상하여 상대방에게 전송되는 영상의 품질을 향상시키고자 하는 방법을 제시하고 있다.

그러나, 위 공개특허 제2001-0096969호 역시 , 그 움직임이 손떨림에 의한 움직임인지, 아니면 패닝인지 정확하게 알아낼 수 없으므로, 정확한 손떨림에 의한 움직임을 검출할 수 없는 문제점이 있으며, 또한, 인코더 메모리를 이용하므로, 인코딩 속도에 영향을 미치는 문제점이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 입력되는 영상 데이터에 대하여 인코더와 독립적으로 전체 움직임 및 누적 움직임을 계산하여 보정에 필요한 정보를 인코더에 제공함으로써, 인코딩 속도의 손실 없이 손떨림에 의한 움직임을 검출하고 보정하기 위한, 동영상의 손떨림 검출 및 보정 장치를 제공하는데 그 목적이 있다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면, 수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하기 위한 예측부; 상기 예측부가 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하기 위한 누적 움직임량 연산부; 및 상기 누적 움직임량 연산부가 연산한 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정하기 위한 결정부를 포함하는 손떨림 검출 장치가 제공된다.

이때, 누적 움직임량 만큼 영상의 오프셋을 조정하여 흔들림 보정을 수행하기 위한 보정부가 더 포함될 수 있다.

여기서, 상기 예측부는, 수평 방향으로 영상을 소정의 개수의 영역으로 분할하고, 각 영역의 움직임 벡터의 중간값을 취하여 움직임을 예측하고, 수직 방향으로 영상을 소정의 개수의 영역으로 분할하고, 각 영역의 움직임 벡터의 중간값을 취하여 움직임을 예측한다.

또한, 상기 누적 움직임량 연산부는, 입력신호를 지연하고 이득을 곱하기 위한 지연부; 및 입력신호와 상기 지연부의 출력의 연산하여 누적 움직임량을 출력하기 위한 연산부를 포함할 수 있으며, 상기 이득은, 실질적으로 0.95이다.

한편, 상기 결정부는, 상기 누적 움직임량 연산부가 연산한 누적 움직임량이 소정의 임계값보다 큰 경우에는 패닝으로 결정할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 손떨림을 검출하기 위한 이미지 처리 장치의 이미지 프로세서에 있어서, 수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하고, 이렇게 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하여, 연산한 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정하기 위한 검출부; 및 누적 움직임량 만큼 영상의 오프셋을 조정하여 흔들림 보정을 수행하기 위한 보정부를 포함하는 이미지 프로세서가 제공된다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능 한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1은 본 발명에 따른 동영상의 손떨림 보정 장치의 일실시예 구조도이다.

도면에 도시된 바와 같이, 본 발명의 보정 장치는, 움직임 예측부(110), 누적 움직임량 연산부(120), 손떨림인지 패닝인지 여부를 결정하기 위한 손떨림 결정부(130) 및 손떨림에 의한 움직임을 보정하기 위한 보정부(140)를 포함하여 구성된다.

한편, 도 2a 및 도 2b는 본 발명의 장치에 입력되는 가로 및 세로 방향의 라인의 일예시도이다.

도면에 도시된 바와 같이, 본 발명의 장치가 수직/수평 방향의 움직임 벡터를 예측하기 위해 필요한 가로 및 세로 방향으로의 화소값들의 평균값을 구하여, 그 평균값이 입력된다. 예를 들어, 인코딩 될 영상의 크기가 VGA(640*480)일 때를 기준으로 설명하면, 도 2에서와 같이 가로 방향으로 240개, 세로 방향으로 540개 라인에 대한 화소값들의 평균값을 구한다. 참고로, 움직임 벡터의 빠른 연산을 위해 전체 영상의 절반에서만 데이터를 추출하여 값을 구할 수 있다. 다만, 본 발명의 장치에 입력되는 데이터의 종류는 이에 한정되는 것은 아니라 할 것이다.

도 1의 움직임 예측부(110)는 수직/수평 방향의 움직임을 예측하는 기능을 담당한다. 이하, 도 3을 참조로 움직임 예측부(110)의 동작을 상세히 설명하자.

도 3a는 도 1의 움직임 예측부가 수직 방향의 움직임을 예측하는 것을 설명 하기 위한 일예시도이다.

도 3a를 참조로 하면, 본 발명의 움직임 예측부는, 영상을 가로 방향으로 세 개의 영역으로 나누고, 각 영역에서 가로 방향으로 화소값들을 더한 벡터

를 구한다. 현재 영상에서 구한 벡터

를 이전 영상에서 구한 벡터

과 탐색 영역 내에서 비교하여 가장 유사한 벡터를 찾는다. 이때 유사도 측정을 위해 SAD(sum of absolute difference)를 이용하였으며, 그 수식은 다음과 같다.

여기서,

로 길이가 N인 벡터이며,

는 탐색 영역 안에서의 최대 범위를 나타낸다. 각 영역에서의 움직임 벡터는 탐색 영역 안에서 SAD가 가장 적은 값을 가질 때의 위치를 찾음으로써 구하게 된다. 즉, 다음 수학식과 같다.

각 영역에서 구한 움직임 벡터는 수직 방향으로 하나의 전체 움직임 벡터를 정의하기 위하여 사용되며, 그 수식은 다음과 같다.

즉, 본 발명의 움직임 예측부(110)는 수평 및 수직 영역을 세 개로 나누어 각 로컬 영역에서 찾은 움직임 벡터의 중간값(median vlaue)을 취함으로써, 움직이는 물체의 크기가 영상 크기의 절반 이상을 초과하지 않을 경우에는 주변의 배경(즉, 움직임이 없는 물체)을 이용하여 상당히 정확한 전체 움직임을 찾을 수 있다.

한편, 도 3b는 도 1의 움직임 예측부가 수평 방향의 움직임을 예측하는 것을 설명하기 위한 일예시도이다.

본 발명의 움직임 예측부(110)는 영상을 세로 방향으로 세 개의 영역으로 나눈 뒤, 각 영역에서 세로 방향으로 화소값들을 더한 벡터

를 구한다. 현재 영상에서 구한 벡터

를 이전 영상에서 구한

와 탐색 영역 내에서 비교하여 가장 유사한 벡터를 찾음으로써, 최종적으로 수평 방향으로 하나의 전체 움직임 벡터

를 구하게 된다. 그 중간 과정은 수직 방향의 움직임 예측 과정과 동일하므로 그 상세한 설명은 생략하기로 한다.

즉, 도 2a 및 도 2b와 같이 세로 및 가로 방향으로의 화소값들의 평균값이 입력되면, 움직임 예측부(110)는 수직/수평 방향의 움직임 벡터를 예측한다. 도 4a 및 도 4b는 도 1의 움직임 예측부가 수직 및 수평 방향으로 움직임을 예측하는 것을 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 탐색 영역은 ±30이다. 움직임 벡터를 예측하는 방법에 대해서는, 위에서 설명한 바와 같으며, 본 발명의 적용례에서 수평 방향의 움직임 벡터는 계산량을 줄이기 위해 1/2로 다운 샘플링(down sampling)해서 구할 수 있다.

도 1의 누적 움직임량 연산부(120)는 움직임 예측부(110)가 구한 수직/수평 방향의 움직임 벡터를 이용하여 수직/수평 방향의 누적 움직임량을 계산하는 기능을 담당한다. 이를 도 5를 참조로 설명하기로 하자.

도 5는 도 1의 누적 움직임량 연산부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 누적 움직임량 연산부(120)는 연산부(310) 및 지연부(320)를 포함하여 구성되며, 그 입력인

는 다음 수학식과 같다.

지연부(320)는 입력신호를 지연하고 이득

를 곱하여 연산부(310)에 제공한다. 본 발명의 바람직한 일실시예에 따르면,

는 0.95이다. 연산부(310)는 지연부(320)에서 입력신호

와 지연부(320)에서 입력된 신호를 덧셈 연산하는 기능을 담당한다. 연산부(310)의 출력인

는 다음의 수학식과 같으 며,

이다.

한편, 도 1의 손떨림 결정부(130)는 누적 움직임량 연산부(120)가 연산한 누적 움직임량이 소정의 임계값보다 작을 경우에는 손떨림으로 간주하고, 보정부(140)로 전달한다. 그러나 누적 움직임량이 임계값보다 클 경우에는 의도적인 움직임(패닝; panning)으로 간주한다. 예를 들어, 손떨림 결정부(130)는 손떨림 또는 패닝인지 여부는 연속된 10장의 영상에서 구한 누적 움직임량이 20보다 적을 때를 손떨림으로 간주할 수 있다.

보정부(140)의 보정 과정을 설명하기 위한 것이 도 6에 나타나 있다. 도 6은 도 1의 보정부가 수행하는 보정 과정을 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 누적 움직임량이 안정(stabilization) 영역 내에 속하는 경우에는 누적 움직임량만큼 영상의 오프셋(도 6의'X_offset'과 'Y_offset')을 조정하여, 프레임 메모리로부터 적절한 영역을 읽어 인코딩을 수행함으로써, 흔들림이 보정된 영상을 획득할 수 있다. 흔들림 보정 중간에 누적 움직임량이 안정 영역을 벗어나면, 누적 움직임량의 값을 초기화하여 연산한다. 이때, 모드 전환으로 인한 영상의 끊김 현상을 제거하기 위해 마지막 누적 움직임량의 1/4에 해당하는 움직임 벡터만큼 연속하는 3장의 영상에 걸쳐 순차적으로 이동시켜 원래 위치로 복귀시킬 수도 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 수평 및 수직 영역을 세 개로 나누어 각 로컬 영역에서 찾은 움직임 벡터의 중간값(median vlaue)을 취함으로써, 움직이는 물체의 크기가 영상 크기의 절반 이상을 초과하지 않을 경우에는 주변의 배경(움직임이 없는 물체)을 이용하여 상당히 정확한 전체 움직임을 찾을 수 있도록 하는 효과가 있다.

또한, 본 발명은 인코더와는 독립적으로 CSP 중간 과정에서 입력되는 영상 데이터를 가지고 빠른 연산을 통해 전체 움직임 및 누적 움직임량을 계산하여 손떨림 보정에 필요한 정보를 인코더에 제공함으로써, 인코딩 속도에 전혀 손실을 주지 않으면서도 상당히 정확한 보정이 가능하도록 하는 효과가 있다.

또한, 본 발명은 패닝과 손떨림을 구분하여 손떨림의 경우만을 검출함으로써, 정확한 손떨림 보정이 가능하도록 하는 효과가 있다.

Claims (8)

1. 수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하기 위한 예측부;

   상기 예측부가 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하기 위한 누적 움직임량 연산부;

   상기 누적 움직임량 연산부가 연산한 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정하기 위한 결정부; 및

   상기 결정부에 의해 손떨림으로 결정된 경우, 상기 누적 움직임량 만큼 영상의 오프셋을 조정하여 흔들림 보정을 수행하기 위한 보정부를 포함하는 손떨림 검출 장치.
2. 삭제
3. 제1항에 있어서, 상기 예측부는, 수평 방향으로 영상을 소정의 개수의 영역으로 분할하고, 각 영역의 움직임 벡터의 중간값을 취하여 움직임을 예측하는 손떨림 검출 장치.
4. 제1항에 있어서, 상기 예측부는, 수직 방향으로 영상을 소정의 개수의 영역 으로 분할하고, 각 영역의 움직임 벡터의 중간값을 취하여 움직임을 예측하는 손떨림 검출 장치.
5. 제1항에 있어서, 상기 누적 움직임량 연산부는, 입력신호를 지연하고 이득을 곱하기 위한 지연부; 및

   입력신호와 상기 지연부의 출력의 연산하여 누적 움직임량을 출력하기 위한 연산부를 포함하는 손떨림 검출 장치.
6. 제5항에 있어서, 상기 이득은, 실질적으로 0.95인 손떨림 검출 장치.
7. 제1항에 있어서, 상기 결정부는, 상기 누적 움직임량 연산부가 연산한 누적 움직임량이 소정의 임계값보다 큰 경우에는 패닝으로 결정하는 손떨림 검출 장치.
8. 손떨림을 검출하기 위한 이미지 처리 장치의 이미지 프로세서에 있어서,

   수직/수평 방향의 움직임 벡터를 구하여 입력되는 영상의 움직임을 예측하여 구한 움직임 벡터를 이용하여, 수직/수평 방향의 누적 움직임량을 연산하고, 상기 누적 움직임량이 소정의 임계값보다 작을 경우 손떨림으로 결정하기 위한 검출부; 및

   상기 검출부에 의해 손떨림으로 결정된 경우, 상기 누적 움직임량 만큼 영상의 오프셋을 조정하여 흔들림 보정을 수행하기 위한 보정부를 포함하는 이미지 프로세서.

Images