KR101324244B1 - 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체 - Google Patents

Abstract

본 발명은 촬영된 또는 촬영하는 동영상을 효과적으로 안정화시킬 수 있는 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체를 위하여, 현재 프레임이미지와 기준이미지를 비교함으로써, 상기 현재 프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 모션벡터 확정부와, 상기 모션벡터의 크기가 사전설정된 크기보다 작으면 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는 동영상 안정화부와, 상기 모션벡터의 크기가 사전설정된 크기보다 크면 상기 현재 프레임이미지를 기준이미지로 업데이트하는 기준이미지 업데이트부를 구비하는 것을 특징으로 하는 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.

Description

디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체{Digital moving picture photographing apparatus, method for controlling the same, and recording medium storing program to implement the method}

본 발명은 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것으로서, 더 상세하게는 촬영된 또는 촬영하는 동영상을 효과적으로 안정화시킬 수 있는 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것이다.

디지털 동영상 촬영장치는 각종 동영상을 촬영하기 위한 것으로서, 최근 휴대용 동영상 촬영장치 및/또는 CCTV 등에 대한 수요가 급증하여 이에 대한 연구개발이 활발히 진행되고 있다.

휴대용 동영상 촬영장치의 경우 사용자가 동영상 촬영장치를 손으로 들고 동영상을 촬영하는 것이 일반적인 바, 동영상 촬영 과정에서 발생할 수 있는 동영상 촬영장치의 흔들림에 의한 이미지의 불안정성을 해소하기 위한 연구개발이 이루어지고 또한 지정된 위치에 부착되어 작동하는 CCTV 등의 경우에도 외부로부터의 진 동 등에 의해 동영상 촬영 과정에서 발생할 수 있는 동영상 촬영장치의 흔들림에 의한 이미지의 불안정성을 해소하기 위한 연구개발이 활발히 진행되고 있다.

즉, 피사체의 위치가 변화가 없는 상황에서 동영상을 촬영하더라도 동영상 촬영장치가 흔들림에 따라 이미지 내에서의 피사체의 위치는 달라질 수 있는 바, 종래의 동영상 촬영장치를 이용하여 촬영된 결과물인 동영상을 재생할 시 이미지 내에서 피사체의 위치가 계속해서 달라지게 된다는 문제점이 있었다. 이와 같이 재생 시 이미지 내에서 피사체의 위치가 계속해서 달라지는 것은 결과적으로 이미지 내에서 피사체가 흔들리는 것으로 나타나게 되며, 이는 시청자의 어지러움증 또는 나아가 구토증을 유발한다는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 촬영된 또는 촬영하는 동영상을 효과적으로 안정화시킬 수 있는 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.

본 발명은 현재 프레임이미지와 기준이미지를 비교함으로써, 상기 현재 프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 모션벡터 확정부와, 상기 모션벡터의 크기가 사전설정된 크기보다 작으면 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는 동영상 안정화부와, 상기 모션벡터의 크기가 사전설정된 크기보다 크면 상기 현재 프레임이미지를 기준이미지로 업데이트하는 기준이미지 업데이트부를 구비하는 것을 특징으로 하는 디지털 동영상 촬영장치를 제공한다.

이러한 본 발명의 다른 특징에 의하면, 상기 모션벡터 확정부는, 현재 프레임이미지의 (x,y) 화소의 데이터를 P(x,y)라 하고 기준이미지의 (x,y) 화소의 데이터를 R(x,y)라 할 시, 사전설정된 영역 내에서 P(x+i,y+j)와 R(x,y)의 차이를 처리한 값의 합이 최소가 되도록 하는 (i,j)를 확정하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 현재 프레임이미지 또는 기준이미지를 다 운샘플링하는 다운샘플링부를 더 구비하고, 상기 모션벡터 확정부는 다운샘플링된 현재 프레임이미지와 다운샘플링된 기준이미지를 비교함으로써 모션벡터를 확정하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 현재 프레임이미지 또는 기준이미지를 다운샘플링하는 다운샘플링부를 더 구비하고, 상기 모션벡터 확정부는 다운샘플링된 현재 프레임이미지를 기준이미지와 비교함으로써 모션벡터를 확정하고, 상기 기준이미지 업데이트부는 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하는 것으로 할 수 있다.

본 발명은 또한, 현재 프레임이미지와 기준이미지를 비교함으로써 상기 현재 프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 단계와, 상기 모션벡터의 크기가 사전설정된 크기보다 작으면 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는 단계와, 상기 모션벡터의 크기가 사전설정된 크기보다 크면 상기 현재 프레임이미지를 기준이미지로 업데이트하는 단계를 포함하는 것을 특징으로 하는 디지털 동영상 촬영장치 제어방법을 제공한다.

이러한 본 발명의 다른 특징에 의하면, 상기 모션벡터를 확정하는 단계는, 현재 프레임이미지의 (x,y) 화소의 데이터를 P(x,y)라 하고 기준이미지의 (x,y) 화소의 데이터를 R(x,y)라 할 시, 사전설정된 영역 내에서 P(x+i,y+j)와 R(x,y)의 차이를 처리한 값의 합이 최소가 되도록 하는 (i,j)를 확정하는 단계인 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 모션벡터를 확정하는 단계는, 현재 프레임이미지와 기준이미지를 다운샘플링하여 비교함으로써 모션벡터를 확정하는 단계인 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 모션벡터를 확정하는 단계는 현재 프레임이미지를 다운샘플링하여 기준이미지와 비교함으로써 모션벡터를 확정하는 단계이고, 상기 업데이트하는 단계는 현재 프레임이미지를 다운샘플링하여 기준이미지로 업데이트하거나 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하는 단계인 것으로 할 수 있다.

본 발명은 또한 상기와 같은 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.

상기한 바와 같이 이루어진 본 발명의 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체에 따르면, 촬영된 또는 촬영하는 동영상을 효과적으로 안정화시킬 수 있는 디지털 동영상 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체를 구현할 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

도 1a 내지 도 1c는 기준이미지와 디지털 동영상 촬영장치가 흔들리는 경우의 프레임이미지들을 개략적으로 도시하는 개념도들이다. 도 2는 본 발명의 일 실 시예에 따른 디지털 동영상 촬영장치를 개략적으로 도시하는 블록도이고, 도 3은 도 2의 일부분을 개략적으로 도시하는 개념도이다.

먼저 도 2를 참조하면, 동영상 촬영장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 동영상 촬영장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 동영상 촬영장치를 제어할 수 있도록 한다.

촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)는 입력된 광으로부터 동영상의 프레임이미지에 관한 데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다. 이러한 동영상 촬영장치의 구성요소들은 데이터 획득부라고 총칭될 수 있는 바, 물론 데이터 획득부는 반드시 이러한 구성요소들을 모두 구비할 필요는 없으며 입사하는 광으로부터 동영상에 대한 데이터를 획득할 수 있는 구성요소라면 데이터 획득부에 구성요소가 될 수 있다.

촬상소자(30)로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다. 또한 후술하는 바와 같이 디지털 신호 처리부(50)는 모션벡터 확정부(51), 동영상 안정화부(53) 및 기준이미지 업데이트부(55)를 구비함으로써, 동영상 촬영 시 발생하는 동영상 촬영장치의 흔들림에 의한 동영상 불안정성을 줄이는 기능을 할 수 있다. 물론 모션벡터 확정부(51), 동영상 안정화부(53) 및 기준이미지 업데이트부(55)는 디지털 신호 처리부(50)의 일부가 아닌 별도의 구성요소일 수도 있으며, 나아가 다른 구성요소의 일부일 수도 있는 등 다양한 변형이 가능하다. 모션벡터 확정부(51), 동영상 안정화부(53) 및 기준이미지 업데이트부(55)의 기능에 대해서는 후술한다.

디지털 신호 처리부(50)로부터 출력된 동영상 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 동영상을 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 동영상 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 동영상 데이터를 저장매체(70)에 저장한다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 동영상 파일로부터 동영상에 관한 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 동영상이 디스플레이되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 동영상 촬영장치에 영구장착된 것일 수 있다.

이와 같은 디지털 동영상 촬영장치를 이용하여 동영상을 촬영할 경우, 복수개의 프레임이미지 데이터들을 획득한다. 동영상은 복수개의 프레임이미지들을 포함하는 것으로 파악할 수 있기 때문이다. 동영상을 안정화시킨다고 함은, 어떤 일 프레임이미지를 기준으로 하여 다른 프레임이미지의 위치를 수정함으로써, 동영상 촬영장치가 흔들렸음에도 불구하고 프레임이미지들 내에서의 피사체의 위치를 일정하게 하는 것을 의미한다.

이를 위하여 본 실시예에 따른 디지털 동영상 촬영장치에 따르면 데이터 획득부가 프레임이미지 데이터를 획득한다. 그러면 모션벡터 확정부(51)는 현재 프레임이미지와 기준이미지를 비교함으로써, 현재 프레임이미지가 기준이미지와 가장 유사하게 되도록 하기 위하여 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정한다.

예컨대 도 1a에 도시된 것과 같은 기준이미지(RI)와 도 1b에 도시된 것과 같은 현재 프레임이미지(FI1)를 비교하면, 디지털 동영상 촬영장치가 상측으로 움직여 기준이미지(RI) 내에서의 피사체의 위치보다 현재 프레임이미지(FI1) 내에서의 피사체의 위치가 하측인 것을 알 수 있다. 이 경우 도 1b에 도시된 것과 같은 현재 프레임이미지(FI1)를 상측으로 움직여야 도 1a에 도시된 것과 같은 기준이미지(RI)와 정합된다. 따라서 이 경우 모션벡터 확정부(51)는 상측으로 소정 크기를 갖는 벡터를 현재 프레임이미지(FI1)에 대한 모션벡터로 확정한다. 물론 도 1a와 도 1b 에서는 모션벡터에 따라 현재 프레임이미지(FI1)를 움직이면 기준이미지(RI)와 완전히 정합되는 경우를 도시하고 있으나, 실제로 피사체가 움직일 수도 있으므로, 모션벡터 확정부(51)는 현재 프레임이미지가 기준이미지와 완벽하게 일치하도록 하기 위하여 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 것이 아니라, 현재 프레임이미지가 기준이미지와 가장 유사하게 되도록 하기 위하여 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정한다.

모션벡터를 확정하기 위하여 예컨대 다음과 같은 수학식 1을 이용할 수도 있다.

여기서 P(x,y)는 현재 프레임이미지(FI1)의 (x,y) 화소의 데이터이고 R(x,y)는 기준이미지(RI)의 (x,y) 화소의 데이터이며, A는 관심의 대상이 되는 사전설정된 영역을 의미한다. 수학식 1과 같은 계산을 복수개의 (i,j) 쌍에 대해 실시하여, 그 값이 최소가 되도록 하는 r(i,j)가 현재 프레임이미지(FI1)에 대한 모션벡터인 것으로 확정할 수 있다. 물론 수학식 1에서는 P(x+i,y+j)와 R(x,y)의 차이의 합을 이용하였으나 이와 달리 P(x+i,y+j)와 R(x,y)의 차이의 제곱을 이용할 수도 있는 등 다양한 변형이 가능함은 물론이다. 즉, P(x+i,y+j)와 R(x,y)의 차이를 처리한 값의 합이 최소가 되도록 하는 (i,j)를 확정하면 이것이 현재 프레임이미지(FI1)에 대한 모션벡터가 될 수 있다.

이와 같이 모션벡터 확정부(51)가 현재 프레임이미지(FI1)에 대한 모션벡터 를 확정하면, 이 동영상 안정화부(53)는 모션벡터를 이용하여 현재 프레임이미지(FI1)를 이동시켜 동영상을 안정화시킬 수도 있다. 그러나, 휴대용 디지털 동영상 촬영장치가 손떨림에 의해 흔들린 것이 아니라 촬영중인 사용자의 의도된 조작에 의해 휴대용 디지털 동영상 촬영장치가 실제로 크게 이동한 것일 수도 있다. 벽 등에 고정된 CCTV 등의 경우에도 지나가는 자동차 등으로부터 유발된 진동 등에 의해 흔들린 것이 아니라 촬영중인 사용자의 의도된 조작에 의해 CCTV가 팬(pan) 또는 틸팅(tilting)된 것일 수도 있다. 이러한 경우에도 현재 프레임이미지를 안정화시키는 것은 오히려 사용자의 의도에 부합하지 않는 결과물을 가져올 수도 있다.

따라서, 본 실시예에 따른 디지털 동영상 촬영장치의 경우에는 모션벡터 확정부(51)가 확정한 모션벡터의 크기가 사전설정된 크기보다 작을 경우에만, 동영상 안정화부(53)가 현재 프레임이미지(FI1)를 모션벡터에 따라 이동시켜 동영상을 안정화시킨다. 여기서 동영상 안정화부(53)가 현재 프레임이미지(FI1)를 모션벡터에 따라 이동시켜 동영상을 안정화시킨다고 함은 모션벡터가 (i,j)일 경우 동영상 안정화부(53)가, (x+i,y+j) 화소가 (x,y) 화소의 데이터를 갖도록 현재 프레임이미지(FI1)의 데이터를 수정하는 것을 의미할 수 있다.

한편, 본 실시예에 따른 디지털 동영상 촬영장치는 모션벡터 확정부(51)가 확정한 모션벡터의 크기가 사전설정된 크기보다 크면, 기준이미지 업데이트부(55)가 현재 프레임이미지(FI1)를 기준이미지로 업데이트한다. 즉, 모션벡터 확정부(51)가 확정한 모션벡터의 크기가 사전설정된 크기보다 크면, 이는 디지털 동영상 촬영장치가 사용자의 의도에 의해 크게 움직인 것으로 볼 수 있으므로 현재 프 레임이미지(FI1)를 움직여 안정화시키는 것이 아니라 현재 프레임이미지(FI1)를 기준이미지로 업데이트하는 것이다. 그 이후에 프레임이미지를 획득하게 되면, 모션벡터 확정부(51)는 이를 변경된 기준이미지와 비교하게 된다.

이와 같은 본 실시예에 따른 디지털 동영상 촬영장치에 따르면, 효과적으로 동영상을 안정화시킬 수 있다. 특히, 종래의 디지털 동영상 촬영장치의 경우 동영상을 안정화시킬 시 현재 프레임이미지라 할 수 있는 n+1번째 프레임이미지를 그 직전 프레임이미지인 n번째 프레임이미지와 비교하여 안정화시키는 방식인 바, 이 경우 오차가 누적되어 커질 수 있다. 예컨대 종래의 디지털 동영상 촬영장치는 도 1c에 도시된 것과 같은 프레임이미지(FI2)를 안정화시키는 과정에서 프레임이미지(FI2)를 도 1a에 도시된 것과 같은 기준이미지(RI)와 비교하는 것이 아니라 그 직전 프레임이미지인 도 1b에 도시된 것과 같은 프레임이미지(FI1)와 비교하는 바, 이 경우 오차가 누적되어 커질 수 있다.

즉, 일 프레임이미지와 다른 이미지를 비교하여 모션벡터를 찾는 과정에서 오차가 발생할 수도 있는 바, 두 번째 프레임이미지와 첫 번째 프레임이미지를 비교하여 제1모션벡터를 찾는 과정에서 제1오차가 발생할 수 있고, 세 번째 프레임이미지와 (제1오차가 발생된 상태로 안정화된) 두 번째 프레임이미지를 비교하여 제2모션벡터를 찾는 과정에서 제2오차가 발생할 수 있으며, 이와 같은 방식으로 n+1번째 프레임이미지를 (누적오차가 발생된 상태로 안정화된) n번째 프레임이미지와 비교하여 제n모션벡터를 찾는 과정에서 제n오차가 발생할 수 있는 바, n+1번째 프레임이미지를 안정화시킬 경우 결국 첫 번째 프레임이미지에 대해 제1오차 내지 제n 오차의 합에 해당하는 오차가 발생하게 된다. 이와 같이 종래의 디지털 동영상 촬영장치의 경우에는 모션벡터를 찾는 과정에서 발생할 수 있는 오차가 점점 축적되어 시간이 지남에 따라 동영상이 오히려 불안정해지는 결과를 초래할 수 있다. 그러나 본 실시예에 따른 디지털 동영상 촬영장치는 현재 프레임이미지를 그 이전 프레임이미지가 아닌 기준이미지와 비교하여 모션벡터를 찾기 때문에, 그러한 오차의 누적이 발생하지 않게 되어 효과적으로 동영상을 안정화시킬 수 있다. 즉, 본 실시예에 따른 디지털 동영상 촬영장치의 경우 도 1c에 도시된 것과 같은 프레임이미지(FI2)를 안정화시킬 시 도 1a에 도시된 것과 같은 기준이미지(RI)와 비교하게 된다.

도 4는 본 발명의 다른 일 실시예에 따른 디지털 동영상 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

도 4를 참조하면, 프레임이미지를 획득하는 단계를 거쳐(S10), 현재 프레임이미지와 기준이미지를 비교함으로써 모션벡터를 확정하는 단계(S20)를 거친다. S20 단계는 구체적으로는 현재 프레임이미지와 기준이미지를 비교함으로써, 현재 프레임이미지가 기준이미지와 가장 유사하게 되도록 하기 위하여 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 단계이다. 모션벡터를 확정하는 단계(S20)에 대해 구체적으로 설명하면 다음과 같다.

예컨대 도 1a에 도시된 것과 같은 기준이미지(RI)와 도 1b에 도시된 것과 같은 현재 프레임이미지(FI1)를 비교하면, 디지털 동영상 촬영장치가 상측으로 움직여 기준이미지(RI) 내에서의 피사체의 위치보다 현재 프레임이미지(FI1) 내에서의 피사체의 위치가 하측인 것을 알 수 있다. 이 경우 도 1b에 도시된 것과 같은 현재 프레임이미지(FI1)를 상측으로 움직여야 도 1a에 도시된 것과 같은 기준이미지(RI)와 정합된다. 따라서 이 경우 상측으로 소정 크기를 갖는 벡터를 현재 프레임이미지(FI1)에 대한 모션벡터로 확정한다. 물론 도 1a와 도 1b에서는 모션벡터에 따라 현재 프레임이미지(FI1)를 움직이면 기준이미지(RI)와 완전히 정합되는 경우를 도시하고 있으나, 실제로 피사체가 움직일 수도 있으므로, 현재 프레임이미지가 기준이미지와 완벽하게 일치하도록 하기 위하여 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 것이 아니라, 현재 프레임이미지가 기준이미지와 가장 유사하게 되도록 하기 위하여 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정한다.

모션벡터를 확정하기 위하여 예컨대 전술한 바와 같은 수학식 1을 이용할 수도 있다.

수학식 1과 같은 계산을 복수개의 (i,j) 쌍에 대해 실시하여, 그 값이 최소가 되도록 하는 r(i,j)가 현재 프레임이미지(FI1)에 대한 모션벡터인 것으로 확정할 수 있다. 물론 수학식 1에서는 P(x+i,y+j)와 R(x,y)의 차이의 합을 이용하였으나 이와 달리 P(x+i,y+j)와 R(x,y)의 차이의 제곱을 이용할 수도 있는 등 다양한 변형이 가능함은 물론이다. 즉, P(x+i,y+j)와 R(x,y)의 차이를 처리한 값의 합이 최소가 되도록 하는 (i,j)를 확정하면 이것이 현재 프레임이미지(FI1)에 대한 모션벡터가 될 수 있다.

그 후, 모션벡터의 크기가 사전설정된 크기보다 작은지 여부를 판단하는 단계(S30)를 거쳐, 모션벡터의 크기가 사전설정된 크기보다 작으면, 현재 프레임이미 지를 모션벡터에 따라 이동시켜 동영상을 안정화시키는 단계(S40)를 거친다. 만일 모션벡터의 크기가 사전설정된 크기보다 크면, 현재 프레임이미지를 기준이미지로 업데이트하는 단계(S50)를 거치게 된다. 벡터의 크기가 사전설정된 크기보다 크다는 것은, 휴대용 디지털 동영상 촬영장치가 손떨림에 의해 흔들린 것이 아니라 촬영중인 사용자의 의도된 조작에 의해 휴대용 디지털 동영상 촬영장치가 실제로 크게 이동한 것일 수도 있고 벽 등에 고정된 CCTV 등의 경우에도 지나가는 자동차 등으로부터 유발된 진동 등에 의해 흔들린 것이 아니라 촬영중인 사용자의 의도된 조작에 의해 CCTV가 팬(pan) 또는 틸팅(tilting)된 것일 수도 있는 바, 이러한 경우에도 현재 프레임이미지를 안정화시키는 것은 오히려 사용자의 의도에 부합하지 않는 결과물을 가져올 수도 있기 때문이다. 또한 이후의 프레임이미지들을 안정화시키는데 있어서 이용하는 기준이미지로서 기존의 기준이미지를 이용하는 것 역시 적절하지 않기 때문에 기준이미지를 업데이트한다.

이후, 동영상 촬영이 종료되지 않았다면 프레임이미지를 획득하는 단계(S10)를 거치게 되어, 새로이 현재 프레임이미지를 확정하고, 이후 전술한 바와 같은 프로세스를 반복하게 된다.

이와 같은 본 실시예에 따른 디지털 동영상 촬영장치의 제어방법에 따르면, 효과적으로 오차의 누적 없이 동영상을 안정화시킬 수 있는 것은 물론, 적절하게 기준이미지를 업데이트함으로써 효율적인 동영상 안정화가 가능하게 된다.

도 5는 본 발명의 또 다른 일 실시예에 따른 디지털 동영상 촬영장치의 일부를 개략적으로 도시하는 개념도이다. 본 실시예에 따른 디지털 동영상 촬영장치가 도 2 및 도 3을 참조하여 전술한 디지털 동영상 촬영장치와 상이한 것은, 다운샘플링부(57)를 더 구비한다는 것이다. 다운샘플링부(57)는 현재 프레임이미지와 기준이미지를 다운샘플링한다. 다운샘플링이라 함은 프레임이미지 또는 기준이미지의 데이터 량을 줄이는 것을 의미하는 것으로, 예컨대 서브샘플링일 수도 있다.

모션벡터 확정부(51)가 현재 프레임이미지와 기준이미지를 비교하여 모션벡터를 확정함에 있어서 매우 많은 계산량이 요구될 수도 있다. 예컨대 전술한 바와 같이 수학식 1을 이용하여 모션벡터를 확정할 시 사전설정된 영역 내의 모든 화소에서의 데이터와 관련하여 수학식 1과 같은 계산을 복수개의 (i,j) 쌍에 대해 실시하여 그 값이 최소가 되도록 하는 r(i,j)가 현재 프레임이미지(FI1)에 대한 모션벡터인 것으로 확정하므로, 그 처리량이 많을 수 있다. 따라서 다운샘플링부(57)가 현재 프레임이미지와 기준이미지를 다운샘플링하여 그 데이터 량을 줄이고, 모션벡터 확정부(51)는 다운샘플링된 현재 프레임이미지와 다운샘플링된 기준이미지를 비교함으로써 모션벡터를 확정함으로써, 데이터 계산량을 획기적으로 줄일 수 있다.

물론 변형예로서, 모션벡터 확정부(51)는 다운샘플링된 현재 프레임이미지를 기준이미지와 비교함으로써 모션벡터를 확정하고, 기준이미지 업데이트부(55)는 기준이미지를 업데이트할 시 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하는 것일 수 있다. 통상적으로 기준이미지는 복수개의 프레임이미지들과 비교될 수 있는 바, 따라서 기준이미지 자체가 프레임이미지보다 데이터 량이 적은 다운샘플링된 상태가 되도록 하고, 현재 프레임이미지를 다운샘플링하여 이를 기준이미지와 비교하도록 함으로써, 매 프레임이미지를 다운샘플링할 때마다 기준이미지도 다 운샘플링하지는 않도록 하여, 계산량을 더욱 줄일 수 있다. 물론 기준이미지를 업데이트할 시에는 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하게 된다.

도 6은 본 발명의 또 다른 일 실시예에 따른 디지털 동영상 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다. 본 실시예에 따른 디지털 동영상 촬영장치의 제어방법이 도 4를 참조하여 전술한 디지털 동영상 촬영장치의 제어방법과 상이한 것은, 현재 프레임이미지와 기준이미지를 다운샘플링하는 단계(S12)를 거친다는 것이다. 즉, 모션벡터를 확정하는 단계(S20')는 현재 프레임이미지와 기준이미지를 다운샘플링하여 비교함으로써 모션벡터를 확정하는 단계가 된다. 이를 통해 모션벡터를 확정하는 단계(S20')에서의 계산량을 획기적으로 저감할 수 있다.

도 7은 본 발명의 또 다른 일 실시예에 따른 디지털 동영상 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다. 본 실시예에 따른 디지털 동영상 촬영장치의 제어방법이 도 6을 참조하여 전술한 디지털 동영상 촬영장치의 제어방법과 상이한 것은, 프레임이미지를 획득하는 단계(S10)를 거친 후 현재 프레임이미지만을 다운샘플링하는 단계(S14)를 거쳐, 결과적으로 모션벡터를 확정하는 단계(S20")는 현재 프레임이미지를 다운샘플링하여 기준이미지와 비교함으로써 모션벡터를 확정하는 단계가 되도록 한다는 것이다. 또한 업데이트하는 단계(S50')는 현재 프레임이미지를 다운샘플링하여 기준이미지로 업데이트하거나 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하는 단계가 되도록 한다는 것이다.

통상적으로 기준이미지는 복수개의 프레임이미지들과 비교될 수 있는 바, 따라서 기준이미지 자체가 프레임이미지보다 데이터 량이 적은 다운샘플링된 상태가 되도록 하고, 현재 프레임이미지를 다운샘플링하여 이를 기준이미지와 비교하도록 함으로써, 매 프레임이미지를 다운샘플링할 때마다 기준이미지도 다운샘플링하지는 않도록 하여, 계산량을 더욱 줄일 수 있다. 물론 기준이미지를 업데이트할 시에는 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하게 된다.

이상에서 언급된 본 실시예들 및 그 변형예들에 따른 디지털 동영상 촬영장치의 제어방법을 디지털 동영상 촬영장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 도 2에 도시된 것과 같은 저장매체(80)일 수도 있고, 도 2에 도시된 것과 같은 메모리(60)일 수도 있으며, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

도 1a 내지 도 1c는 기준이미지와 디지털 동영상 촬영장치가 흔들리는 경우의 프레임이미지들을 개략적으로 도시하는 개념도들이다.

도 2는 본 발명의 일 실시예에 따른 디지털 동영상 촬영장치를 개략적으로 도시하는 블록도이다.

도 3은 도 2의 일부분을 개략적으로 도시하는 개념도이다.

도 4는 본 발명의 다른 일 실시예에 따른 디지털 동영상 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

도 5는 본 발명의 또 다른 일 실시예에 따른 디지털 동영상 촬영장치의 일부를 개략적으로 도시하는 개념도이다.

도 6은 본 발명의 또 다른 일 실시예에 따른 디지털 동영상 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

도 7은 본 발명의 또 다른 일 실시예에 따른 디지털 동영상 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

<도면의 주요 부분에 대한 부호의 설명>

10: 렌즈 11: 렌즈 구동부

20: 조리개 21: 조리개 구동부

30: 촬상소자 31: 촬상소자 제어부

40: A/D 변환부 50: 디지털 신호 처리부

60: 메모리 71: 저장/판독 제어부

70: 저장매체 81: 디스플레이 제어부

80: 디스플레이부 100: CPU

200: 조작부

Claims (9)

1. 현재 프레임이미지 및 기준이미지를 다운샘플링하는 다운샘플링부;

   다운샘플링된 현재 프레임이미지와 다운샘플링된 기준이미지를 비교함으로써, 상기 현재 프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 모션벡터 확정부;

   상기 모션벡터의 크기가 사전설정된 크기보다 작으면 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는, 동영상 안정화부; 및

   상기 모션벡터의 크기가 사전설정된 크기보다 크면 상기 현재 프레임이미지를 기준이미지로 업데이트하는, 기준이미지 업데이트부;를 구비하는 것을 특징으로 하는 디지털 동영상 촬영장치.
2. 제1항에 있어서,

   상기 모션벡터 확정부는, 현재 프레임이미지의 (x,y) 화소의 데이터를 P(x,y)라 하고 기준이미지의 (x,y) 화소의 데이터를 R(x,y)라 할 시, 사전설정된 영역 내에서 P(x+i,y+j)와 R(x,y)의 차이를 처리한 값의 합이 최소가 되도록 하는 (i,j)를 확정하는 것을 특징으로 하는 디지털 동영상 촬영장치.
3. 삭제
4. 현재 프레임이미지를 다운샘플링하는 다운샘플링부;

   다운샘플링된 현재 프레임이미지를 기준이미지와 비교함으로써 상기 현재 프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 모션벡터 확정부;

   상기 모션벡터의 크기가 사전설정된 크기보다 작으면 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는, 동영상 안정화부; 및

   상기 모션벡터의 크기가 사전설정된 크기보다 크면 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하는, 기준이미지 업데이트부;

   를 구비하는 디지털 동영상 촬영장치.
5. 현재 프레임이미지와 기준이미지를 다운샘플링하는 단계;

   다운샘플링된 현재 프레임이미지와 다운샘플링된 기준이미지를 비교함으로써, 상기 현재 프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 단계;

   상기 모션벡터의 크기가 사전설정된 크기보다 작으면, 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는 단계; 및

   상기 모션벡터의 크기가 사전설정된 크기보다 크면, 상기 현재 프레임이미지를 기준이미지로 업데이트하는 단계;를 포함하는 것을 특징으로 하는 디지털 동영상 촬영장치 제어방법.
6. 제5항에 있어서,

   상기 모션벡터를 확정하는 단계는, 현재 프레임이미지의 (x,y) 화소의 데이터를 P(x,y)라 하고 기준이미지의 (x,y) 화소의 데이터를 R(x,y)라 할 시, 사전설정된 영역 내에서 P(x+i,y+j)와 R(x,y)의 차이를 처리한 값의 합이 최소가 되도록 하는 (i,j)를 확정하는 단계인 것을 특징으로 하는 디지털 동영상 촬영장치 제어방법.
7. 삭제
8. 현재 프레임이미지를 다운샘플링하는 단계;

   다운샘플링된 현재 프레임이미지와 기준이미지를 비교함으로써 상기 현재프레임이미지가 상기 기준이미지와 가장 유사하게 되도록 하기 위하여 상기 현재 프레임이미지를 이동시킬 시의 모션벡터를 확정하는 단계;

   상기 모션벡터의 크기가 사전설정된 크기보다 작으면 상기 현재 프레임이미지를 상기 모션벡터에 따라 이동시켜 동영상을 안정화시키는 단계; 및

   상기 모션벡터의 크기가 사전설정된 크기보다 크면 현재 프레임이미지를 다운샘플링하여 기준이미지로 업데이트하거나 다운샘플링된 현재 프레임이미지를 기준이미지로 업데이트하는 단계;

   를 포함하는, 디지털 동영상 촬영장치 제어방법.
9. 제5항, 제6항 및 제8항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 저장한 기록매체.

Images