KR19980072963A - 동영상을 구성하는 일련의 정지 화면들로부터 고해상도 동영상 화면을 생성하는 방법 - Google Patents

Abstract

본 발명은 동영상을 구성하는 일련의 정지 화면들로부터 입력되는 동영상신호보다 해상도가 더 높은 동영상신호를 생성하기 위한 방법에 있어서, 상기 동영상을 구성하는 일련의 정지 화면들로부터 화면의 변화 특성을 파악하는 단계; 상기 단계에서 파악된 화면의 변화 특성으로부터 정지 화면을 움직임이 없는 배경 부분과 움직임을 수반한 피사체 부분으로 구분하는 단계; 및 일련의 정지 화면들에서 동일한 배경 부분 또는 움직임을 수반한 피사체 부분을 비교하여 다른 정지 화면에서 나타나지 않은 영상 신호를 포함하거나, 또는 고주파수 성분의 영상 신호를 포함하는 정지 화면들을 선택하여 취합하는 단계를 포함하는 것임을 특징으로 하는 동영상을 구성하는 일련의 정지 화면으로부터 고해상도 동영상 화면을 생성하는 방법을 제공한다. 본 발명에 의한 방법에 의하면, 화소의 수를 늘리고, 그 결과 주사선의 수를 늘릴 수 있다.

Description

동영상을 구성하는 일련의 정지 화면들로부터 고해상도 동영상 화면을 생성하는 방법

본 발명은 동영상을 구성하는 일련의 정지 화면으로부터 고해상도 동영상 화면을 생성하는 방법에 관한 것이다.

동영상은 연속적으로 현시되는 정지화면을 인간이 관찰하였을 때 시각적으로 나타나는 잔상 효과를 이용하여, 연속적인 일련의 정지화면을 이용하여 움직이는 영상을 감지하는 것처럼 느껴지게 하는 것이다. 본 명세서에서는 이러한 동영상을 구성하는 연속적인 일련의 정지화면들의 영상 신호를 처리하여 입력되는 동영상 화면보다 해상도가 더 높은 동영상 화면을 생성하는 방법에 관한 것이다.

일반적으로 입력되는 영상 신호보다 더 높은 해상도를 가지는 영상 신호를 생성하기 위하여는 여러 가지 필터링 기법을 도입하여 입력되는 영상 신호로부터 노이즈 성분을 제거하는 방법이 알려져 있다. 노이즈 성분을 제거하는 이러한 방식은 비단 영상 신호를 처리하는데 국한되는 것이 아니고, 모든 신호 처리에 있어서 원하는 신호를 얻기 위한 기본적인 방식이다. 따라서 종래에는 동영상을 구성하는 일련의 정지 화면상에 존재하는 특징을 이용하여 입력되는 동영상 신호로부터 해상도가 더 높은 동영상 신호를 생성하는 방식은 알려진 바 없다.

본 발명의 목적은 동영상을 구성하는 일련의 정지 화면들에서 나타나는 특성을 이용하여, 입력되는 동영상을 구성하는 일련의 정지 화면으로부터 해상도가 더 높은 동영상 화면을 생성하는 방법을 제공하는 것이다.

도1은 자동차가 움직이는 동영상을 구성하는 일련의 정지화면들 중 몇 개를 예를 들어 도시한 것,

도2는 본 발명에 따른 동영상을 구성하는 일련의 정지 화면으로부터 고해상도 동영상 화면을 생성하는 방법의 흐름도.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명은 동영상을 구성하는 일련의 정지 화면들로부터 입력되는 동영상신호보다 해상도가 더 높은 동영상 화면을 생성하기 위한 방법에 있어서, 상기 동영상을 구성하는 일련의 정지 화면들로부터 화면의 변화 특성을 파악하는 단계, 상기 단계에서 파악된 화면의 변화 특성으로부터 정지 화면을 움직임이 없는 배경 부분과 움직임을 수반한 피사체 부분으로 구분하는 단계, 및 일련의 정지 화면들에서 배경 부분 또는 움직임을 수반한 피사체 부분을 비교하여 다른 정지 화면에서 나타나지 않은 영상 신호를 포함하거나, 또는 고주파수 성분의 영상 신호를 포함하는 정지 화면들을 선택하여 취합하는 단계를 포함하는 것임을 특징으로 한다.

또한, 본 발명에 의한 고해상도 동영상 화면을 생성하기 위한 방법에서, 동영상을 구성하는 일련의 정지 화면으로부터 화면의 변화 특성을 파악하는 상기 단계는 화면의 변화를 카메라의 패닝에 의한 성분, 카메라의 주밍에 의한 성분, 또는 피사체의 움직임에 의한 성분으로 추출하는 것임을 특징으로 한다.

이하에서 첨부된 도면을 참조하면서 본 발명의 바람직한 일실시예를 상세하게 설명한다.

먼저, 동영상을 구성하는 일련의 정지 화면의 영상 신호의 특성을 설명한다.

일련의 동영상 화면을 구성하는 정지화면을 통하여 움직임을 표현하기 위하여 움직임이 있는 부분에서 각 정지화면의 영상신호 간에 미세한 변화가 필연적으로 있게 된다. 그러나 각 정지 화면 간에 움직임을 표현하기 위한 상기한 미세한 변화(즉, 움직임을 나타내기 위한 변화 부분)를 제외하고 각 화면에서 공통으로 등장하는 피사체 자체에 관한 영상 신호를 관찰하였을 때 그 신호가 동일하지는 않다. 이것은 피사체를 촬영하는 카메라의 CCD와 같은 촬상 소자에서 이미지 셀의 배열이 불연속적으로 배치되어 있기 때문에 발생하는 필연적인 현상으로 특히 카메라의 움직임이나 피사체의 이동이 있을 때 더욱 두드러진다.

자동차가 움직이는 동영상을 구성하는 일련의 정지 화면을 예를 들어 설명하기로 한다. 도1은 자동차가 움직이는 동영상을 구성하는 일련의 정지화면들 중 몇 개를 예를 들어 도시한 것이다. 도1은 자동차가 오른 쪽으로 이동하는 것을 촬영한 것으로서 도1a와 도1b는 카메라의 패닝을 수반하는 것이고, 도1a와 도1c는 카메라의 패닝 없이 화면상에서 피사체인 자동차의 위치 변화를 수반하는 것이다.

도1에서 화면상의 객체인 자동차를 나타내는 영상 신호 중 움직임이 없는 부분을 생각해보자. 예를 자동차의 차체는 도1에서 자동차가 움직임에 따른 변화가 없는 부분이다. 자동차의 차체는 자동차의 움직임에 따른 변화가 없는 부분이므로 동영상을 구성하는 각 정지 화면에서 자동차의 차체만을 나타내는 영상 신호는 동일하게 나타나야 한다. 그러나, 실제로 자동차의 차체만을 나타내는 영상 신호가 각 정지 화면에서 다르다. 그 이유는 다음과 같다. 자동차를 촬영하는 카메라의 촬상 소자에서 이미지 셀이 불연속적으로 배치되어 있으므로 카메라에 대한 자동차 차체의 상대적인 위치에 따라서 자동차 차체에 관한 영상신호 중 보다 선명한 부분과 그렇지 못한 부분이 있다. 한편, 동영상을 구성하는 정지 화면들에서 카메라의 패닝 또는 피사체의 위치 변화에 의하여 카메라에 대한 자동차 차체의 상대적인 위치는 제각기 다르기 때문에 각 정지 화면에서 자동차 차체에 관한 영상 신호 중 선명한 부분과 그렇지 못한 부분의 위치가 다르게 되고 심지어는 한 정지 화면에서 나타나지 않은 신호가 다른 정지 화면에서 나타날 수 있다.

본 발명에 따른 방법에서는 동영상을 구성하는 일련의 정지 화면에서의 상기한 바와 같은 특성을 이용하여 일련의 정지 화면이 포함하고 있는 동일한 피사체의 영상 신호를 분석하여 해상도가 높은 동영상 화면을 생성하는 것을 특징으로 한다. 이를 위하여는 먼저, 일련의 정지 화면에서 각 정지 화면에서 동일한 피사체의 위치 변화를 파악하는 것이 필요하다. 본 발명에서는 일련의 정지 화면에서 동일한 피사체의 위치 변화를 파악하기 위하여, 각 정지 화면의 변화를 카메라의 패닝에 의한 것인지, 카메라의 주밍에 의한 것인지, 또는 피사체 자체의 움직임에 의한 것으로 구분한다.

도2는 본 발명에 따른 동영상을 구성하는 일련의 정지 화면으로부터 고해상도 동영상을 생성하는 방법의 흐름도이다.

본 발명에 따른 방법의 제1단계는 동영상을 구성하는 일련의 정지 화면으로부터 화면의 변화 특성을 파악하는 단계(10)이다. 본 발명에서 제시하는 화면의 변화 특성으로는 카메라의 패닝에 의한 것, 카메라의 패닝에 의한 것, 또는 피사체 자체의 움직임에 의한 것 등이 있다. 상기한 변화 특성들이 복합적으로 나타날 수도 있는 것임을 물론이다. 일련의 정지 화면으로부터 화면의 변화 특성을 파악하는 방법은 본 발명자의 대한민국 특허출원 제96-7143호에 개시된 화소들의 선-특성값을 이용한 화면상의 변화 추정 방법에서 상세하게 설명되어 있으므로 여기에서는 그 설명을 생략한다. 본 발명의 제1단계에서는 카메라의 패닝, 주밍 및 피사체의 이동에 의한 것과 같이 정성적인 화면의 변화 특성 뿐만 아니라, 카메라의 패닝 정도, 주밍 정도 및 피사체의 이동 정도 등과 같이 정량적인 변화 특성까지 파악한다. 또한 일반적으로 화면상의 변화는 상기한 세가지의 변화가 복합적으로 나타나므로 정지 화면간의 변화를 상기 세가지 변화 성분으로 추출하여 분석하는 것이 필요하다.

본 발명에 따른 제2단계는 상기 제1단계에서 파악된 화면간의 변화 특성을 이용하여 정지 화면을 실제로 움직임이 없는 배경 부분과 움직임을 수반한 피사체 부분을 구분하는 단계(20)이다.

먼저, 카메라의 패닝에 의하여 화면상에 변화가 나타나는 경우는 피사체 자체의 움직임은 없으므로 정지 화면 전체를 배경 부분으로 파악한다. 다만, 카메라가 패닝된 정도에 따라서 화면상의 일정 부분이 전 화면과 동일하므로 이와 같이 전 화면과 동일한 일정 부분의 영상 신호들을 본 발명에 의한 방법에서의 배경 부분으로 파악한다. 카메라의 주밍에 의하여 화면상에 변화가 나타나는 경우 역시 피사체 자체의 움직임은 없으므로 화면 전체를 배경 부분으로 파악한다. 피사체의 움직임에 의하여 화면상에 변화가 나타나는 경우는 화면을 움직임이 없는 배경 부분과 움직임을 수반한 피사체 부분으로 구분한다.

본 발명에 따른 방법의 제3단계는 상기 제2단계에서 구분된 배경 부분과 움직임을 수반한 피사체 부분에 대하여 일련의 정지 화면들을 비교하여 해상도가 높은 일련의 정지 화면들을 생성하는 단계(30)이다. 이 단계는 일련의 정지 화면들에서 동일한 배경 부분 또는 움직임을 수반한 피사체 부분을 비교하여 다른 정지 화면에서 나타나지 않은 영상 신호를 포함하거나, 또는 고주파수 성분의 영상 신호를 포함하는 정지 화면들을 선택하여 취합함에 의하여 달성된다. 일련의 정지 화면들로부터 다른 정지 화면에 나타나지 않은 영상 신호를 포함하도록 하는 경우, 원래 정지 화면의 화소의 수보다 더 많은 수의 화소들로 정지 화면을 구성할 수도 있다. 이 경우, 영상 신호를 현시하는 주사선 수를 늘려서 현시하면 입력되는 영상 신호보다 더 높은 해상도를 가지는 동영상을 얻을 수 있다.

이상에서 설명한 바와 같이, 본 발명은 동영상을 구성하는 일련의 정지 화면들로부터 화면의 변화 특성을 파악하고, 파악된 화면의 변화 특성에 따라서 화면을 배경 부분과 움직임을 수반한 피사체 부분으로 구분하고, 구분된 부분에 대하여 정지 화면들간의 영상신호를 비교하여 해상도가 높은 일련의 정지 화면을 선택 취합하여 해상도가 높은 동영상을 생성할 수 있다. 본 발명에 따른 방법에 의하면, 화소의 수를 늘리고, 그 결과 주사선의 수를 늘릴 수 있으며, 초점이 잘 맞추어지지 않은 상태에서 찍혀진 동영상 화면이나, 또는 장시간 보관하여 해상도가 낮아진 동영상 화면으로부터 해상도가 높은 동영상을 용이하게 생성할 수 있다.

Claims (2)

1. 동영상을 구성하는 일련의 정지 화면들로부터 입력되는 동영상신호보다 해상도가 더 높은 동영상신호를 생성하기 위한 방법에 있어서,

   상기 동영상을 구성하는 일련의 정지 화면들로부터 화면의 변화 특성을 파악하는 단계;

   상기 단계에서 파악된 화면의 변화 특성으로부터 정지 화면을 움직임이 없는 배경 부분과 움직임을 수반한 피사체 부분으로 구분하는 단계; 및

   일련의 정지 화면들에서 동일한 배경 부분 또는 움직임을 수반한 피사체 부분을 비교하여 다른 정지 화면에서 나타나지 않은 영상 신호를 포함하거나, 또는 고주파수 성분의 영상 신호를 포함하는 정지 화면들을 선택하여 취합하는 단계를 포함하는 것임을 특징으로 하는 동영상을 구성하는 일련의 정지 화면으로부터 고해상도 동영상 화면을 생성하는 방법.
2. 제 1항에 있어서, 동영상을 구성하는 일련의 정지 화면으로부터 화면의 변화 특성을 파악하는 상기 단계는 화면의 변화를 카메라의 패닝에 의한 성분, 카메라의 주밍에 의한 성분, 또는 피사체의 움직임에 의한 성분으로 추출하는 것임을 특징으로 하는 동영상을 구성하는 일련의 정지 화면으로부터 고해상도 동영상 화면을 생성하는 방법.