KR20010035100A - 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적장치 및 방법 - Google Patents

Abstract

본 발명은 비디오 상에서 임의로 선택된 객체를 추적하고 그 추적 정보를 하이퍼비디오에서 사용할 수 있도록 출력할 수 있는 장치 및 방법에 관한 것으로서, 일반 동영상 데이터를 재생, 일시 정지, 중지, 배속 재생 등을 할 수 있는 기능을 갖는 동영상 입력부, 입력된 동영상의 장면 전환된 프레임을 자동으로 검출하여 객체 추적의 시점과 종점을 정의하여 주고 장면 전환된 프레임 사이에서 추적할 객체를 선택, 또는 자동 검출하여 객체를 추적하고 객체 추적 정보를 저장하는 객체 추적부, 객체 추적부에서 객체 추적 정보를 저장 할 때 하이퍼비디오에서 사용될 수 있는 추적 객체를 표시하는 방법, 추적 객체를 표시하는 도형의 종류 등을 정의하고 객체의 추적 정보에 해당하는 하이퍼링크 정보를 입력받아 이러한 정보를 동영상과 더불어 저장하는 출력부로 이루어진다.

상기와 같은 구성으로 이루어진 본 발명은 일반적으로 널리 알려진 유사도 비교 방법과 센서스 변환을 이용한 비트 연산 블록 매칭 방법을 병합하여 사용함으로써 배경과 조명의 변화 또는 객체의 회전이나 크기 변화에도 안정적으로 추적하므로 객체의 추적 성능을 극대화시킬 수 있고 추적하고자 하는 객체의 정보를 미리 알 수 없는 하이퍼비디오 저작 도구와 같은 시스템에도 적합하다.

Description

하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적 장치 및 방법{An Effective Object Tracking Method and for Apparatus for Interactive HyperLink Video}

본 발명은 동영상에 나타나는 임의의 다양한 객체를 효과적으로 추적하고 하이퍼링크 비디오에 사용할 수 있도록 객체의 추적 정보를 출력하는 장치 및 방법에 관한 것으로, 특히 미리 정해지지 않은 임의의 객체를 추적하여 그 추적 정보를 출력하여 줌으로써 하이퍼링크 비디오의 저작 도구로 사용될 수 있으며 특히 동영상에 객체가 등장하는 시점과 종점을 구분하여 주는 장면 전환이 일어난 프레임을 자동으로 검출하여 도시함으로써 객체 추적의 작업을 용이하게 할 수 있음은 물론 객체의 추적 정보 이외에 객체를 표시할 수 있는 다양한 방법까지 함께 저작할 수 있으므로 하이퍼링크 비디오에 사용되는 객체 추적 도구 및 장치로써 동영상 가공의 효과를 극대화 시킬 수 있는 동영상 데이터 상 임의 객체의 효과적인 추적 방법 및 장치에 관한 것이다.

일반적으로 객체를 추적하는 방법은 그 환경에 따라 크게 추적할 객체가 미리 정해져 그 객체의 특징을 미리 검출하여 학습할 수 있는 경우와 추적할 객체가 미리 정해져 있지 않아 그 객체의 특징에 대한 정보를 사용할 수 없는 경우로 나눌 수 있다.

추적할 객체가 미리 정해져 있는 상태에서의 객체 추적 방법은 주로 추적할 객체의 형태 정보나 색상 정보를 미리 추출하여 이를 학습시킨 후 이후 프레임에서 그 특징 정보를 이용하여 객체를 추적하는 방법을 사용한다. 이러한 방법은 얼굴 영역 추적, 보행자 추적 등과 분야에서 많이 사용된다.

추적할 객체를 미리 알고 있는 경우, 효과적인 객체 추적을 위해 그 객체의 색상 정보를 사용할 수 있다. Sobottka의 경우 우선 RGB 컬러 모델을 조명에 비교적 강인한 HSV 모델로 변환한 뒤 이후 프레임에서 HSV 컬러 모델 상에서 피부 영역에 해당하는 부분을 추출하여 그 영역의 형태가 얼굴 형태와 같은지를 비교한 뒤 얼굴 모양과의 유사도가 문턱치 이상이 되는 경우 이를 얼굴 영역으로 인식하여 추적하는 방법으로 얼굴 영역을 실시간으로 추적하였다. (K.Sobottka, I. Pitas, ″Segmentation and Tracking of Faces in Color Images″, Proc. of Second Intl. Conf. on Auto. Face and Gesture Recognition, pp. 236-241, 1996)

Colmenarez는 얼굴 영역에 공통적으로 나타나는 눈, 눈썹, 코, 입 등의 얼굴 요소에 나타나는 가로 에지와 세로 에지를 추출하여 이 에지들의 위치적 선지식을 이용하여 얼굴 영역을 추적하는 방법을 제안하였다. 예를 들어 두 눈 사이 아래에 코와 입이 존재하는 것이나 눈 영역 아래에 코 영역이 존재하고 코 위치 아래 부분에 입 영역이 존재한다는 정보와 추출된 얼굴 요소 에지들의 정보들을 최대 가능성(Maximum likelihood) 정보를 이용하여 추적하였다. 이와 같은 추적 객체의 특징 정보의 모델을 형성하여 이를 학습한 후 그 정보를 이용하여 객체를 추적하는 방법이다. (A. Colmenarez, B. Frey, T. S. Huang, ″Detection and Tracking of Faces and Facial Features″, Proc. IEEE Intl. Conf. on Image Processing, Vol. 4, pp. 657-661, 1999)

Oberti의 경우 실내에 설치된 카메라를 사용하여 출입자를 감시할 수 있는 방법을 제안하였다. 우선 다수의 사람 영상을 이용하여 에지를 추출한다. 이후 카메라에서 입력받은 프레임에서 에지를 추출하고 그 에지 가운데 미리 추출하여둔 사람 영상의 에지와 유사한 영역을 추출하여 이를 추적 객체로 정의하고 추적하였다. 이 방법의 경우 실내 환경이나 카메라의 움직임이 크지 않을 경우에는 효과적으로 잘 적용될 수 있다. (F. Oberti, C. Regazzoni, ″Adaptive Tracking of Multiple Non Rigid Objects in Cluttered Scenes″, Proc. ICPR, pp. 1108-1112, 2000)

추적할 객체를 미리 알 수 없을 경우, 추적 객체에 대한 선지식을 활용할 수 없고 추적할 객체의 선택과 동시에 객체 추적이 일어나야 한다. 이러한 대표적인 방법으로 MPEG의 압축 방법으로 널리 알려져 있는 영상으로부터 블록 단위의 움직임 벡터를 추출하여 객체를 추적하는 방법이 있다. 영상을 일정 단위의 블록으로 나누고 현재 프레임과 이전 프레임간의 블록이 어떠한 광류 정보를 갖는지 분석하여 전체 움직임 벡터와 상반되는 방향성을 갖는 움직임 벡터들을 같은 방향성을 갖는 벡터들끼리 분류하고 이렇게 분류된 움직임 벡터의 영역을 객체라고 생각하여 추적하는 것이다. 이러한 방법은 복잡하지 않은 배경에서 객체가 회전, 크기 변화없이 움직일 경우 효과적으로 사용될 수 있다. (윤종용, ″영상 시스템의 움직임 추정 방법 및 장치″, 대한민국특허청, 공개번호 특2000-0018311, 특허공개, 2000)

미리 알 수 없는 객체를 자동으로 추적하여 결과를 표시할 경우, 객체 추적결과를 객체의 중심점만을 도시하거나 최대 외접 사각형으로 도시함으로서 추적 결과를 표시해 주는 방법이 있다. 그러나 좀 더 정확한 객체 추적을 위하여 객체의 윤곽선까지도 추적을 하는 경우도 있다. Leymarie는 시점에 따라 형태가 변화는 상황을 고려하여 객체를 추적하는 방법을 제안하였다. 객체를 둘러싼 변형 모델을 Active Contour Model(ACM)을 사용하여 객체의 윤곽선으로 일치시키고 객체의 윤곽선을 정확히 추출하여 추적하였다. 이러한 방법은 객체의 형태가 비교적 단순하고 배경이 복잡하지 않은 경우 연산의 속도가 크게 문제되지 않는 시스템에 적합하다. (F. Leymarie, M. D. Levine, ″Tracking Deformable Objects in the Plage using an Active Contour Model″, IEEE Trans. on Patt. Anal. Machine Intell., Vol. 15, No. 6, pp. 617-634, 1996)

또 이러한 동영상 데이터 상의 객체 추적 기술을 이용하여 하이퍼비디오에서 객체의 위치를 추적하는 저작 도구에 사용하는 기술이 있다. 이러한 장치들은 동영상 데이터 상에서 추적할 객체를 선택하기 위해 수작업으로 원하는 객체가 등장하는 프레임을 선택하여 사용자가 정의한 시간동안 객체를 추적한다. 객체를 추적하는 도중이라도 처음 선택한 객체와 현재 프레임에서 나타난 객체 사이의 유사도가 임계치 이하로 떨어지면 추적을 중단하게 된다.(첸 지니, ″비디오 내로 하이퍼링크를 통합하는 방법 및 장치″, 대한민국특허청, 공개번호 특2000-0016192, 특허공개, 2000)

상기와 같은 종래 객체 추적 시스템의 일례를 도 1을 참고로 살펴보면 , 일반 동영상 데이터(101)로부터 얻어진 영상 화면의 프레임 데이터를 입력받아 저장하는 제 1 버퍼(102)와, 이 제 1 버퍼(102)에 저장되어 있던 이전 프레임 데이터를 이동 저장하는 제 2 버퍼(103)와, 상기 제 1 버퍼(102)와 제 2 버퍼(103) 내에 저장된 영상 화면의 프레임 데이터 내에 존재하는 객체의 움직임 벡터를 산출하는 움직임 벡터 추적부(104)와, 이 움직임 벡터 계산부에 의해 산출된 객체 영역의 움직임 벡터 정보를 근거로 객체를 추적하는 객체 추적부(105)로 이루어진다.

한편, 상기와 같은 구성으로 된 종래 객체 추적 시스템의 동작은 먼저, 일반 동영상 데이터로부터 일정 대상의 영상 화면 예컨데, 추적 객체가 나타나는 영상 화면을 얻어 객체 추적 시스템의 제 1 버퍼(102)로 입력시키게 되면 이 제 1 버퍼(102)는 이전에 저장되어 있던 프레임 데이터 정보를 제 2 버퍼(103)로 전송하고 현재 새로 입력된 영상 화면의 프레임 데이터를 저장한다. 따라서, 이와 같은 과정을 거쳐 상기 제 1, 2 버퍼(102, 103)에 프레임 데이터들이 연속해서 채워지게 되면 움직임 벡터 계산부가 이 제 1 버퍼(102)와 제 2 버퍼(103) 내의 프레임 데이터 상에 존재하는 객체 영역들의 벡터 움직임 정보를 산출하여 객체 추적부(105)로 연속해서 전송한다. 그러면 이 객체추적부(105)는 입력된 움직임 백터 추적부(104)의 움직임 정보를 이용하여 객체 추적 정보를 출력(106) 상에 나타낸다.

그러나 상기와 같은 객체 추적 방법은 객체 추적을 시작하기 전에 객체에 대한 정보를 미리 알 수 있어 이를 학습하는 과정이 필요하다거나 복잡한 배경에서 객체의 회전, 크기 변화가 일어나는 일반적인 동영상 입력(101)에서의 객체 추적에 대해서는 효과적이지 못하다는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 다양한 동영상에서 객체 추적의 편의를 제공하기 위해 객체 추적의 시점과 종점을 결정하는 장면 전환 프레임을 자동으로 검출하여 주고, 이렇게 검출된 객체 추적의 시점 프레임으로부터 사용자가 선택하거나 사용자로부터 미리 입력받은 임의의 객체에 대하여, 객체의 회전, 크기 변화에 무관하게 효과적으로 객체를 추적하고 그 추적 정보와 추적된 정보를 바탕으로 하이퍼링크 비디오에서 효과적으로 객체의 위치를 도시하여 줄 수 있는 다양한 정보를 함께 출력하여 하이퍼링크 비디오에 사용될 동영상 가공의 효과를 극대화 시킬 수 있는 동영상 데이터 상 임의 객체의 효과적인 추적 방법 및 장치를 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 일반 동영상 데이터를 재생, 일시 정지, 중지, 배속 재생 등을 할 수 있는 기능을 갖는 동영상 입력부, 입력된 동영상의 장면 전환된 프레임을 자동으로 검출하여 객체 추적의 시점과 종점을 정의하여 주고 장면 전환된 프레임 사이에서 추적할 객체를 선택, 또는 자동 검출하여 객체를 추적하고 객체 추적 정보를 저장하는 객체 추적부, 객체 추적부에서 객체 추적 정보를 저장 할 때 하이퍼비디오에서 사용될 수 있는 추적 객체를 표시하는 방법, 추적 객체를 표시하는 도형의 종류 등을 정의하고 객체의 추적 정보에 해당하는 하이퍼링크 정보를 입력받아 이러한 정보를 동영상과 더불어 저장하는 출력부로 이루어진 동영상 데이터 상 임의 객체의 추적 시스템을 제공한다.

상기와 같은 목적을 달성하기 위한 본 발명은 다양한 동영상을 재생, 일시 정지, 중지, 배속 재생 등의 기본적 동영상 처리 기능을 갖는 동영상 선택 단계와, 상기 동영상으로부터 장면 전환된 프레임을 자동으로 검출하여 이를 도시하여 줌으로써 객체 추적의 시점과 종점을 정의하여주는 장면 전환 검출 단계, 장면 전환 프레임 중 하나의 프레임으로부터 추적할 객체를 사용자로부터 입력받고 입력받은 객체로부터 n개의 특징점을 추출하여 저장한 후 이를 비트 연산 수행을 위한 센서스 변환을 통해 특징을 추출하는 객체 추적 초기화 단계, 상기 객체 추적 초기화 단계에서 획득된 정보를 바탕으로 다음 장면 전환이 일어난 프레임 전까지 혹은 현재 프레임에서의 객체의 위치와 사용자로부터 입력받은 추적할 객체의 유사도가 임계치 이하로 떨어질 때까지 자동으로 객체를 추적하여 객체의 위치 정보를 추출하는 객체 추적 단계와 하이퍼링크 비디오에 사용될 수 있도록 객체를 표시하는 방법, 표시하는 방법의 색, 추적된 객체에 부가할 하이퍼링크 정보를 입력받아 동영상과 함께 저장하는 출력 단계로 이루어진 동영상 데이터 상 임의 객체의 효과적인 추적장치의 제어 방법을 제공한다.

도 1은 종래 객체 추적 시스템의 블록도.

도 2는 본 발명의 방법이 적용되는 객체 추적 시스템의 블록도.

도 3은 본 발명의 자동 장면 전환 검출 플로우 차트.

도 4는 본 발명의 자동 객체 추적 플로우 차트.

도 5는 추적할 객체 영상과 추적할 객체 영상으로부터 추출된 에지를 나타내는 설명도

도 6은 센서스 변환과 비트 연산을 설명하기 위한 설명도

도 7은 이전 프레임과 현재 프레임에서 객체 추적을 위한 탐색 영역과 이동위치를 설명하기 위한 설명도

도 8은 특징점들의 움직임 벡터를 이용하여 객체의 이동 위치를 결정하는 방법을 설명하기 위한 설명도

도 9는 현재 프레임과 이전 프레임에서의 움직임 벡터들이 이루고 있는 영역의 크기를 비교하여 추적 객체의 정보 갱신의 문제를 판단하는 방법을 설명하기 위한 설명도

이하, 본 발명을 첨부된 예시 도면에 의거 상세히 설명한다.

먼저 본 발명의 방법이 적용되는 객체 추적 시스템을 도 2를 참고하여 살펴보면, 입력(1)으로부터 얻어진 영상의 프레임 데이터를 입력받아 임시 저장하는 제 1 임시 버퍼(6)와, 이 제 1 임시 버퍼(6)로부터 저장되어 있던 이전 프레임 데이터를 이동 저장하는 제 2 임시 버퍼(7)와, 상기 제 1, 2 버퍼(6, 7)에 프레임 데이터가 저장되면 이들 프레임 데이터를 분석하여 장면 전환이 일어난 프레임을 검출하는 장면 전환 검출부(8)와, 장면 전환된 프레임을 저장하기 위한 제 3 버퍼(9)와, 이 장면 전환 검출부(8)로부터 장면 전환이 일어난 프레임 데이터를 전달받아 장면 전환이 일어난 시점 프레임에서 다음 장면 전환이 일어나기 전 프레임까지 추적할 객체를 입력받고 입력받은 객체의 특징점을 추출하여 추적 대상의 형판을 만들어 추적의 초기화를 하는 추적 초기화부(10)와, 추적 초기화부(10)로부터 전달된 데이터를 바탕으로 입력(1)으로부터 얻어진 객체 추적 시작 시점에서의 프레임 데이터가 저장되어 있는 제 1 버퍼(2)와, 제 1 버퍼(2)로부터 전달받은 이전 프레임 데이터를 가지고 있는 제 2 버퍼(3) 간의 프레임 데이터를 분석하여 움직임 벡터를 추출하는 움직임 벡터 추적부(4)와, 움직임 벡터 추적부(4)로부터 입력받은 움직임 벡터의 양을 분석하여 객체의 위치를 연속적으로 추적하는 객체 추적부(5)와, 추적된 객체의 위치 정보와 사용자로부터 입력받은 추적 객체의 표시 방법, 표시 색, 표시하는 도형의 종류, 객체에 하이퍼링크 시킬 정보 등을 동영상과 함께 출력하는 출력(11)으로 이루어진다.

상기와 같은 시스템에 적용되는 본 발명의 방법을 설명한다. 본 발명의 방법은 도 3과 도 4에 도시한 바와 같이 객체 추적의 시점과 종점을 정의하기 위한 장면 전환 검출 모듈(도 3)과 한 장면 전환된 시점에서부터 다음 장면 전환이 일어나기 전까지 사이에서 객체를 추적하는 객체 추적 모듈(도4)로 구성된다.

먼저, 본 발명의 방법이 적용되는 장면 전환 검출의 방법은 도 3에 도시한 바와 같이 초기 상태(S₃₀₁)에서 얻어진 동영상으로부터 동영상 프레임 데이터 저장 단계(S₃₀₂)로 진행하여 현재 프레임의 프레임 데이터를 제 1 임시 버퍼(6)에 저장한다. 그리고 장면 전환 발생 조사 단계(S₃₀₃)로 진행한다.

이 때, 제 1 임시 버퍼(6)에 저장되어 있는 프레임 데이터가 동영상의 첫 번째 프레임이면 장면 전환이 일어났다고 간주하여 그 프레임 데이터를 제 3 버퍼(9)에 저장하고 제 1 임시 버퍼(6)에 저장되어 있는 프레임 데이터를 제 2 임시 버퍼(7)로 이동 한 후 장면 전환 발생 판단 단계(S₃₀₃)로 진행한다. 그렇지 않으면 제 1 임시 버퍼(6)의 프레임 데이터와 이전 프레임 데이터를 가지고 있는 제 2 임시 버퍼(7)의 프레임 데이터를 분석하여 장면 전환이 일어났는지 않았는지를 검사한다. 장면 전환 발생 유무 판단 후 제 1 임시 버퍼(6)에 저장되어 있는 프레임 데이터를 제 2 임시 버퍼(7)로 이동 한 후 장면 전환 발생 판단 단계(S₃₀₃)로 진행한다.

이때, 장면 전환 발생 조사 단계(S₃₀₃)에서 조사한 결과 장면 전환이 일어났으면 동영상 프레임 데이터 저장 단계(S₃₀₅)로 진행하여 장면 전환이 발생하였다고 조사된 제 2 임시 버퍼(7)에 저장되어 있는 프레임 데이터를 제 3 버퍼(9)에 저장하고 동영상 끝 프레임 여부를 조사하는 동영상 끝 프레임 검사 단계(S₃₀₆)로 진행한다.

그러나 장면 전환 발생 판단 단계(S₃₀₃)에서 장면 전환이 일어나지 않았다고 판단되면 동영상 끝 프레임 여부를 조사하는 동영상 끝 프레임 검사 단계(S₃₀₆)로 진행한다.

동영상의 끝 프레임 검사 단계(S₃₀₆)에서 현재 제 2 임시 버퍼(7)에 저장되어있는 프레임이 동영상의 마지막 프레임이면 종료 단계(S₃₀₇)단계로 진행한다.

그러나 동영상의 끝 프레임 검사 단계(S₃₀₆)에서 현재 제 2 임시 버퍼(7)에 저장되어 있는 프레임이 동영상의 마지막 프레임이 아니면 동영상 프레임 데이터 저장 단계(S₃₀₂)로 진행하여 다시 동영상의 다음 프레임 데이터를 입력받아 상기 과정을 수행하도록 한다.

다음으로 본 발명의 방법이 적용되는 객체 추적 모듈을 도 4를 참고로 살펴보면, 객체 추적의 시작(S₄₀₁)은 장면 전환 검출 단계(도3)의 동영상 프레임 데이터저장(S₃₀₅)단계에서 저장된 제 3 버퍼(9)에서 장면 전환된 프레임(9) 가운데 하나를 선택하면서 시작된다. 하나의 장면 전환된 프레임과 그 이후 장면 전환이 일어나기까지의 프레임 즉 객체 추적의 시점과 종점이 정의되고 난 후 초기 객체 위치 추출단계(S₄₀₂)로 진행하여 추적할 객체를 선택하거나 사전에 입력받은 객체의 현재의 프레임에서의 위치를 추출한다. 다음으로 객체의 특징점 추출 단계(S₄₀₃)로 진행하여 추출할 객체의 특징점을 추출한다. 객체의 특징점 추출 단계(S₄₀₃)에서는 영상의 잡음을 제거하기 위하여 비선형 필터인 중앙값(Median) 필터를 사용하여 잡음을 제거하고, 캐니 알고리즘(J. Canny, ″A Computational Approach to Edge Detection″, IEEE Trans. on Patt. Anal. and Machine Intell. Vol 8, No. 6, pp. 679-697, 1986)을 사용하여 에지를 추출한다. 상기 방법으로 추적할 객체의 에지 영역을 추출하여 에지 영상(502)을 얻고 에지 상에서 n개의 특징점을 임의로 선택하여 추적할 객체에서 n개의 특징점들을 추출한 다음 특징점들의 광류 추출 단계(S₄₀₄)로 진행한다. 도 5는 상기 추적할 객체의 에지 영역을 추출하는 실시 예이다.

광류 추출 단계(S₄₀₄)에서는 제 1 버퍼(2)와 제 2 버퍼(3)에서 얻은 프레임 데이터를 분석하여 상기 방법으로 얻어진 객체의 특징점들의 움직임 벡터를 추출한다. 우선 추출된 n개 특징점들의 화소값에 대하여 도 6과 같이 센서스 변환을 실행한 후, 제 2 버퍼(3)의 탐색 영역(702)에서 얻은 프레임 데이터를 센서스 변환을 통해 나온 비트 값과 추출된 n개의 특징점들에 대한 비트값들의 비트 연산을 통해 완전 매칭(도 6)되는 특징점의 수를 구한다. 이 때, 완전 매칭 되는 수가 1인 경우는 그 위치와 이전 프레임에서의 화소의 위치간의 차를 움직임 벡터라고 판단하고 그 외의 경우, 즉 매칭되는 특징점의 수가 1보다 많거나 없는 경우에는 센서스 변환을 하지 않은 화소 값으로 특징점의 이동 위치를 탐색, 결정하여 움직임 벡터를 구한다. 이렇게 각 특징점들의 움직임 벡터가 결정되면 같은 방향성을 갖는 광류끼리 분류 단계(S₄₀₅)로 진행한다.

다음으로, 상기 단계에서 추출된 각 특징점들의 움직임 벡터를 이용하여 같은 방향성을 갖는 광류끼리 분류한 후 다음 단계인 가장 많은 광류가 속하는 분류를 선택하는 단계(S₄₀₆)로 진행한다. 추적하고자 하는 객체의 위치를 결정하기 위해 분류된 방향성 가운데 가장 많은 광류가 속하는 방향성을 선택(도면 8)하여 객체의 이동 방향을 결정(S₄₀₇)하고 난 후 그 이동 벡터의 평균을 객체의 이동 위치로 결정(S₄₀₈)한다. 센서스 변환을 통한 비트 연산과 일반 유사도 측정 방법의 병행을 통하여 추출된 객체의 주된 움직임 벡터를 추출하고 나면 다음 프레임에서의 객체의 위치를 추적하기 전에 현재 프레임이 추적의 종점을 의미하는 장면 전환된 프레임의 끝 프레임이 아닌지를 판단(S₄₀₉)한다. 이 때, 현재의 프레임이 객체 추적의 종점을 의미하는 장면 전환된 프레임의 끝 프레임이라면 현재까지의 객체 추적 결과를 출력(10)하고 종료한다.

그러나, 현재 프레임이 추적의 종점을 의미하는 장면 전환된 프레임의 끝 프레임이 아니라고 판단(S₄₀₉)되면 현재 결정된 객체의 위치에서의 객체가 회전이나 크기 변화가 일어났는지 아닌지를 판단하는 추적 객체의 정보 갱신 필요 판단 단계(S₄₁₀)으로 진행하여 추적 객체의 정보 갱신의 필요 여부를 판단한다. 객체의 이동 위치를 결정한 주된 방향성에 포함되는 특징점들이 이루는 영역의 이전 프레임의 크기(901)와 현재 프레임에서의 크기(902)가 임계치 이상으로 차이가 있을 경우 추적 객체의 크기 변화가 일어났다고 판단하여 현재 프레임과 이전 프레임에서 결정된 방향 성분이 속하는 분류의 크기를 비교하는 단계(S₄₁₁)로 진행하여 추적하고자 하는 객체의 특징을 보정하기 위해 현재 프레임에서 추출된 객체의 에지 영역에서 특징점을 다시 추출하는 단계(S₄₀₃)로 진행하여 객체 추적을 계속한다.

한편, 현재 결정된 객체의 위치에서의 객체가 회전이나 크기 변화가 일어났는지 아닌지를 판단하는 추적 객체의 정보 갱신 필요 판단 단계(S₄₁₀)에서 추적 객체의 정보 갱신이 필요하지 않다고 판단되면 다음 프레임에서의 광류를 추출하는 단계(S₄₀₄)로 진행하여 객체 추적을 계속한다. 따라서 이러한 과정을 이용하여 추적 대상 객체를 효과적으로 추적할 수 있다.

그러므로, 본 발명에 의하면, 추적할 객체의 정보가 사전에 주어지지 않은 임의의 객체에 대해서도 효과적으로 추적하기 위하여 센서스 변환을 통한 블록 매칭 비트 연산과 화소값 전체를 이용한 일반 유사도 측정 방법을 병행함으로써 객체추적의 성능을 극대화시킨다.

또한 객체 추적의 시점과 종점을 정의하기 위해 수작업을 통한 방법이 아닌 자동 장면 전환 검출 기법을 객체 추적 시스템에 적용함으로써 객체 추적의 효율성을 높인다. 상기 방법을 통해 객체 추적의 시점을 정하기 위하여 동영상 전체의 내용을 조사해야 하는 작업을 자동화시켰으며 객체 추적의 종점을 정의하기 위해 임의로 지정해서 추적했던 방법을 벗어나 장면 전환이 일어나기 전의 시점을 객체 추적의 종점으로 자동 지정해 주므로 객체 추적의 시점과 종점의 문제를 자동화하였다.

그리고 객체 추적 과정 중에 발생하는 객체의 회전 변화나 크기의 변화에 대응하기 위해 추적 과정에서 추적 형판의 보정이 필요한지 아닌지를 판단하여 보정이 필요하다고 판단된 경우 객체의 특징을 재구성하여 효과적으로 객체의 변화에 대응하였으므로 동영상 데이터에 나타나는 임의의 객체를 효과적으로 추적하여 그 정보를 출력함으로써 하이퍼비디오 저작 도구에도 효과적으로 활용될 수 있다.

이상 설명에서와 같이 본 발명은 다양한 동영상 데이터에서 나타나는 임의 객체의 효과적인 추적을 위하여 객체 추적의 편의를 위하여 장면 전환된 프레임을 자동으로 검출하여 도시하여 주고 상기 검출된 장면 전환된 프레임으로부터 추적할 객체를 입력받고 입력받은 객체의 특징을 추출하여 일반 유사도 측정 방법과 조명 변화 및 배경 변화에 강한 센서스 변환을 통한 비트 연산 블록 매칭 방법을 병행하여 사용함으로서 추적할 객체의 특징을 미리 알 수 없거나, 객체의 회전, 확대/축소 등의 변화로 객체의 모양이 변형되는 경우에도 효과적으로 추적할 수 있다.

본 발명의 다른 특징은 단순한 추적 정보 이외에 사용자로부터 추적한 객체를 도시하는 다양한 방법과 추적한 객체에 하이퍼링크 시킬 정보를 입력받아 객체의 추적 정보와 함께 출력하여 줌으로써 객체의 추적 결과를 효과적으로 사용할 수 있도록 구성하여 추적 결과의 재활용성을 높이고 최근 관심도가 높아지고 있는 하이퍼비디오에서 효과적으로 사용할 수 있도록 하였다.

상기 방법을 통해 기존의 객체 추적 방법에 비하여 객체의 특징을 사전에 알 수 없는 경우에도 동영상에서 사용자로부터 선택된 임의의 객체의 위치를 효과적으로 추적할 수 있고 부가적으로 그 추적 객체에 링크할 데이터와 추적 정보를 함께 출력함으로써 객체 추적의 성능과 그 추적 결과의 활용성을 극대화하였다.

Claims (4)

1. 다양한 동영상을 재생, 일시 정지, 중지 등의 기본적 동영상 처리 기능을 갖는 동영상 선택 단계와, 상기 동영상으로부터 장면 전환된 프레임을 자동으로 검출하여 이를 도시하여 줌으로써 객체 추적의 시점과 종점을 정의하여주는 장면 전환 검출 단계와, 장면 전환 프레임 중 하나의 프레임으로부터 추적할 객체를 사용자로부터 입력받고 입력받은 객체로부터 n개의 특징점을 추출하여 저장한 후 이를 비트 연산 수행을 위한 센서스 변환을 통해 특징을 추출하는 객체 추적 초기화 단계와, 상기 객체 추적 초기화 단계에서 획득된 정보를 바탕으로 다음 장면 전환이 일어난 프레임 전까지 혹은 현재 프레임에서의 객체의 위치와 사용자로부터 입력받은 추적할 객체의 유사도가 임계치 이하로 떨어질 때까지 자동으로 객체를 추적하여 객체의 위치 정보를 추출하는 객체 추적 단계와 하이퍼링크 정보와 객체의 추적 정보를 함께 저장하는 출력 단계로 이루어진 것을 특징으로 하는 동영상 데이터 상의 임의 객체 추적 방법
2. 제 1항에 있어서, 상기 출력 단계 중에 추적된 객체의 위치 정보 이외에 하이퍼비디오에서 사용될 수 있는 부가적인 정보, 즉 객체를 표시하는 방법, 표시하는 방법의 색, 추적된 객체에 하이퍼링크 시킬 자료 등의 정보를 입력받는 단계를 더 포함하는 것을 특징으로 하는 동영상 데이터 상의 임의 객체 추적 방법
3. 제 1항에 있어서, 상기 객체 추적 단계 중에 선택된 임의 객체에 대하여 비트 연산을 이용한 블록 매칭 방법과 일반 유사도 비교 방법을 병행하여 객체 추적의 효과를 높이는 단계를 더 포함하는 것을 특징으로 하는 동영상 데이터 상의 임의 객체 추적 방법
4. 제 1항에 있어서, 상기 객체 추적 단계에서 누적될 수 있는 오차를 보정하기 위하여 일정 프레임 간격마다 탐색창의 사이즈를 확대하여 원 추적 객체에 대한 오차 값을 보정하는 단계를 더 포함하는 것을 특징으로 하는 동영상 데이터 상의 임의 객체 추적 방법