KR100322300B1 - 유동속성트리와부분결과행렬에의한영상데이터검색방법 - Google Patents

Abstract

서로간의 명확한 구분이 없고, 추상화 단계로 해석되고 사용자의 목적에 따라 다르게 기술(설명)되는 연속된 비디오 스트림을 유동적으로 기술(설명)한다. 동시에 다양한 사용자가 기술(설명)한 내용이 일관되게 유지되게 한다. 유동적으로 정의된 속성과 속성값은 트리구조의 사전형태로 구조화되며 비디오 데이터에 대한 기술(설명)은 고정데이터 베이스 스키마에 저장된다. 또한 사용자의 효과적인 브라우징 작업을 지원하기 위하여 사용자의 질의 표현과 의미 기술(설명)작업을 단순화시킨 사전브라우저(dictionary browser)와 사용자가 질의조건들의 다양한 조합에 대한 질의 결과를 분석할 수 있도록 결과 브라우저를 제공한다.

Description

유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법{ }

본 발명은 영상 데이터의 검색 방법에 관한 것으로, 특히, 영상을 고정속성과 유동속성으로 분류하여 검색하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법에 관한 것이다.

컴퓨터와 통신 그리고 데이터 압축기술의 발달로 비디오 데이터를 이용한 다양한 서비스가 가능하게 되었다. 다른 데이터 타입과 비교할 때 비디오 데이터는 압축되었다 하더라도 크기가 매우 크고 실시간에 연속적으로 접근해야 하므로 비디오 데이터의 관리가 어렵다. 또한 연속된 비디오 스트림에는 다양한 정보가 서로간의 명확한 경계 구분 없이 표현된다. 그러나 비디오 데이터는 복합적인 정보를 용이하게 표현할 수 있으므로 비디오 데이터의 사용이 증가될 것으로 예상된다. 효과적인 내용기반 검색을 지원하기 위해서 비디오 파일에 나타나는 임의의 부분에 대한 정보를 적절하게 기술(설명)할 수 있는 기술(설명)단위(unit of description)를 정의한다.

또한 기술(설명)단위는 비디오 파일에 있는 부분들을 물리적으로 재구성하는 것이 아니라 물리적으로 분리되어 있지만 논리적으로는 하나의 연속된 비트스트림으로 관리될 수 있게 한다.

비디오 데이터에 대한 정보는 두 가지 유형이 있다. 하나는 비디오 파일의 부분에 나타나는 내용에 대한 정보이고, 다른 하나는 비디오 파일 자체 혹은 그 비디오 파일에 나타나는 개체에 관련된 일반적인 정보이다. 전자는 비디오 파일에 나타나는 개체의 위치와 움직임의 형태 및 의미를 표현하는 정보이다. 반면에 후자는 비디오 파일의 물리적인 성질과 개체에 대한 일반적인 특성을 표현하는 정보이다. 이 차이를 구분하기 위해서 전자를 동적정보(dynamic information), 후자를 정적정보(static information)라고 정의한다. 비디오 데이터 베이스에서 내용기반 검색에 대한 대부분의 연구는 동적정보를 효과적으로 표현하는 방법에 초점을 두었지만 일반적으로 질의는 정적정보와 동적정보의 조합으로 표현될 수 있으므로 정적정보와 동적정보의 유기적인 관계를 표현할 수 있어야 한다.

비디오 데이터 베이스 시스템에서 내용기반 검색의 효율성은 기술(설명)단위의 구조뿐만 아니라 동적정보의 표현방법에 달려 있고 구축하고자 하는 응용분야의 필요에 따라 표현하는 동적정보의 형태가 변할 수 있다. 따라서 특정분야에서 요구되는 동적정보의 형태를 고정하는 것이 더 효율적일 수 있다. 하지만 이런 방법은 응용분야에 따라 모델링 요소가 변하므로 일반적인 비디오 데이터 베이스 모델로 사용하는 데에는 한계가 있다. 따라서 대부분의 연구는 기존 데이터 베이스 관리시스템에서 사용하는 속성의 개념없이 다양한 형태를 자유롭게 모델링할 수 있는 키워드 방법을 사용한다. 이 방법은 키워드를 저장할 수 있는 간단한 구조로 구현이 가능하지만 질의의 검색결과가 주석(annotation) 처리에서 사용된 단어와 질의를 표현할 때 사용되는 단어의 선택에 따라 상당히 민감하게 변하는 단점을 갖는다.

속성의 개념을 지원하는 방법에서는 화면(scene)의 의미를 기술(설명)하는 속성들의 집합을 고정된 데이터 베이스 스키마(schema)로 표현하는 방법과 스키마없이 동적으로 구성하는 형태로 분류할 수 있다. 하지만 동적정보를 고정스키마로 표현하는 데에는 다음과 같은 단점이 있다.

첫 번째는 하나의 화면에 나타나는 개체의 움직임에 대한 수많은 유형이 있을 수 있기 때문에 움직임의 형태를 미리 고정시키는 방법은 일반적인 해결책이 될 수 없다. 두 번째는 비디오 데이터베이스에 저장된 화면의 종류와 개체의 량이 방대할 수 있고 사용자 관점의 변화에 따라 개체와 화면의 중요도가 변할 수 있기 때문에 모델링되는 개체혹은 화면의 종류를 고정하는 것은 좋은 방법이 아니다. 마지막으로 동일한 동적정보에 대한 기술(설명)은 사용자의 관점에 따라 표현이 상이할 수 있기 때문이다. 이러한 이유로 비디오 데이터 베이스가 특정한 용도로 설계되지않는다면 모델링 요소의 집합을 고정하여 정의하는 것은 거의 불가능하다.

비디오 데이터 베이스 시스템의 이런 요구에도 불구하고 스키마 없이 속성을 관리하는 데이터 베이스 관리 시스템은 없다. 따라서 대부분의 연구는 서로 다른 질의언어와 인덱스구조를 갖는 고유의 비디오 데이터 모델을 제공한다. 이런 어려움을 극복하기 위해서 본 발명은 기존의 데이터 베이스모델에서 유동적으로 정의되는 속성과 속성값의 집합을 효율적으로 관리한다. 또한 비디오 데이터 베이스에서는 기존의 데이터 베이스 시스템과는 달리 사용자가 질의결과를 활용하기 위해서는 결과 비디오 데이터를 재생해야 한다. 하지만 질의 결과의 수가 상당히 많을 경우 일일이 모든 비디오를 재생한다는 것은 불가능하다.

일반적으로 내용 기반검색을 위한 질의는 정확한 매칭(matching)보다는 유사한 조건을 갖는 데이터를 추출하는 특성을 갖는다. 따라서 질의를 구성하는 각 조건에 대한 예상결과수를 질의 처리전에 사용자에게 제시함으로써 사용자의 질의표현작업을 효과적으로 지원할 수 있다. 본 발명에서는 이러한 기능을 지원하는 결과브라우저를 제안하여 사용자가 질의조건들을 재구성할 수 있도록 지원한다.

비디오 데이터베이스에 대한 내용기반검색의 지원을 위한 다양한 방법의 연구가 진행되고 있다. 비디오 파일과 심볼객체(symbol object)를 각각 비디오 클래스 계층(class hierachy)과 심볼클래스 계층(symbol class hierachy)으로 구성하여 내용기반 검색을 한다. 이런 계층구조에 기초하여 기술(설명)된 비디오 정보는 비디오심볼객체(video_symbol_object) 테이블에서 유지되고 질의는 CVQL 이라는 질의언어로 표현된다.

심볼객체의 공간적 또는 시간적 관계는 미리 정의된 시공산 함수로 정의된다. 톱피컬카타고리(topical categories)라고 하는 클래스계층을 사용하여 도메인의 특정정보를 표현 할 수 있다. 키워드는 비디오 정보를 기술(설명)하는데 사용되며 도메인의 특정 스키마에 저장되는 반면에 질의는 자유문구(free-text)형식으로 표현된다. 위의 두가지 방식은 주석과 인덱싱을 위해 응용 도메인의 특정정보를 사용하기 때문에 제한된 응용분야에 적합하다. 또한 의미단어들에 대한 의미사전 트리의 크기가 커질 경우 트리구조에 대한 브라우징 방법을 고려하지 않았다.

텔레비젼 뉴스의 내용기반 검색을 위해서 문자방송을 이용하여 뉴스정보를 기술(설명)한다. 이 방법에서 질의는 키워드로 표현하고 질의결과는 질의문과 문자방송의 텍스트간의 매칭정도를 나타내는 매칭스코어(matching score)로 정렬하여 순차적으로 표시된다. 키워드와 자유문구형식으로 질의를 표현하는 방식은 개체의위치, 크기, 새깔과 같은 하위레벨의 정보를 표현하기 어렵다는 단점이 있다.

비디오 데이터의 구조를 저장하기 위하여 기존의 데이터 베이스 관리시스템을 사용하고 비디오의 내용정보는 키워드를 사용하여 주석처리한다. 미리 정의된 함수를 사용하여 비디오 데이터들의 시간적 관계를 표현하고 비디오 데이터들을 공유한다.

칼라 히스토그램, 색상 및 평균 밝기를 사용해서 비디오 스트림의 특성정보를 자동적으로 추출하고 이 정보는 비디오 데이터를 검색하는데 필요한 키프레임을 찾는데 사용할 수 있다. 한편, 비디오 데이터를 구조화하기 위해서 특정화면에 대한 비디오 정보를 정해진 모델링 요소 집합으로 구성된 벡터표현식(vectorexpression) 으로 변환하고, 이 벡터 표현식은 화면의 경계를 감지하여 추출하기 위해서 이웃한 프레임과 세그먼트간의 유사성을 찾는데 사용할 수 있다.

OVID와 대수영상모델(Algibraic Video Model)에서는 비디오 데이터의 동적정보를 유동적으로 정의된 속성과 속성값 쌍으로 기술(설명)한다. OVID에서의 기술(설명)단위는 비디오 객체로서 내용을 기술(설명)하는데 사용된 모든 속성값들은 일반화 계층(generalized hierachy)구조에서 유지한다. 따라서 속성값을 많이 정의할 경우 트리의 크기가 커지는 단점이 있다. OVID에서는 고유의 질의언어로 Video SQL을 사용하여 비디오 객체를 검색한다. 대수영상모델(Algibraic Video Model)에서의 기술(설명)단위는 비디오 대수연산자로 표현되는 비디오 표현식이며 이러한 구조는 다른 비디오 표현식에서 용이하게 공유할 수 있는 장점이 있지만 비디오 표현식이 대수연산을 다중으로 포함할 경우 비디오 표현식에 해당하는 실제 비디오 데이터를 파악하는 관계가 복잡해진다. 또한 속성과 속성값 쌍의 논리연산 조합으로 질의를 표현하지만 브라우징하기 위한 의미사전 구조가 없기 때문에 사용자는 정의를 표현하기 위해 속성과 속성값의 리스트를 각각 순차적으로 검색해야 한다.

기존의 데이터베이스 관리시스템(DBMS)에서 비디오 데이터의 정적정보는 가장효과적으로 표현할 수 있지만 대부분의 연구에서 내용기반 질의를 표현하기 위해 고유의 질의 언어를 제공한다. 이들 질의언어들은 SQL과 호환되지 않으므로 비디오 데이터의 질의를 동적정보와 정적정보의 조합으로 표현하기가 어렵다. 따라서, 이러한 방법은 새로운 질의언어를 습득해야 하는 사용자의 부담을 초래할 뿐만아니라 비디오 데이터 베이스가 기존의 데이터베이스와 통합되어야 할 경우 호환성의 문제가 발생할 수 있다.

두 개의 기술(설명)단위 사이에는 다양한 시간적인 관계가 존재할 수 있다. 이들 중에서 하나의 구간이 다른 구간에 포함될 때 구간포함(interval inclusion) 관계가 발생하며 이 관계는 OVID 시스템에서 동적기술(설명)을 상속하는데 사용한다. 속성은 사용자에 의해 상속가능한 속성과 상속 불가능한 속성으로 분류되는데 상속가능한 속성과 속성값 쌍은 병합(merge) 혹은 중첩(overlap) 연산이 수행되었을 경우에만 상속된다. 반면에 대수영상모델(Algibraic Video Model)은 포함되는 비디오 표현식 간에 기술(설명)된 의미를 동적으로 상속할 수 있지만 OVID에서와 같이 선택적으로 지원하지 않는다.

비디오 데이터의 내용 기반검색을 위해서 계층적 시간언어(hierachical temporal language)를 사용하고 비디오 데이터의 시공간적 기술(설명)은 논리식으로 표현할 수 있다. 멀티미디어 객체를 검색하기 위해 확률적 검색모델(Probabilistic retrieval model)을 사용할 수 있다. 질의와 비디오 클립 내용간의 정확한 매칭에 따라 검새결과를 제공하는 다른방법과는 달리 이 방법은 질의와의 관련성을 확률로 표현한다. 비디오 데이터에 대한 모델링 요소는 비디오 데이터베이스의 응용분야에 따라 다르게 정의될 수 있기 때문에 질의를 표현할 수 있는 범위는 모델링된 요소에 제한된다.

본 발명은 상기와 같은 종래의 문제점을 해소하기 위한 것으로,

본 발명의 목적은 기존의 데이터 베이스모델에서 유동적으로 정의되는 속성과 속성값의 집합을 효율적으로 관리하는 방법을 제공하는 데 있다.

본 발명의 다른 목적은 사용자가 질의조건들을 재구성할 수 있는 기능을 지원하는 결과브라우저를 제공하는 것이다.

본 발명의 또 다른 목적은 질의를 구성하는 각 조건에 대한 예상결과수를 질의 처리전에 사용자에게 제시할 수 있는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 정적정보와 동적정보의 유기적인 관계를 표현할 수 있는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 비디오 파일에 있는 부분들을 물리적으로 분리되어 있지만 논리적으로는 하나의 연속된 비트스트림으로 관리될 수 있는 방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명은 다양한 추상화 단계로 해석될 수 있는 유동속성을 관리하기 위해 유동속성 A에대해 유동속성트리(FAT:flexible attribute tree)를 정의하고, 동일한 개념의 트리를 두 개의 다른 유동속성 트리또는 속성값으로 모델링하고, 모델링되는 다양한 유형의 정보가 존재하는 비디오 데이터 베이스 모델에서 이러한 정보들을 나타내기 위해서 스키마 구조를 제안한다. 또한, 사용자의 효과적인 브라우징 작업을 지원하기 위하여 사용자의 질의 표현과 의미 기술(설명)작업을 단순화시킨 사전브라우저(dictionary browser)와 사용자가 질의조건들의 다양한 조합에 대한 질의 결과를 분석할 수 있도록 결과 브라우저를 제공한다. 결과브라우저에 의하여 사용자가 질의조건들을 재구성할 수 있도록 지원한다.

도1은 비디오 데이터의 내용을 기술(설명)할 수 있는 속성형을 보인다.

도2는 의미속성"행위"의 유동속성트리와 x-y 좌표상에 나타나는 개체의 위치를 표현하는 형태속성 "위치"의 유동속성트리를 보인다.

도3은 FAT에 있는 속성값의 브라우징 방법을 보인다.

도4는 본 발명에 의한 사전 브라우저의 전반적인 구조를 보인다.

도5는 질의의 결과를 보이는 결과뷰어이다.

도6은 본 발명에 의한 결과브라우저를 보인다.

이하, 상기와 같이 구성된 본 발명의 기술적 사상에 따른 실시예를 들어 첨부된 도면에 의거 그 동작 및 작용 효과를 상세히 설명하면 다음과 같다.

기존의 관계형 및 객체지향 데이터 베이스 모델에서는 비디오 데이터의 정적정보는 손쉽게 표현할 수 있다. 개체의 일반적인 성질에 연관된 속성들은 에디터 베이스 설계시에 고정스키마로 정의한다. 예를들어, 이름, 나이, 성별과 같은 개체의 일반적인 속성이나 제목, 파일포맷, 크기, 해상도와 같은 비디오 파일 자체에 대한 정보는 고정 스키마로 손쉽게 모델링할 수 있다. 반면에 다양한 사용자가 서로 다른 관점으로 속성에 대한 정보를 여러 단계로 추상화시킬 경우 속성의 공통적인 집합을 정의하기가 불가능하기 때문에 동적정보는 고정스키마로 모델링하기가 어렵다. 따라서, OVID 시스템에서처럼 동적정보는 속성과 속성값 쌍으로 표현한다. 속성과 속성값 쌍의 집합을 동적기술(설명)(DYNAMIC DESCRIPTION) 이라고 정의하고 그 요소는 필요에 따라 동적으로 추가 또는 삭제될 수 있다. 이런 유동적인 특성 때문에 스키마를 정의하는 기존의 방법은 사용될 수 없으며 속성과 속성의 도메인을 명확히 정의하는 것이 용이하지 않기 때문에 유동적으로 정의된 속성과 속성값은 특별한 관리가 필요하다.

동적정보는 형태단계(SYNTACTIC LEVEL)와 의미단계(semantic-level)의 두단계로 분류할 수 있다. 형태단계기술(설명)은 기술(설명)단위에 나타나는 정보의 가장하위 단계를 의미한다. 이는 비디오 데이터에 나타나는 개체의 크기, 위치, 혹은 개체의 연속된 움직임의 방향으로서 개체의 정확한 모양, 색깔 또는 움직임을 표현하는데 사용한다. 따라서, 형태단계 기술(설명)은 대개 물리적으로 연속된 기술(설명)단위에 사용된다. 기존의 많은 연구들은 형태단계 정보만을 사용하여 비디오 데이터의 주석을 자동적으로 부여하는 기법에대해 연구되었다.

의미단계 기술(설명)은 보다 상위단계의 추상화로서 기술(설명)단위에 나타나는 형태단계 정보의 개념적인 의미를 모델링하는데 사용한다. 예를들어 사람이 독서하고 있는 화면이라면 형태단계 기술(설명)은 화면에 나타나는 각 개체의 위치와 크기를 모델링할 수 있고 의미단계기술(설명)은 화면을 독서로 모델링할 수 있다. 형태단계 기술(설명)과 달리 의미단계 기술(설명)은 여러단계의 추상화가 가능하고 연속된 비트스트림 뿐만 아니라 하나 이상의 작은 기술(설명) 단위들이 하나의 큰 기술(설명)단위로 정의될 수 있다. 이 경우에 하나로 구성되는 의미단계 기술(설명)은 하나 이상의 다른 작은 기술(설명)단위보다 높은 단계로 추상화된 의미로 기술(설명)된다.

도1은 비디오 데이터의 내용을 기술(설명)할 수 있는 속성형을 보인다.

동적정보를 표현하는 속성은 유동속성이라고 정의하고, 그렇지않은 경우를 고정속성이라고 정의한다.

각 사용자의 관점에 따라 유동속성과 속성값의 이름이 각각 다르게 표현할 수있기 때문에 유동속성과 속성값의 집합을 관리하는 것은 용이하지 않다. 예를들어, 개체의 위치는 "위치" 혹은 "중심"으로 표현될 수 있고 그 속성값은 x-y 좌표혹은 r-θ 좌표로 표현될 수 있다.

다양한 추상화 단계로 해석될 수 있는 유동속성을 관리하기 위해 유동속성 A에 대해 유동속성트리(FAT:flexible attribute tree)를 정의한다. 유동속성트리 T_A는 노드 N={A, n₁, n₂,...,n_p}의 집합으로 구성되고, 각 원소는 유일한 값 v_i(1≤i≤p)를 갖는다. 또한 유동속성트리 T_A는 다음과 같은 성질을 갖는다.

(i)노드 A는 트리의 루트이다.

(ii)노드 n_i는 자신의 부모보다 상세화된 값 v_i를 갖는다.

(iii)노드 n_i가 내부노드이면 n_i의 도메인은 D(n_i)=v_i이다.

(iv)노드 n_i가 리프노드이면,

-n_i는 사용자에 의해 정의되는 상세화된 값 W={w₁, w₂,....,w_i}의 집합을 가질 수 있다.

-n_i의 도메인은 D(n_i)={v_i}∪W

(v)T_A의 도메인 D(T_A) = ∪i = 1p D(n_i)

(vi)새로운 노드가 트리에 삽입될 수 있고 트리의 노드는 삭제될 수 있다. 노드 n_i가 삭제되었을 때는 노드n_i의 자식은 노드n_i부모의 자식이 된다.

(ⅶ)여기서 심볼 'P'는 매개변수이다.

유동속성트리에 있는 노드의 값으로 고유명사와 같은 특정값은 사용할 수 없는 대신에 리프노드에서 상세화된 값으로 관리한다. 예를들어 유동속성트리 빌딩과 그 리프노드의 하나가 정부기관이라면 청와대는 정부기관의 상세화된 값이 된다.도2에 의미속성"행위"의 유동속성트리와 x-y 좌표상에 나타나는 개체의 위치를 표현하는 형태속성 "위치"의 유동속성트리를 보인다.

동일한 개념의 트리를 두 개의 다른 유동속성 트리또는 속성값으로 모델링할 수 있기 때문에 유동속성트리와 노드값을 일관되게 사용하기 위해서 관리자만이 새로운 유동속성트리를 정의할 수 있고 유동속성트리의 구조를 변경할 수 있다. 주어진 유동속성트리에 기초하여 사용자는 화면에 대한 주석을 부여할 수 있고 내용기반질의를 표현할 수 있다.

앞서 설명했듯이 비디오 데이터 베이스에서는 모델링되는 다양한 유형의 정보가 존재한다. 기존의 데이터베이스 모델에서 이러한 정보들을 나타내기 위해서 다음과 같은 스키마 구조를 제안한다.

·물리세그멘트(P_id, 파일이름, 파일위치 파일크기, 파일포맷,...,물리속성 또는 정적속성)

·논리세그멘트(L_id, P_id, 시작옵셋, 끝옵셋)

·논리세그멘트 리스트 (V_id, L_id, Sequence#)

·비디오 클립(V_id, 유동속성이름, 속성값, 상속정보, [개체속성이름])

·뷰(V_id, 고정속성)

·유동속성(유동속성이름, 유형, 상속여부?, FAT pointer)

비디오 데이터 베이스에 삽입된 각 비디오 파일은 유일한 물리세그먼트 P_id를가지며 논리세그먼트 L_id=(P_id=[s, e])는 물리세그먼트 P_id,에 있는 옵셋 s에서 옵셋 e까지의 구간을 나타내는 것으로 정의한다. 다수의 논리세그먼트가 하나의 물리세그먼트에서 정의될 수 있는 반면에 그 반대의 경우는 정의할 수 없기 때문에 물리세그먼트와 논리세그먼트의 집합간의 관계는 1:N 이다.

또한 하나 이상의 논리세그먼트들을 논리세그먼트 리스트[(P₁=[s₁, e₁],P₂=[s₂, e₂],..., P_n=[s_n, e_n]]로 정의하여 비디오 클립 혹은 뷰를 정의하는데 사용한다.

비디오클립은 내용기반 의미를 기술(설명)하는 단위인 반면에, 뷰는 논리적인 비디오 파일을 구성하기 위해 사용한다. 즉 뷰는 여러 물리세그먼트들의 부분을 논리적으로 연결하여 하나의 논리적인 비디오 파일을 구성하는데 사용된다. 비디오 클립혹은 뷰는 하나이상의 논리세그먼트로 정의될 수 있으며, 동일한 논리세그먼트는 여러 뷰 혹은 비디오 클립에서 공유할 수 있으므로 비디오 클립집합 또는 뷰 집합은 논리세그먼트 집합과 M:N 관계를 형성한다.

비디오 클립의 동적의미는 유동속성트리에 있는 노드값을 선택하여 표현하며 실제의 비디오 클립에 연결된다. 사용자는 비디오 클립을 생성하고 제거할 수 있지만 논리세그먼트와 논리세그먼트 리스트는 시스템에서 유지된다. 물리세그먼트와 뷰 스키마의 고정속성과 비디오 클립 스키마의 개체 속성은 비디오 데이터베이스의 응용분야에 따라 정의한다. 대개 개체 속성은 속성과 속성값 쌍의 주체로서 개체의 이름을 표현한다. 이는 비디오 클립에서 하나이상의 개체들이 동시에 나타날 수 있기 때문에 각 개체들을 독립적으로 기술(설명)할 수 있도록 지원한다.

비디오 클립 v_i와 v_j가 각각 v_i=[l₁, l₂,...., l_x] 와 v_j=[l₁', l₂',...., l_y']으로 정의되는 논리세그먼트 리스트라 하고, v_j의 비디오 스트림이 v_i의 모든 스트림을 포함하는 것을 v_i∠v_j으로 나타낸다면 v_i에 있는 각 논리세그먼트 l_i=[p_i,(s_i, e_i)]에 대해 v_i∠ v_j은 다음의 (i)과 (ii)를 만족하는 논리세그먼트l_j'=[p_j',(s_j', e_j')]가 v_j에 존재해야 한다.

(i)p_i=p'_j

(ii)s'_j<s_i, e_i<e'_j

주어진 형태속성집합 A_syn과 의미속성집합 A_sem에 대하여 비디오 클립 v_i에 대해 v_i ^syn과 v_i ^sem라고 정의한다.

v_i ^syn={(속성, 속성값)｜속성∈ A_syn, 속성값∈D(T_attr)}

v_i ^sem={(속성, 속성값)｜속성∈ A_sem, 속성값∈D(T_attr)}

따라서 비디오 클립 v_i에 대해서 사용자가 기술(설명)한 의미는 다음과 같다.

v_i ^self= v_i ^syn∪ v_i ^sem

구간포함 관계연산에 의한 기술(설명)을 고려하기 위해서 의미속성 A_sem의 집합을 다음과 같이 상속가능속성(A_{I_sem})과 상속불가능 속성(A_{NI_sem})으로 분류할 수 있다.

A_sem= A_{I_sem}∪ A_{NI_sem}, A_{I_sem}∩ A_{NI_sem}= Ø

스키마 관리자는 임의의 의미 속성이 상속가능한 지 상속 불가능한 지를 결정한다. 따라서, 비디오 클립 v_i의 의미기술(설명)은 다음과 같이 상속가능기술(설명) (v_i ^I_sem)과 상속불가능 기술(설명)(v_i ^NI_sem)의 두가지로 분류된다.

v_i ^I_sem={(속성, 속성값)｜속성∈ A_{I_sem}, 속성값∈D(T_attr)}

v_i ^NI_sem={(속성, 속성값)｜속성∈ A_{NI_sem}, 속성값∈D(T_attr)}

비디오 클립에 대한 모든 형태 기술(설명)은 상속될 수 있으므로 비디오 클립 v_i에 상속된 기술(설명)은 다음과 같이 v_i∠ v_k을 만족하는 모든 v_k의 상속가능 기술(설명)을 포함한다.

v_i ^inh= ∪_k(v_k ^syn∪ v_k ^I_sem)

따라서 상속된 기술(설명)을 포함하는 비디오 클립 v_i에 기술(설명)된 의미는 다음과 같다.

v_i ^description= v_i ^self∪ v_i ^inh

모든 유동속성의 이름, 유동속성트리(FAT) 그리고 동적정보의 유형(형태 혹은 의미)은 유동속성 스키마에 저장되고 속성의 상속여부를 유지한다. 비디오클립간의 의미상속은 비디오 클립 스키마에서 표현된다. 사용자가 비디오 클립 v_s에 표현한 새로운 형태 기술(설명)이나 상속 가능한 의미 기술(설명)은 비디오 클립 스키마에 다음과 같이 표현된다.

(v_s, 속성; 속성값; 상속정보=no,[la])

여기서 (속성;속성값')∈{(속성, 속성값)│속성∈A_syn또는 속성∈A_I, 속성값 ∈D(T_attr)} 그리고 [la]: 개체 속성값

이때 v_i∠v_s를 만족하는 모든 비디오 클립 v_t에 대하여 새로운 튜플(v_t, 속성; 속성값; 상속정보=yes,[la])을 비디오 클립 스키마에 부가적으로 첨가하게 된다. 포함(∠)관계를 만족하는 비디오 클립이 많다면 의미상속처리시간은 많이 소요되지만 상속된 기술(설명)은 비디오 클립의 보충적인 의미로 고려할 수 있기 때문에 의미상속처리는 새로운 기술(설명)이 삽입될 때마다 수행하기 보다는 주기적으로 수행하는 것이 더욱 효율적이다.

의미기술(설명)을 상속할 때 부분중첩관계(partially overlapped relationship)는 구간을 부분적으로 공유하고 있는 두 개의 클립간에 발생하며 이 관계는 중첩된 부분 구간이 각각의 비디오 클립과 포함관계를 가지므로 특별한 구간포함 관계로 간주할 수 있다. 따라서 중첩된 부분을 새로운 비디오 클립으로 시스템이 정의함으로써 어느 사용자에 의해서도 비디오 클립으로 정의되지 않은 부분에 대해 내용기반 검색을 지원할 수 있다.

단순한 내용기반 질의는 그래픽 사용자 인터페이스(GUI)로 표현할 수 잇지만 복잡한 질의는 비디오 데이터 모델에 기반한 질의언어로 표현해야 한다. 기존연구에서 사용된 대부분의 질의언어는 세가지 방식으로 분류된다.

첫 번째는 질의를 표현하는데 형식화된 방법을 제공하지 못했던 임기 응변적인 방법(ad-hoc solution)을 사용한 것으로 키워드 형태로 주석을 부여하는 시스템에서 사용한다. 두 번째는 SQL과 같은 표준질의언어를 사용한 것이다. 그러나 이 방법은 스키마가 유동적으로 바뀔 수 없기 때문에 모델링 요소가 고정되어 있는 분야에만 한정되었다. 세 번째는 제안하는 시스템에 적합한 형태를 갖는 고유의 질의언어를 제공한 것이다.

비디오 데이터베이스에 정치인 비디오 파일이 저장되어 있다고 가정하자. 유동속성트리가 도2와 같다고 할 때 김영삼 대통령이 연설하고 있는 비디오 클립을 찾고자 한다면 질의는 다음과 같은 SQL로 표현된다.

Q1:select v_id

from 비디오 클립

where 유동속성=행위 and 값= 연설 and 개체이름= 김영삼

사용자가 화면의 x<X_max/2 와 y<Y_max/2 의 범위에서 김영삼이 나타나는 비디오클립을 모두 찾고자한다면 질의는 다음과 같다.

Q2:(select v_id

from 비디오 클립

where 유동속성=위치 and 값=x<X_max/2 and 개체속성= 김영삼)

intersect

(select v_id

from 비디오 클립

여기서 유동속성=위치 and 값=y<Y_max/2 and 개체이름= 김영삼)

관계형 데이터 베이스에서 스키마 정치인 (이름, 나이, 성별, 국적, 활동경력)이 존재한다고 할 때 한국남자 정치가가 연설하는 클립을 검색하는 질의는 다음과 같다.

Q3:select v_id

from 비디오 클립

where 유동속성=행위 and 값=연설 and

개체이름in(select 이름

from 정치인

where 국적=한국 and 성별 =남자)

비디오 클립간의 포함(∠)관계를 파악하기 위해 한 구간이 다른 구간에 포함되는지를 확인할 필요가 있다. 예를들어 질의 Q4가 물리세그먼트 p의 t1에서 t2까지의 구간에서 정의된 논리세그먼트를 검색하고 Q5가 비디오 클립 v의 모든 세그먼트를 검색한다면 질의는 다음과 같다.

Q4:select v_id

from 논리세그먼트

where P_id=p and 시작옵셋 >t1 and 끝옵셋<t2

Q5:select L_id

from 논리세그먼트 리스트

where V_id=v

order by Sequence#

상속된 기술(설명)을 제외하고 비디오 클립을 검색하고자 한다면 비디오 클립 스키마에 있는 상속정보? 속성을 이용하여 표현한다. 예를들어, 질의 Q2를 상속된 기술이 없는 질의로 표현하면 다음과 같다.

Q6:select v_id

from 비디오 클립

where 유동속성=위치 and 값=x<X_max/2 and 개체속성= 케네디 and 상속정보?=no)

intersect

(select V_id

from 비디오 클립

where 유동속성=위치 and 값=y<Y_max/2 and 개체이름= 케네디 and 상속정보?=no)

비디오 클립의 수와 클립에 대한 기술이 방대해진다면 클립검색 작업은 많은 탐색시간이 필요하지만 OVID 나 Algibraic Model에서는 이를 위한 접근구조에 대한 해결책이 제시되지않았다. 이와같이 기존의 데이타베이스 관리시스템을 이용하는 작업은 해쉬나 B-tree와 같은 접근구조가 데이터베이스 검색효율을 높일 수 있다.

내용기반 질의는 속성에 대한 다양한 조건을 포함할 수 있기 때문에 비디오 데이터 베이스에서 사용자는 복잡한 질의를 표현하기가 힘들며 속성과 속성값을 유동적으로 관리하게 되면 이 문제는 더 심각해 질 수 있다. 또한 사용자가 필요한 모든 질의 조건을 구성했다고 해도 사용자는 질의의 결과 비디오를 사용하기 전에 반드시 재생해야 한다.

FAT의 구조는 직접적으로 사용자가 사용하기에 적합하지 않다. 노드가 추가되고 삭제되기 때문에 FAT는 균형이 맞지 않는 트리가 될 수 있고 따라서 전체적인 트리구조를 보여주기 어렵다. 또한, 하나의 FAT가 속성과 속성값 쌍을 표현하기 때문에 복잡한 질의 조건을 구성하기 위해서 대부분의 질의는 하나 이상의 FAT가 필요하다.

도3은 FAT에 있는 속성값의 브라우징 방법을 보여준다. 하나의 FAT에서 관련된 속성값을 보여주기 위해서 FAT의 루트에서부터 현재 선택된 노드의 경로에 이웃한 노드가 사용자의 작업대상이 된다. 사용자가 트리의 탐색경로를 선택할 때 브라우저는 경로에 있는 동일한 레벨의 속성값만을 표시한다. 브라우저에서 속성값 상자는 FAT에 있는 노드의 속성값을 표현하고 FAT의 레벨차이는 각 레벨마다 속성값 상자의 색상을 다르게 한다. 속성값 상자의 두가지 화살표는 부모 혹은 자식으로 이동할 수 있는 콘트롤이다. 도3의 속성값 상자의 자식 콘트롤을 선택하면 속성값 상자는 자신의 자식노드에 해당하는 속성값 상자로 대치되고 속성값 상자의 부모 콘트롤은 자식 콘트롤과 반대의 기능을 한다.

본 발명의 브라우저에서는 하나 이상의 FAT를 동시에 브라우징 할 수 있다. 도3와 같이 세 개의 FAT 을Aⁱi, A^j, A^k를 하나의 작업공간에서 검색할 수 있다. 브라우저에서 유동속성을 나타내는 각 열을 속성 팔레트(attribute pallete)라고 정의한다. 초기 화면에서 시스템에 정의된 모든 팔레트의 이름이 아이콘 형식으로 제공되고 사용자가 검색하고자 하는 아이콘의 집합을 선택한 후에 속성 팔레트가 브라우저에 나타난다.

관리자는 FAT의 구조를 수정할 수 있는데 FAT의 부분트리(sub-tree)의 크기가 커지면 비디오 클립 스키마의 내용을 수정하여 새로운 FAT로 정의하고자 하는 서브트리의 속성값을 갖는 모든 튜플들의 유동속성필드를 새로운 FAT의 이름으로 변환시킨다. FAT의 수가 관리하기 힘들정도로 커지면 의미의 유사성에 따라 클립맵과 같이 부 그룹화(sub-grouping)할 수 있다.

FAT를 브라우징하면서 사용자는 비디오 클립의의미를 기술할 수 있다. FAT에서 원하는 유동속성값을 선택한 후에 속성=속성값의 기본적인 질의조건을 입력할 수 있는 속성값 상자를 클릭하여 의미를 기술한다. 사용자는 도3의(d)의 질의조건을 나타내는 텍스트 상자에서 리프노드의 상세 속성값을 입력하고 개체속성값도 유사한 방법으로 입력한다. 이와같은 방법으로 입력된 정보는 비디오 클립 스키마에 저장된다.

비디오 데이터에 대한 질의를 표현하는 기존의 방법에서는 상호 대화식의 질의는 키워드의 리스트 혹은 논리연산자의 조합으로 구성하였다. 이중에서는 질의 조건을 제한하거나 색깔, 질감(texture), 공간/시간적 조건을 지원하기 위한 고유의 인터페이스를 제공하였다. 질의모드에서는 사전 브라우저를 사용하여 표현할 수 있으며 상세 속성값에 대한 질의 조건은 앞서 기술한 의미기술 방법과 동일한 방법으로 표현한다. 이렇게 구성된 질의조건은 논리연산으로 해석되어 내부적으로 SQL문으로 변환된다. 동일한 팔레트에서 선택한 질의조건은 속성값간의 OR을 의미하고 다른 팔레트에서 선택한 질의조건들은 AND를 의미한다. 따라서 동일한 FAT의 값들간에 AND 조건을 표현하기 위해서는 동일한 속성 팔레트를 한번 이상 선택해야 한다.

사전 브라우저의 전반적인 구조는 도4와 같다. 도4는 4개의 고정속성과 5개의 유동속성을 선택하여 질의를 구성한 후의 브라우저를 보여준다. 두 개의 유동속성 및 속성값 쌍, ACTION/handshake 과 POSITION/Xmax/2 의 주체는 김영삼 대통령으로 표현되었고, PLACE 속성에 대하여 BLUE HOUSE는 리프노드 governmentorganization의 상세 속성값이다. 각 질의 조건마다 제공하고 잇는 Inh 버튼을 선택하여 상속된 의미를 포함하는 질의결과를 얻을 수 있다. 질의결과는 도5와 같이 결과뷰어에 나타나며 주어진 질의를 만족하는 각 비디오 클립의 대표 프레임이 아이콘으로 표현된다. 이 아이콘은 마이콘(micon)과 동일하며 사용자는 대표 프레임에 해당되는 비디오 데이터를 재생하기 위해서 아이콘을 클릭할 수 있고 슬라이드 쇼 기능을 사용하여 모든 대표프레임을 순차적으로 짧은 시간에 볼 수 있다.

질의의 결과는 매칭스코어를 순차적으로 정렬한 리스트로 표시하고 뉴스 방송에서 시간바(timebar) 구조를 제공하여 질의결과에 대한 매칭정도를 표현한다. 하지만 비디오 데이터 베이스에서는 사용자가 질의를 표현하는데 도움을 줄 수 있도록 좀더 분석적인 기능을 제공할 필요가 있다. 질의결과가 너무 많거난 적으면 사용자는 적합한 검색결과를 얻기 위하여 질의조건을 재구성해야 한다. 결과의 수는 질의의 구성뿐만아니라 데이터 베이스의 내용에 의존되므로 사용자가 구성한 질의조건의 부분적인 예상결과 수를 보여줄수 있는 특별한 브라우저가 필요하다.

도6은 본 발명에 의한 결과브라우저를 보인다.

s_i, 1≤i≤c를 사용자가 표현한 "속성=속성값"으로 표현되는 질의조건이라 하자. 질의의 부분적인 결과분석을 위해 부분결과행렬(partial result matrix)라고 불리는 C×C 행렬 R을 사용한다. 이 행렬의 각 원소는 질의조건의 조합을 만족하는 비디오 클립의수를 다음과 같이 나타낸다.

(i)대각원소(Diagonal elements) R(i,i), 1≤i≤c:s_i를 만족하는 비디오 클립의수

(ii)상위대각원소(Upper-diagonal elements) R(i,j), 1≤i≤c, 1≤j≤c:s_i∧s_i+1∧....∧s_j를 만족하는 비디오 클립의수

(iii)하위대각원소(Lower-diagonal elements) R(i,j), 1≤i≤c,1≤j≤c:s_i∧s_j를 만족하는 비디오 클립의수

직관적으로 해석할 수 있도록 부분결과 행렬의 각원소의 색상 명도로 결과 비디오 클립수를 나타낸다.

의의 질의 조건들의 조합은 사용자가 질의의 매칭정도를 이해할 수 있도록 충분한 정보를 제공한다. 행렬에서 원소의 순서가 질의의 결과를 분석하는데 중요한 요소이므로 사용자가 드래그 앤 드롭하여 재정렬할 수 잇도록 지원한다. 결과 브라우저의 비디오 클립수에 기초하여 사용자는 질의를 재구성할 수 있다.

하나의 비디오 파일에 대한 물리적인 구조의 브라우징을 지원하기 위하여 구조 브라우저(structure browser)를 제공하며 브라우저의 구성은 도5의 결과 브라우저와 유사하다. 구조 브라우저에서 2차원 구조는 샷(shot), 화면(scene), 시퀀스(squence)의 대표 프레임을 나타내는 3단계의 트리구조로 표현한다. 이기능은 계층적인 브라우저와 유사한다. 즉 트리는 비디오 파일의 물리적인 구조를 표현하고 있다. 구조브라우저에서는 비디오 파일에 정의되어 있는 비디오 클립을 검색할 수 있다.

이상에서 살펴본 바와 같이, 본 발명에 의하면, 서로 관련된 속성들을 그룹화하여 고정 스키마로 정의하고, 또는 고정스키마 없이 유동적인 방법으로 속성을 정의하여 유동적으로 정의된 속성은 고정스키마로 유지되기 때문에 사용자가 내용기반 질의를 다양한 속성집합으로 질의를 구성할 수 있다. 사전브라우저는 내부적으로 트리형태로 구조화된 유동속성 트리의 브라우징을 단순화시키고 구조브라우저는 비디오 파일의 내용을 이해할 수 있도록 간단한 방법을 제공한다.

Claims (12)

1. 영상 데이터 검색방법에 있어서,

   상기 영상 파일의 내용에 대한 정보를 나타내는 동적정보를 유동속성으로 표현하고, 상기 유동속성 A에 대해 유동속성트리(FAT:flexible attribute tree)를 정의하고, 유동속성트리 T_A는 노드 N={A, n₁, n₂,...,n_p}의 집합으로 구성되고, 각 원소는 유일한 값 v_i(1≤i≤p)를 갖게하고, 유동속성트리 T_A는 다음과 같은 성질을 갖는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.

   (i)노드 A는 트리의 루트이다.

   (ii)노드 n_i는 자신의 부모보다 상세화된 값 v_i를 갖는다.

   (iii)노드 n_i가 내부노드이면 n_i의 도메인은 D(n_i)=v_i이다.

   (iv)노드 n_i가 리프노드이면,

   -n_i는 사용자에 의해 정의되는 상세화된 값 W={w₁, w₂,....,w_i}의 집합을 가질 수 있다.

   -n_i의 도메인은 D(n_i)={v_i}∪W

   (v)T_A의 도메인 D(T_A) = ∪i = 1p D(n_i)

   (vi)새로운 노드가 트리에 삽입될 수 있고 트리의 노드는 삭제될 수 있다.노드 n_i가 삭제되었을 때는 노드n_i의 자식은 노드n_i부모의 자식이 된다.

   (ⅶ)여기서 심볼 'P'는 매개변수이다.
2. 제1항에 있어서, 유동속성트리에 있는 노드의 값으로 고유명사와 같은 특정값은 리프노드에서 상세화된 값으로 관리하는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
3. 제1항에 있어서,

   상기 유동속성트리(FAT)의 부분트리(sub-tree)의 크기가 커지면 비디오 클립 스키마의 내용을 수정하여 새로운 유동속성 트리로 정의하고자 하는 서브트리의 속성값을 갖는 모든 튜플들의 유동속성필드를 새로운 유동속성트리의 이름으로 변환시킬수 있는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
4. 영상 데이터 검색방법에 있어서,

   상기 영상 데이터 베이스에 삽입된 각 비디오 파일은 유일한 물리세그먼트 P_id를 가지며 논리세그먼트 L_id=(P_id=[s, e])는 물리세그먼트 P_id에 있는 옵셋 s에서 옵셋 e까지의 구간을 나타내고, 하나 이상의 논리세그먼트들을 논리세그먼트 리스트[(P₁=[s₁, e₁],P₂=[s₂, e₂],..., P_n=[s_n, e_n]]로 나타낼 수 있으며, 비디오 클립 혹은 뷰를 정의하는데 사용하는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
5. 제4항에 있어서, 상기 영상 데이터 베이스의 스키마 구조는

   ·물리세그멘트(P_id, 파일이름, 파일위치 파일크기, 파일포맷,...,물리속성 또는 정적속성)

   ·논리세그멘트(L_id, P_id, 시작옵셋, 끝옵셋)

   ·논리세그멘트 리스트 (V_id, L_id, Sequence#)

   ·비디오 클립(V_id, 유동속성이름, 속성값, 상속정보, [개체속성이름])

   ·뷰(V_id, 고정속성)

   ·유동속성(유동속성이름, 유형, 상속여부?, FAT pointer)

   로 구성되는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
6. 제4항에 있어서, 비디오 클립집합 또는 뷰 집합은 논리세그먼트 집합과 M:N 관계를 형성하는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
7. 영상 데이터 검색방법에 있어서,

   하나의 FAT에서 관련된 속성값을 보여주기 위해서 FAT의 루트에서부터 현재 선택된 노드의 경로에 이웃한 노드를 작업대상으로 하며, 사용자가 트리의 탐색경로를 선택할 때 브라우저는 경로에 있는 동일한 레벨의 속성값만을 표시하고, 브라우저에서 속성값 상자는 FAT에 있는 노드의 속성값을 표현하고 FAT의 레벨차이는 각 레벨마다 속성값 상자의 색상을 다르게 하고, 속성값 상자의 두가지 화살표는 부모 혹은 자식으로 이동할 수 있는 콘트롤인 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
8. 제7항에 있어서, 하나의 비디오 파일에 대한 물리적인 구조의 브라우징을 지원하기 위하여 2차원 구조는 샷(shot), 화면(scene), 시퀀스(squence)의 대표 프레임을 나타내는 3단계의 트리구조로 표현하는 구조 브라우저(structure browser)를 제공하는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
9. 제7항에 있어서, 상기 브라우저에서 속성값 상자의 자식 콘트롤을 선택하면 속성값 상자는 자신의 자식노드에 해당하는 속성값 상자로 대치되고 속성값 상자의 부모 콘트롤은 자식 콘트롤과 반대의 기능을 하는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
10. 제7항에 있어서, 상기 유동속성트리에서 원하는 유동속성값을 선택한 후에 속성=속성값의 기본적인 질의조건을 입력할 수 있는 속성값 상자를 클릭하여 의미를 기술하고, 질의조건을 나타내는 텍스트 상자에서 리프노드의 상세 속성값을 입력하고 개체속성값도 유사한 방법으로 입력하여 유동속성트리를 브라우징하면서 비디오 클립의 의미를 기술할 수 있는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
11. 제10항에 있어서, 질의결과는 결과뷰어에 나타나며 주어진 질의를 만족하는 각 비디오 클립의 대표 프레임이 아이콘으로 표현되는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.
12. 제11항에 있어서, 질의의 부분적인 결과분석을 위해 부분결과행렬(partial result matrix)라고 불리는 C×C 행렬 R을 사용하며, 이 행렬의 각 원소는 질의조건의 조합을 만족하는 비디오 클립의수를 다음과 같이 나타내는 것을 특징으로 하는 유동속성트리와 부분결과 행렬에 의한 영상 데이터 검색 방법.

    (i)대각원소(Diagonal elements) R(i,i), 1≤i≤c:s_i를 만족하는 비디오 클립의수

    (ii)상위대각원소(Upper-diagonal elements) R(i,j), 1≤i≤c, 1≤j≤c:s_i∧s_i+1∧....∧s_j를 만족하는 비디오 클립의수(여기서 "∧"는 논리AND연산으로, "∧"으로 만족하는 조건 s_i와 s_j가 다 참인 조건을 의미함)

    (iii)하위대각원소(Lower-diagonal elements) R(i,j), 1≤i≤c,1≤j≤c:s_i∧s_j를 만족하는 비디오 클립의수("∧"는 논리AND연산임)