KR20010004808A

KR20010004808A - 의미 검색을 위한 동영상 인덱싱 방법

Info

Publication number: KR20010004808A
Application number: KR1019990025530A
Authority: KR
Inventors: 박웅규
Original assignee: 박웅규
Priority date: 1999-06-29
Filing date: 1999-06-29
Publication date: 2001-01-15

Abstract

기존의 동영상 정보 서비스 시스템에서 동영상 정보를 인덱싱하는 방법은 동영상에 대해 캡션 정보 및 그림 설명 정보를 주석 형태로 삽입하여, 이를 기반으로 동영상 정보를 키워드 형태로 인덱싱하는 방법이다. 그러나 이러한 인덱싱 방법은 동영상 정보에 대한 단순 키워드 검색 이외에 다양한 형태의 의미 기반 검색을 제공할 수 없다. 본 발명에서는 이차원 공간에서의 선분 정보를 표현하기 위하여 개발된 세그먼트 트리(segment tree)를 의미 기반 동영상 정보 검색에 적합하도록 개량하고 의미 인덱스(semantic index)를 구성하여 동영상 정보를 인덱싱한다.

Description

의미 검색을 위한 동영상 인덱싱 방법{Video Indexing Method for Semantic Search}

본 발명은 동영상 정보 서비스 시스템에서 동영상 정보의 의미 검색이 가능하도록 동영상 정보를 효율적으로 인덱싱하는 방법을 제공하는데 목적이 있다.

최근 동영상 정보 서비스는 급증하고 있으며 앞으로도 계속 증가할 추세이다. 동영상 정보를 효율적으로 관리하는 동영상 정보 서비스 시스템은 동영상 정보를 효율적으로 검색하기 위하여 동영상 정보 저장 모듈을 제공한다. 본 발명은, 동영상 정보 서비스 시스템에서 효율적인 의미 기반 검색이 가능하도록 상기 동영상 정보 저장 모듈의 동영상 인덱싱 방법에 관한 것이다.

기존의 동영상 정보를 인덱싱하는 방법은 동영상에 대해 캡션 정보 및 그림설명 정보를 주석 형태로 삽입하여, 이를 기반으로 동영상 정보를 키워드 형태로 인덱싱하는 방법이다. 그러나 이러한 인덱싱 방법은 동영상 정보에 대한 단순 키워드 검색 이외에 다양한 형태의 의미 기반 검색을 제공할 수 없다. 의미 기반 검색이라 함은 동영상의 내용에 의한 검색을 의미하는 것으로써, "특정한 의미를 갖는 내용을 포함하는 동영상 구간을 검색"하는 것 또는 반대로 "동영상의 특정 구간에 포함되는 내용을 검색"하는 것과 같은 검색을 의미한다. 따라서 기존의 키워드에 의하여 동영상 구간 정보를 인덱싱하는 방법은 "동영상의 특정 구간에 포함되는 내용을 검색"하는 것과 같은 다양한 형태의 의미 기반 검색에 비효율적이며 부적합한 방법이다.

본 발명에서는 다양한 형태의 의미 기반 검색을 효율적으로 제공하기 위하여 이차원 공간에서의 선분 정보를 표현하기 위하여 개발된 세그먼트 트리(segment tree)를 동영상 정보를 인덱싱하기에 적합하도록 개량하고, 이에 적합한 의미 인덱스(semantic index)의 구성 방법을 제공한다.

도 1은 본 발명이 적용되는 하드웨어 구성도

11 : 프로세서 12 : 주기억장치 메모리 영역

13 : 공유 메모리 영역 14 : 입출력 전용 처리기

15 : 디스크

도 2는 본 발명이 적용되는 동영상 정보 서비스 시스템의 모듈 구성도

21 : 사용자 22 : 인터페이스 모듈

23 : 동영상 정보 저장/접근 모듈

24 : 트랜잭션 관리 모듈 25 : 데이터베이스

26 : 인덱스 관리기

도 3은 본 발명의 구성도

31 : 동영상 DB 32 : 인덱스 관리기

33 : 사전 지식 DB 34 : 동영상 인덱스 DB

도 4는 본 발명인 세그먼트 트리 구성의 제1실시예

도 5는 본 발명인 의미 인덱스 구성의 제1실시예

51: 객체 인덱스 52 : 사건 인덱스

본 발명에 의한 동영상 인덱싱 방법은 의미 검색을 위하여 세그먼트 트리와 동영상 내에서 나타나는 객체(object), 사건(event), 액티비티(activity)들을 위한 의미 인덱스(semantic index)를 구성하여 연결(link)하는 것이다. 세그먼트 트리의 주요 역할은 동영상 어떤 구간 내에서 어떠한 객체가 나타나고 어떠한 사건이 발생했는 가를 인덱싱하는 것이다. 그리고 의미 인덱스의 역할은 개별 객체, 사건, 액티비티들이 동영상의 어떤 구간에 나타났는 지를 인덱싱하는 것이다. 상기에서 객체라 함은 동영상에 나타나는 의미적으로 중요한 사람 또는 사물을 의미하며, 액티비티는 어떤 주어진 동영상 구간에서 발생한 내용의 주제이며, 사건은 액티비티의 개별 사례(instantiation)를 의미한다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 상세히 설명한다.

도 1은 본 발명이 적용되는 하드웨어 환경(hardware environment)의 구성도이다.

도 1에서 Pi(1〈= i 〈= n)(11)은 프로세서, Mem(12)는 주기억장치 메모리 영역, SM(13)은 메모리내의 공유 메모리 영역(shared memory area), IOP(14)는 입출력 전용 처리기, 그리고 DISK(15)는 보조기억장치인 디스크이다. 이와 같이 본 발명은 단일 프로세서 혹은 다중 프로세서와 공유 메모리 영역을 포함하는 일반적인 컴퓨터 하드웨어 환경에 적용된다.

도 2는 본 발명이 적용되어 작동하는 동영상 정보 서비스 시스템의 모듈 구조를 보여준다. 본 발명이 적용되는 동영상 정보 서비스 시스템은 기본적으로 사용자(21)와 시스템을 연결하는 인터페이스 모듈(22), 디스크에 데이터베이스를 생성하고, 동영상 정보를 저장하고, 검색하고, 재생하는 동영상 정보 저장/접근 모듈(23), 트랜잭션의 처리를 담당하는 트랜잭션 관리 모듈(24)로 구성되며, 본 발명인 동영상 정보를 인덱싱하는 방법을 사용하는 인덱스 관리자(26)는 동영상 정보 저장/접근 모듈(23)에 포함된다.

도 3은 본 발명에서 동영상이 인덱싱되는 개략적인 동작의 구성을 보여준다. 시스템 관리자는 사전에 동영상 DB(31)에 등록된 동영상 파일을 오픈하고 동영상 구간 정보를 입력한다. 인덱스 관리기(32)는 구간 정보 입력 시에 동영상에 대한 객체, 사건, 액티비티에 대한 사전 지식(prior-knowledge)이 입력된 사전 지식 DB(33)에 접근하여 시스템 관리자의 구간 정보 입력을 보조한다. 구간 정보 입력이 완료되면 인덱스 관리기(32)는 입력된 구간 정보와 동영상 DB(31)로부터 추출된 동영상과 사전 지식 DB(33)으로부터 추출된 정보를 이용하여, 구간의 첫 번째 프레임을 키 프레임으로 추출한다. 그리고 동영상 구간 정보를 인덱싱하기 위하여 도 4와 같은 형태의 세그먼트 트리와 도 5와 같은 형태의 의미 인덱스를 구성하여 동영상 인덱스 DB(34)에 해당 정보를 저장한다.

도 4는 본 발명인 세그먼트 트리 구성의 제일실시예를 보인다. 어떤 특정 동영상 화일의 모든 동영상 프레임의 집합을 {1, 2, 3,...,n}이라 하면, 도 4의 트리의 각 노드에 표시된 구간[i,j)(여기에서, 1〈= i 〈= j 〈= n)의 의미는 해당되는 노드가 동영상의 재생 지점 i와 j사이의 모든 프레임 구간을 포함하고 있음을 의미한다. 즉, 해당 노드에 어떤 객체 또는 사건이 연결되어 있다면, 해당되는 객체 또는 사건이 그 노드가 포함하는 프레임 구간에서 나타나거나 발생하고 있음을 의미한다. 예를 들면, 도 4에 의하여 노드 6에 대응하는 프레임 구간 [8,12)에 객체 o6이 등장함을 알 수 있고, 사건 e1이 프레임 구간 [3,4)에서 발생함을 알 수 있다.

도 5는 도 4에서의 세그먼트 트리 구성의 예에 따라 구성되는 본 발명인 의미 인덱스 구성의 제일실시예를 보인다. 객체 인덱스(51)는 정보 검색 인덱스로 널리 사용되고 있는 역화일 구조로 구성되며 객체 이름으로 인덱스된다. 객체 인덱스(51)내에 각 객체에 해당하는 인덱스의 엔트리는 구간 정보가 들어 있는 세그먼트 트리의 해당 노드들을 지시한다. 사건 인덱스(52)는 사건 이름으로 인덱스 되며, 각 사건 엔트리는 사건에 대한 역할(role)과 그 역할에 대응하는 객체(object)의 쌍으로 표현되는 속성 정보들을 포함한다. 사건 인덱스(52)는 객체 인덱스(51)와 같은 역화일 구조로 구성되며, 인덱스의 각 엔트리는 구간 정보가 들어 있는 세그먼트 트리의 해당 노드들을 지시한다. 그리고 액티비티 타입에 관한 정보는 사전 지식 DB(33)에 저장되어 액티비티에 관한 검색과 새로운 사건의 등록 시에 참조되어 사용된다.

따라서 본 발명은 동영상 구간 정보를 세그먼트 트리와 의미 인덱스를 구성하는 방법에 의하여 저장함으로써, 다양한 종류의 의미 기반 검색을 효율적으로 처리할 수 있는 동영상 인덱싱 방법을 실현한 것이다.

본 발명은 의미 기반의 검색을 가능하게 하도록 동영상 정보를 인덱싱 하는 효율적인 방법을 제공하기 때문에, 동영상 정보를 처리하는 광범위한 응용에 적용할 수 있다. 특히, 전자 도서관, 가상 대학, 전자 상거래 등의 차세대 인터넷 응용의 핵심 요소 기술로 활용될 수 있으며, 방송국 등 공공 기관에서의 동영상 정보의 보관 빛 편집용 소프트웨어의 개발에 이용될 수 있다.

Claims

동영상 정보 서비스 시스템에서 동영상 정보의 의미 검색이 가능하도록 동영상 정보를 인덱싱하는 방법에 있어서, 동영상 구간 정보와 사전 지식 DB(33)으로부터 추출된 동영상에 대한 객체, 사건, 액티비티에 대한 정보를 이용하여, 세그먼트 트리와 의미 인덱스를 구성하여 동영상 정보를 인덱싱하는 것을 특징으로 하는 방법.
제 1항에 있어서, 세그먼트 트리의 각 노드는 동영상의 프레임 구간 정보와 그 구간 내에 나타나거나 발생하는 객체와 사건 정보를 포함하며, 트리의 부모 노드에 포함되는 프레임 구간 정보는 부모 노드의 자식 노드들이 포함하는 프레임 구간 모두를 포함하도록 세그먼트 트리를 구성하는 방법.
제 1항에 있어서, 의미 인덱스는 객체 인덱스(51)와 사건 인덱스(52)로 구성되며, 객체 인덱스(51)는 객체 이름으로 인덱스되고, 각 인덱스의 엔트리는 구간 정보를 포함하는 세그먼트 트리의 해당 노드들을 지시하는 방법으로 구성되며, 사건 인덱스(52)는 사건 이름으로 인덱스되고, 각 인덱스의 엔트리는 사건에 대한 역할과 그 역할에 대응하는 객체의 쌍으로 표현되는 속성 정보들을 포함하고 구간 정보를 포함하는 세그먼트 트리의 해당 노드들을 지시하도록 구성하는 방법.