KR20030059398A

KR20030059398A - 멀티미디어 데이터 검색 및 브라우징 시스템

Info

Publication number: KR20030059398A
Application number: KR1020010088258A
Authority: KR
Inventors: 김주민; 김현준; 박기수
Original assignee: 엘지전자 주식회사
Priority date: 2001-12-29
Filing date: 2001-12-29
Publication date: 2003-07-10
Also published as: CN100430921C; KR100493674B1; EP1324222A2; CN1430159A; EP1324222A3; US20030126603A1

Abstract

본 발명은 멀티미디어 데이터를 기술(description)하는 정보를 생성하는 장치와, 멀티미디어 데이터 기술정보(DS:Description Scheme)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)하는 장치에 관한 것이다.

본 발명의 멀티미디어 데이터 기술정보 생성 시스템은, 멀티미디어 데이터의 기술정보 생성을 위한 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단과 시스템 사이의 데이터 인터페이스를 위한 데이터 인터페이스 수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과, DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단과, 2진 포맷의 기술정보를 디코딩하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩수단을 포함하여 이루어지는 것을 특징으로 한다.

Description

멀티미디어 데이터 검색 및 브라우징 시스템{MULTIMEDIA DATA SEARCHING AND BROWSING SYSTEM}

대중매체의 발달과 멀티미디어 콘텐츠의 제작이 쉬워짐에 따라 일반인이 매일 접하게 되는 미디어의 양이 매우 방대해 졌다. 멀티미디어 콘텐츠가 방대해짐에 따라 사용자가 원하는 데이터를 선별하여 주는 자동화 시스템에 대한 요구가 발생하였으며, 이를 해결하기 위한 방안들에 대한 연구가 활발히 진행되고 있다.

특히, 디지털 기술이 발달함에 따라 비디오 콘텐츠는 디지털 형태로 저장되어 유통되는 추세로 진행하고 있으며 디지털 방송이 대중화되면 이러한 미디어의 디지털화는 더욱 가속화 될 것이다.

이와 같은 디지털 비디오 콘텐츠에 대하여 어떤 사용자는 뉴스에서 스포츠 관련 뉴스만을 시청하기를 원할 수 있으며, 또 다른 시청자는 뉴스에서 증권 관련 뉴스만을 원하는 경우가 있을 수 있다. 또한 어떤 사용자는 쇼 프로그램에서 특정 인물이 출연하는 장면만을 시청하기 위한 요구가 있을 수도 있다. 이러한 다양한 사용자의 요구를 수용하기 위하여 여러 가지 연구가 활발히 진행되고 있다.

또한 사용자는 제한된 시간 내에 비디오 콘텐츠의 전체 내용을 파악하고자 하는 요구가 있다. 이러한 요구를 수용하는 것이 "하이라이트"이다. 일반적으로 하이라이트는 비디오 콘텐츠에서 중요한 장면을 모아서 새로 구성한 콘텐츠로 이해될 수 있으며, 이는 "스포츠 하이라이트", "영화 예고편", "헤드라인 뉴스" 등을 통하여 접할 수 있다. 그러나, 비디오 콘텐츠에서 하이라이트를 추출하는 것은 현재의 기술로 자동화되기 매우 어려운 영역이다. 따라서 대부분 사람의 수동 작업에 의존하는 것이 보통이다. 앞서 언급된 바와 같이 미디어의 양이 폭발적으로 증가함에 따라 모든 비디오 콘텐츠에 대하여 하이라이트를 수동으로 제공하는 것은 많은 인력이 필요하게 되므로 거의 불가능하다. 따라서 사용자로 하여금 빠른 시간내에 대강의 내용을 이해시킬 수 있는 자동화 시스템이 필요하다.

디지털 기술이 발달함에 따라 비디오 콘텐츠에서 사용자가 원하는 위치로 이동하고자 할 때 사용하기 위한 용도로 키프레임(key frame)이 이용된다. 키프레임을 이용한 비디오 요약을 이용하면 사용자는 원하는 곳으로 빨리 이동할 수 있는 장점이 있다.

근래에는 디지털 비디오에서 원하는 장면을 찾기 위한 용도로 여러 가지 비디오 인덱싱 기술이 연구되고 있다. 특정한 사람이 나온 장면만을 원하는 사용자를 위하여 비디오에서 사람이 나온 장면을 찾아내고 그 사람이 누구인지를 인식하는 과정을 통하여 비디오에서 인물의 등장에 대한 정보를 인덱싱 하거나, 영화나 스포츠 등에서 주요 장면을 추출하고 이를 인덱싱하는 등의 연구가 진행되고 있다.

앞서 설명한 바와 같이 디지털 비디오 기술의 발달과 이미지/비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오를 원하는 시점에 원하는 부분만을 검색(searching/ filtering)하고 브라우징(browsing) 할 수 있게 되었다.

비선형적인 비디오 브라우징(non-linear video browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 세그멘테이션 (shot segmentation) 기법과 샷 클러스터링(shot clustering) 기법이며, 이 두 가지 기술은 비디오를 분석(analysis)하는데 있어서 가장 핵심이 되는 기술이다.

샷(shot)이란 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 이는 비디오를 분석(analysis)하거나 구성(construction)하는 가장 기본이 되는 단위이다.

일반적으로 비디오는 수많은 샷의 연결로 구성된다. 샷 세그멘테이션이란 비디오를 각각의 개별 샷으로 분할하는 기법을 의미하며 도1은 샷 세그멘테이션 과정을 도식화 한 것이다. 일반적으로 대부분의 샷 세그멘테이션 알고리즘은 동일한 샷내에서는 이미지적/모션적/오디오적 유사성이 존재하고 두개의 다른 샷 간에는 이미지적/모션적/오디오적 비유사성이 계측되는 특성을 기반으로 한다.

일반적으로 비디오 하이라이트는 비디오 스트림의 내용전개에 있어서 의미상으로 중요한 세그먼트들을 선택하여 이 세그먼트들을 연속적으로 재생하는 방법이다.

또한 일반적으로 비디오에는 의미적인 구성 요소인 씬(scene)이 존재하는데, 여기서 씬은 이야기의 전개 또는 비디오 구성에 있어서 의미적인 구분 요소이며, 일반적으로 하나의 씬 내에는 여러 개의 샷이 존재한다. 이러한 샷과 씬의 개념은 비디오뿐만 아니라 오디오 프로그램에도 같은 방식으로 적용 가능하다.

궁극적으로 멀티미디어 콘텐츠 인덱싱 기법은 콘텐츠에 존재하는 샷/씬 단위의 구조적인 정보를 추출하고 각각의 구조 단위 별로 그 세그먼트를 대표할 수 있는 키 프레임 등과 같은 주요 특징 요소를 추출하여 멀티미디어 콘텐츠에 대한 구조적 정보를 인덱싱하고, 사건(event)의 발생, 시청각 오브젝트(audio-visual object)의 등장, 오브젝트의 상태, 배경(장소 등) 등에 대한 의미적인 정보를 시간축 위에 기술하는 방식으로 인덱싱하여 사용자가 원하는 부분을 쉽게 브라우징하거나 검색할 수 있도록 하는데 그 목적이 있다.

다른 한편으로 상기한 바와 같이 효율적인 비디오 검색과 브라우징을 위하여 비디오 스트림에서 의미적 정보를 표현하는 주요 텍스트 영역이나 뉴스 아이콘 또는 사람의 얼굴 영역 등을 추출하기 위한 연구도 진행되고 있으며, 이러한 키 영역을 합성하여 새로운 키프레임을 추출하는 방법도 소개되고 있다. 합성 키프레임의 경우는 씬이나 샷 등의 세그먼트를 대표할 수 있는 키 영역이나 키프레임을 추출하고 추출된 키 영역이나 키프레임을 이용해서 이들을 하나의 이미지로 합성함으로써, 이 합성된 이미지가 해당 세그먼트의 내용을 대표하는 수단으로 제공되는 방법이다. 이렇게 합성 키프레임을 이용함으로써 작은 디스플레이 공간에 많은 정보를 함축적으로 표현할 수 있고, 사용자는 콘텐츠의 특정 부분의 내용을 보다 빠르고 쉽게 이해할 수 있을 뿐만 아니라, 관심이 있는 부분만 선택하여 디스플레이(시청)하는 것도 가능하게 되었다.

앞서 설명한 바와 같이 멀티미디어 데이터를 내용을 기반으로 하거나, 키프레임을 기반으로 하거나, 텍스트 기반 등으로 효율적인 검색과 브라우징을 위해서 멀티미디어 데이터 기술정보(Description Scheme)가 기술되며, 이 기술정보(DS)는 멀티미디어 데이터의 의미를 기술하는 정보와, 멀티미디어 데이터의 물리적인 구조를 기술하는 정보 등을 포함할 수 있다. 만약 멀티미디어 데이터가 동영상 데이터이고, 키프레임을 기반으로 하여 요약(하이라이트) 기능을 제공한다면 특정 구간을 대표하는 키프레임과 그 키프레임에 의해서 검색되고 상영(디스플레이)될 구간에 대한 정보가 기술정보(DS)로 기술될 것이다.

따라서, 멀티미디어 데이터의 보다 효율적인 검색과 브라우징을 위하여 해당 멀티미디어 데이터를 기술하는 기술정보를 생성하고, 이 생성된 기술정보(DS)를 기반으로 하여 멀티미디어 데이터를 브라우징할 수 있는 시스템이 요구된다.

본 발명은 멀티미디어 데이터의 기술정보(DS)를 자동으로 생성하는 멀티미디어 데이터 기술정보 생성 시스템을 제공한다. 또한 본 발명은 멀티미디어 데이터의 기술정보(DS)를 기반으로 하여 해당 멀티미디어 데이터를 검색할 수 있는 멀티미디어 브라우징 시스템을 제공한다.

본 발명의 멀티미디어 데이터 기술정보 기반 브라우징 시스템은, DDL 타입의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 DDL 타입의 기술정보를 해석하는 DDL 해석수단과, 2진 포맷의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 2진 포맷의 기술정보를 해석하는 2진 포맷 디코딩수단과, 상기 해석된 DDL 타입의 기술정보나 2진 포맷의 기술정보에 따라 멀티미디어 데이터 브라우징을 수행하기 위한 데이터 저장수단과, 상기 데이터 저장수단에 저장된 멀티미디어 기술정보를 기반으로 하여 사용자 요구 및 그에 따른 검색 결과를 출력하기 위한 브라우저 인터페이스 수단을 포함하여 이루어지는 것을 특징으로 한다.

또한 본 발명의 멀티미디어 데이터 기술정보 기반 브라우징 시스템에서, 상기 데이터 저장수단에 저장된 기술정보를 데이터 베이스화하기 위하여 변환하는 기술정보 변환수단과, 상기 변환된 기술정보들을 데이터 베이스로 저장하는 기술정보 데이터 베이스와, 상기 브라우저 인터페이스 수단을 통한 사용자 질의에 따라 상기 데이터 베이스로부터 사용자 질의에 적합한 멀티미디어 데이터 브라우징이 이루어지도록 하는 질의 인터페이스 수단을 더 포함하여 이루어지는 것을 특징으로 한다.

도1은 샷 세그멘테이션 과정을 설명하기 위한 도면

도2는 본 발명의 멀티미디어 데이터 검색 시스템 구성을 나타낸 도면

도3은 본 발명의 멀티미디어 데이터 기술정보 생성 시스템의 사용자 인터페이스의 일예를 나타낸 도면

도4는 본 발명의 멀티미디어 데이터 기술정보 기반 브라우징 시스템에서 사용자 인터페이스의 일예를 나타낸 도면

도2는 본 발명에 다른 기술정보 생성 시스템과 브라우징 시스템을 함께 나타낸 멀티미디어 데이터 검색 시스템의 실시예를 보여준다. 도2에서 기술정보 생성 시스템(1)은 기술정보 생성을 위한 사용자 인터페이스(2), DOM 메모리(3), DDL 라이터(4), BiM 인코더(5), DDL 해석기(6), BiM 디코더(7)를 포함하고 있다. 도2에서 브라우징 시스템(8)은 DDL 해석기(9), BiM 디코더(10), DOM 메모리(11), 브라우저 사용자 인터페이스(12), 기술정보 변환기(13), 기술정보 데이터 베이스(14), 질의 인터페이스(15)를 포함하고 있다.

도2에 나타낸 본 발명의 기술정보 생성 시스템과, 기술정보 기반 브라우징 시스템은 실시예로서, 동영상 콘텐츠에 대하여 계층적 비디오 요약 기능을 제공하며, 키프레임과 텍스트를 기반으로 하는 브라우징을 위한 기술정보의 생성과, 브라우징이 이루어지는 경우를 보여주며, 지금부터는 계층적 비디오 요약기술에 대하여기술정보의 생성과 브라우징 방법을 설명하기로 한다. 물론, 본 발명의 기술정보 생성 시스템과 브라우징 시스템은 계층적 비디오 요약 기술에만 제한되지 않으며, 본 발명 시스템을 확장하거나 응용함으로써 MPEG-7을 만족하는 멀티미디어 콘텐츠 기술정보 생성 및 브라우징이 가능하게 될 것이다.

사용자 인터페이스(2)는 기술정보 생성 시스템(1)과 사용자 사이의 인터페이스(DG UI: Description Generation User Interface)이며, 그 인터페이스 화면의 예를 도3에 나타내었다. DOM 메모리(3)는 'Document Object Model Memory'이고 사용자 인터페이스(2)와 시스템 사이의 데이터를 일시 저장하기 위한 인터페이스 환경을 제공한다. DDL 라이터(Description Definition Language Writer)(4)는 DOM 메모리(3)와 연결되어 멀티미디어 데이터에 대한 기술정보를 DDL 타입으로 변환하고 텍스트 DDL 기술 파일(Textural DDL Description File)(16)을 생성한다. BiM 인코더(Binary format of MPEG-7 Encoder)(5)는 상기 DOM 메모리(3)와 연결되어 멀티미디어 데이터에 대한 기술정보를 2진 포맷의 기술정보로 변환하고 해당 파일(Binary Description File)(17)을 생성한다.

도3은 상기 기술정보 생성을 위한 사용자 인터페이스(2)의 일예를 보여준다. 멀티미디어 데이터 디스플레이를 위한 디스플레이 창(21), 멀티미디어 데이터의 디스플레이 제어를 위한 키(22), 세그먼트 정보를 입력하고 선택하기 위한 세그먼트 정보 입력부(23), 해당 멀티미디어 데이터의 세그먼트 요약 정보를 보여주기 위한 세그먼트 요약 뷰어(24), 멀티미디어 데이터의 기술정보 표시부(25), 키워드 선택을 위한 키워드 처리부(26) 등을 포함하고 있다. 메뉴(File,Keyword Category)는풀 다운 방식으로 운용되며, 각각 하위 레벨의 메뉴를 가질 수 있다.

도2의 멀티미디어 데이터 기술정보 생성 시스템과 도3의 인터페이스에 의하여 멀티미디어 데이터(하나의 콘텐츠)에 대한 기술정보의 생성, 편집 그리고 저장이 다음과 같이 이루어진다.

1. 파일 열기(File Open): 멀티미디어 데이터에 대한 파일 열기를 제공한다. 멀티미디어 데이터가 A/V 콘텐츠인 경우는 새로운 기술정보 파일이 생성되며, 텍스트 DDL 파일(16)이나 MPEG-7의 BiM 포맷을 갖는 BiM 파일(17)을 연다. 텍스트 DDL 파일(16)의 경우는 DDL 해석기(6)에 의해서 해석되어 DOM 메모리(3)를 인터페이스로 하여 열리고, BiM 파일(17)의 경우는 BiM 디코더(7)에 의해서 디코딩되어 DOM 메모리(3)를 인터페이스로 하여 열린다. 경우에 따라서는 BiM 파일(17)을 BiM 디코더(7)에서 디코딩한 것을 DDL 해석기(6)에서 DDL 타입의 데이터로 변환하여 열 수도 있다. 디스플레이 창(21)은 선택된 멀티미디어 콘텐츠가 A/V인 경우 해당 멀티미디어 콘텐츠에 대한 비디오 정보를 디스플레이한다. 디스플레이 제어 키(22)는 해당 멀티미디어 데이터의 재생, 빨리감기, 빨리 되감기, 일시정지, 시작과 종료 등의 사용자 명령을 입력한다.

2. 파일 저장(File Save) : 현재 편집된 기술정보를 저장한다. 즉, 사용자 인터페이스(2)에서 파일 저장을 선택하면 DOM 메모리(3)를 데이터 인터페이스로 하여 해당 기술정보를 그 콘텐츠가 열릴때와 동일한 이름 및 포맷으로 저장한다.

3. 파일 선택적 저장(File Save as) : 현재 편집된 기술정보를 선택적으로 저장한다. 즉, 사용자 인터페이스(2)에서 파일 선택적 저장을 수행하면 DOM메모리(3)를 데이터 인터페이스로 하여 상기 DDL 라이터(4)에 의해 기술정보를 MPEG-7의 텍스트 DDL 파일(16)의 형태로 저장하거나 MPEG-7의 BiM 파일(17)의 형태로 저장한다. 이 것은 사용자가 선택한 멀티미디어 콘텐츠에 대하여 DOM 메모리(3)를 데이터 인터페이스로 하여 DDL 라이터(4)가 해당 기술정보를 DDL 타입으로 변환하고 해당 텍스트 DDL 파일(16)을 생성하여 출력하거나, BiM 인코더(5)가 해당 기술정보를 2진 포맷으로 변환하고 해당 2진 포맷의 파일(17)을 생성하여 출력한다는 것이며, 경우에 따라서는 DDL 라이터(4)가 생성한 DDL 데이터를 BiM 인코더(5)가 BiM 포맷으로 변환하여 생성할 수도 있다.

4. 키워드 카테코리 선택 : 키워드 카테고리를 선택한다. 즉, 키워드 처리부(26)에서 해당 멀티미디어 콘텐츠의 키워드 카테고리를 선택하는데, 예를 들어 키워드 카테고리를 야구(baseball)로 선택하면 해당 멀티미디어 콘텐츠에 대한 키워드 셋(Keyword Set)이 나타난다.

5. 하이라이트 세그먼트의 생성 및 기술정보 추가 : 새로운 하이라이트 세그먼트를 만들고 기술정보에 추가한다. 먼저, 사용자 인터페이스의 시작 버튼(22a)과 끝 버튼(22b)을 이용해서 세그먼트의 시작 위치(Segment Start Pos.)와 끝 위치(Segment End Pos.)를 입력한다. 시작 버튼(22a)을 누르면 현재 디스플레이 창(21)에 재생되고 있는 위치 값이 세그먼트 정보 입력부(23)의 세그먼트 시작 위치(Segment Start Pos.)에 입력되고, 끝 버튼을 누르면 현재 디스프레이 창(21)에 재생되고 있는 위치 값이 세그먼트 끝 위치(Segment End Pos.)에 입력된다. 그리고, 세그먼트 정보 입력부(23)에서 멀티미디어 콘텐츠의 타이틀(Title)을 입력할수 있으며, 키워드(Keyword) 입력은 앞서 설명한 바와 같이 키워드 셋(Keyword Set)에서 선택하여 입력하는 방법과, 사용자가 직접 입력하는 방법, 그리고 사용자 키워드 히스토리(Used Keyword History)에서 입력하는 방법이 있다. 이 때 선택한 키워드는 사용자 키워드 히스토리에 추가된다. 한편, 세그먼트 정보 입력부(23)의 중요도 선택부(Select Importance)를 이용해서 해당 세그먼트의 중요도(레벨)을 3단계의 레벨(Very High Importance, High Importance, Importance) 중에서 선택할 수 있고, 추가 버튼(Apply)을 누름으로써 상기 편집된 세그먼트를 기술정보에 추가하게 된다. 이와 같이 입력된 세그먼트 기술정보는 앞서 설명한 바와 같이 DDL 라이터(4)에 의해서 DDL 파일(16)로 생성되거나 BiM 인코더(5)에 의해서 BiM 파일(17)로 생성된다.

6. 기술정보에 있는 하이라이트 세그먼트의 내용 수정 : 세그먼트 요약 뷰어(24)에 있는 임의의 세그먼트(도면에서 사각 막대 형상으로 표현하였다)를 선택하면 세그먼트 정보 입력부(23)에 그 세그먼트에 대한 각종 정보들이 나타나고, 이 정보들 중에서 수정을 원하는 내용을 상기 5. 하이라이트 세그먼트의 생성 및 기술정보 추가 방법과 같이 처리한다.

7. 하이라이트 세그먼트의 제거 : 하이라이트 세그먼트를 기술정보에서 삭제하는데, 그 방법은 세그먼트 뷰어(24)에 있는 임의의 세그먼트를 선택하고, 그 선택된 세그먼트에 대하여 세그먼트 정보 입력부(23)에 표시된 정보를 제거 버튼(Remove)을 누름으로써 삭제한다.

8. 기술정보의 표현 : 기술정보 표시부(25)에 표시되는 정보로서, 각 기술정보에서 각 레벨에 포함된 세그먼트들이 갖는 시간 정보를 나타낸다. 여기서 'Compact'는 레벨0을 갖는 모든 세그먼트들의 총 시간을 나타내고, 'Medium'은 레벨0, 레벨1을 갖는 모든 세그먼트들의 총 시간을 나타내며, 'All'은 레벨0,레벨1,레벨2를 갖는 모든 세그먼트들의 총 시간을 나타낸다. 'Red bar'는 레벨0을 갖는 모든 세그먼트들의 총 시간을 나타내며, 'Blue bar'는 레벨1을 갖는 모든 세그먼트들의 총 시간을 나타내며, 'Black bar'는 레벨2를 갖는 모든 세그먼트들의 총 시간을 나타낸다. 여기서는 비디오 요약을 레벨0,1,2의 3개 레벨에 대해서 설명하였음을 상기한다.

9. 세그먼트 요약 뷰어 : 세그먼트 요약 뷰어(24)는 기술정보에 포함된 세그먼트들이 갖는 레벨과 위치를 시각적으로 나타낸다. 가로 축이 시간 축이며, 각각 사각의 막대 형상으로 표현된 것이 세그먼트들이고, 서로 다른 색상(도면에서는 명암으로 구분하였다)으로 레벨을 구분하였다. 해당 세그먼트를 선택하면 그 세그먼트에 대한 세그먼트 정보의 편집, 제거 등이 가능함은 이미 설명하였다.

지금까지 설명한 바와 같이 멀티미디어 데이터의 기술정보 생성 시스템(1)은 도3에 나타낸 사용자 인터페이스(2)를 이용해서 해당 멀티미디어 데이터의 선택, 선택된 멀티미디어 데이터의 세그먼트 정보 입력, 키워드 선택과 입력, 편집, 저장 등을 수행할 수 있고, 사용자가 선택하고 입력한 기술정보를 DDL 라이터(4)나 BiM 인코더(5)에서 자동적으로 MPEG-7의 텍스트 DDL 파일(16)이나 BiM 파일(17)로 생성하여 출력한다.

다음은 브라우징 시스템(8)에 대해서 설명한다.

도2에 나타낸 브라우징 시스템(8)에서 DDL 해석기(9)는 입력된 DDL 파일(16)을 해석하여 DOM 메모리(11)에 저장한다. BiM 디코더(10)는 입력된 BiM 파일(17)을 디코딩하여 DOM 메모리(11)에 저장한다. DOM 메모리(11)에 저장된 해석된 DDL 파일이나 디코딩된 BiM 파일은 브라우저 사용자 인터페이스(12)에 의해서 브라우징된다. 한편, DOM 메모리(11)에 저장된 해석된 DDL 파일이나 디코딩된 BiM 파일은 기술정보 변환기(13)에 의해서 변환되어 기술정보 데이터 베이스(14)로 구축되고, 질의 인터페이스(15)는 상기 기술정보 데이터 베이스(14)와 브라우저 사용자 인터페이스(12) 사이에서 사용자 요구(질의)에 따른 브라우징이 이루어지도록 질의 정보의 처리와 검색 결과의 제공을 수행한다.

도4는 상기 브라우저 사용자 인터페이스(12)의 한가지 예를 보여준다. 멀티미디어 자원과 브라우징 방법 등을 선택하기 위한 메인 메뉴(12a), 멀티미디어 데이터 디스플레이를 위한 타이틀 플레이어(12b), 멀티미디어 데이터의 검색을 위한 검색 콘텐츠(12c), 멀티미디어 네비게이션을 위한 네비게이션 뷰어(12d) 등이 보여지고 있다. 브라우저 사용자 인터페이스(12)의 (화면)구성이나 그 브라우징 방법은 보다 다양한 형태로 변형될 수 있으며, 도4에 예시한 것으로 제한되지는 않는다.

각종 메뉴화면이나 메뉴 바 등은 풀다운 방식으로 운용될 수도 있으며, 각각 하위 레벨의 메뉴를 더 가질 수도 있다.

도2의 기술정보 기반 브라우징 시스템과 도4의 인터페이스에 의하여 멀티미디어 데이터(하나의 콘텐츠)에 대한 기술정보 기반의 브라우징은, 멀티미디어 자원을 선택하는 단계, 상기 선택된 멀티미디어 자원에 대한 브라우징 방법을 선택하는단계, 상기 선택된 멀티미디어 자원에 대한 정보와 브라우징 방법에 대응하는 인터페이스를 제공하는 단계, 상기 브라우징 인터페이슬 기반으로 상기 선택된 자원에 대한 브라우징 결과를 제공하는 단계를 포함하여 이루어진다.

상기 도4에 도시한 브라우징 인터페이스를 기반으로 하여 다음과 같은 멀티미디어 자원 브라우징이 이루어질 수 있다.

먼저, 멀티미디어 자원을 선택하는 파일 오픈(File Open)이 이루어진다. 이 것은 멀티미디어 자원에 대한 기술정보(Textural Description 또는 BiM)을 오픈함으로써 이루어진다. 파일 오픈에 의해 상기 기술정보에 포함된 세그먼트(Segment) 들의 시간정보를 디스플레이하며, 여기에 나타나는 시간정보는 시:분:초 ??위로 표시된다. 시간정보의 예로는 레벨0을 갖는 모든 세그먼트들의 총 시간을 나타내는 'Compact', 레벨0 내지 레벨1을 갖는 모든 세그먼트들의 총 시간을 나타내는 'Medium', 레벨0 내지 레벨2를 갖는 모든 세그먼트들의 시간을 나타내는 'Detail'이 제공될 수 있다.

앞서 설명한 바와 같이, 상기 오픈된 기술정보를 이용해서 하나의 콘텐트에 대한 멀티 레벨 하이라이트 뷰(Multi-Level Highlight View)를 할 수 있으며, 디포트(Default)로 상기 'Compact'를 갖는다. 멀티 레벨 하이라이트 뷰의 사용방법은 상기 표시된 시간 정보 항목 중에서 하나를 선택하면 해당 항목에 대응하는 세그먼트를 기반으로 하여 타이틀 플레이어(12b)를 실행하여, 각각에 해당하는 모든 세그먼트들을 재생하여 디스플레이한다. 이때 타이틀 플레이어(12b)의 우측으로 해당 세그먼트들의 타이틀(Title_N)이 표시된다.

즉, 사용자가 'Compact'를 선택하면 레벨0을 갖는 모든 세그먼트들을 그 타이틀과 함께 타이틀 뷰어(12b)에서 재생하여 디스플레이하며, 사용자가 'Medium'을 선택하면 레벨0 내지 레벨1을 갖는 모든 세그먼트들을 그 타이틀과 함께 타이틀 뷰어(12b)에서 재생하여 디스플레이하며, 사용자가 'Detail'을 선택하면 레벨0 내지 레벨2를 갖는 모든 세그먼트들을 그 타이틀과 함께 타이틀 뷰어(12b)에서 재생하여 디스플레이하는 것이다.

한편, 상기 자원 및 브라우징 방법의 선택에 따른 해당 세그먼트의 재생과 디스플레이를 통한 브라우징 이외에도, 검색 콘텐츠 항목(Search Contents)(12c)을 이용한 브라우징이 가능하다. 이는 키워드나 타이틀, 또는 사용자가 직접 입력하는 텍스트를 기반으로 하여 질의어(Query)와 일치하는 콘텐츠(Highlight Segment)를 검색함으로써 이루어질 수 있다.

즉, 콘텐츠 검색을 실행하여 해당 항목(Search Contents)(12c)이 디스플레이되고, 키워드/타이틀 리스트(Keyword/Title List)에서 키워드 또는 타이틀을 선택하거나, 사용자가 직접 텍스트로 검색어를 입력하는 방법으로 검색을 실행시킨다.

여기서 검색어는 복수개의 선택이나 논리합(OR) 조건을 허용할 수 있으며, 검색 대상이 데이터 베이스(14)인 경우에는 만약 이미 오픈된 기술정보 파일이 없다면 키워드/타이틀을 이용한 검색어 선택은 지원하지 않고 사용자 입력 텍스트에 의한 검색만 지원한다.

상기한 검색 실행의 결과로 네비게이션 뷰어(12d)가 구동되고 네비게이션 뷰어(12d)에는 상기 입력한 검색어에 매칭되는 세그먼트들이 키프레임(KeyFrame)들이디스플레이된다. 도4에서 네비게이션 뷰어(12d)에는 가로 4개, 세로 3개 등 총 12개의 키프레임을 한번에 디스플레이하고 있다. 이 키프레임들 중에서 하나를 사용자가 선택하면 해당 키프레임이 대표하는 구간에 해당하는 세그먼트들을 상기 타이틀 플레이어(12b)에 재생하여 디스플레이한다.

한편, 상기한 바와 같이 검색어를 입력하지 않고 네비게이션 뷰어를 실행시키는 경우에는 현재 오픈된 기술정보에 포함된 모든 세그먼트(레벨0 내지 레벨2)들의 키프레임을 네비게이션 뷰어(12d)에 디스플레이하고, 여기서 선택된 하나의 키프레임이 대표하는 구간에 해당하는 세그먼트들을 상기 타이틀 플레이어(12b)에 재생하여 디스플레이한다.

지금까지 설명한 브라우징 방법을 정리하여 보면 다음과 같다.

첫째, 현재 오픈된 기술정보 내에서 검색을 실행하는 경우로서, 이 경우는 기술정보 내에 존재하는 키워드/타이틀을 이용한 검색 및 브라우징을 수행하는 경우, 또는 사용자가 정의한 검색어를 이용한 검색 및 브라우징을 수행하는 경우로 나눌 수 있다.

둘째, 데이터 베이스(14)에서 질의어(Query)와 일치하는 세그먼트를 검색 및 브라우징하는 경우로서, 이 경우는 기술정보 내에 존재하는 임의의 키워드 또는 타이틀을 선택하여 검색 및 브라우징을 하는 경우, 또는 사용자가 입력한 텍스트를 이용해서 데이터 베이스(14)에서 검색 및 브라우징하는 경우로 나눌 수 있다.

앞서 설명한 바와 같이 검색 콘텐츠 항목(12c)에서 키워드나 타이틀 리스트를 제공하는 것은 현재 오픈된 기술정보 파일에 포함된 모든 키워드와 타이틀을 리스트를 디스플레이하기 위한 것이며, 여기에 디스플레이되는 모든 키워드와 타이틀은 상기한 해당 자원에 대한 검색 및 브라우징에 이용된다.

본 발명은 멀티미디어 데이터를 기술(description)하는 정보를 자동으로 생성하는 시스템을 제공하며, 멀티미디어 데이터 기술정보를 생성함에 있어서도 DDL 파일의 형태나 BiM 형태로 생성함으로써, MPEG7 표준에 적합한 메타데이터를 자동적으로 생성할 수 있는 효과가 있다.

또한 본 발명은 상기 멀티미디어 데이터 기술정보(DS:Description Scheme)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)하는 장치를 제공하며, 멀티미디어 데이터의 검색 및 브라우징이 DDL 파일이나 BiM 형태의 기술정보를 기반으로 하여 이루어질 수 있으므로, MPEG7 표준에 적합한 메타데이터를 기반으로 하는 멀티미디어 자원의 편리하고 효율적인 검색 및 브라우징 환경을 구축할 수 있는 효과가 있다.

Claims

멀티미디어 데이터의 기술정보 생성을 위한 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단과 시스템 사이의 데이터 인터페이스를 위한 데이터 인터페이스 수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷(BiM)의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과, DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단과, 2진 포맷의 기술정보를 디코딩하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩수단을 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
제 1 항에 있어서, 상기 멀티미디어 데이터를 기술하는 정보가 해당 멀티미디어 데이터의 계층적 요약정보를 기술함을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
제 1 항에 있어서, 상기 멀티미디어 데이터를 기술하는 정보가 해당 멀티미어 데이터의 특정 장면이나 구간 등에 대한 부가 설명을 기반으로 하는 기술정보임을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 기술정보 자동 생성을 위한, 해당 자원에 대한 디스플레이, 해당 자원에 대한 시간 정보, 해당 자원에 대한 키워드 정보의 선택이나 입력, 세그먼트들과 각 세그먼트들이 갖는 레벨과 위치정보, 및 이 정보들을 해당 멀티미디어 데이터에 기술하기 위한 정보를 제공하고 이 정보들을 기반으로 하여 해당 기술정보를 생성함을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 기술정보 자동 생성을 위한, 해당 자원에 대한 DDL타입이나 BiM 형태의 기술정보, DDL 타입과 동시에 BiM 형태의 기술정보를 생성함을 것을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 하이라이트 세그먼트의 생성과 해당 기술정보의 생성이 이루어짐을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 기술정보의 수정이나 삭제가 이루어짐을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
DDL 타입의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 DDL 타입의 기술정보를 해석하는 DDL 해석수단과, 2진 포맷의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 2진 포맷의 기술정보를 해석하는 2진 포맷 디코딩수단과, 상기 해석된 DDL 타입의 기술정보나 2진 포맷의 기술정보에 따라 멀티미디어 데이터 브라우징을 수행하기 위한 데이터 저장수단과, 상기 데이터 저장수단에 저장된 멀티미디어 기술정보를 기반으로 하여 사용자 요구 및 그에 따른 검색 결과를 출력하기 위한 브라우저 인터페이스 수단을 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
제 8 항에 있어서, 상기 데이터 저장수단에 저장된 기술정보를 데이터 베이스화하기 위하여 변환하는 기술정보 변환수단과, 상기 변환된 기술정보들을 데이터 베이스로 저장하는 기술정보 데이터 베이스와, 상기 브라우저 인터페이스 수단을 통한 사용자 질의에 따라 상기 데이터 베이스로부터 사용자 질의에 적합한 멀티미디어 데이터 브라우징이 이루어지도록 하는 질의 인터페이스 수단을 더 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
제 8 항 또는 제 9 항에 있어서, 상기 검색 및 브라우징을 위한 인터페이스 수단은, 멀티미디어 자원을 선택하기 위한 수단, 선택된 멀티미디어 자원의 브라우징 방법이나 형태를 선택하기 위한 수단, 상기 선택된 멀티미디어 자원 및 브라우징 방법이나 형태에 따라 해당 멀티미디어를 검색하여 디스플레이하는 수단을 포함하는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
제 10 항에 있어서, 상기 인터페이스 수단은, 선택된 멀티미디어 데이터를 기술하는 정보를 기반으로 하여 해당 멀티미디어 데이터의 특정 구간을 대표하는 키프레임을 디스플레이하고 해당 키프레임이 대표하는 구간을 재생하여 디스플레이 하는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
제 10 항에 있어서, 상기 인터페이스 수단에 의한 브라우징 방법이나 형태의 선택과 이에 따른 검색 및 브라우징은, 키워드나 타이틀 리스트에서의 선택, 또는 사용자 입력 키워드에 의한 해당 세그먼트들의 검색 및 디스플레이에 의해서 이루어지는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
제 10 항에 있어서, 상기 멀티미디어 데이터 기술정보가 계층적 요약을 제공할 때, 상기 인터페이스 수단에 의하여 계층적 요약을 기반으로 하는 해당 세그먼트의 검색 및 디스플레이가 이루어짐을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.