KR100568437B1 - 키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 저장장치 - Google Patents

키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 저장장치 Download PDF

Info

Publication number
KR100568437B1
KR100568437B1 KR1019997006951A KR19997006951A KR100568437B1 KR 100568437 B1 KR100568437 B1 KR 100568437B1 KR 1019997006951 A KR1019997006951 A KR 1019997006951A KR 19997006951 A KR19997006951 A KR 19997006951A KR 100568437 B1 KR100568437 B1 KR 100568437B1
Authority
KR
South Korea
Prior art keywords
keyframes
blobs
level
video
storing
Prior art date
Application number
KR1019997006951A
Other languages
English (en)
Other versions
KR20000070701A (ko
Inventor
엘렌바스헤르만
디미트로바네벤카
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20000070701A publication Critical patent/KR20000070701A/ko
Application granted granted Critical
Publication of KR100568437B1 publication Critical patent/KR100568437B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Abstract

비디오로부터 추출된 키프레임들 또는 멀티미디어 또는 하이퍼미디어 다큐먼트로부터 추출된 블롭(blobs; binary large objects)은 비교적 느린 메모리 디바이스로부터의 검색을 최적화하기 위해 저장된다. 검색 및 저장은 비디오의 중요한 또는 대표적인 화상들 또는 멀티미디어 다큐먼트로부터의 텍스트, 오디오, 비디오 및 다른 다큐먼트들의 하이퍼링크를 포함하는 정보의 사용자 선호에 기초하여 행해진다. 중복 정보의 삭제도 가능하다.
키프레임, 블롭, 레벨, 노드, 멀티미디어 다큐먼트

Description

키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 저장장치{Apparatus and method for optimizing keyframe and blob retrieval and storage}
비디오로부터 추출된 키프레임 또는 멀티미디어 또는 하이퍼미디어 다큐먼트 또는 웹 페이지로부터 추출된 블롭(blobs; binary large objects)은 비교적 느린 메모리 디바이스로부터의 검색을 최적화하기 위해 저장된다.
비디오 인덱싱 처리에서, 비디오를 시각적으로 기술하는 키프레임은, 본원 발명의 발명자가 그 일원인 발명의 명칭 "Significant Scene Detection and Frame Filtering for a Visual Indexing System"으로서 현재 계류중인 미국 특허 출원 제 08/867,140호 및 발명의 명칭 "Video Indexing System"으로서 미국 특허 출원 제 08/867,145호에 기재된 바와 같은 비디오 컷(cut) 검출 및 키프레임 필터링에 의해 추출되어 인덱스를 생성할 수 있다. 비디오 컷 검출 및 키프레임 필터링에서, 키프레임들은 다수의 가능한 프레임들(통상, 초당 30 프레임의 비디오)로부터 선택된다. 키프레임 필터링 처리 후, 키프레임의 수는 비디오 테이프당 약 250 키프레임으로 상당히 많다. 일반적으로, 키프레임이 160×120의 해상도로 크기가 축소되어 JPEG 포맷으로 압축되면, 인덱스의 크기는 약 1MB가 된다. 축소 및 압축이 행해지지 않으면, 인덱스의 크기는 50MB 또는 그 이상이 될 수도 있다. 이 정도의 크기로는, 키프레임의 검색에 상당한 시간이 소요되는데, 하이 레이턴시 네트워크(예를 들면, 인터넷, 인트라넷 등)와 같은 저속 채널 또는 VHS 테이프와 같은 선형 테이프 매체를 통해 검색이 행해지는 경우에 특히 많은 시간이 소요된다.
유사하게, 웹 사이트에 대해서도, 블롭(blob)을 포함하는 웹 페이지 또는 멀티미디어 또는 하이퍼미디어 다큐먼트가 제공된다. 비디오(또는 화상들)를 포함하는 멀티미디어 다큐먼트 또는 웹 페이지는 수십 메가바이트 정도의 대용량 메모리를 필요로 할 수 있다. 이러한 멀티미디어 다큐먼트 또는 소프트웨어를 다운로드하는데 있어서, 통상 28.8 kb/sec 모뎀으로 다운로드하는 경우, 상당히 많은 시간이 소요된다.
웹사이트는 다수의 가용한 웹 페이지, 멀티미디어 다큐먼트 및 사용자가 네비게이팅하기에 거대한 링크들을 포함할 수 있다. 각각의 멀티미디어 다큐먼트 또는 웹 페이지는 블롭을 포함할 수 있다. 블롭은 오디오, 비디오, 텍스트, 하이퍼텍스트 링크 또는 다른 다큐먼트에의 링크를 포함할 수 있다. 블롭들이 통상 시간적 또는 정적 계층에 저장되어 있기 때문에, 특히 사용자가 흥미를 갖고 있는 페이지들 또는 멀티미디어 다큐먼트들 및 이들 각각의 블롭들의 웹사이트 검색에는 상당한 시간이 걸릴 수 있다. 사용자 선호 또는 다른 미리 지정된 표준에 기초하여 사용자에게 오디오, 비디오, 텍스트 및 링크들을 갖는 웹 페이지들을 제공하는 멀티미디어 다큐먼트가 생성될 수 있다.
사용자가 사용하기 편한 방식으로 키프레임 또는 블롭의 검색을 최적화하기 위해, 계층 구조 표현을 이용하여 인덱스 또는 멀티미디어 다큐먼트가 생성된다. 우에다(Ueda), 히로타다(Hirotada), 다카후미 미야타케(Takafumi Miyatake)의 "Automatic Scene Separation and Tree Structure GUI for Video Editing" 제 4 ACM 국제 멀티미디어 콘퍼런스 멀티미디어(1996년 11월 18-22일)의 405 내지 406 페이지의 문헌에는 키프레임의 개념적인 표현으로서 시간적 계층이 이용되었지만, 본 발명은 시간적 계층으로부터 선형 인덱스 구조 또는 선형 멀티미디어 다큐먼트 구조를 생성하여 최적화된 검색을 가능하게 한다. 현재, 데이터베이스의 저장장치는 일반적으로 검색에 대하여 최적화되어 있지 않지만, 대신에 트랜잭션 처리에 대해서는 최적화되어 있다. 예를 들면, 데이터베이스 시스템은 시스템의 데이터베이스에서의 데이터 편집(즉, 데이터 삽입, 갱신, 삭제)과 같은 트랜잭션 처리에 대해서 최적화된다. 또한 질의(query) 최적화도 가능하지만, 데이터베이스 시스템의 벤치마크는 유사한 요청에 대하여 가능한 한 빨리 데이터를 변경시키는데 집중된다.
데이터베이스에서, 데이터베이스 관리 시스템은 저장된 데이터의 내용 또는 어떤 질의가 요청될지를 통상적으로 알지 못하기 때문에, 검색의 순서를 미리 알 수 없다.
디지털 콤팩트 카세트(DCC) 포맷에서, 인덱스 시스템은 어느 트랙이 특정 테이프 상에 있는지를 기술하지만, 상이한 트랙들 간의 우선순위는 존재하지 않으며, 따라서 내용 검색의 최적화는 가능하지 않다.
웹 페이지 또는 다른 유사한 타입의 멀티미디어 다큐먼트에 대해서, 정보는 사용자에 의해 저장된 선호에 기초하지 않고, 제공업자에 의해 미리 지정된 포맷에 기초하여 사용자에게 제공된다.
인덱스 또는 멀티미디어 다큐먼트의 액세스를 최적화하는 시스템이 요구된다. 본 발명은 노드의 키프레임 및 블롭을 그룹화하고, 이들을 계층적인 방식으로 구성하여 저장한다. 계층은 미리 지정된 사용자 선호에 기초한 페어런트 또는 차일드 노드인 노드들 및 블롭들을 포함한다. 노드의 키프레임(화상)의 수 및 페어런트 노드 아래의 차일드 노드의 수는 임의적이다.
도 1은 시각적 인덱스 계층의 샘플을 도시한 도면.
도 2a 및 2b는 본 발명에 대한 시각적 계층을 도시한 도면.
도 3은 헤더 파일의 샘플을 도시한 도면.
도 4a 및 4b는 그룹 헤더를 구비한 계층들을 도시한 도면.
도 5는 계층의 리니어 표현을 도시한 도면.
도 6a 내지 6e는 계층의 상세한 표현을 도시한 도면.
도 7a 및 7b는 본 발명의 시스템을 도시한 도면.
본 발명은 도 1에 도시한 바와 같이 키프레임의 노드 또는 블롭을 포함하며, 계층으로 연결되어 있다. 상세한 설명에서는 키프레임에 대하여 설명하지만, 이 설명은 블롭에도 적용가능하다.
본 발명에서, 도 2a에 도시한 바와 같이, 한 노드에는 6개의 키프레임이 있으며, 페어런트 노드 아래에는 최대 36개의 차일드 노드(페어런트 키프레임당 6개의 차일드 키프레임)가 있다. 의심할 여지 없이, 당업자라면 노드의 수나 페어런트 노드 아래의 차일드 노드의 수를 수정할 수 있다.
참고로, 노드의 상위 레벨(본 예에서는, 하나의 노드가 6개의 키프레임을 갖는다)은 1, 2...x로 표시된 키프레임을 갖는 레벨 A이다. 노드의 제 2 레벨은 레벨 B로서, 6개의 노드를 포함한다. 키프레임은 11, 12, 13...16, 21, 22, 23...26, 31, 32, 33...36,...로 표시되며, 제 3 레벨의 키프레임인 레벨 C는 111, 112...116, 121, 122,...126,...으로 표시되어 있다. 용이한 참고와 예시만을 위해, 키프레임에는 이들의 레벨 및 레벨의 배열을 나타내는 번호가 지정되어 있다. 계층의 여러 레벨은 아래에 있는 비디오에 대해 도시된 세부 레벨에 대응하며, 본 예에서 대체로 비디오의 표현을 저감시킨다. 예를 들면, 레벨 A의 키프레임은 비디오의 가장 대표적인 6개의 프레임이고, 레벨 B의 키프레임은 그 다음으로 가장 대표적인 프레임이며, 레벨 C 상의 키프레임은 그 다음으로 대표적인 프레임이다.
계층의 일례로서, 6시간 길이이며 x개의 시간 부분으로 분할된 비디오가 도 2a에 도시되어 있다. 이 예에서, 레벨 A인 상위 노드들(하나의 노드만 도시되어 있음)은 각각 전체 비디오를 나타내는 6개의 페어런트 키프레임을 가지며, 각각의 페어런트 키프레임은 6개의 차일드 키프레임을 갖는다. 6개의 키프레임들 각각은 전체 비디오의 한 시간에 대응하므로 비디오를 동일한 시간 블록으로 분할할 수 있으며 또는 비디오 프로그램 구조에 기초한 기간에 대응할 수 있다.
레벨 B의 키프레임은 페어런트 키프레임으로 표현된 비디오 테이프의 부분에 대해 보다 상세한 부분을 제공한다. 특히, 키프레임(1) 아래의 키프레임(11, 12, 13... 16)은 키프레임(1)이 나타내는 제 1 시간 블록에 대해 보다 상세한 부분을 제공한다. 모든 키프레임은 비디오의 일부를 나타낸다. 본 예에서는, 6개의 프레임이 페어런트 키프레임(레벨 A)으로서 선택되어 전체 비디오를 나타내며, 36개의 키프레임이 차일드 키프레임(레벨 B)으로서 선택되어 전체 비디오를 나타내며, 216개의 키프레임이 그랜드차일드 키프레임(레벨 C)으로서 선택되어 전체 비디오를 나타낸다. 다음 레벨의 노드들은 각각 페어런트 노드의 비디오의 각 부분을 대표하는 키프레임을 포함한다.
예를 들면, 노드(1)는 비디오의 제 1 부분의 세부 모두를 가지며, 6개의 키프레임(1-6)으로 표현된다. 다음 레벨에서, 키프레임(1)은 예를 들면, 6개의 차일드 키프레임(11-16)으로 더 상세화된다. 다음 레벨에서, 키프레임(11)은 예를 들어 6개의 그랜드차일드 키프레임(111-116)으로 더 상세화된다.
생성된 계층은 균형잡힌 트리로 표시될 필요는 없다. 또한, 상기 키프레임(1)은 키프레임(11) 및 키프레임(111)과 동일할 수도 있다.
시간 계층은 많은 상이한 구조들을 이용하여 디스크 또는 테이프와 같은 메모리 디바이스에 저장될 수 있다. 본 발명에서, 계층은 컴퓨터 판독가능 매체에 저장하기 위해 헤더 파일에 상기 구조를 기술하고 키프레임을 독립적인 노드로 그룹화함으로써 "평탄화"된다. 파일에 대해서, 본 예에서, 키프레임의 파일명은 1/30초에서 관련되는 시간 정보를 나타낸다.
본 발명에서 행해진 바와 같이, 관련된 시각 인덱스로부터의 추가적인 보다 기술적인 정보가 헤더 파일에 포함될 수 있다. 이 파일의 정보는 3개의 레벨, 즉, 테이프, 노드, 프레임에서 속성값 쌍으로 표현된다. 이러한 구조의 속성값 쌍은 새로운 속성, 예를 들면, 테이프 또는 프레임내의 객체의 분류 레벨들을 삽입하기 위한 자유(freedom)를 제공한다.
유사하게, 본 발명은 웹 페이지와 같은 멀티미디어 다큐먼트 또는 하이퍼미디어 다큐먼트를 제공하거나 검색하는데 이용될 수 있다. 사용자는 사용자 프로파일 또는 사용자 선호 정보가 서버에 의해 생성되도록 하는 특정 관심분야를 가질 수 있으며, 이는 정보를 동적으로 패키지화할 수 있다. 예를 들면, 도 2b에 도시된 바와 같이, 다큐먼트(1A)는 오디오, 비디오(화상), 텍스트 및/또는 다른 다큐먼트(Doc1, Doc2, Doc3 등)(11A)에의 링크를 포함할 수도 있다. 사용자는 몇몇 오디오, 비디오, 텍스트 또는 상기 다른 다큐먼트들, 예를 들면, Doc2 및 Doc3에 포함된 정보에만 관심을 가지며 다른 정보, 즉, Doc1에는 관심이 없을 수도 있다. 각각의 다른 다큐먼트, Dc1-Doc3는 텍스트, 오디오 및/또는 비디오 및 또 다른 멀티미디어 다큐먼트(111A)에의 다른 링크들을 포함할 수도 있다.
생성된 계층은, 사용자가 얼마나 정보(오디오, 비디오, 텍스트 및/또는 링크)를 검색하기를 원하는지 또는 사용자의 선호와 얼마나 관계가 있는지를 나타낼 필요는 없다. 미리 지정된 사용자 프로파일에 기초하여 정보의 분석이 수행될 수 있으며, 정보는 재배열된 계층을 컴퓨터 판독가능 매체에 수록되는 사용자 파일로 "평탄화"함으로써 시간 계층으로 재배열될 수 있다.
도 3은 샘플 헤더 파일을 도시한 것이다. 헤더는 비디오 테이프 ID, 비디오 제목, 비디오의 카테고리, 기록일자, 인덱스 일자, 테이프 길이, 시각 인덱스의 버전, 화상의 해상도, 레벨의 번호, 차일드 노드의 번호, 시각 인덱스 내의 키프레임의 번호와 같은 정보를 포함할 수도 있다. 이 정보는 프레임 번호들 및 정보를 부호화하고, 상기 부호화된 프레임 번호들 및 정보에 기초하여 저장장치, 즉, 비디오 테이프, CD, VCR 상의 위치를 계산할 수 있다. 데이터 손상을 방지하고 저장용량을 줄이기 위해 헤더 파일에 저장된 정보를 제한하는 것이 바람직할 수 있다. 또한, 헤더 파일은 데이터 손상을 방지하기 위하여 상기 저장 매체 상의 여러 위치에 저장될 수 있다.
본 예에서, 시각 인덱스는 헤더 파일(비디오 헤더)(410 또는 416) 및 키프레임 또는 키프레임 화상(412, 414 또는 418 및 420)을 포함한다. 이 예에서, 216개의 키프레임 화상들의 시각 인덱스는 4KB의 헤더 파일을 갖는 반면에, 상기 키프레임 화상들은 844KB를 취한다. 본 예에서는, 특정한 또는 일반적인 하나의 헤더 파일이 비디오에 사용되며, 레벨 또는 그룹 헤더(422 및 424 또는 426 및 428)가 다른 타입의 헤더로서 추가되어 도 4a 및 4b에 도시된 노드들의 특정 레벨들을 나타낼 수 있다.
저장을 위해 도 4a는 계층적인 레벨 방식의 키프레임 클러스터링을 나타내는 반면, 도 4b는 키프레임의 페어런트-차일드 방식의 클러스터링을 나타낸다.
도 5는 상기 계층을 평탄화하여 선형적으로 표현한 시각 인덱스 구조를 나타낸다. 보관 처리에서, 이 구조는 디스크 또는 다른 컴퓨터 판독가능 매체와 같은 임시 디바이스 상에 생성되어 모두 테이프와 같은 선형 매체 또는 네트워크를 통하여 기록된다. 본 발명에서, 헤더 파일은 시각 인덱스에 저장된 정보에 쉽게 액세스할 수 있는 제 1 파일이다. 키프레임 화상 노드 파일들의 배열은 상기 계층적인 시간 구조의 렌더링에 따라서 행해진다.
사용자 인터페이스에 따라서, 키프레임의 노드들은 선택된 구조로 배열되어 저장된다. 도 6a 내지 6e에 도시된 바와 같이, 몇몇 상이한 구조들도 가능하다. 특히, 도 6a는 계층적 상하 배열을 나타내고, 도 6b는 좌우 배열을 나타내며, 도 6c는 레벨 배열을 나타낸다. 도 6d는 동일 프레임의 중복 저장을 제거하는 레벨 배열을 나타낸다. 특히, 전술한 바와 같이, 키프레임(1, 11, 111)은 동일 화상을 나타내며, 따라서 모두 3개의 저장이 중복된다. 따라서, 예를 들면 단지 키프레임(1)만이 저장된다.
도 6e는 사용자 파일을 제공하기 위해, 사용자가 관심을 갖지 않는 다른 다큐먼트들에의 링크, 텍스트, 오디오 또는 비디오를 제거하는 멀티미디어 다큐먼트에 대한 배열을 도시한 것이다. 도 6e는 도 2b에 도시된 예에 대한 배열의 일례를 제공한다.
모든 배열에서, 노드 헤더가 사용된다면, 특정 레벨에 대해서 ID, 키 프레임의 수, 각각의 키 프레임에 대해서 ID, 주석, 위치, 차일드 노드의 수 및 프레임 서명과 같은 정보를 포함할 수도 있다.
노드 화상들도 또한 포함될 수도 있다. 각각의 키프레임에 대하여, ID 및 화상 데이터와 같은 정보가 포함될 수도 있다.
저장된 키프레임들을 검색하기 위해서, 상기 헤더 파일이 먼저 판독되고, 그 다음에 레벨 A의 제 1 키프레임 또는 블롭이 판독되어 디스크 또는 다른 컴퓨터 판독가능 매체와 같은 임시 디바이스에 저장된다. 시각 인덱스 또는 멀티미디어 다큐먼트의 검색을 최적화하기 위하여, 시각 인덱스 또는 멀티미디어 다큐먼트는 상이한 세그먼트에서 복원된다. 각 세그먼트가 판독된 후, 정보는 사용자에게 표시될 수 있다. 따라서, 사용자는 전체 시각 인덱스 또는 멀티미디어 다큐먼트가 로드되기를 기다릴 필요없이 이미 로드된 레벨들 또는 관심 분야를 볼 수 있다. 사용자는 관심있는 가장 대표적인 키프레임들 또는 블롭을 볼 수 있으며, 상기 시각 인덱스 또는 웹 페이지가 각각 로드됨에 따라 더 상세히 볼 수 있게 된다. 키프레임 화상 노드 또는 블롭이 사용자 인터페이스에서 판독될 때, 상기 키프레임 화상 노드 또는 블롭은 화상 등이 사용자에게 표시될 수 있는 메모리로 송신된다. 마지막으로, 다른 키프레임 화상들 또는 블롭들이 미리 지정된 순서로 로드된다.
도 7a 및 7b는 본 발명의 예시적인 시스템을 도시한 것이다. 특히, 도 7a에서, 저장장치(702)는 비디오 인덱스 시스템 또는 다른 자동 또는 수동 수단에 의해 제공된 선택된 수의 가장 대표적인 키프레임들을 갖는다. 저장장치(702)는 선택된 키프레임들을 제 1 처리기(704)로 공급하고 상기 제 1 처리기(704)는 상기 키프레임들을 선택된 수의 레벨로 배열하며, 각각의 레벨은 미리 결정된 수의 가장 대표적인 키프레임들을 포함하고, 각각의 후속 레벨은 이전 레벨의 다수의 키프레임들을 포함한다. 제 2 처리기(705)는 상기 제 1 처리기(704)의 일부일 수도 있으며, 상기 제 1 처리기와 분리될 수도 있는데, 비디오의 가장 대표적인 키프레임에 대한 정보에 기초하여 적어도 하나의 헤더 파일을 생성한다.
상기 헤더 파일 및 키프레임은 상기 저장장치(702)의 일부 또는 분리된 메모리인 메모리(706)의 인덱스 파일에 수록된다. 컴퓨터, VCR 또는 텔레비전과 같은 분리된 디바이스일 수도 있고 사용자 인터페이스를 가질 수도 있는 유닛(708)은 인덱스 파일들을 검색하고, 각 레벨이 검색될 때, 각 레벨에 대한 키프레임을 제공한다.
유사하게, 도 7b의 시스템은 예를 들어 서버에서 제공될 수도 있는 저장장치(710)를 갖는다. 제 1 처리기(712)는 블롭을 선택된 수의 레벨들로 배열한다. 각각의 레벨은 텍스트, 비디오, 오디오 및 다른 멀티미디어 또는 하이퍼텍스트 다큐먼트에의 링크 중 적어도 하나를 포함한다. 각각의 후속 레벨은 텍스트, 비디오, 오디오 및 각각의 다른 멀티미디어 또는 하이퍼텍스트 다큐먼트에의 다른 링크 중 적어도 하나를 포함한다.
제 1 처리기(712)의 일부분이거나 이로부터 분리된 제 2 처리기(713)는 블롭들을 사용자 선호 정보에 기초하여 사용자 파일로 구성한다. 상기 제 2 처리기(713)는 데이터베이스에 대하여, 또는 수록된 정보에 기초하여 블롭 또는 링크를 분석하여 상기 블롭 또는 링크가 사용자의 미리 지정된 관심 분야와 일치하는지를 판정한다. 그 다음에 제 2 처리기는 상기 분석에 기초하여 블롭 및 링크를 구성하여, 도 6f에 도시된 바와 같이, 사용자의 첫 번째 관심 분야로 지정된 영역의 상위에 이들 블롭 및 링크를 제공한다.
상기 저장장치(710)의 일부 또는 이로부터 분리된 메모리(714)는 상기 사용자 파일에 수록되어 있는 상기 구성된 블롭 및 링크를 저장한다. 컴퓨터와 같은 유닛(716)은 사용자 파일을 검색하여, 블롭 및 링크 각각이 검색될 때, 상기 블롭 및 링크를 제공한다.
이상에서 알 수 있듯이, 본 발명에 의하면, 키프레임 또는 블롭의 저장에 의해서 비교적 느린 메모리 디바이스로부터의 검색을 최적화할 수 있다. 본 발명은 서브시스템들 중 어느 하나에 포함되거나 독립된 서브시스템이 될 수도 있다. 당업자라면, 상이한 수의 노드, 키프레임, 블롭, 헤더, 노드 헤더 및 노드 화상들을 쉽게 이용할 수도 있을 것이다. 또한 부가적인 수정이 당업자에 의해 쉽게 이루어질 수 있다.
본 발명은 비디오 클립들, 오디오(음향, 음성, 음악 등), 컬러들 또는 비디오 특성들, 및/또는 주석, 키프레임들과 함께 또는 개별적으로 제공된 텍스트 또는 데이터(수동 또는 자동으로 더해진)를 포함하도록 또한 확장될 수 있다.
또한, 마스터 인덱스가 비디오 테이프, 파일 등의 콜렉션을 위하여 저장되어, 특정 프로그램, 세그먼트 등이 저장되어 있는 장소에 대한 정보를 포함할 수도 있는 마스터 인덱스를 사용자가 볼 수 있도록 할 수 있다. 상기 키프레임은 또한 분석되어 결국, 도 4a 및 4b에 도시된 바와 같이, 사용자 선호 또는 다양한 클러스터링(clustering) 방법과 같은 미리 지정된 표준에 따라서 재구성될 수 있다. 이렇게 함으로서, 더 높은 우선 순위를 갖도록 표시된 키프레임들이 먼저 인덱스 파일의 데이터 구조에 저장되어 보다 신속한 검색이 이루어지도록 할 수 있다.
전술한 상세한 설명으로부터 전술한 목적이 효율적으로 달성됨을 명백히 알 수 있으며, 본 발명의 정신 범주내에서 임의의 변화가 있을 수 있으므로, 상세한 설명 또는 첨부한 도면에 포함된 모든 사항들은 예시적인 것일 뿐 한정 사항은 아님을 주지하라.
다음의 청구항들은 본 명세서에서 기술된 본 발명의 모든 일반적인 특징 및 특정한 특징들을 포함하도록 의도되었으며, 본 발명의 범위는 상기 특징들 사이에 속한다.

Claims (10)

  1. 검색을 최적화하기 위해 컴퓨터 판독가능 매체에 비디오의 키프레임들을 저장하는 방법에 있어서,
    상기 컴퓨터 판독가능 매체로부터, 선택된 수의 가장 대표적인 키프레임들을 검색하는 단계와,
    상기 키프레임들을 계층의 레벨들로 배열하는 단계로서, 각각의 레벨은 다수의 가장 대표적인 키프레임들을 포함하며, 각각의 후속 레벨은 상기 비디오를 대표하는 이전 레벨보다 더 많은 키프레임들을 포함하는, 상기 배열 단계와,
    상기 키프레임들을 레벨 단위로 상기 컴퓨터 판독가능 매체에 저장하는 단계를 포함하며,
    상기 키프레임들은 사용자 선호 정보에 따라 계층으로 배열되는 것을 특징으로 하는, 키프레임 저장 방법.
  2. 제 1 항에 있어서,
    상기 비디오의 가장 대표적인 키프레임들에 관한 정보에 기초하여 적어도 하나의 헤더 파일을 생성하는 단계와,
    상기 적어도 하나의 헤더 파일을 상기 컴퓨터 판독가능 매체에 저장하는 단계를 더 포함하는, 키프레임 저장 방법.
  3. 삭제
  4. 비디오의 키프레임들을 메모리에 저장하는 시스템에 있어서,
    상기 비디오의 선택된 수의 가장 대표적인 키프레임들을 갖는 저장장치와,
    키프레임들을 계층의 레벨들로 배열하는 제 1 처리기로서, 각각의 레벨은 미리 결정된 수의 가장 대표적인 키프레임들을 포함하며, 각각의 후속 레벨은 이전 레벨보다 더 많은 키프레임들을 포함하는, 상기 제 1 처리기를 포함하며,
    상기 제 1 처리기는 사용자 선호 정보에 따라 상기 키프레임들을 계층으로 배열하며,
    상기 시스템은,
    상기 비디오의 가장 대표적인 키프레임들에 관한 정보에 기초하여 적어도 하나의 헤더 파일을 생성하는 제 2 처리기와,
    상기 헤더 파일과 상기 키프레임들을 레벨 단위로 저장하여 인덱스 파일에 수록하는 메모리와,
    상기 인덱스 파일을 검색하여 각 레벨이 검색될 때 각 레벨에 대한 상기 키프레임들을 제공하는 유닛을 더 포함하는, 키프레임 저장 시스템.
  5. 검색을 최적화하기 위해 컴퓨터 판독가능 매체에 멀티미디어 다큐먼트의 블롭들을 저장하는 방법에 있어서, 상기 방법은,
    미리 지정된 정보에 기초하여 사용자 선호 파일을 생성하는 단계와,
    특정 멀티미디어 다큐먼트의 블롭들을 검색하여 상기 블롭들을 계층의 레벨들로 배열하는 단계로서, 각각의 레벨은 상기 특정 멀티미디어 다큐먼트의 블롭들 및 다른 멀티미디어 다큐먼트들에의 링크들 중 적어도 하나를 포함하고, 각각의 후속 레벨은 상기 다른 멀티미디어 다큐먼트들의 블롭들을 포함하는, 상기 블롭들을 검색하여 계층의 레벨들로 배열하는 단계와,
    상기 사용자 선호 파일에 기초하여 특정 블롭들 및 링크들을 저장하여 사용자에 의한 검색을 위한 사용자 파일에 수록하는 단계를 포함하는, 블롭 저장 방법.
  6. 삭제
  7. 멀티미디어 다큐먼트의 블롭들을 저장하는 시스템에 있어서,
    각 멀티미디어 다큐먼트의 블롭들을 갖는 저장장치와,
    선택된 멀티미디어 다큐먼트의 블롭들을 계층의 레벨들로 배열하는 제 1 처리기로서, 각각의 레벨은 텍스트, 비디오, 오디오 및 다른 멀티미디어 다큐먼트들에의 링크들 중 적어도 하나를 포함하며, 각각의 후속 레벨은 텍스트, 비디오, 오디오 및 각각의 상기 다른 멀티미디어 다큐먼트들에 대한 또 다른 멀티미디어 다큐먼트들에의 링크들 중 적어도 하나를 포함하는, 상기 제 1 처리기와,
    사용자 선호 정보에 기초하여 상기 블롭들 및 링크들을 구성하는 제 2 처리기와,
    사용자 파일에 수록된 상기 구성된 블롭들을 저장하는 메모리와,
    상기 사용자 파일을 검색하여 상기 블롭들 및 링크들 각각이 검색될 때 상기 블롭들 및 링크들을 제공하는 유닛을 포함하는, 멀티미디어 다큐먼트의 블롭 저장 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
KR1019997006951A 1997-12-02 1998-11-30 키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 저장장치 KR100568437B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US08/982,972 1997-12-02
US08/982,972 US6119123A (en) 1997-12-02 1997-12-02 Apparatus and method for optimizing keyframe and blob retrieval and storage
US8/982,972 1997-12-02
PCT/IB1998/001909 WO1999028835A2 (en) 1997-12-02 1998-11-30 Apparatus and method for optimizing keyframe and blob retrieval and storage

Publications (2)

Publication Number Publication Date
KR20000070701A KR20000070701A (ko) 2000-11-25
KR100568437B1 true KR100568437B1 (ko) 2006-04-07

Family

ID=25529701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997006951A KR100568437B1 (ko) 1997-12-02 1998-11-30 키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 저장장치

Country Status (6)

Country Link
US (1) US6119123A (ko)
EP (1) EP0976071A1 (ko)
JP (1) JP2001510673A (ko)
KR (1) KR100568437B1 (ko)
TW (1) TW477937B (ko)
WO (1) WO1999028835A2 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6560281B1 (en) * 1998-02-24 2003-05-06 Xerox Corporation Method and apparatus for generating a condensed version of a video sequence including desired affordances
US6226636B1 (en) * 1998-11-20 2001-05-01 Philips Electronics North America Corp. System for retrieving images using a database
KR100296967B1 (ko) 1999-01-30 2001-09-26 구자홍 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치
KR100442991B1 (ko) * 1999-02-01 2004-08-04 주식회사 팬택앤큐리텔 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법
US6389417B1 (en) * 1999-06-29 2002-05-14 Samsung Electronics Co., Ltd. Method and apparatus for searching a digital image
IT1310145B1 (it) * 1999-08-25 2002-02-11 Rai Radiotelevisione Italiana Sistema d'acquisizione e presentazione sintetica di programmitelevisivi
JP2001134614A (ja) * 1999-09-16 2001-05-18 Sharp Corp 記述フレームワークを提供するために操作可能なシステム及びａｖコンテンツの概要をユーザに提供する方法
KR100304482B1 (ko) * 1999-09-22 2001-11-02 구자홍 다중 계층구조를 가지는 사용자 선호도 정보구조와 이를 이용한 멀티미디어 정보 서비스 방법
KR100305964B1 (ko) 1999-10-22 2001-11-02 구자홍 사용자 적응적인 다단계 요약 스트림 제공방법
CN100387061C (zh) * 1999-11-29 2008-05-07 索尼公司 视频/音频信号处理方法和视频/音频信号处理设备
US6845487B1 (en) * 1999-11-30 2005-01-18 Sony Corporation Method and an apparatus for implementing a key frame
AUPQ535100A0 (en) * 2000-01-31 2000-02-17 Canon Kabushiki Kaisha Video browser data magnifier
US8171509B1 (en) 2000-04-07 2012-05-01 Virage, Inc. System and method for applying a database to video multimedia
US7260564B1 (en) 2000-04-07 2007-08-21 Virage, Inc. Network video guide and spidering
US6904463B1 (en) * 2000-12-05 2005-06-07 Cisco Technology, Inc. System for improving delivery of content by reordering after grouping components homogeneously within content stream based upon categories defined by content preferences
FR2818409B1 (fr) * 2000-12-18 2003-03-14 Expaway Procede pour diviser des documents structures en plusieurs parties
US9031383B2 (en) 2001-05-04 2015-05-12 Legend3D, Inc. Motion picture project management system
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
AU2002305387B2 (en) * 2001-05-04 2008-04-03 Legend Films, Llc Image sequence enhancement system and method
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US20030219232A1 (en) * 2001-10-01 2003-11-27 Shu Lin System and method for identifying data on a storage medium
KR100464076B1 (ko) * 2001-12-29 2004-12-30 엘지전자 주식회사 동영상 비디오 브라우징 방법과 장치
US20030131362A1 (en) * 2002-01-09 2003-07-10 Koninklijke Philips Electronics N.V. Method and apparatus for multimodal story segmentation for linking multimedia content
US20040181545A1 (en) * 2003-03-10 2004-09-16 Yining Deng Generating and rendering annotated video files
US6973654B1 (en) * 2003-05-27 2005-12-06 Microsoft Corporation Systems and methods for the repartitioning of data
US7401075B2 (en) * 2003-06-11 2008-07-15 Wtviii, Inc. System for viewing and indexing mark up language messages, forms and documents
WO2004112301A2 (en) * 2003-06-11 2004-12-23 Wtviii, Inc. Mark up language authoring system
US7257592B2 (en) * 2003-06-26 2007-08-14 International Business Machines Corporation Replicating the blob data from the source field to the target field based on the source coded character set identifier and the target coded character set identifier, wherein the replicating further comprises converting the blob data from the source coded character set identifier to the target coded character set identifier
US7317457B2 (en) * 2003-07-21 2008-01-08 Autodesk, Inc. Processing image data
US7372464B2 (en) * 2003-07-21 2008-05-13 Autodesk, Inc. Processing image data
US7814129B2 (en) * 2005-03-11 2010-10-12 Ross Neil Williams Method and apparatus for storing data with reduced redundancy using data clusters
US8938153B2 (en) * 2006-02-08 2015-01-20 Nec Corporation Representative image or representative image group display system, representative image or representative image group display method, and program therefor
US20070283274A1 (en) * 2006-05-30 2007-12-06 Microsoft Corporation Strategies for Providing a Customized Media Presentation Based on a Markup Page Definition (MPD)
US7698258B2 (en) * 2006-06-02 2010-04-13 Microsoft Corporation Searchable storage system
US8495036B2 (en) * 2008-10-24 2013-07-23 Microsoft Corporation Blob manipulation in an integrated structured storage system
US8620884B2 (en) * 2008-10-24 2013-12-31 Microsoft Corporation Scalable blob storage integrated with scalable structured storage
US8266290B2 (en) * 2009-10-26 2012-09-11 Microsoft Corporation Scalable queues on a scalable structured storage system
US8516137B2 (en) * 2009-11-16 2013-08-20 Microsoft Corporation Managing virtual hard drives as blobs
CN103003880B (zh) 2010-07-26 2016-10-19 皇家飞利浦电子股份有限公司 为视频确定代表图像
US9002907B2 (en) 2010-08-30 2015-04-07 Unwired Planet, Llc Method and system for storing binary large objects (BLObs) in a distributed key-value storage system
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9298840B2 (en) * 2011-07-14 2016-03-29 Microsoft Technology Licensing, Llc Video user interface elements on search engine homepages
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
WO2019079944A1 (zh) * 2017-10-23 2019-05-02 深圳市锐明技术股份有限公司 一种视频数据的存储方法、装置及终端设备
US11307049B2 (en) * 2018-07-19 2022-04-19 Uisee Technologies (Beijing) Co., Ltd Methods, apparatuses, systems, and storage media for storing and loading visual localization maps

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093717A (en) * 1987-08-03 1992-03-03 American Film Technologies, Inc. System and method for digitally coloring images
EP0559714A1 (en) * 1990-11-30 1993-09-15 Cambridge Animation Systems Limited Animation
US5261041A (en) * 1990-12-28 1993-11-09 Apple Computer, Inc. Computer controlled animation system based on definitional animated objects and methods of manipulating same
US5532833A (en) * 1992-10-13 1996-07-02 International Business Machines Corporation Method and system for displaying selected portions of a motion video image
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5765164A (en) * 1995-12-21 1998-06-09 Intel Corporation Apparatus and method for management of discontinuous segments of multiple audio, video, and data streams
US5675511A (en) * 1995-12-21 1997-10-07 Intel Corporation Apparatus and method for event tagging for multiple audio, video, and data streams
US5627936A (en) * 1995-12-21 1997-05-06 Intel Corporation Apparatus and method for temporal indexing of multiple audio, video and data streams

Also Published As

Publication number Publication date
WO1999028835A2 (en) 1999-06-10
EP0976071A1 (en) 2000-02-02
JP2001510673A (ja) 2001-07-31
WO1999028835A3 (en) 1999-08-26
KR20000070701A (ko) 2000-11-25
US6119123A (en) 2000-09-12
TW477937B (en) 2002-03-01

Similar Documents

Publication Publication Date Title
KR100568437B1 (ko) 키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 저장장치
KR100934537B1 (ko) 데이터 유형에 의존하는 프로세싱을 위하여 데이터 유형을자동 검출하기 위한 방법 및 장치
Subrahmanian Principles of multimedia database systems
US7209917B2 (en) Digital asset data type definitions
US7149750B2 (en) Method, system and program product for extracting essence from a multimedia file received in a first format, creating a metadata file in a second file format and using a unique identifier assigned to the essence to access the essence and metadata file
KR100872913B1 (ko) 비디오 뉴스 세그먼트를 관리하는 미디어자산 관리시스템및 그에 연관된 방법
US7072983B1 (en) Scheme for systemically registering meta-data with respect to various types of data
US20030142953A1 (en) Album generation program and apparatus and file display apparatus
US7302435B2 (en) Media storage and management system and process
Carrer et al. An annotation engine for supporting video database population
Hunter et al. Implementing preservation strategies for complex multimedia objects
Chang et al. The characteristics of digital video and considerations of designing video databases
Christel et al. XSLT for tailored access to a digtal video library
KR100831550B1 (ko) 엑스엠엘 계층구조를 이용한 비디오 검색 시스템 및 그 방법
JP2004062216A (ja) データファイリング方法、データファイリング装置、記憶媒体、プログラム
JP2006501539A (ja) 階層データフォーマットに対するデータベースモデル
KR20060025100A (ko) 다국어를 지원하는 메타 데이터를 기록한 정보저장매체 및메타 데이터 처리방법
Hong et al. A motion picture archiving technique, and its application in an ethnology museum
Wu et al. Personal video manager: managing and mining home video collections
Gennaro Regia: a metadata editor for audiovisual documents
Duda et al. Structured Video: A Data Type with Content-Based Access
Ntalianis et al. Visual information retrieval from annotated large audiovisual assets based on user profiling and collaborative recommendations
Weiss et al. Algebraic Video for Composition and Content-Based Access
Gennaro et al. The Use of XML in a video digital library
Amato et al. Indexing and Editing metadata for documentary

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100330

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee