KR100596908B1 - 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법 - Google Patents

비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법 Download PDF

Info

Publication number
KR100596908B1
KR100596908B1 KR1020040058549A KR20040058549A KR100596908B1 KR 100596908 B1 KR100596908 B1 KR 100596908B1 KR 1020040058549 A KR1020040058549 A KR 1020040058549A KR 20040058549 A KR20040058549 A KR 20040058549A KR 100596908 B1 KR100596908 B1 KR 100596908B1
Authority
KR
South Korea
Prior art keywords
segment
video stream
seg
sequence
candidate
Prior art date
Application number
KR1020040058549A
Other languages
English (en)
Other versions
KR20060009999A (ko
Inventor
이석룡
Original Assignee
학교법인 동원육영회
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 동원육영회 filed Critical 학교법인 동원육영회
Priority to KR1020040058549A priority Critical patent/KR100596908B1/ko
Publication of KR20060009999A publication Critical patent/KR20060009999A/ko
Application granted granted Critical
Publication of KR100596908B1 publication Critical patent/KR100596908B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은; 의미기반 검색을 가능하게 하기 위하여 대용량 스트림 데이터를 효과적으로 표현하고 저장, 그리고 검색할 수 있도록 해주는 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법에 관한 것이다.
이와 같은 본 발명은; 원시 자료인 비디오 스트림 내의 각 프레임을 다차원 데이터 시퀀스(MDS)로 표현하는 제 1 단계(S1); 다차원 데이터 시퀀스(MDS)를 세그먼트로 분할하는 제 2 단계(S2); 분할된 각각의 세그먼트의 다양한 특성을 고려하여 트랜드 벡터(TV)를 추출하는 제 3 단계(S3); 및 각 세그먼트의 트랜드 벡터(TV)를 내포하는 하이퍼 사각형을 비디오 스트림 데이터베이스에 인덱싱하고 저장하는 제 4 단계(S4)로 이루어진다.
본 발명에 따르면; 비디오 스트림과 같은 다차원 데이터 시퀀스에 적용 가능한 비디오 저장 및 검색 기법을 제안하되, 종래의 평균에 기초한 유사성 접근 방법들에 비해, 정밀도가 2.1배까지 향상되고 응답 시간은 45%까지 감소되는 반면에 리콜은 거의 비슷한 수준으로 유지되며 복원 오차율은 평균 68%, 최대 73%까지 감소시켜 주는 뛰어난 효과가 있다.
비디오 스트림, 트랜드 벡터(TV), 다차원 데이터 시퀀스(MDS),

Description

비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법{SEMANTIC-BASED VIDEO STORING AND RETRIEVING METHOD FOR VIDEO STREAMING SERVICES}
도 1은 종래 평균에 의한 접근 방법에서 시퀀스 및 각 세그먼트의 평균 값을 표현한 도면,
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법이 적용된 망 구성도,
도 3은 본 발명의 일 실시예에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 방법을 나타낸 동작 플로우챠트,
도 4는 도 3에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 방법에서 세그먼트의 시작-끝 벡터(SE), 최적 벡터(OP) 및 트랜드 벡터(TV)를 설명하기 위한 참조 도면,
도 5는 도 3에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 방법에서 시퀀스 및 각 세그먼트의 트랜드 벡터(TV)를 표현한 참조 도면,
도 6은 도 3에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 방법에서 세그먼트를 인덱싱하기 위한 하이퍼 사각형의 모습을 보여주는 참조 도 면,
도 7은 본 발명의 일 실시예에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법을 나타낸 동작 플로우챠트,
도 8은 도 7에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법에서 움직임의 방향에 의한 유클리디안 거리의 차이를 나타낸 참조 도면,
도 9는 도 7에 따른 본 발명과 기존의 평균에 기초한 방법의 정밀도(precision) 이득 및 리콜(recall) 손실을 보여주는 그래프,
도 10a 및 10b는 각각 가상 데이터와 비디오 데이터 세트에서의 4가지의 방법(MB-Same, MB-Diff, TV-Same, TV-Diff)의 평균 질의 응답 시간을 보여주는 그래프,
도 11a는 TV-Diff와 MB-Diff 사이의 복원 오차를 비교한 막대 그래프,
도 11b는 대등한 저장 공간 요구 조건을 고려한 TV-Diff와 MB-Diff 사이의 복원 오차를 비교한 막대 그래프이다.
<도면의 주요 부분에 대한 부호의 설명>
10 : 클라이언트 20 : 네트워크
30 : 비디오 스트림 서버 31 : 비디오 스트림 데이터베이스
본 발명은 비디오 스트리밍 서비스(Video Streaming Service)를 위한 의미기반 비디오 저장 및 검색 방법에 관한 것으로, 더욱 상세하게는 비디오 스트림 서버(Video Stream Server)에서 의미기반 검색을 가능하게 하기 위하여 대용량 스트림 데이터를 효과적으로 표현하고 저장, 그리고 검색할 수 있도록 해주는 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법에 관한 것이다.
주지하다시피, 최근에는 비디오나 오디오 등과 같은 정보를 네크워크를 통해 클라이언트들에게 전달하는 방법에 대한 연구가 활발하게 진행되고 있다. 이러한 방법은 데이터베이스에 저장된 대용량의 정보 중에서 클라이언트들이 원하는 데이터를 검색하여 전송하는 비디오 스트림 서버에 의해 진행된다. 이 때, 상기 비디오 스트림 서버가 자신의 내부에 설치된 데이터베이스에서 클라이언트가 원하는 정보를 검색하여 전송하는 기술이 핵심적인 기술이라 할 수 있다.
한편, 특정 시점에서의 값을 나타내는 일차원 실수값들의 시퀀스인 시계열 데이터가 데이터 마이닝과 데이터 웨어하우스와 같은 다양한 데이터베이스 응용 분야에서 최근 많이 연구되고 있다. 시계열 데이터로는 전형적인 예로써 시간의 흐름에 따라 변하는 주가 또는 특정 상품의 매출액, 날씨 패턴, 판매 지표와 생명의학 측정치들이 있다. 그러나 이러한 데이터들은 기본적으로 일차원 데이터의 연속이기 때문에 기존의 연구는 일차원 데이터 시퀀스를 인덱싱하거나 검색하는 데 초점이 맞춰져 있다.
하지만, 최근의 다양하고 복잡한 업무 환경에서는 다양한 영업 통계, 아날로그 및 디지털 신호와 비디오 스트림과 같은 좀더 복잡한 형태의 시퀀스인 다차원 데이터 시퀀스(Multidimensional Data Sequence; 이하, "MDS"라 칭함.)의 중요성이 점점 증가되고 있다. 즉, MDS가 멀티미디어 데이터가 많은 응용 분야에서 폭 넓게 사용됨에 따라 방대하고 복잡한 정보의 효율적인 검색이 더욱 중요해졌다. 이러한 MDS는 시간의 흐름에 따라 연속된 데이터 요소들의 집합으로써, 각 요소는 다차원 벡터에 의해 표현될 수 있다.
이러한 비디오 스트림 서버에서 수행되는 시계열 데이터의 유사성 검색은 최근 데이터베이스 응용 분야에서 중요한 연구 주제 중 하나로 관심을 받게 되었고, 이로써 다양한 유사성 검색 기법들이 제안되었다. 이하, 지금까지 제안된 다양한 유사성 검색 기법에 대해 살펴보기로 한다.
첫째, 종래에 제안된 유사성 검색 기법 중 차원 축소 기법은 DFT(Discrete Fourier Transform)를 사용하여 시간 도메인의 시퀀스 데이터를 저차원의 주파수 도메인으로 사상(mapping)함으로 고차원 문제(dimensionality curse problem)을 해결하는 것이다. 이 방법에서는 하나의 시간 시퀀스는 주파수 도메인에서 저차원 상의 한점으로 표현된다. 둘째, 슬라이딩 윈도우(사이즈 w)를 사용하는 빠른 서브 시퀀스 매칭 방법(Fast Subsequence Matching Method)이 소개되었는데, 이러한 서브 시퀀스 매칭 방법에서는 일차원 상의 시퀀스 위에 윈도우를 이동시킴으로써 윈도우 내의 서브 시퀀스가 w-차원의 점으로 변환되고, 따라서 원래의 시간 시퀀스는 w-차원의 시퀀스로 변환되며, 이 시퀀스는 서브 시퀀스로 분활된다. 이 때, 각 서 브 시퀀스는 최소 경계 사각형(MBR : Minimum Bounding Rectangle)으로 표현되고, 이러한 MBR이 데이터베이스에 인덱싱되고 저장되는 것이다. 하지만, 상술한 종래의 두 가지의 방법은 다차원 시퀀스나 서브 시퀀스를 하나의 대표적인 점으로 사상할 수 없기 때문에 다차원 시퀀스에는 적용될 수 없는 문제점이 있었다.
또한, 종래에는 안전한 선형 변환(safe linear transformation)의 집합이 제안되었는데, 이 기법에서는 이동 평균(moving average), 역변환(reversing)과 타임 워핑(time warping)과 같은 변환 방법들을 정형화하여 표현하였고, 이러한 변환은 다양한 변환으로 확장되는데, 여기에서는 인덱스를 여러 번 검색하고 매번 변환하는 대신에, 인덱스를 단지 한번 검색하고 다수의 변환이 동시에 이 인덱스에 적용된다.
한편, 종래에는 시계열 데이터의 유사성 검색을 위해 뛰어난 효율을 보이는 평균에 기초한 접근 방법들이 제안되었다. 즉, 같은 길이의 세그먼트를 생성하고 각 세그먼트의 평균 값을 검색에 사용하는 세그먼트 평균 방법(segmented-mean approach)과, 임의의 다른 길이의 세그먼트를 생성하고 각 세그먼트의 평균 값을 검색에 사용하는 APCA(Adaptive Piecewise Constant Approximation) 방법이 그것이다. 이 때, 도 1은 한 시퀀스와 이 시퀀스에 대한 평균 값 근사를 도면으로 나타낸 것인데, 시퀀스 S는 각각 도 1의 (a)에서 8개의 같은 길이 세그먼트로 분할되고, 도 1의 (b)에서는 5개의 임의의 길이 세그먼트로 분할되며, 각 세그먼트는 그 세그먼트에 포함되어 있는 점들의 평균 값에 의하여 표현된다.
이 때, 상술한 종래의 세그먼트 평균 방법 및 APCA 기법은 원시 시퀀스에 의 하여 복원 오차율이 높고, 세그먼트 내의 점들의 값이 시간의 흐름에 따라 증가하는 경향을 보이는지 감소하는 경향을 보이는지에 대한 정보를 상실하게 되는 문제점이 있었다. 예를 들어, 도 1(a)의 세그먼트 SEG1과 SEG2를 고려해 보면, SEG 1은 증가하는 경향을 보이고 SEG2는 감소하는 경향을 보이는 것이 분명하지만, 상술한 종래의 세그먼트 평균 방법 및 APCA 기법은 이러한 정보를 보존하지 못하는 문제점이 있는 것이다. 이로 인해, 상술한 종래의 평균에 기초한 접근 방법들에서는 세그먼트 내의 점들의 움직임에 관한 정보를 보존하고 복원 오차를 줄이기 위해 세그먼트의 크기를 매우 작게 유지하는 대안을 고려할 수 있지만, 이렇게 하면 평균 값들의 수, 즉 세그먼트 수가 늘어나게 되어 결국 심각한 처리 오버헤드를 초래하게 되는 문제점이 발생하게 된다.
또한, 상술한 종래의 모든 유사성 접근 기법들은 모두 기본적으로 일차원 시계열 데이터를 위한 유사성 검색 기법들임으로 다차원 데이터 시퀀스에 근본적으로 적용하기가 어려울 뿐만 아니라, 세그먼트를 단순히 점이나 최소 경계 사각형으로 표현하기 때문에 세그먼트 내의 점들의 움직임에 관한 중요한 정보를 상실하게 되는 공통적인 문제점이 있는 것이다.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 비디오 스트림과 같은 다차원 데이터 시퀀스에 적용 가 능한 비디오 저장 및 검색 기법을 제안하되, 종래의 평균에 기초한 유사성 접근 방법들에 비해, 정밀도가 2.1배까지 향상되고 응답 시간은 45%까지 감소되는 반면에 리콜은 거의 비슷한 수준으로 유지되며 복원 오차율은 평균 68%, 최대 73%까지 감소시켜 주는 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 방법은, 비디오 스트림 데이터베이스를 구비한 비디오 스트림 서버에서의 비디오 저장 방법에 있어서,
상기 비디오 스트림 서버가 원시 자료인 비디오 스트림 내의 각 프레임을 다차원 공간 상의 점으로 사상함으로 다차원 데이터 시퀀스(MDS)로 표현하는 제 1 단계;
상기 비디오 스트림 서버가 다차원 데이터 시퀀스(MDS)를 한 개나 그 이상의 같거나 다른 길이의 세그먼트로 분할하는 제 2 단계;
상기 비디오 스트림 서버가 같거나 다른 길이로 분할된 각각의 세그먼트의 다양한 특성, 즉 한 세그먼트 내의 점들이 가지는 값과 그 점들의 움직임의 경향 등을 고려하여 트랜드 벡터(TV)를 추출하는 제 3 단계; 및
상기 비디오 스트림 서버가 각 세그먼트의 트랜드 벡터(TV)를 내포하는 하이퍼 사각형을 상기 비디오 스트림 데이터베이스에 인덱싱하고 저장하는 제 4 단계로 이루어진 것을 특징으로 한다.

또한, 본 발명 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법은, 비디오 스트림 데이터베이스를 구비한 비디오 스트림 서버에서의 비디오 검색 방법에 있어서,
상기 비디오 스트림 서버가 질의 시퀀스(Q)를 같거나 다른 길이의 한 개 또는 그 이상의 세그먼트(SEGQ,i)로 분할하는 제 10 단계;
상기 비디오 스트림 서버가 질의 세그먼트(SEGQ,i)로부터 트랜드 벡터(TV)를 추출하는 제 20 단계;
상기 비디오 스트림 서버가 질의 시퀀스(Q)의 각 세그먼트(SEGQ,i)에 대하여, 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)와 사용자가 제공한 각 세그먼트 간의 유사성 척도(sim_seg)를 사용하여 후보 세그먼트 집합을 형성한 후, 그 후보 세그먼트 집합에 포함된 각각의 후보 세그먼트(SEGK,j)에 대응되는 후보 시퀀스 집합(SETcand)을 형성하는 제 30 단계; 및
상기 비디오 스트림 서버가 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대하여, 사용자가 제공한 유사성 척도(sim_seq)를 사용하여 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대한 여과 처리과정을 거쳐 결과 시퀀스 집합(SETans)을 형성한 후 리턴하는 제 40 단계로 이루어진 것을 특징으로 한다.
이하, 본 발명의 일 실시예에 의한 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 이 때, 의미 기반 검색이라 함은 기존의 대부분의 내용 기반 검색(content based retrieval) 방식이 주로 비디오 프레임의 색상과 질감, 모양 등의 정적인 특징(static feature)을 추출하여 검색에 이용한 데 반해, 의미 기반은 정적인 특징 뿐 아니라 연속된 프레임의 움직임의 방향성 등의 의미 정보를 검색에 이용함을 의미한다.
도 2는 본 발명의 일 실시예에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법이 적용된 망 구성도로서, 본 발명이 적용된 망은 다수의 클라이언트(10)와; 상기 다수의 클라이언트(10)와 네트워크(20)로 접속되되, 비디오 스트림 데이터가 특정 형태로 저장된 비디오 스트림 데이터베이스(31)를 구비하여, 다수의 클라이언트(10)의 요청이 있을 때에 실시간 제약사항(real-time constraints)을 만족시키면서 클라이언트(10)들이 원하는 비디오 스트림 데이터를 상기 비디오 스트림 데이터베이스(31)에서 검색하여 전송하는 비디오 스트림 서버(30)로 구성되어 있다.
그러면, 하기에서는 상술한 망 구성을 이용하여 본 발명의 일 실시예에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법에 대해 도 3을 참조하여 설명하기로 하되, 먼저 비디오 저장 방법에 대해 설명하기로 한다.
우선, 상기 비디오 스트림 서버(30)는 원시 자료인 비디오 스트림 내의 각 프레임을 다차원 공간 상의 점으로 사상(mapping)함으로 MDS로 표현한다(S1). 이 때, 상기 비디오 스트림 서버(30)는 생성된 MDS가 고차원일 경우 차원 축소(dimensionality reduction) 과정을 수행한다.
그런후, 상기 비디오 스트림 서버(30)는 MDS를 한 개나 그 이상의 같거나 다른 길이의 세그먼트로 분할한다(S2).
이어서, 상기 비디오 스트림 서버(30)는 같거나 다른 길이로 분할된 각각의 세그먼트의 다양한 특성, 즉 한 세그먼트 내의 점들이 가지는 값과 그 점들의 움직임의 경향 등을 고려하여 트랜드 벡터(TV : Trend Vector)를 추출한다(S3).
이 때, 상술한 트랜드 벡터(TV)에 대해 도 1(a)의 두 세그먼트 SEG3와 SEG5를 고려한 도 4를 참조하여 설명하면 다음과 같다. 트랜드 벡터(TV)는 도 4에 도시된 바와 같이, 세그먼트를 대표하기 위한 최적에 근사한 벡터로써 세그먼트의 시작-끝 벡터(SE)에 평행하면서 세그먼트의 평균 선(mean line)의 중간을 지나는 벡터를 의미하는데, 이 때 평균 선의 중간을 지나는 벡터를 선택하는 이유는 복원 오차율을 획기적으로 감소시키고, 트랜드 벡터(TV)를 계산하는 것이 단순하고 매우 빠르기 때문이다. 도 4에서는 편의상 시간을 수평축으로 나타냈기 때문에 평균이 일차원의 선으로 표현되었지만, 일반적으로 다차원 시퀀스의 경우 시간축을 사용하지 않으므로 평균이 다차원의 점(평균 점)으로 표현되며, 다차원 시퀀스의 경우에도 마찬가지로 트랜드 벡터(TV)는 세그먼트의 시작-끝 벡터(SE)에 평행하고 세그먼 트의 평균점을 통과한다.
따라서, 상기 트랜드 벡터(TV)는 d-차원 공간에서 "TV=〈k, m, α〉"로 정의되며, 여기서 k는 세그먼트 안에 내포되어 있는 점의 수를 의미하고, "m=(m1, m2 , …md)"은 각 차원에서의 데이터 점들의 평균으로 구성되어 있는 세그먼트의 평균 벡터를 의미하며, "α=(α1, α2, …αd)"는 세그먼트의 시작점에서 끝점을 잇는 선분의 각 차원에서의 기울기를 나타낸다. 도 5는 일차원 시계열 데이터에 대한 종래 시퀀스의 평균값 근사와 트랜드 벡터(TV) 근사를 보여주는 도면으로써, 도 5에 도시된 바와 같이 트랜드 벡터(TV) 근사는 평균값 근사에 비하여 효과적임을 알 수 있다.
한편, 상기 제 3 단계(S3)에서 트랜드 벡터(TV)가 추출되면, 상기 비디오 스트림 서버(30)는 도 6에 도시된 바와 같은, 각 세그먼트의 트랜드 벡터(TV)를 내포(minimum bounding)하는 하이퍼 사각형을 상기 비디오 스트림 데이터베이스(31)에 인덱싱하고 저장한다(S4). 이 때, 상기 비디오 스트림 서버(30)는 트랜드 벡터(TV) 자체를 최소한으로 포함하는 하이퍼 사각형을 선택하며, 이 선택은 비록 "no-false dismissal"을 보장하지는 못하지만, MBR을 선택하는 것에 비하여 검색 공간을 줄일 수 있고, 따라서 검색 속도를 향상시키게 된다. 이러한 트랜드 벡터(TV) 자체를 포함하는 사각형을 선택하는 방식은 효율성(efficiency)과 정확성(correctness) 사이의 타협(trade-off)이며, 실제로 많은 응용 분야에서는 정확성을 엄격하게 요구하지 않고, 하이퍼 사각형의 저점과 고점을 간단히 계산할 수 있 으므로, MBR(Minimum Bounding Rectangle) 방안과 같이 추가의 저장 공간을 필요로 하지 않게 된다. 또한, 상기 비디오 스트림 서버(30)는 하이퍼 사각형을 상기 비디오 스트림 데이터베이스(31)에 인덱싱하기 위해 공지된 R-트리 구조나 이와 유사한 공간 인덱싱 구조들을 사용한다.
한편, 하기에서는 본 발명의 일 실시예에 따른 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법에 대해 도 7을 참조하여 설명하기로 한다.
먼저, 상기 비디오 스트림 서버(30)는 질의 시퀀스(Q)를 같거나 다른 길이의 한 개 또는 그 이상의 세그먼트(SEGQ,i)로 분할한다(S10).
그런 후, 상기 비디오 스트림 서버(30)는 질의 세그먼트(SEGQ,i)로부터 트랜드 벡터를 추출한다(S20). 이 때, 각 세그먼트 간의 유사성은 각 세그먼트에 대응되는 트랜드 벡터(TV) 사이의 거리를 이용하여 정의되는데, 이 때 각 세그먼트 간의 유사성에 트랜드 벡터(TV)를 도입하게 된 배경에 대해 도 8을 참조하여 설명하면 다음과 같다. 도 8에 도시된 바와 같이, d 차원 공간에서 중심점이 각각 "m1=(m1,1, …m1,d)"과 "m2=(m2,1 , …m2,d)"인 두 세그먼트(SEG1=<TV1>, SEG2 =<TV2>)를 고려하면, 평균에 기초한 접근 방법에서는 두 세그먼트 간의 거리가 각 세그먼트들의 평균점 사이의 거리로써 계산된다. 하지만, 이러한 평균에 기초한 접근 방법은 과다한 "false hit"를 발생시키게 되어 검색 성능을 저하시키게 되는데, 그 이유는 질의에 무관한 시퀀스가 과다하게 검색되어 후보 시퀀스 집합에 포함되면 차후의 비용이 많이 드는 처리 과정에서 그들을 제거해야 되기 때문이다. 또한, 상술한 평균에 기초한 접근 방법에서의 평균점은 해당 세그먼트 내의 점들의 움직임의 경향을 제대로 반영하지 못한다는 점에서 문제점이 있으며, 이는 도 8의 (a)와 도 8의 (b)에서와 같이 비슷한 위치에 있으나 한 쌍은 서로 방향이 반대인 두 쌍의 트랜드 벡터(TV)를 고려해 볼 때, 각 세그먼트의 평균 점들 사이의 거리가 두 경우에서 같기 때문에 도 8의 (a) 및 (b)에서의 유사성은 갖게 된다. 그러나, 움직임의 방향성 측면에서 관찰할 경우에는 두 경우의 유사성이 달라지게 되고, 도 8(b)의 경우에 두 트랜드 벡터(TV) 사이의 거리는 도 8의 (a)에 비하여 더 멀어지게 되며, 따라서 유사성은 감소하게 된다. 실제로, 시퀀스 데이터에서 패턴의 방향성은 시퀀스의 특징을 결정짓는 중요한 정보이므로, 이로 인해 트랜드 벡터(TV)를 도입하게 된 것이다.
한편, 상기 비디오 스트림 서버(30)는 상기 제 20 단계(S20)에서 트랜드 벡터(TV)가 추출되면, 질의 시퀀스(Q)의 각 세그먼트(SEGQ,i)에 대하여, 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)와 사용자가 제공한 각 세그먼트 간의 유사성 척도(sim_seg)를 사용하여 후보 세그먼트 집합을 형성한 후, 그 후보 세그먼트 집합에 포함된 각각의 후보 세그먼트(SEGK,j)에 대응되는 후보 시퀀스 집합(SETcand)을 형성한다(S30).
이하, 상술한 제 30 단계(S30)의 세부 과정에 대해 도 7을 참조하여 설명하면 다음과 같다.
먼저, 상기 비디오 스트림 서버(30)는 질의 시퀀스(Q)의 각 세그먼트(SEGQ,i)에 대하여, 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)를 사용하여 후보 세그먼트(SEGK,j)를 추출한다(S31). 이 때, 상기 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)는 인덱스 검색에 의하여 상기 비디오 스트림 데이터베이스(31)로부터 질의와 무관한 시퀀스를 여과하기 위한 거리 함수로써, SEG1의 트랜드 벡터와 SEG2의 트랜드 벡터에 각각 속해 있는 임의의 점들 사이의 거리보다 항상 작으며, 질의 세그먼트 SEGq와 데이터베이스 세그먼트 SEGs 사이의 거리 "d_hr(SEGq, SEGs)"은 두 세그먼트 사이의 거리 "d_seg(SEG q, SEGs)"의 하한이다. 이로써, 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)에 의해 얻어진 후보 집합은 두 세그먼트 사이의 거리(d_seg)에 의하여 얻어진 후보 집합의 슈퍼 집합이 되며, 이는 인덱스 검색을 위해 거리척도(d_hr)를 안전하게, 즉 과오 누락없이 사용할 수 있음을 의미한다.
상기 제 31 단계(S31) 이후, 상기 비디오 스트림 서버(30)는 각 세그먼트 간의 유사성 척도(sim_seg)를 사용하여, 하기의 [수학식 2]와 같이 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성을 비교한 후 그 결과값이 유사성 임계값(ζ) 이상인지의 여부를 판단한다(S32). 이 때, 데이터 공간은 [0, 1]d 하이퍼 큐브로 정규화되어 있다고 가정하므로, 임의의 두 점의 최대 허용 거리는 이 큐브의 대각선의 길이인
Figure 112004033296270-pat00001
가 되고, 따라서 두 세그먼트 SEG1과 SEG2 사이의 유사성 함수 "sim_seg(SEG1, SEG2)"는 세그먼트 사이의 거리를 0과 1 사이의 값을 갖도록 변환함으로써 하기의 [수학식 1]에 의해 구할 수 있다. 마찬가지로, 사용자가 제공한 유사성 임계값(ζ)은 인덱스 검색을 위하여 거리의 임계값으로 쉽게 변환할 수 있고, 그 역의 경우 역시 성립된다.
Figure 112004033296270-pat00002
sim_seg(SEG1, SEG2) = 1-(1/)·d_seg(SEG1, SEG2)
여기서,
Figure 112004033296270-pat00003
식으로 표현된다.
sim_seg(SEGQ,i, SEGK,j) ≥ζ (0≤ζ≤1)
이 때, 상기 제 32 단계(S32)에서 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 이상이면(YES), 상기 비디오 스트 림 서버(30)는 그 세그먼트를 후보 세그먼트 집합에 포함시킨다(S33).
반면에, 상기 제 32 단계(S32)에서 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 미만이거나(NO), 상기 제 33 단계(S33) 이후, 상기 비디오 스트림 서버(30)는 처리하지 않은 후보 세그먼트(SEGK,j)가 존재하는지의 여부를 판단한다(S34)
이 때, 상기 제 34 단계(S34)에서 처리하지 않은 후보 세그먼트(SEGK,j)가 존재하면(YES) 상기 비디오 스트림 서버(30)는 다시 상기 제 32 단계(S32)로 진행하는 한편, 존재하지 않으면(NO) 처리하지 않은 질의 세그먼트(SEGQ,i)가 존재하는지의 여부를 판단한다(S35).
상기 제 35 단계(S35)에서 처리하지 않은 질의 세그먼트(SEGQ,i)가 존재하면(YES) 상기 비디오 스트림 서버(30)는 다시 상기 제 31 단계(S31)로 진행하는 한편, 존재하지 않으면(NO) 후보 세그먼트 집합에 포함된 각각의 후보 세그먼트(SEGK,j)에 대응되는 후보 시퀀스 집합(SETcand)을 형성한다(S36).
한편, 상술한 바와 같은 제 30 단계(S3)의 처리 과정이 끝나면, 상기 비디오 스트림 서버(30)는 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대하여, 사용자가 제공한 유사성 척도(sim_seq)를 사용하여 후보 시퀀스 집합(SETcand)의 각 시퀀스 (SK)에 대한 여과 처리과정을 거쳐 결과 시퀀스 집합(SETans)을 형성한 후 리턴한다(S40).
상기 두 시퀀스 간의 유사성 값들은 다음식으로 표현된다.
① 같은 길이의 세그멘테이션:
Figure 112004033296270-pat00004
② 다른 길이의 세그멘테이션:
Figure 112004033296270-pat00005
여기에서
Figure 112004033296270-pat00006
이고,
Figure 112004033296270-pat00007
와
Figure 112004033296270-pat00008
는 각각 구간 I1 에서 S1과 S2의 세그먼트이다.
이하, 상술한 제 40 단계(S40)의 세부 과정에 대해 도 7을 참조하여 설명하면 다음과 같다.
먼저, 상기 비디오 스트림 서버(30)는 유사성 척도(sim_seq)를 사용하여, 하기의 [수학식 3]과 같이 그 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대응되는 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성을 비교한 후 그 결과값이 유사성 임계값(ζ) 이상인지의 여부를 판단한다(S41). 이 때, 두 시퀀스 간의 유사성(sim_seq)은 세그먼트 사이의 유사성(sim_seg)을 이용하여 정의된다. 즉, 세그먼트 사이의 유사성(sim_seg)이 두 시퀀스 간의 유사성(sim_seq)에 대해 안전한 여과를 제공하며, 이는 세그먼트 사이의 유사성(sim_seg)에 의해 얻은 후보 시퀀스의 집합은 두 시퀀스 간의 유사성(sim_seq)에 의해 얻은 집합의 슈퍼 집합이 됨을 의미한다.
sim_seq(Q, SK) ≥ζ (0≤ζ≤1)
이 때, 상기 제 41 단계(S41)에서 각 시퀀스(SK)에 대응되는 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 이상이면(YES), 상기 비디오 스트림 서버(30)는 그 시퀀스(SK)를 결과 시퀀스 집합(SETans)에 포함시킨다(S42).
한편, 상기 제 41 단계(S41)에서 각 시퀀스(SK)에 대응되는 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 미만이거나(NO), 상기 제 42 단계(S42) 이후, 상기 비디오 스트림 서버(30)는 처리하지 않 은 시퀀스(SK)가 존재하는지의 여부를 판단하여 존재하면(YES) 다시 상기 제 41 단계(S41)로 진행하는 한편, 존재하지 않으면(NO) 비디오 스트림 데이터베이스(31)의 결과 시퀀스 집합(SETans)를 최종적으로 형성한 후 리턴한다(S43).
따라서, 상기 비디오 스트림 서버(30)는 상술한 유사성 검색 방법을 통해 상기 비디오 스트림 데이터베이스(31)에서 비디오 데이터를 검색하여 각 클라이언트(10)들에게 전송하는 것이다.
이하, 하기에서는 본 발명에 따른 트랜드 벡터(TV)를 사용한 방법과 기존의 평균에 기초한 방법을 비교 실험하여, 정밀도(precision)와 리콜(recall), 응답 시간 및 복원 오차 면에서 본 발명이 기존의 방법에 비해 월등하게 성능 향상된 기술임을 설명하기로 한다. 이 때, SS는 순차 스캐닝에 의한 기준 방법을 의미하고, MB-Same는 기존의 평균에 기초한 방법(같은 길이 세그멘테이션)을 의미하며, MB-Diff는 기존의 평균에 기초한 방법(다른 길이 세그멘테이션)을 의미하고, TV-Same는 본 발명의 트랜드 벡터를 사용한 방법(같은 길이 세그멘테이션)을 의미하며, TV-Diff는 본 발명의 트랜드 벡터를 사용한 방법(다른 길이 세그멘테이션)을 의미한다.
먼저, 도 9는 본 발명의 트랜드 벡터를 사용한 방법과 기존의 평균에 기초한 방법의 정밀도(precision) 이득과 리콜(recall) 손실을 실험한 결과로써, 이 도면에 의해 유사성 임계값이 증가할수록 정밀도 비율은 급격하게 증가하나, 임계값이 0.8 이상에서는 비교적 일정함을 알 수 있고, 이로 인해 대부분의 응용 분야에서 유사성의 값은 0.8 이상에서 유용하기 때문에 본 발명은 실제적으로도 적합하게 사용될 수 있음을 알 수 있다.
이 때, 하기의 [표 1]은 본 발명의 트랜드 벡터를 사용한 방법과 기존의 평균에 기초한 방법의 정밀도(precision) 이득과 리콜(recall) 손실을 비교한 결과로써, 이에 따르면 본 발명이 기존의 방법에 비해 정밀도 면에서 상당히 좋은 성능을 보여주고 있음을 알 수 있고, 리콜도 거의 비슷한 수준(0.98 이상)을 유지하고 있음을 알 수 있다.
비율 (↓) 임계값 (→) 0.7 0.75 0.8 0.85 0.9 0.95 평균
PrecisionTV-Same/ PrecisionMB-Same 1.152 1.574 2.057 1.933 1.925 1.910 1.759
PrecisionTV-Diff/ PrecisionMB-Diff 1.130 1.538 1.916 1.874 1.747 1.626 1.638
RecallTV-Same/ RecallMB-Same 1.000 0.995 0.982 0.979 0.975 0.961 0.982
RecallTV-Diff/ RecallMB-Diff 1.000 1.000 0.999 0.995 0.991 0.985 0.995
도 10a 및 10b는 각각 가상 데이터와 비디오 데이터 세트에서의 4가지의 방법(MB-Same, MB-Diff, TV-Same, TV-Diff)의 평균 질의 응답 시간을 보여주는 그래프로써, TV-Diff와 MB-Diff의 응답 시간 비(TV-Same/MB-Same)는 비디오 스트림에서는 각각 평균 0.63, 최대 0.50, 가상 데이터 세트에서는 각각 0.60, 0.45가 됨을 알 수 있으며, 응답 시간 비(TV-Same/MB-Same)도 비디오 스트림에서는 각각 0.67, 0.52, 가상 데이터에서는 각각 0.63, 0.51이 되어 상당히 응답 시간이 개선되었음을 알 수 있다. 이 비율은 유사성 임계값이 0.8(가상 데이터 세트) 혹은 0.85(비디오 데이터 세트) 이하에서 감소하고, 그 외 구간에서는 비교적 일정함을 알 수 있다. 이 결과는 본 발명이 전 범위의 임계값에서 기존의 평균에 기초한 방법에 비해 빠르고, 특히 높은 임계값 범위에서는 더 좋은 성능을 보여주어 상술한 정밀도의 실험 결과와 일관성이 있음을 보여 준다. 즉, 높은 정밀도는 질의와 무관한 시퀀스를 보다 많이 여과하며, 이는 성능 향상으로 연결됨을 입증하는 것이다.
도 11a는 TV-Diff와 MB-Diff 사이의 복원 오차를 비교한 막대 그래프이고, 도 11b는 대등한 저장 공간 요구 조건을 고려한 TV-Diff와 MB-Diff 사이의 복원 오차를 비교한 막대 그래프로써, 가상 데이터의 접두어는 "S", 비디오는 "V"로 각각 나타내었다. 각 데이터의 세트는 5개의 그룹(1∼5)으로 시퀀스의 길이(64∼1024)에 따라 분류하였다. 도 11a와 같은 비교 결과, TV-Diff의 복원 오차가 원래 시퀀스에 대해 MB-Diff와 비교하여 평균 68%, 그리고 최고 73%까지 감소하였고, 도 11b에 도시된 경우에서는 TV-Diff의 복원 오차가 원래 시퀀스에 대해 MB-Diff와 비 교하여 평균 36%, 그리고 최고 49%까지 감소하였음을 알 수 있다. 결과적으로, 본 발명이 기존의 방법에 비해 복원 오차를 획기적으로 감소시켰으며, 이는 트랜드 벡터 표현이 보다 나은 근사 방법을 제공한다고 볼 수 있다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이 본 발명에 의한 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및 검색 방법에 의하면, 비디오 스트림과 같은 다차원 데이터 시퀀스에 적용 가능한 비디오 저장 및 검색 기법을 제안하되, 종래의 평균에 기초한 유사성 접근 방법들에 비해, 정밀도가 2.1배까지 향상되고 응답 시간은 45%까지 감소되는 반면에 리콜은 거의 비슷한 수준으로 유지되며 복원 오차율은 평균 68%, 최대 73%까지 감소시켜 주는 뛰어난 효과가 있다.

Claims (7)

  1. 비디오 스트림 데이터베이스를 구비한 비디오 스트림 서버에서의 비디오 저장 방법에 있어서,
    상기 비디오 스트림 서버가 원시 자료인 비디오 스트림 내의 각 프레임을 다차원 공간 상의 점으로 사상함으로 다차원 데이터 시퀀스(MDS)로 표현하는 제 1 단계;
    상기 비디오 스트림 서버가 다차원 데이터 시퀀스(MDS)를 한 개나 그 이상의 같거나 다른 길이의 세그먼트로 분할하는 제 2 단계;
    상기 비디오 스트림 서버가 같거나 다른 길이로 분할된 각각의 세그먼트의 다양한 특성, 즉 한 세그먼트 내의 점들이 가지는 값과 그 점들의 움직임의 경향 등을 고려하여 트랜드 벡터(TV)를 추출하되, 추출된 상기 트랜드 벡터(TV)는 d-차원 공간에서 "TV=〈k, m, α〉"로 정의되며, 여기서 k는 세그먼트 안에 내포되어 있는 점의 수를 의미하고, "m=(m1, m2, …md)"은 각 차원에서의 데이터 점들의 평균으로 구성되어 있는 세그먼트의 평균 벡터를 의미하며, "α=(α1, α2, …αd)"는 세그먼트의 시작점에서 끝점을 잇는 선분의 각 차원에서의 기울기를 나타내는 기울기 벡터를 의미하는 제 3 단계; 및
    상기 비디오 스트림 서버가 각 세그먼트의 트랜드 벡터(TV)를 내포하는 하이퍼 사각형을 상기 비디오 스트림 데이터베이스에 인덱싱하고 저장하는 제 4 단계로 이루어진 것을 특징으로 하는 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 방법.
  2. 삭제
  3. 삭제
  4. 비디오 스트림 데이터베이스를 구비한 비디오 스트림 서버에서의 비디오 검색 방법에 있어서,
    상기 비디오 스트림 서버가 질의 시퀀스(Q)를 같거나 다른 길이의 한 개 또는 그 이상의 세그먼트(SEGQ,i)로 분할하는 제 10 단계;
    상기 비디오 스트림 서버가 질의 세그먼트(SEGQ,i)로부터 트랜드 벡터(TV)를 추출하되, 추출된 상기 트랜드 벡터(TV)는 d-차원 공간에서 "TV=〈k, m, α〉"로 정의되며, 여기서 k는 세그먼트 안에 내포되어 있는 점의 수를 의미하고, "m=(m1, m2, …md)"은 각 차원에서의 데이터 점들의 평균으로 구성되어 있는 세그먼트의 평균 벡터를 의미하며, "α=(α1, α2, …αd)"는 세그먼트의 시작점에서 끝점을 잇는 선분의 각 차원에서의 기울기를 나타내는 기울기 벡터를 의미하는 제 20 단계;
    상기 비디오 스트림 서버가 질의 시퀀스(Q)의 각 세그먼트(SEGQ,i)에 대하여, 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)와 사용자가 제공한 각 세그먼트 간의 유사성 척도(sim_seq)를 사용하여 후보 세그먼트 집합을 형성한 후, 그 후보 세그먼트 집합에 포함된 각각의 후보 세그먼트(SEGK,j)에 대응되는 후보 시퀀스 집합(SETcand)을 형성하는 제 30 단계; 및
    상기 비디오 스트림 서버가 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대하여, 사용자가 제공한 유사성 척도(sim_seg)를 사용하여 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대한 여과 처리과정을 거쳐 결과 시퀀스 집합(SETans)을 형성한 후 리턴하는 제 40 단계로 이루어진 것을 특징으로 하는 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법.
  5. 삭제
  6. 제 4항에 있어서,
    상기 제 30 단계는, 상기 비디오 스트림 서버가 질의 시퀀스(Q)의 각 세그먼트(SEGQ,i)에 대하여, 각 세그먼트의 하이퍼 사각형 간의 최소 거리인 거리척도(d_hr)를 사용하여 후보 세그먼트(SEGK,j)를 추출하는 제 31 단계;
    상기 비디오 스트림 서버가 각 세그먼트 간의 유사성 척도(sim_seg)를 사용하여, 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성을 비교한 후 그 결과값이 유사성 임계값(ζ) 이상인지의 여부를 판단하는 제 32 단계;
    상기 제 32 단계에서 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 이상이면, 상기 비디오 스트림 서버가 그 세그먼트를 후보 세그먼트 집합에 포함시키는 제 33 단계;
    상기 제 32 단계에서 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 미만이거나, 상기 제 33 단계 이후, 상기 비디오 스트림 서버가 처리하지 않은 후보 세그먼트(SEGK,j)가 존재하는지의 여부를 판단하는 제 34 단계;
    상기 제 34 단계에서 처리하지 않은 후보 세그먼트(SEGK,j)가 존재하면 상기 비디오 스트림 서버가 다시 상기 제 32 단계로 진행하는 한편, 존재하지 않으면 처리하지 않은 질의 세그먼트(SEGQ,i)가 존재하는지의 여부를 판단하는 제 35 단계; 및
    상기 제 35 단계에서 처리하지 않은 질의 세그먼트(SEGQ,i)가 존재하면 상기 비디오 스트림 서버가 다시 상기 제 31 단계로 진행하는 한편, 존재하지 않으면 후보 세그먼트 집합에 포함된 각각의 후보 세그먼트(SEGK,j)에 대응되는 후보 시퀀스 집합(SETcand)을 형성하는 제 36 단계로 이루어진 것을 특징으로 하는 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법.
  7. 제 4 항 또는 제 6 항에 있어서,
    상기 제 40 단계는, 상기 비디오 스트림 서버가 유사성 척도(sim_seg)를 사용하여 그 후보 시퀀스 집합(SETcand)의 각 시퀀스(SK)에 대응되는 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성을 비교한 후 그 결과값이 유사성 임계값(ζ) 이상인지의 여부를 판단하는 제 41 단계;
    상기 제 41 단계에서 각 시퀀스(SK)에 대응되는 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 이상이면, 상기 비디오 스트림 서버가 그 시퀀스(SK)를 결과 시퀀스 집합(SETans)에 포함시키는 제 42 단계; 및
    상기 제 41 단계에서 각 시퀀스(SK)에 대응되는 후보 세그먼트(SEGK,j)와 질의 세그먼트(SEGQ,i)의 유사성의 결과값이 유사성 임계값(ζ) 미만이거나, 상기 제 42 단계 이후, 상기 비디오 스트림 서버가 처리하지 않은 시퀀스(SK)가 존재하는지의 여부를 판단하여 존재하면 다시 상기 제 41 단계로 진행하는 한편, 존재하지 않으면 비디오 스트림 데이터베이스의 결과 시퀀스 집합(SETans)를 최종적으로 형성한 후 리턴하는 제 43 단계로 이루어진 것을 특징으로 하는 비디오 스트리밍 서비스를 위한 의미기반 비디오 검색 방법.
KR1020040058549A 2004-07-27 2004-07-27 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법 KR100596908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040058549A KR100596908B1 (ko) 2004-07-27 2004-07-27 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040058549A KR100596908B1 (ko) 2004-07-27 2004-07-27 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법

Publications (2)

Publication Number Publication Date
KR20060009999A KR20060009999A (ko) 2006-02-02
KR100596908B1 true KR100596908B1 (ko) 2006-07-04

Family

ID=37120391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040058549A KR100596908B1 (ko) 2004-07-27 2004-07-27 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법

Country Status (1)

Country Link
KR (1) KR100596908B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207897A (ja) 1997-01-17 1998-08-07 Fujitsu Ltd 動画像検索システム
KR19990084334A (ko) * 1998-05-04 1999-12-06 윤종용 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
KR20010060994A (ko) * 1999-12-28 2001-07-07 박호군 내용 기반 동영상 검색 방법
KR20010063797A (ko) * 1999-12-24 2001-07-09 오길록 인터넷에서의 3차원 데이터 저장 및 검색 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207897A (ja) 1997-01-17 1998-08-07 Fujitsu Ltd 動画像検索システム
KR19990084334A (ko) * 1998-05-04 1999-12-06 윤종용 2차원 연속 영상의 3차원 영상 변환 장치 및 방법
KR20010063797A (ko) * 1999-12-24 2001-07-09 오길록 인터넷에서의 3차원 데이터 저장 및 검색 방법
KR20010060994A (ko) * 1999-12-28 2001-07-07 박호군 내용 기반 동영상 검색 방법

Also Published As

Publication number Publication date
KR20060009999A (ko) 2006-02-02

Similar Documents

Publication Publication Date Title
Kobla et al. Compressed-domain video indexing techniques using DCT and motion vector information in MPEG video
Lee et al. Similarity search for multidimensional data sequences
KR100483321B1 (ko) 하이퍼사각형 기반의 다차원 데이터 세그먼테이션을이용한 유사성 검색 장치와 그 방법
JP3568117B2 (ja) ビデオ画像の分割、分類、および要約のための方法およびシステム
Zhang et al. Video parsing and browsing using compressed data
JP5005154B2 (ja) 記憶媒体上に記憶された情報信号を再生する装置
US8515933B2 (en) Video search method, video search system, and method thereof for establishing video database
US8477836B2 (en) System and method for comparing an input digital video to digital videos using extracted and candidate video features
CN1851710A (zh) 嵌入式多媒体基于关键帧的视频检索的实现方法
JPH11509025A (ja) 直流および動きの記号を用いた圧縮ｍｐｅｇ系列のビデオ検索
US20140297606A1 (en) Method and device for processing a time sequence based on dimensionality reduction
Li et al. Skyline index for time series data
CN101515286B (zh) 基于图像特征多级过滤的图像匹配方法
CN103605652B (zh) 基于对象标志位的视频检索和浏览的方法和装置
Zhou et al. Structure tensor series-based large scale near-duplicate video retrieval
Kobla et al. Indexing and retrieval of MPEG compressed video
US20020106127A1 (en) Method of and apparatus for retrieving movie image
Kontaki et al. Adaptive similarity search in streaming time series with sliding windows
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
KR100596908B1 (ko) 비디오 스트리밍 서비스를 위한 의미기반 비디오 저장 및검색 방법
JP2010186307A (ja) 動画コンテンツ識別装置および動画コンテンツ識別方法
Pfoser et al. Trajectory indexing using movement constraints
JP2002513487A (ja) オブジェクト指向コンテンツに基づくビデオ・サーチ用のアルゴリズム及びシステム
US8341161B2 (en) Index database creating apparatus and index database retrieving apparatus
Kesidis et al. Efficient cut-off threshold estimation for word spotting applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee