KR100442991B1 - 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법 - Google Patents

트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법 Download PDF

Info

Publication number
KR100442991B1
KR100442991B1 KR10-1999-0003248A KR19990003248A KR100442991B1 KR 100442991 B1 KR100442991 B1 KR 100442991B1 KR 19990003248 A KR19990003248 A KR 19990003248A KR 100442991 B1 KR100442991 B1 KR 100442991B1
Authority
KR
South Korea
Prior art keywords
index
video
feature vector
query
search
Prior art date
Application number
KR10-1999-0003248A
Other languages
English (en)
Other versions
KR20000054899A (ko
Inventor
장현성
설상훈
이상욱
김남규
Original Assignee
주식회사 팬택앤큐리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택앤큐리텔 filed Critical 주식회사 팬택앤큐리텔
Priority to KR10-1999-0003248A priority Critical patent/KR100442991B1/ko
Priority to EP00300653A priority patent/EP1026602A3/en
Priority to US09/496,306 priority patent/US6609134B1/en
Priority to JP2000024382A priority patent/JP2000222439A/ja
Publication of KR20000054899A publication Critical patent/KR20000054899A/ko
Application granted granted Critical
Publication of KR100442991B1 publication Critical patent/KR100442991B1/ko
Priority to JP2006110156A priority patent/JP2006268866A/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/914—Video
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 동영상자료의 검색시스템 및 그 방법, 특히 동영상자료의 내용에 기초하여 트리구조의 동영상색인을 생성하고 이를 기술자로 만들어 검색시스템에 적용하므로써 동영상 자료의 검색을 용이하게 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법에 관한 것으로서, 본 발명에 의한 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법에 의하면, 사용자가 정보검색을 위한 질의를 시작하면 복호화기에 저장된 트리구조를 갖는 동영상색인 기술자의 최상위 키프레임번호, 색인내 에지정보 및 계층별 한계값을 서버환경에 보내고, 서버환경에서는 키프레임번호를 순차적으로 읽어들여 복호화기로 보내면 복호화기에서 그 키프레임번호에의해 지시된 특징벡터를 서버환경으로 보내며, 서버환경에서는 그 키 프레임번호지시 특징벡터와 질의 특징벡터를 먼저, 비교하고 그 비교결과를 상기 한계값 및 사용자요청검색정밀도와 비교하여 상기 서버환경에서 읽어들인 키프레임번호가 질의와 관련있는지의 여부를 판단하고 질의와 관련있으면 계속해서 그 키프레임번호의 에지와 연결된 하위 프레임번호를 읽어들여 검색하여서 그 검색결과를 사용자환경에서 받아보는 방식이므로 사용자로 하여금 원하는 동영상 정보를 빠르게 검색할 수 있도록 한다는 뛰어난 효과가 있다.

Description

트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법{SEARCHING DEVICE USING MOVING PICTURE INDEX DESCRIPTER AND METHOD THEREOF}
본 발명은 동영상자료의 검색시스템 및 그 방법에 관한 것으로, 특히 동영상자료의 내용에 기초하여 트리구조의 동영상색인을 생성하고 이를 기술자로 만들어 검색시스템에 적용하므로써 동영상 자료의 검색을 용이하게 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법에 관한 것이다.
종래의 영상자료의 검색시스템에서는 정지영상 데이터베이스에서 영상들을 군집화하여 브라우징(BROWSING)하므로써 사용자에게 구조화된 접근을 제공하는 기법, 트리구조의 벡터양자화기를 이용한 정지영상 검색기법 및 샷(SHOT)의 군집화과정을 통한 동영상 브라우징기법등이 사용되었다.
그러나, 이들은 정지영상을 대상으로 하거나 질의를 통한 자동검색과정이라기 보다는 반복적인 브라우징을 통하여 사용자의 탐색을 유도하는 방식이므로 질의를 통하여 동영상 프레임들을 자동검색하는 응용환경에는 적합하지 않다.
또다른 문제점은 이들을 확장시 기술 혹은 저장하는 과정에서 불필요하거나 복잡한 자료구조의 사용이 불가피하고 그 응용범위 또한 제한적이라는 것이다. 예를 들면 트리구조의 벡터양자화기를 이용한 정지영상검색기법을 동영상에 확장 및 적용할 때 각 영상군집 및 그 군집의 중간값을 별도의 자료로 저장해야 하며, 그 실개체수는 트리가 커짐에 따라 지수적인 증가를 보인다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 동영상의 검색 효율을 향상시키기 위한 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위해 본 발명에 의한 트리구조의 동영상 색인기술자를 이용한 검색장치는 사용자의 질의에 의해 동영상을 검색하는 시스템에 있어서, 트리구조의 색인 기술자 및 특징벡터를 저장하고 있으며 외부의 요청시 실개체에 해당하는 정보 및 특정 키프레임 번호에 의해 지시된 특징벡터를 출력하는 복호화기와; 사용자가 질의를 시작할 경우 여러 가지 사용자값 및 질의 영상/영상열을 입력받아 사용자요청검색정밀도 및 특징벡터를 추출하여 송신하는 동시에 검색요청신호를 송신하는 질의 처리부와; 저장매체인 스택과; 검색초기에 상기 질의 처리부로부터 검색요청이 있으면 상기 복호화기로 요청신호를 보내어 최상위 키 프레임 번호를 넘겨받아 상기 스택에 적재하며, 이후 상기 스택에 색인내 에지정보에 의거한 키프레임번호를 적재한 후 읽어들여서 상기 복호화기에 출력하는 스택제어기와; 상기 복호화기에서 실개체의 해당정보를 입력받으면 최상위 키프레임번호 및 색인내 에지정보는 상기 스택제어기로 보내며, 각 프레임의 대표한계값을 출력하는 문법분석기와; 상기 복호화기에서 키프레임번호에 의해 지시된 특징벡터를 입력받는 동시에 상기 질의 처리부에서 질의로부터 추출한 특징벡터를 입력받아 비교한 결과를 출력하는 특징벡터비교기와; 상기 특징벡터비교기에서 비교결과를 상기 제 2 문법분석기로부터의 각 프레임의 대표 한계값 및 상기 질의처리부로부터의 사용자요청 검색정밀도와 비교하여 특정 키프레임번호와 질의와의 관련성여부를 판단하여 이에 상응하는 제어신호를 송신하는 문턱치비교기와; 상기 스택제어기에서 키프레임번호를 입력받고 상기 문턱치 비교기로부터 수신한 제어신호에 의하여 현재 키프레임번호를 누적할 것인지를 결정하고, 상기 스택이 비면 누적된 결과를 최종적으로 출력하는 누적기로 이루어진 것을 특징으로 이루어진 것을 특징으로 한다.
상기 목적을 달성하기 위해 본 발명에 의한 트리구조의 동영상 색인기술자를 이용한 검색방법은 트리구조의 동영상 색인 기술자를 이용하여 동영상 자료를 검색하는 방법에 있어서, 색인내에서 각 프레임이 자신을 정점으로 하는 서브트리를 정량적인 한계범위내에서 대표하는 것을 이용하여 사용자요청 정밀도 조건과 결합하여 검색의 경로를 도중차단시킬 수 있도록 함을 특징으로 한다.
상기 목적을 달성하기 위해 본 발명에 의한 트리구조의 동영상 색인기술자를 이용한 검색방법은 트리구조의 동영상 색인 기술자를 이용하여 사용자의 질의에 의해 동영상 자료를 검색하는 방법에 있어서, 질의가 시작되면 질의처리부는 사용자정의값 및 질의영상/영상열을 입력받아 사용자요청검색정밀도 및 특징벡터를 추출하여 특징벡터비교기 및 문턱치비교기 각각에 출력하는 하는 동시에 스택제어기로 검색요청을 하는 제 1단계와; 스택제어기가 복호화기에 검색요청신호를 보내는 제 2단계와; 복호화기가 이에 상응하여 실개체에 해당하는 정보(키프레임의 색인내 에지정보, 인덱스의 최상위 키프레임번호, 각 프레임의 대표한계값)를 문법분석기에 출력하는 제 3단계와; 문법분석기가 색인내 에지정보 및 최상위 키 프레임번호를 스택제어기로 출력하는 동시에, 각 프레임의 대표한계값을 문턱치비교기로 출력하는 제 4단계와; 스택제어기가 상기 색인내 에지정보 및 최상위 키 프레임번호를 스택에 저장하는 제 5단계와; 스택제어기가 스택으로부터 키 프레임번호를 읽어들여 복호화기 및 누적기로 출력하는 제 6단계와; 복호화기가 상기 키프레임 번호에 지시된 특징벡터를 특징벡터비교기로 출력하고, 특징벡터비교기가 그 키프레임 번호에 상응하는 특징벡터 및 상기 제 1단계에서 입력받은 질의로부터의 특징벡터를 비교하여 그 결과를 문턱치비교기로 출력하는 제 7단계와; 문턱치비교기가 상기 두 특징벡터의 비교결과를 상기 제 1, 3단계에서 입력받은 사용자요청 정밀도 및 각 프레임의 대표한계값과 비교하여 상기 특정 키프레임번호와 질의와의 관련성여부를 판단하는 제 8단계와; 상기 제 7단계에서 상기 키프레임번호가 질의와 관련성이 없으면 상기 제 6단계로 진행되고, 반면에 상기 키프레임번호가 질의와 관련성이 있으면 누적기에 그 키프레임번호를 누적시키는 제 9단계와; 스택이 비어 있는지의 여부를 판단하여, 스택이 비었으면 누적기가 누적된 검색결과를 사용자측에 출력하는 제 10단계로 이루어진 것을 특징으로 한다.
도 1은 본 발명에 적용되는 트리구조의 동영상색인을 설명하기 위한 개념도,
도 2는 도 1의 트리구조 동영상색인을 기술하기위한 개체기반형 기술기법을 도시한 도면,
도 3은 본 발명에 적용되는 동영상색인 기술자를 생성 및 저장하기 위한 과정을 설명하기 위한 블록도,
도 4는 본 발명에 적용되는 동영상색인 기술자가 적용된 응용환경의 예를 도시한 도면,
도 5는 본 발명의 일실시예에 의한 동영상색인 기술자를 이용한 검색장치에 대한 제어블록도,
도 6은 도 5의 복호화기에 대한 상세블록도,
도 7은 본 발명의 일실시예에 의한 트리구조의 동영상색인기술자를 이용한 검색장치에서 이루어지는 검색방법을 도시한 동작플로우챠트.
<도면의 주요부분에 대한 부호의 설명>
1000 : 복호화기 1100 : 스택제어기
1200 : 제 2문법분석기 1300 : 스택
1400 : 특징벡터비교기 1500 : 문턱치비교기
1600 : 누적기 1700 : 질의처리부
이하, 본 발명의 일실시예에 의한 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 적용되는 트리구조의 동영상색인을 설명하기 위한 개념도로서, 각 노드는 동영상 내의 한 프레임이고 원내의 각 숫자는 그 프레임번호를 나타낸다.
R0로 표기되는 색인의 최하위계층은 화면겹침이나 용명(FADE-IN), 용암(FADE-OUT)등 점진적인 장면전환부를 배제한 원 동영상과 일치하며, 이는 임의의 장면전환 검출기법에 의하여 샷(SHOT; 이하 샷이라 명명함.)단위 즉 S1, S2, S3로 분할된다.
최하위단으로부터 상위 제 k번째 계층을 Rk로 표기하며, 이는 인접 하위계층 RK-1로부터 임의의 표본추출과정을 통하여 형성된다.
상기 표본추출과정은 임의의 k에 대하여 Rk내 임의의 노드 가 자신을 정점으로 하는 서브트리의 모든 노드들을 정량적인 한계값의 범위내에서 대표할 수 있도록 하며, 그 값을 색인 구성과정에서 계산하여 기술 및 저장과정에 포함시킨다.
상기 한계값는 임의의 방법으로 계산할 수 있으며, 임의의 노드가 자신을 정점으로 하는 서브트리의 모든 노드들을 한정시키는 값이다.
한편, 색인의 에지는 두 인접계층 간의 표본추출과정에서 파악되는 대표관계에 의하여 생성되는데, 에지에 의하여 연결된 두 노드중 상위노드가 하위노드를 대표함을 의미한다.
상기 표본 추출과정은 상위계층이 하위계층을 대표함에 있어서의 충실도 및 두 계층간 표본비율의 수학적인 관계로 모형화될 수 있으며, 각 계층별 추출과정에서 최적의 해에 근사하기 위하여 그래프 모형을 이용한 키프레임 추출기법을 사용할 수 있다.
도 2는 도 1의 트리구조 동영상색인을 기술하기위한 개체기반형 기술기법을 도시한 도면으로서, 상기 도 1의 트리구조를 임의의 장치에 알리기 위해 키프레임(KEY FRAME), 샷(SHOT) 및 인덱스(INDEX)를 기술한 것이다.
상기 키프레임(KEY_FRAME)의 각 실개체는 트리구조의 동영상 색인중 R1이상의 계층에 포함되는 각 노드들을 나타내고, 각각의 KEY_FRAME_ID에 의하여 무작위접근이 가능하다. 상기 키프레임의 각 실개체는 프레임번호(FRAME_ID), 프레임이 속하는 샷의 번호(SHOT_ID), 상응하는 특징벡터로의 지시자(POINTER_TO_FV), 색인에서 위치하는 최상위계층(LEVEL), 서브트리를 대표하는 정량적인 한계값의 계층별나열(LIST_OF_δVALUES), 색인내 에지정보(LIST_OF_CHILDREN) 및 프레임에 관한 주석(ANNOTION_FILD)등을 그 속성으로 갖는다.
상기 샷의 각 실개체(SHOT)는 트리구조의 동영상색인중 최하위계층의 각 샷정보를 의미하며, 각각의 SHOT_ID에 의하여 무작위 접근이 가능하다. SHOT의 각 실개체는 샷의 시작에 해당하는 프레임번호(FIRST_FRAME_ID)와 샷의 끝에 해당하는 프레임 번호(LAST_FRAME_ID), 그 샷에 속하는 KEY_FRAME 실개체들의 KEY_FRAME_ID에 대한 나열(LIST_OF_KEY_FRAME_ID)과 순차성정보(LIST_OF_KEY_FRAME_ORDER) 및 주석(ANNOTATION_FIELD)등을 그 속성으로 포함한다.
상기 인덱스(INDEX)는 두 개체인 키프레임과 샷에 의하여 표현할 수 없는 동영상자료의 전반적인 정보를 표현하며, 동영상의 시작에 해당하는 샷번호(FIRST_SHOT_ID)와 동영상의 끝에 해당하는 샷번호(LAST_SHOT_ID), 색인 최상위 노드의 키프레임 번호(ROOT_KEY_FRAME_ID), 색인에 사용한 특징벡터(FEATURE), 거리함수에 관한 정보(DISTANCE_FUNC) 및 동영상에 관한 전반적인 주석(ANNOTATION_FIELD)등을 속성으로 포함한다.
이때, 하나의 동영상에 대하여 각기 다른 특징으로 이용할 수 있도록 여러개의 인덱스 실개체를 갖는 것을 허용하며, 공통적인 속성을 각 실개체간에 공유할 수 있도록 한다.
상기 기술방법은 상기 세종류의 개체에 기초하여 검색 및 순차적/계층적 형태의 브라우징을 직접적으로 지원할 수 있으며, 각 샷들간의 유사성에 관한 정보를 에지에 함축하고 있으므로 이외의 연산에 대해서도 그 토대를 마련해 줄 수 있다.
구체적인 기술방법은 키프레임과 샷에 관한 정보를 각각 무작위접근이 가능한 독립된 개체로 표현하고, 상호의 종속관계 및 대표관계를 각속성을 통하여 표현하는 단계와, 색인의 최상위 노드 및 동영상 자료의 전반적인 정보를 제 삼의 개체에 반영하는 단계와, 상기 두 단계에 의하여 형성된 기술자를 활용하여 각 개체별로 주석을 기입하는 단계를 구비하고 있다.
도 3은 본 발명에 적용되는 동영상색인 기술자를 생성 및 저장하기 위한 과정을 설명하기 위한 블록도이다.
먼저, 키프레임추출부(10)는 동영상자료(50)의 각 프레임들로부터 특징벡터추출부(60)를 통해 추출한 특징벡터를 이용해 표본추출작업을 수행하며, 초기에는 샷경계검출부(65)로부터의 동영상 샷정보를 이용하고, 이후에는 자신의 출력값으로 추출되는 표본계층에 관한 정보를 피드백하여 이용한다.
이어서, 누적기 및 색인기술부(20)는 키프레임추출부(10)에 의해 얻어지는 각계층을 누적하여 트리구조의 색인을 생성한 후, 그림 2의 개체에 기반하여 기술하여 기술자 및 특징벡터가 40의 저장소에 저장된다.
한편, 압축 및 부호화기(30)는 본 발명에 의한 기술자를 저장하는 과정에서 효율성을 기하기 위하여 일반적으로 필요하나 개념상 생략될 수 있다.
도 4는 저장된 동영상 기술자 및 특징벡터를 이용한 일반적인 응용환경의 예를 나타낸다. 서버단의 시스템 관리자는 복호화기(210)로부터의 복호화된 기술자 및 특징벡터를 이용하여 각 개체의 속성중 하나인 주석부를 편집하는 응용환경 1, 2, 3을 사용할 수 있으며, 다수의 원격사용자들은 부호화기(100) 및 복호화기(200)를 통해 검색부(300)에서 질의 검색을 수행하거나 브라우징등의 다른 응용환경에사용할 수 있다.
도 5는 본 발명의 일실시예에 의한 동영상색인 기술자를 이용한 검색장치에 대한 제어블록도이고, 도 6은 도 5의 복호화기에 대한 상세블록도이다.
질의 처리부(1700)는 사용자가 질의를 시작할 경우 여러 가지 사용자 정의값 및 질의영상/영상열을 입력받아 사용자요청검색정밀도 및 특징벡터를 추출하며, 스택제어기(1100)로 검색요청신호를 발생하는 역할을 한다.
제 2 문법분석기(1200)는 복호화기(1000)로부터 실개체의 해당정보를 입력받아 인덱스 실개체의 색인 최상위 노드의 키프레임번호(ROOT_KEY_FRAME_ID)나 키플레임 실개체의 색인내 에지정보(LIST_OF_CHILDREN)에 해당하는 신호는 스택제어기(1100)로 보내며, 문턱치 비교기(1500)로는 각 프레임의 대표한계값(LIST_OF_δVALUES)에 해당하는 값들을 넘겨주는 역할을 한다.
스택(1300)은 저장매체이며, 상기 스택제어기(1100)는 검색초기에 상기 질의 처리부(1700)에 의해 검색요청이 있으면 복호화기(1000)로 요청신호를 보내어 상기 제 2 문법분석기(1200)를 통해 색인 최상위노드의 키프레임번호(ROOT_KEY_FRAME_ID)를 넘겨받아 스택(1300)에 적재하며, 이후 스택(1300)에 색인내 에지정보(LIST_OF_CHILDREN)에 의거한 키프레임번호(KEY_FRAME_ID)를 적재 및 삭제하는 연산을 수행하는 역할을 한다.
특징벡터비교기(1400)는 상기 복호화기(1000)에서 키프레임번호(KEY_FRAME_ID)에의해 지시된 특징벡터를 입력받고, 질의처리부(1700)에서 질의로부터 추출한 특징벡터를 입력받아 비교한 결과를 상기 문턱치 비교기(1500)에 넘겨주는 역할을 한다.
상기 문턱치 비교기(1500)는 상기 비교결과를 상기 제 2 문법분석기(1200)로부터 입력된 각 프레임의 대표 한계값(LIST_OF_δ-VALUES) 및 질의처리부(1700)로부터 입력된 사용자요청 검색정밀도와 비교하여 비교 키프레임번호(KEY_FRAME_ID)와 질의와의 관련성여부를 판단하여 누적기(1600)로 제어신호를 보내는 역할을 한다.
상기 누적기(1600)는 질의와 관련된 동영상 내의 키프레임번호(KEY_FRAME_ID)를 모아놓는 장치로서, 상기 문턱치 비교기(1500)로부터 수신된 제어신호에 의하여 현재 비교된 프레임을 누적할 것인지를 결정하고, 스택(1300)이 비워지면 누적된 결과를 최종적으로 출력하는 역할을 한다.
상기 복호화기(1000)는 트리구조의 색인 기술자 및 특징벡터를 저장하고 있으며, 상기 스택제어기(1100)에서 요청시 실개체에 해당하는 정보(ROOT_KEY_FRAME_ID, LIST_OF_CHILDREN, LIST_OF_δ VALUES) 및 키프레임번호(KEY_FRAME_ID)에 의해 지시된 특징벡터를 출력하는 역할을 한다.
그리고, 상기 복호화기(1000)에 대한 상세구성은 도 6에 도시한 바와같이 제 1문법분석기(1010), 제 1, 2, 3 버퍼(1020, 1030, 1040) 및 특징벡터저장부(1050)로 구성되어 있다.
상기 특징벡터저장부(1050)는 특징벡터를 저장하며 상기 제 3 버퍼(1040)의 키프레임번호(KEY_FRAME_ID)에 의해 지시되어 특징벡터를 응용환경에 넘겨주는 역할을 한다.
상기 제 1문법분석기(1010)는 서버혹은 클라이언트의 저장공간에 저장되어 있는 동영상 색인 기술자를 입력받아 길이 혹은 기술자내 제어신호에 기반하여 각 실개체를 속성별로 분류하여 무작위 접근이 가능한 상기 제 1, 2, 3버퍼(1020, 1030, 1040)에 출력하는 역할을 한다.
상기 제 1, 2, 3 버퍼(1020, 1030, 1040)는 각각 인덱스(INDEX), 샷(SHOT), 키프레임(KEY_FRAME)의 각 실개체들을 저장하며, 각각 키프레임번호(KEY_FRAME_ID)나 샷번호(SHOT_ID)등의 제어신호에 의하여 무작위 접근이 가능하며, 응용환경에서 각 실개체에 대한 요청 혹은 접근제어신호를 입력으로 받아 각 실개체에 해당하는 정보를 응용환경에 넘겨주는 역할을 한다.
또한, 상기 키프레임(KEY_FRAME)에 해당하는 실개체는 각 프레임에 상응하는 특징벡터(FV)로의 지시자를 갖는다.
상기 구성을 가지는 본 발명의 일실시예에 의한 트리구조의 동영상 색인 기술자를 이용한 검색장치에서 이루어지는 검색방법에 대해 도면을 참조하여 설명하기로 한다.
도 7은 본 발명의 일실시예에 의한 트리구조의 동영상색인기술자를 이용한 검색장치에서 이루어지는 검색방법을 도시한 동작플로우챠트로서, 여기서 S는 스텝(STEP)을 나타낸다.
먼저, 사용자가 질의를 시작하면(S1), 질의처리부(1700)는 사용자 정의값 및질의영상/영상열을 입력받아 사용자요청검색정밀도 및 특징벡터를 추출하여 특징벡터비교기(1400) 및 문턱치비교기(1500) 각각에 출력하는 하는 동시에 스택제어기(1100)로 검색요청을 한다(S2).
이어서, 스택제어기(1100)는 복호화기(1000)에 검색요청신호를 보내고(S3), 복호화기(1000)는 이에 상응하여 실개체에 해당하는 정보(KEY_FRAME의 LIST_OF_CHILDREN, INDEX의 ROOT_KEY_FRAME_ID, LIST_OF_δVALUES)를 제 2 문법분석기(1200)에 출력한다(S4).
이때, 제 2 문법분석기(1200)가 색인내 에지정보(LIST_OF_CHILDREN) 및 최상위 키 프레임번호(ROOT_KEY_FRAME_ID)를 상기 스택제어기(1100)로 출력하는 동시에, 각 프레임의 대표한계값(LIST_OF_δVALUES)을 문턱치비교기(1500)로 출력하면(S5), 스택제어기(1100)는 상기 색인내 에지정보(LIST_OF_CHILDREN) 및 최상위 키 프레임번호 (ROOT_KEY_FRAME_ID)를 스택(1300)에 저장하고(S6), 스택(1300)으로부터 키 프레임번호(KEY_FRAME_ID)를 읽어들여 복호화기(1000) 및 누적기(1600)로 출력한다(S7).
이어서, 복호화기(1000)가 키프레임 번호(KEY_FRAME_ID)에 지시된 특징벡터를 특징벡터비교기(1400)로 출력하면(S8), 특징벡터비교기(1400)는 그 키프레임 실계체의 특징벡터 및 상기 스텝(S2)에서 입력받은 질의로부터의 특징벡터를 비교하여 그 결과를 문턱치비교기(1500)로 출력한다(S9).
이때, 문턱치비교기(1500)는 상기 두 특징벡터의 비교결과를 상기 스텝(S2, S4)에서 입력받은 사용자요청 정밀도 및 각 프레임의대표한계값(LIST_OF_δVALUES)과 비교하여 상기 키프레임번호(KEY_FRAME_ID)와 질의와의 관련성여부를 판단해서(S10,S11), 상기 키프레임번호(KEY_FRAME_ID)가 질의와 관련성이 없으면(NO), 상기 스텝(S7)으로 진행되는 반면에, 상기 키프레임번호(KEY_FRAME_ID)가 질의와 관련성이 있으면(YES), 누적기(1600)에 그 키프레임번호(KEY_FRAME_ID)를 누적시킨다(S12).
이어서, 스택(1300)이 비어 있는지의 여부를 판단하여(S13), 스택(1300)이 비었있지 않으면(NO) 상기 스텝(S4)으로 진행되는 반면에, 상기 스택(1300)이 비었으면(YES), 누적기(1600)가 누적된 검색결과를 사용자측에 출력하고(S14) 종료한다.
한편, 상기 스텝(S4, S5, S6)에서 최상위 키프레임번호(ROOT_KEY_FRAME_ID)는 사용자질의가 시작되는 초기에만 복호화기(1000)에서 불러들여 사용한다.
상술한 검색과정은 일례에 해당되며, 실제로 하나의 영상이 아닌 영상열 형태의 질의를 포함할 수 있으며, 영상열을 본 발명에 의한 개체 기반형 기술자로 기술한 질의 형태도 포함한다.
본 발명에 의한 개체 기반형기술자는 검색시스템 이외의 다른 내용 기반의 연산을 수행함에 있어서도 그 연산효율을 높일 수 있으며, 각 프레임들과 각 샷들 사이의 관계를 이미 색인의 에지에 함축하므로써 비교적 간단한 구조적 변환과정만을 통하여 장면전이 그래프등으로 변환될 수 있는 것이 일례이다.
내용에 기반한 자료의 검색과정은 크게 효과성 및 효율성의 두가지 측면으로 평가될 수 있다. 본발명은 효과성을 손실하지 않는 범위에서 효율성을 크게 증대시킬 수 있으며, 비교적 적은 크기의 기술형태를 통하여 검색을 비롯한 각종 내용 기반의 연산을 동영상 자료에 적용함에 있어서 토대를 마련해줄 것으로 기대된다.
상술한 바와 같이 본 발명에 의한 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법에 의하면, 사용자가 정보검색을 위한 질의를 시작하면 복호화기에 저장된 트리구조를 갖는 동영상색인 기술자의 최상위 키프레임번호, 색인내 에지정보 및 계층별 한계값을 서버환경에 보내고, 서버환경에서는 키프레임번호를 순차적으로 읽어들여 복호화기로 보내면 복호화기에서 그 키프레임번호에의해 지시된 특징벡터를 서버환경으로 보내며, 서버환경에서는 그 키 프레임번호지시 특징벡터와 질의 특징벡터를 먼저, 비교하고 그 비교결과를 상기 한계값 및 사용자요청검색정밀도와 비교하여 상기 서버환경에서 읽어들인 키프레임번호가 질의와 관련있는지의 여부를 판단하고 질의와 관련있으면 계속해서 그 키프레임번호의 에지와 연결된 하위 프레임번호를 읽어들여 검색하여서 그 검색결과를 사용자환경에서 받아보는 방식이므로 사용자로 하여금 원하는 동영상 정보를 빠르게 검색할 수 있도록 한다는 뛰어난 효과가 있다.

Claims (14)

  1. 사용자의 질의에 의해 동영상을 검색하는 시스템에 있어서,
    트리구조의 색인 기술자 및 특징벡터를 저장하고 있으며 외부의 요청시 실개체에 해당하는 정보 및 특정 키프레임 번호에 의해 지시된 특징벡터를 출력하는 복호화기와,
    사용자가 질의를 시작할 경우 여러 가지 사용자값 및 질의 영상/영상열을 입력받아 사용자요청검색정밀도 및 특징벡터를 추출하여 송신하는 동시에 검색요청신호를 송신하는 질의 처리부와,
    저장매체인 스택과,
    검색초기에 상기 질의 처리부로부터 검색요청이 있으면 상기 복호화기로 요청신호를 보내어 최상위 키 프레임 번호를 넘겨받아 상기 스택에 적재하며, 이후 상기 스택에 색인내 에지정보에 의거한 키프레임번호를 적재한 후 읽어들여서 상기 복호화기에 출력하는 스택제어기와,
    상기 복호화기에서 실개체의 해당정보를 입력받으면 최상위 키프레임번호 및 색인내 에지정보는 상기 스택제어기로 보내며, 각 프레임의 대표한계값을 출력하는 문법분석기와,
    상기 복호화기에서 키프레임번호에 의해 지시된 특징벡터를 입력받는 동시에 상기 질의 처리부에서 질의로부터 추출한 특징벡터를 입력받아 비교한 결과를 출력하는 특징벡터비교기와,
    상기 특징벡터비교기로부터의 비교결과를 상기 제 2 문법분석기로부터의 각 프레임의 대표 한계값 및 상기 질의처리부로부터의 사용자요청 검색정밀도와 비교하여 특정 키프레임번호와 질의와의 관련성여부를 판단하여 이에 상응하는 제어신호를 송신하는 문턱치비교기와,
    상기 스택제어기에서 키프레임번호를 입력받고 상기 문턱치 비교기로부터 수신한 제어신호에 의하여 현재 키프레임번호를 누적할 것인지를 결정하고, 상기 스택이 비면 누적된 결과를 최종적으로 출력하는 누적기로 이루어진 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  2. 제 1항에 있어서,
    상기 복호화기는 동영상 색인 기술자를 입력받아 길이 혹은 기술자내 제어신호에 기반하여 각 실개체를 속성별로 분류하여 개별적으로 출력하는 문법분석기와,
    특징벡터를 저장하며 특정 키프레임번호에 의해 지시되어 특징벡터를 응용환경에 넘겨주는 특징벡터저장부와,
    상기 문법분석기에서 출력되는 인덱스, 샷, 키프레임의 각 실개체들을 각각 저장하고, 응용환경에서 키프레임번호 및 샷번호에 의해 무작위 접근이 가능하며, 응용환경에서 각 실개체에 대한 요청 혹은 접근제어신호를 입력받아 각 실개체에 해당하는 정보를 응용환경에 넘겨주는 제 1, 2, 3 버퍼로 이루어진 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  3. 제 1항에 있어서,
    상기 트리구조의 동영상 색인은 샷단위로 분할된 원 동영상으로부터 상향적인 표본추출과정에 의하여 표본을 추출한 후, 각 표본을 노드로 표본계층과 모계층 사이의 정량적인 대표관계를 각 에지로 함축시키는 단계와,
    상기 단계를 반복수행하여 트리구조로 누적시키는 단계로 형성됨을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  4. 제 3항에 있어서,
    상기 표본추출과정은 표본계층이 모계층을 정량적인 한계값의 범위내에서 대표하도록 하며, 각 표본들과 모계층내 각 프레임간의 대표관계 및 각 표본들의 대표 한계범위를 파악하는 단계로 이루어진 것을 특징으로 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  5. 제 3항에 있어서,
    상기 트리구조의 색인을 개체단위로 나타낸 자료구조는 키프레임실개체, 샷실개체 및 인덱스실개체로 이루어진 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  6. 제 5항에 있어서,
    상기 키프레임실개체는 프레임번호, 프레임이 속하는 샷의 번호, 상응하는특징벡터로의 지시자, 색인에서 위치하는 최상위계층, 서브트리를 대표하는 정량적인 한계값의 계층별나열, 색인내 에지정보 및 프레임에 관한 주석등을 그 속성으로 갖는 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  7. 제 5항에 있어서,
    상기 샷실개체는 샷의 시작에 해당하는 프레임번호, 샷의 끝에 해당하는 프레임 번호, 그 샷에 속하는 키프레임 실개체들의 키프레임번호에 대한 나열, 순차성정보 및 주석등을 그 속성으로 포함하는 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  8. 제 5항에 있어서,
    상기 인덱스실개체는 동영상의 시작에 해당하는 샷번호, 동영상의 끝에 해당하는 샷번호, 색인 최상위 노드의 키프레임 번호, 색인에 사용한 특징벡터, 거리함수에 관한 정보 및 동영상에 관한 전반적인 주석등을 속성으로 포함하는 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  9. 제 3항에 있어서,
    상기 트리구조의 동영상 색인은 키프레임과 샷에 관한 정보를 각각 무작위접근이 가능한 독립된 개체로 표현하고, 상호의 종속관계 및 대표관계를 각속성을 통하여 표현하는 단계와,
    색인의 최상위 노드 및 동영상 자료의 전반적인 정보를 제 삼의 개체에 반영하는 단계와,
    상기 두 단계에 의하여 형성된 기술자를 활용하여 각 개체별로 주석을 기입하는 단계에 의해 기술됨을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  10. 제 9항에 있어서,
    상기 트리는 하나의 동영상에 대하여 각기 다른 특징을 이용할 수 있도록 여러개의 색인트리를 두는 것을 허용함을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색장치.
  11. 삭제
  12. 트리구조의 동영상 색인 기술자를 이용하여 사용자의 질의에 의해 동영상 자료를 검색하는 방법에 있어서,
    질의가 시작되면 질의처리부는 사용자 정의값 및 질의영상/영상열을 입력받아 사용자요청검색정밀도 및 특징벡터를 추출하여 특징벡터비교기 및 문턱치비교기 각각에 출력하는 하는 동시에 스택제어기로 검색요청을 하는 제 1단계와,
    스택제어기가 복호화기에 검색요청신호를 보내는 제 2단계와,
    복호화기가 이에 상응하여 실개체에 해당하는 정보(키프레임의 색인내 에지정보, 인덱스의 최상위 키프레임번호, 각 프레임의 대표한계값)를 문법분석기에 출력하는 제 3단계와,
    문법분석기가 색인내 에지정보 및 최상위 키 프레임번호를 스택제어기로 출력하는 동시에, 각 프레임의 대표한계값을 문턱치비교기로 출력하는 제 4단계와,
    스택제어기가 상기 색인내 에지정보 및 최상위 키 프레임번호를 스택에 저장하는 제 5단계와,
    스택제어기가 스택으로부터 키 프레임번호를 읽어들여 복호화기 및 누적기로 출력하는 제 6단계와,
    복호화기가 상기 키프레임 번호에 지시된 특징벡터를 특징벡터비교기로 출력하고, 특징벡터비교기가 상기 키프레임 번호에 상응하는 특징벡터 및 상기 제 1단계에서 입력받은 질의로부터의 특징벡터를 비교하여 그 결과를 문턱치비교기로 출력하는 제 7단계와,
    문턱치비교기가 상기 두 특징벡터의 비교결과를 상기 제 1, 3단계에서 입력받은 사용자요청 정밀도 및 각 프레임의 대표한계값과 비교하여 상기 특정 키프레임번호와 질의와의 관련성여부를 판단하는 제 8단계와,
    상기 제 8단계에서 상기 키프레임번호가 질의와 관련성이 없으면 상기 제 6단계로 진행되고, 반면에 상기 키프레임번호가 질의와 관련성이 있으면 누적기에 그 키프레임번호를 누적시키는 제 9단계와,
    스택이 비어 있는지의 여부를 판단하여, 스택이 비었으면 누적기가 누적된 검색결과를 사용자측에 출력하는 제 10단계로 이루어진 것을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색방법.
  13. 제 12항에 있어서,
    상기 제 10단계에서 스택이 비어있지않으면 제 3단계로 진행되며, 특히, 실개체에 해당하는 정보중 최상위 키프레임번호는 사용자질의가 시작되는 초기에만 복호화기에서 불러들여 사용함을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색방법.
  14. 동영상색인을 형성하는 단계, 상기 동영상색인을 기술하는 단계 및 기술된 동영상색인을 이용하여 검색하는 단계로 형성된 동영상검색방법에 있어서,
    상기 동영상색인을 형성하는 단계는 샷단위로 분할된 원 동영상으로부터 상향적인 표본추출과정에 의하여 표본을 추출한 후, 각 표본을 노드로 표본계층과 모계층 사이의 정량적인 대표관계를 각 에지로 함축시키는 단계와, 상기 단계를 반복수행하여 트리구조로 누적시키는 단계로 이루어지고,
    상기 동영상색인을 기술하는 단계는 키프레임과 샷에 관한 정보를 각각 무작위접근이 가능한 독립된 개체로 표현하고, 상호의 종속관계 및 대표관계를 각속성을 통하여 표현하는 단계, 색인의 최상위 노드 및 동영상 자료의 전반적인 정보를 제 삼의 개체에 반영하는 단계 및 상기 두 단계에 의하여 형성된 기술자를 활용하여 각 개체별로 주석을 기입하는 단계로 이루어지며,
    상기 기술된 동영상색인을 이용하여 검색하는 단계는 색인내에서 각 프레임이 자신을 정점으로 하는 서브트리를 정량적인 한계범위내에서 대표하는 것을 이용하여 사용자요청 정밀도 조건과 결합하여 검색함을 특징으로 하는 트리구조의 동영상 색인 기술자를 이용한 검색방법.
KR10-1999-0003248A 1999-02-01 1999-02-01 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법 KR100442991B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-1999-0003248A KR100442991B1 (ko) 1999-02-01 1999-02-01 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법
EP00300653A EP1026602A3 (en) 1999-02-01 2000-01-28 Apparatus and method for retrieving moving picture using tree-structured moving picture index descriptor
US09/496,306 US6609134B1 (en) 1999-02-01 2000-02-01 Apparatus and method for retrieving moving picture using tree-structured moving picture index descriptor
JP2000024382A JP2000222439A (ja) 1999-02-01 2000-02-01 ツリ―構造の動映像索引記述子を用いる検索装置及びその方法
JP2006110156A JP2006268866A (ja) 1999-02-01 2006-04-12 ツリー構造の動映像索引記述子の生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0003248A KR100442991B1 (ko) 1999-02-01 1999-02-01 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20000054899A KR20000054899A (ko) 2000-09-05
KR100442991B1 true KR100442991B1 (ko) 2004-08-04

Family

ID=19572965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0003248A KR100442991B1 (ko) 1999-02-01 1999-02-01 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법

Country Status (4)

Country Link
US (1) US6609134B1 (ko)
EP (1) EP1026602A3 (ko)
JP (2) JP2000222439A (ko)
KR (1) KR100442991B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386170B2 (en) * 2000-06-30 2008-06-10 Texas Instruments Incorporated Image object ranking
FR2824159B1 (fr) * 2001-04-30 2003-07-25 France Telecom Indexation dans une description de document multimedia
US7295755B2 (en) 2001-06-22 2007-11-13 Thomson Licensing Method and apparatus for simplifying the access of metadata
CA2459823C (en) * 2001-09-07 2012-04-03 Intergraph Hardware Technologies Company Method, device and computer program product for demultiplexing of video images
KR100721611B1 (ko) * 2005-08-10 2007-05-25 김두용 데이터베이스 시스템 구축 방법
KR101396341B1 (ko) 2007-06-22 2014-05-26 삼성전자주식회사 동영상 촬영 모드가 수행되는 디지털 영상 처리 장치의제어 방법, 및 이 방법을 채용한 디지털 영상 처리 장치
KR100912371B1 (ko) * 2007-12-17 2009-08-19 한국전자통신연구원 클러스터 환경에서 고확장성을 지원하는 대용량 고차원데이터 색인 장치 및 방법
JP5510012B2 (ja) * 2010-04-09 2014-06-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011142026A1 (ja) * 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
CN101840435A (zh) * 2010-05-14 2010-09-22 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端
KR101675785B1 (ko) 2010-11-15 2016-11-14 삼성전자주식회사 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
US9659043B2 (en) * 2013-02-07 2017-05-23 Enigma Technologies, Inc. Data system and method
CN105468781A (zh) * 2015-12-21 2016-04-06 小米科技有限责任公司 视频查询方法和装置
CN110598048B (zh) * 2018-05-25 2021-01-29 中科寒武纪科技股份有限公司 视频检索方法及视频检索映射关系生成方法、装置
CN109543195B (zh) * 2018-11-19 2022-04-12 腾讯科技（深圳）有限公司 一种文本翻译的方法、信息处理的方法以及装置
CN112000833B (zh) * 2020-07-29 2023-02-28 西安电子科技大学 一种边缘环境下加密图像安全检索方法及检索系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950007493A (ko) * 1993-08-14 1995-03-21 오오가 노리노 화상 검색용 아이디 신호의 기록방법 화상 검색 방법 및 기록 화상 재생 장치
JPH09282327A (ja) * 1996-04-15 1997-10-31 Nippon Hoso Kyokai <Nhk> 画像検索方法
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
KR20010004808A (ko) * 1999-06-29 2001-01-15 박웅규 의미 검색을 위한 동영상 인덱싱 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3716840A (en) * 1970-06-01 1973-02-13 Texas Instruments Inc Multimodal search
JPH06101018B2 (ja) * 1991-08-29 1994-12-12 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像データベースの検索
JPH05282379A (ja) * 1992-02-06 1993-10-29 Internatl Business Mach Corp <Ibm> 動画像の管理方法及び管理装置
JPH0756652B2 (ja) * 1992-03-24 1995-06-14 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像のフレーム列の検索
JP3441807B2 (ja) * 1994-09-19 2003-09-02 株式会社日立製作所 Ｂ木インデクスの管理方法およびシステム
US5911139A (en) * 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5852823A (en) 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
US6119123A (en) * 1997-12-02 2000-09-12 U.S. Philips Corporation Apparatus and method for optimizing keyframe and blob retrieval and storage

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950007493A (ko) * 1993-08-14 1995-03-21 오오가 노리노 화상 검색용 아이디 신호의 기록방법 화상 검색 방법 및 기록 화상 재생 장치
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
JPH09282327A (ja) * 1996-04-15 1997-10-31 Nippon Hoso Kyokai <Nhk> 画像検索方法
KR20010004808A (ko) * 1999-06-29 2001-01-15 박웅규 의미 검색을 위한 동영상 인덱싱 방법

Also Published As

Publication number Publication date
EP1026602A2 (en) 2000-08-09
KR20000054899A (ko) 2000-09-05
JP2000222439A (ja) 2000-08-11
US6609134B1 (en) 2003-08-19
EP1026602A3 (en) 2004-09-15
JP2006268866A (ja) 2006-10-05

Similar Documents

Publication Publication Date Title
JP2006268866A (ja) ツリー構造の動映像索引記述子の生成方法
JP4981221B2 (ja) メディア・セグメント化システムおよび関連する方法
Ardizzone et al. Automatic video database indexing and retrieval
US7702185B2 (en) Use of image similarity in annotating groups of visual images in a collection of visual images
US8391355B2 (en) Method and device for online dynamic semantic video compression and video indexing
KR100471927B1 (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
US20060015495A1 (en) Use of image similarity in image searching via a network of computational apparatus
US8117210B2 (en) Sampling image records from a collection based on a change metric
CN111241345A (zh) 一种视频检索方法、装置、电子设备和存储介质
US7643597B2 (en) Methods for selecting a subsequence of video frames from a sequence of video frames
EP1830282A1 (en) Storage device and recording medium
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
Pigeau et al. Building and tracking hierarchical geographical & temporal partitions for image collection management on mobile devices
JP2006099761A (ja) マルチメディアのコンテンツ検索方法
WO2024103653A1 (zh) 视频与文本的互检方法、装置、设备、非易失性可读存储介质及终端
KR100466421B1 (ko) 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법
JP4120597B2 (ja) 部分コンテンツ作成方法及び装置及びプログラム
CN103003880B (zh) 为视频确定代表图像
JP2002230028A (ja) 階層型オブジェクト構造内の探索方法
JP3639480B2 (ja) 類似データ検索方法，類似データ検索装置，および類似データ検索用プログラム記録媒体
KR101174176B1 (ko) 동영상 샘플링 방법 및 시스템
KR100831550B1 (ko) 엑스엠엘 계층구조를 이용한 비디오 검색 시스템 및 그 방법
Sebastine et al. Semantic web for content based video retrieval
Dias Optimized video retrieval for interior vehicle monitoring
JP2002049625A (ja) 画像検索装置および画像検索方法

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100623

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee