KR100876280B1 - 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템 - Google Patents

통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템 Download PDF

Info

Publication number
KR100876280B1
KR100876280B1 KR1020010089027A KR20010089027A KR100876280B1 KR 100876280 B1 KR100876280 B1 KR 100876280B1 KR 1020010089027 A KR1020010089027 A KR 1020010089027A KR 20010089027 A KR20010089027 A KR 20010089027A KR 100876280 B1 KR100876280 B1 KR 100876280B1
Authority
KR
South Korea
Prior art keywords
shape descriptor
video
shape
information
descriptor
Prior art date
Application number
KR1020010089027A
Other languages
English (en)
Other versions
KR20030058566A (ko
Inventor
이상윤
최영식
임우영
김해광
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020010089027A priority Critical patent/KR100876280B1/ko
Priority to US10/500,168 priority patent/US7609761B2/en
Priority to PCT/KR2002/001830 priority patent/WO2003056463A1/en
Priority to AU2002367239A priority patent/AU2002367239A1/en
Priority to JP2003556909A priority patent/JP2005513675A/ja
Publication of KR20030058566A publication Critical patent/KR20030058566A/ko
Application granted granted Critical
Publication of KR100876280B1 publication Critical patent/KR100876280B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 동영상을 구성하는 영상 객체들의 정지 영상들로부터 모양기술자를 추출하고 상기 추출한 모양 기술자들로부터 통계적 특성을 나타내는 동영상 모양기술자(통계적 모양기술자)를 추출하여 동영상 색인정보로 사용되도록 하기 위한, 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 동영상 색인 시스템에 있어서, 외부로부터 입력받은 동영상 데이터에 관한 모양기술자 정보를 추출하기 위한 제1 동영상 모양기술자 추출기; 동영상 데이터에 관한 각종 정보를 저장하기 위한 동영상 DB; 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하기 위한 동영상 모양기술자 DB; 및 상기 제1 동영상 모양기술자 추출기에서 추출한 모양기술자 정보와 상기 동영상 모양기술자 DB에 저장되어 있는 모양기술자 정보간의 유사도를 계산해 상기 계산한 값을 분류하여 유사 동영상 정보로서 출력하기 위한 동영상 검색 장치를 포함함.
4. 발명의 중요한 용도
동영상 색인(검색) 시스템 등에 이용됨.
동영상 모양기술자, 모양 시퀀스, 동영상 색인, 동영상 검색 시스템,

Description

통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템{Apparuatus and Method for Abstracting Motion Picture Shape Descriptor Including Statistical Characteriistics of Still Picture Shape Descriptor, and Video Indexing system and method using the same}
도 1 은 본 발명에 따른 통계적 모양기술자를 이용한 동영상 색인 시스템의 일실시예 구성도.
도 2 는 본 발명에 따른 도 1의 동영상 모양기술자 추출기의 일실시예 구성도.
도 3 은 본 발명에 따라 동영상 모양 기술자를 저장하는 동영상 메타데이터 DB(데이터베이스)에 기록된 메타데이타들을 테이블로 나타낸 일실시예 도면.
도 4 는 본 발명에 따른 동영상 모양기술자 추출 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
130 : 제 1 동영상 모양기술자 추출기
110 : 동영상 검색 장치
120 : 동영상 DB
130 : 동영상 모양기술자 DB
130a : 제 2 동영상 모양기술자 추출기
111 : 동영상 모양기술자 유사도 계산기
112 : 거리기반 분류기
210 : 동영상 분할기
230 : 모양기술자 추출부
250 : 동영상 메타데이터 DB
231 : 모양추출기
233 : 모양벡터기술자 추출기
235 : 통계적 모양기술자 벡터 추출기
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명은 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 동영상을 구성하는 영상 객체들의 정지 영상들로부터 모양기술자를 추출하고 상기 추출한 모양 기술자들로부터 통계적 특성을 나타내는 동영상 모양기술자(통계적 모양기술자)를 추출하여 동영상 색인정보로 사용되도록 하기 위한, 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
동영상 및 오디오의 데이터량이 급속히 증가함에 따라 이를 효율적으로 검색하고 관리하는 기술이 요구되는데, 이러한 기술의 핵심 중 하나는 멀티미디어 색인 기술로서, 멀티미디어 정보를 대표하는 색인정보를 추출하여, 검색 및 탐색에 이용하는 것이다.
현재, 멀티미디어를 대표하는 색인정보를 추출하기 위하여, 정지영상에 대해서는 칼라히스토그램, 모양기술자 및 텍스쳐기술자 등이 사용되고 있고, 오디오에 대해서는 스펙트럼 기술자 등이 사용되고 있으며, 동영상에 대해서는 움직임벡터를 사용하는 움직임정보 기술자 및 영상객체의 궤적기술자 등이 사용되고 있으나, 이러한 기술자들을 이용한 종래의 기술은 동영상 내의 영상 객체의 모양정보를 동적으로 색인하기 위해 이용되는 기술자들은 아니다.
또한, 모양정보의 동적인 변화를 색인하는 동적 색인의 한 방법으로서, 동영상을 구성하는 전체의 정지영상들 혹은 대표 정지영상들에서 영상객체의 모양정보들을 종래의 정지영상 모양정보 색인 방법을 적용하여 색인하는 방법은 있으나, 이러한 종래의 방법은 모양 정보를 추출하기 위한 정지영상의 수가 많아짐에 따라 색인정보의 양도 많아지게 되므로 저장이나 검색의 효율성이 떨어지게 되는 문제점이 있었다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 동영상을 구성하는 영상 객체들의 정지 영상들로부터 모양기술자를 추출하고 상기 추출한 모양 기술자들로부터 통계적 특성을 나타내는 동영상 모양기술자(통계적 모양기술자)를 추출하여 동영상 색인정보로 사용되도록 하기 위한, 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 통계적 모양기술자 추출 장치는, 모양기술자 추출 장치에 있어서, 동영상 데이터를 시간 분할하기 위한 동영상 분할기; 상기 동영상 분할기에서 분할한 동영상 데이터에서 해당 모양기술자 정보를 추출하기 위한 모양기술자 추출부; 및 상기 모양기술자 추출부에서 추출한 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하기 위한 동영상 메타데이터 DB를 포함한다.
또한, 본 발명의 상기 통계적 모양기술자 추출 장치의 상기 모양기술자 추출부는, 상기 동영상 분할기에서 분할한 동영상 데이터에서 해당 영상 객체에 관한 모양정보를 추출하기 위한 모양 추출기; 상기 모양 추출기에서 추출한 모양정보에서 해당 모양기술자 벡터열 정보를 추출하기 위한 모양벡터 기술자 추출기; 및 상기 모양벡터 기술자 추출기에서 추출한 모양기술자 벡터열 정보에서 해당 모양기술자 정보를 추출하기 위한 통계적 모양기술자 벡터 추출기를 포함한다.
한편, 본 발명의 통계적 모양기술자를 이용한 동영상 색인 시스템은, 동영상 색인 시스템에 있어서, 외부로부터 입력받은 동영상 데이터에 관한 모양기술자 정보를 추출하기 위한 제1 동영상 모양기술자 추출기; 동영상 데이터에 관한 각종 정보를 저장하기 위한 동영상 DB; 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하기 위한 동영상 모양기술자 DB; 및 상기 제1 동영상 모양기술자 추출기에서 추출한 모양기술자 정보와 상기 동영상 모양기술자 DB에 저장되어 있는 모양기술자 정보간의 유사도를 계산해 상기 계산한 값을 분류하여 유사 동영상 정보로서 출력하기 위한 동영상 검색 장치를 포함한다.
또한, 본 발명의 상기 통계적 모양기술자를 이용한 동영상 색인 시스템의 상기 동영상 검색 장치는, 상기 동영상 DB에 저장되어 있는 동영상 데이터에서 해당 모양기술자 정보를 추출하여 상기 동영상 모양기술자 DB로 저장하기 위한 제2 동영상 모양기술자 추출기; 상기 제1 동영상 모양기술자 추출기에서 추출한 모양기술자 정보와 상기 동영상 모양기술자 DB에 저장되어 있는 모양기술자 정보간의 유사도를 계산하기 위한 동영상 모양기술자 유사도 계산기; 및 상기 동영상 모양기술자 유사도 계산기에서 계산한 유사도의 값을 분류하여 유사 동영상 정보로서 출력하기 위한 거리기반 분류기를 포함한다.
한편, 본 발명의 방법은, 모양기술자 추출 방법에 있어서, 동영상 데이터를 시간 분할하는 단계; 상기 분할한 동영상 데이터에서 해당 모양기술자 정보를 추출하는 모양기술자정보추출단계; 및 상기 추출한 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하는 단계를 포함한다.
한편, 본 발명은, 프로세서를 구비한 통계적 모양기술자 추출 장치에, 동영상 데이터를 시간 분할하는 기능; 상기 분할한 동영상 데이터에서 해당 모양기술자 정보를 추출하는 기능; 및 상기 추출한 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
일반적으로, 정지영상을 위한 영상객체의 모양기술자로는 외곽선 기반 모양기술자 및 영역기반 모양기술자 등이 있다. 본 발명에서는 전체 동영상을 구성하는 영상객체들의 각 정지영상들로부터 상기의 모양기술자(외곽선 기반 모양기술자 또는 영역기반 모양기술자 등)들을 추출하고, 추출된 모양기술자들을 통계적으로 처리한 기술자를 일컫는 '동영상 모양기술자'를 제시하였는데, 통계적인 처리를 한 동영상 모양기술자(통계적 특성 기술자)는 평균, 분산 등의 모우멘트 특성을 가지고 있다.
본 발명의 동영상 모양기술자를 추출하기 위한 통계적 모양기술자 벡터 추출기에서의 추출과정은 다음과 같다.
입력된 영상객체의 모양 시퀀스는 SS ={s1, s2, s3,...,sn}로 표현되는데, 여기서 sm 은 m 번째의 모양을 나타낸다. 상기의 모양 시퀀스로부터 각각의 모양에 대 해 종래의 정지영상 모양기술자(영역기반, 혹은 외곽선기반) 추출 방법을 적용하여, 정지영상 모양기술자의 시퀀스 SD ={sd1, sd2, sd3,...,sdn}를 얻는다. 여기서, sdm은 m 번째 모양 sm으로부터 추출된 정지영상 모양기술자이다. 정지영상 모양기술자 sdm은 일반적으로 다음과 같은 벡터형식의 수학식(수학식1)으로 표현된다.
sdm = {sdm(1), sdm(2), sdm(3),..., sdm(l)},
여기서 l은 ,벡터를 구성하는 요소의 수이고 sdm(p)은 p 번째 요소를 나타낸다.
본 발명에서는 상기의 정지영상 모양기술자의 시퀀스 SD을 이용하여 하기에 열거한 네 가지의 모양기술자((1) 내지 (4))를 추출하여 동영상 모양기술자를 구성한다.
(1) 평균 모양 기술자
평균 모양기술자 sdav = { sdav(1), sdav(2), sdav(3),..., sdav(l) }는 다음과 같이 추출한다. 즉, m 번 째 요소, sdav(m)은 n 개의 모양기술자로 구성된 SD = { sd1, sd2, sd3,..., sdn}를 구성하는 각 모양기술자의 m 번 째 요소의 평균값으로서 다음의 수학식(수학식2)에 의해 구할 수 있다.
Figure 112001035669004-pat00001
sdav(m) = ( i=1 to n sdi(m))/n
(2) 분산 모양기술자
분산 모양기술자 sdvar = { sdvar(1), sdvar(2), sdvar(3),..., sdvar(l) }는 다음과 같이 추출한다. 즉, m 번 째 요소 sdvar(m)은 n 개의 모양기술자로 구성된 SD = { sd1, sd2, sd3,..., sdn }를 구성하는 각 모양기술자의 m 번 째 요소의 분산값으로서 다음의 수학식(수학식(3))에 의해 구할 수 있다.
Figure 112001035669004-pat00002
sdvar(m) = ( i=1 to n ( sdi(m) - sdav(m))2)/n / (n-1)
(3) 표준편차 모양기술자
표준편차 모양기술자 sdstd = { sdstd(1), sdstd(2), sdstd(3),..., sdstd(l) }은 다음과 같이 추출한다. 즉, m 번 째 요소 sdstd(m)은 n 개의 모양기술자로 구성된 SD = { sd1, sd2, sd3,..., sdn }를 구성하는 각 모양기술자의 m 번 째 요소의 표준편차 값으로서 다음의 수학식(수학식4)에 의해 구할 수 있다.
Figure 112001035669004-pat00003
sdstd(m) = sqrt( i=1 to n(sdi(m)- sdav(m))2 ) / (n-1)
(4) 차분 모양기술자
차분 모양기술자는 모양기술자 시퀀스에서 연속된 두 모양기술자의 변화를 나타낸다. 모양기술자 시퀀스 SD = { sd1, sd2, sd3,..., sdn }로부터 차분 모양기술자 시퀀스 DSD = { dsd1, dsd2, dsd3,..., dsdn-1 }는 다음과 같은 수학식(수학식5)에 의해 구할 수 있다.
dsdr = (sdr+1 * pr+1) (sdr* pr)
여기서, 0 < r < n 이며 p r 은 r 번 째 모양기술자 sdr의 가중치로서 모양기술자가 대표하는 모양이 전체 모양시퀀스에서 차지하는 시간 비율 등으로 구할 수 있다. 이러한 차분 모양기술자 시퀀스 DSD = { dsd1, dsd2, dsd3,..., dsd n-1}로부터 (1), (2), (3), 즉 평균 모양기술자, 분산모양기술자, 표준편차 모양기술자를 구하여 이를 동영상 모양기술자를 추출하기 위해 사용한다.
본 발명에서 제안한 동영상 모양기술자는 상기에 제시한 모양기술자들을 단독으로 사용할 수도 있고 결합하여 사용할 수도 있으며, 상기 모양기술자들을 결합 사용하여 추출한 동영상 모양기술자는 하기와 같이 나타낼 수 있다.
CSSD = { cssd1, cssd2 , cssdi,..., cssdl }
여기서, cssdl 역시 본 발명에서 제안한 동영상 모양기술자중 하나이다. 그리고, 크기 및 회전 변형에 무관한 정지영상 모양 기술자를 적용하면, 크기 및 회전 변형에 무관한 성질을 가진 동영상 모양기술자를 구현할 수 있다.
또한, 본 발명에서 적용한 모양기술자 뿐 만 아니라 다른 정지영상에 대한 기술자(예를 들면 정지영상 질감기술자 등)에 대해서도 위에서 설명한 통계적 처리를 한 동영상 모양기술자를 추출하는 방법을 적용시킬 수도 있으므로, 본 발명의 기술을 일반화시킬 수 있는 장점이 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 통계적 모양기술자를 이용한 동영상 색인 시스템의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 통계적 모양기술자를 이용한 동영상 색인 시스템은 제 1 동영상 모양기술자 추출기(130), 동영상 검색 장치(110), 동영상 DB(120) 및 동영상 모양기술자 DB(130)를 포함하고, 상기 동영상 검색 장치(110)는 제 2 동영상 모양기술자 추출기(130a), 동영상 모양기술자 유사도 계산기(111) 및 거리기반 분류기(112)를 포함한다.
이하, 상기 각 구성부의 동작을 살펴보면 다음과 같다.
사용자에 의해 분할된 동영상(120)이 입력되면, 제 1 동영상 모양기술자 추출기(130)에서 이에 대한 동영상 모양기술자가 추출되고, 추출된 동영상 모양기술자는 동영상 검색 장치(110)의 동영상 모양기술자 유사도 계산기(111)로 입력된다.
동영상 저장수단인 동영상 DB(120)에 저장된 동영상은 동영상 검색 장치(110)의 제 2 동영상 모양기술자 추출기(130a)에 입력되고, 제 2 동영상 모양기술자 추출기(130a)로부터 출력된 정보를 동영상 모양기술자 DB(130)에 메타데이터 형태로 기록한다. 동영상 모양기술자 유사도 계산기(111)는 제 1 동영상 모양기술자 추출기(130)로부터 출력된 동영상 모양기술자와 동영상 모양기술자 DB(130)에 있는 동영상 모양기술자의 유사도(차이)를 계산한다. 유사도 계산은 두 벡터 사이의 거리를 측정하는 유클리디언 (euclidian)거리나 절대 차이값의 합 (sum of absolute difference)등의 방식을 사용한다. 거리기반 분류기(112)에서는 상기 동영상 모양기술자 유사도 계산기(111)에서 계산된 유사도의 값(거리 정보)들을 거리가 가까운 순서대로 정리하고서 동영상 모양기술자 DB(130)에서 해당되는 메타데이터 정보를 추출하여 유사 동영상 정보(140)로서 사용자에게 출력한다.
도 2 는 본 발명에 따른 도 1의 동영상 모양기술자 추출기의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 상기 동영상 모양기술자 추출기(130 또는 130a)는 동영상 분할기(210), 모양기술자 추출부(230) 및 동영상 메타데이터 DB(250)를 포함하고, 상기 모양기술자 추출부(230)는 모양추출기(231), 모양벡터기술자 추출기(233) 및 통계적 모양기술자 벡터 추출기(235)를 포함한다.
이하, 상기 각 구성부의 동작을 살펴보면 다음과 같다.
먼저, 동영상 분할기(210)에 동영상(200)이 입력되면, 동영상 분할기(210)는 입력된 동영상을 시간 분할한다. 시간 분할된 동영상(220)은 모양추출기(231)에 입력되고, 모양추출기(231)는 하나의 영상객체에 해당하는 모양정보 동영상(232)을 출력한다. 모양정보 동영상(232)의 각 정지영상들의 모양정보는 모양벡터 기술자추출기(233)로 입력되고, 모양벡터 기술자추출기(233)는 모양기술자 벡터열(벡터 시퀀스)(234)을 출력한다. 모양벡터 기술자추출기(233)에서 출력된 모양기술자 벡터 시퀀스(234)는 통계적 모양기술자 벡터 추출기(235)로 입력되며, 통계적 모양기술자 벡터 추출기(135)는, 상기에 열거한 (1)평균 모양기술자, (2)분산 모양기술자, (3)표준편차 모양기술자, (4)차분 모양기술자 등에 해당하는 수식들((수학식 1) ~ (수학식 5))을 단독 혹은 결합의 방법으로 이용하여, 최종적으로 동영상 모양기술자(240)를 출력한다. 동영상 모양기술자(240)는 동영상 메타데이타 저장수단인 동영상 메터데이터 DB(데이터베이스)(250)에 기록(저장)된다.
도 3 은 본 발명에 따라 동영상 모양 기술자를 저장하는 동영상 메타데이터 DB(데이터베이스)에 기록된 메타데이타들을 테이블로 나타낸 일실시예 도면으로서, 동영상 모양기술자 벡터, 동영상 제목, 파일 위치 및 원래 동영상에서의 시작 시간 위치등으로 분리하여 테이블로 나타낸 것이다.
도 4 는 본 발명에 따른 동영상 모양기술자 추출 방법에 대한 일실시예 흐름도이다.
도 4에 도시된 바와 같이, 본 발명에 따른 동영상 모양기술자 추출 방법은, 먼저 입력된 동영상(400)을 시간 분할하고(403), 시간 분할된 동영상에서 하나의 영상객체에 해당하는 모양정보 동영상을 추출한다(405).
이후, 추출된 모양정보 동영상에서 모양기술자 벡터열(벡터 시퀀스)을 추출하고(407), 상기 모양기술자 벡터 시퀀스에서 통계적 모양기술자 벡터인 동영상 모양기술자를 추출하여(409), 추출된 동영상 모양기술자 정보들을 동영상 메타데이타 저장수단인 동영상 메터데이터 DB(데이터베이스)에 기록(저장)한다(411).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 동영상 객체의 변화하는 모양정보들을 동영상 모양기술자를 이용하여 효과적으로 저장하고, 저장된 동영상 정보를 동영상 검색에 이용하여 동영상 색인에 응용할 수 있는 효과가 있다.

Claims (18)

  1. 모양기술자 추출 장치에 있어서,
    동영상 데이터를 시간 분할하기 위한 동영상 분할기;
    상기 동영상 분할기에서 분할한 동영상 데이터에서 해당 모양기술자 정보를 추출하기 위한 모양기술자 추출부; 및
    상기 모양기술자 추출부에서 추출한 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하기 위한 동영상 메타데이터 DB
    를 포함하는 통계적 모양기술자 추출 장치.
  2. 제 1 항에 있어서,
    상기 모양기술자 추출부는,
    상기 동영상 분할기에서 분할한 동영상 데이터에서 해당 영상 객체에 관한 모양정보를 추출하기 위한 모양 추출기;
    상기 모양 추출기에서 추출한 모양정보에서 해당 모양기술자 벡터열 정보를 추출하기 위한 모양벡터 기술자 추출기; 및
    상기 모양벡터 기술자 추출기에서 추출한 모양기술자 벡터열 정보에서 해당 모양기술자 정보를 추출하기 위한 통계적 모양기술자 벡터 추출기
    를 포함하는 통계적 모양기술자 추출 장치.
  3. 제 2 항에 있어서,
    상기 통계적 모양기술자 벡터 추출기는,
    상기 모양벡터 기술자 추출기에서 추출한 모양기술자 벡터열 정보로부터 평균 모양기술자, 분산 모양기술자, 표준편차 모양기술자 및 차분 모양기술자 중 적어도 어느 하나의 모양기술자 정보를 추출하는 것을 특징으로 하는 통계적 모양기술자 추출 장치.
  4. 제 3 항에 있어서,
    상기 평균 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 장치.
    sdav(m) = (
    Figure 112007094024707-pat00004
    i=1 to n sdi(m))/n
    (여기서, sdi = {sdi(1), sdi(2), sdi(3),..., sdi(m)})
  5. 제 3 항에 있어서,
    상기 분산 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 장치.
    sdvar(m) = (
    Figure 112007094024707-pat00005
    i=1 to n ( sdi(m) - sdav(m))2)/n / (n-1)
    (여기서, sdav(m) = (
    Figure 112007094024707-pat00006
    i=1 to n sdi(m))/n 이고, sdi = {sdi(1), sdi(2), sdi(3),..., sdi(m)})
  6. 제 3 항에 있어서,
    상기 표준편차 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 장치.
    sdstd(m) = sqrt(
    Figure 112007094024707-pat00007
    i=1 to n(sdi(m)- sdav(m))2 ) / (n-1)
    (여기서, sdav(m) = (
    Figure 112007094024707-pat00008
    i=1 to n sdi(m))/n 이고, sdi(m) = {sdi(1), sdi(2), sdi(3),..., sdi(m)})
  7. 제 3 항에 있어서,
    상기 차분 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 장치.
    dsdr = (sdr+1 * pr+1) (sdr* pr)
    (여기서, sdr은 m 번째 모양 sr으로부터 추출된 모양기술자, 0 < r < n 이며 p r 은 r 번 째 모양기술자 sdr의 가중치)
  8. 동영상 색인 시스템에 있어서,
    외부로부터 입력받은 동영상 데이터에 관한 모양기술자 정보를 추출하기 위한 제1 동영상 모양기술자 추출기;
    동영상 데이터에 관한 각종 정보를 저장하기 위한 동영상 DB;
    모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하기 위한 동영상 모양기술자 DB; 및
    상기 제1 동영상 모양기술자 추출기에서 추출한 모양기술자 정보와 상기 동영상 모양기술자 DB에 저장되어 있는 모양기술자 정보간의 유사도를 계산해 상기 계산한 값을 분류하여 유사 동영상 정보로서 출력하기 위한 동영상 검색 장치
    를 포함하는 통계적 모양기술자를 이용한 동영상 색인 시스템.
  9. 제 8 항에 있어서,
    상기 동영상 검색 장치는,
    상기 동영상 DB에 저장되어 있는 동영상 데이터에서 해당 모양기술자 정보를 추출하여 상기 동영상 모양기술자 DB로 저장하기 위한 제2 동영상 모양기술자 추출기;
    상기 제1 동영상 모양기술자 추출기에서 추출한 모양기술자 정보와 상기 동영상 모양기술자 DB에 저장되어 있는 모양기술자 정보간의 유사도를 계산하기 위한 동영상 모양기술자 유사도 계산기; 및
    상기 동영상 모양기술자 유사도 계산기에서 계산한 유사도의 값을 분류하여 유사 동영상 정보로서 출력하기 위한 거리기반 분류기
    를 포함하는 통계적 모양기술자를 이용한 동영상 색인 시스템.
  10. 제 9 항에 있어서,
    상기 거리기반 분류기는,
    상기 동영상 모양기술자 유사도 계산기에서 계산한 유사도의 값을 해당 거리가 가까운 순서대로 분류하는 것을 특징으로 하는 통계적 모양기술자를 이용한 동영상 색인 시스템.
  11. 제 9 항에 있어서,
    상기 동영상 모양기술자 유사도 계산기는,
    상기 제1 동영상 모양기술자 추출기에서 추출한 모양기술자 정보와 상기 동영상 모양기술자 DB에 저장되어 있는 모양기술자 정보에 관한 해당 정보 벡터 사이의 거리를 측정하는 유클리디언(Euclidian)거리 또는 절대 차이값의 합(Sum of Absolute Difference)의 방식을 사용해 해당 유사도를 계산하는 것을 특징으로 하는 통계적 모양기술자를 이용한 동영상 색인 시스템.
  12. 모양기술자 추출 방법에 있어서,
    동영상 데이터를 시간 분할하는 단계;
    상기 분할한 동영상 데이터에서 해당 모양기술자 정보를 추출하는 모양기술자정보추출단계; 및
    상기 추출한 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하는 단계
    를 포함하는 통계적 모양기술자 추출 방법.
  13. 제 12 항에 있어서,
    상기 모양기술자정보추출단계는,
    상기 분할한 동영상 데이터에서 해당 영상 객체에 관한 모양정보를 추출하는 제1 과정;
    상기 추출한 모양정보에서 해당 모양기술자 벡터열 정보를 추출하는 제2 과정; 및
    상기 추출한 모양기술자 벡터열 정보에서 해당 모양기술자 정보를 추출하는 제3 과정
    을 포함하는 통계적 모양기술자 추출 방법.
  14. 제 13 항에 있어서,
    상기 제3 과정은,
    상기 추출한 모양기술자 벡터열 정보에서 평균 모양기술자, 분산 모양기술자, 표준편차 모양기술자 및 차분 모양기술자 중 적어도 어느 하나의 모양기술자 정보를 추출하되,
    상기 평균 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 방법.
    sdav(m) = (
    Figure 112008054335080-pat00009
    i=1 to n sdi(m))/n
    (여기서, sdi = {sdi(1), sdi(2), sdi(3),..., sdi(m)})
  15. 제 13 항에 있어서,
    상기 제3 과정은,
    상기 추출한 모양기술자 벡터열 정보에서 평균 모양기술자, 분산 모양기술자, 표준편차 모양기술자 및 차분 모양기술자 중 적어도 어느 하나의 모양기술자 정보를 추출하되,
    상기 분산 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 방법.
    sdvar(m) = (
    Figure 112008054335080-pat00010
    i=1 to n ( sdi(m) - sdav(m))2)/n / (n-1)
    (여기서, sdav(m) = (
    Figure 112008054335080-pat00011
    i=1 to n sdi(m))/n 이고, sdi = {sdi(1), sdi(2), sdi(3),..., sdi(m)})
  16. 제 13 항에 있어서,
    상기 제3 과정은,
    상기 추출한 모양기술자 벡터열 정보에서 평균 모양기술자, 분산 모양기술자, 표준편차 모양기술자 및 차분 모양기술자 중 적어도 어느 하나의 모양기술자 정보를 추출하되,
    상기 표준편차 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 방법.
    sdstd(m) = sqrt(
    Figure 112008054335080-pat00012
    i=1 to n(sdi(m)- sdav(m))2 ) / (n-1)
    (여기서, sdav(m) = (
    Figure 112008054335080-pat00013
    i=1 to n sdi(m))/n 이고, sdi(m) = {sdi(1), sdi(2), sdi(3),..., sdi(m)})
  17. 제 13 항에 있어서,
    상기 제3 과정은,
    상기 추출한 모양기술자 벡터열 정보에서 평균 모양기술자, 분산 모양기술자, 표준편차 모양기술자 및 차분 모양기술자 중 적어도 어느 하나의 모양기술자 정보를 추출하되,
    상기 차분 모양기술자는,
    하기의 수학식으로 구하는 것을 특징으로 하는 통계적 모양기술자 추출 방법.
    dsdr = (sdr+1 * pr+1) (sdr* pr)
    (여기서, sdr은 m 번째 모양 sr으로부터 추출된 모양기술자, 0 < r < n 이며 p r 은 r 번 째 모양기술자 sdr의 가중치)
  18. 프로세서를 구비한 통계적 모양기술자 추출 장치에,
    동영상 데이터를 시간 분할하는 기능;
    상기 분할한 동영상 데이터에서 해당 모양기술자 정보를 추출하는 기능; 및
    상기 추출한 모양기술자 정보를 해당 동영상에 관한 메타데이터로 저장하는 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020010089027A 2001-12-31 2001-12-31 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템 KR100876280B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020010089027A KR100876280B1 (ko) 2001-12-31 2001-12-31 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
US10/500,168 US7609761B2 (en) 2001-12-31 2002-09-27 Apparatus and method for abstracting motion picture shape descriptor including statistical characteristic of still picture shape descriptor, and video indexing system and method using the same
PCT/KR2002/001830 WO2003056463A1 (en) 2001-12-31 2002-09-27 Apparatus and method for abstracting motion picture shape descriptor including statistical characteristics of still picture shape descriptor, and video indexing system and method using the same
AU2002367239A AU2002367239A1 (en) 2001-12-31 2002-09-27 Apparatus and method for abstracting motion picture shape descriptor including statistical characteristics of still picture shape descriptor, and video indexing system and method using the same
JP2003556909A JP2005513675A (ja) 2001-12-31 2002-09-27 静止画像形状記述子の統計的特性を示す動画形状記述子の抽出装置及びその方法とそれを利用した動画索引システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010089027A KR100876280B1 (ko) 2001-12-31 2001-12-31 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템

Publications (2)

Publication Number Publication Date
KR20030058566A KR20030058566A (ko) 2003-07-07
KR100876280B1 true KR100876280B1 (ko) 2008-12-26

Family

ID=19718011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010089027A KR100876280B1 (ko) 2001-12-31 2001-12-31 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템

Country Status (5)

Country Link
US (1) US7609761B2 (ko)
JP (1) JP2005513675A (ko)
KR (1) KR100876280B1 (ko)
AU (1) AU2002367239A1 (ko)
WO (1) WO2003056463A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030744B1 (ko) 2010-08-20 2011-04-26 엘아이지넥스원 주식회사 동영상 압축 장치 및 방법, 동영상 압축/복원 시스템 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016566A (ko) * 2002-08-19 2004-02-25 김해광 엠펙 멀티미디어 컨텐츠의 그룹메타데이터 표현방법 및그의 재생단말기
US20050091279A1 (en) * 2003-09-29 2005-04-28 Rising Hawley K.Iii Use of transform technology in construction of semantic descriptions
KR100679124B1 (ko) * 2005-01-27 2007-02-05 한양대학교 산학협력단 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체
KR100867005B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
US8521106B2 (en) * 2009-06-09 2013-08-27 Broadcom Corporation Method and system for a sub-harmonic transmitter utilizing a leaky wave antenna
CN103226584B (zh) * 2013-04-10 2016-08-10 湘潭大学 形状描述符的构建方法及基于该描述符的图像检索方法
CN104679779B (zh) * 2013-11-29 2019-02-01 华为技术有限公司 视频分类的方法和装置
CN103744931A (zh) * 2013-12-30 2014-04-23 中国科学院深圳先进技术研究院 一种图像检索的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001268479A (ja) 2000-03-16 2001-09-28 Nippon Hoso Kyokai <Nhk> 動画像検索装置
WO2003005239A1 (en) 2001-06-30 2003-01-16 Kt Corporation Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL77840A (en) * 1986-02-10 1989-05-15 Elscint Ltd Data compression system for digital imaging
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US6577679B1 (en) * 1999-09-30 2003-06-10 Hewlett-Packard Development Company Lp Method and apparatus for transcoding coded picture signals from object-based coding to block-based coding
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
KR100413679B1 (ko) * 2000-10-21 2003-12-31 삼성전자주식회사 형상 기술자 추출방법
TW530498B (en) * 2001-08-14 2003-05-01 Nat Univ Chung Cheng Object segmentation method using MPEG-7

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001268479A (ja) 2000-03-16 2001-09-28 Nippon Hoso Kyokai <Nhk> 動画像検索装置
WO2003005239A1 (en) 2001-06-30 2003-01-16 Kt Corporation Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030744B1 (ko) 2010-08-20 2011-04-26 엘아이지넥스원 주식회사 동영상 압축 장치 및 방법, 동영상 압축/복원 시스템 및 방법

Also Published As

Publication number Publication date
KR20030058566A (ko) 2003-07-07
WO2003056463A1 (en) 2003-07-10
US7609761B2 (en) 2009-10-27
AU2002367239A1 (en) 2003-07-15
US20050012815A1 (en) 2005-01-20
JP2005513675A (ja) 2005-05-12

Similar Documents

Publication Publication Date Title
Yeung et al. Video browsing using clustering and scene transitions on compressed sequences
Aslandogan et al. Techniques and systems for image and video retrieval
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
US20080247610A1 (en) Apparatus, Method and Computer Program for Processing Information
KR100471927B1 (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
JP2001155169A (ja) ビデオ画像の分割、分類、および要約のための方法およびシステム
KR100547370B1 (ko) 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
KR100876280B1 (ko) 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
Vikhar et al. Improved CBIR system using edge histogram descriptor (EHD) and support vector machine (SVM)
Baghel et al. Image conditioned keyframe-based video summarization using object detection
Liu et al. Rule-based semantic summarization of instructional videos
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
Joshi et al. On fuzzy clustering and content based access to networked video databases
CN107748761B (zh) 一种视频摘要的关键帧提取方法
Alshuth et al. Video retrieval: content analysis by ImageMiner
Latecki et al. Extraction of key frames from videos by optimal color composition matching and polygon simplification
JP2001229382A (ja) 情報蓄積装置，情報検索装置および情報蓄積方法，情報検索方法並びにこれらの方法を記録した記録媒体
Thanga Ramya et al. Novel effective X-path particle swarm optimization based deprived video data retrieval for smart city
JPH0944639A (ja) 映像ブロック分類方法及び装置
Latecki et al. Extraction of key frames from videos by polygon simplification
CN106548118A (zh) 影院放映内容的识别检索方法及系统
KR20000047363A (ko) 색상 정보를 이용한 멀티미디어 데이터 검색 장치 및 방법
Sai et al. New feature vector for image retrieval: Sum of value of histogram bins
Paul et al. Issues in database management of multimedia information
CN114979742B (zh) 视频处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141208

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151207

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161205

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 10