KR101352448B1

KR101352448B1 - 시간 구간 대표 특징 벡터 생성 장치

Info

Publication number: KR101352448B1
Application number: KR1020117015970A
Authority: KR
Inventors: 고타 이와모토; 료마 오아미
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2009-01-29
Filing date: 2010-01-19
Publication date: 2014-01-17
Also published as: US20110274359A1; JP4894956B2; WO2010087125A1; US8175392B2; JPWO2010087125A1; CN102301698A; CN102301698B; EP2383990A4; KR20110105793A; EP2383990B1; EP2383990A1

Abstract

시간 구간 대표 특징 벡터 생성 장치는, 프레임마다의 특징 벡터의 계열로부터, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하는 시간 구간내 특징 벡터 그룹 선정 수단; 및 시간 구간마다, 상기 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택하고, 시간 구간을 대표하는 특징 벡터인 시간 구간 대표 특징 벡터를 생성하는 차원 선택 수단을 포함하고 있다.

Description

시간 구간 대표 특징 벡터 생성 장치{TIME SEGMENT REPRESENTATIVE FEATURE VECTOR GENERATION DEVICE}

본 발명은, 동화상 데이터나 음향 데이터 등의 시계열 데이터를 나타내는, 프레임마다의 특징 벡터의 계열로부터, 시간 구간마다, 그 시간 구간을 대표하는 특징 벡터를 생성하는 장치 및 방법에 관한 것이다. 특히, 시간 구간내에서의 시계열 변화를 기술할 수 있는 시간 구간 대표 특징 벡터를 생성하는 시간 구간 대표 특징 벡터 생성 장치, 시간 구간 대표 특징 벡터 생성 방법, 및 시간 구간 대표 특징 벡터 생성 프로그램에 관한 것이다.

동화상 데이터 및 음향 데이터 등의 시계열 데이터를 나타내는, 프레임마다의 특징 벡터의 계열로부터, 특징이 유사한 시간 구간을 검색하는(식별하는) 유사 구간 검색 기술로서, 비교할 2개의 특징 벡터 계열을, 프레임 단위로 순서대로 대조해서(유사도 혹은 거리를 계산함), 유사한 시간 구간을 특정하는 방법이 알려져 있다. 예를 들면, 비특허문헌 1에서는, 동화상의 검색에 있어서, ISO/IEC 15938-3에 규정되어 있는 컬러 레이아웃 기술자(記述子)(Color Layout Descriptor)를 프레임마다의 특징 벡터로서 이용하여, 프레임 단위로 거리 계산을 행해서, 유사 구간을 식별함이 기재되어 있다.

비교할 특징 벡터 계열간을 대조하는 방법은 검색에 장시간을 필요로 한다. 이 때문에, 검색의 고속화를 위해, 프레임 단위로 대조하지 않고, 복수의 프레임을 포함하는 시간 구간마다, 시간 구간을 대표하는 특징 벡터(시간 구간 대표 특징 벡터라고 함)를 생성하고, 생성한 시간 구간 대표 특징 벡터를 이용해서 대조를 행하는 방법이 제안되어 있다.

예를 들면, 비특허문헌 2에서는, 시간 구간 대표 특징 벡터로서, 시간 구간에 포함되는 특징 벡터로부터 히스토그램 특징을 생성함이 기재되어 있다. 구체적으로는, 동화상의 프레임마다의 특징 벡터로서, 프레임 화상을 복수의 서브 화상으로 분할하고, 각각의 서브 화상의 색 성분값(R 성분, G 성분, B 성분)을 그 특징량으로 이용하고 있다. 시간 구간에 포함되는 프레임의 특징 벡터를 양자화하고, 시간 구간 대표 특징 벡터를 각 양자화 인덱스의 출현 빈도를 나타내는 히스토그램으로서 생성하고 있다.

비특허문헌 3 및 비특허문헌 4에서는, 시간 구간 대표 특징 벡터로서, 시간 구간내의 키 프레임을 선택하고, 선택된 키 프레임의 특징 벡터를 그대로 시간 구간 대표 특징 벡터로서 이용함이 기재되어 있다. 이 특허문헌에서는, 동화상의 쇼트(shot)를 시간 구간으로서 이용하고, 쇼트로부터 키 프레임을 선택하고, 그 특징 벡터를 시간 구간 대표 특징 벡터로 이용하고 있다.

비특허문헌 5에서는, 시간 구간에 포함되는 복수의 프레임의 특징 벡터로부터, 특징 벡터의 차원마다 평균값 또는 중앙값(median value)을 산출하고, 산출된 평균값 또는 중앙값으로 구성되는 특징 벡터를 시간 구간 대표 특징 벡터로 이용함이 기재되어 있다.

Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato, and Kyoji Hirata, "Video Material Archive System for Efficient Video Editing based on Media Identification", Proc. on ICME(International Conference on Multimedia and Expo)2004, Vol. 1, pp.727-730, June 2004. Kunio Kashino, Takayuki Kurozumi, Hiroshi Murase, "A Quick Search Method for Audio and Video Signals Based on Histogram Pruning", IEEE Transactions on Multimedia, Vol. 5, No.3, September 2003. Anil Jain, Aditya Vailaya, and Wei Xiong, "Query by Video Clip", Proc. on ICPR(International Conferenceon Pattern Recognition), Vol. 1, pp.16-20, Aug. 1998. Yusuke Uchida, Masaru Sugano, Akio Yoneyama, "A Study on Content Based Copy Detection Using Color Layout", Proc. on IMPS(Image Media Processing Symposium)2008, Proceedings, pp.69-70, October 2008. Eiji Kasutani, Akio Yamada, "Acceleration of Video Identification Process Using Group-of-Frame Feature", Proc. on FIT(Forum on Information Technology)2003, pp.85-86, 2003.

그러나, 비특허문헌 2 내지 비특허문헌 5에 기재된 시간 구간 대표 특징 벡터는, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화(시간 변화)를 기술할 수 없다. 이 때문에, 상기의 시간 구간 대표 특징 벡터를 이용한 대조는, 시간 구간내의 시계열 변화를 식별할 수 없기 때문에(다른 시계열 변화를 가지는 특징 벡터 계열을 유사하다고 판정할 가능성이 높아지기 때문에), 특징 벡터 계열의 검색의 정밀도가 저하한다는 문제점이 있다.

구체적으로는, 비특허문헌 2에 기재된 바와 같이, 시간 구간 대표 특징 벡터로서, 시간 구간에 포함되는 특징 벡터의 히스토그램 특징을 사용하는 방법에서는, 히스토그램은 시계열 순서를 기술할 수 없기 때문에, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 기술할 수 없다(예를 들면, 시계열 변화가 역순이어도, 동일한 히스토그램이 생성됨).

또한, 비특허문헌 3 및 비특허문헌 4에 기재된 바와 같이, 시간 구간내의 키 프레임을 선택하고, 선택된 키 프레임을 그대로 시간 구간 대표 특징 벡터로서 이용하는 방법에서는, 선택된 단일의 프레임의 특징 벡터를 이용하기 때문에, 시계열상의 한 점의 정보만 기술하고 있다. 이 때문에, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 기술할 수 없다.

또한, 비특허문헌 5에 기재된 바와 같이, 시간 구간에 포함되는 복수의 프레임의 특징 벡터로부터, 특징 벡터의 차원마다 평균값 또는 중앙값을 산출하고, 산출된 평균값 또는 중앙값으로 구성되는 특징 벡터를 시간 구간 대표 특징 벡터로서 이용하는 방법에서는, 산출된 시간 구간 대표 특징 벡터의 차원마다의 값은, 시간 구간내의 시계열상의 위치(시각)와 대응 관계가 없기 때문에, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 기술할 수 없다(예를 들면, 시계열 변화가 역순이어도, 동일한 구간 대표 특징 벡터가 생성됨).

[본 발명의 목적]

본 발명의 목적은, 비특허문헌 2 내지 비특허문헌 5에 기재된 시간 구간 대표 특징 벡터에서는 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화(시간 변화)를 기술할 수 없다고 하는 과제를 해결할 수 있는 시간 구간 대표 특징 벡터 생성 장치를 제공하는 것이다.

본 발명의 일 형태에 따른 시간 구간 대표 특징 벡터 생성 장치는, 프레임마다의 특징 벡터의 계열로부터, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하는 시간 구간내 특징 벡터 그룹 선정 수단과; 시간 구간마다, 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택하고, 시간 구간을 대표하는 특징 벡터인 시간 구간 대표 특징 벡터를 생성하는 차원 선택 수단을 포함하고 있다.

본 발명에 따르면, 시계열 데이터의, 프레임마다의 특징 벡터 계열로부터, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 기술할 수 있는 시간 구간 대표 특징 벡터를 생성하는 시간 구간 대표 특징 벡터 생성 장치를 제공할 수 있다. 상술한 바와 같이 시간 구간내의 시계열 변화를 기술할 수 있는 시간 구간 대표 특징 벡터를 이용함으로써, 시간 구간 대표 특징 벡터에 의한 특징 벡터 계열의 검색의 정밀도를 향상시킬 수 있다.

도 1은 본 발명의 제 1 실시형태의 구성을 나타낸 블록도.
도 2는 다(多)형상 영역 비교 특징을 설명하는 도면.
도 3a는 시간 구간을 정하는 예시적 방법을 나타낸 도면.
도 3b는 시간 구간을 정하는 다른 예시적 방법을 나타낸 도면.
도 3c는 시간 구간을 정하는 또 다른 예시적 방법을 나타낸 도면.
도 4는 본 발명의 제 1 실시형태에 있어서의 시간 구간내 특징 벡터 그룹 선정 수단이 선정하는 방법의 예를 나타낸 도면.
도 5는 본 발명의 제 1 실시형태에 있어서의 차원 선택 수단이 특징량을 선택하는 예시적 방법을 나타낸 도면.
도 6은 본 발명의 제 1 실시형태에 있어서의 차원 선택 수단이 특징량을 선택하는 다른 예시적 방법을 나타낸 도면.
도 7은 본 발명의 제 1 실시형태에 있어서의 차원 선택 수단이 특징량을 선택하는 또 다른 예시적 방법을 나타낸 도면.
도 8은 제 1 특징 벡터 계열 검색 시스템의 구성을 나타낸 블록도.
도 9는 제 2 특징 벡터 계열 검색 시스템의 구성을 나타낸 블록도.
도 10은 본 발명의 제 1 실시형태의 동작을 나타낸 플로차트.
도 11은 본 발명의 제 2 실시형태의 구성을 나타낸 블록도.
도 12는 본 발명의 제 2 실시형태에 있어서의 시간 구간내 특징 벡터 그룹 선정 수단이 선정하는 예시적 방법을 나타낸 도면.
도 13은 본 발명의 제 3 실시형태의 구성을 나타낸 블록도.
도 14는 본 발명의 제 3 실시형태에 있어서의 차원 선택 수단이 특징량을 선택하는 예시적 방법을 나타낸 도면.

다음으로, 본 발명의 실시형태에 대해서 도면을 참조해서 상세하게 설명한다.

[제 1 실시형태]

도 1을 참조하면, 본 발명의 제 1 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(100)는, 프레임마다의 특징 벡터를 시계열순으로 나열한 계열(특징 벡터 계열)을 수신하고, 시간 구간을 대표하는 특징 벡터인 시간 구간 대표 특징 벡터를 출력한다. 시간 구간 대표 특징 벡터 생성 장치(100)는, 시간 구간내 특징 벡터 그룹 선정 수단(101) 및 차원 선택 수단(102)을 포함하고 있다.

시간 구간내 특징 벡터 그룹 선정 수단(101)은, 특징 벡터의 계열이 입력되면, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하고, 시간 구간마다 선정된 프레임의 특징 벡터의 정보를, 차원 선택 수단(102)에 공급한다.

입력되는 특징 벡터 계열은, 동화상 데이터나 음향 데이터 등의 시계열 데이터의 프레임마다의 특징 벡터를 시계열순으로 나열한 계열이다. 시계열 데이터이면, 데이터는 동화상 데이터나 음향 데이터에 한정되지 않는다. 여기에서 프레임이란, 시계열 데이터의 개개의 요소이고, 동화상 데이터나 음향 데이터가 아닌 시계열 데이터일 경우도, 편의상, 시계열 데이터의 개개의 요소를 프레임이라 하기로 한다.

프레임마다의 특징 벡터는 복수의 차원의 특징량으로 구성되는 것이다. 예를 들면 동화상 데이터의 경우에는, 예를 들면 동화상의 프레임마다 추출한, ISO/IEC 15938-3에 규정되어 있는 각종 시각적 특징량(통칭 MPEG-7 Visual), 즉 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, 및 Motion Activity 등이어도 된다.

또한, 프레임마다의 특징 벡터를 구성하는 복수 차원의 특징량은, 동화상 데이터일 경우, 보다 많은 종류의 동화상에 대하여 유효성이 있도록 개량된 특징량인 것이 바람직하다. 그 일례를 도 2를 참조해서 설명한다.

도 2는, 보다 많은 종류의 동화상에 대하여 유효성이 있도록 개량된 예시적인 특징량(이하, 다(多)형상 영역 비교 특징량이라고 부름)의 추출 방법을 나타낸 도면이다. 다형상 영역 비교 특징량은, 미리, 특징 벡터의 차원마다, 그 특징량을 추출하기 위해, 화상 내의 2개의 추출 영역(제 1 추출 영역 및 제 2 추출 영역)이 정해져 있다. 추출 영역의 형상에 다양성이 있는 다형상 영역 비교 특징량이 특징이다. 다형상 영역 비교 특징량을 추출하기 위해서는, 차원마다, 차원마다 정해진 제 1 추출 영역 및 제 2 추출 영역의 평균 휘도값을 산출하고, 제 1 추출 영역의 평균 휘도값과 제 2 추출 영역의 평균 휘도값을 비교하고(즉, 차분값에 의거함), 차분을 3값(+1, 0, -1)으로 양자화해서 양자화 인덱스를 얻는다. 제 1 추출 영역의 평균 휘도값과 제 2 추출 영역의 평균 휘도값간의 차분값의 절대값이 소정의 문턱값 이하일 경우에는, 제 1 추출 영역과 제 2 추출 영역의 평균 휘도값의 차이가 없는 것으로 간주해서, 차이가 없는 것을 나타내는 양자화 인덱스를 0으로 한다. 그 외의 경우에는, 제 1 추출 영역의 평균 휘도값과 제 2 추출 영역의 평균 휘도값을 비교하여, 제 1 추출 영역의 평균 휘도값이 큰 경우에는 양자화 인덱스를 +1, 그 외의 경우에는 양자화 인덱스를 -1로 한다. 여기에서, 차원 n의 제 1 추출 영역의 평균 휘도값을 Vn1, 제 2 추출 영역의 평균 휘도값을 Vn2라고 하고, 소정의 문턱값을 th라고 하면, 차원 n의 양자화 인덱스 Qn을, 다음식에 의해 산출할 수 있다.

Qn=+1 (|Vn1-Vn2|>th 및 Vn1>Vn2일 경우)

0 (|Vn1-Vn2|≤th일 경우)

-1 (|Vn1-Vn2|>th 및 Vn1≤Vn2일 경우)

음향 데이터일 경우에는, 예를 들면 음향 프레임(복수의 샘플링 신호를 포함하는 분석 윈도우)에 대하여 주파수 해석을 행해서 산출한 특징 벡터여도 된다. 예를 들면, 분석 윈도우에 대하여 푸리에 변환(Fourier transform)을 행하고, 주파수 영역의 파워 스펙트럼을 산출하고, 파워 스펙트럼을 복수의 서브 밴드로 분할하고, 각 서브 밴드의 평균 파워의 값을 특징량으로서 이용하여 특징 벡터를 얻을 수도 있다.

여기에서 시간 구간이란, 시간축 상의 연속 구간이다. 시간 구간내 특징 벡터 그룹 선정 수단(101)에 있어서, 시간 구간을 정하는 방법은, 그것이 입력되는 모든 특징 벡터 계열에 대해서도 일정하다면 임의의 방법이 이용될 수 있다.

시간 구간은 예를 들면, 시간축 상을 일정한 시간 길이(시간 폭)로 분할하여 얻어진 개개의 구간이어도 된다. 예를 들면 도 3a의 예를 참조하면, 특징 벡터 계열(프레임 계열) 상에서, 일정한 시간 폭인 10프레임 단위로 분할한 개개의 구간을, 시간 구간으로 정하고 있다. 또한, 일정한 시간 길이인 1초 단위로 분할한 개개의 구간을 시간 구간으로 정해도 된다.

또한, 일정한 시간 길이(시간 폭)의 구간을, 일정한 간격으로 시프트하면서, 구간간의 중복을 허용하도록, 시간 구간을 정해도 된다. 예를 들면 도 3b의 예를 참조하면, 특징 벡터 계열(프레임 계열) 상에서, 일정한 시간 폭인 10프레임 단위의 시간 구간을, 4프레임 간격으로 시프트하면서, 구간간의 중복을 허용하도록, 시간 구간을 정해도 된다. 또한, 일정한 시간 길이인 1초 단위의 구간을, 1프레임 간격으로 시프트하면서, 구간의 중복을 허용하도록, 시간 구간을 정해도 된다.

또한, 시간 구간은 항상 일정한 시간 길이(시간 폭)일 필요는 없다. 예를 들면, 도 3c의 예와 같이, 예를 들면 특징 벡터 계열(프레임 계열)에 대하여 변화점(예를 들면, 동화상 데이터의 쇼트 분할점)을 검출하고, 변화점간의 개개의 구간을 시간 구간으로서 정할 수 있다. 변화점은, 예를 들면 특징 벡터 계열 자체로부터 검출해도 되고(예를 들면, 인접하는 프레임의 특징 벡터간의 거리 계산을 행하고, 거리가 소정의 문턱값을 넘었을 경우에 변화점으로 결정하는 등), 또는 원래의 시계열 데이터로부터 검출해도 된다.

시간 구간내 특징 벡터 그룹 선정 수단(101)에 있어서, 정한 시간 구간마다, 그 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하는 방법은, 그것이 입력되는 모든 특징 벡터 계열에 대해 일정하면, 임의의 방법을 이용할 수 있다. 예를 들면, 시간 구간내 특징 벡터 그룹 선정 수단(101)은, 예를 들면 도 4에 나타낸 바와 같이, 시간 구간에 포함되는 모든 프레임의 특징 벡터를 선정해도 되고, 또한 도 4에 나타낸 바와 같이 일정한 간격으로 샘플링한 프레임의 특징 벡터를 선정해도 된다. 그 밖의 선정 방법에 관해서는 도 11, 도 12를 참조해서 후술한다.

차원 선택 수단(102)은, 시간 구간내 특징 벡터 그룹 선정 수단(101)으로부터 공급되는, 시간 구간마다의 프레임의 선정된 특징 벡터의 정보에 따라, 시간 구간마다, 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택하고, 이것들을 시간 구간 대표 특징 벡터로서 출력한다.

여기에서, "다른 프레임의 특징 벡터로부터 다른 차원의 특징량을 선택"이란, 선택되는 특징량의 프레임과 차원 모두 중복 없이 선택되는 것에 한하지 않고, 적어도 2개의 다른 프레임의 특징 벡터로부터, 적어도 2개의 다른 차원의 특징량을 선택한다고 하는 것을 의미한다.

여기에서, 차원 선택 수단(102)이 선택하는 특징량의 차원 수(즉, 시간 구간 대표 특징 벡터의 차원 수)는 임의의 수일 수 있다. 예를 들면, 입력으로서 주어진 특징 벡터 계열의 특징 벡터의 차원 수가 N일 경우에, 선택하는 특징량의 차원 수(시간 구간 대표 특징 벡터의 차원 수)는 N과 동일하거나, N보다 적거나, N보다 많아도 된다.

차원 선택 수단(102)이, 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택하는 방법은, 그것이 입력되는 모든 특징 벡터 계열에 대해 일정하면, 임의의 방법이 이용될 수 있다.

구체적인 예를 도 5에 나타낸다. 도 5는 시간 구간에서 선정된 11의 프레임의 특징 벡터를 시계열순으로 나타내고 있다. 각각의 프레임의 특징 벡터는 25차원의 특징량으로 구성되어 있다. 따라서, 이 시간 구간에 대하여는, 11프레임×25차원=275의 특징량을 포함한다. 도 5에서는, 다른 프레임의 특징 벡터의 다른 차원으로부터 특징량을, 11개 선택하고, 선택된 11개의 특징량으로 구성되는 11차원의 특징 벡터를, 시간 구간 대표 특징 벡터로서 생성하고 있다.

차원 선택 수단(102)이, 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택하는 다른 예시적인 방법을, 도 6 및 도 7에 나타낸다. 도 6에서는, 프레임 1로부터 프레임 11까지 순서대로 차원 1로부터 차원 11까지 1차원씩 11개의 특징량을 선택하고, 다시 프레임 1로부터 프레임 11까지 순서대로 차원 12로부터 차원 22까지 1차원씩 11개의 특징량을 선택하여, 합계 22개의 특징량으로 구성되는 22차원의 특징 벡터를, 시간 구간 대표 특징 벡터로서 생성하고 있다. 또한, 도 7에서는, 프레임 1로부터 프레임 11까지 순서대로 차원 1로부터 차원 22까지 2차원씩 22개의 특징량을 선택하여, 합계 22개의 특징량으로 구성되는 22차원의 특징 벡터를, 시간 구간 대표 특징 벡터로서 생성하고 있다.

차원 선택 수단(102)은, 도 5 ~ 도 7에 예시한 바와 같이, 시간 구간내의 선택된 프레임으로부터 고르게, 특징 벡터의 다른 차원의 특징량을 선택하는 것이 바람직하다. 예를 들면, 시간 구간내의 모든 선정된 프레임으로부터, 적어도 1개의 차원의 특징량을 선택할 수 있다. 시간 구간내의 복수의 프레임으로부터 고르게 특징량을 선택함으로써, 보다 많은 다른 시각의 특징량을 포함하는 구간 대표 특징 벡터를 구성할 수 있다. 이것은 보다 특징 벡터 계열의 시계열 변화에 대한 식별 능력을 높일 수 있어서, 특징 벡터 계열의 검색 정밀도를 향상시킬 수 있다고 하는 이로운 효과가 있다.

시간 구간 대표 특징 벡터 생성 장치(100)가 출력하는, 시간 구간마다의 시간 구간 대표 특징 벡터는, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 기술하고 있다. 그 이유는, 시간 구간내의 시계열상의 복수의 위치(시각)의 특징을 집약하고 있기 때문이다. 또한, 다른 차원의 특징량을 선택하고 있으므로, 생성되는 시간 구간 대표 특징 벡터는, 다른 의미를 가지는 특징량(다른 차원의 특징량은 다른 단계에서 추출된 특징량이기 때문에, 그들의 의미가 다름)을 집약한 것이기도 하다. 이렇게, 시간 구간 대표 특징 벡터 생성 장치(100)가 출력하는 시간 구간 대표 특징 벡터는, 시간 구간내의 다른 위치의 다른 의미를 가지는 특징량을 집약한 것이라고 할 수 있다. 이 때문에, 용장성(冗長性)이 적으며, 구간 특징 대표 특징 벡터의 기술 능력(식별 능력)이 높고, 이에 따라 고정밀도의 검색을 가능하게 한다.

시간 구간 대표 특징 벡터 생성 장치(100)가 출력하는, 시간 구간마다의 시간 구간 대표 특징 벡터를 이용하면, 시간 구간내의 시계열 변화를 식별할 수 있기 때문에, 시간 구간마다 고속으로 고정밀도의, 특징 벡터 계열의 검색을 행할 수 있다. 시간 구간 대표 특징 벡터 생성 장치(100)를 이용하여 구성되는 특징 벡터 계열 검색 시스템에 대해서는 후술한다.

[제 1 실시형태의 동작의 설명]

다음으로, 도 10의 플로차트를 참조하여, 제 1 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(100)의 동작을 설명한다.

우선, 시간 구간내 특징 벡터 그룹 선정 수단(101)은, 특징 벡터의 계열이 입력되면, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정한다(스텝 A1). 그리고, 시간 구간에 대해 선정된 프레임의 특징 벡터의 정보를 차원 선택 수단(102)에 공급한다.

다음으로, 차원 선택 수단(102)은, 시간 구간내 특징 벡터 그룹 선정 수단(101)으로부터 공급되는, 시간 구간마다의 선정된 프레임의 특징 벡터의 정보로부터, 시간 구간마다, 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택하고(스텝 A2), 이들을 시간 구간 대표 특징 벡터로서 출력한다.

[제 1 실시형태의 효과]

제 1 실시형태의 시간 구간 대표 특징 벡터 생성 장치(100)에 따르면, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 기술할 수 있는(식별할 수 있는) 시간 구간 대표 특징 벡터를 생성할 수 있다. 그 이유는, 시간 구간내의 다른 프레임의 특징 벡터로부터, 특징 벡터의 다른 차원의 특징량을 선택해서 시간 구간 대표 특징 벡터로 함으로써, 시간 구간내의 시계열상의 복수의 위치(시각)의 특징을 집약하고 있기 때문이다. 이렇게 생성된 시간 구간 대표 특징 벡터는, 시간 구간에 있어서의 특징 벡터 계열의 시계열 변화를 식별할 수 있기 때문에(다른 시계열 변화를 가지는 특징 벡터 계열을 식별할 수 있기 때문에), 특징 벡터 계열의 검색의 정밀도를 향상시킬 수 있다.

또한, 생성된 시간 구간 대표 특징 벡터는 원래의 특징 벡터 계열로부터 샘플링된 것이기 때문에, 그 대조를 행할 때는, 원래의 프레임마다의 특징 벡터의 대조 방법과 동일할 수 있다. 따라서, 도 9를 참조해서 후술하는 제 2 특징 벡터 계열 검색 시스템의 경우와 같이, 구간 대표 특징 벡터의 대조와 프레임 단위의 대조를 계층적으로 행하는 시스템에 있어서, 대조를 행하는 회로를 단일의 것으로 할 수 있다고 하는 이로운 효과도 있다.

[제 2 실시형태]

도 11을 참조하면, 본 발명의 제 2 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(110)는, 제 1 실시형태의 시간 구간 대표 특징 벡터 생성 장치(100)의 시간 구간내 특징 벡터 그룹 선정 수단(101)이, 시간 구간내 특징 벡터 그룹 선정 수단(111)으로 치환되는 점에 있어서 다르다.

시간 구간내 특징 벡터 그룹 선정 수단(111)에는, 특징 벡터 계열의 프레임 레이트를 나타내는 정보와, 시간 구간 대표 특징 벡터를 생성하는 기준의 프레임 레이트를 나타내는 정보가 입력된다. 시간 구간내 특징 벡터 그룹 선정 수단(111)은, 특징 벡터 계열이 입력되면, 특징 벡터 계열의 프레임 레이트를 이용하여, 특징 벡터 계열로부터, 상기 기준의 프레임 레이트에 있어서의 샘플 위치를 특정하고, 특정된 샘플 위치의 복수의 프레임의 특징 벡터를 선정하고, 시간 구간마다 선정된 프레임의 특징 벡터의 정보를 차원 선택 수단(102)에 공급한다.

도 12에, 구체적인 예를 나타낸다. 도 12에서는, 특징 벡터 계열의 프레임 레이트는 30프레임/초이고, 시간 구간으로서 1초 구간(즉 30프레임)이 정해져 있는 것으로 한다. 여기에서, 시간 구간 대표 특징 벡터를 생성하는 기준의 프레임 레이트가 5프레임/초라고 한다. 시간 구간내 특징 벡터 그룹 선정 수단(111)은, 특징 벡터 계열의 프레임 레이트인 30프레임/초를 나타내는 정보와, 기준 프레임 레이트인 5프레임/초의 정보가 입력되면, 시간 구간내의 30프레임/초의 특징 벡터 계열에 있어서의, 기준 프레임 레이트의 5프레임/초에 해당하는 샘플 위치를 특정한다.

샘플 위치를 특정하는 방법으로서는,

샘플링 간격(프레임) = 특징 벡터 계열의 프레임 레이트 ÷ 기준 프레임 레이트

로서 샘플링 간격을 산출하고, 그에 따라 샘플 위치를 특정해도 된다. 이 예에서는, 샘플링 간격 = 30 / 5 = 6으로 되므로, 6프레임마다 1개의 프레임을 샘플링할 수 있다. 또한, 샘플링 간격이 정수값이 아니라 소수값이 될 경우에는, 소수로 산출되는 샘플 위치를 사사오입해서 얻어지는 정수값의 샘플 위치의 프레임을, 샘플링하면 된다.

이렇게 해서 특정된 샘플 위치의 복수의 프레임을 선정하고, 그 정보를 차원 선택 수단(102)에 공급한다.

[제 2 실시형태의 효과]

제 2 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(110)에 따르면, 다른 프레임 레이트를 가지는 특징 벡터 계열이어도, 서로 비교 가능한 시간 구간 대표 특징 벡터를 생성할 수 있다. 그 이유는, 시간 구간 대표 특징 벡터를 생성하는 기준의 프레임 레이트를 이용하여, 시간 구간 대표 특징 벡터를 생성하기 위해 선정되는 특징 벡터의 프레임 열을, 기준의 프레임 레이트에 통일하기 때문이다.

예를 들면, 프레임 레이트가 30프레임/초인 제 1 특징 벡터 계열과, 프레임 레이트가 15프레임/초인 제 2 특징 벡터 계열이, 동일한 동화상으로 생성되어 있다고 한다. 이것은 예를 들면, 동화상X로부터 생성한 특징 벡터 계열과, 이 동화상X의 프레임 레이트를 절반으로 한 동화상X’로부터 생성한 특징 벡터 계열에 상당한다. 지금, 시간 구간으로서 1초구간이 정해지고, 또한 시간 구간 대표 특징 벡터를 생성하는 기준의 프레임 레이트를 5프레임/초라고 한다. 이 경우에, 제 1 특징 벡터 계열로부터는, 30프레임으로부터 6프레임마다 5프레임이 선택되고, 제 2 특징 벡터 계열로부터는, 15프레임으로부터 3프레임마다 5프레임 선택된다. 이 경우에, 제 2 특징 벡터 계열로부터 선택되는 5프레임은, 제 1 특징 벡터 계열로부터 선택된 5프레임과 동일한 프레임으로 된다.

이에 따라, 프레임 레이트가 다른 특징 벡터 계열에 대해서도, 시간 구간 대표 특징 벡터를 이용하여 고정밀도의 검색이 가능해진다.

[제 3 실시형태]

도 13을 참조하면, 본 발명의 제 3 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(120)는, 제 1 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(100)의 차원 선택 수단(102)이, 차원 선택 수단(122)으로 치환되는 점에 있어서 다르다.

차원 선택 수단(122)에는, 특징 벡터의 차원마다의 중요도를 나타내는 정보(차원별 중요도 정보)가 입력된다. 차원 선택 수단(122)은, 시간 구간내 특징 벡터 그룹 선정 수단(101)으로부터 공급되는, 시간 구간마다의 선정된 프레임의 특징 벡터의 정보로부터, 시간 구간마다, 시간 구간내의 다른 프레임의 선정된 특징 벡터로부터, 차원마다의 중요도에 따라, 중요도가 높은 순서대로, 특징 벡터의 다른 차원의 특징량을 선택하고, 그들을 시간 구간 대표 특징 벡터로서 출력한다.

차원마다의 중요도를 나타내는 정보는, 예를 들면 차원마다의 중요도를 양자화한 정보여도 되고, 차원마다의 중요도의 순열을 나타내는 정보여도 되고, 중요도를 1 또는 0의 두 개의 값으로 표현한 정보여도 된다. 중요도의 의미는 임의이지만, 예를 들면 특징 벡터의 차원의 특징량의 검색 정밀도에 대한 기여의 정도나, 특징 벡터의 차원의 특징량이 갖는 식별 능력의 정도(다른 데이터를 식별할 수 있는 정도)나, 특징 벡터의 차원의 특징량이 갖는 로버스트성(robustness)의 정도(데이터에의 각종 잡음이나 가공 처리에 대한 내성)여도 된다.

도 14에 구체적인 예를 나타낸다. 도 14에서, 특징 벡터 계열의 특징 벡터는 25차원의 특징량으로 구성되어 있고, 각각 차원 1로부터 차원 25로 된다. 이 예에서, 차원마다의 중요도는, 차원의 번호가 커짐에 따라서, 작아지는 것으로 한다. 이는, 즉 차원은 중요도가 높은 순서로 정렬되어 있어, 차원 1이 중요도가 가장 높고, 차원 25가 중요도가 가장 낮음을 의미한다. 차원 선택 수단(122)에는, 차원별 중요도 정보로서, 차원이 중요도가 높은 순서로 정렬되어 있음을 나타내는 정보가 입력되고, 차원 선택 수단(122)은 그 정보에 따라, 번호가 작은 차원의 특징량을 순서대로 선택해 간다. 도 14에서는, 25차원의 특징 벡터 중, 차원의 중요도가 높은 순서로, 차원 1로부터 차원 11의 합계 11차원의 특징량을 선택하고 있다.

[제 3 실시형태의 효과]

제 3 실시형태에 따른 시간 구간 대표 특징 벡터 생성 장치(120)에 따르면, 특징 벡터의 차원의 중요도가 높은 차원으로부터, 시간 구간 대표 특징 벡터를 생성할 수 있다. 이것은, 원래의 특징 벡터의 차원의 수보다, 생성하는 시간 구간 대표 특징 벡터의 차원의 수를 작게 할 경우에, 보다 중요도가 높은 차원을 선택하기 때문에 효과적이다.

다음으로, 본 발명에 따른 시간 구간 대표 특징 벡터 생성 장치로 구성되는 특징 벡터 계열 검색 시스템에 관하여 설명한다. 또한, 특징 벡터 계열 검색 시스템은, 시간 구간 대표 특징 벡터 생성 장치(100)를 이용하여 구성되는 경우로 설명하지만, 물론 제 2 실시형태의 시간 구간 대표 특징 벡터 생성 장치(110)나, 제 3 실시형태의 시간 구간 대표 특징 벡터 생성 장치(120)로 구성되어도 된다.

[제 1 특징 벡터 계열 검색 시스템]

도 8을 참조하면, 본 발명에 따른 제 1 특징 벡터 계열 검색 시스템은, 시간 구간 대표 특징 벡터 생성 장치(100) 및 대조 장치(200)를 구비한다.

시간 구간 대표 특징 벡터 생성 장치(100)는 제 1 특징 벡터 계열 및 제 2 특징 벡터 계열을 수신하고, 제 1 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터를 출력한다. 제 1 특징 벡터 계열의 시간 구간마다의 출력된 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 시간 구간마다의 출력된 시간 구간 대표 특징 벡터는 대조 장치(200)에 공급된다.

대조 장치(200)는 시간 구간 대표 특징 벡터 대조 수단(201)을 포함한다. 시간 구간 대표 특징 벡터 대조 수단(201)은, 시간 구간 대표 특징 벡터 생성 장치(100)로부터 공급되는 제 1 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터를 대조하여, 시간 구간 대표 특징 벡터가 유사한지의 여부를 판정하고, 유사하다고 판정한 경우에, 해당 시간 구간의 정보를 유사 시간 구간 정보로서 출력한다.

제 1 특징 벡터 계열의 시간 구간에 대응한 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 시간 구간에 대응한 시간 구간 대표 특징 벡터를 대조하는 방법에는, 이하의 방법이 이용될 수 있다. 우선, 비교하는 시간 구간 대표 특징 벡터끼리가 유사한 정도를 산출한다. 예를 들면, 벡터간의 거리(유클리드(Euclid) 거리, 해밍(hamming) 거리 등), 또는 벡터간의 유사도(코사인(cosine) 유사도 등)를 산출하여, 유사한 정도를 산출한다. 벡터간의 거리를 이용한 경우에는, 값이 작을 수록 유사하고, 벡터간의 유사도를 이용한 경우에는, 값이 클 수록 유사하다고 판정할 수 있다. 유사한 정도를 나타내는 수치에, 소정의 문턱값(이 문턱값은 미리 주어져 있는 것으로 함)을 이용하여 문턱값 처리를 하여, 유사한지의 여부를 판정한다. 예를 들면, 벡터간의 거리를 이용한 경우에는, 소정의 문턱값보다 값이 작은 경우에 유사하다고 판정하고, 또한 벡터간의 유사도를 이용한 경우에는, 소정의 문턱값보다 값이 큰 경우에 유사하다고 판정한다. 유사하다고 판정된 경우에는, 시간 구간 대표 특징 벡터가 서로 대응하는 시간 구간의 정보를 유사 시간 구간 정보로서 출력한다. 예를 들면, 제 1 특징 벡터 계열의 80번째 프레임으로부터 100번째 프레임의 프레임들에 대응하는 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 250번째 프레임으로부터 270번째 프레임의 프레임들에 대응하는 시간 구간 대표 특징 벡터가, 유사하다고 판정된 경우에는, 예를 들면 제 1 특징 벡터 계열의 80번째 프레임으로부터 100번째 프레임의 프레임들, 및 제 2 특징 벡터 계열의 250번째 프레임으로부터 270번째 프레임의 프레임들이, 유사 시간 구간인 것으로 해서, 출력해도 된다. 이것은 시간 구간 대표 특징 벡터 대조 수단(201)이 대조를 행하는 방법의 일례이고, 본 발명은 이 방법에 한정되지 않는다.

제 1 특징 벡터 계열 검색 시스템에 따르면, 시간 구간 대표 특징 벡터를 이용한 고속으로 시간 구간내의 시계열 변화를 식별할 수 있는 고정밀도의, 특징 벡터 계열의 검색을 실현할 수 있다.

[제 2 특징 벡터 계열 검색 시스템]

도 9를 참조하면, 본 발명에 따른 제 2 특징 벡터 계열 검색 시스템은, 제 1 특징 벡터 계열 검색 시스템의 대조 장치(200)가 대조 장치(210)로 치환되는 점이 다르다.

대조 장치(210)는 시간 구간 대표 특징 벡터 대조 수단(201) 및 프레임 단위 특징 벡터 대조 수단(212)을 포함한다.

시간 구간 대표 특징 벡터 대조 수단(201)은 제 1 특징 벡터 계열 검색 시스템에 있어서의 것과 동일하므로, 여기에서는 설명을 생략한다.

프레임 단위 특징 벡터 대조 수단(212)은, 입력되는 제 1 특징 벡터 계열과 제 2 특징 벡터 계열의, 시간 구간 대표 특징 벡터 대조 수단(201)으로부터 출력되는 유사 시간 구간 정보가 나타내는 각각의 시간 구간에 포함되는 프레임의 특징 벡터를, 프레임 단위로 다시 대조하고, 유사한 시간 구간이라고 판정했을 경우에, 유사 시간 구간 정보를 출력한다.

제 1 특징 벡터 계열의 유사 시간 구간에 포함되는 프레임의 특징 벡터와, 제 2 특징 벡터 계열의 유사 시간 구간에 포함되는 프레임의 특징 벡터를, 프레임 단위로 대조할 경우에는, 시간 구간내의 대응하는 프레임(시간 구간내의 상대적으로 동일한 위치의 프레임)의 특징 벡터끼리 유사한 정도를 산출하고(예를 들면, 벡터간의 거리나 유사도), 문턱값 처리를 행하고, 연속적으로 유사하다고 판정될 경우에, 유사한 시간 구간으로 판정할 수 있다. 이것은, 프레임 단위 특징 벡터 대조 수단(212)이 대조를 행하는 예시적인 방법이고, 본 발명은 이 방법에 한정되지 않는다.

제 2 특징 벡터 계열 검색 시스템에 따르면, 시간 구간 대표 특징 벡터를 이용한 고속으로 시간 구간내의 시계열 변화를 식별할 수 있는 고정밀도의, 특징 벡터 계열의 검색을 제 1 단째의 검색으로서 행하고, 검색에서 유사하다고 판정된 시간 구간에 대해서만, 원래의 특징 벡터 계열을 이용하여 프레임 단위의, 보다 고정밀도의 대조를 행할 수 있다(계층적인 대조 및 검색).

이상 본 발명의 실시형태에 관하여 설명했지만, 본 발명은 이상의 예에만 한정되는 것은 아니고, 그 내에서 다양한 부가 및 변경을 할 수 있다. 또한, 본 발명의 시간 구간 대표 특징 벡터 생성 장치 및 대조 장치는, 그것이 갖는 기능을 하드웨어적으로 실현하는 것은 물론, 컴퓨터와 프로그램으로 실현하도록 채용할 수 있다. 이러한 프로그램은, 자기 디스크, 반도체 메모리 등의 컴퓨터 판독 가능한 기록 매체에 기록되는 형태로 제공되며, 예를 들면 컴퓨터의 작동 개시시에 컴퓨터에 판독되어, 그 컴퓨터의 동작을 제어함으로써, 그 컴퓨터를 전술한 실시형태의 시간 구간 대표 특징 벡터 생성 장치 및 대조 장치로서 기능시킨다.

또한, 본 발명은, 일본국에서 2009년 1월 29일에 특허출원된 특원2009-17807의 특허출원에 의거하는 우선권의 이익을 주장하는 것이며, 당해 특허출원에 기재된 내용은, 모두 본 명세서에 참조로서 포함되는 것으로 한다.

산업상의 이용 가능성

본 발명은 동화상 데이터, 음향 데이터 등의 검색에 이용할 수 있다. 예를 들면, 영화 콘텐츠나 음악 콘텐츠가 축적된 데이터베이스로부터, 원하는 콘텐츠를 고속으로 검색할 수 있다. 또한, 인터넷 등에 위법으로 업로드된 동화상 데이터나 음향 데이터의, 위법 복사의 검지에 이용할 수도 있다.

100 … 시간 구간 대표 특징 벡터 생성 장치
101 … 시간 구간내 특징 벡터 그룹 선정 수단
102 … 차원 선택 수단
200 … 대조 장치
201 … 시간 구간 대표 특징 벡터 대조 수단
210 … 대조 장치
201 … 시간 구간 대표 특징 벡터 대조 수단
212 … 프레임 단위 특징 벡터 대조 수단
110 … 시간 구간 대표 특징 벡터 생성 장치
111 … 시간 구간내 특징 벡터 그룹 선정 수단
120 … 시간 구간 대표 특징 벡터 생성 장치
122 … 차원 선택 수단

Claims

프레임마다의 특징 벡터의 계열로부터, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하는 시간 구간내 특징 벡터 그룹 선정 수단; 및
시간 구간마다, 특징 벡터의 차원마다의 미리 정해진 중요도에 따라, 중요도가 가장 높은 차원으로부터 시작하여, 상기 시간 구간내의 서로 다른 프레임마다 선정된 특징 벡터로부터, 상기 선정된 특징 벡터마다 서로 다른 차원의 특징량을 순서대로 선택하고, 상기 시간 구간을 대표하는 특징 벡터인 시간 구간 대표 특징 벡터를 생성하는 차원 선택 수단을 포함하는 시간 구간 대표 특징 벡터 생성 장치.
제 1 항에 있어서,
상기 특징 벡터 계열은 동화상 데이터의 프레임마다의 특징 벡터의 계열인 시간 구간 대표 특징 벡터 생성 장치.
제 2 항에 있어서,
상기 특징 벡터는, 동화상의 프레임에서의, 복수의 서브 영역 쌍 중에서 쌍을 이루는 2개의 서브 영역의 특징량간의 차분값에 의거하여 산출되는 시간 구간 대표 특징 벡터 생성 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 차원 선택 수단은, 상기 시간 구간내의 모든 프레임의 선정된 특징 벡터로부터, 적어도 1개의 차원의 특징량을 선택하는 시간 구간 대표 특징 벡터 생성 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 시간 구간내 특징 벡터 그룹 선정 수단은, 상기 특징 벡터 계열의 프레임 레이트를 나타내는 정보 및 상기 시간 구간 대표 특징 벡터를 생성하는 기준 프레임 레이트를 나타내는 정보에 의거해서, 상기 특징 벡터 계열로부터 상기 기준 프레임 레이트에서의 샘플 위치를 특정하고, 특정된 샘플 위치의 복수의 프레임의 특징 벡터를 선정하는 시간 구간 대표 특징 벡터 생성 장치.
제 5 항에 있어서,
상기 시간 구간내 특징 벡터 그룹 선정 수단은, 상기 특징 벡터 계열의 프레임 레이트와 상기 기준 프레임 레이트의 비(比)에 의해 정해지는 샘플링 간격에 의거하여 샘플 위치를 특정하는 시간 구간 대표 특징 벡터 생성 장치.
삭제
제 1 항 내지 제 3 항 중 어느 한 항에 기재된 시간 구간 대표 특징 벡터 생성 장치에 의해 생성된, 제 1 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터를 대조하고, 시간 구간 대표 특징 벡터끼리가 유사한지의 여부를 판정하는 제 1 대조 수단을 포함하는 대조 장치.
제 8 항에 있어서,
상기 제 1 대조 수단에 의해 유사하다고 판정한 시간 구간 대표 특징 벡터의 쌍에 대하여, 대응하는 시간 구간에 포함되는 프레임의 특징 벡터간을 프레임 단위로 대조하는 제 2 대조 수단을 포함하는 대조 장치.
프레임마다의 특징 벡터의 계열로부터, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하는 단계; 및
시간 구간마다, 특징 벡터의 차원마다의 미리 정해진 중요도에 따라, 중요도가 가장 높은 차원으로부터 시작하여, 상기 시간 구간내의 서로 다른 프레임마다 선정된 특징 벡터로부터, 상기 선정된 특징 벡터마다 서로 다른 차원의 특징량을 선택하고, 상기 시간 구간을 대표하는 특징 벡터인 시간 구간 대표 특징 벡터를 생성하는 단계를 포함하는 시간 구간 대표 특징 벡터 생성 방법.
제 10 항에 있어서,
상기 특징 벡터 계열은 동화상 데이터의 프레임마다의 특징 벡터의 계열인 시간 구간 대표 특징 벡터 생성 방법.
제 11 항에 있어서,
상기 특징 벡터는, 동화상의 프레임에서의, 복수의 서브 영역 쌍 중에서, 쌍을 이루는 2개의 서브 영역의 특징량간의 차분값에 의거하여 산출되는 시간 구간 대표 특징 벡터 생성 방법.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 시간 구간 대표 특징 벡터를 생성하는 단계는, 상기 시간 구간내의 모든 프레임의 선정된 특징 벡터로부터, 적어도 1개의 차원의 특징량을 선택하는 단계를 포함하는 시간 구간 대표 특징 벡터 생성 방법.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 복수의 프레임의 특징 벡터를 선정하는 단계는, 상기 특징 벡터 계열의 프레임 레이트를 나타내는 정보 및 상기 시간 구간 대표 특징 벡터를 생성하는 기준 프레임 레이트를 나타내는 정보에 의거해서, 상기 특징 벡터 계열로부터 상기 기준 프레임 레이트에서의 샘플 위치를 특정하고, 특정된 샘플 위치의 복수의 프레임의 특징 벡터를 선정하는 단계를 포함하는 시간 구간 대표 특징 벡터 생성 방법.
제 14 항에 있어서,
상기 복수의 프레임의 특징 벡터를 선정하는 단계는, 상기 특징 벡터 계열의 프레임 레이트와 상기 기준 프레임 레이트의 비에 의해 정해지는 샘플링 간격에 의거하여 샘플 위치를 특정하는 단계를 포함하는 시간 구간 대표 특징 벡터 생성 방법.
삭제
제 10 항 내지 제 12 항 중 어느 한 항에 기재된 시간 구간 대표 특징 벡터 생성 방법에 의해 생성된, 제 1 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터와, 제 2 특징 벡터 계열의 시간 구간마다의 시간 구간 대표 특징 벡터를 대조하고, 시간 구간 대표 특징 벡터끼리가 유사한지의 여부를 판정하는 단계를 포함하는 대조 방법.
제 17 항에 있어서,
유사하다고 판정한 시간 구간 대표 특징 벡터의 쌍에 대하여, 대응하는 시간 구간에 포함되는 프레임의 특징 벡터간을 프레임 단위로 대조하는 단계를 더 포함하는 대조 방법.
컴퓨터를,
프레임마다의 특징 벡터의 계열로부터, 시간 구간마다, 시간 구간에 포함되는 복수의 프레임의 특징 벡터를 선정하는 시간 구간내 특징 벡터 그룹 선정 수단; 및
시간 구간마다, 특징 벡터의 차원마다의 미리 정해진 중요도에 따라, 중요도가 가장 높은 차원으로부터 시작하여, 상기 시간 구간내의 서로 다른 프레임마다 선정된 특징 벡터로부터, 상기 선정된 특징 벡터마다 서로 다른 차원의 특징량을 순서대로 선택하고, 상기 시간 구간을 대표하는 특징 벡터인 시간 구간 대표 특징 벡터를 생성하는 차원 선택 수단으로서 기능시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.