KR101572330B1

KR101572330B1 - 동영상의 근복사 검출 방법 및 시스템

Info

Publication number: KR101572330B1
Application number: KR1020130161072A
Authority: KR
Inventors: 이민섭
Original assignee: 삼성전자주식회사; ㈜아레스찬
Priority date: 2013-12-23
Filing date: 2013-12-23
Publication date: 2015-11-26
Anticipated expiration: 2033-12-23
Also published as: KR20150073409A

Abstract

본 발명에 따른 동영상의 근복사 검출 방법 및 시스템은 적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈, 상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스, 상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈 및 각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈을 포함하는 서버를 포함한다.

Description

동영상의 근복사 검출 방법 및 시스템{APPARATUS AND METHOD FOR NEAR DUPLICATE VIDEO CLIP DETECTION}

본 발명은 동영상의 근복사 검출 방법 및 시스템에 관한 것인데, 더욱 상세하게는 영상을 분석하여 영상의 대상 및 속성을 저장하고 관리하는 방법 및 시스템에 관한 것이다.

일반적으로 영상 정보를 검색하는 방법에서 사용되고 있는 특징 정보 추출 방법은 다양한 소스를 이용하여 특징 정보를 추출하고, 추출된 특징 정보를 이용하여 영상 정보에 대한 검색을 수행할 수 있다.

색상은 영상 검색에 있어서 가장 널리 사용되는 특징으로, 영상 정보의 이동, 회전, 크기 변화, 각도 변화 등의 주로 이동에 관련된 특징점을 추출 또는 계산하는 방법에 주로 사용된다.

질감은 색상으로 표현할 수 없는 물체 표면의 시각적 패턴을 의미하는 것으로, 질감의 유사성을 이용하여 검색하는 방법은 유사한 색상의 영상들을 구분하는 특징 정보가 될 수 있다.

모양 정보는 영상의 객체를 표현할 수 있는 중요한 정보이나, 상대적으로 특징 추출 비용이 높으며, 대용량의 검색 기술에는 적합하지 않다.

그러나, 종래의 색상, 질감, 모양 등을 이용한 영상 검색 방법은 방대한 양의 영상에 대한 특징 정보와 촬영 영상의 특징 정보 비교를 위해 상당한 비용이 요구된다.

또한 질의를 위한 소스 영상 데이터와 참조를 위한 타겟 영상 데이터의 양이 많기 때문에, 특징부를 추출하기 용이하지 않은 것이 사실이다.

따라서 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명에서 해결하고자 하는 과제는 따라서 영상 검색을 위한 데이터의 양을 최소화하여 영상을 검색할 수 있는 시스템이 필요하다.

상기 목적을 달성하기 위해서, 본 발명에 따른 영상 검색 방법 및 시스템은 적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈, 상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스, 상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈 및 각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈을 포함하는 서버; 및 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제3 특징 벡터를 추출하는 제2 특징 추출 모듈 및 각각의 상기 제3 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 제2 벡터 양자화 모듈을 포함하는 단말기를 포함한다.

본 발명에 따른 영상 검색 시스템에 의하면, 영상 검색을 위해 필요한 질의 영상 데이터와 참조 영상 데이터의 양을 최소화하기 때문에, 최적의 영상 검색을 할 수 있다.

또한 본 발명의 양자화 모듈에 의해서, 일반적인 디지털 변조(MODULATION)의 양자화 시, 양자화 오류(QUANTIZATION ERROR)의 발생을 최소화할 수 있다.

도 1은 본 발명에 따른 서버를 도시한 것이다.
도 2는 본 발명에 따른 단말기를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 서버에서 구현되는 흐름을 개략적으로 묘사한 것이다.
도 4는 본 발명의 일실시예에 따른 서버와 단말간의 흐름을 개략적으로 묘사한 것이다.
도 5는 본 발명의 일실시예에 따른 이미지 프레임의 히스토그램 산출한 예이다.
도 6은 본 발명의 양자화 과정을 도시한 것이다.
도 7a 내지 도 7d는 히스토그램 매칭 과정을 도시한 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.

그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.

도 1은 본 발명에 따른 서버(100)를 도시한 것이다.

도 1을 참조하면, 본 발명에 따른 서버(100)는 적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈(120), 상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스(111), 상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈(121) 및 각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈(122)을 포함할 수 있다.

도 2는 본 발명에 따른 단말기(200)를 도시한 것이다.

도 2를 참조하면, 본 발명에 따른 단말기(200)는 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제3 특징 벡터를 추출하는 제2 특징 추출 모듈(221) 및 각각의 상기 제3 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 제2 벡터 양자화 모듈(222)을 포함하는 단말기(200)를 포함할 수 있다.

상기 단말기(200)는 상기 제1 코드북 데이터베이스(111)에서 적어도 하나의 제1 중심 벡터 정보를 독출할 수 있다.

상기 서버(100)는 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램을 비교하여 유사도를 평가하는 히스토그램 매칭 모듈(130)을 더 포함할 수 있다.

상기 유사도는 상기 제1 특징 벡터 히스토그램 및 상기 제2 특징 벡터 히스토그램을, 실수(REAL NUMBER)로 등분(等分)하고, 각각의 등분을 2진수로 중에서 하나의 값을 할당하며, 히스토그램 인터섹션(HISTOGRAM INTERSECTION)을 적용하여 판단할 수 있다.

상기 서버(100)와 상기 단말기(200)를 포함하는 영상 검색 시스템은 상기 제2 특징 벡터와 상기 제3 특징 벡터를 비교하여 유사도를 평가하는 특징 벡터 매칭 모듈(131)을 더 포함할 수 있다.

상기 영상 검색 시스템은 상기 적어도 하나의 제1 이미지 프레임을 포함하는 참조 영상이 저장되는 참조 영상 데이터베이스(110), 상기 적어도 하나의 제1 중심 벡터들이 저장된 제1 코드북 데이터베이스(111) 및 상기 적어도 하나의 제1 특징 벡터들 및 상기 적어도 하나의 제1 특징 벡터들에 상응하는 상기 제1 특징 벡터 히스토그램이 저장된 제1 인덱스 데이터베이스(112)를 더 포함할 수 있다.

도 3은 본 발명의 일실시예에 따른 서버(100)에서 구현되는 흐름을 개략적으로 묘사한 것이다.

도 3을 참조하면, 본 발명에 따른 서버(100)에서는 제1 코드북 추출 모듈(120)이, 참조 영상 데이터베이스(110)에 저장된 적어도 하나의 이미지 프레임을 포함하는 참조 영상으로부터 적어도 하나의 제1 이미지 프레임들을 추출하고(S301), 상기 각각의 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고(S302), 상기 그룹핑된 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하며, 상기 적어도 하나의 제1 중심 벡터들을 제1 코드북 데이터베이스(111)에 저장하는 단계(S303); 상기 서버(100)에 포함된 제1 특징 추출 모듈(121)이, 상기 참조 영상 데이터베이스(110)에 저장된 적어도 하나의 이미지 프레임을 포함하는 상기 참조 영상으로부터, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고(S304), 상기 각각의 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 단계(S305); 상기 서버(100)에 포함된 제1 벡터 양자화 모듈(122)이, 상기 제1 중심 벡터들과 상기 각각의 제2 특징 벡터 사이의 거리를 계산하여 가중치를 부여하고(S308a 및 S308b), 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 단계(S309)를 포함할 수 있다.

상기 제2 특징 벡터와 상기 제1 특징 벡터 히스토그램을 제1 인덱스 데이터베이스(112)에 저장하는 단계를 더 포함할 수 있다.(S310)

도 4는 본 발명의 일실시예에 따른 서버(100)와 단말간의 흐름을 개략적으로 묘사한 것이고, 도 7a 내지 도 7d는 히스토그램 매칭 과정을 도시한 것이다.

도 4 및 또한 도 7a 내지 도 7d를 참조하면, 참조하면, 본 발명에 따른 단말기(200)에서는 제2 특징 추출 모듈(221)이, 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고(S401), 상기 각각의 추출된 이미지 프레임에 상응하는 적어도 하나의 제3 특징 벡터를 추출하는 단계(S402); 상기 단말기(200)에 포함된 제2 벡터 양자화 모듈(222)이, 상기 제1 코드북 데이터베이스(111)에 저장된 제1 중심 벡터 정보를 독출하고(S403b), 상기 독출된 제1 중심 벡터와 상기 제3 특징 벡터 사이의 거리를 연산하여 가중치를 부여하여(S403a), 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 단계(S404)를 포함할 수 있다.

상기 제2 특징 벡터 히스토그램은 질의 영상에 관한 히스토그램이므로, 적어도 하나의 통신 수단을 이용하여 상기 제2 특징 벡터 히스토그램과, 상기 서버(100)에 포함된 상기 제1 인덱스 데이터베이스(112)의 제1 특징 벡터 히스토그램과 비교하여 유사도를 결정할 수 있다.(S405a 및 S405b)

상기 제1 특징 벡터 히스토그램과 상기 제1 인덱스 데이터베이스(112)의 제1 특징 벡터 히스토그램과 유사도를 판단하는 단계는, 상기 히스토그램들을 n등분하여 각각의 등분영역의 값이 0이상일 때 '1'을 할당하고, 모두 0인 경우 '0'을 할당하는 단계(도 7a), 상기 등분영역의 해밍 거리(HAMMING DISTANCE)를 이용하여, 제1 임계값을 초과하는 경우 히스토그램 인터섹션(HISTOGRAM INTERSECTION) 수행 착수하는 단계(도 7b) 및 상기 두 히스토그램의 유사도를 측정하기 위해서 제2 임계값을 초과하는 경우, 트루(TRUE)를 즉, '유사함'결과값을 출력(리턴)할 수 있다.(S406 및 도 7c)

상기 히스토그램 인터섹션은 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 교집합 값의 총합을 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 합집합으로 나눈 값인 것으로 정의할 수 있다.(도 7d)

상기 유사도를 측정하여, 상기 두 개의 히스토그램이 유사한 경우에, 상기 서버(100)에 포함된 특징 벡터 매칭 모듈(131)에 의해 상기 두 개의 히스토그램에 상응하는 두 개의 특징 벡터, 즉 서버(100)에서 생성된 제2 특징 벡터와 단말기(200)에서 생성된 제3 특징 벡터의 유사도를 결정할 수 있다.

도 5는 본 발명의 일실시예에 따른 이미지 프레임의 히스토그램을 산출한 예이다.

도 5를 참조하면, 참조 영상 데이터베이스(110) 또는 질의 영상 데이터베이스(210)로부터 입력된 이미지 프레임은 RGB(컬러) 스케일에서 GRAY(그레이) 스케일로 변환되고, NxN 으로 리사이즈(RESIZING)되며(a), 모든 픽셀에 대하여 밝기 순으로 정렬되고, 상기 정렬된 리스트를 m등분하여 각 그룹에 0부터 m-1까지 라벨을 부여하며, 상기 각각의 픽셀에 대하여 픽셀의 밝기 값이 포함된 그룹의 라벨로 치환(b)한 후, 상기 영상을 중심으로부터 45도 간격으로 분할할 수 있다(c).

상기 나눠진 영역은 서브 영역이며, 상기 각각의 서브영역에 대하여 라벨값에 대한 히스토그램을 생성한다(d).

도 6은 본 발명의 양자화 과정을 도시한 것이다.

도 6을 참조하면, 본 발명의 서버(100)에서는 참조 영상 데이터베이스(110)로부터 참조 영상에 대한 제1 이미지 프레임을 추출하고(S601), 제1 코드북 추출 모듈(120)로부터 추출된 제1 특징 벡터에 기초하여 적어도 하나의 제1 중심 벡터들이 K개 생성될 수 있다.(S602)

동시에 참조 영상 데이터베이스(110)로부터 참조 영상 중에서, 제1 시간 동안 제2 이미지 프레임을 추출하고, 제1 특징 추출 모듈(121) 로부터 적어도 하나의 제2 특징 벡터를 추출한다.

상기 추출된 제2 특징 벡터와 상기 각각의 제1 중심 벡터들 사이의 거리(DISTANCE)를 연산하고 상기 연산값에 시그모이드(SIGMOID) 함수를 적용하여, 상기 제1 중심 벡터와 상기 제2 특징 벡터와 연산값을 누적할 때, 평활도(SMOOTHNESS)를 향상시킬 수 있다.(S603)

이상으로 본 발명의 바람직한 실시예에 따른 영상 검색 방법 및 시스템에 관하여 상세하게 설명하였다. 하지만 본 발명이 속하는 기술분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

따라서, 본 발명의 범위는 오직 뒤에서 설명할 특허 청구범위에 의해서만 한정된다.

110 : 참조 영상 데이터베이스 111 : 제1 코드북 데이터베이스
112 : 제1 인덱스 데이터베이스 120 : 제1 코드북 추출 모듈
121 : 제1 특징 추출 모듈 122 : 제1 벡터 양자화 모듈
130 : 히스토그램 매칭 모듈 131 : 특징 벡터 매칭 모듈
132 : 송수신 모듈(서버) 210 : 질의 영상 데이터베이스
221 : 제2 특징 추출 모듈 222 : 제2 벡터 양자화 모듈
232 : 송수신 모듈(단말기) 100 : 서버
200 : 단말기

Claims

서버에 있어서,
적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 제1 이미지 프레임에 대응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(grouping)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈;
상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스;
상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 제2 이미지 프레임에 대응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈;
각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈을 포함하고,
상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 입력되는 이미지 프레임을 색상 이미지에서 그레이(gray) 이미지 프레임으로 변환하는 것을 특징으로 하는, 서버.
제1항에 있어서,
상기 서버는, 상기 제1 특징 추출 모듈에 의하여 추출된 상기 제2 특징 벡터와, 단말기에 의하여 추출된 제3 특징 벡터를 비교하여 유사도를 판단하는 특징 벡터 매칭 모듈을 더 포함하는 것을 특징으로 하는, 서버.
제1항에 있어서,
상기 서버는, 상기 적어도 하나의 제1 이미지 프레임을 포함하는 참조 영상이 저장되는 참조 영상 데이터베이스와, 상기 적어도 하나의 제1 특징 벡터들 및 상기 적어도 하나의 제1 특징 벡터들에 대응하는 상기 제1 특징 벡터 히스토그램이 저장된 제1 인덱스 데이터베이스를 더 포함하는 것을 특징으로 하는, 서버.
제1항에 있어서,
상기 서버는, 단말기와 소정의 정보를 통신망을 이용하여 송신 또는 수신하는 송수신 모듈을 더 포함하는 것을 특징으로 하는, 서버.
삭제
제1항에 있어서,
상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 변환된 그레이 이미지 프레임에 존재하는 픽셀을 특정 기준에 따라 정렬하는 것을 특징으로 하는, 서버.
제6항에 있어서,
상기 특정 기준은, 상기 변환된 그레이 이미지 프레임에 존재하는 픽셀이 가진 명도 및 밝기 중에서 어느 하나인 것을 특징으로 하는, 서버.
제1항에 있어서,
상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 변환된 그레이 이미지 프레임을 정사각형 프레임으로 리사이징(resizing)하는 것을 특징으로 하는, 서버.
제1항에 있어서,
상기 가중치를 부여하는 것은, 상기 거리 연산값에 시그모이드(sigmoid) 함수를 적용하는 것을 특징으로 하는, 서버.
제1항에 있어서,
상기 서버는, 상기 제1 벡터 양자화 모듈에 의하여 생성된 상기 제1 특징 벡터 히스토그램과, 단말기에 의하여 생성된 제2 특징 벡터 히스토그램을 비교하여 유사도를 판단하는 히스토그램 매칭 모듈을 더 포함하고,
상기 히스토그램 매칭 모듈은, 상기 제1 특징 벡터 히스토그램 및 상기 제2 특징 벡터 히스토그램을, 실수(real number) 등분하고, 각각의 등분을 2진수로 중에서 하나의 값을 할당하며, 히스토그램 인터섹션(histogram intersection)을 적용하여 상기 유사도를 판단하는 것을 특징으로 하는, 서버.
제10항에 있어서,
상기 히스토그램 인터섹션은, 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 교집합 값의 총합을 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 합집합으로 나눈 값을 포함하는 것을 특징으로 하는, 서버.
영상 검색 방법에 있어서,
서버에 포함된 제1 코드북 추출 모듈이, 참조 영상 데이터베이스에 저장된 적어도 하나의 이미지 프레임을 포함하는 참조 영상으로부터 적어도 하나의 제1 이미지 프레임들을 추출하고, 상기 각각의 추출된 제1 이미지 프레임에 대응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(grouping)하고, 상기 그룹핑된 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하며, 상기 적어도 하나의 제1 중심 벡터들을 제1 코드북 데이터베이스에 저장하는 단계;
상기 서버에 포함된 제1 특징 추출 모듈이, 상기 참조 영상 데이터베이스에 저장된 적어도 하나의 이미지 프레임을 포함하는 상기 참조 영상으로부터, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 상기 각각의 추출된 제2 이미지 프레임에 대응하는 적어도 하나의 제2 특징 벡터를 추출하는 단계;
상기 서버에 포함된 제1 벡터 양자화 모듈이, 상기 제1 중심 벡터들과 상기 각각의 제2 특징 벡터 사이의 거리를 계산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 단계를 포함하고,
상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 입력되는 이미지 프레임을 색상 이미지에서 그레이 이미지 프레임으로 변환하는 것을 특징으로 하는, 영상 검색 방법.
제12항에 있어서,
상기 서버에 포함되는 특징 벡터 매칭 모듈이, 상기 추출된 제2 특징 벡터와 단말기에 의하여 추출된 제3 특징 벡터를 비교하여 유사도를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
제12항에 있어서,
상기 적어도 하나의 제1 이미지 프레임을 포함하는 참조 영상을 저장하는 단계; 및
상기 적어도 하나의 제1 특징 벡터들 및 상기 적어도 하나의 제1 특징 벡터들에 대응하는 상기 제1 특징 벡터 히스토그램을 저장하는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
삭제
삭제
제12항에 있어서,
상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나에 의하여, 변환된 그레이 이미지 프레임에 존재하는 픽셀(pixel)이 특정 기준에 따라 정렬되는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
제17항에 있어서,
상기 특정 기준은, 상기 변환된 그레이 이미지 프레임에 존재하는 픽셀이 가진 명도 및 밝기 중에서 어느 하나인 것을 특징으로 하는, 영상 검색 방법.
제12항에 있어서,
상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나에 의하여, 변환된 그레이 이미지 프레임이 정사각형 프레임으로 리사이징(resizing)되는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
제12항에 있어서,
상기 가중치를 부여하는 것은, 상기 거리 연산값에 시그모이드(sigmoid) 함수를 적용하는 것을 특징으로 하는, 영상 검색 방법.
제12항에 있어서,
상기 제1 벡터 양자화 모듈에 의하여 생성된 상기 제1 특징 벡터 히스토그램과, 단말기에 의하여 생성된 제2 특징 벡터 히스토그램을 비교하여 유사도를 판단하는 단계를 더 포함하고,
상기 유사도를 판단하는 단계는, 상기 서버가, 상기 제1 특징 벡터 히스토그램 및 상기 제2 특징 벡터 히스토그램을 실수(real number) 등분하고, 각각의 등분을 2진수로 중에서 하나의 값을 할당하며, 히스토그램 인터섹션(histogram intersection)을 적용하여 상기 유사도를 판단하는 것을 특징으로 하는, 영상 검색 방법.
제21항에 있어서,
상기 히스토그램 인터섹션은, 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 교집합 값의 총합을 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 합집합으로 나눈 값을 포함하는 것을 특징으로 하는, 영상 검색 방법.
단말기에 있어서,
적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 상기 추출된 제3 이미지 프레임들의 각각에 대응하는 적어도 하나의 제3 특징 벡터를 추출하는 제2 특징 추출 모듈; 및
각각의 상기 제3 특징 벡터와 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 제2 벡터 양자화 모듈을 포함하되,
상기 제2 특징 추출 모듈은, 입력되는 이미지 프레임을 색상 이미지에서 그레이(gray) 이미지 프레임으로 변환하는 것을 특징으로 하는, 단말기.
제23항에 있어서,
상기 단말기는 제1 코드북 데이터베이스에서 적어도 하나의 제1 중심 벡터 정보를 독출하는 것을 특징으로 하는, 단말기.
영상 검색 방법에 있어서,
단말기에 포함되는 제2 특징 추출 모듈이, 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 상기 추출된 제3 이미지 프레임들의 각각에 대응하는 적어도 하나의 제3 특징 벡터를 추출하는 단계; 및
상기 단말기에 포함되는 제2 벡터 양자화 모듈이, 제1 코드북 데이터베이스에 저장된 제1 중심 벡터 정보를 독출하고, 상기 독출된 제1 중심 벡터와 상기 제3 특징 벡터 사이의 거리를 연산하여 가중치를 부여하여, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 단계를 포함하되,
상기 제2 특징 추출 모듈은, 입력되는 이미지 프레임을 색상 이미지에서 그레이(gray) 이미지 프레임으로 변환하는 것을 특징으로 하는, 영상 검색 방법.
제25항에 있어서,
상기 단말기에 포함되는 제2 벡터 양자화 모듈이, 상기 제1 코드북 데이터베이스에서 적어도 하나의 제1 중심 벡터 정보를 독출하는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.