KR101572330B1 - 동영상의 근복사 검출 방법 및 시스템 - Google Patents

동영상의 근복사 검출 방법 및 시스템 Download PDF

Info

Publication number
KR101572330B1
KR101572330B1 KR1020130161072A KR20130161072A KR101572330B1 KR 101572330 B1 KR101572330 B1 KR 101572330B1 KR 1020130161072 A KR1020130161072 A KR 1020130161072A KR 20130161072 A KR20130161072 A KR 20130161072A KR 101572330 B1 KR101572330 B1 KR 101572330B1
Authority
KR
South Korea
Prior art keywords
feature
feature vector
image frame
histogram
vectors
Prior art date
Application number
KR1020130161072A
Other languages
English (en)
Other versions
KR20150073409A (ko
Inventor
이민섭
Original Assignee
삼성전자주식회사
㈜아레스찬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, ㈜아레스찬 filed Critical 삼성전자주식회사
Priority to KR1020130161072A priority Critical patent/KR101572330B1/ko
Publication of KR20150073409A publication Critical patent/KR20150073409A/ko
Application granted granted Critical
Publication of KR101572330B1 publication Critical patent/KR101572330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 동영상의 근복사 검출 방법 및 시스템은 적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈, 상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스, 상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈 및 각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈을 포함하는 서버를 포함한다.

Description

동영상의 근복사 검출 방법 및 시스템{APPARATUS AND METHOD FOR NEAR DUPLICATE VIDEO CLIP DETECTION}
본 발명은 동영상의 근복사 검출 방법 및 시스템에 관한 것인데, 더욱 상세하게는 영상을 분석하여 영상의 대상 및 속성을 저장하고 관리하는 방법 및 시스템에 관한 것이다.
일반적으로 영상 정보를 검색하는 방법에서 사용되고 있는 특징 정보 추출 방법은 다양한 소스를 이용하여 특징 정보를 추출하고, 추출된 특징 정보를 이용하여 영상 정보에 대한 검색을 수행할 수 있다.
색상은 영상 검색에 있어서 가장 널리 사용되는 특징으로, 영상 정보의 이동, 회전, 크기 변화, 각도 변화 등의 주로 이동에 관련된 특징점을 추출 또는 계산하는 방법에 주로 사용된다.
질감은 색상으로 표현할 수 없는 물체 표면의 시각적 패턴을 의미하는 것으로, 질감의 유사성을 이용하여 검색하는 방법은 유사한 색상의 영상들을 구분하는 특징 정보가 될 수 있다.
모양 정보는 영상의 객체를 표현할 수 있는 중요한 정보이나, 상대적으로 특징 추출 비용이 높으며, 대용량의 검색 기술에는 적합하지 않다.
그러나, 종래의 색상, 질감, 모양 등을 이용한 영상 검색 방법은 방대한 양의 영상에 대한 특징 정보와 촬영 영상의 특징 정보 비교를 위해 상당한 비용이 요구된다.
또한 질의를 위한 소스 영상 데이터와 참조를 위한 타겟 영상 데이터의 양이 많기 때문에, 특징부를 추출하기 용이하지 않은 것이 사실이다.
따라서 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명에서 해결하고자 하는 과제는 따라서 영상 검색을 위한 데이터의 양을 최소화하여 영상을 검색할 수 있는 시스템이 필요하다.
상기 목적을 달성하기 위해서, 본 발명에 따른 영상 검색 방법 및 시스템은 적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈, 상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스, 상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈 및 각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈을 포함하는 서버; 및 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제3 특징 벡터를 추출하는 제2 특징 추출 모듈 및 각각의 상기 제3 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 제2 벡터 양자화 모듈을 포함하는 단말기를 포함한다.
본 발명에 따른 영상 검색 시스템에 의하면, 영상 검색을 위해 필요한 질의 영상 데이터와 참조 영상 데이터의 양을 최소화하기 때문에, 최적의 영상 검색을 할 수 있다.
또한 본 발명의 양자화 모듈에 의해서, 일반적인 디지털 변조(MODULATION)의 양자화 시, 양자화 오류(QUANTIZATION ERROR)의 발생을 최소화할 수 있다.
도 1은 본 발명에 따른 서버를 도시한 것이다.
도 2는 본 발명에 따른 단말기를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 서버에서 구현되는 흐름을 개략적으로 묘사한 것이다.
도 4는 본 발명의 일실시예에 따른 서버와 단말간의 흐름을 개략적으로 묘사한 것이다.
도 5는 본 발명의 일실시예에 따른 이미지 프레임의 히스토그램 산출한 예이다.
도 6은 본 발명의 양자화 과정을 도시한 것이다.
도 7a 내지 도 7d는 히스토그램 매칭 과정을 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명에 따른 서버(100)를 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 서버(100)는 적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈(120), 상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스(111), 상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈(121) 및 각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈(122)을 포함할 수 있다.
도 2는 본 발명에 따른 단말기(200)를 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 단말기(200)는 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 각각의 상기 추출된 이미지 프레임에 상응하는 적어도 하나의 제3 특징 벡터를 추출하는 제2 특징 추출 모듈(221) 및 각각의 상기 제3 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 제2 벡터 양자화 모듈(222)을 포함하는 단말기(200)를 포함할 수 있다.
상기 단말기(200)는 상기 제1 코드북 데이터베이스(111)에서 적어도 하나의 제1 중심 벡터 정보를 독출할 수 있다.
상기 서버(100)는 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램을 비교하여 유사도를 평가하는 히스토그램 매칭 모듈(130)을 더 포함할 수 있다.
상기 유사도는 상기 제1 특징 벡터 히스토그램 및 상기 제2 특징 벡터 히스토그램을, 실수(REAL NUMBER)로 등분(等分)하고, 각각의 등분을 2진수로 중에서 하나의 값을 할당하며, 히스토그램 인터섹션(HISTOGRAM INTERSECTION)을 적용하여 판단할 수 있다.
상기 서버(100)와 상기 단말기(200)를 포함하는 영상 검색 시스템은 상기 제2 특징 벡터와 상기 제3 특징 벡터를 비교하여 유사도를 평가하는 특징 벡터 매칭 모듈(131)을 더 포함할 수 있다.
상기 영상 검색 시스템은 상기 적어도 하나의 제1 이미지 프레임을 포함하는 참조 영상이 저장되는 참조 영상 데이터베이스(110), 상기 적어도 하나의 제1 중심 벡터들이 저장된 제1 코드북 데이터베이스(111) 및 상기 적어도 하나의 제1 특징 벡터들 및 상기 적어도 하나의 제1 특징 벡터들에 상응하는 상기 제1 특징 벡터 히스토그램이 저장된 제1 인덱스 데이터베이스(112)를 더 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 서버(100)에서 구현되는 흐름을 개략적으로 묘사한 것이다.
도 3을 참조하면, 본 발명에 따른 서버(100)에서는 제1 코드북 추출 모듈(120)이, 참조 영상 데이터베이스(110)에 저장된 적어도 하나의 이미지 프레임을 포함하는 참조 영상으로부터 적어도 하나의 제1 이미지 프레임들을 추출하고(S301), 상기 각각의 추출된 이미지 프레임에 상응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(GROUPING)하고(S302), 상기 그룹핑된 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하며, 상기 적어도 하나의 제1 중심 벡터들을 제1 코드북 데이터베이스(111)에 저장하는 단계(S303); 상기 서버(100)에 포함된 제1 특징 추출 모듈(121)이, 상기 참조 영상 데이터베이스(110)에 저장된 적어도 하나의 이미지 프레임을 포함하는 상기 참조 영상으로부터, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고(S304), 상기 각각의 추출된 이미지 프레임에 상응하는 적어도 하나의 제2 특징 벡터를 추출하는 단계(S305); 상기 서버(100)에 포함된 제1 벡터 양자화 모듈(122)이, 상기 제1 중심 벡터들과 상기 각각의 제2 특징 벡터 사이의 거리를 계산하여 가중치를 부여하고(S308a 및 S308b), 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 단계(S309)를 포함할 수 있다.
상기 제2 특징 벡터와 상기 제1 특징 벡터 히스토그램을 제1 인덱스 데이터베이스(112)에 저장하는 단계를 더 포함할 수 있다.(S310)
도 4는 본 발명의 일실시예에 따른 서버(100)와 단말간의 흐름을 개략적으로 묘사한 것이고, 도 7a 내지 도 7d는 히스토그램 매칭 과정을 도시한 것이다.
도 4 및 또한 도 7a 내지 도 7d를 참조하면, 참조하면, 본 발명에 따른 단말기(200)에서는 제2 특징 추출 모듈(221)이, 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고(S401), 상기 각각의 추출된 이미지 프레임에 상응하는 적어도 하나의 제3 특징 벡터를 추출하는 단계(S402); 상기 단말기(200)에 포함된 제2 벡터 양자화 모듈(222)이, 상기 제1 코드북 데이터베이스(111)에 저장된 제1 중심 벡터 정보를 독출하고(S403b), 상기 독출된 제1 중심 벡터와 상기 제3 특징 벡터 사이의 거리를 연산하여 가중치를 부여하여(S403a), 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 단계(S404)를 포함할 수 있다.
상기 제2 특징 벡터 히스토그램은 질의 영상에 관한 히스토그램이므로, 적어도 하나의 통신 수단을 이용하여 상기 제2 특징 벡터 히스토그램과, 상기 서버(100)에 포함된 상기 제1 인덱스 데이터베이스(112)의 제1 특징 벡터 히스토그램과 비교하여 유사도를 결정할 수 있다.(S405a 및 S405b)
상기 제1 특징 벡터 히스토그램과 상기 제1 인덱스 데이터베이스(112)의 제1 특징 벡터 히스토그램과 유사도를 판단하는 단계는, 상기 히스토그램들을 n등분하여 각각의 등분영역의 값이 0이상일 때 '1'을 할당하고, 모두 0인 경우 '0'을 할당하는 단계(도 7a), 상기 등분영역의 해밍 거리(HAMMING DISTANCE)를 이용하여, 제1 임계값을 초과하는 경우 히스토그램 인터섹션(HISTOGRAM INTERSECTION) 수행 착수하는 단계(도 7b) 및 상기 두 히스토그램의 유사도를 측정하기 위해서 제2 임계값을 초과하는 경우, 트루(TRUE)를 즉, '유사함'결과값을 출력(리턴)할 수 있다.(S406 및 도 7c)
상기 히스토그램 인터섹션은 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 교집합 값의 총합을 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 합집합으로 나눈 값인 것으로 정의할 수 있다.(도 7d)
상기 유사도를 측정하여, 상기 두 개의 히스토그램이 유사한 경우에, 상기 서버(100)에 포함된 특징 벡터 매칭 모듈(131)에 의해 상기 두 개의 히스토그램에 상응하는 두 개의 특징 벡터, 즉 서버(100)에서 생성된 제2 특징 벡터와 단말기(200)에서 생성된 제3 특징 벡터의 유사도를 결정할 수 있다.
도 5는 본 발명의 일실시예에 따른 이미지 프레임의 히스토그램을 산출한 예이다.
도 5를 참조하면, 참조 영상 데이터베이스(110) 또는 질의 영상 데이터베이스(210)로부터 입력된 이미지 프레임은 RGB(컬러) 스케일에서 GRAY(그레이) 스케일로 변환되고, NxN 으로 리사이즈(RESIZING)되며(a), 모든 픽셀에 대하여 밝기 순으로 정렬되고, 상기 정렬된 리스트를 m등분하여 각 그룹에 0부터 m-1까지 라벨을 부여하며, 상기 각각의 픽셀에 대하여 픽셀의 밝기 값이 포함된 그룹의 라벨로 치환(b)한 후, 상기 영상을 중심으로부터 45도 간격으로 분할할 수 있다(c).
상기 나눠진 영역은 서브 영역이며, 상기 각각의 서브영역에 대하여 라벨값에 대한 히스토그램을 생성한다(d).
도 6은 본 발명의 양자화 과정을 도시한 것이다.
도 6을 참조하면, 본 발명의 서버(100)에서는 참조 영상 데이터베이스(110)로부터 참조 영상에 대한 제1 이미지 프레임을 추출하고(S601), 제1 코드북 추출 모듈(120)로부터 추출된 제1 특징 벡터에 기초하여 적어도 하나의 제1 중심 벡터들이 K개 생성될 수 있다.(S602)
동시에 참조 영상 데이터베이스(110)로부터 참조 영상 중에서, 제1 시간 동안 제2 이미지 프레임을 추출하고, 제1 특징 추출 모듈(121) 로부터 적어도 하나의 제2 특징 벡터를 추출한다.
상기 추출된 제2 특징 벡터와 상기 각각의 제1 중심 벡터들 사이의 거리(DISTANCE)를 연산하고 상기 연산값에 시그모이드(SIGMOID) 함수를 적용하여, 상기 제1 중심 벡터와 상기 제2 특징 벡터와 연산값을 누적할 때, 평활도(SMOOTHNESS)를 향상시킬 수 있다.(S603)
이상으로 본 발명의 바람직한 실시예에 따른 영상 검색 방법 및 시스템에 관하여 상세하게 설명하였다. 하지만 본 발명이 속하는 기술분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
따라서, 본 발명의 범위는 오직 뒤에서 설명할 특허 청구범위에 의해서만 한정된다.
110 : 참조 영상 데이터베이스 111 : 제1 코드북 데이터베이스
112 : 제1 인덱스 데이터베이스 120 : 제1 코드북 추출 모듈
121 : 제1 특징 추출 모듈 122 : 제1 벡터 양자화 모듈
130 : 히스토그램 매칭 모듈 131 : 특징 벡터 매칭 모듈
132 : 송수신 모듈(서버) 210 : 질의 영상 데이터베이스
221 : 제2 특징 추출 모듈 222 : 제2 벡터 양자화 모듈
232 : 송수신 모듈(단말기) 100 : 서버
200 : 단말기

Claims (26)

  1. 서버에 있어서,
    적어도 하나의 이미지 프레임을 포함하는 참조 영상에서, 적어도 하나의 제1 이미지 프레임들을 추출하고, 각각의 상기 추출된 제1 이미지 프레임에 대응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(grouping)하고, 상기 그룹핑된 상기 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하는 제1 코드북 추출 모듈;
    상기 제1 중심 벡터들이 저장되는 제1 코드북 데이터베이스;
    상기 참조 영상에서, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 각각의 상기 추출된 제2 이미지 프레임에 대응하는 적어도 하나의 제2 특징 벡터를 추출하는 제1 특징 추출 모듈;
    각각의 상기 제2 특징 벡터와 상기 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 제1 벡터 양자화 모듈을 포함하고,
    상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 입력되는 이미지 프레임을 색상 이미지에서 그레이(gray) 이미지 프레임으로 변환하는 것을 특징으로 하는, 서버.
  2. 제1항에 있어서,
    상기 서버는, 상기 제1 특징 추출 모듈에 의하여 추출된 상기 제2 특징 벡터와, 단말기에 의하여 추출된 제3 특징 벡터를 비교하여 유사도를 판단하는 특징 벡터 매칭 모듈을 더 포함하는 것을 특징으로 하는, 서버.
  3. 제1항에 있어서,
    상기 서버는, 상기 적어도 하나의 제1 이미지 프레임을 포함하는 참조 영상이 저장되는 참조 영상 데이터베이스와, 상기 적어도 하나의 제1 특징 벡터들 및 상기 적어도 하나의 제1 특징 벡터들에 대응하는 상기 제1 특징 벡터 히스토그램이 저장된 제1 인덱스 데이터베이스를 더 포함하는 것을 특징으로 하는, 서버.
  4. 제1항에 있어서,
    상기 서버는, 단말기와 소정의 정보를 통신망을 이용하여 송신 또는 수신하는 송수신 모듈을 더 포함하는 것을 특징으로 하는, 서버.
  5. 삭제
  6. 제1항에 있어서,
    상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 변환된 그레이 이미지 프레임에 존재하는 픽셀을 특정 기준에 따라 정렬하는 것을 특징으로 하는, 서버.
  7. 제6항에 있어서,
    상기 특정 기준은, 상기 변환된 그레이 이미지 프레임에 존재하는 픽셀이 가진 명도 및 밝기 중에서 어느 하나인 것을 특징으로 하는, 서버.
  8. 제1항에 있어서,
    상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 변환된 그레이 이미지 프레임을 정사각형 프레임으로 리사이징(resizing)하는 것을 특징으로 하는, 서버.
  9. 제1항에 있어서,
    상기 가중치를 부여하는 것은, 상기 거리 연산값에 시그모이드(sigmoid) 함수를 적용하는 것을 특징으로 하는, 서버.
  10. 제1항에 있어서,
    상기 서버는, 상기 제1 벡터 양자화 모듈에 의하여 생성된 상기 제1 특징 벡터 히스토그램과, 단말기에 의하여 생성된 제2 특징 벡터 히스토그램을 비교하여 유사도를 판단하는 히스토그램 매칭 모듈을 더 포함하고,
    상기 히스토그램 매칭 모듈은, 상기 제1 특징 벡터 히스토그램 및 상기 제2 특징 벡터 히스토그램을, 실수(real number) 등분하고, 각각의 등분을 2진수로 중에서 하나의 값을 할당하며, 히스토그램 인터섹션(histogram intersection)을 적용하여 상기 유사도를 판단하는 것을 특징으로 하는, 서버.
  11. 제10항에 있어서,
    상기 히스토그램 인터섹션은, 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 교집합 값의 총합을 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 합집합으로 나눈 값을 포함하는 것을 특징으로 하는, 서버.
  12. 영상 검색 방법에 있어서,
    서버에 포함된 제1 코드북 추출 모듈이, 참조 영상 데이터베이스에 저장된 적어도 하나의 이미지 프레임을 포함하는 참조 영상으로부터 적어도 하나의 제1 이미지 프레임들을 추출하고, 상기 각각의 추출된 제1 이미지 프레임에 대응하는 적어도 하나의 제1 특징 벡터를 추출하며, 상기 적어도 하나의 제1 특징 벡터들이 존재하는 제1 벡터 공간에서, 상기 적어도 하나의 제1 특징 벡터들을 그룹핑(grouping)하고, 상기 그룹핑된 적어도 하나의 제1 특징 벡터들의 적어도 하나의 제1 중심 벡터들을 생성하며, 상기 적어도 하나의 제1 중심 벡터들을 제1 코드북 데이터베이스에 저장하는 단계;
    상기 서버에 포함된 제1 특징 추출 모듈이, 상기 참조 영상 데이터베이스에 저장된 적어도 하나의 이미지 프레임을 포함하는 상기 참조 영상으로부터, 제1 시간 동안에 적어도 하나의 제2 이미지 프레임들을 추출하고, 상기 각각의 추출된 제2 이미지 프레임에 대응하는 적어도 하나의 제2 특징 벡터를 추출하는 단계;
    상기 서버에 포함된 제1 벡터 양자화 모듈이, 상기 제1 중심 벡터들과 상기 각각의 제2 특징 벡터 사이의 거리를 계산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제2 특징 벡터가 누적된 제1 특징 벡터 히스토그램을 생성하는 단계를 포함하고,
    상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나는, 입력되는 이미지 프레임을 색상 이미지에서 그레이 이미지 프레임으로 변환하는 것을 특징으로 하는, 영상 검색 방법.
  13. 제12항에 있어서,
    상기 서버에 포함되는 특징 벡터 매칭 모듈이, 상기 추출된 제2 특징 벡터와 단말기에 의하여 추출된 제3 특징 벡터를 비교하여 유사도를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
  14. 제12항에 있어서,
    상기 적어도 하나의 제1 이미지 프레임을 포함하는 참조 영상을 저장하는 단계; 및
    상기 적어도 하나의 제1 특징 벡터들 및 상기 적어도 하나의 제1 특징 벡터들에 대응하는 상기 제1 특징 벡터 히스토그램을 저장하는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
  15. 삭제
  16. 삭제
  17. 제12항에 있어서,
    상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나에 의하여, 변환된 그레이 이미지 프레임에 존재하는 픽셀(pixel)이 특정 기준에 따라 정렬되는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
  18. 제17항에 있어서,
    상기 특정 기준은, 상기 변환된 그레이 이미지 프레임에 존재하는 픽셀이 가진 명도 및 밝기 중에서 어느 하나인 것을 특징으로 하는, 영상 검색 방법.
  19. 제12항에 있어서,
    상기 제1 코드북 추출 모듈 및 상기 제1 특징 추출 모듈 중 적어도 하나에 의하여, 변환된 그레이 이미지 프레임이 정사각형 프레임으로 리사이징(resizing)되는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
  20. 제12항에 있어서,
    상기 가중치를 부여하는 것은, 상기 거리 연산값에 시그모이드(sigmoid) 함수를 적용하는 것을 특징으로 하는, 영상 검색 방법.
  21. 제12항에 있어서,
    상기 제1 벡터 양자화 모듈에 의하여 생성된 상기 제1 특징 벡터 히스토그램과, 단말기에 의하여 생성된 제2 특징 벡터 히스토그램을 비교하여 유사도를 판단하는 단계를 더 포함하고,
    상기 유사도를 판단하는 단계는, 상기 서버가, 상기 제1 특징 벡터 히스토그램 및 상기 제2 특징 벡터 히스토그램을 실수(real number) 등분하고, 각각의 등분을 2진수로 중에서 하나의 값을 할당하며, 히스토그램 인터섹션(histogram intersection)을 적용하여 상기 유사도를 판단하는 것을 특징으로 하는, 영상 검색 방법.
  22. 제21항에 있어서,
    상기 히스토그램 인터섹션은, 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 교집합 값의 총합을 상기 제1 특징 벡터 히스토그램과 상기 제2 특징 벡터 히스토그램의 합집합으로 나눈 값을 포함하는 것을 특징으로 하는, 영상 검색 방법.
  23. 단말기에 있어서,
    적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 상기 추출된 제3 이미지 프레임들의 각각에 대응하는 적어도 하나의 제3 특징 벡터를 추출하는 제2 특징 추출 모듈; 및
    각각의 상기 제3 특징 벡터와 제1 중심 벡터들 사이의 거리를 연산하여 가중치를 부여하고, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 제2 벡터 양자화 모듈을 포함하되,
    상기 제2 특징 추출 모듈은, 입력되는 이미지 프레임을 색상 이미지에서 그레이(gray) 이미지 프레임으로 변환하는 것을 특징으로 하는, 단말기.
  24. 제23항에 있어서,
    상기 단말기는 제1 코드북 데이터베이스에서 적어도 하나의 제1 중심 벡터 정보를 독출하는 것을 특징으로 하는, 단말기.
  25. 영상 검색 방법에 있어서,
    단말기에 포함되는 제2 특징 추출 모듈이, 적어도 하나의 이미지 프레임을 포함하는 질의 영상에서, 제2 시간 동안에 적어도 하나의 제3 이미지 프레임들을 추출하고, 상기 추출된 제3 이미지 프레임들의 각각에 대응하는 적어도 하나의 제3 특징 벡터를 추출하는 단계; 및
    상기 단말기에 포함되는 제2 벡터 양자화 모듈이, 제1 코드북 데이터베이스에 저장된 제1 중심 벡터 정보를 독출하고, 상기 독출된 제1 중심 벡터와 상기 제3 특징 벡터 사이의 거리를 연산하여 가중치를 부여하여, 상기 가중치가 부여된 각각의 제3 특징 벡터가 누적된 제2 특징 벡터 히스토그램을 생성하는 단계를 포함하되,
    상기 제2 특징 추출 모듈은, 입력되는 이미지 프레임을 색상 이미지에서 그레이(gray) 이미지 프레임으로 변환하는 것을 특징으로 하는, 영상 검색 방법.
  26. 제25항에 있어서,
    상기 단말기에 포함되는 제2 벡터 양자화 모듈이, 상기 제1 코드북 데이터베이스에서 적어도 하나의 제1 중심 벡터 정보를 독출하는 단계를 더 포함하는 것을 특징으로 하는, 영상 검색 방법.
KR1020130161072A 2013-12-23 2013-12-23 동영상의 근복사 검출 방법 및 시스템 KR101572330B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130161072A KR101572330B1 (ko) 2013-12-23 2013-12-23 동영상의 근복사 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161072A KR101572330B1 (ko) 2013-12-23 2013-12-23 동영상의 근복사 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20150073409A KR20150073409A (ko) 2015-07-01
KR101572330B1 true KR101572330B1 (ko) 2015-11-26

Family

ID=53786937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161072A KR101572330B1 (ko) 2013-12-23 2013-12-23 동영상의 근복사 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101572330B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263230B1 (ko) * 2020-01-15 2021-06-09 서강대학교 산학협력단 프레임 특징 벡터 융합을 이용한 비디오 부분 복사 검출 시스템 및 비디오 부분 복사 검출 방법
CN111836063B (zh) * 2020-07-02 2022-02-22 北京字节跳动网络技术有限公司 一种直播内容识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021605A1 (ja) 2009-08-18 2011-02-24 公立大学法人大阪府立大学 物体検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021605A1 (ja) 2009-08-18 2011-02-24 公立大学法人大阪府立大学 物体検出方法

Also Published As

Publication number Publication date
KR20150073409A (ko) 2015-07-01

Similar Documents

Publication Publication Date Title
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
CN110610510B (zh) 目标跟踪方法、装置、电子设备及存储介质
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN105027162B (zh) 图像解析装置、图像解析系统、图像解析方法
KR20210134528A (ko) 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN101300575A (zh) 图像处理
CN103988232A (zh) 使用运动流形来改进图像匹配
CN111382620B (zh) 视频标签添加方法、计算机存储介质和电子设备
CN110517270A (zh) 一种基于超像素深度网络的室内场景语义分割方法
JP6833617B2 (ja) 移動体追跡装置、移動体追跡方法およびプログラム
CN112101344A (zh) 一种视频文本跟踪方法及装置
CN117746015A (zh) 小目标检测模型训练方法、小目标检测方法及相关设备
US12056212B2 (en) Methods and systems for generating composite image descriptors
KR101572330B1 (ko) 동영상의 근복사 검출 방법 및 시스템
CN116994024A (zh) 集装箱图像中的部件识别方法、装置、设备、介质及产品
CN115115968A (zh) 视频质量评价方法、装置及计算机可读存储介质
CN114387600A (zh) 文本特征识别方法、装置、计算机设备和存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
KR101551237B1 (ko) 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템
CN114898221A (zh) 一种杆塔倾斜检测方法、装置、电子设备及介质
CN113808151A (zh) 直播图像的弱语义轮廓检测方法、装置、设备及存储介质
CN116740550B (zh) 一种冰柜图像完整性识别方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131223

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20140612

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141120

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150528

Patent event code: PE09021S01D

PG1501 Laying open of application
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150831

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20151120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20151120

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee