KR101400928B1 - 히스토그램을 이용한 고속 유사도 측정 방법 및 장치 - Google Patents

히스토그램을 이용한 고속 유사도 측정 방법 및 장치 Download PDF

Info

Publication number
KR101400928B1
KR101400928B1 KR1020130093326A KR20130093326A KR101400928B1 KR 101400928 B1 KR101400928 B1 KR 101400928B1 KR 1020130093326 A KR1020130093326 A KR 1020130093326A KR 20130093326 A KR20130093326 A KR 20130093326A KR 101400928 B1 KR101400928 B1 KR 101400928B1
Authority
KR
South Korea
Prior art keywords
histogram
bin
binary
similarity
image
Prior art date
Application number
KR1020130093326A
Other languages
English (en)
Inventor
원치선
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020130093326A priority Critical patent/KR101400928B1/ko
Application granted granted Critical
Publication of KR101400928B1 publication Critical patent/KR101400928B1/ko
Priority to PCT/KR2014/007264 priority patent/WO2015020422A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

히스토그램을 이용한 고속 유사도 측정 방법 및 이를 수행할 수 있는 유사도 측정 장치가 제공된다. 본 발명의 실시례에 따른 고속 유사도 측정 방법은 유사도 측정 대상 영상의 히스토그램을 생성하는 히스토그램 생성 단계, 상기 히스토그램을 기반으로 상기 유사도 측정 대상 영상의 이진수 열을 생성하는 메타데이터 생성 단계, 메타데이터 데이터베이스로부터 기준 영상의 이진수 열을 획득하여 상기 유사도 측정 대상 영상의 이진수 열과 매칭(matching)하는 매칭 단계 및 상기 매칭 결과를 출력하는 출력 단계를 포함한다.

Description

히스토그램을 이용한 고속 유사도 측정 방법 및 장치 {Method and apparatus of fast similarity matching using histograms}
본 발명은 디지털 영상처리에 관한 것으로서, 보다 상세하게는 영상의 특징을 나타내는 히스토그램을 이용하여 고속 유사도 측정을 가능하도록 하는 방법 및 장치에 관한 것이다.
히스토그램은 어떤 비교 대상의 양이나 수치 따위의 분포를 그에 비례하는 막대 모양의 도형으로 나타낸 그래프이다. 히스토그램을 통해 분석 대상 데이터에서 특정 요소의 발생 빈도를 손쉽게 파악할 수 있다. 디지털 영상 처리 분야에서 히스토그램은 분석 대상 영상 내의 밝기, 컬러, 혹은 에지(edge)의 발생 빈도를 막대 그래프를 통해 일목요연하게 나타내는 한 방법으로 이용될 수 있다.
히스토그램은 영상의 컬러나 에지의 특정 요소를 빈(bin)으로 하고 이들 특정 요소들의 발생 빈도를 그래프로 나타냄으로써 히스토그램으로부터 영상에 포함된 특징정보를 알 수 있다.
디지털 영상 처리 분야에서 영상을 검색하고, 분석하는 과정에서 입력된 영상의 히스토그램과 빈 단위 (bin-by-bin) 유사도 측정을 수행하여 저장된 기준 영상들과 입력 영상 사이에 유사도에 따른 검색이 가능하다.
종래의 방식은 히스토그램의 유사도 매칭이 히스토그램을 구성하는 빈 단위 (bin-by-bin)로 빈이 가지고 있는 실제 값들의 비교로 수행되므로 수행시간이 상대적으로 많이 걸리고 이진수로 표기된 히스토그램의 메터 데이터를 역부호화하여 히스토그램 빈(bin) 값을 재건해야 하는 과정을 거처야 한다는 단점이 있다.
최근 영상의 제작/보급이 간편해지면서 다양한 영상이 다양한 방면에서 제작, 활용되고 있다. 다양한 영상의 검색/활용을 위해 실시간 유사도 매칭이 가능한 방법 및 장치에 대한 고려가 필요하다.
KR2010-0057362 10
본 발명이 해결하고자 하는 과제는 디지털 이미지, 영상의 고속 유사도 측정 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 히스토그램을 이용하여 고속 유사도 측정 방법에 있어서 이용될 수 있는 이진 수열 생성 방법 및 이진 수열 생성 장치를 제공하는 것이다.
본 발명의 일 양태에 있어서, 본 발명의 실시예에 따른 고속 유사도 측정 방법은 유사도 측정 대상 영상의 히스토그램을 생성하는 히스토그램 생성 단계, 상기 히스토그램을 기반으로 상기 유사도 측정 대상 영상의 이진수 열을 생성하는 메타데이터 생성 단계, 메타데이터 데이터베이스로부터 기준 영상의 이진수 열을 획득하여 상기 유사도 측정 대상 영상의 이진수 열과 매칭(matching)하는 매칭 단계 및 상기 매칭 결과를 출력하는 출력 단계를 포함한다.
상기 유사도 측정 대상 영상의 이진수 열은 상기 유사도 측정 대상 영상의 히스토그램 빈(bin) 값에 대한 정보를 포함하고, 상기 유사도 측정 대상 영상의 이진수 열의 이진수 각각은 상기 히스토그램의 일 특징을 반영할 수 있다.
상기 메타데이터 생성 단계는 상기 히스토그램의 빈에 대하여 히스토그램 전체의 정보를 반영할 수 있도록 설정된 적어도 하나의 문턱치 T를 적용하여 상기 이진수 열을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 있어서, 본 발명의 실시례에 따른 히스토그램을 이용한 유사도 측정 장치는 유사도 측정 대상 영상의 히스토그램을 생성하는 히스토그램 생성부, 상기 히스토그램을 기반으로 상기 유사도 측정 대상 영상의 이진수 열을 생성하는 이진수 열 서술자 생성부 및 메타데이터 데이터베이스로부터 기준 영상의 이진수 열을 획득하여 상기 유사도 측정 대상 영상의 이진수 열과 매칭(matching)하는 이진비트열 매칭부를 포함한다.
영상의 특징을 나타내는 히스토그램(histogram) 정보를 이진수(binary number)의 열로 부호화하는 방법을 제공한다. 히스토그램을 구성하는 빈(bin)들의 값에 대한 상대적인 크기 관계를 이진수의 열로 나타냄으로써 히스토그램에 포함된 정보를 이진수 열에 반영할 수 있으며, 종래의 방법이 적용될 때 필요한 양자화된 히스토그램을 이진수로 부호화하기 위한 양자화 테이블이 필요하지 않으며, 본 발명의 실시례에 따라 생성된 이진수들은 직접적인 비트(bit) 단위 이진수 비교가 가능해 고속으로 이미지, 영상의 유사도를 측정할 수 있다.
도 1은 히스토그램 양자화 및 부호화 과정을 개략적으로 나타낸 블록도이다.
도 2는 히스토그램 유사도 매칭을 위한 역부호화 및 히스토그램 빈값 재생 과정을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 실시례에 따른 히스토그램 빈의 이진수 부호화 과정을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시례에 따른 비트 단위 히스토그램 유사도 매칭 과정을 개략적으로 나타낸 블록도이다.
도 5는 히스토그램 빈을 이진수 열로 변환하기 위한 비교기를 예시한 것이다.
도 6은 히스토그램 빈의 함수로 주어지는 K개의 문턱치를 활용한 이진수 열 발생을 예시한 블록도이다.
도 7은 3개의 문턱치를 갖는 경우의 이진수 열 생성 과정을 예시한 흐름도이다.
도 8은 3개의 문턱치를 갖는 경우의 이진수 열 생성의 예이다.
도 9 및 도 10은 본 발명의 실시례에 따른 히스토그램을 이용한 고속 유사도 측정 방법을 구현할 수 있는 장치의 구성을 개략적으로 나타낸 블록이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1은 히스토그램 양자화 및 부호화 과정을 개략적으로 나타낸 블록도이다.
히스토그램은 영상의 컬러나 에지 등, 특정 요소를 빈(bin)으로 하고 이들 특정 요소들의 발생 빈도를 그래프로 나타냄으로써 영상에 포함된 특징 정보를 효과적으로 나타낼 수 있다. 도 1은 검색 및 유사도 판단에 기준이 될 수 있는 기준영상으로부터 메타데이터를 생성하여 DB에 저장하는 과정을 간략히 나타낸 것이다.
기준 영상 1을 획득하여 기준 영상으로부터 히스토그램을 생성(S110)하고 생성된 히스토그램 빈(bin)을 양자화(quantization) 및 부호화(encoding)하여(S120), 이진 비트열 형태의 메타 데이터(meta data) 1을 생성한다. 생성된 메타 데이터 1은 메타 데이터 DB(50)에 저장된다.
상술한 과정은 N개의 기준 영상 각각에 대하여 이루어질 수 있다. 결과적으로 메타 데이터 DB(50)에는 N개의 기준 영상의 메타 데이터를 저장된다. 메타 데이터 DB(50)에 저장되는 메타 데이터의 수는 기준 영상의 수의 증감에 따라 증감될 수 있다.
도 2는 히스토그램 유사도 매칭을 위한 역부호화 및 히스토그램 빈값 재생 과정을 개략적으로 나타낸 블록도이다.
도 2의 과정은 유사 검색 대상 영상이 입력되었을 때, 메타 데이터 DB에 저장된 기준 영상과 유사 검색을 하는 과정일 수 있다. 도 2에서 테스트 영상은 유사 검색 대상 영상으로서 메타데이터 DB(50)에 저장되어 있는 메타데이터로부터 복원될 수 있는 기준 영상과의 유사 검색의 대상이 되는 영상으로 유사 검색 대상 영상이라 할 수 있다.
테스트 영상에 대해 도 2에서와 같이 이미 저장된 영상 중에 가장 유사한 영상을 검색하는 문제를 해결하기 위해 입력 영상과 데이터 베이스에 저장된 모든 기준 영상을 차례로 비교하는 대신 저장된 영상들의 히스토그램 메터 데이터를 역부호화하여 각 부호를 대표하는 히스토그램 빈의 대표값(representative value)으로 영상의 히스토그램을 재건한다. 재건된 기준 영상들의 히스토그램은 입력된 영상의 히스토그램과 빈 단위 (bin-by-bin) 유사도 측정을 수행하여 저장된 기준 영상들과 입력 영상 사이에 유사도에 따른 검색이 가능해진다.
테스트 영상이 입력되면 테스트 영상의 히스토그램을 생성(S210)한다. 메타데이터 DB(50)에 저장되어 있는 N개의 기준 영상은 각각 역부호화 및 히스토그램 재생(S201-1 내지 S230-N) 절차를 거쳐 히스토그램 1 내지 히스토그램 N을 생성한다. S201-1 내지 S230-N을 통해 생성된 N개 기준 영상의 히스토그램과 S210을 통해 생성된 테스트 영상의 히스토그램 매칭(S220) 절차를 거쳐 유사도 검색이 이루어진다. 히스토그램 매칭(S220)은 매칭 대상의 양 히스토그램을 빈 단위로 매칭하여 이루어진다.
도 1 및 도 2와 같은 히스토그램 빈 단위 (bin-by-bin) 매칭의 일예로 영상 검색의 국제 표준인 MPEG-7에서 사용 중인 각종 영상 서술자를 들 수 있다. 특히 영상 내에 존재하는 다섯 가지 방향의 에지에 대한 발생빈도를 나타내는 에지 히스토그램 서술자 (Edge histogram descriptor)의 경우 히스토그램 생성 후 히스토그램 빈을 0-1 사이로 정규화 (normalization) 한 각 빈의 값을 양자화 테이블을 참조하여 3 bits/bin 으로 고정길이 부호화를 하여 디지털 메터 데이터화 한다.
도 1 및 도 2와 함께 설명한 히스토그램을 이용한 유사도 측정 방법의 문제점은 히스토그램의 유사도 매칭이 히스토그램을 구성하는 빈 단위 (bin-by-bin)로 빈이 가지고 있는 실제 값들의 비교로 수행되므로 상대적으로 소요 시간이 증가한다는 점이다. 또한 이진수로 표기된 히스토그램의 메터 데이터를 역부호화하여 히스토그램 빈(bin) 값을 재건(재생성)하여야 한다는 점 또한 구성의 복잡도와 소요 시간의 증가를 초래한다.
최근의 이동 통신 단말기(카메라)를 통한 영상 검색 응용의 경우 단말기로 취득한 영상과 무선 인터넷으로 연결된 데이터 베이스의 기준 영상들에 대한 검색을 위해서는 실시간의 유사도 매칭 기술이 필요하다. 이와 같은 문제를 해결하기 위해 최근에 영상의 특징을 나타내는 메터 데이터를 역부호화가 필요 없이 비트 단위 (bit-by-bit)로 직접 수행 할 수 있는 방법이 필요하며, 본 발명은 상술한 문제점을 해결하기 위한 것이다.
본 발명의 실시례에 따른 유사도 측정 방법은 영상의 특징정보를 나타내는 기본 요소들의 발생 빈도를 나타내는 히스토그램을 이진수 열로 나타내고 비트 단위 (bit-by-bit)로 유사도 매칭을 수행할 수 있는 방법을 제시하여 실시간 유사도 매칭을 달성할 수 있도록 한다.
도 3은 본 발명의 실시례에 따른 히스토그램 빈의 이진수 부호화 과정을 개략적으로 나타낸 블록도이다.
도 3의 절차를 도 1과 비교하여 그 차이점을 중심으로 설명한다. 도 1 및 도 3의 절차는 기준 영상을 메타데이터로 변환하여 메타데이터 DB(50)에 저장하는 과정이라는 점에서 같다. 다만, 본 발명의 실시례에 따르면 메타데이터 DB(50)에 저장되는 메타데이터는 이진수 열 서술자로 이진비트 열 형태를 갖는다. 기준 영상에 대하여 히스토그램을 생성(S310)하고 생성된 히스토그램에 대하여 이진수 열 서술자를 생성(S320)하여 메타데이터 DB(50)에 저장한다.
도 4는 본 발명의 실시례에 따른 비트 단위 히스토그램 유사도 매칭 과정을 개략적으로 나타낸 블록도이다.
테스트 영상에 대하여 유사 검색을 수행하는 과정으로 도 2에서 설명한 방법과의 차이점을 중심으로 설명하면, 테스트 영상에 대하여 히스토그램을 생성(S410)하고, 이진수 열 서술자를 생성(S420)한다. 본 발명의 실시례에 따른 유사도 측정 방법에 있어서 메타데이터 DB(50)에 저장되어 있는 기준영상의 메타데이터는 이진비트 열 형태의 이진수 열 서술자이므로 도 2의 히스토그램 복원/생성 절차 없이 이진 비트열 매칭(S450)이 이루어진다. 따라서, 본 발명의 실시례에 따른 유사도 측정 방법은 종래의 방식에 비할 때 실시간 매칭에 보다 유리한 효과를 얻을 수 있다.
도 5는 히스토그램 빈을 이진수 열로 변환하기 위한 비교기를 예시한 것이다.
도 5의 비교기는 도 3 및 도 4의 S320, S420 과정에 적용될 수 있다. S320, S420의 히스토그램 빈으로부터 이진수 열을 생성하는 단계는 도 5와 같이 정규화된 실수값의 히스토그램 빈 H=[h(1) … h(N)]를 입력 받아 이들 빈 값들 사이의 상대적인 크기 정보를 활용하여 일련의 이진수 열 S=[s(1) … s(M)], s(m)∈{0,1}, 을 생성하는 단계라 할 수 있다.
실시례에 따라 히스토그램 빈 값으로 주어지는 문턱치 T1,…,TK를 사용할 수 있다. 예를 들어, 문턱치 없이 히스토그램 빈의 상대적인 크기 값만을 사용하는 경우 선택된 한 쌍의 히스토그램 빈 h(i)와 h(j)로부터 m번째의 이진수 s(m)을 다음의 수식 1과 같이 생성할 수 있다.
[수 1]
Figure 112013071339247-pat00001
좀 더 일반적인 경우에 히스토그램의 함수로 주어지는 문턱치를 사용하여 이진수 열을 생성할 수 있다.
도 6은 히스토그램 빈의 함수로 주어지는 K개의 문턱치를 활용한 이진수 열 발생을 예시한 블록도이다.
도 6을 참조하면 각각의 히스토그램 빈(h(1) … h(N))을 입력받아 T1 내지 TK, K개의 문턱치를 적용하여 일련의 이진수 열 s(1) 내지 s(K)를 생성한다.
수 2는 문턱치 비교를 통해 이진수를 생성하는 예를 나타낸 것이다.
[수 2]
Figure 112013071339247-pat00002
선택된 한 쌍의 히스토그램 빈 h(i)와 h(j)로부터 m번째의 이진수 s(m)을 얻는 수식 1에서 문턱치
Figure 112013071339247-pat00003
라고 할 수 있다.
본 발명의 실시례에 따른 이진수 열 생성 방법에 있어서 다양한 문턱치가 적용될 수 있다. 이 경우 총 K개의 문턱치가 주어지는 경우 도 6과 같이 각 히스토그램 빈에 의해 K개의 이진수가 생성되어, 결국 N개의 빈으로 이루어진 히스토그램에 대해 총 M=NK개의 이진수 열이 발생한다.
문턱치는 아래의 수식 3 내지 6과 같이 히스토그램의 전체적인 정보를 반영할 수 있도록 h(1)에서 h(N)의 모든 히스토그램의 빈들의 함수로 설정될 수 있으며, 실시의 일례로 다음의 수식 4 내지 수식 7과 같이 결정될 수 있다.
[수 3]
Figure 112013071339247-pat00004
[수 4]
Figure 112013071339247-pat00005
[수 5]
Figure 112013071339247-pat00006
[수 6]
Figure 112013071339247-pat00007
[수 7]
Figure 112013071339247-pat00008
상술한 문턱치 결정의 일례에서 수식 3의 문턱치 T1은 히스토그램의 빈 중에 최대값을 기준으로 그것에
Figure 112013071339247-pat00009
를 곱한 값보다 크거나 작은 경우를 이진수 발생의 근거로 하여 히스토그램 빈의 분포 중에 최대값을 갖는 빈을 중심으로 상대적인 빈의 크기를 반영한 것이며, 반대로 수식 4의 문턱치 T2는 히스토그램의 빈 중에 최소값을 기준으로 그것에
Figure 112013071339247-pat00010
를 곱한 값보다 크거나 작은 경우를 이진수 발생의 근거로 하여 히스토그램 빈의 분포 중에 최소값을 갖는 빈을 중심으로 상대적인 빈의 크기를 반영한 것이다.
수식 5의 문턱치 T3와 수식 6의 T4는 각각 히스토그램 빈의 최대와 최소의 평균값 및 중간값과의 비교를 통해 히스토그램 빈들 사이의 상대적인 크기의 분포를 이진수 생성에 반영한 것이며, 수식 7의 문턱치 T5는 빈의 정규화의 최대값 1을 빈의 총 개수(N)로 나눈 값을 기준으로 이진수를 생성함으로써 히스토그램이 특정 값의 빈에 집중되어 있는지 아니면 전체적으로 고르게 분포되어 있는지의 정보를 이진 수열에 반영할 수 있도록 한 것이다.
본 발명에서 사용될 수 있는 문턱치 결정 방법은 상기 수식에 한정되는 것은 아니며 예시한 결정 수식 이외에도 히스토그램 빈 값의 분포에 대한 정보를 나타낼 수 있는 다른 방법들도 사용될 수 있다. 일례로 히스토그램 빈들의 통계적인 정보를 나타내는 평균값이나 표준편차의 함수가 이용될 수 있다.
도 7은 3개의 문턱치를 갖는 경우의 이진수 열 생성 과정을 예시한 흐름도이다.
본 발명의 실시례에 따른 이진수 열을 생성하는 과정은 히스토그램 빈을 입력 받는 단계(S710), 히스토그램 빈의 최대값 및 최소값을 결정하는 단계(S720), 문턱치를 적용하여 이진 비트 열을 생성하는 단계(S730 내지 S760), 생성된 이진 비트 열을 출력하는 단계(S770)로 요약될 수 있다.
문턱치를 적용하여 이진수열을 생성하는 과정에서 3개의 문턱치를 적용하는 도 7의 예는 문턱치 적용하여 이진수 생성(1 생성) 여부를 결정하는 3개의 단계 S730, S740, S750 단계를 포함한다. S730, S740, S750의 각 단계에서 문턱치와의 비교를 통해 이진수 생성 여부를 결정하고, 전체 빈의 수 N회 만큼 반복(S760)하여 전체 이진수 열을 생성한다.
이하에서 도 7의 예에서 S730, S740, S750 각각에 적용되는 문턱치 T1, T2, T3를 각각 수식 3, 수식 5, 수식 4에 의한 경우를 예시로 하여 도 8과 함께 설명한다.
도 8은 3개의 문턱치를 갖는 경우의 이진수 열 생성의 예이다.
상술한 바와 같이 이진수 열은 도 7의 흐름도의 절차를 통해 생성되며, 문턱치 T1, T2, T3를 각각 수식 3, 수식 5, 수식 4에 의한다. 이때, 수식 3의
Figure 112013071339247-pat00011
=0.5,
Figure 112013071339247-pat00012
=1.5로 가정한다.
히스토그램 빈 h(1), h(2)가 도 8의 예와 같이 테스트 영상의 히스토그램 생성과정에서 얻어졌을 때, 얻어지는 이진수 열은 도 8의 SA 내지 SD와 같이 얻어질 수 있다.
표 1은 상술한 과정을 거쳐 생성된 이진수 열에 대해 해밍 거리 (Hamming Distance) 측정으로 계산한 유사도 비교표이다.
A B C D
A 0 6 2 4
B 6 0 4 2
C 2 4 0 2
D 4 2 2 0
표 1에서 확인할 수 있는 바와 같이, 히스토그램 A와 B의 해밍 거리가 6으로 가장 커서 두 히스토그램 사이의 유사도가 가장 낮으며, 히스토그램 A와 C, 히스토그램 B와 D, 히스토그램 C와 D는 모두 해밍 거리가 2로 각각 서로 유사함을 알 수 있다.
본 발명의 실시례에 따른 유사도 측정 방법은 히스토그램의 빈들 사이의 값들에 대한 상대적인 크기를 반영한 다양한 문턱치와 함수로 이진수 열을 생성할 수 있으며, 생성된 이진수 열은 각 이진수 마다 고유의 의미(semantic)을 가지고 있어 해당 의미에 적합한 영상을 이진수 열의 부분집합의 정합으로 검색할 수 있는 기능을 수행할 수 있다.
생성되는 이진수 열의 길이(혹은 문턱치의 개수)에 따라 검색 성능이 달라질 수 있으므로 생성된 이진수 열로 1차 검색하여 유사한 영상 집단에 대해 더욱 상세한 유사도 검색을 수행할 수 있다.
상술한 예에서 설명의 편의성을 위해 정지영상을 중심으로 기술하였으나, 본 발명의 실시례에 따른 유사도 측정 방법은 동영상에도 적용되어 동영상의 압축을 위한 전처리 방법으로 활용할 수 있다. 또한, 이미지 또는 영상으로부터 추출한 데이터 이외에 일반적인 히스토그램 데이터의 유사도 판단에도 적용될 수 있다.
도 9 및 도 10은 본 발명의 실시례에 따른 히스토그램을 이용한 고속 유사도 측정 방법을 구현할 수 있는 장치의 구성을 개략적으로 나타낸 블록이다.
본 발명의 실시례에 따른 히스토그램을 이용한 고속 유사도 측정 방법을 수행할 수 있는 장치는 도 9의 예와 같이 테스트 영상의 히스토그램을 생성하는 히스토그램 생성부(110), 히스토그램 빈으로부터 이진수 열을 생성하는 이진수 열 서술자 생성부(120), 이진 비트열 매칭부(130)를 포함한다. 히스토그램 생성을 위한 이미지, 영상 데이터의 입력을 획득하는 입력부(170) 및 유사도 측정 결과를 출력하는 출력부(180)를 더 포함할 수 있으며, 메타 데이터 DB(150)와 연동되어 있을 수 있다. 실시례에 따라서는 메타 데이터 DB(150)를 구성의 일부로 포함할 수 있다.
다른 실시의 일례에서 본 발명의 실시례에 따른 히스토그램을 이용한 고속 유사도 측정 방법을 수행할 수 있는 장치는 상술한 유사도 측정 방법이 구현될 수 있도록 설정된 프로세서(210) 및 데이터의 입/출력을 위한 입출력 인터페이스(270)로 구성될 수 있다. 이 경우에 메타데이터 DB(250)는 장치의 일부로 포함되거나 유사도 측정 장치와 연동되어 유사도 장치에 메타데이터를 제공할 수 있다.
한편, 본 발명의 실시예에 따른 유사도 측정 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (11)

  1. 히스토그램을 이용한 유사도 측정 방법에 있어서,
    유사도 측정 대상 영상의 히스토그램을 생성하는 히스토그램 생성 단계;
    상기 생성된 히스토그램의 빈(bin)에 대하여 히스토그램 전체의 정보를 반영할 수 있도록 설정된 적어도 하나의 문턱치 T를 적용하여 상기 유사도 측정 대상 영상의 이진수 열을 생성하는 메타데이터 생성 단계;
    메타데이터 데이터베이스로부터 기준 영상의 이진수 열을 획득하여 상기 유사도 측정 대상 영상의 이진수 열과 매칭(matching)하는 매칭 단계; 및
    상기 매칭 결과를 출력하는 출력 단계;를 포함하는 방법.
  2. 제1 항에 있어서,
    상기 유사도 측정 대상 영상의 이진수 열은 상기 유사도 측정 대상 영상의 히스토그램 빈 값에 대한 정보를 포함하고, 상기 유사도 측정 대상 영상의 이진수 열의 이진수 각각은 상기 히스토그램의 일 특징을 반영하는 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기 문턱치 T는 하기 수식으로 결정되고, 상기 히스토그램의 빈과 상기 문턱치 T와의 크기 비교를 통해 상기 이진수 열을 생성하는 방법.
    Figure 112014045243029-pat00013

    여기서,
    Figure 112014045243029-pat00014
    은 상기 히스토그램의 빈,
    Figure 112014045243029-pat00015
    는 1보다 작은 가중치임.
  5. 제1 항에 있어서,
    상기 문턱치 T는 하기 수식으로 결정되고, 상기 히스토그램의 빈과 상기 문턱치 T와의 크기 비교를 통해 상기 이진수 열을 생성하는 방법.
    Figure 112014045243029-pat00016

    여기서,
    Figure 112014045243029-pat00017
    은 상기 히스토그램의 빈,
    Figure 112014045243029-pat00018
    는 1보다 큰 가중치임.
  6. 제1 항에 있어서,
    상기 문턱치 T는 하기 수식으로 결정되는 방법.
    Figure 112014045243029-pat00019

    여기서,
    Figure 112014045243029-pat00020
    은 상기 히스토그램의 빈.
  7. 제1 항에 있어서,
    상기 문턱치 T는 하기 수식으로 결정되는 방법.
    Figure 112014045243029-pat00021

    여기서,
    Figure 112014045243029-pat00022
    은 상기 히스토그램의 빈.
  8. 제1 항에 있어서,
    상기 문턱치 T는 하기 수식으로 결정되는 방법.
    Figure 112014045243029-pat00023

    여기서, N은 상기 히스토그램의 빈의 총 수.
  9. 유사도 측정 대상 영상의 히스토그램을 생성하는 히스토그램 생성부;
    상기 생성된 히스토그램의 빈(bin)에 대하여 히스토그램 전체의 정보를 반영할 수 있도록 설정된 적어도 하나의 문턱치 T를 적용하여 상기 유사도 측정 대상 영상의 이진수 열을 생성하는 이진수 열 서술자 생성부; 및
    메타데이터 데이터베이스로부터 기준 영상의 이진수 열을 획득하여 상기 유사도 측정 대상 영상의 이진수 열과 매칭(matching)하는 이진비트열 매칭부;를 포함하는 히스토그램을 이용한 유사도 측정 장치.
  10. 제9 항에 있어서,
    상기 유사도 측정 대상 영상의 이진수 열은 상기 유사도 측정 대상 영상의 히스토그램 빈 값에 대한 정보를 포함하고, 상기 유사도 측정 대상 영상의 이진수 열의 이진수 각각은 상기 히스토그램의 일 특징을 반영하는 히스토그램을 이용한 유사도 측정 장치.
  11. 삭제
KR1020130093326A 2013-08-06 2013-08-06 히스토그램을 이용한 고속 유사도 측정 방법 및 장치 KR101400928B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130093326A KR101400928B1 (ko) 2013-08-06 2013-08-06 히스토그램을 이용한 고속 유사도 측정 방법 및 장치
PCT/KR2014/007264 WO2015020422A1 (ko) 2013-08-06 2014-08-06 히스토그램을 이용한 고속 유사도 측정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130093326A KR101400928B1 (ko) 2013-08-06 2013-08-06 히스토그램을 이용한 고속 유사도 측정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101400928B1 true KR101400928B1 (ko) 2014-06-27

Family

ID=51131300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130093326A KR101400928B1 (ko) 2013-08-06 2013-08-06 히스토그램을 이용한 고속 유사도 측정 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101400928B1 (ko)
WO (1) WO2015020422A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706516B2 (en) 2016-09-16 2020-07-07 Flir Systems, Inc. Image processing using histograms
CN116819318B (zh) * 2023-07-04 2024-01-12 赫义博自动化科技(江苏)有限公司 一种电机故障检测方法、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530781A (ja) * 1998-11-20 2002-09-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データベースを用いて画像を獲得するシステム
KR20060054540A (ko) * 2004-11-16 2006-05-22 삼성전자주식회사 얼굴 인식 방법 및 장치
KR100977713B1 (ko) 2003-03-15 2010-08-24 삼성전자주식회사 영상신호의 글자 인식을 위한 전처리 장치 및 방법
KR20130084437A (ko) * 2012-01-17 2013-07-25 성균관대학교산학협력단 실시간 얼굴 인식 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530781A (ja) * 1998-11-20 2002-09-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データベースを用いて画像を獲得するシステム
KR100977713B1 (ko) 2003-03-15 2010-08-24 삼성전자주식회사 영상신호의 글자 인식을 위한 전처리 장치 및 방법
KR20060054540A (ko) * 2004-11-16 2006-05-22 삼성전자주식회사 얼굴 인식 방법 및 장치
KR20130084437A (ko) * 2012-01-17 2013-07-25 성균관대학교산학협력단 실시간 얼굴 인식 장치

Also Published As

Publication number Publication date
WO2015020422A1 (ko) 2015-02-12

Similar Documents

Publication Publication Date Title
EP3477506B1 (en) Video detection method, server and storage medium
CA2814401C (en) Vector transformation for indexing, similarity search and classification
US8477836B2 (en) System and method for comparing an input digital video to digital videos using extracted and candidate video features
EP2657884B1 (en) Identifying multimedia objects based on multimedia fingerprint
KR100471927B1 (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
CN104376003A (zh) 一种视频检索方法及装置
US10387731B2 (en) Systems and methods for extracting and matching descriptors from data structures describing an image sequence
US20160335493A1 (en) Method, apparatus, and non-transitory computer-readable storage medium for matching text to images
KR20140045585A (ko) 피쳐 위치 정보의 코딩
CN111382620B (zh) 视频标签添加方法、计算机存储介质和电子设备
KR101634395B1 (ko) 시퀀스 간의 비교 방법, 그 장치, 및 컴퓨터 프로그램 제품
KR101400928B1 (ko) 히스토그램을 이용한 고속 유사도 측정 방법 및 장치
JP2015201042A (ja) ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム
Wu et al. Self-similarity-based partial near-duplicate video retrieval and alignment
JP4447602B2 (ja) 信号検出方法，信号検出システム，信号検出処理プログラム及びそのプログラムを記録した記録媒体
US20140270541A1 (en) Apparatus and method for processing image based on feature point
CN103092935A (zh) 一种基于sift量化的近似拷贝图像检测方法
JP6134246B2 (ja) ハッシュ関数生成方法、ハッシュ値生成方法、ハッシュ関数生成装置、ハッシュ値生成装置、ハッシュ関数生成プログラム及びハッシュ値生成プログラム
CN115455083A (zh) 查重方法、装置、电子设备及计算机存储介质
Thakre et al. An effective CBVR system based on motion, quantized color and edge density features
KR20140104789A (ko) 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치
JP2015201041A (ja) ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム
Bailer et al. Temporal Compression and Fast Matching of Hand-Crafted and Deep Features of Video Segments
CN117251598A (zh) 视频检索方法
CN112632329A (zh) 视频提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170515

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 6