KR100556832B1 - 영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법 - Google Patents

영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법 Download PDF

Info

Publication number
KR100556832B1
KR100556832B1 KR20037005476A KR20037005476A KR100556832B1 KR 100556832 B1 KR100556832 B1 KR 100556832B1 KR 20037005476 A KR20037005476 A KR 20037005476A KR 20037005476 A KR20037005476 A KR 20037005476A KR 100556832 B1 KR100556832 B1 KR 100556832B1
Authority
KR
South Korea
Prior art keywords
image
edge
images
edges
edge histogram
Prior art date
Application number
KR20037005476A
Other languages
English (en)
Other versions
KR20040028658A (ko
Inventor
박수준
원치선
박동권
김현진
박성희
장명길
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20040028658A publication Critical patent/KR20040028658A/ko
Application granted granted Critical
Publication of KR100556832B1 publication Critical patent/KR100556832B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은, 다수의 영상을 대표하는 영상정보를 갖는 데이터 베이스 구축 방법에 있어서, 대상 영상에 대하여, 각각 5개의 정규화 에지 히스토그램 빈을 포함하고 부영상에 포함된 4개의 방향성 에지와 하나의 비방향성 에지로 이루어진 5개의 기준 에지들의 공간분포를 나타내는 L (L은 양의 정수)개의 에지 히스토그램을 생성하기 위해 Lx5 개의 정규화 에지 히스토그램 빈을 계산하는 제 a단계; 상기 대상 영상에 대하여 Lx5 개의 양자화 색인값을 생성하기 위해 상기 Lx5 개의 정규화 에지 히스토그램 빈을 비선형적으로 양자화하는 제 b단계; 상기 Lx5 개의 양자화 색인값을 데이터베이스에 저장하는 제 c단계; 및 상기 영상정보를 갖는 데이터베이스를 구성하기위해 저장된 모든 영상들이 처리될 때까지 상기 제 a 내지 c단계를 반복하는 제 d단계로 이루어 지는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터 베이스 구축 방법.
영상검색, 비선형, 양자화, 유사도, 매칭, 데이터베이서, 대상 영상

Description

영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법{Non-linear quantization and similarity matching methods for retrieving image data}
본 발명은 영상검색방법에 관한 것으로, 보다 상세하게는, 감소된 비트를 갖는 에지 히스토그램 기술자의 비트 표현을 구성하는 방법과 그 기술자의 부호화된 표현에서 효과적으로 추출된 정보를 사용함으로써 영상정보를 검색하는 방법에 관한 것이다.
JPEG(Joint Photographic Experts Group)은 정지영상의 국제적인 표준이고, MPEG-1 (Moving Picture Experts Group-1) 및 MPEG-2는 동영상의 국제적 표준이다. 압축영상 정보에서, 각 영상의 특징적인 정보는 추출 후 키 프레임 추출, 영상 검색, 브라우징 등에 응용된다.
특징 정보를 추출하기 위해, 명암 또는 컬러 히스토그램이 널리 사용된다. 명암 히스토그램 및 컬러 히스토그램은 각각 한 영상에서 명암 및 컬러(적,녹 또는 청)의 상대적 빈도를 나타낸다. 특히, 최근에는 정지 영상 및 디지털 동영상 히스토그램을 이용한 비교방법이 많이 제안되고 있다. 히스토그램이 영상검색 및 화면 경계 탐지 (shot boundary detection)에 사용됨에 따라, 기존의 히스토그램 기술이 향상되게 될 것이다. 즉, 에지 히스토그램과 같이 영상내용을 보다 효율적으로 나타낼 히스토그램 기술자를 사용할 필요가 있다는 것이다. 또한, 기술자를 이진수로 표현하는 것도 간결해져야 하고, 유사도 매칭을 위한 계산도 덜 복잡해져야 한다.
화면경계 탐지를 위해 컬러 히스토그램 및 에지 맵을 사용하는 방법이 미국 특허 5,805,733 ("Method and System for Detecting Scenes and Summarizing Video Sequences")에 개시되어있다. 상기 발명이 비록 인간의 시각 시스템에 비하여 색 정보를 추출해내는데 효과적이기는 하나, 명암정보를 추출해 내지는 못한다.
또, 색 정보를 수신한 후 히스토그램 인터섹션법(histogram intersection technique)을 사용하여 영상간의 유사도를 측정하여 색인하는 방법이 논문에 개시되어있다(M. J. Swain, et al., "Color Indexing," International Journal of Computer Vision, Vol. 7-1, pp.11-32, 1991). 그러나, 이 방법은 명암 및 에지 정보를 사용하지 않아, 정확성이 보장되지 않는다. 또한, 기존의 방법들에 이산 양자화법을 사용하여 히스토그램들을 발생시키므로, 똑같은 효과를 얻는데 상대적으로 많은 수의 히스토그램 빈(histogram bin)들이 필요하다.
결과적으로, 저장 및 유사도 측정에 있어 비효율적이다. 게다가, 기존에는 특징적인 영상이 픽셀로 추출되므로, 이 방법을 사용하면 특징정보가 제한적으로 발생된다는 문제가 있다.
한편, 히스토그램이 영상검색 등에 널리 사용되므로, 최근에는 히스토그램 정보를 효율적으로 저장할 수 있는 방법이 요구된다. 기존의 히스토그램 저장방법 에 따르면, 히스토그램 빈 값이 선형 양자화를 이용한 정규화를 통해 정해진 크기의 저장영역에 저장된다. 그 결과, 비트량이 증가로 인해 히스토그램 저장에 대한 상기 선형 정규화 방법은 문제점을 야기시킨다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 다수의 영상을 보다 적은 비트 수로 표현하는 영상정보를 저장하는 데이터베이스를 구성하는 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 고속 및 높은 정확도를 가진 데이터베이스에 기반해 질의 영상에 해당하는 이미지를 검색하는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명은, 다수의 영상을 대표하는 영상정보를 갖는 데이터 베이스 구축 방법에 있어서, 대상 영상에 대하여, 각각 5개의 정규화 에지 히스토그램 빈을 포함하고 부영상에 포함된 4개의 방향성 에지와 하나의 비방향성 에지로 이루어진 5개의 기준 에지들의 공간분포를 나타내는 L (L은 양의 정수)개의 에지 히스토그램을 생성하기 위해 Lx5 개의 정규화 에지 히스토그램 빈을 계산하는 제 a단계; 상기 대상 영상에 대하여 Lx5 개의 양자화 색인값을 생성하기 위해 상기 Lx5 개의 정규화 에지 히스토그램 빈을 비선형적으로 양자화하는 제 b단계; 상기 Lx5 개의 양자화 색인값을 데이터베이스에 저장하는 제 c단계; 및 상기 영상정보를 갖는 데이터베이스를 구성하기위해 저장된 모든 영상들이 처리될 때까지 상기 제 a 내지 c단계를 반복하는 제 d단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 데이터베이스를 기반으로 질의 영상에 대한 해당 영상을 검색하는 방법에 있어서, 상기 질의 영상에 대하여, 각각 부영상에 포함된 4개의 방향성 에지와 하나의 비방향성 에지로 이루어진 5개의 기준 에지들의 공간 분포를 나타내는 L개(단, L은 양의 정수)의 로컬 에지 히스토그램을 상기 질의 영상의 영상 기술자로 계산하는 제 a단계; 상기 데이터베이스의 영상정보에 따라, 각 대상영상에 대해 L개의 로컬 에지 히스토그램을 포함하는, 상기 대상영상에 대한 다수의 영상 기술자를 추출하는 제 b단계; 상기 질의 영상에 대한 영상 기술자를 대상 영상의 각 영상 기술자와 비교하여 비교결과를 생성하는 제 c단계; 및 상기 비교결과에 따라 상기 질의 영상과 유사한 최소한 하나의 대상 영상을 검색하는 제 d단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 대상 영상에 대하여 에지 히스토그램 기술자의 비트 대표를 구성하는 방법에 있어서, 상기 대상 영상을 16개의 부영상으로 분할하고, 각각의 부영상은 S x K개의(단, S 및 K는 양의 정수) 영상블록으로 분할하는 제 a단계; 4개의 방향성 에지 및 하나의 비방향성 에지를 포함하는 5개의 기준 에지들 중 하나를 각 영상블록에 할당하여 상기 대상 영상에 대하여 각각 80개의 에지 히스토그램 빈을 포함하는 16개의 에지 히스토그램을 생성하는 제 b단계; S x K를 사용하여 각 에지 히스토그램에 포함되어 있는 상기 에지 히스토그램 빈을 정규화함으로써 각각 0과 1사이의 실수를 갖는 80개의 정규화 에지 히스토그램 빈을 생성하는 제 c단계; 및 80개의 정규화 에지 히스토그램 빈을 비선형적으로 양자화하여 80개의 양 자화 색인값을 상기 대상영상에 대한 제 2 영상 기술자로 생성하는 제 d단계를 포함하여 이루어진 것을 특징으로 한다.
도 1은 본 발명에 따른 다수의 해당 영상을 위한 영상 기술자를 가진 데이터베이스를 구축하는 과정을 나타낸 블록도.
도 2는 영상 기술자에 의해 나타내어지는, 16개의 부영상 (sub-image)를 갖는 영상의 설명도.
도 3a 내지 3e는 본 발명에 따른 에지 결정과정에 사용될 다섯 가지 종류의 에지를 묘사한 예시도.
도 4는 각각 필터 계수가 할당된 4개의 부블록(sub-block)으로 나뉜 영상블록을 나타낸 설명도.
도 5a 내지 5e는 각 이미지 블록의 부블록들이 5종의 에지에 해당하는 필터 계수들을 가진 이미지 블록들을 나타낸 설명도.
도 6은 한 영상에 대응하는 80개의 에지 히스토그램 빈을 나열한 설명도.
도 7은 로이드-맥스 (Lloyd-Max) 양자화기를 이용한 비선형 양자화와 선형 양자화 사이의 검색 성능 차이를 나타낸 그래프.
도 8a 및 8b는 본 발명에 따른, 각각 입력되는 질의 영상에 응답하여 요구되는 영상을 검색하는 과정을 설명하는 블록도.
도 9a 내지 9c는 본 발명에 따른, 반구형 에지 히스토그램에 제공된 13 개 부영상 집합들을 나타낸 예시도.
이하에서는, 첨부된 도면을 참조하여 본 발명에 따른 최적 실시예들을 설명한다.
도 1은 본 발명에 따른 다수의 해당 영상을 위한 영상 기술자를 가진 데이터베이스를 구축하는 과정을 나타낸 블록도이다. 처리 블록 S101에서, 입력된 영상은 N x N 개의 부영상 (예를 들어 4x4개의 부영상, 단, N은 양의 정수)으로 분할된다. 분할된 부영상들은 상기 영상을 위한 제 1 영상 기술자가 추출되는 처리블록 S103으로 연결된다. 즉, 에지의 다양성을 이용하여 각 부영상을 위한 에지 히스토그램을 얻는다. 그리고 나서, 상기 영상을 위한 80개의 정규화 로컬 에지 히스토그램 빈(normalized local edge histogram bins)들은 제 1 영상 기술자로서 처리블록 S105에 연결된다.
처리블록 S105에서, 상기 제 1 영상 기술자는 비선형적으로 양자화되어 제 2 영상 기술자인 양자화 색인값 그룹을 생성한다. 이 후, 상기 영상의 제 2 영상 기술자는 데이터베이스 S107로 입력되어 저장된다. 상기 과정은 상기 제 2 영상기술자를 이용해 표현될 상기 영상 모두가 처리될 때까지 반복된다.
도 2 내지 6은 상기 제 1도에서 설명된 제 1영상 기술자를 구하기 위한 과정을 나타낸 설명도이다. 도 2를 참조하면, 해당되는 제 1영상 기술자를 구하기 위해, 입력 영상(200)은 N x N 개의 서로 겹치지 않는 부영상들로 분할된다. 예를 들 어, 상기 영상은 4 x 4개의 부영상들로 분할되어 16개의 사각형 부영상 (211 내지 226)을 형성한다. 각각의 부영상은 다수의 픽셀을 포함한다.
상기에 기술된 바와 같이, 상기 제 1 영상 기술자는 각 부영상을 위한 에지 히스토그램을 생성하는 정규화 에지 히스토그램 빈들을 나타낸다. 상기 에지 히스토그램은 부영상에서의 에지들의 공간 분포를 나타낸다.
상기 에지 히스토그램을 추출하기 위해, 각 부영상은 M x K 개의 서로 겹치지 않는 사각형의 영상블록들로 분할된다. 상기 영상블록의 크기는 상기 영상의 크기에 따라 다르다. 각 영상블록은 영상블록이 그 에지중 하나를 사용하여 묘사되는 에지 결정과정에서 사용된다.
본 발명의 일실시예에 따라, 도 3a 내지 3e를 참조하면, 상기 에지 결정과정은 다섯 가지 에지를 포함하며, 그 중 한 에지가 영상블록을 위해 선택된다. 상기 에지에는 수직형, 수평형, 45°형 및 135°형 (301, 303, 305 및 307) 에지와 같은 방향성 에지 및 특정 방향을 가리키지 않는 최소한 하나의 비방향성 에지를 포함한다.
하나의 부영상을 위한 에지 히스토그램을 생성하기 위해서는 영상블록으로부터 에지 특징을 찾아내는 것이 중요하다. 즉, 상기 에지 결정과정은 영상블록에 어떤 에지를 할당할지 결정하기 위한 것이다. 이러한 에지추출은 공간 영역에서 디지털 필터를 이용하는 방법을 사용하여 실행된다.
도 4를 참조하면, 상기 에지 결정 과정에서, 영상블록은 4개의 부블록들로 분할된다. 즉, 도면에서 보는 바와 같이, 도면번호 400은 영상블록을, 그리고 도 면번호 411, 413, 415 및 417은 각각 영상블록(400)을 위한 0, 1, 2 및 3으로 표시된 부블록들을 나타낸다. 여기서 각 부블록은 해당 필터계수를 할당받아 에지 크기 집합을 구할 수 있다.
본 발명의 바람직한 일실시예에 따르면, 각 영상블록(400)을 2 x 2 부블록들로 분할하고, 각 부블럭을 0, 1, 2 또는 3으로 표시한다.
각 영상블록에 대하여, 다음의 수학식들을 사용하여 다섯 가지 종류의 에지에 해당하는 다섯 가지 에지크기들의 집합을 구한다.
Figure 112003013815511-pct00001
Figure 112003013815511-pct00002
Figure 112003013815511-pct00003
Figure 112003013815511-pct00004
Figure 112003013815511-pct00005
여기서, m v (i,j), m h (i,j), m d-45 (i,j), m d-135 (i,j) 및 m nd (i,j) 각각은 (i,j) 번째 영상블록을 위한 수직형, 수평형, 45°형, 135°형 및 비방향성 에지 크기를 나타낸다. 또, a k (i,j) 는 (i,j) 번째 영상블럭에서 k라고 표시된 부블럭에 대한 평균 그레이 스케일을 나타낸다. 그리고, f v (k), f h (k), f d-45 (k), f d-135 (k) 및 f nd (k)는 각각 수직형, 수평형, 45°형, 135°형 및 비방향성 에지들에 대한 필터 계수들을 나타낸다. 여기서 k=0, 1, 2 및 3은 각각의 부블록을 나타낸다.
도면에서, 도면번호 501, 503, 505, 507 및 509는 각각 상기 수직형, 수평형, 45°형, 135°형 및 비방향성 에지들에 대한 필터 계수들을 나타낸다. 각 영상블록은 다섯 가지 에지 크기들 중에서 선택된 에지 크기를 사용하여 나타낼 수 있다. 여기서 각각의 크기는 각 에지들에 대하여 계산된다.
하나의 영상블록에 해당하는 에지를 결정하기 위해, 상기 수학식들을 통해 얻어진 다섯 가지 에지 크기들을 서로 비교한다. 비교결과, 나머지 에지들보다 상 대적으로 최대인 에지 크기를 갖는 에지로 상기 영상블록을 나타낸다. 여기서, 상기 최대 에지크기는 소정의 임계값보다 커야 한다. 만약 최대 에지 크기가 임계값보다 작을 경우, 그 영상블록은 에지를 포함하지 않는 것으로 결정한다.
상기 영상블록을 위해 선택된 에지가 에지 크기들간의 비교를 통해 결정되면, 상기 부영상을 위한 해당 에지 히스토그램 빈을 하나 증가 시킨다. 에지 히스토그램 빈에는 수직형, 수평형, 45°형 형, 135°형 형 및 비방향성 빈의 다섯 가지 종류가 있다. 상기 다섯 가지 에지 히스토그램 빈들은 에지 히스토그램을 나타내는데 필요한 구성요소들이다. 상기 부영상에 포함된 모든 영상블록에 대해 해당 에지들을 찾아낸 후, 찾아낸 각 에지들에 해당하는 에지 히스토그램 빈을 하나 더 증가시켜 로컬 에지 히스토그램이라는 부영상을 위한 에지 히스토그램을 생성한다. 16개의 부영상 모두에 대하여, 상기의 에지 결정(detection) 및 에지 히스토그램 생성과정을 실행한다.
상기 로컬 에지 히스토그램은 한 부영상에 있어서의 다섯 가지 에지 종류들의 분포를 나타낸다. 즉, 하나의 부영상에 대한 에지 히스토그램을 나타내는 것이다. 부영상의 수는 16개로 정해져 있고 각 부영상은 5개의 에지 히스토그램 빈들을 할당받고 있으므로, 상기 16개의 부영상 모두에 대한 해당 로컬 에지 히스토그램을 생성하기 위해서는 80개의 에지 히스토그램 빈이 필요하다. 즉, 빈(Bin)의 번호에 따른 각 빈의 의미는 표 1에서와 같이 정의된다.
Figure 112003013815511-pct00006
여기서, 빈[0], 빈[1], ..., 빈[79]는 각각 에지 히스토그램 기술자의 최종 부호화 비트를 나타낸다.
도 6은 한 영상에 대응하는 80개의 에지 히스토그램 빈을 나열한 설명도이다. 예를 들어, 도 2의 (0,0)에 위치한 부영상(211)에 대한 로컬 에지 히스토그램은 도 6에서 보여지는 바와 같이 각각 수직형, 수평형, 45°형, 135°형 및 비방향성인 에지 히스토그램 빈들(600, 601, 602, 603 및 604)을 포함한다. 마찬가지로, 도 2의 (0,1)에 위치한 부영상 (212)에 해당하는 로컬 에지 히스토그램은 5개의 에지 히스토그램 빈들(605, 606, 607, 608 및 609)을 부영상 (211)의 빈들과 동일한 순서로 포함한다. 따라서, 16개 부영상 모두에 대해 각각 16개의 로컬 에지 히스토그램을 생성하기 위해서는 총 80개의 에지 히스토그램 빈을 필요로 한다. 여기서, 상기 80개의 빈들은 5개의 에지 히스토그램 빈들을 16개의 부영상들에 곱함으로써 계산된다.
제 1 영상 기술자를 구하기 위해, 하나의 부영상을 위한 로컬 에지 히스토그램의 각 에지 히스토그램 빈은 각 빈을 부영상에 포함된 영상블록의 총 수로 나눔으로써 정규화 된다. 따라서, 상기 로컬 에지 히스토그램을 위한 에지 히스토그램 빈 각각은 0 에서 1까지의 범위에 있는 빈 값을 갖게 된다. 상기 영상을 위한 정규화 빈 값들은 제 1 영상 기술자로서 도 1의 처리블록 S105로 연결된다. 처리블록 S105에서, 상기 제 1 영상 기술자는 다수의 양자화 표를 사용하여 비선형적으로 양자화된다.
즉, 제 2 영상 기술자를 구하기 위해, 상기 정규화 빈 값들은 양자화되어 이진수로 표현된다. 상기 양자화는 상기 80개의 빈 값 모두에 대해 실행된다. 여기서, 상기 정규화 빈 값들은 비선형적으로 양자화되므로, 상기 이진수로 표현하기 위해 사용되는 전체 비트 수는 최소화된다.
그 결과, 일단의 양자화 색인값들을 제 2 영상 기술자로 구할 수 있게 된다. 상기 비선형 양자화는, 예를 들어, 본 발명의 일실시예에 따라 로이드-맥스 알고리즘으로 설계된, 비선형 양자를 사용하여 실행된다.
상기 양자화를 위해서, 표 2 내지 6와 같이, 수직형 에지, 수평형 에지, 45°형 에지 135도 에지 및 비방향성 에지 히스토그램 빈 에 대한 5개의 비선형 양자 화 표가 각각 사용된다.
Figure 112003013815511-pct00007
Figure 112003013815511-pct00008
Figure 112003013815511-pct00009
Figure 112003013815511-pct00010
Figure 112003013815511-pct00011
본 발명의 상기 양자화 표에서, 빈 당 최적의 비트 수는 여덟 개의 양자화 레벨을 갖기 위해 3으로 고정되었다. 그 후 상기 제 2 영상 기술자는 데이터베이스에(S107) 저장되어, 질의 영상입력에 응답하여 검색된다.
도 7은 로이드-맥스 (Lloyd-Max) 양자화기를 이용한 비선형 양자화 및 선형 양자화 간의 검색성능 차이를 나타낸 그래프다. 도면에서 보는 바와 같이, 그래프의 Y축은 검색 성능을 나타내는 평균 정규화 수정 검색 등급 (Average Normalized Modified Retrieval Rank: ANMRR)를 나타내고, X축은 양자화 표들을 생성하는데 있어서의 에지 빈 당 비트 수에 따른 영상 당 비트 수를 나타낸다. 실선 (700)과 점선 (701)은 각각 비선형 양자화와 선형 양자화를 사용했을 때의 검색 성능을 말한다. 직선(700)에서 볼 수 있듯이, 만약 에지 빈 당 비트 수가 3이라고 할 때, 3 비 트를 80 에지 히스토그램 빈에 곱하면 얻어지는 영상 당 비트 수는 240이 된다. 상기 평균 정규화 수정 검색 등급(ANMRR)은 0에서 1 사이의 실수이다. 평균 정규화 수정 검색 등급(ANMRR)이 0에 가까울수록, 검색 성능, 즉 검색 정확도는 높아진다. 따라서, 각 에지 히스토그램 빈에 3 비트 씩 할당하는 것은 검색 성능이나 비트 발생량 모두를 고려할 때 가장 효율적인 엔코딩을 실행하게 한다.
도 8a 및 8b는 본 발명의 바람직한 실시예에 따른, 각각 입력되는 질의 영상에 응답하여 요구되는 영상을 검색하는 과정을 설명하는 블록도이다.
질의 영상은 수신 된 후, 상기 도 1의 처리 블록 S101 및 S103과 같은 방법으로 처리된다. 즉, 상기 질의 영상에 대한 제 1 영상 기술자가 상기에 기술된 방법으로 얻어진다. 상기 제 1 영상 기술자는 상기 질의 영상에 대한 정규화 에지 히스토그램 빈들을 포함한다.
다음으로, 상기 질의 영상에 대한 로컬 에지 히스토그램, 구형 에지 히스토그램 및 반구형 에지 히스토그램들이 상기 정규화 에지 히스토그램 빈에 따라 영상 기술자로 생성된다. 구형 에지 히스토그램은 전체 영상 구역에서의 에지 분포를 나타낸다. 상기 구형 에지 히스토그램 및 반구형 에지 히스토그램은 이하에서 더 자세히 기술된다.
한편, 도 8a를 참조하면, 본 발명의 바람직한 실시예에 따른, 다수의 비선형 역양자화 표를 사용하여 입력된 질의 영상에 대한 원하는 영상을 검색하는 제 1 방법이 도면에 설명되어있다. 여기서, 상기 비선형 역양자화 표는 상기의 표 2, 3, 4, 5 및 6이 될 수 있다.
질의 영상이 입력되면, 상기 처리블록 S101과 같은 과정, 즉, 영상 분할 과정 이 처리블록 S801에서 실행된다.
처리블록 S803에서는, 상기 처리블록 S103과 동일한 과정, 즉, 에지 히스토그램 생성과정이 실행된다.
높은 검색 성능을 얻기 위해, 상기 질의 영상에 대한 구형 에지 히스토그램과 반구형 에지 히스토그램이 상기 처리블록 S803에서 생성된 로컬 에지 히스토그램 빈에 따라 처리블록 S805에서 더 생성될 수 있다.
데이터 매칭 과정을 위해, 대상 영상에 해당하는 다수의 제 2 영상 기술자들이 이미 설정된 데이터베이스 S107로부터 순차적으로 검색을 실행한다. 저장되어있는 대상영상을 위해서는, 일단의 양자화 색인값들을 검색하여 상기 비선형 역양자화 표 S807로 연결된다. 상기 비선형 역양자화 표의 사용을 통해, 양자화 색인값들이 대상영상을 위한 정규화 에지 히스토그램 빈들로 전환된다.
처리블록 S809에서, 상기 정규화 에지 히스토그램 빈들은 로컬 에지 히스토그램 빈, 구형 에지 히스토그램 및 반구형 에지 히스토그램을 추출하는 데 사용된다. 즉, 검색 성능을 높이기 위해, 정규화 에지 히스토그램, 구형 에지 히스토그램 및 반구형 에지 히스토그램을 포함하는 로컬 에지 히스토그램들이 데이터 매칭 과정에서 대상 영상을 위한 영상 기술자로 사용된다. 데이터 매칭 과정(S811)에서, 질의 영상 A와 질의 영상 B의 로컬, 반구형 및 구형 에지 히스토그램들 간의 거리를 계산함으로써, 상기 두 영상 상이의 유사도는 다음과 같이 결정된다.
Figure 112003013815511-pct00012
여기서, Local_A[i] 와 Local_B[i]는 각각 대상 영상 A 및 B의 빈[i]의 각 로컬 에지 히스토그램 빈들에 할당된 색인값들을 나타내고, Global_A[] 및 Global_B[]는 대상 영상 A 및 B의 빈[i]의 각 구형 에지 히스토그램 빈들에 할당된 색인값들, 그리고 Semi_Global_A[] 및 Semi_Global_B[]는 대상 영상 A 및 B의 각 반구형 에지 히스토그램들의 i번째 빈들에 할당된 색인값들을 나타낸다.
상기 구형 에지 히스토그램의 빈 수는 로컬 및 반구형 에지 히스토그램들의 빈 수 보다 상대적으로 적으므로, 가중치 5가 상기 수학식에 적용된다.
상기에 기술한 바와 같이, 수학식 6 및 역양자화 표를 사용하여 두 영상 A와 B 사이의 유사도를 측정할 수 있다. 이 경우, 상기 영상을 위한 에지 히스토그램 빈 값은 상기 역양자화 표를 참조하여 복호화 될 수 있으므로, 수학식 6은 복잡하나 정확한 검색을 위한 응용분야에서 널리 사용된다. 여기서, 상기 역양자화 표 각각은 표 2 내지 6에 나타난 에지 양자화 표 각각에 대응한다. 상기 과정은 모든 대상 영상이 처리될 때까지 반복된다.
한편, 도 8b를 참조하면, 본 발명의 바람직한 실시예에 따라, 다수의 비선형 역양자화 표를 사용하여 입력된 질의 영상에 대응하는 원하는 영상을 검색하는 제 2 방법이 도면에 설명되어 있다. 즉, 제 2 방법에서는, 영상에 대한 로컬 에지 히 스토그램들이 상기 역양자화 표들이 없이 고속으로 저장될 수 있다.
입력된 질의 영상에 대하여, 상기에 기술된 바와 같이 상기 처리블록 S801, S803 및 S805의 과정들이 실행된다. 처리 블록 S808에서는, 양자화 색인값 집합을 상기 데이터베이스 S107에서 검색한다. 이 양자화 색인값 집합은 정규화되어 정규화 색인값 집합을 생성하고, 처리블록 S810으로 연결된다.
처리블록 S810에서, 정규화 색인값들은 상기 저장된 영상을 위한 에지 히스토그램 빈들의 값으로 사용된다. 즉, 상기 저장영상을 위한 구형 에지 히스토그램 및 반구형 에지 히스토그램은 상기 복호화된 영상의 로컬 에지 히스토그램 빈 값이라는 정규화 에지 히스토그램 빈 값들에 따라 생성된다.
처리블록 S812에서, 상기 질의 영상와 상기 복호화된 영상의 로컬, 반구형 및 구형 에지 히스토그램을 포함하는 영상 기술자들 간의 거리를 계산하여 두영상, 즉 질의 영상 A와 대상영상 B 사이의 유사도를 결정한다.
비선형 양자화 표에서 에지 히스토그램 빈 값이 단조롭게 증가하므로, 본 발명에 양자화 표 각각은 에지 발생률이 높은 0 부근 일부 구간들에서 선형적으로 증가하는 특성을 갖는다. 이것은 색인값 집합 자체가 영상 검색과정에서 역양자화 표를 참조하지 않고도 유사도를 측정할 수 있는 값으로 사용될 수 있음을 의미한다.
다음에 나온 수학식 7은 상기 저장 영상을 위한 색인값에 따라 직접 구해진 두 영상 A와 B사이에서 에지 히스토그램의 거리를 구하는데 사용된다.
Figure 112003013815511-pct00013
유사도는 또, 상기 역양자화 표의 부분 선형적 특성을 고려하여 상기 수학식 7과 암호화된 색인값 집합을 사용함으로써 측정될 수 있다. 따라서, 도 8b에 설명된 검색과정이 도 8a의 검색과정보다 더 빠름을 알 수 있다.
도 9a 내지 9c는 본 발명에 따른, 반구형 에지 히스토그램에 제공된 13개의 부영상 집합들을 나타낸 예시도이다. 에지 결정을 위해 영상 영역들을 설정하기 위해, 도 2와 같이, 영상을 사등분으로 수직 및 수평분할하여 16개의 부영상을 형성한다. 또한, 영상의 크기에 상관없이 항상 16개의 부영상이 형성되므로, 상기 영상의 양자화 색인값들은 고정된 비트 길이로 부호화되어 데이터베이스에 저장될 수 있다.
각 부영상으로부터 부호화된 로컬 에지 히스토그램들은 서로 결합하여 구형 에지 히스토그램 및 반구형 에지 히스토그램들의 추가적인 에지 히스토그램을 획득하도록 재사용될 수 있다.
구형 에지 히스토그램은 16분할된 한 영상의 부영상들을 위한 로컬 에지 히스토그램을 결합함으로써 생성된다. 상기에서 설명한 바와 같이, 각 에지 히스토그램은 수직형, 수평형, 45°형, 135°형 및 비방향성 에지 히스토그램 빈 등 다섯 가지 에지 히스토그램 빈들을 포함하고 있다. 16개의 로컬 에지 히스토그램을 결합하기 위해서는, 각 에지 히스토그램으로부터의 16개의 수직형 에지 히스토그램 빈들을 더해야 한다. 같은 방식으로, 수직형, 수평형, 45°형, 135°형 및 비방향성 에지 히스토그램 빈들을 합산한다. 따라서, 구형 에지 히스토그램으로부터 전체 영상에 대한 에지 분포정보를 획득할 수 있다.
도 9a 내지 9c를 다시 참조하면, 각 행 1 내지 4에 수직방향으로 포함된 4개의 부영상들로 이루어진 집합 4개는 각각 차례로 부영상 (901, 903, 905 및 906)의 제 1 내지 제 4 집합으로 설정된다. 그리고, 각 열 5 내지 8에 수평방향으로 포함된 4개의 부영상들로 이루어진 집합 4개는 각각 차례로 부영상(909, 911, 913 및 915)의 제 5 내지 제 8열로 설정된다. 또한, 네 개의 부영상들로 이루어진 집합 5개는 부영상(917, 919, 921, 923 및 925)들의 제 9, 10, 11, 12, 13 집합으로 설정된다.
상기 제 9 내지 13 집합은 (917, 919, 921, 923 및 925) 각각, 영상의 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단에 위치한 부영상을 갖는다. 그리고, 제 13 집합 (925)는 영상의 중앙을 중심으로 4개의 부영상을 포함한다. 상기 부영상 (901 내지 925)의 제 1 내지 13 집합들은 65개의 에지 히스토그램 빈을 포함한다. 여기서 에지 히스토그램 빈의 수 65는 총 부영상 수인 13과 각 부영상을 위한 에지 히스토그램 빈의 수인 5를 곱하여 얻어진다. 결과적으로, 4개의 부영상들로 이루어진 집합 13개에 대하여, 65 에지 히스토그램 빈을 갖는 반구형 에지 히스토그램들이 생성된다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 두 영상들 간의 유사도를 결정하기 위해 상기 로컬 에지 히스토그램을 위한 80개의 에지 히스토그램 빈 뿐 아니라 상기 반구형 에지 히스토그램 및 상기 구형 에지 히스토그램을 위한 다섯 개의 에지 히스토그램 빈들 65개의 에지 히스토그램 빈을 사용함으로써, 시스템 검색 효율성이 향상된다.
특히, 상기 13개의 집합은 영상에서의 물체의 위치변화에 덜 민감한 특성으로 인해, 반구형 에지 히스토그램을 생성하기 위해 각각 4개의 부영상들로 이루어진 상기 13개의 집합을 선정함으로써, 검색 성능을 향상시킬 수 있다.
본 발명에 따르면 양자화 색인값 저장에 필요한 비트 수가 크게 줄어들 수 있다. 또, 유사도를 계산하는데 있어서의 복잡함도 비선형 양자의 사용으로 상당히 감소될 수 있다.

Claims (40)

  1. 다수의 영상을 대표하는 영상정보를 갖는 데이터 베이스 구축 방법에 있어서,
    대상 영상에 대하여, 각각 5개의 정규화 에지 히스토그램 빈을 포함하고 부영상에 포함된 4개의 방향성 에지와 하나의 비방향성 에지로 이루어진 5개의 기준 에지들의 공간분포를 나타내는 L (L은 양의 정수)개의 에지 히스토그램을 생성하기 위해 Lx5 개의 정규화 에지 히스토그램 빈을 계산하는 제 a단계;
    상기 대상 영상에 대하여 Lx5 개의 양자화 색인값을 생성하기 위해 상기 Lx5 개의 정규화 에지 히스토그램 빈을 비선형적으로 양자화하는 제 b단계;
    상기 Lx5 개의 양자화 색인값을 데이터베이스에 저장하는 제 c단계; 및
    상기 영상정보를 갖는 데이터베이스를 구성하기위해 저장된 모든 영상들이 처리될 때까지 상기 제 a 내지 c단계를 반복하는 제 d단계
    를 포함하는 다수의 영상을 대표하는 영상정보를 갖는 데이터 베이스 구축 방법.
  2. 제 1항에 있어서,
    상기 방향성 에지들은,
    수직형, 수평형, 45°형 및 135°형 에지를 포함하고,
    상기 비방향성 에지는 상기 4가지 방향성 에지들을 제외한, 정해진 방향이 없는 에지를 나타내는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  3. 제 2항에 있어서,
    상기 수직형, 수평형, 45°형, 135°형 및 비방향성 에지는 각각 다음과 같이 표현되는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112003013815511-pct00014
  4. 제 3항에 있어서,
    상기 제 a단계는,
    상기 대상 영상을 L개의 부영상으로 분할하고 각각의 부영상은 S x K (단, S 및 K는 양의 정수)개의 영상블록으로 분할하는 제 a1단계;
    상기 기준 에지들 중 하나를 각 영상블록에 할당하여 상기 대상 영상에 대하여 각각 L x 5개의 에지 히스토그램 빈을 포함하는 L개의 에지 히스토그램을 생성 하는 제 a2단계; 및
    한 부영상에 포함된 영상블록의 수인 S x K로 상기 에지 히스토그램 빈을 정규화하여 각각 0과 1사이의 실수를 갖는 L x 5개의 정규화 에지 히스토그램 빈을 생성하는 제 a3단계
    를 포함하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  5. 제 4항에 있어서,
    상기 제 a1단계는,
    상기 대상 영상을 N x N(단, N은 양의 정수)개의 서로 겹치지 않는 부영상으로 분할하여 L(단, L = N x N)개의 사각형 부영상을 형성하는 제 a1-1단계; 및
    각 부영상을 S x K개의 서로 겹치지 않는 블록들로 분할하여 S x K개의 사각형 영상블록을 형성하는 제 a1-2단계
    를 포함하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  6. 제 5항에 있어서,
    상기 제 a2단계는,
    상기 기준 에지들 중 하나를 각 영상블록에 할당하는 제 a2-1단계; 및
    상기 대상 영상에 대한 L개의 에지 히스토그램을 생성하기 위하여, 각 부영상에 포함된 기준 에지의 수를 카운팅하는 제 a2-2단계
    를 포함하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  7. 제 6항에 있어서,
    상기 제 a2-1단계는,
    각 영상블록을 2 x 2개의 부블록들로 분할하는 제 a2-11단계;
    상기 5개의 기준에지들에 대한 필터계수를 각 부블록에 할당하는 제 a2-12단계;
    각 영상블록을 위한 5개의 에지들에 해당하는 다섯 가지 에지 크기들의 집합을 계산하는 제 a2-13단계; 및
    상기 계산된 에지 크기들을 서로 비교하여, 상기 영상블록을 최대 에지 크기를 갖는 에지로 표현하는 제 a2-14 단계
    를 포함하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  8. 제 7항에 있어서,
    상기 다섯 가지 에지 크기는 다음 5개의 수학식으로부터 구해지되,
    Figure 112005058884899-pct00015
    여기서, mv(i,j), mh(i,j), md-45(i,j), md-135(i,j) 및 mnd(i,j) 각각은 (i,j) 번째 영상블록을 위한 수직형, 수평형, 45°형, 135°형 및 비방향성 에지 크기를 나타내고, ak(i,j) 는 (i,j) 번째 영상블럭에서 k라고 표시된 부블럭에 대한 평균 그레이 스케일(grey scale)을 나타내며, fv(k), fh(k), fd-45(k), fd-135(k) 및 fnd(k)는 각각 수직형, 수평형, 45°형, 135°형 및 비방향성 에지들에 대한 필터 계수들을 나타내는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  9. 제 7항에 있어서,
    상기 최대 에지 크기가 소정의 임계값보다 작을 경우, 상기 영상블록은 에지 를 하나도 포함하지 않는 것으로 나타내지게 되는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  10. 제 1항에 있어서,
    상기 제 b단계는,
    각각 특정 기준에지에 대응하는 5개의 비선형 양자화 표 중 해당 비선형 양자화 표를 사용함으로써, 각 정규화 에지 히스토그램 빈을 비선형적으로 양자화하는 제 b1단계를 포함하는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  11. 제 10항에 있어서,
    상기 제 b1단계는,
    각 정규화 에지 히스토그램 빈을 각 해당 기준 에지 양자화 표에 포함된 대표값으로 맵핑하는 제 b2-1단계; 및
    각 정규화 에지 히스토그램 빈을 위한 대표값을 나타내는 양자화 색인값 3 비트를 생성하여 Lx5개의 양자화 색인값을 상기 대상 영상의 제 2 영상 기술자로 생성하는 제 b2-2단계
    를 포함하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방 법.
  12. 제 10항에 있어서,
    상기 정규화 에지 히스토그램 빈들은, 로이드-맥스(Lloyd-Max) 알고리즘을 기반으로 하는 비선형 양자를 사용하며 비선형적으로 양자화 되는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  13. 제 5항에 있어서,
    상기 N은 4인 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
  14. 제 12항에 있어서,
    상기 양자화 표는 상기 부영상에서 수직형 에지들의 갯수를 나타내는 다음과 같은 수직형 에지 히스토그램 빈을 위한 표를 포함하는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112003013815511-pct00016
  15. 제 12항에 있어서,
    상기 양자화 표는 상기 부영상에서 수평형 에지들의 갯수를 나타내는 다음과 같은 수평형 에지 히스토그램 빈을 위한 표를 더 포함하는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112003013815511-pct00017
  16. 제 12항에 있어서,
    상기 양자화 표는 상기 부영상에서 45°형 에지들의 갯수를 나타내는 다음과 같은 45°형 에지 히스토그램 빈을 위한 표를 더 포함하는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112003013815511-pct00018
  17. 제 12항에 있어서,
    상기 양자화 표는 상기 부영상에서 135°형 에지들의 갯수를 나타내는 다음과 같은 135°형 에지 히스토그램 빈을 위한 표를 더 포함하는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112003013815511-pct00019
  18. 제 12항에 있어서,
    상기 양자화 표는 비방향성 에지들의 갯수를 나타내는 다음과 같은 비방향성 에지 히스토그램 빈을 위한 표를 더 포함하는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112003013815511-pct00020
  19. 제 6항에 있어서,
    L = 16인 경우, 빈(Bin)의 번호에 따른 에지 히스토그램 빈 각각의 의미는 다음과 같이 정의되는 것을 특징으로 하는 다수의 영상을 대표하는 영상정보를 갖는 데이터베이스 구축방법.
    Figure 112005058884899-pct00021
  20. 데이터베이스를 기반으로 질의 영상에 대한 해당 영상을 검색하는 방법에 있어서,
    상기 질의 영상에 대하여, 각각 부영상에 포함된 4개의 방향성 에지와 하나의 비방향성 에지로 이루어진 5개의 기준 에지들의 공간 분포를 나타내는 L개(단, L은 양의 정수)의 로컬 에지 히스토그램을 상기 질의 영상의 영상 기술자로 계산하는 제 a단계;
    상기 데이터베이스의 영상정보에 따라, 각 대상영상에 대해 L개의 로컬 에지 히스토그램을 포함하는, 상기 대상영상에 대한 다수의 영상 기술자를 추출하는 제 b단계;
    상기 질의 영상에 대한 영상 기술자를 대상 영상의 각 영상 기술자와 비교하여 비교결과를 생성하는 제 c단계; 및
    상기 비교결과에 따라 상기 질의 영상과 유사한 최소한 하나의 대상 영상을 검색하는 제 d단계
    를 포함하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  21. 제 20항에 있어서,
    상기 로컬 에지 히스토그램 각각은 기준 에지들에 해당하는 5개의 에지 히스토그램 빈을 갖는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  22. 제 20항에 있어서,
    상기 방향성 에지들은 수직형, 수평형, 45°형 및 135°형 에지를 포함하며, 상기 비방향성 에지는 상기 네 가지 방향성 에지들을 제외한, 정해진 방향이 없는 에지를 나타내는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  23. 제 22항에 있어서,
    상기 제 a단계는,
    상기 질의 영상을 각각 S x K(단, S 및 K는 양의 정수)개의 영상블록으로 분할될 N x N개의 서로 겹치지 않는 부영상들로 분할하여 L(단, L = N x N)개의 사각형 부영상들을 형성하는 제 a1 단계;
    상기 기준 에지들 중 하나를 각 영상블록에 할당하여 각각 L x 5개의 에지 히스토그램 빈을 포함하는 상기 질의 영상에 대한 L개의 에지 히스토그램을 생성하는 제 a2단계; 및
    한 부영상에 포함된 영상블록의 수인 S x K로 상기 에지 히스토그램 빈을 정규화하여 각각 0과 1 사이의 실수를 갖는 L x 5개의 정규화 에지 히스토그램 빈을 생성하는 제 a3단계
    를 포함하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  24. 제 23항에 있어서,
    상기 제 a2단계는,
    상기 기준 에지들 중 하나를 각 영상블록에 할당하는 제 a2-1단계; 및
    각 부영상에 포함된 기준 에지의 수를 카운팅하여 상기 질의 영상에 대한 L개의 에지 히스토그램을 생성하는 제 a2-2단계
    를 포함하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  25. 제 17항에 있어서,
    상기 제 a2-1단계는,
    각 영상블록을 2 x 2개의 부블록들로 분할하는 제 a2-11단계;
    상기 5개의 기준에지들에 대한 필터계수를 각 부블록에 할당하는 제 a2-12단계;
    상기 필터계수를 사용하여 각 영상블록을 위한 5개의 에지들에 해당하는 다섯 가지 에지 크기들의 집합을 계산하는 제 a2-13단계; 및
    상기 계산된 에지 크기들을 서로 비교하여, 상기 영상블록을 최대 에지 크기를 갖는 에지로 나타내는 제 a2-14 단계
    를 포함하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  26. 제 25항에 있어서,
    상기 다섯 가지 에지 크기를 다음의 수학식 5개로부터 획득하되,
    Figure 112003013815511-pct00022
    여기서, m v (i,j), m h (i,j), m d-45 (i,j), m d-135 (i,j) 및 m nd (i,j) 각각은 (i,j) 번째 영상블록을 위한 수직형, 수평형, 45°형, 135°형 및 비방향성 에지 크기를 나타내고, a k (i,j) 는 (i,j) 번째 영상블럭에서 k라고 표시된 부블럭에 대한 평균 그레이 스케일을 나타내며, f v (k), f h (k), f d-45 (k), f d-135 (k) 및 f nd (k)는 각각 수직형, 수평형, 45°형, 135°형 및 비방향성 에지들에 대한 필터 계수들을 나타내는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  27. 제 25항에 있어서,
    상기 최대 에지 크기가 소정의 임계값보다 작을 경우, 상기 영상블록은 에지를 하나도 포함하지 않는 것으로 나타내지는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  28. 제 23항에 있어서,
    질의 및 대상 영상들에 대한 상기 영상 기술자들은 각각 상기 L x5개의 정규화 에지 히스토그램 빈에 따라 N x N개의 구형 에지 히스토그램 및 R개의(단, R은 양의 정수) 반구형 에지 히스토그램을 더 포함하며,
    상기 구형 에지 히스토그램은 상기 질의 및 대상 영상들의 전체 공간상에서의 에지 분포를 나타내고, 각 반구형 에지 히스토그램은 상기 질의 및 대상 영상들의 부영상들의 해당 집합에서의 에지 분포를 나타내는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  29. 삭제
  30. 제 28항에 있어서,
    상기 N과 R은 각각 4와 13인 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  31. 제 30항에 있어서,
    각 4개의 부영상들로 이루어진 13개의 집합 각각에 대하여 상기 13개의 반구형 에지 히스토그램이 생성되고, 상기 13개의 집합은 (각각 수직방향으로 형성된 상기영상의 제 1내지 4 행에) 4개의 부영상들을 포함하고 있는 4개의 집합과 (수평방향으로 형성된 상기 영상의 제 1 내지 4열에) 4개의 부영상들을 포함하고 있는 4개의 집합으로 이루어졌고, 상기 4개의 집합 각각은 해당 부영상 및 그 부영상을 이웃한 3개의 부영상을 포함하며, 상기 해당 부영상은 각각 좌측상단, 우측 상단, 좌측 하단 및 우측 하단에 위치하며, 상기 영상의 중앙을 중심으로 4개의 부영상을 포함하는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  32. 제 20항에 있어서,
    상기 제 b단계는,
    각 대상 영상에 대하여 L x 5개의 양자화 색인값을 검색하는 제 b1단계;
    다섯 가지 비선형 역양자화 표를 사용하여 상기 L x 5개의 양자화 색인값 각각을 L x 5개의 각 대상 영상에 대한 정규화 에지 히스토그램 빈으로 전환하는 제 b2단계; 및
    L x 5개의 정규화 에지 히스토그램 빈에 따라 L개의 로컬 에지 히스토그램을 생성하는 제 b3단계
    를 포함하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  33. 제 32항에 있어서,
    상기 b단계는,
    상기 L x 5개의 정규화 에지 히스토그램 빈에 따라, 각 대상 영상에 대하여 N x N개의 구형 에지 히스토그램 및 R개의 반구형 에지 히스토그램을 더 생성하는 제 b4단계를 더 포함하며,
    상기 구형 에지 히스토그램은 상기 질의 및 대상 영상들의 전체 공간상에서의 에지 분포를 나타내고, 각 반구형 에지 히스토그램은 상기 질의 및 대상 영상들의 부영상들의 해당 집합에서의 에지 분포를 나타내는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  34. 제 20항에 있어서,
    상기 제 b단계는,
    각 대상 영상에 대하여 L x 5개의 양자화 색인값을 검색하는 제 b1단계;
    상기 L x 5개의 양자화 색인값을 정규화하여 상기 L x 5개의 양자화 색인값 각각을 L x 5개의 각 대상 영상에 대한 정규화 에지 히스토그램 빈으로 전환하는 제 b2단계; 및
    L x 5개의 정규화 에지 히스토그램 빈에 따라 L개의 로컬 에지 히스토그램을 생성하는 제 b3단계
    를 포함하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  35. 제 34항에 있어서,
    상기 제 b단계는,
    상기 L x 5개의 정규화 에지 히스토그램 빈에 따라, 각 대상 영상에 대하여 N x N개의 구형 에지 히스토그램 및 R개의 반구형 에지 히스토그램을 더 생성하는 제 b4단계를 더 포함하며,
    상기 구형 에지 히스토그램은 상기 질의 및 대상 영상들의 전체 공간상에서의 에지 분포를 나타내고, 각 반구형 에지 히스토그램은 상기 질의 및 대상 영상들의 부영상들의 해당 집합에서의 에지 분포를 나타내는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  36. 제 33항에 있어서,
    상기 제 c단계는,
    다음의 수학식에 따라 상기 질의 영상과 대상 영상 간의 거리를 측정하되,
    Figure 112003013815511-pct00023
    여기서, Local_A[i] 와 Local_B[i]는 각각 대상 영상 A 및 B의 빈[i]의 각 로컬 에지 히스토그램 빈들에 할당된 색인값들을 나타내고, Global_A[] 및 Global_B[]는 대상 영상 A 및 B의 빈[i]의 각 구형 에지 히스토그램 빈들에 할당된 색인값들, 그리고 Semi_Global_A[] 및 Semi_Global_B[]는 대상 영상 A 및 B의 빈[i]의 각 반구형 에지 히스토그램 빈들에 할당된 색인값들을 나타내는 단계를 포함하는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
  37. 제 35항에 있어서,
    상기 제 c단계는,
    다음의 수학식에 따라 상기 질의 영상과 대상 영상 간의 거리를 측정하는 단계를 포함하는 것을 특징으로 하는 데이터베이스에 따른 질의 영상에 대한 해당 영상 검색방법.
    Figure 112003013815511-pct00024
    여기서, Local_A[i] 와 Local_B[i]는 각각 대상 영상 A 및 B의 빈[i]의 각 로컬 에지 히스토그램 빈들에 할당된 색인값들을 나타내고, Global_A[] 및 Global_B[]는 대상 영상 A 및 B의 빈[i]의 각 구형 에지 히스토그램 빈들에 할당된 색인값들, 그리고 Semi_Global_A[] 및 Semi_Global_B[]는 대상 영상 A 및 B의 빈[i]의 각 반구형 에지 히스토그램 빈들에 할당된 색인값들을 나타낸다.
  38. 대상 영상에 대하여 에지 히스토그램 기술자의 비트 대표를 구성하는 방법에 있어서,
    상기 대상 영상을 16개의 부영상으로 분할하고, 각각의 부영상은 S x K개의(단, S 및 K는 양의 정수) 영상블록으로 분할하는 제 a단계;
    4개의 방향성 에지 및 하나의 비방향성 에지를 포함하는 5개의 기준 에지들 중 하나를 각 영상블록에 할당하여 상기 대상 영상에 대하여 각각 80개의 에지 히스토그램 빈을 포함하는 16개의 에지 히스토그램을 생성하는 제 b단계;
    S x K를 사용하여 각 에지 히스토그램에 포함되어 있는 상기 에지 히스토그램 빈을 정규화함으로써 각각 0과 1사이의 실수를 갖는 80개의 정규화 에지 히스토그램 빈을 생성하는 제 c단계; 및
    80개의 정규화 에지 히스토그램 빈을 비선형적으로 양자화하여 80개의 양자화 색인값을 상기 대상영상에 대한 제 2 영상 기술자로 생성하는 제 d단계
    를 포함하는 에지 히스토그램 기술자의 비트 대표를 구성하는 방법.
  39. 제 38항에 있어서,
    각 양자화 색인값은 3 비트로 대표되는 것을 특징으로 하는 에지 히스토그램 기술자의 비트 대표를 구성하는 방법.
  40. 제 39항에 있어서,
    상기 방향성 에지들은 수직형, 수평형, 45°형 및 135°형 에지를 포함하며, 상기 비방향성 에지는 상기 네 가지 방향성 에지들을 제외한, 정해진 방향이 없는 에지를 나타내는 것을 특징으로 하는 에지 히스토그램 기술자의 비트 대표를 구성하는 방법.
KR20037005476A 2000-10-21 2001-10-18 영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법 KR100556832B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020000062137A KR20020031015A (ko) 2000-10-21 2000-10-21 에지 히스토그램 빈의 비선형 양자화 및 유사도 계산
KR1020000062137 2000-10-21

Publications (2)

Publication Number Publication Date
KR20040028658A KR20040028658A (ko) 2004-04-03
KR100556832B1 true KR100556832B1 (ko) 2006-03-10

Family

ID=19694745

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020000062137A KR20020031015A (ko) 2000-10-21 2000-10-21 에지 히스토그램 빈의 비선형 양자화 및 유사도 계산
KR20037005476A KR100556832B1 (ko) 2000-10-21 2001-10-18 영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020000062137A KR20020031015A (ko) 2000-10-21 2000-10-21 에지 히스토그램 빈의 비선형 양자화 및 유사도 계산

Country Status (7)

Country Link
US (1) US7295718B2 (ko)
EP (1) EP1329107A4 (ko)
JP (1) JP4486780B2 (ko)
KR (2) KR20020031015A (ko)
CN (1) CN1218582C (ko)
AU (1) AU2002211027A1 (ko)
WO (1) WO2002033978A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
KR100437801B1 (ko) * 2002-06-04 2004-06-30 엘지전자 주식회사 장면 전환 검출 장치 및 방법
KR100488011B1 (ko) * 2002-10-07 2005-05-06 엘지전자 주식회사 칼라 히스토그램의 빈값 양자화 방법
CN100446569C (zh) * 2002-10-31 2008-12-24 韩国电子通信研究院 用于检索具有图像帧组视频序列的非线性量化和相似性匹配方法
US7702152B2 (en) 2002-10-31 2010-04-20 Electronics And Telecommunications Research Institute Non-linear quantization and similarity matching methods for retrieving video sequence having a set of image frames
KR100959053B1 (ko) * 2003-01-13 2010-05-20 한국전자통신연구원 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
US7609908B2 (en) * 2003-04-30 2009-10-27 Eastman Kodak Company Method for adjusting the brightness of a digital image utilizing belief values
US20050163378A1 (en) * 2004-01-22 2005-07-28 Jau-Yuen Chen EXIF-based imaged feature set for content engine
DE602004014901D1 (de) * 2004-04-29 2008-08-21 Mitsubishi Electric Corp Adaptive Quantisierung einer Tiefenkarte
US7570403B2 (en) * 2005-03-16 2009-08-04 Kabushiki Kaisha Toshiba Color image processing apparatus
US7778468B2 (en) * 2005-03-23 2010-08-17 Fuji Xerox Co., Ltd. Decoding apparatus, dequantizing method, and program thereof
JP5196731B2 (ja) * 2006-04-20 2013-05-15 キヤノン株式会社 画像処理装置及び画像処理方法
KR100834095B1 (ko) * 2006-12-02 2008-06-10 한국전자통신연구원 디지털 미디어의 데이터 고유특성을 이용한 논블라인드워터마크 삽입/추출 장치 및 워터마크 삽입/추출 방법
WO2008122036A2 (en) * 2007-04-02 2008-10-09 Raytheon Company Methods and apparatus to selectively reduce streaming bandwidth consumption
DE102007019057A1 (de) * 2007-04-23 2008-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen eines Kanten-Histogramms, Vorrichtung und Verfahren zum Ablegen eines Bildes in einer Bilddatenbank, Vorrichtung und Verfahren zum Auffinden von zwei ähnlichen Bildern und Computerprogramm
US8260048B2 (en) * 2007-11-14 2012-09-04 Exelis Inc. Segmentation-based image processing system
US8208731B2 (en) 2008-04-07 2012-06-26 Microsoft Corporation Image descriptor quantization
US8532438B2 (en) * 2008-05-09 2013-09-10 Empire Technology Development Llc Matching images with shape descriptors
US20100246969A1 (en) * 2009-03-25 2010-09-30 Microsoft Corporation Computationally efficient local image descriptors
CN104067272A (zh) * 2011-11-21 2014-09-24 诺基亚公司 用于图像处理的方法和装置
US9870517B2 (en) * 2011-12-08 2018-01-16 Excalibur Ip, Llc Image object retrieval
US9087260B1 (en) * 2012-01-03 2015-07-21 Google Inc. Hierarchical randomized quantization of multi-dimensional features
KR101336025B1 (ko) * 2012-03-22 2013-12-05 인하대학교 산학협력단 조직세포 영상의 관부위 이형성 표현을 위한 관부위 이형성 진폭 시그니쳐 생성 방법
US8805123B2 (en) * 2012-10-09 2014-08-12 Samsung Electronics Co., Ltd. System and method for video recognition based on visual image matching
CN103024378B (zh) * 2012-12-06 2016-04-13 浙江大学 一种视频编解码中运动信息导出方法及装置
CN103338373B (zh) * 2013-06-15 2016-05-04 浙江大学 一种相邻边界长度导出方法及装置
US20150006545A1 (en) * 2013-06-27 2015-01-01 Kodak Alaris Inc. System for ranking and selecting events in media collections
IL244056A0 (en) 2015-02-16 2016-07-31 Netspark Ltd Image processing systems and methods
US20180314912A1 (en) * 2015-10-28 2018-11-01 Ent. Services Development Corporation Lp Identification of images
KR101905403B1 (ko) * 2017-02-15 2018-10-08 동명대학교산학협력단 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술
CN108256532A (zh) * 2018-01-10 2018-07-06 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746408A (ja) 1993-07-31 1995-02-14 Shimadzu Corp 医療画像記録装置
AU5689896A (en) 1996-04-18 1997-11-12 Nokia Mobile Phones Limited Video data encoder and decoder
US6072904A (en) 1997-12-31 2000-06-06 Philips Electronics North America Corp. Fast image retrieval using multi-scale edge representation of images
EP1068576A1 (en) * 1999-02-01 2001-01-17 Koninklijke Philips Electronics N.V. Descriptor for a video sequence and image retrieval system using said descriptor
KR100364753B1 (ko) * 1999-11-19 2002-12-16 엘지전자 주식회사 칼라 히스토그램의 빈값 양자화 방법

Also Published As

Publication number Publication date
AU2002211027A1 (en) 2002-04-29
WO2002033978A1 (en) 2002-04-25
KR20020031015A (ko) 2002-04-26
JP2004512596A (ja) 2004-04-22
EP1329107A1 (en) 2003-07-23
US7295718B2 (en) 2007-11-13
JP4486780B2 (ja) 2010-06-23
CN1470131A (zh) 2004-01-21
KR20040028658A (ko) 2004-04-03
CN1218582C (zh) 2005-09-07
US20020136454A1 (en) 2002-09-26
EP1329107A4 (en) 2005-08-03

Similar Documents

Publication Publication Date Title
KR100556832B1 (ko) 영상정보 검색을 위한 비선형 양자화 및 유사도 매칭 방법
US7702152B2 (en) Non-linear quantization and similarity matching methods for retrieving video sequence having a set of image frames
US6990233B2 (en) Apparatus and method for extracting object based on feature matching between segmented regions in images
US11126887B2 (en) Enhanced graph transformation-based point cloud attribute compression method
Kim Park
US6807298B1 (en) Method for generating a block-based image histogram
US7792887B1 (en) Compact color feature vector representation
EP1211644B1 (en) Method for describing motion activity in video
JP5097280B2 (ja) 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体
US9319690B2 (en) Method and system for image analysis
US20040233987A1 (en) Method for segmenting 3D objects from compressed videos
JP2004045565A (ja) 類似時系列検出方法及び装置、並びにプログラム及び記録媒体
KR101021044B1 (ko) 유사도 산출 방법 및 장치 및 컴퓨터 판독가능한 기록 매체
Sha et al. Novel image set compression algorithm using rate-distortion optimized multiple reference image selection
KR100959053B1 (ko) 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
KR100369370B1 (ko) 블록기반 영상 히스토그램 생성 방법
US7656951B2 (en) Digital video processing method and apparatus thereof
Panchanathan et al. Indexing and retrieval of color images using vector quantization
CN100446569C (zh) 用于检索具有图像帧组视频序列的非线性量化和相似性匹配方法
KR20010043325A (ko) 블록 매칭 동작 측정 방법
Simitopoulos et al. Image compression for indexing based on the encoding cost map
Wang et al. A fast fractal image coding using pyramid structure of image blocks
CN114782706A (zh) 一种基于多流特征融合的摩尔纹图像识别方法
Bell et al. Progressive technique for human face image archiving and retrieval
Bhattacharya LOSS LESS IMAGE COMPRESSION USING SEQUENTIAL APPROACH

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee