KR20030009674A - 내용 기반 영상 검색 장치 및 방법 - Google Patents

내용 기반 영상 검색 장치 및 방법 Download PDF

Info

Publication number
KR20030009674A
KR20030009674A KR1020010044231A KR20010044231A KR20030009674A KR 20030009674 A KR20030009674 A KR 20030009674A KR 1020010044231 A KR1020010044231 A KR 1020010044231A KR 20010044231 A KR20010044231 A KR 20010044231A KR 20030009674 A KR20030009674 A KR 20030009674A
Authority
KR
South Korea
Prior art keywords
feature
image
similarity
color
shape
Prior art date
Application number
KR1020010044231A
Other languages
English (en)
Inventor
장동식
Original Assignee
주식회사 오픈비주얼
장동식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오픈비주얼, 장동식 filed Critical 주식회사 오픈비주얼
Priority to KR1020010044231A priority Critical patent/KR20030009674A/ko
Publication of KR20030009674A publication Critical patent/KR20030009674A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징치의 가중치가 자동으로 조절하고, 또한 빠른 검색이 가능한 내용 기반 영상 검색 장치 및 방법을 제공하기 위한 것으로서, 색상, 질감, 형태에 따른 각 특징값들에 대한 가중치값을 초기화하는 단계와, 외부에서 질의 영상이 입력되면, 상기 질의 영상의 색상, 질감, 형태의 히스토그램을 이용하여 특징값을 산출하는 단계와, 상기 산출된 질의 영상에 따른 특징값과 특징치 데이터베이스에 기 저장된 특징값의 유사도를 비교하는 단계와, 상기 특징치 데이터베이스에 기 저장된 영상 중 상기 유사도가 높은 다수개의 영상을 사용자에게 제공하는 단계와, 상기 제공된 다수개의 영상과 질의 영상을 비교하여 유사 여부에 따른 단순 정보를 입력하여 가중치를 갱신하는 단계와, 상기 갱신된 가중치를 이용하여 질의영상과 유사한 특징치 데이터베이스(50) 영상을 재 검색하는 단계와, 사용자가 제공된 영상에 만족할 때까지 피드백을 통해 상기 과정을 반복 수행하는 단계를 포함하여 이루어지는데 있다.

Description

내용 기반 영상 검색 장치 및 방법{apparatus and method for content-based image retrieval}
본 발명은 디지털 영상처리기술을 이용한 내용 기반 영상 검색 시스템에 관한 것으로, 색상, 질감, 모양정보 등의 다중 특정치를 기반으로 하는 영상 검색 장치 및 방법에 관한 것이다.
최근 컴퓨터와 통신기술의 발달과 더불어 멀티미디어 정보 서비스에 대한 요구가 증가하고 있으며, 인터넷상의 정지화상 및 동영상검색, 방송제작에 사용될VOD(Video On Demand) 서비스, 전자도서관, 의료분야(원격진료, 의료영상검색)등 응용될 수 있는 멀티미디어 검색기술에 대한 연구의 필요성이 증가되고 있다.
연구 초기에는 검색의 대상이 되는 모든 멀티미디어 데이터에 사람이 직접 색인을 첨가하고, 사용자 또한 주제어를 이용하여 원하는 정보를 검색하는 텍스트 기반 검색이 사용되어 왔다.
그러나 이 방법은 시간 및 비용이 많이 들며, 색인을 첨가하는 사람과 검색하는 사용자의 관점이 불일치할 경우 검색의 효율성이 크게 떨어지게 된다. 또한 멀티미디어 데이터가 가지는 복잡한 속성을 텍스트만으로는 정확하게 표현할 수 없다는 단점을 가지고 있다.
이를 보완하기 위해 멀티미디어 데이터의 내용을 대표할 수 있는 특징을 추출하여 이를 기반으로 색인과 검출을 수행하는 내용기반 검색방법이 필요하게 되었다.
이 방법은 멀티미디어 데이터로부터 특징을 자동으로 추출하여 색인과정에 사용함으로써, 데이터베이스 구축에 필요한 시간 및 인력의 소모를 줄일 수 있다는 장점이 있어 현재 많은 연구 이루어지고 있다.
이 중 대표적인 내용기반 영상 검색 시스템으로는 IBM사의 QBIC(Query By Image Content)이 있는데, 이는 색상, 질감, 모양 정보 등의 조합에 의한 다중특징을 이용한 검색엔징 중 하나이다.
이와 같은 시스템은 온라인상에서 사용자가 스케치나 배열, 색상, 질감, 모양을 기반으로 하여 데이터베이스상에서 원하는 영상을 찾도록 해 주지만, 이들은일반적인 목적에 적용되는 시스템이기 때문에 특정한 목적에 사용하려고 하면 검색성능이 현저히 떨어지는 문제가 발생된다.
또한, 이와 같은 다중 특정치를 기반으로 하는 영상 검색 시스템의 또 다른 문제점은 각각의 특징치들에 부여되는 가중치를 선정하는데 문제점이 발생하게 되어 시스템을 효과적으로 사용할 수 없게 되는데 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 특징치의 가중치가 자동으로 조절하고, 또한 빠른 검색이 가능한 내용 기반 영상 검색 장치 및 방법을 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 정지영상의 내용 기반 영상 검색을 위한 장치를 나타낸 도면
도 2 는 본 발명에 따른 내용 기반 영상 검색 방법을 나타낸 도면
*도면의 주요부분에 대한 부호의 설명
10 : 색상 특징 추출부20 : 질감 특징 추출부
30 : 형태 특징 추출부40 : 통합부
50 : 특징치 DB
상기와 같은 목적을 달성하기 위한 본 발명에 따른 내용기반 영상 검색 장치의 특징은 외부에서 입력되는 영상데이터에서 RGB 색상모델과 HSV(Hue, Saturation, Value) 색상모델의 색상 특징을 추출하는 색상 특징 추출부와, 외부에서 입력되는 영상데이터에서 공통발생 매트릭스(co-occurrence matrix)를 이용하여 질감 특징을 추출하는 질감 특징 추출부와, 외부에서 입력되는 영상데이터에서 영상의 전역적인 면에서 에지의 방향을 모양 특징으로 추출하는 형태 특징 추출부와, 상기 색상 특징 추출부, 직감 특징 추출부, 형태 특징 추출부에서 각각 추출된 특징값들을 조합하는 통합부와, 상기 통합부에서 조합된 영상의 특징값을 저장하는 특징치 DB를 포함하여 구성되는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 내용기반 영상 검색 방법의 특징은 색상, 질감, 형태에 따른 각 특징값들에 대한 가중치값을 초기화하는 단계와, 외부에서 질의 영상이 입력되면, 상기 질의 영상의 색상, 질감, 형태의 히스토그램을 이용하여 특징값을 산출하는 단계와, 상기 산출된 질의 영상에 따른 특징값과 특징치 데이터베이스에 기 저장된 특징값의 유사도를 비교하는 단계와, 상기 특징치 데이터베이스에 기 저장된 영상 중 상기 유사도가 높은 다수개의 영상을 사용자에게 제공하는 단계와, 상기 제공된 다수개의 영상과 질의 영상을 비교하여 유사 여부에 따른 단순 정보를 입력하여 가중치를 갱신하는 단계와, 상기 갱신된 가중치를 이용하여 질의영상과 유사한 특징치 데이터베이스(50) 영상을 재 검색하는 단계와, 사용자가 제공된 영상에 만족할 때까지 피드백을 통해 상기 과정을 반복 수행하는 단계를 포함하여 이루어지는데 있다.
본 발명의 다른 목적, 특성 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 내용기반 영상 검색 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.
도 1 은 본 발명에 따른 정지영상의 내용 기반 영상 검색을 위한 장치를 나타낸 도면이다.
도 1을 보면, 외부에서 입력되는 영상데이터에서 RGB 색상모델과 HSV(Hue, Saturation, Value) 색상모델의 색상 특징을 추출하는 색상 특징 추출부(10)와, 외부에서 입력되는 영상데이터에서 공통발생 매트릭스(co-occurrence matrix)를 이용하여 질감 특징을 추출하는 질감 특징 추출부(20)와, 외부에서 입력되는 영상데이터에서 영상의 전역적인 면에서 에지의 방향을 모양 특징으로 추출하는 형태 특징 추출부(30)와, 상기 색상 특징 추출부(10), 직감 특징 추출부(20), 형태 특징 추출부(30)에서 각각 추출된 특징값들을 조합하는 통합부(40)와, 상기 통합부(40)에서 조합된 영상의 특징값을 저장하는 특징치 DB(50)로 구성된다.
상기 색상 특징 추출부(10)는 RGB 색상 히스토그램과, HSV 연합색상 히스토그램을 사용하는데, 이는 영상의 회전이나 위치이동에 무관한 결과를 보이도록 하여 크기에 무관한 결과를 보이도록 한다.
이때, 상기 색상 특징 추출부(10)에서 유사도를 정의하는 방법은 다음과 같이 계산할 수 있다.
먼저, RGB 색상의 경우를 보면 다음과 같다.
fxR(n), fxB(n), fxG(n)를 데이터베이스의 한 영상에 대해서 16개로 양자화된 R, G, B 채널의 히스토그램이라고 정의하고 n을 양자화된 히스토그램의 빈(histogram bin)의 수라고 정의한다.
그리고 질의 영상의 fqR(n), fqB(n), fqG(n)도 역시 16개의 빈(bin)으로 나눠 양자화되었다고 정의하면, 상기 질의 영상과 특정치 데이터베이스(50)에 저장된 영상과의 유사도 dGRB(T(q), T(x))는 다음 수학식 4와 같이 나타낼 수 있다.
이때, 상기 수학식 4는 L1놈(Norm)을 사용한 것이며, 질의영상과 특정치 데이터베이스(50) 영상이 같다면 유사도 dGRB(T(q), T(x))=0으로 나타낸다.
다음으로 HSV 연합색상의 경우를 보면 다음과 같다.
먼저, RGB 모델의 (r, g, b)값을 HSV 모델의 (h, s, v)로 다음 수학식 1, 2, 3과 같이 양자화하여 변환한다.
여기서,이다.
이때, 사람의 시각 시스템은 채도(saturation)와 명도(value)값보다 색상(hue)값에 더욱 민감하게 반응하므로 HSV모델의 양자화 과정에서 색상값을 20도의 범위로 그리고 채도, 명도값을 각각 0.33범위로 양자화함으로써 3개의 빈(bin)으로 나누었다.
그리고 영상의 지역적 정보를 나타내기 위해 영상을 5x5 개의 일정한 크기의 영역으로 나눴으며 각 영역에서 HSV의 연합된 히스토그램을 구하고 그 중에 가장 두드러진 색상, 채도, 명도값을 구하고 그 영역에서의 대표적인 특징값으로 삼았다.
이러한 특징값들을 영상의 모든 영역에서 고려하여 유사도를 계산한다.
즉, 질의 영상과 특징치 데이터베이스(50) 영상에서 각각 동일위치의 지역번째 영역의 영상을로 정의했을 때, 영역 r에서 유사도를 비교하는 식은 다음 수학식 5와 같다.
이때,는 각 h, s, v에서의 가중치값이다. 이 값의 총 합은 1로서, 바람직하게=0.4,=0.3,=0.3으로 정의한다.
그리고 상기 수학식 5를 모든 서브영역에 대해서 고려함으로써, 최종적인 영상간의 유사도는 다음 수학식 6과 같이 계산된다.
상기 수학식 6은 L1놈(Norm)을 사용한 것이며, 질의영상과 데이터베이스(50)영상이 같다면 유사도 dHSV(T(q), T(x))=0으로 나타낸다.
그리고 상기 질감 특징 추출부(20)는 공통발생 매트릭스(co-occurrence matrix)를 사용하는데, 이는 영상에서의 명암밝기의 확률을 2차원 히스토그램으로 표현한 것이다.
이때, 상기 질감 특징 추출부(20)에서의 유사도를 정의하는 방법은 다음과 같이 계산할 수 있다.
먼저, 입력되는 색상 영상을 흑백(gray) 영상으로 변환시킨 후, 이를 5x5인 일정 크기로 분할한다.
그리고 수평선방향(0°), 수직선방향(90°) 그리고 두 대각선방향(45°,135°)에 해당하는 공통발생 매트릭스(co-occurrence matrix)를 얻고, 이 4개의 매트릭스를 범위 [0,1] 사이의 값으로 정규화시킨다.
이어, 수학식 7과 수학식 8을 이용하여 각 방향별로 혼잡도(entropy)를 구한 후 평균하여 평균 혼잡도값을 구한다.
최대 엔트리 = p = max p(i,j)
이때, 상기 p(i,j)는 정규화된 (i,j)번째의 공통발생 매트릭스의 값이다.
그리고 각 방향 매트릭스에서 최대 혼잡도값을 가지는 방향과 그 값을 구한후 모든 범위에서의 특징벡터를 구한다.
따라서 질의 영상의번째 지역을, 특징치 데이터베이스(50)의 영상은로 정의하고,을 각각 지역 r에서의 혼잡도와 최대 혼잡도라고 한다면, 그 유사도 분석은 다음과 같은 수학식 9에 의해서 수행되어 진다.
여기서, We와 Wp는 각각의 혼잡도와 최대 혼잡도의 가중치이며 그 가중치의 합은 1이다. 그리고 바람직하게 We= 0.7, Wp= 0.3으로 정의하며, 이를 영상의 모든 범위에서 고려한 유사도를 다음 수학식 10과 같이 계산한다.
상기 수학식 10은 L1놈(Norm)을 사용한 것이며, 질의영상과 데이터베이스(50) 영상이 같다면 유사도 dTEX(T(q), T(x))=0으로 나타낸다.
그리고 상기 형태 특징 추출부(30)는 에지의 방향성에 관한 히스토그램을 사용하는데, 이는 영상이 가지고 있는 에지 정보들을 얻어서 모양의 특징을 추출해 낸다.
이때, 상기 형태 특징 추출부(30)에서의 유사도를 정의하는 방법은 다음과 같이 계산할 수 있다.
에지의 방향성에 관한 히스토그램은 영상의 형태에 관한 속성을 나타내는데 사용되며, 영상이 가지고 있는 에지정보들은 캐니에지 검출자를 통하여 질의영상과 특징치 데이터베이스(50) 영상과의 유사도를 측정하는 식은 다음 수학식 11과 같이 얻어낸다.
이때,{f}_{xE}(n)는 특징치 데이터베이스(50) 영상에서 72개의 빈(bin) 즉,{5}^{0}씩으로 양자화하여 에지히스토그램으로 표현한 결과를 나타낸 것이며,{f}_{qE}(n)는 질의 영상을 같은 방법을 이용하여 양자화한 에지히스토그램을 나타낸 것이다.
상기 수학식 11 역시, L1놈(Norm)을 사용한 것이며, 질의영상과 특징치 데이터베이스(50) 영상이 같다면 유사도 dSHAPE(T(q), T(x)) = 0으로 나타낸다.
그리고 통합부(40)는 상기 색상 특징값, 질감 특징값 및 형태 특징값에 따른 유사도를 각각 구한 후, 이를 조합하여 그 결과를 특징치 데이터베이스(50)에 저장한다.
이때 각각의 유사도를 조합하는 방법은 다음 수학식 12와 같다.
이때 상기 d(T(q),T(x))는 1이 되며, 바람직하게 가중치값은 wRGB= 0.45, wHSV= 0.3, wTEX= 0.1, 그리고 wSHAPE= 0.15로 정의한다.
그리고 유사도 값을 [0,1]사이로 정규화 시킴으로써, 서로 조합시에 어려움을 보완하였다.
이와 같이 구성된 본 발명에 따른 내용 기반 영상 검색 방법을 도면을 참조하여 상세히 살펴보면 다음과 같다.
도 2 는 본 발명에 따른 내용 기반 영상 검색 방법을 나타낸 도면이다.
도 2를 보면, 먼저 각 특징값들에 대해 가중치값을 초기화한다(S10).
이때, 각 가중치값은 바람직하게 wRGB= 0.45, wHSV= 0.3, wTEX= 0.1, 그리고 wSHAPE= 0.15를 가중치의 초기값으로 정의한다.
이와 같이 가중치값의 초기화가 이루어지면, 질의 영상데이터를 입력받고, 색상 특징, 질감 특징, 형태 특징 히스토그램을 이용하여 질의 영상의 데이터 특징값을 산출한다(S20).
이와 같이 질의 영상 데이터의 특징값이 구해지면, 특징치 데이터베이스(50)에 저장된 특징값과 상기 구해진 질의 영상 데이터의 특징값과 유사도 비교를 수행한다(S30).
이때, 특징치 데이터베이스(50)에 저장된 다수의 영상 특징값들은 LBG 알고리즘에 따른 트리구조로 되어 있으며, 고속검색을 위해 삼각 부등식 방법을 사용한다.
상기 LBG 알고리즘을 사용한 트리구조는 군집화하는데 매우 효과적이며 다른 변수들에 대해서 영향을 전혀 받지 않는다는 장점을 갖는다.
이때 트리의 깊이가 깊게 형성되면, 고속검색에 어려움을 갖게 되므로 적절한 깊이를 유지하기 위해서 적은 데이터를 갖는 노드는 그 이웃 노드에 흡수되도록 구성한다.
그리고 상기 삼각 부등식 방법은 베스트-퍼스트 서치(best-first search) 방법으로 대응되는 노드가 질의와 가장 가까운 루트를 따르는 탑-다운(top-down) 방식으로, 기본 개념은 다음 수학식 13과 같다.
여기서, T(x)는 노드(h)에서 영상 특징을 벡터로 표현한 것이고, T(q)는 질의 영상 q의 특징을 표현한 것이다. 그리고 Zh는 몇 개의 영상 특징들을 표현한 것이고, d(T(q),T(x))는 메트릭인 유사성함수를 표현한 것이다.
이때, 유사성 함수 d(T(q),T(x))가 메트릭(metric)이면 상기 수학식 13은 항상 성립한다.
따라서, 노드 (h)에 있는 영상과 질의 영상간의 특징벡터를 키영상의 특징과 비교하여 두 영상간의 유사도의 최소한계를 얻는다.
노드 (h)에서 I 개의 영상을 Xh= {xh1,..., xhI}라 하고 키영상의 특징을 zh라 하면, I에서 i까지 d(T(xhi), zh)를 계산한다.
이어 질의 영상 q와 쓰레솔드 t에 대해서 노드 (h)에 있는 영상중에 d(T(q),T(x))≤t를 만족하는 영상을 구한다.
그러면 d(T(q),zh)를 계산하고 수학식 13을 반복함으로써, d(T(q),T(x))의 최소한계를 계산한다.
이때 상기 t가 d(T(q),T(x))보다 작다라는 것을 안다면, x를 유사도 계산에서 미리 제거할 수 있다.
이러한 제거과정을 거친 후에 제거되지 않은 나머지 영상들과의 유사도만 비교하여 검색하는 방법이다.
이와 같은 유사도 비교를 통해 유사도가 높은 영상순으로 다수개가 사용자에게 제공된다(S40).
그러면 사용자는 초기 가중치를 통한 검색 결과로 제공된 영상을 보고, 자신이 제공한 질의 영상과 비교해서 "유사하다", "모르겠다", "유사하지 않다"라는 단순 정보만 입력하면 입력된 정보를 이용하여 초기 가중치를 갱신한다.
상기 wu는 u = {RGB, HSV, TEX, SHAPE}를 수학식 12에서 표현된 가중치이고, wuv는 u의번째 요소의 특정 벡터이다.
먼저, 상기 wu는 수학식 12에 의해서 결정된 유사도가 높은 영상의 수인 NRT의 집합을 RT라고 정의하면, RT = [RT1,...,RTl,...,] 라 표현되며,
사용자가 부여하는 유사도 점수는 다음과 같이 정의한다(S50).
= 3,if 일치(relevant)(S60)
scorel= 0,if 잘 모름(no-opinion)(S70)
= -3,if 불일치(non-relevant)(S80)
그리고, 각각의 u = {RGB, HSV, TEX, SHAPE}에서를 수학식 4, 6, 10, 11을 통해서 영상 q와 유사도가 큰 NRT개의 영상을 정의하면,이다.
따라서 갱신된 가중치는 다음 수학식 14 과정을 통해 얻을 수 있다(S90).
이때, 외부에 있는 모든 영상은 모름(no-option)이라 표현하고 그 값은 0으로 정의한다.
이러한 과정이 끝난 후, wu< 0의 값을 가지면, 그 결과를 0으로 정의하고 수학식 15를 이용하여 정규화함으로써, 가중치를 갱신한다.
다음으로 wuv는 u = {RGB, HSV, TEX, SHAPE}로 구성되는 특징벡터의번째 요소의 또 다른 영향을 나타내는 것으로,개의 영상에서 매우 유사한(high relevant) 또는 유사한(relevant) 값으로 표현되는 영상이 벡터로 표현되며, M'x K 매트릭스(matrix)로 만들어진다.
여기서 M'는 매우 유사한 또는 유사한 영상의 수를 나타내며, K는 벡터의 길이를 나타낸다.
마찬가지로는 매트릭스에서 특징벡터의 v 번째에 위치하고 길이가 M인 시퀀스를 의미한다.
이 시퀀스의 표준편차 인버스(inverse)는 가중치 wuv를 추정하는데 많은 도움을 주며 그 식은 다음 수학식 16과 같다.
길이 K인 시퀀스 wuv의 정규화는 다음의 수학식 17로 계산한다.
상기 수학식 17에서 max와 min은 시퀀스 wuv에서 최대, 최소값을 나타낸다.
이와 같은 방법을 이용하여 각 가중치를 재 설정하여 시스템에 갱신된 값으로 입력한 후, 질의영상과 유사한 특징치 데이터베이스(50) 영상을 검색한다.
그리고 사용자가 제공된 영상을 만족할 때까지 피드백을 통해 상기 과정을 반복하여 wu와 wuv를 정의하고, 다시 이를 이용하여 질의영상과 유사한 특징치 데이터베이스(50) 영상을 검색한 후, 사용자에게 제공한다(S100).
이상에서 설명한 바와 같은 본 발명에 따른 내용 기반 영상 검색 방법은 다음과 같은 효과가 있다.
첫째, 사용자의 피드백으로 사용되는 질의 재조정(query refinement framework)기법을 사용하여 처음에 사용자가 지정한 가중치에 대한 검색결과에 대해 사용자가 제공하는 단순 정보로 내부에서 가중치가 갱신되므로 검색되는 영상에 더욱 신뢰성이 높아지게 된다.
둘째, 특징치 DB에 저장된 특징값들이 LBG 알고리즘(k-means 알고리즘)으로 저장되어 있고, 또한 삼각 부등식 알고리즘 개념을 통한 검색으로 유사도를 계산함에 있어서 계산시간을 줄일 수 있어, 영상 검색 시간을 줄일 수 있다.
셋째, 각 특징값들에 대한 가중치를 손쉽게 계산할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 이탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (9)

  1. 외부에서 입력되는 영상데이터에서 RGB 색상모델과 HSV(Hue, Saturation, Value) 색상모델의 색상 특징을 추출하는 색상 특징 추출부와,
    외부에서 입력되는 영상데이터에서 공통발생 매트릭스(co-occurrence matrix)를 이용하여 질감 특징을 추출하는 질감 특징 추출부와,
    외부에서 입력되는 영상데이터에서 영상의 전역적인 면에서 에지의 방향을 모양 특징으로 추출하는 형태 특징 추출부와,
    상기 색상 특징 추출부, 직감 특징 추출부, 형태 특징 추출부에서 각각 추출된 특징값들을 조합하는 통합부와,
    상기 통합부에서 조합된 영상의 특징값을 저장하는 특징치 DB를 포함하여 구성되는 것을 특징으로 하는 내용 기반 영상 검색 장치.
  2. 색상, 질감, 형태에 따른 각 특징값들에 대한 가중치값을 초기화하는 단계와,
    외부에서 질의 영상이 입력되면, 상기 질의 영상의 색상, 질감, 형태의 히스토그램을 이용하여 특징값을 산출하는 단계와,
    상기 산출된 질의 영상에 따른 특징값과 특징치 데이터베이스에 기 저장된 특징값의 유사도를 비교하는 단계와,
    상기 특징치 데이터베이스에 기 저장된 영상 중 상기 유사도가 높은 다수개의 영상을 사용자에게 제공하는 단계와,
    상기 제공된 다수개의 영상과 질의 영상을 비교하여 유사 여부에 따른 단순 정보를 입력하여 가중치를 갱신하는 단계와,
    상기 갱신된 가중치를 이용하여 질의영상과 유사한 특징치 데이터베이스(50) 영상을 재 검색하는 단계와,
    사용자가 제공된 영상에 만족할 때까지 피드백을 통해 상기 과정을 반복 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 내용 기반 영상 검색 방법.
  3. 제 2 항에 있어서,
    상기 초기화된 가중치값은 색상의 특징값이 0.45, 질감의 특징값이 0.3, 형태의 특징값이 0.1인 것을 특징으로 하는 내용 기반 영상 검색 방법.
  4. 제 2 항에 있어서,
    상기 특징치 데이터베이스에 기 저장된 다수의 영상 특징값들은 LBG 알고리즘에 따른 트리구조로 저장되고, 삼각 부등식 방법을 이용하여 유사도를 비교하는 것을 특징으로 하는 내용 기반 영상 검색 방법.
  5. 제 2 항에 있어서,
    상기 질의 영상과 데이터베이스의 영상과의 유사도 비교는
    를 이용하여 계산되는 것을 특징으로 하는 내용 기반 영상 검색 방법.
  6. 제 5 항에 있어서,
    상기 가중치값은 wRGB= 0.45, wHSV= 0.3, wTEX= 0.1, 그리고 wSHAPE= 0.15로 초기 설정되고, 유사도 값 d(T(q),T(x))는 [0,1]사이로 정규화되는 것을 특징으로 하는 내용 기반 영상 검색 방법.
  7. 제 5 항에 있어서,
    상기 색상 특징의 RGB 색상 유사도(dRGB(T(q),T(x)))는
    이고,
    HSV 색상 유사도(dHSV(T(q),T(x)))는
    인 것을 특징으로 하는 내용 기반 영상 검색 방법.
  8. 제 5 항에 있어서,
    상기 질감 특징의 유사도(dTEX(T(q),T(x)))는
    인 것을 특징으로 하는 내용 기반 영상 검색 방법.
  9. 제 5 항에 있어서,
    상기 형태 특징의 유사도(dSHAPE(T(q),T(x)))는
    인 것을 특징으로 하는 내용 기반 검색 방법.
KR1020010044231A 2001-07-23 2001-07-23 내용 기반 영상 검색 장치 및 방법 KR20030009674A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010044231A KR20030009674A (ko) 2001-07-23 2001-07-23 내용 기반 영상 검색 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010044231A KR20030009674A (ko) 2001-07-23 2001-07-23 내용 기반 영상 검색 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20030009674A true KR20030009674A (ko) 2003-02-05

Family

ID=27716203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010044231A KR20030009674A (ko) 2001-07-23 2001-07-23 내용 기반 영상 검색 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20030009674A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100737974B1 (ko) * 2005-07-15 2007-07-13 황후 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법
KR100782047B1 (ko) * 2006-04-27 2007-12-04 인하대학교 산학협력단 모바일 웹 기반의 이미지검색을 위한 초기질의 집합의자동생성방법
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
US8971638B2 (en) 2010-11-15 2015-03-03 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point
CN108170791A (zh) * 2017-12-27 2018-06-15 四川理工学院 视频图像检索方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100737974B1 (ko) * 2005-07-15 2007-07-13 황후 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법
KR100782047B1 (ko) * 2006-04-27 2007-12-04 인하대학교 산학협력단 모바일 웹 기반의 이미지검색을 위한 초기질의 집합의자동생성방법
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
US8971638B2 (en) 2010-11-15 2015-03-03 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point
US9519543B2 (en) 2010-11-15 2016-12-13 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point
CN108170791A (zh) * 2017-12-27 2018-06-15 四川理工学院 视频图像检索方法

Similar Documents

Publication Publication Date Title
Zhang et al. Image retrieval based on color features: An evaluation study
US6594386B1 (en) Method for computerized indexing and retrieval of digital images based on spatial color distribution
US8117183B2 (en) Accurate content-based indexing and retrieval system
US20090289942A1 (en) Image learning, automatic annotation, retrieval method, and device
JP2000222581A (ja) 形状情報を用いるマルチメディアデ―タの検索方法及び装置
Climer et al. Image database indexing using JPEG coefficients
KR100422697B1 (ko) 색공간 양자화 묘사자
CN112561976A (zh) 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备
Wang et al. Relevance feedback technique for content-based image retrieval using neural network learning
US6882746B1 (en) Normalized bitmap representation of visual object&#39;s shape for search/query/filtering applications
KR20030005908A (ko) 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
Patel et al. Content based video retrieval
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
Huang et al. A method for object-based color image retrieval
Sai et al. Image retrieval using bit-plane pixel distribution
Chatzichristofis et al. A hybrid scheme for fast and accurate image retrieval based on color descriptors
Kothyari et al. Content based image retrieval using statistical feature and shape extraction
Shabbir et al. Tetragonal Local Octa-Pattern (T-LOP) based image retrieval using genetically optimized support vector machines
Chua et al. Color-based pseudo object model for image retrieval with relevance feedback
Admile A survey on different image retrieval techniques
Mihalik et al. Color content descriptors of images by vector quantization
Ayan et al. Multi-featured content-based image retrieval using color and texture features
Aparna Retrieval of digital images based on multi-feature similarity using genetic algorithm
Sai et al. New feature vector for image retrieval: Sum of value of histogram bins

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application