KR20010081894A - 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템 - Google Patents

이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템 Download PDF

Info

Publication number
KR20010081894A
KR20010081894A KR1020000011336A KR20000011336A KR20010081894A KR 20010081894 A KR20010081894 A KR 20010081894A KR 1020000011336 A KR1020000011336 A KR 1020000011336A KR 20000011336 A KR20000011336 A KR 20000011336A KR 20010081894 A KR20010081894 A KR 20010081894A
Authority
KR
South Korea
Prior art keywords
multimedia data
color
histogram
quantization
color space
Prior art date
Application number
KR1020000011336A
Other languages
English (en)
Inventor
김현준
이지은
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1020000011336A priority Critical patent/KR20010081894A/ko
Priority to JP2001039914A priority patent/JP3447705B2/ja
Priority to EP01301465A priority patent/EP1126388A3/en
Priority to US09/785,443 priority patent/US7376263B2/en
Publication of KR20010081894A publication Critical patent/KR20010081894A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 서로 다른 칼라 스페이스(Color Space)와 칼라 양자화 방법(Color Quantization)으로 이루어진 멀티미디어 데이터를 각각 가지는 이종 시스템 사이에서 상대방의 멀티미디어 데이터를 자신의 멀티미디어 데이터 검색 및 인덱싱에 이용 가능하도록 하는 멀티미디어 검색 시스템에 관한 것이다.
본 발명은 이미지 데이터가 칼라 히스토그램을 특징 데이터로 가질 때 그 칼라 히스토그램을 구성하는 칼라 스페이스 및 칼라 양자화 방법을 묘사하는 정보를 가지고, 질의 이미지와 검색대상 이미지의 칼라 스페이스 및 양자화 방법을 비교하여, 상기 질의와 검색대상 이미지의 칼라 스페이스 및 양자화 방법이 상이한 경우, 질의 또는 검색 대상 이미지의 칼라 히스토그램을 서로 같은 칼라 스페이스 및 양자화 방법을 가지는 칼라 히스토그램으로 추출 또는 변환하고, 상기 추출 또는 변환된 칼라 히스토그램 정보를 이용해서 질의와 검색대상 이미지의 유사도에 따른 검색을 실행함으로써, 이종 시스템간의 멀티미디어 데이터 검색이 가능하도록 하였다.

Description

이종 시스템간의 내용기반 멀티미디어 검색을 가능하게 하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법, 데이터 구조 및 멀티미디어 검색 시스템{Multimedia Query System And Histogram Converting System Based On Contents}
본 발명은 내용기반 멀티미디어 데이터(Multimedia Data)의 검색 시스템에 관한 것으로서, 서로 다른 칼라 스페이스(Color Space)와 칼라 양자화 방법(Color Quantization)으로 이루어진 멀티미디어 데이터를 각각 가지는 이종 시스템 사이에서 상대방의 멀티미디어 데이터를 자신의 멀티미디어 데이터 검색 및 인덱싱에 이용 가능하도록 하는 멀티미디어 검색 시스템에 관한 것이다.
특히, 본 발명은 이종 시스템간의 멀티미디어 검색이 가능하도록 멀티미디어 데이터의 특징소 정보인 칼라 히스토그램(Color Histogram)을 변환하는 방법과, 칼라 히스토그램 변환을 이용한 멀티미디어 검색 시스템 및 그 검색방법, 그리고 칼라 히스토그램 변환을 위한 멀티미디어 데이터 구조에 관한 것이다.
더욱 상세하게는, 본 발명에서는 칼라 스페이스와 히스토그램 양자화 방법에 대한 정보를 이용하여 다른 칼라 스페이스와 다른 양자화 방법에 의해 구성된 칼라 히스토그램들에 대해 상호 비교 가능하게 하기위해 임의의 통일된 칼라 스페이스와 양자화를 가지는 칼라 히스토그램을 가지도록 질의 또는 검색 대상 멀티미디어 특징소 정보를 추출하거나 변환시켜 비디오나 이미지와 같은 멀티미디어 데이터를 검색하는 시스템과 방법, 그리고 멀티미디어 데이터와 칼라 히스토그램 변환방법에 관한 것이다.
내용기반 멀티미디어 데이터 인덱싱 및 검색에서 이미지(Image)의 칼라분포 특징은 칼라 히스토그램으로 표현되며 이는 칼라 스페이스와 칼라 양자화 방법에 따라 정의 된다.
인터넷 환경에서 비록 지역적으로 동일한 칼라 스페이스와 양자화 방법에 의해서 구성된 칼라 히스토그램을 이용한 칼라 기반 이미지나 비디오 검색이 가능하더라도 다른 지역간에 칼라 스페이스와 양자화가 동일하지 않다면 현재로서는 칼라기반검색이 불가능 하다.
종래의 내용기반 멀티미디어 데이터 인덱싱 및 검색에서 이미지의 칼라 기반 검색을 위해서는 칼라 히스토그램을 주로 사용한다.
칼라 히스토그램은 이미지의 칼라 분포를 잘 표현하며 두 칼라 히스토그램간의 비교를 위한 유사도 계산 방법이 비교적 쉽고 칼라 픽셀에 대한 위치에 무관한 성질(이미지 검색에서 칼라의 위치에 유관한 성질이 필요 할 경우도 있다. 이 때는칼라 히스토그램이 아닌 다른 특징 표현을 이용해야 함)을 가지며 내용 기반 이미지 검색을 위한 다른 칼라 표현 방법에 비해 우수한 성능을 나타낸다.
종래의 칼라 히스토그램을 이용한 칼라 내용 기반 검색 시스템은 도1 에 표현되는 바와 같이 설명될 수 있다.
도1은 종래의 칼라 히스토그램을 이용한 내용기반 이미지 검색 시스템을 나타낸 것이다.
다수의 이미지(Image 1....Image N)들에 대한 이미지 데이터(101)의 특징소 정보를 위하여 칼라 양자화기(102)에서 이미지 당 하나의 칼라 히스토그램(103)이 추출되고, 칼라 히스토그램은 해당 이미지와 연결되며 특징 데이터 베이스(104)에 저장된다.
칼라 양자화기(102)에서는 정해진 칼라 스페이스와 양자화 방법에 따라, 즉 지정된 칼라 스페이스를 다수의 하위 스페이스로 만드는 양자화(이를 칼라 양자화라고 일컫는다)가 이루어지며, 각 하위 스페이스는 칼라 히스토그램의 하나의 빈(bin)과 매칭되며, 임의의 이미지 내의 모든 픽셀의 칼라 값이 각 하위 스페이스에 해당되는 빈도 수와 비례하여 칼라 히스토그램을 구성하게 된다.
질의 이미지(Query Image)(105)가 사용자에 의해 도1의 검색 시스템에 주어지면, 질의 이미지에 대한 칼라 히스토그램(106)을 추출하고, 검색기(107)는 추출된 칼라 히스토그램과 상기 특징 데이터 베이스(104)의 각 이미지의 칼라 히스토그램 정보를 서로 비교하여 유사도에 따른 검색 결과를 출력(108)해 준다.
즉, 칼라 기반 이미지 검색을 위해 미리 추출된 특징 데이터 베이스(104)의각각의 히스토그램과 질의 이미지(105)의 히스토그램(106)을 알려진 방법 즉, 히스토그램 인터섹션과 같은 히스토그램 매칭 방법을 이용해 유사도를 구한 다음 이 유사도 값의 크기를 기준으로 하여 이들 특징값(칼라 히스토그램)에 해당 하는 각각의 이미지를 검색결과로 출력하는 것이다.
이 때 질의 이미지의 칼라 히스토그램은 질의 이미지가 이미지 데이터 중의 이미지로서 이미 칼라 히스토그램이 추출되어 특징 데이터 베이스(104)에 저장되어 있으면 이 것을 이용하고(칼라 양자화기에 의한 질의 이미지의 칼라 히스토그램 추출은 필요없다), 질의 이미지가 새로운 이미지이면 칼라 양자화기(102)에 의해서 새로이 추출 한다.
그러나 이와 같은 종래의 검색방법으로서는 동일한 칼라 스페이스와 칼라 양자화가 칼라 양자화기에 적용되어야만 히스토그램 비교가 가능하다.
즉, 인터넷과 같은 환경에서 비록 지역적으로 한 시스템에서 동일 한 칼라 스페이스와 양자화 방법에 의해서 구성된 칼라 히스토그램을 이용한 칼라 기반 이미지나 비디오 검색이 가능하더라도 다른 지역간(서로 다른 두 시스템간)에 칼라 스페이스와 양자화가 동일하지 않다면 현재로서는 칼라 기반 멀티미디어 데이터 검색이 불가능 하다.
예를 들어 도2를 참조하면, 지역 시스템A(Local System A)(201)에서 구성된 칼라 히스토그램과 지역 시스템B(Local System B)(208)에서 구성된 칼라 히스토그램과의 비교는 불가능하다.
왜냐하면 다른 칼라스 페이스이나 다른 칼라 양자화에 의해 히스토그램 각각의 빈의 의미가 달라지기 때문이다.
즉, 지역 시스템A(201)에서는 이미지들의 칼라 히스토그램(202)을 특징 데이터 베이스(203)로 구성할 때, RGB 칼라 스페이스(204)를 이용하여 각각 R, G, B 요소에 대해 5레벨(levels) 씩 균일(uniform)하게 양자화(205)하여 125(=5×5×5) 빈수를 가지는 칼라 히스토그램을 구성하고, 지역 시스템B(206)에서는 이미지들의 칼라 히스토그램(207)을 특징 데이터 베이스(208)로 구성할 때, HSV 칼라 스페이스(209)를 이용하여 각각 H, S, V 요소에 대해 7레벨(levels)씩 균일(uniform)하게 양자화(210)하여 343(=7×7×7) 빈수를 가지는 칼라 히스토그램을 구성하므로, 두 시스템A,B 사이의 히스토그램 비교가 불가능하다.
본 발명은 이종 시스템간의 멀티미디어 데이터 검색을 위하여, 이종 시스템의 칼라 스페이스와 칼라 양자화 방법에 따라, 질의 이미지와 검색(비교) 대상 이미지의 칼라 히스토그램을 서로 동일한 칼라 스페이스 및 양자화에 기반하여, 질의 이미지와 검색 대상 이미지가 동일한 칼라 스페이스에 대한 양자화의 결과를 가지도록 하는 칼라 히스토그램 추출 또는 변환을 수행함으로서, 이종 시스템간에 상대방 멀티미디어 데이터를 이용한 칼라 내용 기반 멀티미디어 검색을 가능하게 한다.
본 발명은 이종 시스템간의 멀티미디어 데이터 검색을 위하여, 이종 시스템의 칼라 스페이스와 칼라 양자화 방법에 따라, 질의 이미지에 대한 칼라 히스토그램을 검색(비교) 대상 이미지의 칼라 히스토그램과 동일한 칼라 스페이스 및 양자화에 기반하여 칼라 히스토그램 추출 또는 변환을 수행함으로써, 이종 시스템간에상대방 멀티미디어 데이터를 이용한 칼라 내용 기반 멀티미디어 검색을 가능하게 한다.
도1은 종래의 칼라 히스토그램을 이용한 내용기반 멀티미디어 검색 시스템의 구성을 나타낸 도면
도2는 종래에 이종 시스템간의 멀티미디어 검색관계를 설명하기 위한 도면
도3은 본 발명의 내용기반 멀티미디어 검색 시스템의 제1실시예 구성을 나타낸 도면
도4는 본 발명에 의해서 이종 시스템간의 상호 검색이 가능하게 됨을 설명하기 위한 검색 시스템 도면
도5는 본 발명에 의한 내용기반 멀티미디어 검색방법의 제1실시예를 나타낸 도면
도6은 본 발명 제1실시예에 따른 칼라 히스토그램 변환방법을 설명하기 위한 도면
도7은 본 발명 제1실시예에 따른 칼라 히스토그램 변환기의 수행과정을 나타낸 도면
도8은 본 발명에 의한 칼라 히스토그램 변환방법의 실시예를 나타낸 도면
도9는 본 발명에 의한 칼라 히스토그램 변환기의 수행과정의 실시예를 나타낸 도면
도10은 본 발명의 내용기반 멀티미디어 검색 시스템의 제2실시예 및 제 3실시예 구성을 나타내기 위한 도면
도11은 본 발명에 의한 내용기반 멀티미디어 검색방법의 제2실시예를 나타낸 도면
도12는 본 발명에 의한 내용기반 멀티미디어 검색방법의 제3실시예를 나타낸 도면
본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
(a). 멀티미디어 데이터 특징 데이터 베이스는 양자화 칼라 스페이스를 묘사하는 칼라 스페이스 묘사정보와, 양자화 방법을 묘사하는 양자화 묘사정보를 가지고, (b). 질의 이미지를 입력하는 과정과, (c). 검색 대상 데이터 베이스의 상기 칼라 스페이스 및 양자화 묘사정보를 참조하여, 질의 이미지의 칼라 스페이스 및 양자화 방법과 검색 대상 이미지의 칼라 스페이스 및 양자화 방법을 동일한 칼라 스페이스 및 양자화 방법으로 하는 칼라 히스토그램을 구하는 과정과, (d). 상기 구해진 칼라 히스토그램을 기반으로 질의와 검색 대상 이미지를 비교하여 유사도에 따른 검색 결과를 출력하는 과정; 으로 이루어짐을 특징으로 한다.
또한 본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
(a). 상기 멀티미디어 데이터의 칼라 히스토그램값을 추출하기 위한 칼라 양자화 수단과, (b). 상기 칼라 양자화 수단에 의한 양자화 칼라 스페이스를 묘사하는 칼라 스페이스 묘사수단과, (c). 상기 칼라 양자화 수단에 의한 양자화 방법을묘사하는 양자화 묘사수단과, (d). 질의 또는 검색 대상 멀티미디어 데이터의 칼라 히스토그램을 서로 같은 칼라 스페이스 및 양자화 방법을 가지는 칼라 히스토그램으로 변환하는 히스토그램 변환수단을 포함하여, (e). 이종 시스템간에는 히스토그램 변환수단에 의해서 변환된 칼라 히스토그램을 이용해서 멀티미디어 데이터 검색이 이루어지도록 함을 특징으로 하는 내용기반 멀티미디어 데이터 검색 시스템이다.
또한 본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
(a). 질의 멀티미디어 데이터와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법을 비교하는 과정과, (b). 상기 비교 결과, 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법이 동일한 경우, 질의 멀티미디어 데이터에 대하여 해당 칼라 스페이스 및 양자화 방법에 따른 칼라 히스토그램을 구하는 과정과, (c). 상기 비교 결과 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법이 상이한 경우, 질의 또는 검색 대상 멀티미디어 데이터의 칼라 히스토그램을 서로 같은 칼라 스페이스 및 양자화 방법을 가지는 칼라 히스토그램으로 변환하는 과정과, (d). 상기 비교 결과에 따라 변환되거나 혹은 변환되지 않은 칼라 히스토그램을 이용하여 질의와 검색대상 멀티미디어 데이터의 유사도에 따른 검색을 실행하는 과정; 으로 이루어지는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법이다.
또한 본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
상기 멀티미디어 데이터가 (a). 상기 멀티미디어 데이터의 칼라 히스토그램이 어떤 칼라 스페이스로 이루어져 있는지를 묘사하는 칼라 스페이스 묘사정보와, (b). 상기 멀티미디어 데이터의 칼라 히스토그램이 어떤 칼라 양자화 방법으로 이루어져 있는지를 묘사하는 양자화 묘사정보를 포함하는 것을 특징으로 하는 멀티미디어 데이터 구조이다.
또한 본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
(a). 양자화된 멀티미디어 데이터의 칼라 스페이스의 각 하위 스페이스에 대하여, 하위 칼라 스페이스를 검색 대상 멀티미디어 데이터의 칼라 스페이스상에 투영하는 과정과, (b). 상기 투영된 칼라 스페이스가 겹쳐지는 검색대상 멀티미디어 데이터의 칼라 스페이스의 각 양자들에 대하여 빈값을 분배하는 과정으로 이루어지는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법 이다.
또한 본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
(a). 상기 멀티미디어 데이터의 칼라 히스토그램값을 추출하기 위한 칼라 양자화 수단과, (b). 상기 칼라 양자화 수단에 의한 양자화 칼라 스페이스를 묘사하는 칼라 스페이스 묘사수단과, (c). 상기 칼라 양자화 수단에 의한 양자화 방법을 묘사하는 양자화 묘사수단을 포함하고, (d). 검색 대상 멀티미디어 데이터의 상기 칼라 스페이스 묘사수단 및 양자화 묘사수단에 의해 묘사되는 검색 대상 멀티미디어 데이터와 동일한 양자화 방법으로 상기 양자화 수단이 질의 이미지의 칼라 히스토그램을 추출하여 멀티미디어 데이터 검색이 이루어지도록 함을 특징으로 하는 내용기반 멀티미디어 데이터 검색 시스템이다.
또한 본 발명은 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
(a). 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법을 판단??하는 과정과, (b). 상기 판단 결과에 따른 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법으로 질의 멀티미디어 데이터의 양자화를 수행하여 질의 이미지의 칼라 히스토그램을 구하는 과정과, (c). 상기 구해진 질의 이미지의 칼라 히스토그램과 검색 대상 이미지의 칼라 히스토그램을 비교하여 질의와 검색대상 멀티미디어 데이터의 유사도에 따른 검색을 실행하는 과정; 으로 이루어지는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법이다.
상기한 바와같이 이루어지는 본 발명을 첨부된 도면을 참조하여 더욱 상세하게 설명하면 다음과 같다.
본 발명에서는 칼라 스페이스와 히스토그램 양자화 방법에 대한 정보를 이용하여 다른 칼라 스페이스와 다른 양자화 방법에 의해 구성된 칼라 히스토그램들에 대해 상호 비교 가능하게 하기 위한 시스템을 제시한다.
이 시스템은 도3에서와 같이 표현될 수 있다.
검색기(301)는 질의 이미지와 검색 대상 이미지의 특징소 정보를 비교하여 유사도에 따른 검색결과를 출력(302)해 준다.
검색기(301)에 의한 이미지 비교 검색을 위하여 칼라 양자화기(303)가 구비되며, 칼라 양자화기(303)는 이미지의 칼라 히스토그램 추출을 수행한다.
칼라 양자화기(303)에 의한 칼라 양자화에 관련된 정보로서 칼라 스페이스와 칼라 양자화 레벨 등을 각각 표현(묘사)하기 위하여 칼라 스페이스 묘사정보(304)와 칼라 양자화 묘사정보(305)를 가진다.
상기 칼라 양자화기(303)와 칼라 스페이스 묘사정보(304), 칼라 양자화 묘사정보(305)는 서로 연결되고 또 검색기(301)에도 연결된다.
질의 이미지의 칼라 스페이스 및 양자화가 검색 대상 이미지의 칼라 스페이스 및 양자화와 다른 이종 시스템간의 데이터 검색을 위하여, 질의 이미지의 칼라 히스토그램을 검색 대상 이미지와 같은 칼라 히스토그램 정보로 변환하기 위한 히스토그램 변환기(306)가 상기 칼라 스페이스 묘사정보(304) 및 칼라 양자화 묘사정보(305), 검색기(301)에 연결된다.
질의 이미지(307)가 입력되면 칼라 양자화기(303)에 의해서 질의 이미지에 대한 칼라 히스토그램(308)을 추출하는데, 동종 시스템인 경우에는 이 칼라 히스토그램(308)을 검색기(301)에 제공하고, 이종 시스템인 경우에는 히스토그램컨버터(306)에 의해서 질의 이미지의 칼라 히스토그램을 검색 대상 이미지와 같은 칼라 히스토그램 정보(칼라 스페이스 및 양자화)로 변환하여, 이 변환된 칼라 히스토그램(309)을 검색기(301)에 제공한다.
검색 대상이 되는(이미지 데이터 베이스를 공유 내지는 이미지 데이터 베이스를 검색기에 제공할) 멀티미디어 데이터 소스(Source)(310)는 동종 혹은 이종 시스템일 수 있고, 예를 들면 인터넷 환경(네트워크)에서 데이터를 제공하는 시스템 운용도 이룰 수 있다.
멀티미디어 데이터 소스(310)는 다음의 구성요건을 갖춘다.
다수의 이미지(Image 1....Image N)들에 대한 이미지 데이터(311)의 특징소 정보를 위하여 이미지 당 하나의 칼라 히스토그램(312)이 추출되고, 칼라 히스토그램은 해당 이미지와 연결되며 특징 데이터 베이스(313)에 저장된다.
그리고, 칼라 히스토그램 추출을 위한 칼라 양자화기(314)가 있고, 상기 칼라 양자화기(314)에 의해서 특징 데이터 베이스(313)에 수록된 칼라 히스토그램 정보에 대한, 칼라 스페이스 및 칼라 양자화 정보를 각각 묘사하는 칼라 스페이스 묘사정보(315)와 칼라 양자화 묘사정보(316)를 갖는다.
이러한 데이터 구조를 가지는 즉, 서로 동일하거나 혹은 다른 칼라 스페이스 및 칼라 양자화 방법에 따르는 특징 데이터 베이스들이 멀티미디어 데이터 소스(310)를 이룰 수 있다.
도3에서 보는 바와같이, 본 발명의 가장 특징적인 요소는 칼라 히스토그램 변환기(306)를 이용하는 것이며 이 칼라 히스토그램 변환기(306)에 의하여 비교(검색) 대상 이미지의 칼라 히스토그램 중 어느 하나가 다른 칼라 히스토그램으로 변환되어 비교 가능하게 할 수 있는 것이다.
즉, 다른 시스템에서 칼라 히스토그램이 추출된 질의 이미지를 가지고 이와 유사한 이미지를 다수의 이미지로 구성된 이미지 데이터 베이스에서 찾는 경우, 질의 이미지의 칼라 히스토그램과 특징 데이터 베이스에 저장된 이미지 데이터의 칼라 히스토그램의 비교가 이루어지는데, 주로 질의 이미지의 칼라 히스토그램을 이미지 데이터의 칼라 히스토그램과 비교 가능하게 변환시켜 검색을 행한다.
이를 다른 예로 좀 더 보편화 시키자면, 사용자가 질의 이미지를 이용하여 인터넷을 통해 여러 다른 시스템에 의해 다른 칼라 스페이스와 다른 방법으로 양자화된 추출된 칼라 히스토그램을 이용하여 이미지 검색을 할 경우, 질의 이미지의 칼라 히스토그램을 그 때 그 때마다 검색 대상 칼라 히스토그램들과 같은 방식의 칼라 히스토그램으로 변환하여 칼라 히스토그램의 비교를 가능하게 만든다는 것이다.
도3을 더욱 상세히 설명하면 다음과 같다.
도3의 멀티미디어 데이터 소스(310)에서는 여러가지 특징 데이터 베이스들을 가지는데, 이 때 각각의 특징 데이터 베이스(313)는 다른 칼라 스페이스 혹은 다른 칼라 양자화로 이루어져 있고, 어떤 칼라 스페이스, 어떤 양자화로 각 특징 데이터 베이스(313)가 표현되어 있는지는 칼라 스페이스 묘사정보(315)와 칼라 양자화 묘사정보(316)에 의해 표현된다.
이들 각각의 특징 데이터 베이스(313)들은 위치적으로 떨어져 있고 인터넷과같은 네트워크로 연결되어 있을 경우가 많다.
질의 이미지(307)는 이미 칼라 히스토그램(308)이 구성되어져 있고 이 것은 어떤 임의의 칼라 스페이스와 칼라 양자화로 칼라 양자화기(303) 의해 구성(추출) 된 것이다.
그리고 어떤 칼라 스페이스, 어떤 칼라 양자화로 된 것인지는 각각 칼라 스페이스 묘사정보(304)와 칼라 양자화 묘사정보(305)에 표현된다.
칼라 히스토그램 변환기(306)는 질의 이미지의 칼라 히스토그램 구성의 칼라 스페이스와 칼라 양자화 방법을 칼라 스페이스 묘사정보(304) 및 칼라 양자화 묘사정보(305)로부터 알고 있고, 검색 대상 이미지의 칼라 히스토그램 구성의 칼라 스페이스와 칼라 양자화 방법을 검색 대상 이미지 데이터 구조 즉, 검색 대상 이미지에 대한 칼라 스페이스 묘사정보(315) 및 칼라 양자화 묘사정보(316)로부터 알아내어, 이 것이 질의 이미지의 칼라 히스토그램 구성 정보와 맞지 않으면 검색 대상 이미지의 칼라 히스토그램 구성과 같은 방법으로 질의 이미지의 칼라 히스토그램을 변환시키는 역할을 한다.
즉, 히스토그램 변환기(306)는 검색 대상 특징 데이터 베이스(313)의 칼라 스페이스와 칼라 양자화가 질의 이미지의 칼라 히스토그램의 칼라 스페이스나 칼라 양자화와 서로 맞지 않을 때마다 질의 이미지의 칼라 히스토그램을 변환시킨다.
그래서 검색기(301)는 이 변환된 칼라 히스토그램(309)을 이용하여 특징 데이터 베이스(313)의 하나 하나의 칼라 히스토그램(312)과 이 변환된 칼라 히스토그램(309)을 비교(유사도 계산)함으로써 유사도 정도에 따라 비슷한 이미지를 검색결과(302)로 보낸다.
이렇게 함으로써 도4에서 보는 바와 같이 서로 다른 두 시스템간에 호환성을 가지게 된다.
즉, 도4의 지역 시스템A(Local System A)의 칼라 히스토그램을 지역 시스템B(Local System B)의 칼라 히스토그램과 비교하기 위하여 그 중 하나를 다른 하나의 히스토그램과 같은 방법으로 변환시키는 것이다.
따라서, 지역 시스템A(401)는 이미지들에 대한 칼라 히스토그램(402)을 특징 데이터 베이스(403)로 가지고 또 이 히스토그램에 대한 칼라 스페이스 묘사정보(404)와 칼라 양자화 묘사정보(405)를 가지며, 지역 시스템B(406) 또한 칼라 히스토그램(407)을 특징 데이터 베이스(408)로 가지고 또 이 히스토그램에 대한 칼라 스페이스 묘사정보(409)와 칼라 양자화 묘사정보(410)를 가진다.
지역 시스템A(401)는 칼라 스페이스 묘사정보(404)가 R,G,B 칼라 스페이스를 표현하고 있으며, 칼라 양자화 묘사정보(405)는 R,G,B 각 5레벨씩 균일하게 양자화하였음을 표현하고 있다.
지역 시스템B(406)는 칼라 스페이스 묘사정보(409)가 H,S,B 칼라 스페이스를 표현하고 있으며, 칼라 양자화 묘사정보(410)는 H,S,V 각 7레벨씩 균일하게 양자화 하였음을 표현하고 있다.
따라서, 지역 시스템A(401)에서의 질의 이미지에 대하여 비교 대상으로 지역 시스템B(406)의 특징 데이터 베이스(408)를 이용한 멀티미디어 검색을 수행하고자 한다면, 지역 시스템A(401)에서는; 칼라 스페이스 묘사정보(404,409) 및 칼라 양자화 묘사정보(405,410)로부터 서로 다른 이종 시스템인 것을 알 수 있고, 따라서 R,G,B 칼라 스페이스(각 5레벨 균일 양자화)로부터 H,S,V 칼라 스페이스(각 7레벨 균일 양자화)로의 히스토그램 변환을 수행한 질의 이미지를 가지고 지역 시스템B(406)의 특징 데이터 베이스내의 이미지와의 비교 검색이 가능하게 되는 것이다.
이와같은 본 발명에서 제시한 히스토그램 변환을 수행함에 있어, 투영된 칼라 스페이스가 겹치는 정도를 계산할 때 수학 적분에 의해 상대적으로 정확히 구할 수 있지만 그 계산이 복잡하기 때문에 실시간 시스템을 구현할 때는 바람직하지 않을 수 있다.
이 문제를 해결하기 위하여 본 발명에서 제시하는 또다른 방법으로서 샘플링(Sampling) 방법을 이용해서 보다 빠른 히스토그램 변환이 가능한데, 그 자세한 변환 방법에 대해서는 후에 설명하기로 한다.
본 발명이 나타내는 질의 이미지의 칼라 히스토그램과 검색 대상 이미지의 칼라 히스토그램이 칼라 스페이스와 칼라 양자화에 따라 추출 방법이 다를 경우 이 두 칼라 히스토그램을 비교하여 유사도 계산 후 그 유사도에 따라 질의 이미지 와 검색 대상 이미지의 유사 여부를 판단하는 내용기반 멀티미디어 검색 방법을 도5의 실시예에 따라 설명한다.
먼저 질의 이미지가 입력으로 들어오면(501) 그 질의 이미지에 대해서 이미 추출된 칼라 히스토그램이 있는지를 검색한다(502).
만약 이미 추출된 칼라 히스토그램이 있으면 이 값이 저장된 특징 데이터 베이스로부터 읽어 들이고(503), 질의 이미지가 사용자로부터 새로 만들어 졌거나 다른 이미지 데이터로부터 새로 가져와서 기 추출된 칼라 히스토그램이 없을 경우 칼라 양자화기에 의해서 질의 이미지에 대한 칼라 히스토그램을 추출한다.(504)
칼라 히스토그램을 추출하는 방법은 이미지의 모든 픽셀에 대해 정해진 칼라 스페이스 값으로 바꾸고, 칼라 스페이스는 칼라 양자화에 따라 여러 하위 칼라 스페이스로 분할 되며, 바꾸어진 각각의 픽셀값이 어느 하위 칼라 스페이스에 투영(표시) 되느냐를 알아낸다.
모든 픽셀에 대해 이 과정을 수행하고 나면 어느 하위 칼라 스페이스에 몇 개의 픽셀이 투영되는지를 알게 될 것이고 이 값들을 1차원의 벡터로 나열한 값이 칼라 히스토그램(H)이 된다.
이 때 이 값들에 대한 인덱스를 " 히스토그램 빈(Histogram Bin)"이라 하며 이들 각각은 각각의 하위 칼라 스페이스를 의미 한다.
그러므로 히스토그램 빈 수는 칼라 양자화 수와 일치 하게 된다.
다시 이 1차원 벡터값을 총 이미지 픽셀 수로 나누어 히스토그램을 이미지 크기에 무관하게 정규화 시킨다.
그리고, 검색 대상 이미지에 대한 특징 데이터 베이스의 칼라 히스토그램 값을 읽어온다.(505)
다음, 상기한 단계(503,504)에서 얻어진 질의 이미지의 칼라 히스토그램을 모든 검색 대상 이미지들에 대한 특징 데이터 베이스에 저장된 모든 칼라 히스토그램과 비교하기 위해 각각의 검색 대상 이미지의 칼라 히스토그램에 대해, 질의 이미지의 칼라 히스토그램 구성을 위한 칼라 스페이스 및 칼라 양자화 방법과 검색 이미지의 칼라 히스토그램 구성을 위한 칼라 스페이스 및 칼라 양자화 방법을 비교한다.(506)
상기 비교 결과 칼라 스페이스와 칼라 양자화 방법이 동일 하지 않으면, 질의 이미지의 칼라 히스토그램을 검색 대상 이미지의 칼라 히스토그램과 같은 형식으로 히스토그램 변환기에서 변환을 수행하여 검색 대상 칼라 히스토그램과 비교하여 유사도를 구하고(507,508), 칼라 스페이스와 칼라 양자화 방법이 동일하면 그대로 비교하여 유사도를 구한다.(506,508)
여기서 유사도를 구하는 방법은 이미 알려진 방법들을 사용할 수 있다.
그리고, 상기 유사도를 유사 이미지로 간주하기 위한 소정의 임계치와 비교하고(509), 그 비교 결과 유사도가 일정 임계치를 넘으면 검색 대상 칼라 히스토그램에 해당하는 이 검색 대상 이미지를 유사 이미지로 간주하여 출력한다.(510)
상기의 과정을 모든 검색 대상 이미지의 칼라 히스토그램에 대해 수행을 하여(512) 하나의 질의 이미지에 대해 검색을 수행하고, 또 다른 질의 이미지가 있으면 다시 상기 과정을 반복하여 수행한다.
한편, 본 발명에서 칼라 히스토그램을 변환하는 기본 개념은 히스토그램을 변환하기 위해 양자화된 질의 이미지의 칼라 스페이스의 각 하위 스페이스(각 quantum)에 대해, 이 하위 스페이스를 검색 대상 이미지의 칼라 스페이스상에 투영하고(transformation), 변환된 스페이스가 겹쳐지는(intersected) 검색 대상 이미지의 칼라 스페이스의 각 양자(quantum)들에 대해 겹쳐지는 부피에 비례하여 빈 값을 분배한다는 것이다.
이 과정을 도6에 예시하였다.
질의 이미지의 칼라 스페이스는 RGB칼라 스페이스(601)로 하고, 이 RGB스페이스는 각 컴포넌트(R, G, B)에 대해 3등분되어 양자화되었다. 즉, 이 스페이스에는 27개의 양자화된 하위 스페이스가 존재하며, 질의 이미지는 빈 사이즈가 27인 칼라 히스토그램으로 표현된다.
또한 검색 대상 이미지의 칼라 스페이스는 HSV칼라 스페이스(602)이며, S와 V컴포넌트에 대해서는 3등분하고, H는 S값의 구간에 따라 8등분, 6등분하고 무채색에 가까운 영역에서는 나누지 않았다. 즉 이 HSV 칼라 스페이스에는 45개의 양자화된 하위 스페이스가 존재하며, 검색 대상 이미지들은 빈 사이즈가 45인 칼라 히스토그램으로 표현된다.
도6의 RGB칼라 스페이스의 하나의 양자는 HSV칼라 스페이스로 투영될 수 있고, 이 칼라 스페이스의 하나 이상의 양자화된 하위 스페이스와 겹쳐질 수 있다.
도6에서 RGB 칼라 스페이스(601)의 양자화된 하위 스페이스 QSS_1(601a)은 HSV 칼라 스페이스(602)의 양자화된 하위 스페이스 TQSS_1, TQSS_2, TQSS_9에 걸쳐 투영되었다.(602a)
도6에서 부호 603은 HSV 칼라 스페이스(602)에 대한 수평단면, 604는 수직단면을 각각 표현하고 있다.
이때 QSS_1(601a)이 투영되어 TQSS_1, TQSS_2, TQSS_9에 겹쳐지는 부분의 부피 비가 도6에서 보는 바와 같이 각각 0.54, 0.35, 0.11라고 한다면, QSS_1(601a)의 히스토그램 값 H_Q(QSS_1)은 TQSS_1, TQSS_2, TQSS_9의 히스토그램 값 H_T(TQSS_1), H_T(TQSS_2), H_T(TQSS_9)에 각각 0.54×H_Q(QSS_1), 0.35×H_Q(QSS_1), 0.11×H_Q(QSS_1) 만큼 기여된다고 볼 수 있다.
즉 H_T(TQSS_1), H_T(TQSS_2), H_T(TQSS_9)는 다음과 같이 갱신된다.
H_T(TQSS_1) := H_T(TQSS_1) + H_Q(QSS_1) * 0.54
H_T(TQSS_2) := H_T(TQSS_2) + H_Q(QSS_1) * 0.35
H_T(TQSS_9) := H_T(TQSS_9) + H_Q(QSS_1) * 0.11
여기서,
H_T: 정규화된 검색 대상 이미지의 칼라 히스토그램.
H_Q: 정규화된 질의 이미지의 칼라 히스토그램.
H_T(TQSS_k): H_T의 인덱스 TQSS_k 에 해당하는 히스토그램 값.
H_Q(QSS_i): H_Q의 인덱스 QSS_i에 해당하는 히스토그램 값.
이와 같은 과정을 RGB 칼라 스페이스의 모든 양자화된 하위스페이스 QSS_i에 대해 수행하면, H_T(TQSS_k) 값들은 점차 갱신되고 수행을 마친 후 얻어진 H_T(TQSS_k)의 히스토그램이 HSV 칼라 스페이스를 45 칼라단계(위에서 설명한 양자화 방식)로 양자화한 칼라 히스토그램이 된다 (여기서 i = 1, 2, , 26, 27이고 k = 1, 2, , 44, 45).
도7은 이와같은 칼라 히스토그램 변환과정을 표현한다.
질의 이미지와 대상 이미지의 칼라 스페이스 및 양자화 방법이 서로 다를 때 칼라 히스토그램의 변환이 시작된다(701).
질의 이미지의 칼라 히스토그램을 구성한 칼라 스페이스와 양자화 방법을 통해서 정의된 모든 하위 스페이스 QSS_i에 대해서 고려한다(702).
즉, 하위 스페이스 QSS_i를 검색 대상 이미지의 칼라 스페이스로 투영하고, 투영된 입체 PV(QSS_i)의 부피값(V_i)을 계산하고, 검색 대상 이미지의 양자화 방법에 의해서 정의된 하위 스페이스들(TQSS_k)과 겹쳐지는지를 확인한 다음, 겹치는 경우 각 TQSS_k와 PV(QSS_i)에 겹쳐지는 입체(IV)의 부피값(IV_k_i)을 계산한다(703).
다음 단계(704)에서는 검색 대상 이미지의 칼라 스페이스의 양자화된 하위 스페이스들 중에서 겹치는 부피를 포함한 모든 하위 스페이스 TQSS_k에 대해 고려한다.
다음 단계(705)에서는 검색 대상 이미지의 칼라 히스토그램과 질의 이미지의 칼라 히스토그램을 앞에서 설명한 바와같이 부피값의 비에 따라 마지막 TQSS_k, 마지막 QSS_i 까지 H_T(TQSS_k) := H_T(TQSS_k) + H_Q(QSS_i)×IV_k_i/V_i 로 갱신함으로써 칼라 히스토그램 변환을 완료한다.(706,707)
여기서, 위의 투영된 입체의 부피를 구하기 위해서는 수학 적분에 의해 상대적으로 정확히 구할 수 있으나 그 계산이 복잡하여 실시간 시스템에 적용이 곤란하다.
이를 해결하기 위하여 본 발명에서는 샘플링 기법을 이용하여 입체의 부피를 근사하여(approximate) 구하며, 이로써 빠른 히스토그램 변환이 가능하다.
이 샘플링 히스토그램 변환 방법을 도8을 참조하여 설명한다.
도8에서 보듯이 RGB 칼라 스페이스(801)의 한 하위 스페이스 QSS_1(801a)에서 10개의 샘플링 포인트(Sampling point)(801b)를 균일(uniform)하게 추출한다.
그리고 그 10개의 샘플링 포인트가 HSV 칼라 스페이스(802)의 어느 하위 스페이스에 존재하는지를 알아내어 그 투영 정도를 계산 할 수 있다.
도8에서 부호 802a는 801a가 투영된 총 부피를 표현하며, 802b는 샘플링 포인트(801b)가 HSV 칼라 스페이스에 투영된 것을 표현하고 있으며, 803은 HSV 칼라 스페이스(802)의 수평단면, 804는 수직단면을 표현하고 있다.
상기 각각의 샘플링 포인트(801b)가 HSV 칼라 스페이스(802)에 투영될 때 마다 0.1×H_Q(QSS_1) 만큼의 기여가 해당 하위 스페이스에 이루어 질 것이며, 이를 모든 10개의 샘플링 포인트들(801b)에 대해서 수행하면, 결국 TQSS_1에는 5개가 투영되므로 0.5×H_Q(QSS_1) 만큼 기여하고 TQSS_2에는 0.4×H_Q(QSS_1) 만큼이 기여하며, TQSS_9에는 0.1×H_Q(QSS_1) 만큼 기여할 것이다.
즉 H_T(TQSS_1), H_T(TQSS_2), H_T(TQSS_9)는 다음과 같이 갱신된다.
H_T(TQSS_1) := H_T(TQSS_1) + H_Q(QSS_1) * 0.5
H_T(TQSS_2) := H_T(TQSS_2) + H_Q(QSS_1) * 0.4
H_T(TQSS_9) := H_T(TQSS_9) + H_Q(QSS_1) * 0.1
여기서,
H_T: 정규화된 검색 대상 이미지의 칼라 히스토그램
H_Q: 정규화된 질의 이미지의 칼라 히스토그램
H_T(TQSS_k): H_T의 인덱스 TQSS_k 에 해당하는 히스토그램 값.
H_Q(QSS_i): H_Q의 인덱스 QSS_i에 해당하는 히스토그램 값
이와 같은 과정을 RGB 칼라 스페이스의 모든 양자화된 하위 스페이스 QSS_i에 대해 수행하면, H_T(TQSS_k) 값들은 점차 갱신되고, 수행을 마친 후 얻어진 H_T(TQSS_k)의 히스토그램이 HSV 칼라 스페이스를 45칼라단계(위에서 설명한 양자화 방식)로 양자화한 칼라 히스토그램이 된다 (여기서 i = 1, 2, , 26, 27이고 k = 1, 2, , 44, 45).
본 발명의 중요한 특징 중 또 다른 하나는 질의 이미지의 칼라 스페이스의 양자화된 하위 스페이스를 샘플링할 때 각 하위 스페이스의 중요도에 따라 샘플링 포인트의 개수를 다르게 할 수 있다는 것이다.
여기서 하위 스페이스의 중요도란 하위 스페이스에 대응되는 히스토그램의 빈 값과 하위 스페이스의 부피값이고, 이 특징에 의한 효과는 히스토그램 변환의 정확성을 높이면서 동시에 히스토그램 변환 시간을 줄일 수 있다는 것이다.
하위 스페이스를 샘플링할 때는 먼저 칼라 히스토그램에서 해당 빈 값을 가져 와서 이 값이 크면 클수록 많은 수의 샘플링 포인트를 만들고, 작으면 작을수록 적은 수의 샘플링 포인트를 만든다.
히스토그램 빈 값이 0인 하위 스페이스들은 히스토그램 변환에 기여하는 바가 없으므로 샘플링하지 않아도 되는데, 특히 세밀하게 양자화된 칼라 스페이스의 히스토그램에는 빈 값이 0인 빈들이 상당 수 존재하므로 히스토그램 변환 시간을 더욱 줄일 수 있다.
0이 아닌 빈 값에 대해서는 빈 값에 비례하여 질의 이미지 칼라 스페이스의양자화된 하위 스페이스의 부피값의 반영 정도를 조절한다.
즉, 질의 이미지 칼라 스페이스의 양자화된 하위 스페이스의 부피가 클수록 그 스페이스를 커버(cover)하기 위해서 많은 샘플링 포인트가 필요하므로, 질의 이미지 칼라 스페이스의 양자화된 하위 스페이스를 샘플링할 때는 부피값과 빈값을 동시에 고려하여 샘플링 포인트의 수를 결정한다.
그러나 본 발명은 샘플링 포인트의 수를 결정하기 위해 하위 스페이스의 중요도를 결정할 때, 부피값과 빈 값을 각각 고려하는 방법에 대하여 제한을 두지 않는다.
질의 이미지 칼라 스페이스의 양자화된 하위 스페이스를 빈 값과 부피의 중요도에 따라 샘플링 포인트의 수를 결정하는 과정을 포함한 전체 히스토그램 변환 과정을 도9를 참조하여 설명하면 다음과 같다.
칼라 히스토그램 변환을 위하여 변환할 칼라 히스토그램을 구성한 어떤 칼라 히스토그램의 모든 양자화된 하위 스페이스에 대해 고려한다(901,902,903).
즉, 질의 이미지 칼라 스페이스의 주어진 양자화된 하위 스페이스 QSS_i에 대해 QSS_i의 히스토그램 빈 값과 부피에 비례해서 샘플링 포인트의 개수(No_of_SP)를 결정하고(904), 그 개수만큼 샘플링 포인트를 QSS_i에 균일하게 추출한다. (905)
이 때 각 샘플링 포인트는 적용된 칼라 스페이스의 포인트 값으로 표현된다.
즉, RGB 칼라 스페이스가 적용되었다면, 샘플링 포인트 = (R=150, G=130, B=120)과 같이 표현된다.
그리고, 추출된 모든 샘플링 포인트와 주어진 모든 샘플링 포인트(SP_i)에 대해서(906,907), 질의 이미지의 칼라 히스토그램을 구성한 칼라 스페이스(즉, 샘플링 포인트를 추출할 칼라 스페이스)와 검색 대상 이미지의 칼라 히스토그램을 구성한 칼라스페이스(변환할 칼라 히스토그램에 대한 칼라 스페이스)가 같은지를 조사한다. (908)
만약 이 단계(908)에서 양자의 칼라 스페이스가 일치하지 않는다면 모든 추출된 샘플링 포인트에 대해 각각을 SP_i라 두고, SP_i의 칼라값을 검색 대상 이미지의 칼라 스페이스값으로 변환한다.(909)
그러나, 만약 양자의 칼라 스페이스가 일치한다면 칼라 양자화 방법만 다른 경우이므로 칼라 값 변환 과정을 생략한다.
다음 단계(910)에서, SP_i를 검색 대상 이미지 칼라 스페이스에 투영한 후 그 값이 그 칼라 스페이스의 어떤 양자화된 하위 스페이스(TQSS)에 속하는지를 확인하여 다음과 같이 TQSS_k에 대응되는 히스토그램 빈 값을 갱신한다. (911)
H_T(TQSS_k) := H_T(TQSS_k) + H_Q(QSS_i)× 1 / No_of_SP
여기서,
H_T: 정규화된 검색 대상 이미지의 칼라 히스토그램.
H_Q: 정규화된 질의 이미지의 칼라 히스토그램.
H_T(TQSS_k): H_T의 인덱스 TQSS_k 에 해당하는 히스토그램 값.
H_Q(QSS_i): H_Q의 인덱스 QSS_i에 해당하는 히스토그램 값.
그리고 단계(912)에서 만약 수행하지 않은 샘플링 포인트가 아직 남았다면다시 위의 주어진 샘플링 포인트, SP_i에 대한 과정(907 이하)을 수행하고, 단계(913)에서는 만약 수행하지 않은 QSS_i가 아직 남았다면 다시 위의 주어진 QSS_i에 대한 과정(903 이하)을 수행하여, 상기의 과정을 모든 샘플링 포인트에 대해서, 그리고 모든 QSS_i에 대해 수행함으로써 칼라 히스토그램 변환 수행을 종료한다.
앞에서 설명한 상기 샘플링을 통한 히스토그램 변환 방법은 이미지 검색에서 다른 칼라스페이스와 다른 칼라 양자화로의 칼라 히스토그램 변환 뿐만 아니라, 어떤 다른 도메인, 칼라 뿐만 아니라 임의의 1차원 이상 스페이스 구성 요소에 대한 다른 양자화 방법이 적용된 히스토그램이 또다른 양자화 방법으로 변환할 필요가 있을 때 적용 가능하다.
도10은 본 발명의 내용기반 멀티미디어 데이터 검색 시스템의 제2실시예 및 제 3실시예의 구성을 나타내기 위한 것으로, 질의 이미지 칼라 히스토그램 데이터 베이스(6)가 있으면 제 3실시예이고, 질의 이미지 칼라 히스토그램 데이터 베이스(6)가 없으면 제 3실시예이다.
이 실시예들은 칼라 히스토그램 변환수단을 포함하지 않고 있다.
검색기(1)는 질의 이미지와 검색 대상 이미지의 특징소 정보를 비교하여 유사도에 따른 검색결과를 출력(2)해 준다.
검색기(1)에 의한 이미지 비교 검색을 위하여 칼라 양자화기(3)가 구비되며, 칼라 양자화기(3)는 이미지의 칼라 히스토그램 추출을 수행한다.
질의 이미지(4)가 입력되면 칼라 양자화기(3)에 의해서 질의 이미지에 대한칼라 히스토그램(5)을 추출하고 이 것을 질의 이미지 칼라 히스토그램 데이터 베이스(6)로서 저장할 수 있으며, 여기서 추출되는 칼라 히스토그램에 대한 칼라 스페이스 및 양자화 방법은 검색 대상이 되는 멀티미디어 데이터 소스(Source)(7)로부터 검색 대상 이미지의 칼라 스페이스 및 양자화 방법을 참조하여, 질의 이미지를 검색 대상 이미지와 동일한 칼라 스페이스 및 양자화 방법으로 양자화하게 된다.
따라서, 상기 질의 이미지 칼라 히스토그램 데이터 베이스(6)에는 같은 질의 이미지라고 할지라도 서로 다른 칼라 스페이스 및 양자화 방법에 따른 특징 데이터 베이스들(6a)을 가질 수 있다.
한편, 상기 질의 이미지를 조각그림(Thumbnail Image) 형태로 사이즈 축소하여 칼라 히스토그램을 구하는 방법을 적용하면 보다 빠른 속도로 칼라 히스토그램을 추출할 수 있을 것이다.
또는 질의 이미지의 양자화를 검색 대상 시스템(7)에서 수행하고, 양자화 결과(칼라 히스토그램 정보)를 비교 검색하는 방법도 가능하다.
여기서, 검색 대상이 되는(이미지 데이터 베이스를 공유 내지는 이미지 데이터 베이스를 검색기에 제공할) 멀티미디어 데이터 소스(Source)(7)는 동종 혹은 이종 시스템일 수 있고, 예를 들면 인터넷 환경(네트워크)에서 데이터를 제공하는 시스템 운용도 이룰 수 있다.
멀티미디어 데이터 소스(7)는 다음의 구성요건을 갖춘다.
다수의 이미지(Image 1....Image N)들에 대한 이미지 데이터(8)의 특징소 정보를 위하여 이미지 당 하나의 칼라 히스토그램(9)이 추출되고, 칼라 히스토그램은해당 이미지와 연결되며 특징 데이터 베이스(특징 DB)에 저장된다.
그리고, 칼라 히스토그램 추출을 위한 칼라 양자화기(10)가 있고, 상기 칼라 양자화기(10)에 의해서 특징 데이터 베이스에 수록된 칼라 히스토그램 정보에 대한, 칼라 스페이스 및 칼라 양자화 정보를 각각 묘사하는 칼라 스페이스 묘사정보(11)와 칼라 양자화 묘사정보(12)를 갖는다.
도3의 멀티미디어 데이터 소스(7)에서는 여러가지 특징 데이터 베이스들을 가지는데, 이 때 각각의 특징 데이터 베이스는 다른 칼라 스페이스 혹은 다른 칼라 양자화로 이루어져 있고, 어떤 칼라 스페이스, 어떤 양자화로 각 특징 데이터 베이스가 표현되어 있는지는 칼라 스페이스 묘사정보(11)와 칼라 양자화 묘사정보(12)에 의해 표현된다.
이들 각각의 특징 데이터 베이스(7)들은 위치적으로 떨어져 있고 인터넷과 같은 네트워크로 연결되어 있을 경우가 많다.
도11은 본 발명의 내용기반 멀티미디어 검색방법의 제2실시예로서 앞에서 설명한 도10의 시스템에 의해 이루어진다.
질의 이미지(4)가 입력되면 검색기(1)(또는 양자화기(3)일수도 있다)에서는 검색 대상 이미지의 칼라 스페이스 묘사정보(11)와 양자화 묘사정보(12)를 취득하고(S1,S2), 상기 묘사정보를 이용해서 질의 이미지의 칼라 히스토그램을 검색 대상 이미지의 칼라 히스토그램 구성과 일치하는 칼라 스페이스 및 양자화 방법으로 양자화하여 질의 이미지의 칼라 히스토그램(5)을 추출한다(S3).
그리고, 검색 대상 이미지에 대한 특징 데이터 베이스의 칼라 히스토그램값(9)을 읽어서 질의 이미지의 칼라 히스토그램과 검색 대상 이미지의 유사도를 서로 비교한다(S4,S5).
양자의 유사도가 일정 임계치 보다 큰 경우에는 검색 대상 이미지를 유사 이미지로 출력(2)하고, 그렇지 않을 경우에는 유사 이미지 출력단계(S7)를 건너뛴다.
이러한 과정을 마지막 검색 대상 이미지(Image N) 여부, 다른 질의 이미지의 존재 유무를 판단하면서 수행하고(S8,S9), 또한 멀티 미디어 데이터 소스(7)의 다음 검색 대상 이미지에 대한 히스토그램 구성이 달라지는가를 판단하면서(S10) 수행하여 멀티미디어 데이터 검색을 완료한다.
도12는 본 발명의 내용기반 멀티미디어 데이터 검색방법의 제3실시예로서, 앞에서 설명한 도10의 시스템에 의해서 이루어지며, 도11의 제2실시예와 비교해 볼 때, 질의 이미지의 칼라 히스토그램 정보를 저장하고, 또 이 저장된 정보를 검색에 이용하는 경우이며, 도11과 동일한 과정(S1,S2,S4∼S10)은 동일 부호로 표기하여 중복되는 설명은 생략한다.
질의 이미지가 입력되면 검색 대상 이미지의 칼라 스페이스와 칼라 양자화 묘사정보로부터 검색 대상 이미지의 칼라 스페이스 및 양자화 방법에 따라 질의 이미지의 칼라 히스토그램을 구하는데, 이때 이미 질의 이미지에 대하여 그 칼라 스페이스 및 양자화 방법으로 칼라 히스토그램이 추출되어 데이터 베이스(6,6a)로 저장되어 있다면, 기 추출된 질의 이미지 칼라 히스토그램 값을 이용하고(S3a,S3b), 그렇지 않은 경우에는 검색 대상 이미지의 칼라 히스토그램 구성과 일치하는 질의 이미지의 칼라 히스토그램을 추출하여 데이터 베이스(6)로 저장한다.(S3c,S3d).
이와같이 질의 이미지에 대하여 검색 대상 이미지와 동일한 구성의 칼라 히스토그램 정보를 미리 저장해 둠으로써, 다음 번에 같은 질의 이미지가 입력되었을 때 칼라 히스토그램 추출과정을 생략할 수 있어서, 더욱 빠른 검색 속도를 가질 수 있게 된다.
본 발명은 내용기반 멀티미디어 검색 시스템에서 이종 시스템 사이에서 상대방의 멀티미디어 데이터 베이스를 이용하는 것이 가능하게 된다.
특히 본 발명은 서로 다른 칼라 스페이스와 양자화 방법에 의해서 구축된 이미디 특징 데이터 베이스를 가지는 이종 시스템에서, 자신의 질의 이미지에 대한 검색 대상을 이종의 상대방 특징 데이터 베이스에서 찾아 검색할 수 있다.
따라서, 본 발명은 인터넷과 같은 네트워크 환경에서 보다 다양하고 또 서로 상이한 광범위한 이미지 데이터 베이스들을 검색기에 연결하여 이미지 검색 및 인덱싱이 가능하다.

Claims (20)

  1. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 멀티미디어 데이터 특징 데이터 베이스는 양자화 칼라 스페이스를 묘사하는 칼라 스페이스 묘사정보와, 양자화 방법을 묘사하는 양자화 묘사정보를 가지고, (b). 질의 이미지를 입력하는 과정과, (c). 검색 대상 데이터 베이스의 상기 칼라 스페이스 및 양자화 묘사정보를 참조하여, 질의 이미지의 칼라 스페이스 및 양자화 방법과 검색 대상 이미지의 칼라 스페이스 및 양자화 방법을 동일한 칼라 스페이스 및 양자화 방법으로 하는 칼라 히스토그램을 구하는 과정과, (d). 상기 구해진 칼라 히스토그램을 기반으로 질의와 검색 대상 이미지를 비교하여 유사도에 따른 검색 결과를 출력하는 과정; 으로 이루어짐을 특징으로 하는 내용기반 멀티미디어 검색방법.
  2. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 상기 멀티미디어 데이터의 칼라 히스토그램값을 추출하기 위한 칼라 양자화 수단과, (b). 상기 칼라 양자화 수단에 의한 양자화 칼라 스페이스를 묘사하는 칼라 스페이스 묘사수단과, (c). 상기 칼라 양자화 수단에 의한 양자화 방법을 묘사하는 양자화 묘사수단과, (d). 질의 또는 검색 대상 멀티미디어 데이터의 칼라 히스토그램을 서로 같은 칼라 스페이스 및 양자화 방법을 가지는 칼라 히스토그램으로 변환하는 히스토그램 변환수단을 포함하여, (e). 이종 시스템간에는 히스토그램 변환수단에 의해서 변환된 칼라 히스토그램을 이용해서 멀티미디어 데이터 검색이 이루어지도록 함을 특징으로 하는 내용기반 멀티미디어 데이터 검색 시스템.
  3. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 질의 멀티미디어 데이터의 칼라 히스토그램을 구하는 과정과, (b). 검색 대상 멀티미디어 데이터의 칼라 히스토그램을 구하는 과정과, (c). 상기 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 칼라 양자화 방법을 비교하는 과정과, (d). 상기 비교 결과 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 칼라 양자화 방법이 동일한 경우에는 질의와 검색대상 멀티미디어 데이터의 유사도에 따른 검색을 실행하는 과정과, (e). 상기 비교 결과 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법이 상이한 경우에는, 질의 또는 검색 대상 멀티미디어 데이터의 칼라 히스토그램을 서로 같은 칼라 스페이스 및 양자화 방법을 가지는 칼라 히스토그램으로 변환하여 질의와 검색대상 멀티미디어 데이터의 유사도에 따른 검색을 실행하는 과정으로 이루어지는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법.
  4. 제 3 항에 있어서, 상기 칼라 히스토그램의 변환과정은 질의 멀티미디어 데이터를 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법과 일치하도록 변환하는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법.
  5. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 질의 멀티미디어 데이터와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법을 비교하는 과정과, (b). 상기 비교 결과, 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법이 동일한 경우, 질의 멀티미디어 데이터에 대하여 해당 칼라 스페이스 및 양자화 방법에 따른 칼라 히스토그램을 구하는 과정과, (c). 상기 비교 결과 질의와 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법이 상이한 경우, 질의 또는 검색 대상 멀티미디어 데이터의 칼라 히스토그램을 서로 같은 칼라 스페이스 및 양자화 방법을 가지는 칼라 히스토그램으로 변환하는 과정과, (d). 상기 비교 결과에 따라 변환되거나 혹은 변환되지 않은 질의와 검색대상 멀티미디어 데이터의 유사도에 따른 검색을 실행하는 과정; 으로 이루어지는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법.
  6. 제 5 항에 있어서, 상기 칼라 히스토그램의 변환과정은 질의 멀티미디어 데이터를 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법과 일치하도록 변환하는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법.
  7. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    상기 멀티미디어 데이터가 (a). 상기 멀티미디어 데이터의 칼라 히스토그램이 어떤 칼라 스페이스로 이루어져 있는지를 묘사하는 칼라 스페이스 묘사정보와, (b). 상기 멀티미디어 데이터의 칼라 히스토그램이 어떤 칼라 양자화 방법으로 이루어져 있는지를 묘사하는 양자화 묘사정보를 포함하는 것을 특징으로 하는 멀티미디어 데이터 구조.
  8. 제 7 항에 있어서, 상기 양자화 묘사정보는 해당 칼라 스페이스 각각의 콤포넌트에 대한 양자화 레벨과, 각 콤포넌트에 대한 양자화 방법(균일 혹은 비균일)을 묘사하는 것을 특징으로 하는 멀티미디어 데이터 구조.
  9. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 양자화된 멀티미디어 데이터의 칼라 스페이스의 각 하위 스페이스에 대하여, 하위 칼라 스페이스를 검색 대상 멀티미디어 데이터의 칼라 스페이스상에 투영하는 과정과, (b). 상기 투영된 칼라 스페이스가 겹쳐지는 검색대상 멀티미디어 데이터의 칼라 스페이스의 각 양자들에 대하여 빈값을 분배하는 과정으로 이루어지는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  10. 제 9 항에 있어서, 상기 빈값은 상기 투영된 칼라 스페이스가 겹쳐지는 검색대상 멀티미디어 데이터의 칼라 스페이스의 각 양자들에 대하여 겹쳐지는 부피에 비례하여 분배하는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  11. 제 9 항 또는 제 10 항에 있어서, 상기 빈값의 분배를 위하여 질의 멀티미디어 데이터의 칼라 스페이스에서 임의의 소정 갯수만큼의 샘플링 포인트를 취하고, 이 샘플링 포인트가 상기 투영된 검색대상 멀티미디어 데이터의 각 하위 스페이스에 분포된 비율을 통하여 근사화하는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  12. 제 11 항에 있어서, 상기 질의 멀티미디어 데이터의 칼라 스페이스의 양자화된 하위 스페이스의 중요도에 따라 샘플링 포인트 수를 조정하는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  13. 제 12 항에 있어서, 상기 중요도는 질의 멀티미디어 데이터의 칼라 스페이스의 양자화된 하위 스페이스의 부피값이나, 질의 멀티미디어 데이터의 칼라 히스토그램의 빈값, 혹은 부피값과 빈값을 동시에 고려하여 결정하는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  14. 제 13 항에 있어서, 상기 빈값을 고려할 때 임계치를 이용해서 중요도를 결정하는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  15. 제 14 항에 있어서, 상기 임계치를 이용할 때 빈값 '0'을 샘플링하지 않는 임계치로 두거나, 빈값 'T'를 최대수로 샘플링하도록 하는 임계치로 두는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  16. 제 13 항에 있어서, '0'이 아닌 빈값에 대해서는 빈값에 비례하여 질의 멀티미디어 데이터의 칼라 스페이스의 양자화된 하위 스페이스의 부피값의 반영정도를 조절하는 것을 특징으로 하는 멀티미디어 데이터의 히스토그램 변환방법.
  17. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 상기 멀티미디어 데이터의 칼라 히스토그램값을 추출하기 위한 칼라 양자화 수단과, (b). 상기 칼라 양자화 수단에 의한 양자화 칼라 스페이스를 묘사하는 칼라 스페이스 묘사수단과, (c). 상기 칼라 양자화 수단에 의한 양자화 방법을 묘사하는 양자화 묘사수단을 포함하고, (d). 검색 대상 멀티미디어 데이터의 상기 칼라 스페이스 묘사수단 및 양자화 묘사수단에 의해 묘사되는 검색 대상 멀티미디어 데이터와 동일한 양자화 방법으로 상기 양자화 수단이 질의 이미지의 칼라 히스토그램을 추출하여 멀티미디어 데이터 검색이 이루어지도록 함을 특징으로 하는 내용기반 멀티미디어 데이터 검색 시스템.
  18. 제 17 항에 있어서, 상기 검색 대상 이미지와 동일한 칼라 스페이스 및 양자화 방법으로 양자화된 질의 이미지의 칼라 히스토그램을 저장하는 질의 이미지 칼라 히스토그램 데이터 베이스를 더 포함하는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색 시스템.
  19. 내용기반 멀티미디어 데이터 검색을 위하여 멀티미디어 데이터가 비디오 또는 이미지 데이터이고, 상기 멀티미디어 데이터의 칼라 히스토그램을 특징소로 하여 멀티미디어 데이터를 검색함에 있어서,
    (a). 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법을 판단하는 과정과, (b). 상기 판단 결과에 따른 검색대상 멀티미디어 데이터의 칼라 스페이스 및 양자화 방법으로 질의 멀티미디어 데이터의 양자화를 수행하여 질의 이미지의 칼라 히스토그램을 구하는 과정과, (c). 상기 구해진 질의 이미지의 칼라 히스토그램과 검색 대상 이미지의 칼라 히스토그램을 비교하여 질의와 검색대상 멀티미디어 데이터의 유사도에 따른 검색을 실행하는 과정; 으로 이루어지는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법.
  20. 제 19 항에 있어서, 상기 검색 대상 이미지와 동일한 칼라 스페이스 및 양자화 방법으로 양자화된 질의 이미지의 칼라 히스토그램을 저장하는 과정을 더 포함하고, 입력된 질의 이미지에 대하여 상기 기 저장된 질의 이미지의 칼라 히스토그램을 이용해서 검색을 수행하는 것을 특징으로 하는 내용기반 멀티미디어 데이터 검색방법.
KR1020000011336A 2000-02-18 2000-03-07 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템 KR20010081894A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020000011336A KR20010081894A (ko) 2000-02-18 2000-03-07 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
JP2001039914A JP3447705B2 (ja) 2000-02-18 2001-02-16 内容をベースとしたマルチメディアデータ検索システム及びその方法
EP01301465A EP1126388A3 (en) 2000-02-18 2001-02-19 System and Method for content-based multimedia retrieval
US09/785,443 US7376263B2 (en) 2000-02-18 2001-02-20 Content-based multimedia retrieval system and method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020000007708 2000-02-18
KR20000007708 2000-02-18
KR1020000011336A KR20010081894A (ko) 2000-02-18 2000-03-07 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템

Publications (1)

Publication Number Publication Date
KR20010081894A true KR20010081894A (ko) 2001-08-29

Family

ID=26637157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000011336A KR20010081894A (ko) 2000-02-18 2000-03-07 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템

Country Status (4)

Country Link
US (1) US7376263B2 (ko)
EP (1) EP1126388A3 (ko)
JP (1) JP3447705B2 (ko)
KR (1) KR20010081894A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442126B1 (ko) * 2001-01-12 2004-07-30 주식회사 코어트러스트 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법
KR100718586B1 (ko) * 2002-11-25 2007-05-16 한국과학기술원 웹 상의 이질적인 이미지 데이터베이스들을 선택하기 위한복합추정 방법 및 이를 이용한 검색 시스템
KR100894016B1 (ko) * 2007-08-14 2009-04-17 주식회사 케이티프리텔 오브젝트 색상 정보를 이용한 동영상 검색 서비스 제공방법 및 시스템
KR100896336B1 (ko) * 2007-08-22 2009-05-07 주식회사 코난테크놀로지 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
KR101056542B1 (ko) * 2004-12-30 2011-08-11 주식회사 케이티 이기종 서버를 이용한 주문형비디오 서비스 시스템 및 그방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411953B1 (en) * 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
KR100422697B1 (ko) * 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
US7039255B2 (en) * 2000-07-21 2006-05-02 Lg Electronics Inc. Method for searching multimedia using progressive histogram
KR100850935B1 (ko) * 2001-12-27 2008-08-08 주식회사 엘지이아이 장면 전환 검출 장치
KR101046215B1 (ko) 2002-04-23 2011-07-04 씨티씨 케이블 코포레이션 알루미늄 전도체 복합 코어 강화 케이블 및 그 제조 방법
JP4336950B2 (ja) * 2003-05-15 2009-09-30 富士ゼロックス株式会社 画像処理装置
EP1881455B1 (en) * 2003-07-04 2009-12-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing a group of images
CN100391232C (zh) * 2005-01-07 2008-05-28 智辉研发股份有限公司 数字影像闪光场景检测与消除方法
TWI281084B (en) * 2005-01-27 2007-05-11 Arima Computer Corp White balance method
US7925650B2 (en) * 2006-07-27 2011-04-12 Hewlett-Packard Development Company, L.P. Image management methods, image management systems, and articles of manufacture
US7991206B1 (en) 2007-07-02 2011-08-02 Datascout, Inc. Surrogate heuristic identification
US7814070B1 (en) 2006-04-20 2010-10-12 Datascout, Inc. Surrogate hashing
US8549022B1 (en) 2007-07-02 2013-10-01 Datascout, Inc. Fingerprint generation of multimedia content based on a trigger point with the multimedia content
US9020964B1 (en) 2006-04-20 2015-04-28 Pinehill Technology, Llc Generation of fingerprints for multimedia content based on vectors and histograms
US7840540B2 (en) * 2006-04-20 2010-11-23 Datascout, Inc. Surrogate hashing
US8463000B1 (en) 2007-07-02 2013-06-11 Pinehill Technology, Llc Content identification based on a search of a fingerprint database
US8156132B1 (en) 2007-07-02 2012-04-10 Pinehill Technology, Llc Systems for comparing image fingerprints
US20080046424A1 (en) * 2006-06-23 2008-02-21 Horton Richard B System and method of selecting images according to color content
DE202006017287U1 (de) * 2006-11-13 2007-01-11 Trw Automotive Safety Systems Gmbh Mit einem Flammschutzmittel ausgerüsteter Gassack
US7751620B1 (en) 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
KR101330637B1 (ko) * 2007-05-15 2013-11-18 삼성전자주식회사 영상 및 영상 정보 검색 장치 및 방법, 그리고 그 시스템
JP2009110211A (ja) * 2007-10-29 2009-05-21 Sony Corp 情報符号化装置および方法、情報検索装置および方法、情報検索システムおよび方法、並びにプログラム
JP5656353B2 (ja) * 2007-11-07 2015-01-21 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ マルチリンガル・テキスト・リソースのアクセスを制御するための方法および装置
US8031981B2 (en) * 2007-12-21 2011-10-04 Daon Holdings Limited Method and systems for generating a subset of biometric representations
JP2009251705A (ja) * 2008-04-02 2009-10-29 Nikon Systems Inc 画像評価装置
US9558510B2 (en) 2009-02-24 2017-01-31 Ebay Inc. System and method to create listings using image and voice recognition
US8630489B2 (en) * 2009-05-05 2014-01-14 Microsoft Corporation Efficient image matching
JP4982538B2 (ja) * 2009-08-19 2012-07-25 ヤフー株式会社 カラーヒストグラム生成装置、カラーヒストグラム生成方法及びプログラム
CN102033893A (zh) * 2009-09-25 2011-04-27 鸿富锦精密工业（深圳）有限公司 图片查询系统及方法
TWI411968B (zh) * 2009-12-31 2013-10-11 Via Tech Inc 圖像特徵計算方法以及圖像檢索方法
CN103106668B (zh) * 2011-11-09 2016-08-03 佳能株式会社 基于颜色直方图来描述图像区域的方法和系统
US9064149B1 (en) 2013-03-15 2015-06-23 A9.Com, Inc. Visual search utilizing color descriptors
US9299009B1 (en) * 2013-05-13 2016-03-29 A9.Com, Inc. Utilizing color descriptors to determine color content of images
JP6079738B2 (ja) * 2014-09-12 2017-02-15 カシオ計算機株式会社 ヒストグラムインターセクション演算装置、データ照合装置、類似データ検索装置、ヒストグラムインターセクション演算方法およびプログラム
GB2549073B (en) 2016-03-24 2020-02-26 Imagination Tech Ltd Generating sparse sample histograms
US10599945B2 (en) * 2017-08-15 2020-03-24 International Business Machines Corporation Image cataloger based on gridded color histogram analysis
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
WO2020053119A1 (en) * 2018-09-11 2020-03-19 Amadeus S.A.S. A space allocation system for allocating space to objects with multi-variate characteristics, and a method thereof
CN111046202A (zh) * 2019-12-16 2020-04-21 广西师范大学 基于hsv颜色空间特有属性的图像检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301948A (ja) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> 画像および映像検索方法
US5933524A (en) * 1993-09-27 1999-08-03 Siemens Aktiengesellschaft Method for segmentation of digital color images
KR19990086431A (ko) * 1998-05-28 1999-12-15 구자홍 색좌표공간의 구조 및 색양자화 방법
KR20010008792A (ko) * 1999-07-03 2001-02-05 구자홍 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737060A (ja) * 1993-07-20 1995-02-07 Hitachi Ltd 画像の色量子化方法
US6463173B1 (en) * 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
JPH09214792A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 色変換装置
US6163622A (en) * 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system
US6633407B1 (en) * 1998-04-29 2003-10-14 Lg Electronics, Inc. HMMD color space and method for quantizing color using HMMD space and color spreading
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
KR20010055492A (ko) * 1999-12-10 2001-07-04 오길록 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933524A (en) * 1993-09-27 1999-08-03 Siemens Aktiengesellschaft Method for segmentation of digital color images
JPH10301948A (ja) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> 画像および映像検索方法
KR19990086431A (ko) * 1998-05-28 1999-12-15 구자홍 색좌표공간의 구조 및 색양자화 방법
KR20010008792A (ko) * 1999-07-03 2001-02-05 구자홍 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1998년 한국정보처리학회 추계 학술발표 논문집 제 5권 제 2호 *
한국정보처리학회 논문지 제 4권 6호 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442126B1 (ko) * 2001-01-12 2004-07-30 주식회사 코어트러스트 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법
KR100718586B1 (ko) * 2002-11-25 2007-05-16 한국과학기술원 웹 상의 이질적인 이미지 데이터베이스들을 선택하기 위한복합추정 방법 및 이를 이용한 검색 시스템
KR101056542B1 (ko) * 2004-12-30 2011-08-11 주식회사 케이티 이기종 서버를 이용한 주문형비디오 서비스 시스템 및 그방법
KR100894016B1 (ko) * 2007-08-14 2009-04-17 주식회사 케이티프리텔 오브젝트 색상 정보를 이용한 동영상 검색 서비스 제공방법 및 시스템
KR100896336B1 (ko) * 2007-08-22 2009-05-07 주식회사 코난테크놀로지 영상 정보 기반의 동영상 연관 검색 시스템 및 방법

Also Published As

Publication number Publication date
EP1126388A3 (en) 2005-05-04
US20010017940A1 (en) 2001-08-30
US7376263B2 (en) 2008-05-20
JP2001291102A (ja) 2001-10-19
JP3447705B2 (ja) 2003-09-16
EP1126388A2 (en) 2001-08-22

Similar Documents

Publication Publication Date Title
KR20010081894A (ko) 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
US6163622A (en) Image retrieval system
KR100451649B1 (ko) 이미지 검색방법과 장치
JP5236785B2 (ja) カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム
US6285995B1 (en) Image retrieval system using a query image
Sethi et al. Mining association rules between low-level image features and high-level concepts
EP1049987B1 (en) System for retrieving images using a database
US20100110455A1 (en) Language based color selection method
KR101015324B1 (ko) 데이터 맵핑 방법과 md 데이터 객체 검색을 위한 컴퓨터로 구현되는 방법, 컴퓨터로 구현되는 시스템 및 컴퓨터 판독가능 기록매체
KR100422697B1 (ko) 색공간 양자화 묘사자
JP2005216296A (ja) Ｈｍｍｄカラースペースに基づいたカラー量子化方法を用いたマルチメディアの検索方法
JP3701888B2 (ja) 漸進的ヒストグラムを利用したマルチメディアの検索方法
Wong et al. Dominant color image retrieval using merged histogram
KR101242659B1 (ko) 영상 검색 방법
KR100302366B1 (ko) 레이아웃기반영상검색장치및방법
JPH07160725A (ja) 画像検索装置
Wong et al. Merged-color histogram for color image retrieval
KR100824829B1 (ko) 알지비 컬러 이미지 특징정보 추출에 메디언 필터링을이용한 이미지 검색 방법
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
KR19990053072A (ko) 와이.유.브이(yuv) 공간에서 컬러 특성 분포를 이용한 유사도 측정 방법
KR20090045449A (ko) 메디안 픽셀을 이용한 에이치에스브이 컬러 양자화 기법
Mustikasari et al. Performance analysis of color based image retrieval
CN112116622A (zh) 轮廓提取方法、检索库建立方法、轮廓匹配方法及其系统
Cheung et al. Merged-Color Histogram for Color Image Retrieval
JPH11175548A (ja) 画像ファイル検索方法、画像ファイル検索装置及び記憶媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee