KR100319154B1

KR100319154B1 - 이미지 데이타의 구성 방법과 이미지 검색 방법

Info

Publication number: KR100319154B1
Application number: KR1019990003182A
Authority: KR
Inventors: 김현준; 이진수
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1999-02-01
Filing date: 1999-02-01
Publication date: 2001-12-29
Also published as: KR20000054860A

Abstract

본 발명은 이미지 검색 시스템에 관한 것으로서 특히, 효과적인 이미지 검색을 위해서 사용자가 이미지를 검색할 때 적용되는 모든 판단기준을 분석하고, 이 판단기준들을 분류하여 이미지의 특징소 유형에 대응시켜 이미지 특징정보 세트를 구성하고, 검색시에는 상기 특징소 세트의 타입별 가중치와 요소별 가중치를 두고 판단기준을 반영하여 조정할 수 있도록 한 이미지 데이타의 구성 방법과, 이 방법을 이용한 이미지 검색방법에 관한 것이다.

또한 본 발명의 이미지 검색 시스템은 사용자의 모든 질의에 만족하도록 하기 위해 이미지 특징소들을 고려한 이미지 특징정보로서 이미지 전체에 대한 특징정보와, 이미지내의 영역에 대한 특징정보와, 상기 특징정보들 중에서 이미지 검색시에 고려의 정도를 달리하기 위한 가중치 정보를 포함하는 이미지 데이타의 구성을 가지는 것을 특징으로 한다.

또한 본 발명의 이미지 검색 시스템은 사용자의 모든 질의에 만족하도록 하기 위해 이미지 특징소들을 고려한 이미지 특징정보의 세트를 가지고, 각 특징소의 가중치를 이미지 검색이 이루어질 때마다 이미지 검색의 결과에 대한 사용자 응답정보(Relevance Feedback)을 사용해서 자동적으로 갱신(Update)하여 이미지 검색에 사용함을 특징으로 한다.

Description

이미지 데이타의 구성 방법과 이미지 검색 방법{METHOD OF IMAGE COMPOSITION AND METHOD OF IMAGE SEARCH SYSTEM}

본 발명은 이미지 검색 시스템에 관한 것으로서 특히, 효과적인 이미지 검색을 위해서 사용자가 이미지를 검색할 때 적용되는 모든 판단기준을 분석하고, 이 판단기준들을 분류하여 이미지의 특징소 유형에 대응시켜 이미지 특징정보 세트를 구성하고, 검색시에는 상기 특징소 세트의 타입별 가중치와 요소별 가중치를 두고 판단기준을 반영하여 조정할 수 있도록 한 이미지 데이타의 구성방법과 이 구성을 이용한 이미지 검색방법에 관한 것이다.

종래의 이미지 검색방법에서는 이미지의 칼라(Color), 텍스쳐(Texture), 세이프(Shape) 등의 특징소(Feature)들을 이용해서 유사도 검색을 행한다.

이때 찾고자 하는 이미지의 특성에 따라 각각의 특징소들의 중요도가 다르며, 또한 하나의 특징소라도 그 안에 존재하는 부분적인 요소 예를 들면 칼라 특징소안에서 적색, 녹색 등의 부분요소에 따라 그 중요도가 다를 수 있다.

그러나 이미지 마다 다른 중요도 특성을 알 수 없기 때문에 검색시 사용자가 직접 그 중요도를 표시하도록 하는 방법(US PATENT 5,579,471; Image Query System and Methhod)(Virage Image Search Engine)을 사용하였으나, 이러한 방법은 사용자가 검색이 잘 되도록 로우 레벨의 특징소(Color, Texture, Shape)별 중요도를 직접 결정하기 어렵다는 단점이 있다.

앞에서 설명한 바와같이 사용자는 이미지 검색시에 매우 다양한 유사도 척도를 이용해서 이미지 검색을 행한다.

예를 들면 어떤 이미지는 전체적인 칼라를 기준으로 검색하기도 하며, 어떤 이미지는 어떠한 위치에 어떠한 칼라와 텍스쳐를 가지고 있는가를 기준으로 검색하기도 한다.

그러나, 기존의 이미지 검색방법에서는 칼라,텍스쳐,셰이프 등의 특징소들을 이용해서 유사도 검색을 행할 뿐이며, 대부분의 이미지 검색에서 사용되는 특징소들은 사용자의 검색시에 적용되는 모든 판단의 기준, 즉 주관적 또는 객관적 판단의 척도를 적용하기에는 제한적인 특징소들을 사용할 뿐이다.

그러므로 종래의 이미지 검색 시스템에서는 사용자의 판단척도를 만족하여 지능적으로 대응 발전할 수 없으며, 따라서 이미지 검색의 속도나 그 검색의 결과에 신뢰성이 떨어질 수 밖에 없었다.

본 발명은 이미지 검색시에 적용되는 사용자의 가능한 모든 판단의 기준을 분석하고, 이러한 사용자의 판단기준을 이미지의 특징소 유형(Type)에 대응시켜 분류한 후, 가능한 모든 판단기준을 만족시킬 수 있는 이미지 특징정보 세트를 구성하고, 검색시에는 사용자의 판단기준을 반영하기 위해 특징소 세트의 타입별 가중치와 요소별 가중치를 두고 조정할 수 있도록 하는 이미지 검색 시스템을 제공한다.

특히, 본 발명은 이미지 전체에 대한 특징정보의 세트와, 이미지내의 영역에 대한 특징정보의 세트와, 상기 이미지 전체에 대한 특징정보나 이미지내의 영역에대한 특징정보들에서 이미지 검색에 고려해야할 요소에 대한 정보세트를 포함하는 이미지 데이타를 가지고, 이미지 검색시에 상기 특징소 세트의 타입별 가중치와 요소별 가중치를 두고 조정할 수 있도록 하는 이미지 검색 시스템을 제공한다.

또한 본 발명은 상기 이미지 전체에 대한 특징정보의 세트의 요소중에서 고려해야 할 요소에 대한 정보를 포함하고, 상기 이미지내의 영역에 대한 특징정보의 세트의 요소중에서 고려해야할 요소에 대한 정보를 포함하는 이미지 데이타를 가지고, 이미지 검색시에 상기 특징소 세트의 타입별 가중치와 요소별 가중치를 두고 조정할 수 있도록 하는 이미지 검색 시스템을 제공한다.

도1은 본 발명을 설명하기 위한 이미지의 그리드 구조에 대한 도면

도2는 본 발명의 이미지 검색을 위한 특징소의 구성방법을 나타낸 도면

도3은 본 발명의 이미지 검색을 위한 특징소의 구성방법을 나타낸 도면으로서 칼라와 텍스쳐의 실시예

도4는 본 발명을 설명하기 위한 이미지 검색 질의 유형의 예를 나타낸 도표

도5는 본 발명을 설명하기 위한 아미지 검색 질의 유형에 따른 특징소 타입의 예를 나타낸 도표

도6은 본 발명의 이미지 검색을 위한 특징소 구성방법의 실시예를 나타낸 도면

도7은 본 발명의 이미지 검색을 위한 특징소 구성방법에서 글로벌 칼라의 예를 나타낸 도면

도8은 본 발명의 이미지 검색 시스템에 적용되는 이미지 특징소의 구성방법을 나타낸 도면

도9은 본 발명의 이미지 검색 시스템에 적용되는 이미지 특징소의 구성방법에서 칼라와 텍스쳐를 사용한 경우를 나타낸 도면

본 발명의 이미지 검색 시스템은 사용자의 모든 질의(Query)에 만족하도록 하기 위해 이미지 특징소들을 고려한 이미지 특징정보와 그 정보의 유형에 해당하는 가중치를 포함하는 이미지 데이타의 구성 방법을 가지는 것을 특징으로 한다.

또한 본 발명의 이미지 검색 시스템은 사용자의 모든 질의에 만족하도록 하기 위해 이미지 특징소들을 고려한 이미지 특징정보로서 이미지 전체에 대한 특징정보와, 이미지내의 영역에 대한 특징정보와, 상기 특징정보들 중에서 이미지 검색시에 고려의 정도를 달리하기 위한 가중치 정보를 포함하는 이미지 데이터의 구성 방법을 가지는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세히 설명하면 다음과 같다.

먼저, 도1은 이미지(Image)를 n*m의 로칼 그리드(local grid)로 나누어 이미지 데이타를 구성하는 경우의 예를 나타낸다.

이미지(Image)를 n*m으로 등분한 후 각각 나누어진 그리드별로 칼라, 텍스쳐, 셰이프 정보를 나타낸다.

여기서 각각의 칼라, 텍스쳐, 셰이프 정보는 한개의 그리드 즉, 로칼 영역을 대상으로 칼라 히스토그램(Color Histogram), 텍스쳐 히스토그램(Texture Histogram), 조인트 히스토그램(Joint Histogram)으로 표현할 수도 있고, 또는 로칼 영역에 대한 대표칼라, 대표 텍스쳐, 대표 칼라와 텍스쳐 정보로 표현할 수도 있다.

그리고, 도1의 이미지에 대해서 그 이미지 자신에 대하여 의미있는 정보로서 상기한 그리드 내의 특징소 정보들 뿐만 아니라, 그 이미지 전체에 대한 칼라, 텍스쳐, 셰이프 등의 특징소(타입별 특징소) 정보로 그 이미지를 표현할 수도 있으며, 또한 각각의 특징소에 대한 부분요소별 특징정보, 예를 들면 칼라 중에서도 i번째 칼라(부분요소)에 대한 특징정보를 더 가질 수도 있다.

앞에서 설명한 바와같은 이미지의 특징을 나타내는 정보들을 사용자의 검색 질의의 유형에 대응하여 유사도 판단기준의 척도를 고려한 최소의 이미지 특징정보세트를 구성함으로써 효과적인 이미지 검색이 이루어지도록 한다.

도2는 본 발명의 이미지 검색 시스템에서 사용자의 질의의 유형을 고려할 때 구성될 수 있는 최소의 이미지 특징소 구성방법을 나타내고 있다.

사용자의 피이드백에 따라 이미지 특징소의 가중치를 조정하는 이미지 검색 시스템의 이미지 데이타(Relevance Feedback Image)(201)의 포맷으로서; 이미지 전체에 대한 특징정보(202)(Global Information)와, 이미지내의 영역에 대한 특징정보(203)(Spatial Information)와, 상기 이미지 전체에 대한 특징정보나 이미지내의 영역에 대한 특징정보의 특징소 중에서 특히 고려할 요소에 대한 가중치 정보(204) (Type Weights Descriptor)를 포함한다.

상기 이미지 전체에 대한 특징정보(202)는 이미지 전체에 대한 특징소 정보(205)(Global Feature Descriptor)와 이미지 전체에 대한 특징정보를 구성하는 요소 중에서 특히 고려할 특징소 요소에 대한 가중치 정보(206)(Element Weights Descriptor)를 포함하고, 상기 이미지내의 영역에 대한 특징정보(203)는 이미지내의 영역별 특징소 정보(207)(Spatial Feature Descriptor)와 이미지내의 특히 고려할 영역에 대한 위치 또는 영역에 대한 가중치 정보(208)(Position Weights Descriptor)를 포함한다.

도2에 나타낸 특징소 구성에 있어서 상기 이미지 전체에 대한 특징정보(202)는 예를 들면 이미지 전체에 대한 칼라, 텍스쳐 등의 복수개의 정보세트일 수 있고, 상기 이미지내의 영역에 대한 특징정보(203) 또한 마찬가지로 영역에 대한 칼라, 텍스쳐 등의 복수개의 정보세트일 수 있다.

도3에는 이와같이 칼라와 텍스쳐를 이미지 특징정보세트로 구성한 경우를 나타내었다.

사용자의 피이드백에 따라 이미지 특징소의 가중치를 조정하는 이미지 검색 시스템의 이미지 데이타(Relevance Feedback Image)(301)의 포맷으로서; 이미지 전체에 대한 칼라 특징정보(302a) 및 텍스쳐 특징정보(302b)와, 이미지내의 영역에 대한 칼라 특징정보(303a) 및 텍스쳐 특징정보(303b)와, 상기 이미지 전체에 대한 칼라, 텍스쳐 특징정보나 이미지내의 영역에 대한 칼라, 텍스쳐 특징정보의 특징소 중에서 특히 고려할 특징정보에 대한 가중치 정보(304)를 포함한다.

본 예에서는 4개의 특징정보가 사용되었으므로 4개의 가중치 요소로 구성된다.

상기 이미지 전체에 대한 칼라 특징정보(302a)는 이미지 전체에 대한 칼라 특징소 정보로서 글로벌 칼라 히스토그램 정보(305)(Global Color Histogram)와, 이미지 전체에 대한 칼라 특징정보 중에서 특히 고려할 칼라에 대한 가중치 정보(306)(Element Weights Descriptor)와, 이미지 전체에 대한 텍스쳐 특징정보(302b)는 이미지 전체에 대한 텍스쳐 특징소 정보로서 글로벌 텍스쳐 히스토그램 정보(307)(Global Texture Histogram)와, 이미지 전체에 대한 텍스쳐 특징정보 중에서 특히 고려해야할 텍스쳐에 대한 가중치 정보(308)(Element Weights Descriptor)를 포함한다.

그리고, 상기 이미지내의 영역에 대한 칼라 특징정보(303a)는 칼라 이미지 그리드 정보(309)(Color Image Grid)와 이 칼라 이미지 그리드 정보 중에서 특히고려해야할 요소에 대한 가중치 정보(310)(Position Weights Descriptor)를 포함하고, 이미지내의 영역에 대한 텍스쳐 특징정보(303b)는 텍스쳐 이미지 그리드 정보(311)와 이 텍스쳐 이미지 그리드 정보중에서 특히 고려해야할 요소에 대한 가중치 정보(312)(Position Weights Descriptor)를 포함한다.

상기 도3에 나타낸 바와같이 칼라와 텍스쳐를 이미지 특징정보세트로 구성한 경우, 이미지 전체에 대한 칼라 히스토그램(305)을 이미지의 특징소 정보로서 가지며, 이미지 전체에 대한 칼라 히스토그램 중에서 특히 고려해야할 칼라에 대한 가중치를 요소별 가중치(306)에 의해서 고려하게 되는 것이다.

또한, 이미지 전체에 대한 텍스쳐 히스토그램(307)을 이미지의 특징소 정보로서 가지며, 이미지 전체에 대한 텍스쳐 히스토그램 중에서 특히 고려해야할 텍스쳐에 대한 가중치를 요소별 가중치(308)에 의해서 고려하게 되는 것이다.

그리고, 이미지내의 영역(즉, 도1에서 각각의 로칼셀인 그리드내의 영역)에 대한 칼라 이미지 그리드(309)를 이미지의 특징소 정보로서 가지며, 이미지내의 영역에 대한 칼라 이미지 그리드 중에서 특히 고려해야할 그리드 위치(Position)를 가중치정보(310)에 의해서 고려하게 되는 것이다.

또한, 이미지내의 영역에 대한 텍스쳐 이미지 그리드(311)를 이미지내의 영역별 특징소 정보로서 가지며, 이미지내의 영역에 대한 텍스쳐 이미지 그리드 중에서 특히 고려해야할 그리드 위치를 가중치정보(212)에 의해서 고려하게 되는 것이다.

이상에서 설명한 바와같이 본 발명의 이미지 검색 시스템은 사용자의 모든 질의에 만족하도록 하기 위해 이미지 특징소들을 고려한 이미지 특징정보로서 이미지 전체에 대한 특징정보와, 이미지내의 영역에 대한 특징정보와, 상기 특징정보들 중에서 이미지 검색시에 고려의 정도를 달리하기 위한 가중치 정보를 포함하는 이미지 데이타의 구조를 가지는 것을 특징으로 하며, 이러한 이미지의 특징소 구성법은 다음에서 설명하는 사용자의 가능한 모든 유사도 판단기준을 반영한다.

사용자가 이미지 검색시 주로 적용되는 판단의 기준 즉, 질의 유형을 크게 나누어 도4에 나타내었다.

여기서 기본적인 특징소의 종류로는 칼라와 텍스쳐가 사용되었다.

질의 유형(Query Type)은 전체적으로 칼라가 어떤 이미지인가, 임의의 칼라 특성을 갖는 부분이 존재하는 이미지인가 등등 12개의 유형으로 분류하였다.

이들을 모두 만족시키기 위해서는 다음과 같은 8가지의 이미지 특징정보들이 적어도 갖추어져 있어야 한다.

1. 이미지 전체에 대한 칼라의 특징을 표현하는 정보로서 글로벌 칼라정보(Global Color Information)가 갖추어져 있어야 하고, 이 글로벌 칼라정보로서는 글로벌 칼라 히스토그램이 특징소가 될 수 있다.

2. 이미지 전체에 대한 텍스쳐의 특징을 표현하는 정보로서 글로벌 텍스쳐정보(Global Texture Information)가 갖추어져 있어야 하고, 이 글로벌 텍스쳐 정보로서는 글로벌 텍스쳐 히스토그램이 특징소가 될 수 있다.

3. 이미지 전체에 대한 칼라 및(AND) 테스쳐의 특징을 표현하는 정보는 상기 1,2 정보의 조합으로 표현된다.

4. 이미지내의 영역(로칼 영역)에 대한 칼라의 특징을 표현하는 정보로서 로칼 칼라정보(Local Color Information)를 갖추고 있어야 하고, 이 로칼 칼라정보로는 칼라 이미지 그리드에 표현된 대표칼라 히스토그램이 특징소가 될 수 있다.

또는 글로벌 칼라 정보에 요소 가중치를 사용하면 이러한 정보를 대신할 수도 있다.

5. 이미지내의 영역에 대한 텍스쳐의 특징을 표현하는 정보로서 로칼 텍스쳐 정보(Local Texture Information)를 갖추고 있어야 하고, 이 로칼 텍스쳐 정보로는 텍스쳐 이미지 그리드에 표현된 대표 텍스쳐 히스토그램이 특징소가 될 수 있다.

또는 글로벌 텍스쳐 정보에 요소 가중치를 사용하면 이러한 정보를 대신할 수도 있다.

6. 이미지내의 영역에 대한 칼라 및(AND) 텍스쳐의 특징을 표현하는 정보로서 로칼 칼라 및 텍스쳐 정보(Local Color and Texture Information)를 갖추고 있어야 하고, 이 로칼 칼라 및 텍스쳐 정보로는 칼라 및 텍스쳐 이미지 그리드에 표현된 대표칼라 및 테스쳐 히스토그램이 특징소가 될 수 있다.

또는 만일 글로벌 칼라 또는 글로벌 텍스쳐와 그들의 요소 가중치로 상기 4,5를 대신하였다면 이 정보도 4,5의 조합으로 표현될 수 있다.

7. 이미지내의 어떤 위치의 영역에서 어떤 칼라의 특징을 표현하는 정보로서 로칼 칼라 위치정보(Local Color Position Information)를 갖추고 있어야 하고, 이 로칼 칼라 위치정보로는 칼라 이미지 그리드가 특징소가 될 수 있다.

8. 이미지내의 어떤 위치의 영역에서 어떤 텍스쳐의 특징을 표현하는 정보로서 로칼 텍스쳐 위치정보(Local Color Position Information)를 갖추고 있어야 하고, 이 로칼 텍스쳐 위치정보로는 텍스쳐 이미지 그리드가 특징소가 될 수 있다.

9. 이미지내의 어떤 위치의 영역에서 어떤 칼라 및(AND) 텍스쳐의 특징을 표현하는 정보는 위 7,8의 조합으로 표현될 수 있다.

도5의 질의 유형을 모두 만족하기 위해서는 이미지가 위와같이 4 또는 7가지 유형의 이미지 특징정보들이 갖추어져 있어야 하고, 또 7가지 유형의 이미지 정보를 위해서 7가지 종류의 특징소를 모두 가지고 있을 필요는 없다.

앞에서는 위 질의 유형을 모두 만족하기 위해 4개의 특징정보를 가지는 구조를 설명했는데 여기서는 7개의 특징정보를 가지는 구조를 설명하겠다.

예를 들어, 실제로 이미지가 가지고 있어야할 특징소로서 칼라-텍스쳐 조인트 로칼 그리드(Color-Texture Joint Local Grid)를 사용하였다면 이 정보로부터 자연스럽게 로칼 칼라, 로칼 텍스쳐, 로칼 칼라 및 텍스쳐, 로칼 위치칼라, 로칼 위치 텍스쳐, 로칼 위치 칼라 및 텍스쳐 정보도 구해질 수 있기 때문이다.

또한, 한 종류의 이미지 정보라도 두개 이상의 특징소로 구성되어질 수도 있다.

예를 들어 도6을 보면 상기 7가지 종류의 이미지 특징정보를 실제로 4개의 특징소로 구성한 실시예를 알 수 있다.

즉, 도6은 글로벌 칼라 히스토그램과 글로벌 텍스쳐 히스토그램, 그리고 칼라 이미지, 텍스쳐 이미지 그리드의 4개의 특징소로 앞에서 설명한 7가지 종류의 특징정보들을 나타낸 도면으로서, 이미지 특징정보의 세트(601)로서; 글로벌정보(602)와 로칼정보(603), 로칼 위치정보(604)를 가지며, 글로벌 정보(602)는 글로벌 칼라 특징소 유닛(605)과, 글로벌 텍스쳐 특징소 유닛(607)을 포함하고, 로칼정보(603)는 로칼 칼라 특징소 유닛(609)과 로칼 텍스쳐 특징소 유닛(610), 그리고 로칼 칼라 및 텍스쳐 특징소 유닛(611)을 포함하고, 로칼 위치정보(604)는 로칼 위치 칼라 특징소 유닛(613)과 로칼 위치 텍스쳐 특징소 유닛(614)을 포함하고 있다.

상기 글로벌 칼라 특징소 유닛(605)은 글로벌 칼라 히스토그램(606)으로 나타내며, 상기 글로벌 텍스쳐 특징소 유닛(607)은 글로벌 텍스쳐 히스토그램(608)으로 나타내며, 로칼 칼라 특징소 유닛(609)과 로칼 위치 칼라 특징소 유닛(613)은 칼라 이미지 그리드(612)로 나타내며, 로칼 텍스쳐 특징소 유닛(610)과 로칼 위치 텍스쳐 특징소 유닛(614)은 텍스쳐 이미지 그리드(615)로 나타낸다.

그리고 로칼 칼라 및 텍스쳐 특징소 유닛(611)은 칼라 이미지 그리드(612)와 텍스쳐 이미지 그리드(615)로 나타낸다.

위와같이 앞에서 설명한 7가지 유형의 특징소들을 구성한 후 각각의 특징소 타입별, 특징소 내 요소별 가중치를 두어 그 값을 조정하면 도4에서 나열된 모든 질의를 만족시킬 수 있게 된다.

그리고, 앞에서 설명한 7가지 유형별 특징소의 예를 설명하면 다음과 같다.

먼저, 칼라 히스토그램(Color Histogram)은 이미지 전체에서 특정 칼라 범위안에 존재하는 칼라의 비중이 얼마만큼 인지를 나타내는 정보이다.

텍스쳐 히스토그램(Texture Histogram)은 이미지 전체에서 특정 범위안에 존재하는 텍스쳐의 비중이 얼마만큼 인지를 나타내는 정보이다.

칼라 이미지 그리드(Color Image Grid)는 이미지를 n*m으로 등분하여 n*m갯수 만큼의 그리드로 구성하고 각각의 그리드별로 칼라 정보를 나타내는 것을 말한다.

텍스쳐 이미지 그리드(Texture Image Grid)는 이미지를 n*m으로 등분하여 n*m갯수 만큼의 그리드로 구성하고 각각의 그리드별로 텍스쳐 정보를 나타내는 것을 의미한다.

칼라-텍스쳐 조인트 로칼 그리드(Color-Texture Joint Local Grid)는 이미지를 n*m등분하여 n*m갯수 만큼의 그리드로 구성하고 각각의 그리드별로 칼라 텍스쳐 정보를 나타내는 것을 말한다.

도7은 도6에 나타난 7가지 종류의 이미지 특징정보 각각이 실제 이미지 특징정보와 해당 특징타입에 대한 가중치, 그리고 그 타입의 가중치내의 각각의 요소에 대한 가중치로 구성됨을 보이기 위해서 글로벌 칼라 정보를 예로 들어 그 구성요소를 보여준 도면으로서, 글로벌 칼라정보(701)(Global Color Information)가 글로벌 칼라 특징소(702)(Clobal Color Feature)와 가중치(703)(Weights)로 구성되고, 또 그 가중치(703)는 타입별 가중치(704)(Type Weight)와 요소별 가중치(705)(Element Weights)로 구성됨을 보인 것이다.

앞에서 설명한 8가지 종류의 이미지 특성의 일반화된 형태로서 다음과 같은 예를 들 수 있다.

앞에서는 기본 이미지 특징으로 칼라와 텍스쳐를 사용하였다.

이와같이 2개의 기본 특징을 사용할 경우 글로벌과 로칼 위치는 기본 특징을각각 독립적으로 사용하는 경우만 있고, 로칼의 경우는 기본 특징을 독립적으로 사용하는 경우와 조합하여 사용하는 경우로 나누어 생각할 수 있다.

이와같이 기본 특징을 독립적으로 사용하는 경우와 가능한 조합의 경우의 수는 기본 특징의 수가 n일 때,

가 된다.

그러므로 이들이 각각 로칼, 로칼 위치의 경우에 적용되고 글로벌의 경우 n만큼의 경우가 발생하므로 모든 필요한 이미지 특징정보 종류의 수는,

이 된다.

본 발명의 실시예에서는 칼라와 텍스쳐 2개의 기본 특징을 사용하였으므로 결국 모든 필요한 이미지 특징정보 종류의 수는 3+2*2=7 이 되었으나, 셰이프(Shape)를 추가하여 3개의 기본 특징을 사용한다면 모든 필요한 이미지 특징정보 종류의 수는 7+2*3=13 개 종류의 이미지 특징정보가 필요하게 된다.

도8에는 본 발명의 이미지 검색 시스템에 적용되는 특징소 구성방법을 나타낸 도면으로서, 사용자의 피이드백에 따라 이미지 특징소의 가중치를 조정하는 검색 시스템(Relevance Feedback System)의 이미지 데이타 구조의 실시예를 나타내고 있다.

도8에서 이미지(801)는 이미지 검색시에 사용자의 응답에 따라 이미지 특징소의 가중치를 조정하는 데이타 구조(802)로서;

이미지 특징정보의 세트(803)(Image Characteristic)와 가중치정보 세트(804)를 가진다.

상기 이미지 특징정보의 세트(803)에는 앞에서 설명한 바와같이 글로벌 정보세트(805)와 로칼정보세트(806) 그리고 로칼 위치정보세트(807)를 가지며, 가중치 정보세트(804)는 타이별 가중치(808)와 요소별 가중치(809)를 가진다.

그리고 글로벌 정보세트(805)는 n개의 특징소 유닛(810)을 가지게 되며, 로칼정보세트(806)는 앞에서 설명한 기본특징을 독립적으로 사용하는 경우와 가능한 조합의 경우의 수만큼의 특징소 유닛(811)을 가지며, 로칼 위치 정보세트(807) 또한 기본특징의 수인 n만큼의 특징소 유닛(812)을 가진다.

도9은 도8의 구성을 칼라 및 텍스쳐를 기본 특징으로 사용한 경우의 실시예이다.

도9에서 이미지(901)는 이미지 검색시에 사용자의 응답에 따라 이미지 특징소의 가중치를 조정하는 데이타 구조(902)로서;

이미지 특징정보의 세트(903)(Image Characteristic)와 가중치정보 세트 (904)를 가진다.

상기 이미지 특징정보의 세트(903)에는 앞에서 설명한 바와같이 글로벌 정보세트(905)와 로칼정보세트(906) 그리고 로칼 위치정보세트(907)를 가지며, 가중치 정보세트(904)는 타입별 가중치(908)와 요소별 가중치(909)를 가진다.

그리고 글로벌 정보세트(905)는 2개의 특징소 유닛으로서 글로벌 칼라 특징소 유닛(910)과 글로벌 텍스쳐 특징소 유닛(911)을 가지게 되며, 로칼정보 세트(906)는 앞에서 설명한 기본특징을 독립적으로 사용하는 경우와 가능한 조합의경우의 수인 3만큼의 특징소 유닛으로 로칼 칼라 특징소 유닛(912), 로칼 텍스쳐 특징소 유닛(913), 로칼 칼라 및 텍스쳐 특징소 유닛(914)을 가지며, 로칼 위치 정보세트(907) 또한 기본 특징의 수인 2만큼의 특징소 유닛으로 로칼 위치 칼라 특징소 유닛(915)과 로칼 위치 텍스쳐 특징소 유닛(916)을 가진다.

이상에서 설명한 바와같이 구성된 정보를 이용해서 이미지를 검색하는 방법은 다음과 같다.

먼저, 사용자의 판단 기준을 반영한 질의 내용을 바로 묘사하는 방법으로서, 예를 들면 '상부가 파랗고 하부가 빨간 이미지' 등 찾고자 하는 이미지의 특징을 바로 묘사하여 검색하는 것이다.

이러한 직접 묘사 방식을 사용할 수 있는 사용자 인터페이스로는 이미지 백판 위에 사용자가 직접 참조 이미지를 팔레트를 이용해서 각 영역의 칼라를 명시함으로써 구성하여 질의하는 방식을 들 수 있다.

다른 방법은 참조 이미지를 사용하는 방법으로서, 참조 이미지를 제시하면 검색 대상중에서 참조 이미지와 가장 유사도가 높은 이미지를 찾는 것이다.

여기서 사용자의 판단기준을 적용하려면 각 특징소 타입별,요소별 가중치를 조정해야만 한다.

가중치 조정방법은 사용자가 직접 조정하는 방법과 자동으로 조정하는 방법, 그리고 'Relevance Feeback'방법이 있다.

본 발명은 이미지 검색시에 가능한 사용자의 모든 질의 의도를 만족시킬 수있는 이미지 특징소 구성방법을 제시하고 있다.

그러므로, 사용자의 모든 질의 의도를 만족하는 이미지 특징소를 이용해서 어떠한 이미지라도 사용자의 질의 의도를 파악하여 효과적인 검색을 할 수 있다.

Claims

(1회 정정) 이미지 검색을 위하여 그 이미지에 대하여 의미있는 정보로서 칼라, 텍스쳐 등의 특징있는 정보들을 이용해서 이미지 검색을 수행하는 시스템에 있어서,

이미지의 특징을 나타내는 정보를 사용자의 질의 유형으로부터 분류하는 단계와, 상기 단계에서 분류한 그 특징정보에 해당하는 가중치 정보를 포함하여 이미지 검색을 위한 데이터를 구성하는 것을 특징으로 하는 이미지 데이터 구성 방법.
(1회 정정) 제 1 항에 있어서, 상기 이미지 특징정보는 이미지 전체에 대한 특징정보와 위치정보를 포함한 이미지 내의 영역에 대한 특징정보로 이루어지고, 상기 가중치는 상기 이미지 전체에 대한 특징정보와 이미지내의 영역에 대한 특징 정보에서 고려할 요소에 대한 가중치 정보인 것을 특징으로 하는 이미지 데이터 구성 방법.
(1회 정정) 제 1 항에 있어서, 상기 이미지 특징정보는 이미지 전체에 대한 특징정보와, 위치정보가 없는 이미지내의 영역에 대한 특징정보와, 위치정보를 포함한 이미지내의 영역에 대한 특징정보로 이루어지고, 상기 가중치는 상기 각각의 특징정보 중에서 고려할 요소에 대한 가중치 정보인 것을 특징으로 하는 이미지 데이타 구성 방법.
(1회 정정) 제 2 항에 있어서, 상기 이미지 전체에 대한 특징정보는 이미지 전체의 특징소와 그 특징소내 요소에 대한 가중치를 가지는 정보세트로 이루어지고, 상기 이미지내의 영역에 대한 특징정보는 이미지내의 영역에 대한 특징소와 그 특징소에 대한 위치의 가중치를 가지는 정보세트로 이루어지는 것을 특징으로 하는 이미지 데이타 구성 방법.
(1회 정정) 제 1 항 또는 제 2 항 또는 제 3 항중의 어느 한항에 있어서, 상기 가중치 정보는 이미지 특징정보 각각의 타입 가중치와 요소별 가중치로 이루어지는 것을 특징으로 하는 이미지 데이타 구성 방법.
(1회 정정) 제 1항 또는 제 2 항 또는 제 3 항중의 어느 한항에 있어서, 상기 특징정보는 이미지 전체와 이미지내의 영역에 대한 칼라와 텍스쳐 정보인 것을 특징으로 하는 이미지 데이타 생성 방법.
(1회 정정) 제 2 항에 있어서, 상기 이미지 전체에 대한 특징정보는 이미지 전체에 대한 칼라 히스토그램과 그들의 요소별 가중치정보, 이미지 전체에 대한 텍스쳐 히스토그램과 그들의 요소별 가중치정보의 세트로 이루어지고, 상기 이미지내의 영역에 대한 특징정보는 칼라 이미지 그리드와 그들의 위치별 가중치정보, 이미지내의 영역에 대한 텍스쳐 이미지 그리드와 그들의 위치별 가중치정보의 세트로 이루어진 것을 특징으로 하는 이미지 데이타 구성 방법.
(1회 정정) 제 1 항 또는 제 2 항 또는 제 3 항중의 어느 한항에 있어서, 상기 특징정보는 이미지 전체에 대한 글로벌 조인트 히스토그램(Global Joint Histogram)과 로칼 조인트 그리드(Local Joint Grid)로 이루어짐을 특징으로 하는 이미지 데이타 구성 방법.
(1회 정정) 제 1 항 또는 제 2 항 또는 제 3 항중의 어느 한항에 있어서, 상기 특징정보는 이미지 전체에 대한 칼라-텍스쳐 조인트 히스토그램(Color-Texture Joint Histogram)과 칼라-텍스쳐 조인트 로칼 그리드(Color-Texture Joint Local Grid)로 이루어짐을 특징으로 하는 이미지 데이타 구성 방법.
이미지 검색을 위하여 그 이미지에 대하여 의미있는 정보로서 칼라, 텍스쳐등의 특징있는 정보들을 이용해서 이미지 검색을 수행하는 시스템에 있어서,

이미지의 특징을 나타내는 정보를 사용자의 질의 유형으로부터 분류한 특징 정보와 그 특징정보와 특징정보의 세트에 포함되는 특징소에 해당하는 각각의 가중치 정보를 포함하는 이미지 데이터의 구성을 가지고, 이미지 검색시에 사용자의 피이드백에 따라서 상기 가중치를 갱신조정하여 검색에 이용하는 것을 특징으로 하는 이미지 검색 방법.
제 10 항에 있어서, 상기 특징정보로서 이미지 전체에 대한 칼라 및 텍스쳐 히스토그램을 가지고 상기 이미지 전체에 대한 칼라요소나 텍스쳐 요소에 대한 가중치를 조정하고, 상기 특징정보로서 이미지내의 영역에 대한 칼라 및 텍스쳐 그리드를 가지고 상기 이미지내의 영역에 대한 칼라 및 텍스쳐의 위치요소에 대한 가중치를 조정하는 것을 특징으로 하는 이미지 검색방법.
제 10 항 또는 제 11 항에 있어서, 상기 특징정보의 각 가중치를 질의 종류에 따라 다른 중요한 타입의 특징소에 비례하여 조정하는 것을 특징으로 하는 이미직 검색방법.
제 10항 또는 제 11항에 있어서, 상기 특징정보는 특징소의 타입별, 요소별 특징정보로 이루어지고, 각각의 타입별, 요소별 가중치를 상기 가중치 정보로서 갱신조정함을 특징으로 하는 이미지 검색 방법.