KR100895534B1 - 영역 가중치를 이용한 영역 기반 이미지 검색 방법 - Google Patents

Abstract

본 발명은 영역 가중치를 이용한 영역 기반 이미지 검색 방법에 관한 것으로서, 본 발명에 따른 영역 기반 이미지 검색 방법은, (1) 사용자로부터 수신한 샘플 이미지로부터 초기 질의를 생성하는 단계와, (2) 상기 질의에 대한 질의점과 상기 데이터베이스의 이미지들과의 거리를 거리함수에 의해 구하는 단계와, (3) 구해진 상기 거리의 값이 작은 순서대로 상기 k개의 이미지들을 사용자에게 반환하는 단계와, (4) 반환된 k개의 상기 이미지들에 대하여, 사용자로부터 적합성 여부를 수신하는 단계와, (5) 사용자에 의해 적합하다고 수신된 이미지들을 구성하는 영역들을 이용하여, 초기 영역 클래스를 구성하는 단계와, (6) 상기 초기 영역 클래스에 대하여, 병합 과정을 통해 영역에 대한 최적의 클래스 계층 구조를 결정하고, 이로부터 새로운 질의점을 구하는 단계와, (7) 결정된 최적의 클래스 계층 구조를 구성하는 영역들에 대하여, 영역의 공간적 위치와 영역의 크기를 함께 이용하여 갱신된 가중치를 구하는 단계와, (8) 갱신된 상기 가중치를 이용하여 갱신된 질의를 생성하는 단계와, (9) 소정의 반복 횟수가 완료될 때까지, 상기 단계 (2) 내지 (8)를 반복하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

본 발명의 이미지 검색 방법에 따르면, 영역 기반 이미지 검색 방법을 적합성 피드백 방법과 접목하여 사용하되, 사용자의 적합성 여부에 대한 피드백 입력에 의해 영역의 가중치를 갱신하는 데 있어서 영역의 가중치를 영역의 공간적 위치와 영역의 크기를 함께 이용하여 계산함으로써, 사용자의 의도를 보다 효율적으로 학 습할 수 있고, 이에 따라 이미지 검색의 정확도를 크게 향상시킬 수 있다.

이미지 검색, 영역 기반, 내용 기반, 적합성 피드백, 질의, 질의점, 거리, 거리함수, 영역 클래스, 최적의 클래스 계층 구조, 가중치, 영역의 공간적 위치, 영역의 크기, 정확도

Description

영역 가중치를 이용한 영역 기반 이미지 검색 방법{A REGION BASED IMAGE RETRIEVAL METHOD USING REGION WEIGHTS}

도 1은 본 발명에 따른 이미지 검색 방법을 나타내는 블록도.

도 2는 본 발명에 따라 구성된, 적합한 이미지 집합에 대한 영역 클러스터링 계층 구조를 나타내는 도면.

도 3은 본 발명에 따른 영역 가중치 계산 방법을 설명하기 위한 도면.

도 4는 본 발명에 따른 영역 가중치 계산 방법을 나타내는 도면.

도 5는 독수리에 대한 이미지로서, 6개의 영역으로 구성된 이미지를 나타내는 도면.

도 6은 본 발명에 따른 가중치 방법(위치와 크기 방법)의 정확도를, 면적율을 사용하는 기존의 방법(면적율 방법) 및 영역의 빈도수를 사용하는 기존의 방법(영역 빈도수 방법)의 정확도와 비교하여 나타낸 도면.

<도면 중 주요 부분에 대한 부호의 설명>

100 : 본 발명에 따른 이미지 검색 방법

110 : 초기 질의(質疑)를 생성하는 단계

111 : 사용자로부터 수신한 샘플 이미지

112 : 이미지를 분할하는 과정

113 : 분할된 이미지

113a : 분할된 각각의 영역

114 : 특징을 추출하는 과정

116 : 가중치를 계산하는 과정

120 : 질의에 대한 질의점과 데이터베이스의 이미지들과의 거리를 거리함수에 의해 구하는 단계

122 : 데이터베이스

130 : 사용자에게 이미지들을 반환하는 단계

132 : 사용자에게 반환된 이미지들

140 : 반환된 이미지들에 대하여 사용자로부터 적합성 여부를 수신하는 단계

150 : 적합한 이미지 집합을 구성하는 영역들을 이용하여, 초기 영역 클래스를 구성하는 단계

152 : 적합한 이미지 집합

160 : 영역에 대한 최적의 클래스 계층 구조를 결정하는 단계

162 : 동적인 클러스터

164 : 영역 기반 클러스터 집합

166 : 클러스터 대표값

170 : 영역 가중치를 구하는 단계

400 : (본 발명의 일 실시예에 따른) 영역 가중치 계산 방법

410 : 각각의 영역에서 일정한 비율에 의해 무작위 샘플 픽셀들을 선택하는 단계

420 : 선택된 상기 무작위 샘플 픽셀들을 이용하여, 각각의 영역들에 대한 중요도를 구하는 단계

430 : 각각의 영역들에 대하여 구해진 상기 중요도를 이용하여, 각각의 영역들에 대한 가중치를 계산하는 단계

본 발명은 영역 가중치를 이용한 영역 기반 이미지 검색 방법에 관한 것으로서, 보다 구체적으로는 영역 기반 이미지 검색 방법을 적합성 피드백 방법과 접목하여 사용하되, 사용자의 적합성 여부에 대한 피드백 입력에 의해 영역의 가중치를 갱신하는 데 있어서 영역의 가중치를 영역의 공간적 위치와 영역의 크기를 함께 이용하여 계산함으로써, 사용자의 의도를 보다 효율적으로 학습할 수 있고, 이에 따라 이미지 검색의 정확도를 향상시킬 수 있는 이미지 검색 방법에 관한 것이다.

컴퓨터 프로세서 처리속도의 향상과 인터넷의 발전으로 인하여, 사용자는 많은 수의 디지털 이미지를 손쉽게 이용할 수 있게 되었으며, 이에 수반하는 의료 영상, 범죄 예방, 상업 분야, 웹 이미지의 분류 및 검색 등과 같은 다양한 어플리케이션에서 효율적인 내용 기반 이미지 검색(Content-Based Image Retrieval; CBIR) 방법의 필요성이 크게 대두되었다.

내용 기반 이미지 검색(CBIR) 방법은, 이미지의 전체 픽셀들로부터 추출된 색상, 모양, 질감 등의 전역적인 특징들(global features)에 의해서 이미지를 표현하며, 두 이미지 사이의 유사한 정도는 특징 공간에서 두 이미지를 표현한 전역적인 특징 벡터 사이의 거리함수에 의해 측정된다. 그러나 상기와 같은 검색 방법에서 검색의 정확성은 사용자가 원하는 수준에 미치지 못하고 있는데, 그 원인은 높은 계층의 질의 이미지에 내포된 사용자의 의미적 개념과 낮은 계층의 전역적인 특징들 사이에 커다란 차이가 있기 때문이다. 이러한 차이를 줄이기 위해서 최근에 적합성 피드백(Relevance Feedback; RF) 방법과 영역 기반의 이미지 검색(Region-Based Image Retrieval; RBIR) 방법이 연구되고 있다.

기존의 적합성 피드백 연구에서는 질의 재 가중치 방법과 질의 표현 변경 방법 등이 사용되었다. 질의 표현 변경 방법은 질의 표현을 개선하기 위해 사용자들의 참여를 허용한다. 또한, 질의점 이동 접근 방법에서는, 질의점이 사용자에 의해 표시된 적합한 점을 향해서 이동하게 된다. 질의 확장과 질의 분해 방법은 클러스터 안에 사용자 피드백에 따라 적합한 점들을 그룹으로 만들고, 새로운 질의를 클러스터들의 표현들로 취급한다.

전역적 특징 표현을 사용하는 내용 기반의 이미지 검색 시스템에서는 검색 성능을 향상시키기 위해 적합성 피드백이 흔히 사용되었으나, 영역 기반의 이미지 검색 시스템에서는 적합성 피드백 방법이 거의 적용되지 못했다. 전통적인 이미지의 전역적 특징을 사용하는 접근 방법들과 달리, 영역 기반의 접근 방법은 이미지 분할을 적용하여 이미지를 객체 수준에서 표현한다. 영역 특징을 사용하는 주된 목적은 이미지에 포함된 사용자의 개념(semantics)을 반영하여 보다 의미 있는 검색을 하기 위함이다.

이와 같은 기존의 연구 상황을 고려할 때, 영역 기반의 이미지 검색 방법에 적합성 피드백 방법을 접목시켜 볼 필요성이 있다.

한편, WARLUS 시스템에서는 두 이미지 사이의 유사성은 두 이미지의 영역들 중 유사한 영역들의 크기 비율로 정의하고 있으며, 또한 SIMPLIcity 시스템에서는 보통 중요한 영역은 이미지에서 많은 영역을 차지한다고 간주하고 면적율을 가중치로서 사용하고 있는데, 두 시스템 모두 경우에 따라서는 사용자의 의도와 일치하지 않는다는 문제점이 있다. 가중치를 이용하는 또 다른 방법으로 Jing 등은, 의미 있는 영역들은 적합한 이미지로부터 더 많이 나타나고, 데이터베이스 내의 전체 이미지들로부터는 적게 나타난다는 성질에 착안하여, 영역 기반의 이미지 검색에서 영역 빈도수를 사용하는 방법을 제안하고 있지만, 역시 경우에 따라서는 사용자의 의도와 일치하지 않는다는 문제점이 있다.

본 발명은 상기와 같은 필요성 인식 및 문제점 해결을 위해 제안된 것으로서, 영역 기반 이미지 검색 방법을 적합성 피드백 방법과 접목하여 사용하되, 사용자의 적합성 여부에 대한 피드백 입력에 의해 영역의 가중치를 갱신하는 데 있어서 영역의 가중치를 영역의 공간적 위치와 영역의 크기를 함께 이용하여 계산함으로써, 사용자의 의도를 보다 효율적으로 학습할 수 있고, 이에 따라 이미지 검색의 정확도를 향상시킬 수 있는 이미지 검색 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 이미지 검색 방법은,

데이터베이스로부터 이미지를 검색하는 방법으로서,

(1) 사용자로부터 수신한 샘플 이미지로부터 다음 수학식과 같이 표현될 수 있는 질의(質疑)를 생성하는 단계;

여기서, q는 상기 샘플 이미지로부터 분해된 다중 영역들의 중심을 질의점으로 만든 특징 공간에서의 다중 질의점들로 표현되고, d는 거리함수를 나타내며, w는 질의점들의 가중치를, k는 사용자에게 반환되는 질의 결과 이미지의 개수를 나타낸다.

(2) 상기 질의에 대한 질의점과 상기 데이터베이스의 이미지들과의 거리를 상기 거리함수에 의해 구하는 단계;

(3) 구해진 상기 거리의 값이 작은 순서대로 k개의 이미지들을 사용자에게 반환하는 단계;

(4) 반환된 k개의 상기 이미지들에 대하여, 사용자로부터 적합성 여부를 수신하는 단계;

(5) 사용자에 의해 적합하다고 수신된 이미지들을 구성하는 영역들을 이용하여, 초기 영역 클래스를 구성하는 단계;

(6) 상기 초기 영역 클래스에 대하여, 병합 과정을 통해 영역에 대한 최적의 클래스 계층 구조를 결정하고, 이로부터 새로운 질의점을 구하는 단계;

(7) 결정된 최적의 클래스 계층 구조를 구성하는 영역들에 대하여, 영역의 공간적 위치와 영역의 크기를 함께 이용하여 갱신된 가중치를 구하는 단계;

(8) 갱신된 상기 가중치를 이용하여 다음 수학식과 같이 표현될 수 있는 갱신된 질의를 생성하는 단계; 및

여기서, q'는 상기 새로운 질의점, d'는 새로운 거리함수, w'는 상기 갱신된 가중치를 나타낸다.

(9) 소정의 반복 횟수가 완료될 때까지, 상기 단계 (2) 내지 (8)를 반복하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 거리함수로서 Earth Mover's Distance(EMD) 함수가 사용될 수 있다.

또한, 바람직하게는, 상기 소정의 반복 횟수를 사용자가 설정할 수 있다.

또한, 바람직하게는, 상기 단계 (7)에서, 영역의 크기가 크고 영역의 중심과 이미지 중심 사이의 거리가 작을수록 상기 갱신된 가중치는 큰 값을 가지며, 이를 위해 다음 수학식과 같은 함수를 이용하여 갱신된 가중치를 계산할 수 있다.

여기서,

는 이미지

을 구성하는 영역들의 집합

중 영역

에 대한 가중치이며, 영역의 중요도

는 다음 수학식에 의해 계산될 수 있다.

여기서,

는 영역

의 j번째 무작위 샘플 픽셀을,

는 영역

에서의 무작위 샘플 픽셀들의 수를 각각 나타내며,

는 무작위 샘플 픽셀

의 이미지 중심에 대한 근접성을 나타낸다. 또한,

는 영역

의 크기를,

는 이미지

의 전체 면적을 각각 나타내며, r은 상수로서 사용자에 의해 설정될 수 있다.

이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상세하게 설명하기로 한다.

도 1은 본 발명에 따른 이미지 검색 방법을 나타내는 블록도이다. 도 1에 도시된 바와 같이, 본 발명에 따른 이미지 검색 방법(100)은, (1) 사용자로부터 수신한 샘플 이미지(111)로부터 질의(質疑)를 생성하는 단계(110)와, (2) 질의에 대한 질의점과 상기 데이터베이스(122)의 이미지들과의 거리를 거리함수에 의해 구하는 단계(120)와, (3) 구해진 거리의 값이 작은 순서대로 k개의 이미지들(132)을 사용자에게 반환하는 단계(130)와, (4) 반환된 k개의 이미지들에 대하여 사용자로부터 적합성 여부를 수신하는 단계(140)와, (5) 사용자에 의해 적합하다고 수신된 이미지들(152)을 구성하는 영역들을 이용하여, 초기 영역 클래스를 구성하는 단 계(150)와, (6) 초기 영역 클래스에 대하여, 병합 과정을 통해 영역에 대한 최적의 클래스 계층 구조를 결정하고, 이로부터 새로운 질의점을 구하는 단계(160)와, (7) 결정된 최적의 클래스 계층 구조를 구성하는 영역들에 대하여, 영역의 공간적 위치와 영역의 크기를 함께 이용하여 갱신된 가중치를 구하는 단계(170)를 포함한다. 도 1에 도시되지는 않았지만, 본 발명에 따른 이미지 검색 방법(100)은, 갱신된 가중치를 이용하여 질의를 갱신하는 단계를 더 포함하며, 소정의 반복 횟수가 완료될 때까지(또는 사용자가 만족할 검색 결과를 얻을 때까지), 단계 110 내지 170을 반복하게 된다. 이하에서, 본 발명에 따른 방법을 구성하는 각각의 단계들에 대하여 보다 구체적으로 살펴보기로 한다.

먼저, 사용자로부터 샘플 이미지(111)가 수신되면, 수신된 샘플 이미지(111)는 초기 질의

을 생성하기 위해 분석된다. 여기서, 샘플 이미지는 여러 개의 다중 영역들로 분해되기 때문에(112), q는 특징 공간에서 영역의 중심을 질의점으로 만든 다중 질의점들로 표현되며, k는 시스템에 의해 반환되는 질의 결과 이미지 개수를, w는 질의점들의 가중치를, d는 거리함수를 각각 나타낸다.

전체 이미지의 영역들에서 특징 정보를 사용하는 두 이미지 사이의 거리를 측정하기 위한 거리함수로서, 본 발명의 일 실시예에서는 Earth Mover's Distance(EMD) 함수가 사용된다. EMD 함수는 다음 수학식 1과 같이 표현될 수 있다.

여기서, 이미지 I_P의 m개의 영역들은

와 같이 표현되고, 이미지 I_Q의 n개의 영역들은

와 같이 표현되며,

와

는 각각 이미지 I_P, I_Q의 i번째 영역의 가중치를 의미한다. 또한, d(p_i, q_j)는 영역 p_i와 영역 q_j 사이의 기본거리(ground distance)를 나타내며, f_ij는 영역 p_i와 영역 q_j 사이의 흐름을 나타낸다. 또한 비교하는 두 이미지의 영역 중요도(region importance)를 반영하기 위해 영역의 가중치

와

가 각각 사용된다. 상기 수학식 1의 EMD 함수에서,

이므로, 상기 수학식 1은 다음 수학식 2와 같이 변형되어 사용될 수 있다.

다음으로, EMD 거리함수 d를 사용하여 질의점 q와 데이터베이스(122)에 있는 이미지들과의 거리가 계산된다(120). 거리함수 d에 의해 계산된 거리 값이 작은, 즉 질의점 q에 밀접한 상위 k개의 이미지들로 구성된 결과 집합(132)이 사용자에게 반환된다(130).

사용자에게 반환된 결과 집합(132)에 있는 각각의 이미지들에 대하여, 사용자로부터 적합성 여부를 평가받음으로써 이미지의 적합성을 판단하게 된다(140). 이러한 과정을 통해, 사용자에게 적합하다고 평가된 이미지들로 이루어진 적합한 이미지 집합(152)을 얻는다. 적합한 이미지 집합(152)은 새롭게 추가된 적합한 이미지들과 이전의 반복 단계에서 사용된 적합한 이미지들을 모두 포함하고 있다. 새롭게 추가된 적합한 이미지들이 이전의 반복 단계에서 사용된 적합한 이미지들보다 사용자의 질의 개념을 더욱 정확하게 반영하므로, 이전 단계에서 사용된 적합한 이미지의 중요성을 줄이기 위해, 다음 수학식 3과 같이 영역 가중치의 계산에 감쇠요소

을 도입함으로써 이전 단계에서의 적합한 이미지들보다 새롭게 추가된 이미지들을 강조한다.

여기서, n개의 적합한 이미지들

은, m개의 이전 단계의 적합한 이미지들

과 (n-m)개의 새롭게 추가된 적합한 이미지들

로 구성되는 것으로 가정한다.

다음으로, 동적인 클러스터링에 대하여 살펴본다. 의미적으로 관련된 클러스터들을 찾아내기 위하여, 적합성 피드백은 영역 클러스터링과 클러스터 병합 프로세스로 구성된다. 적합성 피드백의 각 단계에서 사용자가 적합한 몇 개의 이미지들을 표시했을 때, 적합한 점들의 집합을 군집하고 그것들을 대표하는 클러스터의 중심을 선택한다(160).

도 2는 본 발명에 따라 구성된, 적합한 이미지 집합에 대한 영역 클러스터링 계층 구조를 나타내는 도면이다. 도 2에 도시된 바와 같이, 적합한 이미지 집합의 각각의 이미지를 구성하는 영역들은 초기 영역 클래스, 즉 영역 클러스터링 계층 구조의 최하위 레벨을 형성한다. 피드백의 다음 단계에서 사용될 질의를 정제하기 위하여 초기 영역 클래스로부터 새로운 의사-영역에 해당하는 영역 클래스들을 구성하기 위해 계층적 클러스터링 알고리즘이 사용된다.

클래스 계층 구조에서 g번째 계층에는 g개의 클래스가 존재한다. 전통적인 호텔링 T² 함수를 사용하여 g개의 클래스 중 선택된 두 개의 클래스의 위치가 같은지 다른지 통계적 검증을 한다. 서로 다른 두 개의 클래스 C_i와 C_j에 대하여, 호텔링 T² 함수는 다음 수학식 4와 같이 정의된다.

여기서, S_pooled는

이며, 두 개의 클래스는 p차원 공간의 중심 벡터

에 의해 특징지어지고, 두 클래스의 공분산 행렬은 S_i, S_j로 표시되며, 두 클래스의 데이터 수는 각각 n_i, n_j이다. 데이터가 다변량 정규분포를 따른다고 가정할 경우,

는

분포를 따른다. 상기 수학식 4는 두 클래스 간의 마하라노비스(Mahalanobis) 거리와 일치한다. 적절한 클래스들의 개수를 추정하기 위하여, 클래스 계층 구조에서 최적의 계층을 결정하는 것이 필요하다. g번째 클래스 계층에서

개의 호텔링 함수가

개의 쌍 중 임의의 클래스 쌍들이 병합되는지 결정하기 위해 사용된다.

병합이 발생하지 않는다면, g번째 계층이 (g-1)번째 계층보다 최적의 계층에 가깝다고 할 수 있으며, 병합이 발생한다면, (g-1)번째 계층이 최적의 계층과 더 가깝다고 할 수 있다. 값 T₀은 g번째 클러스터링 계층에서의 클래스의 쌍 C_i와 C_j을 비교하기 위한 호텔링 함수

에 대한 결과 값이다. 여기서, 확률 값인 p_ij는 다음 수학식 5와 같이 정의된다.

여기서,

는 자유도(degree of freedom)가 p와

인 F 분포를 나타낸다. 값이 작은 p_ij는 두 개의 클래스가 잘 분리되었음을 나타내는 좋은 증거이다. 특히,

가 주어진 임계값(threshold value)보다 작으면, 모든 g개의 클래스들은 분리되고, g번째 계층이 (g-1)번째 계층보다 더 최적의 계층이라고 판단할 수 있다. 적절한 클래스들의 수를 측정하기 위한 알고리즘은 다음과 같은 단계들로 구성할 수 있다.

단계 1. 초기 클래스들의 개수를 g개로 지정한다.

단계 2. g개의 클래스들과 함께 주어진 데이터를 클러스터링한다.

단계 3.

개의 두 클래스의 쌍을 각각 비교한다.

단계 4. 각각의 클러스터링 계층에서

개의 모든 확률(p) 값들이 주어진 신뢰수준(임계값)보다 작으면, g를 클래스의 개수로 확정한다.

단계 5. 만약 그렇지 않으면, (g-1)을 클래스의 개수로 지정하고 단계 2 내지 4를 반복한다.

유사한 영역들은 클러스터링을 거쳐 모두 합쳐지고, 정제된 질의 q'는 복합 이미지(pseudo image)로 표현된다. 즉, EMD 함수의 매개변수 중 하나인 질의 q'는 클러스터들에 대응되는 모든 영역들을 포함한 복합 이미지가 된다. 클러스터

에 대한 중심 값과 가중치는 적합성 피드백의 다음 반복 단계에서 EMD 거리함수의 구성요소인 질의점과 가중치로 사용된다. 클러스터 C_l 영역의 중요성(Cluster Region Importance)은 다음 수학식 6과 같이 정의될 수 있다.

여기서, g는 각각의 반복 단계에서 클러스터의 개수를 나타내고, 제약 조건으로

이 성립된다.

분류된 집합(classified set)에서 적합한 이미지들의 영역으로부터 발생하는 클래스들의 대표들은 새로운 질의점들의 집합을 형성한다. 그리고 이들의 가중치가 계산된다. 새롭게 조정된 가중치를 반영하기 위해서, 새로운 질의점 q'의 집합, 새로운 가중치 w', 및 새로운 거리함수 d'를 포함하는 새로운 질의

가 계산되고, 다음 반복 단계에서 입력으로 사용된다. 몇 번의 반복 단계를 거친 후에, 사용자가 결과를 만족하게 되면 최종 결과 집합을 출력하게 된다.

도 3을 참조하여, 본 발명에 따른 영역 가중치 계산 방법에 대하여 보다 상세하게 설명하기로 한다.

일반적으로, 전경 객체(foreground object)와 같이 이미지에서 중요한 영역 들은 이미지의 중심에 나타나고, 또한 이미지에서 많은 부분을 차지하는 경향이 있다. 이러한 경향을 가중치 계산에 반영해 보면, i번째 영역

에 대하여, 영역

의 크기가 클수록, 또한 영역

의 중심과 k번째 이미지

의 중심 사이의 거리가 작을수록 영역

의 가중치는 증가되어야 한다. 이를 고려하기 위하여, 다음 수학식 7과 같은 역수 함수(reciprocal function)가 이미지

의 중심 c와 이미지

에서 영역

의 각 픽셀의 위치

사이의 거리 값을 계산하기 위해 사용될 수 있다.

여기서,

이며, l은 이미지

의 중심 c와 이미지

의 오른쪽 아래 구석 점 사이의 거리를 나타낸다(후술하는 도 3 참조). 또한, r과 λ는 각각

와

로 표현되며, 주어진 함수의 매개변수들을 나타낸다. 본 발명에 따른 실험 결과에 따르면, f₁이 f₂ 및 f₃보다 더 좋은 결과를 보이고 있으므로 본 발명의 바람직한 실시예에서는 역수 함수로서 f₁을 선택한다. 영역

의 중요도는, 다음 수학식 8과 같이, 영역

의 모든 화소의 위치 x에 대 하여 역수 함수의 값들을 적분함으로써 계산될 수 있다.

그러나 상기 역수 함수의 값들은 영역의 형태와 영역의 위치에 상당히 의존적이며, 또한 계산하는데 상당히 많은 시간을 요구하므로, 분석적으로 역수 함수의 값을 계산하기는 어렵다. 대신에, 본 발명에서는, 다음 수학식 9와 같은 Monte-Carlo 방법을 적용한 점근적 거리함수(asymptotic distance function)를 사용한다.

여기서,

는 영역

의 크기를 나타내고,

는 이미지

의 전체 면적을 나타낸다. 또한,

는 영역

의 j번째 무작위 샘플 픽셀을 나타내고,

는 영역

에서의 무작위 샘플 픽셀들의 수를 나타낸다. 본 발명의 일 실시예에서는, 영역

에서 전체 픽셀들 중 10%의 픽셀들이 무작위 샘플 픽셀들로 선택된다. 본 발명에 따른 영역 가중치 계산 방법을 설명하기 위한 도면인 도 3에서는, 이미지

에서 영역 R_A, R_B, R_C, R_D, R_E에서의 무작위 샘플 픽셀들이 표시되어 있다.

는 픽셀

의 이미지 중심 c에 대한 근접성을 나타내는 함수로서, 전술한 수학식 7의 함수들 중 하나를 사용할 수 있으며, 바람직한 실시예에서는 f₁을 선택한다. 또한,

은 이미지

에서 영역

의 면적 비를 나타낸다. 두 가지가 결합된 모양인

은 영역

의 중요도를 잘 나타내지만, 그 값이 면적 비(

)의 값에 의해 지나치게 좌우되므로 공간상의 근접성을 잘 나타내지 못한다는 문제점이 있다. 이를 해결하기 위하여, 본 발명에서는

항을 직접적으로 사용하는 대신에

항에 1을 더 추가한 형태로서 사용한다.

이미지

는 영역들의 집합

으로 표현될 수 있다. 이미지

의 중심과 근접한 영역은 이미지

의 다른 영역들과 비교하여 보다 큰 가중치가 부여된다. 그리고 각각의 영역의 가중치는 모든 영역의 가중치들을 합한 것이 1이 되게끔 정규화된다. 이를 반영하면, 이미지

에서 영역

의 가중치(

)는 다음 수학식 10과 같이 정의될 수 있다.

여기서 n_k는 이미지

에서의 영역들의 수를 나타낸다.

상술한 영역 가중치를 구하는 방법을 요약해서 정리하면 도 4와 같다. 도 4는 본 발명에 따른 영역 가중치 계산 방법을 나타내는 도면이다. 도 4를 참조하면, 본 발명에 따른 영역 가중치 계산 방법(400)은, (a) 각각의 영역에서 일정한 비율에 의해, 무작위 샘플 픽셀들을 선택하는 단계(410), (b) 선택된 상기 무작위 샘플 픽셀들을 이용하여, 각각의 영역들에 대한 중요도를 구하는 단계(420), (c) 각각의 영역들에 대하여 구해진 상기 중요도를 이용하여, 각각의 영역들에 대한 가중치를 계산하는 단계(430)를 포함한다.

각각의 영역에서 일정한 비율로 무작위로 픽셀들을 선택하는 단계(410)에서, 일정한 비율을 결정하는 데에는 특별한 제한은 없으며, 전술한 바와 같이 10%로 결정될 수 있다. 선택된 상기 무작위 픽셀들을 이용하여, 각각의 영역들에 대한 중요도를 구하는 단계(420)에서는 상기 수학식 9가 이용될 수 있으며, 각각의 영역들에 대해 구해진 상기 중요도를 이용하여, 각각의 영역들에 대한 가중치를 계산하는 단계(430)에서는 상기 수학식 10이 이용될 수 있다.

다음으로, 본 발명에 따른 영역 가중치 방법이 기존의 영역 가중치 방법보다 사용자의 의도를 얼마나 효과적으로 반영할 수 있는지 확인해 보기로 한다. 도 5 는 독수리에 대한 이미지로서, 6개의 영역으로 구성된 이미지를 나타내는 도면이다. 도 5에서, 사용자의 의도를 잘 반영하려면, 영역 2, 5는 전경 객체(독수리)를 포함하고 있으므로 가중치를 상대적으로 크게 설정하고, 영역 1, 3, 4는 배경 객체에 해당하므로 가중치를 상대적으로 작게 설정하여야 할 것이다. 다음 표 1은, 도 5의 이미지의 각각의 영역에 대하여, 본 발명에 따른 방법, 면적율에 의한 방법, 영역의 빈도수에 의한 방법에서 계산되는 가중치를 비교하여 나타내는 표이다.

영역 번호	기존 방법 1 (면적율)	기존 방법 2 (영역의 빈도수)	본 발명에 따른 방법 (공간 위치와 크기)
1	0.45958	0.42316	0.06742
2	0.05482	0.13002	0.55359
3	0.24125	0.14919	0.06349
4	0.16338	0.09674	0.04966
5	0.07427	0.11195	0.19856
6	0.00510	0.08892	0.06728

표 1로부터, 본 발명에 따른 방법이 기존 방법들보다, 전경 객체를 포함하고 있는 전경 영역(2, 5)에 대해서는 보다 큰 값의 가중치를, 배경 객체를 포함하고 있는 배경 영역(1, 3, 4)에 대해서는 보다 작은 값의 가중치를 부여한 것을 확인할 수 있다. 이것은, 본 발명에 따른 방법은, 사용자의 의도를 보다 효과적으로 반영할 수 있도록, 전경 객체에는 큰 값의 가중치를 부여하고, 배경 객체에는 작은 값들의 가중치를 부여하도록 되어 있기 때문이다.

마지막으로, 실제 데이터베이스의 이미지를 검색하는 실험을 통해, 본 발명에 따른 이미지 검색 방법이 사용자의 의도를 효과적으로 반영하여 높은 정확도로 이미지를 검색할 수 있음을 보이도록 한다.

데이터베이스의 이미지 검색 실험에서는, 영역 기반의 이미지 데이터베이스에서 k-NN(k-nearest neighbor) 질의를 위한 영역의 가중치 방법을 평가하기 위하여, 영역의 공간 위치와 크기를 사용하는 본 발명에 따른 가중치 방법을, 면적율을 사용하는 기존의 방법 및 영역의 빈도수를 사용하는 기존의 방법과 비교하였다.

각각의 실험에서 클러스터 영역 빈도수와 함께 동적인 영역 클러스터링 방법과 개별적인 영역 빈도수를 적용시킨 다중-점 이동 적합성 피드백 방법을 사용하였다. 알고리즘은 펜티엄IV 2.6GHz PC 상에서 수행되었고, Windows XP 운영체제가 사용되었다. 코렐 이미지 데이터베이스로부터 얻어진 10,000개의 범용 목적의 컬러 이미지들에 대해서 알고리즘을 테스트하였다. 10개의 선택된 카테고리들로부터 무작위로 40개의 초기 질의 이미지들을 생성하였다. 선택된 10개의 카테고리에는, 일몰, 해안가, 동물, 비행기, 새, 나무, 꽃, 자동차, 사람, 과일이 포함된다. 사용자가 저수준의 특징 표현들이 아닌 고수준의 개념들을 기반으로 하여 적합한 이미지들을 요구할 때, 고수준의 카테고리 정보를 적합성 피드백을 얻기 위한 실측 정보(ground truth)로서 사용하였다. 즉, 초기 질의 이미지와 같은 카테고리 내의 이미지들은 적합한 이미지들로 고려된다. 각각의 질의 이미지들을 위하여 초기 질의 안에서 다섯 번의 피드백 반복을 수행하였다. 모든 측정값들은 40개의 질의에 대한 평균값을 나타낸다. k-NN 질의는 유사성 기반의 측정을 위해 사용되었고, k는 100으로 설정하였으며, 감쇠요소 β는 0.3으로 설정하였다.

도 6은 본 발명에 따른 가중치 방법(위치와 크기 방법)의 정확도를, 면적율을 사용하는 기존의 방법(면적율 방법) 및 영역의 빈도수를 사용하는 기존의 방법(영역 빈도수 방법)의 정확도와 비교하여 나타낸 도면이다. 도 6에서 확인할 수 있는 바와 같이, 본 발명에 따른 방법(위치와 크기 방법)은, 처음 반복 단계 이후에 좋은 성능을 나타내었으며, 평균 정확도는 5번 반복 단계를 거친 후에 면적율 방법에 비해 약 15.73%만큼, 영역 빈도수 방법에 비해 9.91%만큼 높게 나타났다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

본 발명의 이미지 검색 방법에 따르면, 영역 기반 이미지 검색 방법을 적합성 피드백 방법과 접목하여 사용하되, 사용자의 적합성 여부에 대한 피드백 입력에 의해 영역의 가중치를 갱신하는 데 있어서 영역의 가중치를 영역의 공간적 위치와 영역의 크기를 함께 이용하여 계산함으로써, 사용자의 의도를 보다 효율적으로 학습할 수 있고, 이에 따라 이미지 검색의 정확도를 크게 향상시킬 수 있다.

본 발명에 따른 이미지 검색 방법은, 디지털 도서관, 전자상거래, 원격 교육, 건축/공학 설계, 위성 원격 감시 및 관리, 지리 정보 시스템, 기상 관측, 패션/인테리어 설계, 상표권 검색 및 범죄자 조사, 웹상의 전자 상품 카탈로그 검색, 전자 주택 매물 검색, 가상현실, 의료 정보 시스템의 2차원 이미지(X-Ray, CT) 및 3차원 이미지(MRI, 초음파) 검색, 사무자동화, 공장에서의 품질 검사 등과 같은 사회 전반의 다양한 응용 분야들에서 사용될 수 있다.

Claims (4)

1. 데이터베이스로부터 이미지를 검색하는 방법으로서,

   (1) 사용자로부터 수신한 샘플 이미지로부터 다음 수학식과 같이 표현될 수 있는 질의를 생성하는 단계;

   

   여기서, q는 상기 샘플 이미지로부터 분해된 다중 영역들의 중심을 질의점으로 만든 특징 공간에서의 다중 질의점들로 표현되고, d는 거리함수를 나타내며, w는 질의점들의 가중치를, k는 사용자에게 반환되는 질의 결과 이미지의 개수를 나타낸다.

   (2) 상기 질의에 대한 질의점과 상기 데이터베이스의 이미지들과의 거리를 상기 거리함수에 의해 구하는 단계;

   (3) 구해진 상기 거리의 값이 작은 순서대로 상기 k개의 이미지들을 사용자에게 반환하는 단계;

   (4) 반환된 k개의 상기 이미지들에 대하여, 사용자로부터 적합성 여부를 수신하는 단계;

   (5) 사용자에 의해 적합하다고 수신된 이미지들을 구성하는 영역들을 이용하여, 초기 영역 클래스를 구성하는 단계;

   (6) 상기 초기 영역 클래스에 대하여, 병합 과정을 통해 영역에 대한 최적의 클래스 계층 구조를 결정하고, 이로부터 새로운 질의점을 구하는 단계;

   (7) 결정된 최적의 클래스 계층 구조를 구성하는 영역들에 대하여, 영역의 공간적 위치와 영역의 크기를 함께 이용하여 갱신된 가중치를 구하는 단계;

   (8) 갱신된 상기 가중치를 이용하여 다음 수학식과 같이 표현될 수 있는 갱신된 질의를 생성하는 단계; 및

   

   여기서, q'는 상기 새로운 질의점, d'는 새로운 거리함수, w'는 상기 갱신된 가중치를 나타냄.

   (9) 소정의 반복 횟수가 완료될 때까지, 상기 단계 (2) 내지 (8)를 반복하는 단계

   를 포함하며,

   상기 단계 (7)에서, 영역의 크기가 크고 영역의 중심과 이미지 중심 사이의 거리가 작을수록 상기 갱신된 가중치는 큰 값을 가지며, 이를 위해 다음 수학식과 같은 함수를 이용하여 갱신된 가중치를 계산하는 이미지 검색 방법.

   

   여기서,

   

   는 이미지

   

   을 구성하는 영역들의 집합

   

   중 영역

   

   에 대한 가중치이며, 영역의 중요도

   

   는 다음 수학식에 의해 계산될 수 있다.

   

   여기서,

   

   는 영역

   

   의 j번째 무작위 샘플 픽셀을,

   

   는 영역

   

   에서의 무작위 샘플 픽셀들의 수를 각각 나타내며,

   

   는 무작위 샘플 픽셀

   

   의 이미지 중심에 대한 근접성을 나타낸다. 또한,

   

   는 영역

   

   의 크기를,

   

   는 이미지

   

   의 전체 면적을 각각 나타내며, r은 상수로서 사용자에 의해 설정될 수 있다.
2. 제1항에 있어서,

   상기 거리함수로서 Earth Mover's Distance(EMD) 함수가 사용되는 이미지 검색 방법.
3. 제1항에 있어서,

   상기 소정의 반복 횟수를 사용자가 설정할 수 있는 이미지 검색 방법.
4. 삭제

Images