KR101058961B1

KR101058961B1 - 이미지 검색 방법

Info

Publication number: KR101058961B1
Application number: KR1020057010371A
Authority: KR
Inventors: 프레드릭 워윅 마이클 스텐티포드
Original assignee: 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Priority date: 2002-12-19
Filing date: 2003-11-24
Publication date: 2011-08-23
Also published as: US20060050993A1; CN1723456A; CN100449537C; AU2003285512A1; ATE400028T1; GB0229625D0; WO2004057493A3; CA2505779C; JP2006511859A; WO2004057493A2; US7593602B2; DE60321960D1; CA2505779A1; EP1573589A2; JP4260114B2; KR20050085442A; EP1573589B1

Abstract

시각 이미지의 데이터베이스는 특정 이미지에 대해 그 이미지의 일부, 다른 저장된 이미지, 및 상기 특정된 부분과 특정된 다른 이미지 사이의 유사도의 측정치 S_abi로 특정되는 적어도 하나의 엔트리를 구비하는 메타데이터를 포함한다. 검색 방법은 하나 이상의 이미지를 표시하는 단계, 상기 표시된 이미지들의 일부를 나타내는 사용자로부터의 입력(예를 들면 시선추적기를 사용하여)을 수신하는 단계, 유사도 측정치(들)와, 사용자 입력값 및 특정된 부분 사이의 관계와의 함수로서 상기 표시된 이미지(들)에 대한 메타데이터에 의해 지정된 복수의 표시되지 않은 저장된 이미지들 각각에 대한 관심도의 측정치를 판단하는 단계 및 이 측정치들에 기초하여 상기 표시되지 않은 저장된 이미지들로부터 표시하기 위한 이미지들을 추가로 선택하는 단계를 포함하는 것을 특징으로 한다.

Description

이미지 검색 방법{SEARCHING IMAGES}

저장 장치의 가격 하락과 더불어 디지털 센서 기술의 폭넓은 가용성은 애플리케이션의 영역에 대해 캡쳐된 이미지 자료의 양의 급격한 증가를 진작시켜왔다. 디지털 이미지 컬렉션은 크기 면에서 급속도로 증가하고 있고, 기본적인 가정용 사진, 이미지 기반 카탈로그, 상표, 지문, 인상 사진(mugshot), 의료용 이미지, 디지털 박물관, 및 많은 예술 및 과학적 컬렉션을 포함한다. 지난 5년간의 많은 연구의 노력이 이미지를 브라우징하고, 탐색 및 검색하는 효율적인 방법을 이끌어냈다는 것은 놀라운 일이 아니다[1, 2].

컨텐츠 기반의 이미지 검색은 사용자가 그들이 원하는 이미지들을 효율적으로 그리고 힘들이지 않고 검색할 수 있는 방법으로 시각적 자료에 주석을 다는 것이 필요하다. 현재 시스템은 이미지 시멘틱스를 반영하지 않는 원문 그대로 꼬리표붙이기(tagging)와 측정치(예를 들면 컬러 히스토그램(histogram))에 매우 심하게 의존한다. 이것은 사용자가 지각가능한 결과물을 얻기위해선 검색시스템에 의해 사용되는 이미지의 특성에 매우 정통해 있어야 하고, 대량의 이미지 데이터베이스를 다룰때 잠재적으로 느리고 부자연스러운 인터페이스를 사용하도록 강요당한다는 것을 의미한다. 이러한 난관들은 모두 사용자가 높은 리콜률과 정밀도를 가지고 이미지 세트를 조사하는 것을 막을 뿐만 아니라, 상기 프로세스는 느리고 사용자에게 보다 많은 부하를 준다.

초기의 검색 시스템은 원문 그대로를 주석으로 사용하였지만[3], 수반된 수동의 노동 비용 및 일치하지 않는 설명때문에 이러한 접근들은 대량의 데이터베이스로부터의 검색에 항상 적합한 것은 아니고, 그것은 그것들의 특성에 의해 인간 주석자에 의해 요소들에 대해 정해진 개인적이고 주관적인 설명에 크게 의존한다. 이러한 문제점들을 해결하기 위해, 매우 다양한 언어의 설명보다는 차라리 이미지의 시각적 컨텐츠에 기초한 기술들이 이미지 인덱싱을 위해 개발되어 왔다.

사용자가 원하는 이미지를 생성하는 것이 이미지 검색 시스템의 작업이다. 사용자의 쿼리에 응답하여, 시스템은 임의의 사용자 정의의 의미에서 유사한 이미지를 제공해야만 한다. 이 목적은 인간의 시각적 식별력에서 중요하다고 생각되는 특성들을 선택하고 그것들을 쿼리에 대한 관련성을 측정하는데 사용함으로써 달성된다. 컬러, 텍스처, 여러 형태의 국부적인 형태 및 레이아웃은 이미지 검색에서 가장 폭넓게 사용되는 특성이다[4, 5, 6, 7, 8, 9, 10]. 최초의 상업용 이미지 검색 엔진 중의 하나는 미리 추출된 특성의 데이터베이스에 대해 사용자 쿼리를 실행하는 QBIC[4]이다. VisualSEEk[7]과 SaFe[11]는 컬러 파라미터와 공간관계 모두를 사용하여 이미지 영역을 측정함으로써 유사성을 결정하며, 컬러 정보만을 사용하는 히스토그래밍 방법보다 더 좋은 성능을 얻는다. NeTra[8]도 역시 사용자가 표본 영역을 선택하게 하고 검색에 집중할 이미지 속성에 중점을 두는 영역 기반의 검색을 수행하기 위해 이미지 분할(image segmentation)에 의존한다. 영역기반 쿼리는 뚜렷이 구별되는 객체를 포함하는 이미지에 대해 글로벌 히스토그램이 비교적 미흡하게 수행하는 것으로 보이는 Blobworld[6]에서 또한 선호된다. 유사한 결과가 SIMPLIcity 시스템[30]과의 비교에서 얻어진다. Photobook 시스템[5]은 필수적인 유사성을 유지하고 "완벽하게 인식되는(perceptually complete)" 압축된 표현의 사용을 시도한다. 모양, 형태, 및 텍스처를 측정하는 방법들이 이미지 데이터베이스 검색을 위해 제공되지만, 개발자는 다중 라벨이 다양한 유사성의 개념을 사용하는 오버래핑된 이미지 영역에 합당하게 부여될 수 있다는 것을 지적한다.

분석적 분할(analytical segmentation) 기술은 때때로 관심 영역과 의미론적으로 유용한 구조로 이미지를 분해하는 방법으로 나타난다[21-23, 45]. 그러나 일반적인 이미지의 넓은 영역에 대한 객체 분할(object segmentation)은 어렵고, 돌출한 지점 세트를 식별하는 보다 약한 형태의 분할이 보다 더 효과적이다[1].

관련성 피드백(relevance feedback)은 사용자가 검색 성능을 개선하기 위해 컴퓨터와 상호 작용하도록 허용함으로써 완전히 자동화된 시스템에 의해 당면된 다수의 문제점들을 극복하는 기술로서 자주 제안된다[31, 43]. Quicklook[41]과 ImageRover[42]에서 사용자에 의해 관련된 것으로 식별되는 아이템들은 보다 나은 검색 성능을 얻기 위해 유사도 함수에 할당된 가중치를 조정하는 데에 사용된다. 기계에 의해 지정된 조건에서 결정을 내려야하는 사용자에 의해 시스템에 보다 많은 정보가 제공된다. MetaSeek는 4개의 다른 온라인 이미지 검색 엔진의 성능 데이터베이스를 유지관리하고 그 태스크에 대해 최상으로 수행하는 엔진으로 새로운 쿼리를 지시한다[40]. PicHunter[12]는 검색하는 동안 사용자에 의해 이미 선택된 이미지의 내용에 기초한 타겟 이미지를 예측하는 개연성있는 관련성 피드백 매커니즘을 구현했다. 이것은 정량적인 그림 검색 패러미터를 설정하거나 검색 목적에 가장 가까운 이미지를 선택하는데 있어서 비숙련된 사용자에게 주어지는 부담을 감소시킨다. 이미지간의 숨겨진 의미론적 연결을 결합하여 사용하는 것이 타겟 이미지 검색에 대한 시스템 성능을 현저하게 개선했다. 그러나, 관련성 피드백 접근은 그 자신이 평소 이해하지 못한 방식으로 사용자가 자신의 시각적 관심을 다시 나타내기를 요구한다.

영역 기반 접근은 일정범위의 기술을 사용하여 성공적으로 수행된다. SIMPLIcity 시스템[30]은 매칭 프로세스에 대한 영역의 중요도의 평가에 따라 '중요도 크레디트(significance credit)'로 영역에 가중치를 주는 통합영역 매칭 프로세스를 정의한다. 이 평가는 매칭되는 영역의 크기에 관련되고 또 그것이 이미지의 중심에 위치하는지 여부와 관련되며 이 기준을 만족하는 지역을 강조하는 경향이 있을 것이다. 좋은 이미지 식별은 다중형태(multimodal)의 지역 시그니처(signature)를 사용한 두드러진 컬러의 경계로부터 도출된 특성으로 얻어진다[13-15, 36]. 작은 지역내의 컬러 일치성의 측정[16, 29]은 이미지를 비교할때 일련의 공간 정보를 포함하기 위해 사용된다. 이 방법들은 유럽의 박물관과 갤러리의 멀티미디어 자산의 인덱싱과 검색을 자동화하는 데에 목적을 둔 5^th 프레임워크 프로젝트 ARTISTE[17, 18, 20]에서 사용된다. MAVIS-2 프로젝트[19]는 이미지 영역사이의 공간의 매칭을 얻기위해 4진 트리(quad tree)와 단순한 그리드를 사용한다.

이 영역에서의 많은 작업은 인간의 시각을 에뮬레이트하고 사람처럼 유사도 판단을 하는 지각력에 기반한 시스템을 구현할 필요에 의해 가이드된다. 시스템의 사용 규칙과 함께 텍스쳐와 컬러의 특성은 주관적인 테스트에 기초하여 한정되었고 검색 문제에 적용된다[24]. 동시에 컴퓨터에 의한 인식(computational perception)의 연구가 이미지 검색에서의 문제에 적용되고 있다[25, 26]. 인간 시각의 주목의 모델이 시야의 중요한 또는 비정상적인 객체를 식별하는 이미지 돌출 맵(image saliency map)을 생성하는데에 사용된다[25, 44]. 고정 컬러와 코너 측정치를 이용해 주목을 끄는 전략이 타겟 이미지에 대한 검색을 빠르게 하기 위해 고안된다[26]. 이 방법들이 많은 유형의 이미지에 대해 크게 성공을 할지라도, 그것에 적용하기 위한 미리 정해진 특성 측정치와 규칙들은 일반적인 경우의 좋은 검색 방안을 배제시킬 것이다.

시선 움직임의 추적이[48], 화면의 스크롤 속도를 다양하게 하고[47], 장애가 있는 사용자들을 보조하기 위해[46] 포인터로서, 또, 마우스에 대한 대안으로 채용되었다. 그러나, 이 작업은 새로운 형태의 상호작용을 창조한다기 보다는 기존의 컴퓨터 인터페이스를 대체하고 확장하는 데에 중점을 두었다. 실제로 눈의 빠른 동작(saccade)과 고정점의 부정확한 특성은 이러한 접근 방식이 종래 인간 인터페이스에 비해 이점을 주지 못하도록 했다.

미리 눈에 보이는 광경[25, 32-34]의 인식과 시각적 유사도는 매우 밀접하게 관련된다. 인간 시각의 양측면은 컨텐츠 기반의 이미지 검색에 관련되고, 주목 메커니즘(attention mechanism)은 이미지 안에서 무엇이 눈길을 끌고 중요한지를 보여주며, 시각적 유사도는 이미지의 어떤 부분이 다른 이미지와 일치하는 지를 나타낸다.

보다 최근의 개발은 강력한 유사도 측정을 제공한다[35]. 이 경우, 한 이미지 내의 영역의 구조는 일치되는 것을 찾는 동안 제 2 이미지의 임의의 부분들과 비교된다. 이 때, 일치되는 것이 발견되면 점수가 증가되고, 일련의 랜덤하게 생성된 특성이 상기 제 1 매치를 얻은 제 2 이미지의 동일 위치에 적용된다. 제 2 이미지의 고득점 영역이 랜덤하게 생성된 특성으로부터 일치하는 것을 계속해서 제공하여 상기 유사도 점수를 증가시키는 동안만 재사용된다. 제 1 이미지의 영역과 다수의 다른 특성을 공유하는 제 2 이미지의 영역이 직관적으로 동일하다는 추측은 합당한 것이고, 실제 케이스로 나타난다[35]. 상기 측정은 상표 이미지와 지문에서 테스트되었고, 임의의 제한 내에서 평행이동, 회전, 척도변환, 번짐, 부가적인 노이즈 및 왜곡에 대해 강하다는 것을 보였다. 이 접근 방식은, 특성값이 쿼리 이미지로부터 추출되고 데이터베이스 이미지로부터의 이미지들과 매치하도록 사용되는 미리 정해진 거리 측정값 및 특성 공간을 사용하지 않고, 대신에 상기 유사도 측정의 연산동안 시행착오에 의해 특성을 생성한다. 이것은 유사도를 결정하는 상기 특성이 특정 영역에서 중요한 이미지 속성이 무엇이든지 간에 형태, 텍스처, 컬러 또는 이 세가지의 조합인지를 매칭할 수 있는 현저한 이점을 가진다. 고정 특성 세트가 이미지의 전체 영역에 대해 그리고 데이터베이스의 모든 이미지에 대해 최적으로 수행하는 것을 기대하기 보다는 상기 영역에 대한 최상의 특성을 검색하는 데 노력이 소진됨을 의미한다. 차례로 원래 이미지의 정의에 의존하는 영역의 크기 및 컬러 공간과는 별개로, 특성으로 사용된 픽셀의 구성에 대해 필요한 제약은 없다.

보다 명확하게는, 이 방법(유럽특허 02252097.7에 매우 자세히 기술됨)에서, 제 1 이미지(또는 다른 패턴)는 각각 값을 가진 엘리먼트들의 제 1 정렬된(first ordered) 세트(A)에 의해 표시되고, 제 2 패턴은 제 2 정렬된 세트에 의해 표시된다. 상기 2개의 비교는, 제 1 정렬된 세트의 복수의 엘리먼트 x 각각에 대해 고려중인 엘리먼트 x 의 근방의 복수의 엘리먼트 x' 를 제 1 정렬된 세트로부터 선택하는 단계, 제 2 정렬된 세트의 엘리먼트 y 를 선택하고 제 1 정렬된 세트의 엘리먼트 x' 와 제 2 정렬된 세트의 엘리먼트 y' (이들 각각은, 제 1 정렬된 세트의 선택된 복수의 엘리먼트의 각각의 엘리먼트 x' 가 고려중인 엘리먼트 x 에 대해 관련있기 때문에, 제 2 정렬된 세트의 선택된 엘리먼트 y' 에 대해 동일한 위치를 갖는다)를 비교하는 단계들을 실행하는 것을 포함한다. 상기 비교 자체는, 제 1 정렬된 세트의 복수의 엘리먼트가 제 2 정렬된 세트의 복수의 엘리먼트와 일치하는 지의 판단을 생성하는 소정의 매치 기준에 따라, 상기 제 1 세트의 선택된 복수의 엘리먼트 x' 각각의 값을 제 2 세트의 동일한 복수의 엘리먼트의 대응되게 위치된 엘리먼트 y' 의 값과 비교하는 것을 포함한다. 상기 비교는 제 1 세트의 복수의 엘리먼트 x' 의 새로운 선택 및 제 2 정렬된 세트의 엘리먼트 y 의 새로운 선택 중 적어도 하나로 반복되어 매치의 수의 함수로서 유사도 측정치 V를 생성한다. 바람직하게는, 일치하는 지의 판단하게 하는 비교에 이어서, 그 다음의 비교가 제 1 세트의 복수의 엘리먼트 x' 의 새로운 선택과 제 2 세트의 엘리먼트 y 의 동일한 선택으로 수행된다.

본 발명에 따르면, 적어도 저장된 이미지의 일부에 대한 메타데이터를 가지고 저장된 이미지의 검색방법이 제공되며,

상기 메타데이터는,
(a) 각 이미지의 부분의 지정,

(b) 다른 저장된 이미지의 지정 및

삭제

(c) 특정 부분과 특정한 다른 저장된 이미지 사이의 유사도의 측정치를 지정을 위한 적어도 하나의 엔트리를 구비하고,

상기 방법은,

ⅰ. 하나 이상의 이미지를 표시하는 단계,

ⅱ. 표시된 이미지의 부분을 나타내는 사용자 지시로부터의 입력을 수신하는 단계,

ⅲ. 상기 사용자 입력과 상기 지정된 부분 사이의 관계 및 유사도 측정치의 함수로서, 상기 표시된 이미지(들)에 대한 메타데이터에 의해 특정된 복수의 표시되지 않은 저장된 이미지 각각에 대한 관심도의 측정치를 판단하는 단계, 및

ⅳ. 상기 판정된 측정치에 기초하여 상기 표시되지 않은 저장된 이미지로부터 추가로 표시할 이미지를 선택하는 단계를 구비한다.

본 발명의 다른 측면은 청구범위에서 기술한다.

본 발명의 몇몇 실시예들이 첨부된 도면을 참조하여 예시의 방법으로 기술될 것이다.

도 1은 본 발명의 일 실시예에 따른 장치의 블록도, 및

도 2는 상기 장치들이 어떻게 기능하는 지를 보여주는 플로우차트.

도 1에 도시된 장치는 종래 데스크탑 컴퓨터에서 발견될 수 있는 프로세서(1), 메모리(3), 디스크 저장장치(4), 키보드(5), 디스플레이(6), 마우스(7), 및 통신 인터페이스(8)를 구비한다. 추가로, 상기 장치는 시선추적기(10)를 포함하며, 이것은 카메라를 사용하여 사용자의 눈을 관찰하고 사용자가 디스플레이(6)의 어느 부분을 주시하는지를 나타내는 데이터를 생성하는 시스템이다. 사용될 수 있는 하나의 시선추적기가 미국 버지니아 페어팩스의 LC Technologies Inc.에서 나온 Eyegaze 시스템이다. 일반적인 운영시스템 소프트웨어뿐만 아니라, 디스크 저장장치(4)는 사용자가 컴퓨터 프로그램에 의해 이미지 데이터베이스를 검색할 수 있게 되는 이제부터 설명할 방법을 구현하는 컴퓨터 프로그램을 포함한다. 상기 데이터베이스는 디스크 저장장치(4)에 저장되거나, 통신 인터페이스(8)를 통해 액세스 가능한 원격 서버에 저장될 수 있다.

기본방법

작은 데이터베이스에 적합한 설명될 제 1 방법은, 데이터베이스에 저장된 각 이미지에 대해 상기 데이터베이스는 또한, 당해 이미지의 한 지점 또는 영역을 식별하는 하나 이상의 메타데이터 항목들, 다른 이미지, 및 상기 지점 또는 영역과 상기 다른 이미지 사이의 유사도를 지시하는 점수를 이미 포함한다고 가정한다. 예를 들면 이미지 frog.bmp에 대한 메타데이터 아이템은,

113,42;toad.bmp;61 일 수 있으며,

이미지 frog.bmp는 x, y 좌표 113, 42를 가지고, 이미지 toad.bmp와 61의 유사도 점수를 나타내는 특성을 의미한다. 또한, 그러한 아이템은 toad.bmp에 대한 frog.bmp내의 다른 위치의 유사도 또는 frog.bmp와 데이터베이스 내의 다른 이미지들 사이의 유사도를 나타낼 수도 있다.

그러한 메타데이터가 생성될 수 있는 방법은 추후에 기술될 것이다, 우선 도 2의 플로우차트를 참조하여 검색 프로세스를 기술한다.

검색 프로세스는 데이터베이스로부터 일련의 초기 이미지의 표시로 단계(1)를 시작한다. 이것들은 종래 방법(키워드와 같은)에 의해서(1a) 또는 랜덤하게(1b) 선택될 수 있다. 단계(2)에서, "홀딩된(held) 이미지" 카운터는 0으로 설정되고, 동시에 상기 이미지들이 표시되며, 기간(T)을 한정하는 타이머가 개시된다(단계(3)). 이 기간동안, 사용자는 이미지를 보고, 상기 시스템은 어느 이미지가, 특히 이미지의 어느 부분이 사용자가 관심있어 하는 지를 주의한다. 이것은 사용자의 시선의 움직임을 추적하고 그 위치와 고정되어 있는 시간(즉, 분명히 눈이 크게 움직이지 않은 시간)을 기록하는 시선추적기(10)를 사용하여 수행된다. 그 출력은 각각 화면의 x_s,y_s 좌표와, 이 지점에서 고정된 시간(t)으로 구성된 일련의 보고서 형태를 취한다.

T의 값은 매우 작아서 미세한 눈의 빠른 동작만이 각 반복기간 동안 발생하도록 한다. 이것은 표시된 이미지 세트(A)가 빈번히 갱신될 것이지만, 내용은 각 반복에서 많이 변하지는 않을 것임을 의미한다. 반면, T값이 큰 경우 표시된 이미지의 대부분이 대체된다.

단계(4)에서, 이 화면 좌표는 표시되는 이미지에 대한 식별자와 상기 이미지내의 x, y 좌표로 변환된다. 또한 동일한 x, y를 가진 여러 보고가 있다면(단계5), 이들에 대한 기간(t)이 더해져서 단일 총 기간(t_g)이 보고된 각 x, y에 대해 가용하도록 한다. 일부 사용자들은 유용한 정보를 제공하지 못하는 짧은 눈의 움직임을 경험할 수 있으며, 따라서 t≤F인 임의의 보고는 폐기되도록 임계값 F가 적용된다.

다음의 단계는 사용자가 관심을 표시한 표시된 이미지의 부분들과 유사성을 가지는 데이터베이스 내의 이미지를 식별하기 위해, 이 정보를 상기 표시된 이미지에 대한 메타데이터와 결합하여 사용하는 것이다.

따라서 단계(6)에서 데이터베이스의 표시된 이미지(a)와 이미지(b)에 대해, 관심 레벨 I_ab이 계산된다. 이 목적을 위해, 사용자는, 그가 응시한 보고된 위치가 당해 지점에 또는 그것에 중심을 둔 일정 영역내에 있다면, 특정 지점을 응시하고 있었다고 간주된다. 이 영역의 크기는 사용자의 중심와(fovea centralis) 크기와 화면으로부터 그가 보는 시거리에 의존하며, 고정된 크기를 가정하면 만족스러운 결과가 얻어질 수 있지만, 이것은 원하면 조정될 수 있다.

데이터베이스의 표시된 이미지(a) 및 이미지(b)에 대해, 관심 레벨 I_ab이 다음과 같이 연산되고,

여기서, t_g는 위치 x_g, y_g(g=1,...,G)에서의 총 고정기간이고, G는 총 기간의 수이다. S_abi는 이미지(a)와 다른 이미지(b)의 포인트 x_i, y_i 사이의 유사도를 지시하는 이미지에 대한 메타데이터에 포함된 점수이고, 이미지(a)에 대해서 그리고 동일한 이미지(b)를 특정짓는 I 아이템의 메타데이터가 있다. 당연히, 임의의 쌍 (a, b)에 대해 S_abi에 대한 메타데이터 엔트리가 없다면, S_abi는 0으로 간주된다. 그리고, x_g, y_g가 x_i, y_i 의 중심의 인가된 영역 내에 있다면,

는 1이 되고, 그 외의 경우는 0이 된다. 원형태의 영역에 대해, (x_g - x_i)²+ (y_g - y_i)²<r²인 경우 및 이 경우에만, δ=1이다. 여기서 r은 고정 영역의 유효 지름이라고 가정한다. 명백하게, I_ab는 하나 이상의 표시된 이미지(a)에 대한 메타데이터에 S_abi의 값이 존재하는 이미지(b)에 대해서만 존재한다.

다음(단계(7))은 그러한 이미지들에 대해 점수 I_b, 즉 모든 표시된 이미지(a)에 대한 합,

I_b=∑I_ab이 얻어진다.

또한, 단계(7)에서 I_b의 최고의 값을 가진 이미지가 데이터베이스로부터 검색되어 표시된다. 표시되는 이미지의 수는 홀딩되거나 또는 도시된 바와 같이 이미 홀딩된 이미지의 수에 의존한다(하기를 보라).

따라서, 홀딩된 이미지의 수가 M이고, 표시되는 것이 인가된 이미지의 수는 N(고정이라고 가정)이면, N-M의 최고점수인 이미지가 선택된다. 상기 표시는 모든 기존의 표시된 이미지들(홀딩된 것 외의)을 삭제하고 대신에 선택된 이미지들 B를 표시함으로써 갱신된다. 현재 표시된 이미지들은 그런 다음 추가적인 반복으로 새로운 이미지 A가 된다.

단계(8)에서, 사용자에게는 현재 표시된 임의의 또는 모든 이미지들을 홀딩(hold)하고(그에 의해 상기 검색을 중지시키는) 이어지는 표시들에 그 이미지들이 겹쳐져서 기록되는 것을 막는 옵션이 주어진다. 사용자는 또한 미리 홀딩한 이미지들을 해제하는 것이 자유롭다. 홀딩과 해제 동작은 예를 들면 마우스 클릭에 의해 실행될 수 있다. M의 값은 대응되게 갱신된다.

단계(9)에서, 사용자는 표시된 이미지가 세트 B에 후속하여 포함되는 것을 방지하고 그 지점으로부터 검색에서 고려되지 않는 것을 방지되게 할 수 있다. 이미지 데이터베이스가 많은 아주 유사한 이미지를 포함하는 것은 일반적인 것이고 어떤 것은 심지어 서로의 잘려진 버전들이며, 이 클러스터들이 사용자의 요구조건에 근접할지라도, 그것들이 보다 나은 자료를 찾는 검색을 막는 것을 허용해서는 안된다. 이 동작은 예를 들면 마우스 클릭에 의해 실행된다.

사용자는 단계 10에서 화면 상에 모든 이미지들을 홀딩함으로써 간단히 검색을 중지시킬 수 있지만, 검색을 중지하는 다른 메커니즘이 사용될 수 있다.

사용자는 단계 2 후에 프로세스 중 언제라도 단계 8 또는 9를 실행할 수 있다는 것을 유의해야 한다. 이것은 마우스 클릭이나 스크린 터치가 될 수 있고, 표시된 이미지를 계속 응시하면서 동시에 수행될 수 있다.

데이터베이스의 설정

본 발명은 데이터베이스의 이미지에 대한 메타데이터를 생성하는 임의의 특정 방법의 사용을 전제로 하지 않는다. 사실, 그것은 이론적으로는 수동으로 생성될 수도 있다. 어떤 환경에서는, 자동 생성된 메타데이터에 부가하여 수동 엔트리를 생성하는 것이 바람직할지라도, 일반적으로, 이것은 매우 작은 데이터베이스에 대해서만이 실용적이다.

상기에 참조된 이전의 특허출원에 기술된 방법을 사용하는 것이 바람직하다.

작은 데이터베이스에 대해서는, 데이터베이스의 가능한 모든 이미지 쌍에 대한 비교를 수행하는 것이 가능하지만, 보다 큰 데이터베이스에 대해서는 이것이 실용적이지 않다. 예를 들면, 데이터베이스가 10,000개의 이미지를 가지고 있다면, 이것은 10⁸의 비교를 필요로한다.

따라서, 확장된 버전에서는, 데이터베이스의 이미지들은 클러스터링 되는데, 즉 특정 이미지들은 밴티지 이미지(vantage image)로서 지정되고, 각 클러스터는 상기 밴티지 이미지와 다수의 다른 이미지로 구성된다. 이 클러스터링은 이미지들을 데이터베이스로 로딩하는 사람에 의해 수동으로 수행되는 것을 가정한다. 예를 들면, 어느 사람이 다수의 말(horse)의 이미지들을 로딩하려한다면, 그는 하나의 대표적인 이미지를 밴티지 이미지로서 선택하고, 다른 것들을 상기 클러스터에 속하는 것으로 표시할 것이다. 원한다면 한 이미지는 하나 이상의 클러스터에 속할 수 있다는 것을 유의하라. 그런 다음 메타데이터를 생성하는 프로세스는 다음과 같이 진행한다.

(a) 클러스터의 각 이미지는 그 자신의 클러스터(또는 클러스터들)의 모든 다른 이미지들에 대해 점수가 매겨진다.

(b) 각 밴티지 이미지는 모든 다른 밴티지 이미지에 대해 점수가 매겨진다.

한편 다른 링크들이 생성되는 가능성 역시도 배제되지 않는다. 특히, 데이터베이스가 이러한 방식으로 초기에 설정되면, 원한다면 아마도 랜덤으로 보다 많은 메타데이터를 만들기 위해 이미지들 사이에 추가적으로 비교를 할 수 있고, 따라서 시간이 지나면서 이미지들 사이의 링크가 점점더 많이 생겨날 것이다.

외부이미지

전술한 검색 방법에서, 초기 이미지가 랜덤하게 또는 일련의 종래 검색방법으로 검색되는 것을 가정하였다. 더 좋은 옵션은 사용자가 검색을 시작할 그 자신의 이미지를 입력하는 것을 허용하는 것이다(단계 1c). 이 경우, 검색을 개시하기 전에 이 외부의 개시 이미지(starting image)에 대한 메타데이터를 설정하는 것이 필요하다. 이것은 이들 초기 이미지들 각각을 데이터베이스의 모든 이미지(또는 거대한 데이터베이스에서는 모든 밴티지 이미지)들과 비교하기 위해(단계 1d) 상기 설정방법을 실행시켜서 수행된다. 이러한 방법으로 초기 이미지들은 (적어도 임시로는) 효과적으로 데이터베이스의 일부가 되며, 그런 다음 상기 방법은 전술한 방식으로 진행한다.

변형예

"관심도"는 기간(t_g)와 점수(S)의 곱으로부터 형성되는 것으로 위에서 정의되지만, 다른 단조함수(monotonic function)가 사용될 수도 있다. 전술한 설정 방법(그리고 또한 검색방법도)은 메타데이터 엔트리가 이미지 내의 특정 포인트를 참조한다고 가정한다. 또는, 점수를 매기는 방법은, 메타데이터의 한 아이템이 A 내의 지점(x, y)이 B에 대해 특정 유사도를 가지는 것을 기술하는 대신에, A의 (x, y)에서 지정된 크기와 형태의 영역이 B에 대해 특정 유사도를 가지는 것을 기술하도록, 지점들의 클러스트링을 수행하도록 수정될 수 있다. 2Δ+1 x 2Δ+1의 고정된 크기를 갖는 정방형 면적을 가정하는, 이것을 실시하는 한 방법은 다음과 같다. 지점 점수 S(x,y)에서 시작하고:

- 각 지점에 대해,

영역 점수

를 생성하기 위해 그러한 x, y 중심 영역의 모든 픽셀에 대해 점수를 더하고,

- 가장 큰 S¹를 가진 하나 이상의 영역을 선택한다.

그런 다음 S¹가 S 대신에 메타데이터에 저장된다. 상기 검색 방법은 (S가 아닌 S¹를 사용하는 것은 별도로 하고) 응시 지점(x_g, y_g)이 정방형 영역 내 또는 그의 경계의 거리 r이내에 있을 때는 언제나 함수 δ가 1로 재정의되는 것을 제외하고는 이전과 같이 진행한다.

다양한 크기 및/또는 형태의 영역이 허용된다면, 당연히 메타데이터는 변형된 크기 및 형태, 그리고 그에 따라 변형된 함수 δ의 정의를 포함한다.

지연을 피하기 위해, 단계 2 내지 6 동안, 표시된 이미지의 메타데이터에 의해 참조된 모든 '다른' 이미지들은 데이터베이스로부터 검색되어 국부적으로 캐싱될 수 있다.

시선 추적기의 사용은 필수적인 것이 아니며, 시선 추적기 옵션이 사용하기에 훨씬 쉽다고 생각될 수 있음에도 불구하고 그 대신에 사용될 수 있는 마우스와 같은 포인팅 디바이스에 의해 입력할 수 있다는 것을 유의하라.

이미지 검색 프로세스동안 사용자는 컴퓨터에 의해 제공되는 것들로부터 사용자에 의해 선택된 일련의 이미지들을 검토할 수 있다. 상기 기계는 가장 관련있는 이미지들의 그룹을 예측을 시도하고, 사용자는 실제 또는 가정한 타겟 이미지와의 인식된 연관성에 기초하여 선택한다. 사용자에게 제공된 이미지가 사용자 역시 인식한 동일한 연관성에 기초한 것이라면 상기 검색은 성공적인 것이 될 것이다. 그러한 연관성은 자주 개별 사용자의 이전의 경험과 흥미에 의존한 실제로 제한되지 않는 형태를 취할 수 있는 의미론적인 또는 시각적인 요소에 의존할 수 있다. 이 시스템은 존재하거나 수동적으로 캡쳐된 텍스처 메타데이터로부터 도출한 이미지들 사이의 의미론적인 링크의 통합에 대한 대비를 하는 것이다.

두 이미지 사이의 유사도 점수를 판정하는 프로세스는 필수적으로 전체 이미지 유사도에 크게 기여도를 높이는 영역들 사이의 일치도를 식별한다. 그런 다음 그것들의 강도의 값과 함께 이미지 위치 사이의 링크 세트는 이러한 방식으로 연결된 전체 이미지들에 대해 후속의 검색에 대해 가용할 수 있다. 여러 개의 이미지 쌍들의 영역 사이에 그러한 링크들이 여러개 있을 수 있고, 데이터베이스의 다른 이미지들의 영역에 대해 추가로 다중 링크들이 있을 수 있다. 이러한 연관 네트워크는 보통 데이터상에 트리구조를 강요하는 다른 컨텐츠 기반의 이미지 검색 시스템에서 사용되는 것보다 더 일반적이고, 이미지들 사이의 대칭 거리 측정치에 기초한 클러스터 이미지들이다[27, 37]. 그러한 제한은 아직 고정된 클러스터의 구조(hierarchy)에 없는, 사용자에게 제공되고 있는 이미지들 사이의 연관을 막는다. 제 2 이미지로 연결된 영역이 역방향으로 연결될 필수적인 이유가 없기 때문에, 이 시스템에서의 링크들은 대칭이 아니라는 것을 유의해야한다. 제 2 이미지의 상기 영역은 제 1 이미지의 다른 영역에 더 유사할 수 있다. 이미지 A는 이미지 B와, 이미지 B는 이미지 C와 매우 유사하지만, 이미지 A는 이미지 C와 매우 다를 수 있기 때문에, 삼각부등식은 유효하지 않다. 다른 접근방식들은 대칭 및/또는 삼각부등식을 만족시키는 기준을 강요함으로써 해결안을 방해한다[28].

컨텐츠 기반 이미지 검색에 대한 이 새로운 접근방식은 다른 이미지들 내의 영역들 사이의 다수의 미리 연산된 유사도 관련성이 새로운 이미지 검색 시스템으로 통합되도록 할 것이다. 거대한 데이터베이스에서, 모든 이미지들을 서로 비교하는 것이 불가능하여 클러스터들과 밴티지 이미지들[37, 38, 39]이 계산적 요구(computational demand)를 최소화하기 위해 사용될 것이다. 그러나, 사용자가 데이터베이스를 트래버스(traverse)할 때, 새로운 링크가 계속해서 생성 저장되어, 후속 검색에 사용되므로 밴티지 이미지에 대한 의존성을 감소시킨다. 상기 아키텍처는 이미 존재하거나 수동으로 캡처될 수 있는 의미론적인 정보[12]로부터 도출된 추가적인 링크들을 통합할 수 있다.

단순히 시각적인 태스크를 수행하고 다수의 사용자들에 대해 장애가 있을 때 키보드나 마우스를 사용하는 것은 자연스러운 것이 아니다. 시선추적 기술은 현재 직관적이고 빠른 이미지 검색을 위한 인터페이스로서 간주될 수 있을 정도의 성능에 도달해 있다. 사용자가 그들의 관심을 끄는 이미지 영역을 응시한다고 가정하면, 이 정보는 타겟에 초점을 모으는 일련의 유사한 이미지들이나 사용자의 요구에 맞는 이미지를 제공하는데에 사용될 수 있다. 물론 마우스가 동일한 태스크에 사용될 수 있지만, 극도로 빠르고 직관적인 액세스에 대해서는 보다 뒤떨어지는 능력을 가진다. 사용자는 개방된 방법으로 브라우징하거나 이미지를 응시하는 것만으로 타겟이미지를 찾고 감상(impression)하는 데에 자유롭지만, 그렇게 하면서 눈의 빠른 동작과 고정 포인트의 수단으로 검색을 수행해야한다. 대응하는 강도의 값과 함께 이미지 영역들 사이의 유사도 링크들은 세계에서 최초로 존재하는 유형의 시스템에 대한 필수적인 프레임워크를 제공한다.

참고문헌

[1] A.W.M. Smeulders, M.Worring, S.Santini, A.Gupta and R.Jani, "Content-Based Image Retrieval at the End of the Early Years," IEEE Trans PAMI, Vol 22, No 12, pp 1349~1379, December 2000.

[2] Y.Rui, T.S. Huang and S-F Chang, "Image Retrieval: Current Techniques, Promising Directions and Open Issues"

[3] S-K. Chang and A. Hsu, "Image Information Systems: Where Do We Go from Here?" IEEE Trans on Data and Knowledge Eng., Vol 4, No 5, pp 431~442 , October 1992.

[4] M. Flickner, H.Sawhney, W. Niblack, J. Ashley, Q. Huang, B. Dom, M. Gorkani, J. Hafner, D. Lee, D. Petkovic, D. Steele, and P. Yanker, "Query by Image and Video Content: The QBIC System," IEEE Computer, 1995.

[5] A. Pentland, R. W. Pickard, and S. Sclaroff, "Photobook: Content-Based Manipulation of Image Databases," SPIE Storage and Retrieval of Images and Video Databases Ⅱ, No 2185, Feb 6-10, San Jose, 1994.

[6] C. Carson, S. Belongie, H. Greenspan, and J. Malik, "Blobworld: Image Segmentation using Expectation-Maximisation and its Application to Image Querying," IEEE Trans. Pattern Analysis Machine Intelligence, Vol 24, No 8, pp 1,026 ~ 1,038, August 2002.

[7] J. R. Smith and S-F. Chang, "VisualSEEk: a fully automated Content-Based Image Query System," Proc. ACM Int. Conf. Multimedia, pp 87~ 98, Boston MA, November 1996.

[8] W-Y. Ma and B. S. Manjunath, "NeTra: a Toolbox for Navigating Large Image Databases," Multimedia Systems, , Vol 7, pp184~198, 1999.

[9] A. Gupta and R. Jain, "Visual Information Retrieval," Communications of the ACM, , Vol 40, No 5, pp 70~ 79, May 1997.

[10] J. Dowe, "Content Based Retrieval in Multimedia Imaging," Proc SPIE Conf. Storage and Retrieval for Image and Video Databases, 1993.

[11] J. R. Smith and S-F. Chang, "Integrated Spatial and Feature Image Query," Multimedia Systems, Vol 7, No 2, pp 129~ 140, 1999.

[12] I. J. Cox, M. L. Miller, T. P. Minka, and T. V. Papathomas, "The Baysian Image Retrieval System, PicHunter: Theory, Implementation, and Psychophysical Experiments", IEEE Trans. Image Processing, Vol 9, No 1, pp 20~37, 2000.

[13] J. Matas, D. Koubaroulis, and J. Kittler, "Colour Image Retrieval and Object Recognition using the Multimodal Neighbourhood Signature," Proc. ECCV, LNCS, Vol 1842, pp 48~64, Berlin, June 2000.

[14] D. Koubaroulis, J. Matas and J. Kittler, "Evaluating Colour-Based Object Recognition Algorithms Using the SOIL-47 Database," 5^th Asian Conf. on Computer Vision, Melbourne, Australia, 23-25 January 2002.

[15] M. Westmacott, P. Lewis, and Kirk Martinez, "Using Colour Pair Patches for Image Retrieval," Proc. 1^st European Conf. on Colour in Graphics, Image and Vision, pp 245~247, April 2002.

[16] G. Pass, R. Zabih, and J. Miller, "Comparing Images using Color Coherence Vectors," 4^th ACM Conf. on Multimedia, Boston MA, November 1996.

[17] http://www.artisteweb.org/

[18] S. Chan, K. Martinez, P. Lewis, C. Lahanier and J. Stevenson , "Handling Sub-Image Queries in Content-Based Retrieval of High Resolution Art Images," International Cultural Heritage Informatics Meeting 2, pp157~163, September 2001.

[19] D. Dupplaw, P. Lewis, and M. Dobie, "Spatial Colour Matching for Content Based Retrieval and Navigation," Challenge of Image Retrieval, 99, Newcastle, February 1999.

[20] P. Allen, M. Boniface, P. Lewis, and K. Martinez, "Interoperability between Multimedia Collections for Content and Metadata-Based Searching," Proc. WWW Conf., May 2002.

[21] T. Louchnikova and S. Marchand-Maillet, "Flexible Image Decomposition for Multimedia Indexing and Retrieval," Proc SPIE Internet Imaging Ⅲ, Vol 4673, 2002

[22] J. Fan, M. Body, X. Zhu, M-S. Hacid, and E. El-Kwae, "Seeded Image Segmentation for Content-Based Image Retrieval Application," Proc. SPIE, Storage and Retrieval for Media Databases, 2002.

[23] J. Puzicha, T. Hofmann, and J. M. Buhmann, "Histogram Clustering for Unsupervised Segmentation and Image Retrieval," Pattern Recognition Letters, 20, pp899~909, 1999.

[24] A. Mojsilovic, J. Kovacevic, J. Hu, R. J. Safranek, and S. K. Ganapathy, "Matching and Retrieval Based on the Vocabulary and Grammar of Color Patterns," IEEE Trans on Image Processing, Vol 9, No 1, January 2000.

[25] E. Niebur, L. Itti, and Christof Koch, "Controlling the Focus of Visual Selective Attention," in Models of Neural Networks Ⅳ, Van Hemmen, Cowan & Domany eds., Springer Verlag, NY, pp 247~276, 2002.

[26] H. D. Tagare, K. Toyama, and J. G. Wang, "A Maximum-Likelihood Strategy for Directing Attention during Visual Search," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol 23, No 5, May 2001.

[27] S. Berretti, A. D. Bimbo and E. Vicario, "Efficient Matching and Indexing of Graph Models in Content-Based Retrieval," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol 23, No 10, October 2001.

[28] S. Santini and R. Jain, "Simlilarity Measures," IEEE Trans on Pattern Analysis and Machine Intelligence, Vol 21, No 9, September 1999.

[29] A. Vailaya, M. A. T. Figueiredo, A. K. Jain, and H-J. Zhang, "Image Classification for Content-Based Indexing," IEEE Trans on Image Processing, Vol 10, No 1, pp117~130, January 2001.

[30] J. Z. Wang, J. Li, and G. Wiederhold, "SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture LIbraries," IEEE Trans on Pattern Analysis and Machine Intelligence, Vol 23, No 9, pp947~963, September 2001.

[31] Y. Rui, T. S. Huang, M. Ortega, and S. Mehrotra, "Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval," IEEE Trans on Circuits and Video Technology, pp1~13, 1998.

[32] F. W. M. Stentiford, "An evolutionary programming approach to the simulation of visual attention," Congress on Evolutionary Computation, Seoul, May 27- 30, 2001.

[33] F. W. M. Stentiford, "An estimator for visual attention through competitive novelty with application to image compression," Picture Coding Symposium, Seoul, 24-27 April, 2001.

[34] F. W. M. Stentiford, N. Morley, and A. Curnow, "Automatic identification of regions of interest with application to the quantification of DNA damage in cells" Proc SPIE, Vol 4662, San Jose, 20-26 Jan, 2002.

[35] F. W. M. Stentiford, "An attention based similarity measure with application to content based information retrieval" accepted to the Storage and Retrieval for Media Databases conference at SPIE Electronic Imaging 2003, 20-24 Jan, Santa Clara.

[36] TriTex Project IST-1999-20500, "Automated 3D Texture Content Management in Large Scale Data Sets", http://www.connect.slb.com/Docs/ofs/ofs_research_public/ofsr_public_images/locations/ssr/stavanger/TriTex/

[37] J. Landre and F. Truchetet, "A hierarchical architecture for content-based image retrieval of paleontology images," Proc SPIE, Vol 4676, San Jose, 20-26 Jan, 2002.

[38] P. N. Yianilos, "Data structures and algorithms for nearest neighbor search in general metric spaces," Proc. 4^th ACM-SIAM Symposium on Discrete Algorithms, pp311~321, 1993.

[39] J. Vleugels and R. Veltkamp, "Efficient image retrieval through vantage objects," Pattern Recognition, Vol 35, pp69~80, 2002.

[40] A. B. Benitez, M. Beigi and S-F. Chang, "Using relevance feedback in content-based image metasearch," IEEE Internet Computing, pp59~69, July/August 1998.

[41] G. Ciocca and R. Schettini, "A multimedia search engine with relevance feedback," Proc SPIE, Vol 4672, San Jose, 20-26 Jan, 2002.

[42] L. Taycher, M. La Cascia and S. Sclaroff, "Image digestion and relevance feedback in the ImageRover WWW search engine," Proc. 2^nd Int. Conf. on Visual Information Sysytems, San Diego, pp85~94, December 1997.

[43] J. Vendrig, M. Worring, and A. W. M. Smeulders, "Filter image browsing: exploiting interaction in image retrieval," Proc. 3^rd Int. Conf. VISUAL'99, June 1999.

[44] R. B. Fisher and A. MacKirdy, "Integrated iconic and structured matching," Proc 5^th European Conf. on Computer Vision, Vol Ⅱ, pp687~698, Frieburg, June 1998.

[45] P. R. Hill, C. N. Canagarajah, and D. R. Bull, "Texture gradient based watershed segmentation," ICASSP, Orlando, May 13-17, , pp3,381~3,384, 2002.

[46] F. Corno, L. Farinetti and I. Signorile, "A cost effective solution for eye-gaze assistive technology," 2002 IEEE Int Conf. on Multimedia and Expo, August 26-29, Lausanne, 2002.

[47] T. Numajiri, A. Nakamura, and Y. Kuno, "Speed browser controlled by eye movements," 2002 IEEE Int Conf. on Multimedia and Expo, August 26-29, Lausanne, 2002.

[48] J. P. Hansen, A. W. Anderson and P. Roed, "Eye gaze control of multimedia systems," Symbiosis of Human and Artifact(Y. Anzai, K.Ogawa, and H. Mori(eds)), Vol 20A, Elsevier Science, pp37~42, 1995.

Claims

저장된 이미지들 중 적어도 일부에 대한 메타데이터와 함께 저장된 이미지들을 검색하는 방법에 있어서,

상기 메타데이터는

(a) 각 이미지의 부분의 지정,

(b) 다른 저장된 이미지의 지정 및

(c) 이미지의 지정 부분과 지정된 다른 저장된 이미지 사이의 유사도의 측정치의 지정

을 위한 적어도 하나의 엔트리를 구비하고,

상기 방법은

(ⅰ) 하나 이상의 이미지를 표시하는 단계,

(ⅱ) 표시된 이미지들 중 일부를 지시하는 사용자로부터의 입력을 수신하는 단계,

(ⅲ) 상기 사용자의 입력과 상기 지정 부분 사이의 관계 및 유사도의 측정치의 함수로서, 표시된 이미지에 대한 메타데이터에 의해 특정된 복수의 표시되지 않은 저장된 이미지들 각각에 대한 관심도의 측정치를 판정하는 단계, 및

(ⅳ) 상기 판정된 측정치에 기초하여 상기 표시되지 않은 저장된 이미지들로부터 추가로 표시할 이미지들을 선택하는 단계를 구비하는 것을 특징으로 하는 이미지 검색 방법.
상기 제 1 항에 있어서,

상기 사용자의 입력을 수신하는 단계는 사용자의 눈의 움직임을 관찰하는 수단에 의해 수행되는 것을 특징으로 하는 이미지 검색 방법.
제 1 항 또는 제 2 항에 있어서,

상기 사용자의 입력은 이미지 위치 및 연관된 주목기간을 식별하고, 각 관심도의 측정치는 특정 부분의 소정의 거리내에 있는 각 식별된 위치에 대한 개별 측정치의 합이며, 상기 각 개별 측정치는 상기 식별된 위치와 연관된 주목기간과 상기 특정 부분에 연관된 상기 유사도 측정치와의 함수인 것을 특징으로 하는 이미지 검색 방법.
제 3 항에 있어서,

상기 각 개별 측정치는 상기 기간과 상기 유사도 측정치의 곱인 것을 특징으로 하는 이미지 검색 방법.
제 1 항 또는 제 2 항에 있어서,

상기 이미지의 지정 부분은 상기 이미지 내의 지점들인 것을 특징으로 하는 이미지 검색 방법.
제 1 항 또는 제 2 항에 있어서,

상기 이미지의 지정 부분은 상기 이미지의 영역인 것을 특징으로 하는 이미지 검색 방법.
제 1 항 또는 제 2 항에 있어서,

상기 단계 (ⅱ) 내지 단계 (ⅳ)들은 적어도 한 번 반복되는 것을 특징으로 하는 이미지 검색 방법.
제 1 항 또는 제 2 항에 있어서,

하나 이상의 외부 이미지들을 수신하는 단계,

상기 외부 이미지(들)에 대한 메타데이터를 생성하는 단계, 및

상기 외부 이미지(들)을 표시하는 단계를 구비하는 초기단계를 추가로 포함하는 것을 특징으로 하는 이미지 검색 방법.