KR20080021592A

KR20080021592A - 메트릭 임베딩에 의한 이미지 비교

Info

Publication number: KR20080021592A
Application number: KR1020077026179A
Authority: KR
Inventors: 라마라스남 벤카테산; 매트 캐리
Original assignee: 마이크로소프트 코포레이션
Priority date: 2005-05-31
Filing date: 2006-04-27
Publication date: 2008-03-07
Also published as: IL186757A0; KR101183391B1; EP1886256A2; WO2006130292A3; US20060269167A1; RU2007144501A; US7536064B2; CN101194272A; JP2008542911A; BRPI0610739A2; WO2006130292A2

Abstract

메트릭 임베딩에 의한 이미지 비교를 위한 시스템 및 방법을 제시한다. 일 구현예에서, 그래프는 각 이미지로부터 생성되어 비교된다. 이후, 각 이미지에 대한 트리들의 군들에 그래프 메트릭을 임베딩한다. 서로 다른 이미지들에 대한 트리들의 군들 각각 간의 최소 차이들은 매트릭스 내로 컴파일링되고, 이로부터 이미지 비교를 위한 유사성 측정을 얻게 된다.

메트릭 임베딩, 유사성 측정, 형상 파라미터

Description

메트릭 임베딩에 의한 이미지 비교{IMAGE COMPARISON BY METRIC EMBEDDINGS}

인터넷이나 컴퓨팅 장치에서 텍스트, 이미지, 아이디어, 웹사이트 등을 검색하려면, 텍스트 키워드를 입력하여 검색을 개시할 수 있다. 종래에는, 컴퓨팅 환경에서의 이미지 검색이, 그 이미지를 요약하는 텍스트 키워드의 입력이나 그 이미지의 시각적 오브젝트 또는 시각적 특징을 요약하는 텍스트의 입력으로 한정되어 있다. 종래에는, 검색의 핵심 부분인 일부를 텍스트로 변환하지 않고서 이미지를 검색하는 것이 어려웠다. 따라서, 종래의 이미지 검색은 실제로 텍스트 검색이다.

성공적인 이미지 검색 수행이 어려운 이유는 이미지 자체에 있다. 이미지는 단어보다 훨씬 더 복잡하다. 이것은, 수정된 이미지가 원래의 이미지와 수학적으로 다르도록 이미지가 수정될 수 있지만, 이 수정된 이미지와 원래의 이미지 둘 다가 사람의 시각으로는 여전히 구별될 수 없기 때문이다. 따라서, 사용자가 이미지를 밝게 하거나 어둡게 하고, 콘트라스트를 변경하며, 색을 미세 조정하고, 크롭(crop)하고 또는 이미지를 압축하게 되면, 이미지가 동일하게 보일 수 있더라도 이미지를 정량하는 파라미터들은 상당히 변경되어 있다. 이러한 복잡성을 피하기 위해, 픽쳐를 단어들로 요약한 후 그 픽쳐에 대한 단어 검색을 수행하는 것이 더 쉬었다.

이미지 자체를 입력함으로써 이미지 검색이 개시될 수 있고, 서로 다른 많은 방식으로, 예를 들어, 이미지 편집 소프트웨어를 이용하여 수정된 이미지의 매칭 버전을 찾음으로써 성공적으로 완결되도록, 이미지를 수학적으로 그리고 정보적으로(informationally) 캡쳐하는 방식이 필요하다.

비교되고 있는 이미지들의 가시적 외관에 직접적으로 의존하지 않고서 디지털 방식으로 비교를 행할 수 있는 형태로, 메트릭 임베딩(metric embedding)에 의해 이미지를 비교하는 시스템 및 방법을 제시한다. 일 구현예에서, 정점과 모서리를 갖는 무방향 그래프와 같은 그래프는 비교를 위해 각 이미지로부터 생성된다. 픽셀들의 다양한 특징들을 이용하여 그래프를 생성할 수 있다. 이미지로부터 그래프를 생성하는 것은 계수 벡터값들을 얻는 웨이브렛 변환 기술에 의해 부분적으로 달성될 수 있다. 잡음 감소 프로세스를 추가하여 비교를 위한 신뢰성있는 그래프를 생성할 수 있다. 예를 들어, 웨이브렛 변환 프로세스 후에는, 무의미한 값들을 제로로 할 수 있고 이미지나 그래프를 다운스케일링할 수 있다.

이후, 각 이미지에 대한 계층적 분리 트리들(hierarchical well-separated tree; HST)의 군과 같은 트리들에 그래프 메트릭을 임베딩한다. 이미지에 대한 HST는 이미지를 나타내는 그래프가 분할될 때까지 순환 클러스터링될 수 있다.

임베딩된 그래프 정보를 갖는 트리들의 군들은 구별화되어 이들이 나타내는 이미지에 대하여 유사성 측정을 얻게 된다. 일 구현예에서, 이미지를 나타내는 트리들의 군들은 순환 생성되기 때문에, 루트 HST들 및 이 루트 HST들의 관련된 자식 트리들에게 트리 구별 기술을 반복적으로 적용한다. 일 구현예에서, 구별화는 이미지들 간의 최소 차이들의 매트릭스를 컴파일링하고 이 매트릭스를 벡터화하는 것을 포함하고 이에 따라 정규화 처리는 단일 유사성 측정으로 이미지들 간의 최소 차이들을 요약하는 평균(average) 또는 중앙(median)을 찾을 수 있다.

도 1은 이미지를 나타내는 그래프의 예시적인 도면이다.

도 2는 그래프 메트릭이 임베딩된 트리들의 군들을 구별함으로써 이미지를 비교하는 예시적인 도면이다.

도 3은 이미지 비교 시스템의 예시적인 도면이다.

도 4는 이미지 비교 엔진의 예시적인 블록도이다.

도 5는 자식 노드들의 세트들의 반복 비교에 의한 이미지 비교의 예시적인 도면이다.

도 6은 이미지 비교를 위한 방법의 예시적인 흐름도이다.

개요

본 명세서에서 설명하는 시스템 및 방법은 이미지 비교 기술들을 제공한다. 이러한 이미지 비교 기술들을 이용하여 인터넷 이미지 검색을 수행하거나 이미지들의 풀 등 내에서 소스 이미지의 수정된 버전을 식별할 수 있다. 예를 들어, 사용자는 이미지를 이메일 메시지에 포함하고자 포토 편집 소프트웨어에 의해 또는 소스 이미지의 크롭핑(crop)과 압축에 의해 소스 이미지를 수정할 수 있다. 본 명세 서에서 설명하는 시스템 및 방법은 다른 이미지들 중에서 이러한 수정된 이미지를 검색하고 찾는 방식을 제공한다.

도 1은 이미지(100)의 픽셀값들이 무방향 그래프(102)로 나타내어지는 이미지 비교 방법의 예시적인 구현예이다. 무방향 그래프(102)에서의 각 정점은 이미지에서의 대응 픽셀을 나타낸다. 일 구현예에서, 그래프(102)를 생성하는 이미지 선처리 단계는, 계수 벡터값들을 설정하는 웨이브렛 변환의 적용, (선택된 임계값 미만인) 매우 작은 값들의 드롭핑(dropping)을 포함한다. 무방향 그래프(102)에서 정점들 간의 모서리들은, 모서리의 양쪽 끝에서 있는 한 쌍의 픽셀들 간의 값 차이에 따라 가중될 수 있다. 모서리들의 가중값을 결정하도록 사용되는 픽셀 특징은, 농도, 에너지 등처럼 픽셀 특징들의 서로 다른 많은 유형들 중에서 선택될 수 있다. 이와 같이 생성된 무방향 그래프(102)는 다운스케일링되어 처리 전력을 절약하고 잡음을 줄일 수 있다. 이러한 무방향 그래프(102)는 대략적으로 본 명세서에서 선처리(preprocessed) 이미지라 칭할 수 있으며 그 이유는 추가 처리가 그래프 생성 프로세스를 뒤따르기 때문이다.

그래프 메트릭이 임베딩된 HST와 같은 트리들의 군(104)은 상술한 이미지 선처리 단계에서 생성된 무방향 그래프(102)로부터 유도될 수 있다. 트리들의 군(104)은, 초기 클러스터를 충분히 반복 순환시켜 선처리 이미지를 분리 트리들(well-separated trees)로 분할하는 클러스터링 메소드(clustering method)에 의해 설정된다. 이러한 메소드를 위한 통상적인 트리들의 군(104)은 대략 10개의 (부모 및 자식) 트리를 포함한다.

도 2에 도시한 바와 같이, 구별 기술은, 이미지들의 그룹 중에서 하나의 이미지를 찾기 위해, 소스 이미지에 대한 트리들의 군(104)과, 비교될 다수의 다른 이미지들에 대한 트리들의 각 군(204, 204', 204", 204'") 간의 유사성 측정을 찾는다. 소스 이미지(100)에 대하여 최고의 유사성 측정을 갖는 이미지를 최상의 매칭으로 선택한다.

일 구현예에서, 채용한 구별 기술은, 형상 벡터들을 각 트리의 각 노드에 할당하고, 비교되고 있는 서로 다른 이미지들에 대한 대응 노드들 간에 최소 차이를 발생되게 하는 유사성 측정값들을 채택함으로써 효과를 발휘한다. 즉, 2개의 이미지를 나타내는 트리들의 2개 군에서의 트리들에 걸쳐, 차이들의 매트릭스를 집계한다. 이 매트릭스에는 벡터가 지정되고 이 벡터의 성분들이 평균화되거나 또는 다르게 정규화되어 유사성 점수를 얻게 된다. 따라서, 이미지들의 풀 중에서 하나의 이미지의 복사본 또는 그 이미지의 수정된 버전을 찾으려면, 유사성 점수들을 비교하여 매칭 가능성을 밝힐 수 있다.

예시적 시스템

도 3은 이미지들을 비교하기 위한 예시적인 시스템(300)을 도시한다. 컴퓨팅 장치(302)는 인터넷(304)에 통신가능하게 결합되어 있다. 컴퓨팅 장치(302)는 이미지 비교 엔진(306)을 호스팅한다. 이러한 유형의 네트워크화 컴퓨팅 환경은 단지 예로서 도시된 것이다. 다른 유형의 컴퓨팅 환경 및 네트워크 환경도 대상을 호스팅할 수 있다. 이미지 비교 엔진(306)은 이미지 검색(308)을 가능하게 한다. 타겟 또는 소스 이미지(310)는 사용자에 의해 또는 시스템(300)의 컴포넌트에 의해 선택될 수 있다. 이미지 비교 엔진(306)은, 소스 이미지(310)를, 예를 들어 인터넷(304)에서 찾은 다른 이미지들과 비교하고, 각 비교에 대한 유사성 측정을 리턴한다. 이미지 비교 엔진(306)은 소스 이미지(310)와 한 세트의 후보 이미지들의 멤버들 간에서 최상의 매칭을 선정할 수 있다.

이미지 비교 엔진(306)은 인터넷(304)으로부터 한 세트의 이미지들을 검색하는 대신에, 파일 디렉토리나 데이터베이스에 있거나 이메일 메시지에 대한 첨부물로서 폴더에 저장되어 있는 등의 한 세트의 이미지들을 검색할 수도 있다.

예시적인 엔진

도 4는 도 3의 예시적인 이미지 비교 엔진(306)을 보다 상세히 도시한다. 도 4의 이미지 비교 엔진(306)은 개요를 위해 구성의 일 예로 제시된 것이다. 예시된 컴포넌트들 또는 유사 컴포넌트들의 다른 많은 구성이 가능하다. 이러한 이미지 비교 엔진(306)은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합 등으로 실행될 수 있다.

이미지 비교 엔진(306)의 예시한 구성은 이미지 그래프화(graphing) 엔진(402) 및 이미지 비교기(404)를 포함한다. 이미지 그래프화 엔진(402)은 이미지들을 나타내는 트리들의 군(104)들 및 그래프들을 생성하는 한편, 이미지 비교기(404)는 후보 이미지를 소스 이미지(100)와 매칭하고자 트리들의 군(104)들 간에 유사성 측정을 찾는다.

이미지 그래프 엔진(402)은, 이미지 선처리 컴포넌트들인, 그레스케일러(406), 웨이브렛 변환 엔진(408), 다운스케일러(410)를 더 포함한다. 이러한 컴 포넌트들은 선처리 이미지(412), 즉, 이미지(100)를 나타내며 이미지들의 비교가 가능하게 해주는 트리들의 군(104)이 생성되는 그래프를 생성한다. 이미지 그래프화 엔진(402)은 트리 생성 엔진(414)을 더 포함한다. 트리 생성 엔진(414)은 클러스터 리커서(recurser; 416), 트리 프루너(pruner; 418), 재실행 필터(420)를 더 포함한다. 이들은 서로 다른 이미지들을 나타내도록 그래프 메트릭들이 임베딩된 다양한 트리들의 군들(예를 들어, 104, 104')을 생성한다.

위에서 도입된 이미지 비교기(404)는 트리 구별 엔진(422) 및 집계기(424)를 더 포함한다. 트리 구별 엔진(422)은, 트리 토폴로지 비교기(428)와 클러스터 포톨로지 비교기(430)를 더 포함하는 최소 차이 엔진(426)을 더 포함한다. 집계기(424)는, 한 쌍의 이미지들 간의 유사성을 정량하는 유사성 측정(438)을 생성하는 정규화기(436) 및 벡터 엔진(434) 뿐만 아니라 차이들의 매트릭스(432)를 더 포함한다.

이미지 그래프화 엔진

이미지 그래프화 엔진(402)의 이미지 선처리 컴포넌트들 중, 그레이스케일러(406)는 컬러 RGB 이미지 입력을 수신할 수 있고 이 입력을 예를 들어 RGB 값들의 L2 놈(norm)에 의해 그레이스케일로 변환할 수 있다.

일 구현예에서, 웨이브렛 변환 엔진(408)은 3-레벨 하(Haar) 웨이브렛 변환을 수행한다. 그 결과 계수 벡터들에서의 작은 값들은 제로로 임계 설정될 수 있으며, 즉, 임계값(예를 들어, 0.15)보다 절대값이 작은 계수들은 제로로 변경된다. 이후, 웨이브렛 복원 절차를 이러한 계수 벡터들에 적용하고, 다운스케일러(410)는 그 결과들을 폭에 있어서 약 70개의 픽셀로 다운스케일링하여 선처리 이미지(412)를 생성한다.

트리 생성 엔진(414)은 선처리 이미지(412)로부터 k개의 HST를 생성한다. 통상적으로, k = 10 이다. 이러한 HST는 순환성 계층적 클러스터링 분해에 의해 생성될 수 있다. 트리 생성 엔진(414)은 그래프 노드 C₀의 초기 클러스터를 선처리 이미지(412)와 동일하게 설정함으로써 시작한다. 이후, 클러스터 크기 파라미터를 r로 지정하고 선처리 이미지(412)에서의 픽셀 수를 N으로 지정한다. r의 통상적인 값의 범위는 약 1 내지 약 -2이다. r 파라미터를 일부 조절함으로써 결과를 개선할 수 있다.

클러스터 리커서(416)는, 클러스터 C_i를 선택하고 랜덤 점 x∈C_i를 고른다. C_i의 모든 점들이 x로부터 거리 rlog(N)) 내에 있으면, 더 이상의 추가 처리는 필요하지 않으며 C_i가 트리로서 리턴된다. 그렇지 않다면, 반경 d가 반전형 분포(inverse-type distribution)로부터 선택된다. 즉, 선처리 이미지(412)가 N개의 픽셀을 포함하는 경우, 파라미터 r의 소정 값에 대하여, 클러스터 리커서(416)는 [0,1]에서 x 값을 균등하게 선택하고, d=-r(log N)(log x)로 설정한다.

이후, 클러스터 리커서(416)는 C_i+1=B(x,d)로 설정하여, 볼이 이전의 x로부터 반경 d의 새로운 x에서 중심을 갖게 되고, C_i+1에서 트리를 순환 구성하며, C'=C_i/C_i+1로 설정한다. 이러한 절차는 C_i를 C'로 대체하면서 반복된다. 따라서, 이렇게 형성된 순환 트리는 C_i가 분할될 때까지 C_i의 자식들을 형성한다. 그 결과, 트리들은 선처리 이미지(412)의 메트릭들이 임베딩된 HST 트리들의 군(104)으로 된다.

트리 프루너(418)는, 대응 클러스터들이 소정의 임계 픽셀 개수(통상 100개)보다 적은 픽셀들을 포함하는 노드들을 가지치기(prune)함으로써 이미지 비교에서의 잡음의 영향을 줄인다. C_{i+1}=B{x,d)∩C_i라는 점, 즉, 클러스터는 볼과 동일한 것이 아니라 그 볼 내에 포함된 픽셀들의 세트라는 점에 주목하기 바란다. 픽셀들의 세트는 일반적으로 그다지 볼과 같은 형상을 갖지 않으며, 이에 따라 후술하는 형상 벡터들이 추가로 중요하다. 일 구현예에서, 트리 프루너(418)는 트리 생성의 끝에서 작은 노드들을 가지치기함으로써, 클러스터의 크기가 기껏해야 r(logN)으로 되는 것을 보장하는 초기 단계를 제거할 수 있다.

마찬가지로, 재실행 필터(420)는, 최종 트리가 임계 노드 개수보다 적은 개수의 노드, 예를 들어, 6개 미만의 노드들을 갖는 경우, 전체 트리 생성 프로세스를 재실행함으로써 잡음을 줄인다. 다시 말하면, 작은 트리는 열악한 클러스터링을 가리키는 것이므로, 이러한 트리는 서로 다른 클러스터링 파라미터들로 재생성되어야 한다.

이미지 비교기

예시한 이미지 비교기(404)의 예에서, 트리 구별 엔진(422)은 소스 이미지(100)에 대한 트리들의 군(104)으로부터 HST와 같은 트리를 수신한다. 마찬가지 로, 트리 구별 엔진(422)은 후보 이미지에 대한 트리들의 군(104')으로부터 트리를 수신한다.

이러한 2개의 트리(예를 들어, HST)가 주어진 상태에서, 트리 구별 엔진(422)은 이 트리들 간의 차이 측정을 생성하는 최소 차이 엔진(426)을 구비한다. 일 구현예에서, 트리 토폴로지 비교기(428)는 트리들의 토폴로지를 고려하는 한편 클러스터 토폴로지 비교기(430)는 트리 노드들과 관련된 클러스터들의 토폴로지를 고려한다. 자식 HST가 주어진 상태에서, 최소 차이 엔진(426)은 각 모서리의 가중값을, 예를 들어, 부모의 직경으로 스케일링한다. 최소 차이 엔진(426)은, 각 노드 v에서의 클러스터의 위치를 형상 파라미터들 d_min, d_max로 연결(concatenate)함으로써 벡터 a_v∈□⁴를 각 노드 v에게 지정한다. 이 파라미터들은 v에서의 클러스터의 컨벡스 헐(convex-hull; H)을 컴퓨팅하고 d_max를 H에서의 임의의 2개 점들 간의 최대 거리로 설정함으로써 구해지며, 또한, d_min = min_x∈Hmax_y∈Hρ(x,y)이며, 여기서 ρ(x,y)는 이미지 그래프에서 x에서부터 y까지의 거리이다.

도 5에 도시한 바와 같이, 2개의 HST T(502), U(502')가 주어진 상태에서, 트리 구별 엔진(422)은 트리 구별 함수 "treediff(T, U)"를 순환 컴퓨팅하고, 자식 노드들의 세트들 간에 매핑을 행한다. T(502) 및 U(502')의 루트들의 자식들은 각각

및

로 설정된다. 트리 구별 엔진(422)은

로 설정하고, 여기서, a_v는 전술한 □⁴에서의 형상 벡터이다. 이후, 최소 차이 엔진(426)은 s₁을 δ_ij를 최소화하는 쌍(i,j)으로 하고, s₂를 s₁의 행과 열이 제거된 δ_ij를 최소화하는 쌍으로 한다. s_i의 이러한 시퀀스는 T(502)의 루트의 자식들과 U(502')의 루트의 자식들 간의 매칭을 설명한다. k_T ≠ k_U이면, 수 개의 자식 트리들이 매칭되지 않을 것이다.

트리 구별 엔진(422)은 매칭된 자식들(예를 들어, 최상위 레벨의 매칭된 자식들 (504, 504'), (506, 506'), (508, 508'), 및 (510, 510')과 같은 그 하위 레벨의 매칭된 자식들)에 대한 treediff 함수를 순환 컴퓨팅하여, 쌍 s_i로부터 d_i를 생성한다. Σd_i를 행하기 위해, 트리 구별 엔진(422)은 매칭된 각 쌍의 모서리 가중값들의 차이, 및 a_v 벡터들의 차이를 가산한다. T 또는 U의 임의의 매칭되지 않은 자식들이 존재하는 경우, 트리 구별 엔진(422)은 이러한 서브트리들의 전체 모서리 가중값을 가산한다(그러나 a_v 벡터들을 이용하지는 않는다). 트리 구별 엔진(422)은 최종 전체 값을 얻게 되며, 이것이 T 및 U에 대한 treediff 함수값이다.

일 구현예에서, 형상 벡터의 최소값에 의해 매칭되는 자식들에 더하여, 트리 구별 엔진(422)은 여러 레벨들의 철저한 검색도 수행한다. 일부 상황에서는, 이것이 보다 양호한 결과를 제공할 수 있다. treediff(T, U, 0)가 전술한 구별 함수이면, treediff(T, U, d)는 T 및 U의 자식들 간에 가능한 모든 매칭을 생성하는 데 초점을 둔다. 따라서, 최상위 레벨로부터, 트리 구별 엔진(422)은 각 매칭에서의 각 쌍에 대하여 treediff(T, U, d-1)을 호출하고, 모든 매칭에 대하여 매칭의 전체값 중 수학적 최소값을 리턴한다. 전술한 트리 프루너(418)는 일반적으로 대응 클러스터들이 소정의 임계 픽셀 개수보다 적은 픽셀을 포함하는 노드들을 가지치기함으로써 트리들을 최적화하기 때문에, T 및 U의 자식들의 수는 크지 않다. 철저한 매칭을 생성하는 것이 가능한 이유는 treediff(T, U, d)에 대한 최상위 레벨 호출에서의 d의 통상적인 값들이 겨우 2 또는 3이기 때문이다.

유사성 측정을 얻기 위해 2개 이미지(예를 들어, G 및 H)를 비교하는 문맥에서, 전술한 이미지 그래프화 엔진(402)은 각 이미지로부터 k개의 HST를 컴퓨팅한다(통상, k = 10). 각 이미지에 대한 트리들의 군(104, 104')은 각각 {T_i} 및 {U_i}이고, 여기서 1≤i≤k 이다. 집계기(424)는 △_ij = treediff(T_i,U_j)를 차이들의 매트릭스(432)로서 형성한다. 벡터 엔진(434)은 d_i = min_j△_ij에 의해 벡터 d를 형성한다. 일부 구현예에서, 이러한 최소 연산은 대칭적이지 않으며, 이에 따라 △_ij≤△_ji이다. 이후, 정규화기(436)는, △(G,H) = mean(d) 또는 △(G,H) = median(d)와 같이 treediff 함수의 결과들을 집계한다. 중앙값에 의한 집계인 후자의 경우는, 일부 구현예에서 보다 양호한 결과를 가져올 수 있으며, 그 이유는 (잡음있는 이미지에 대하여 사용되는 평균화 필터 대 중앙 필터와 마찬가지로) 외부(outlier) 값들에 덜 민감하기 때문이다.

다른 예에서는, 트리 생성 엔진(414)에서 클러스터링을 위해 모서리 검출기(도시하지 않음)를 사용한다. 따라서, 웨이브렛 변환 엔진(408)의 저역 통과 효과 후에, 이미지들은 캐니(Canny) 모서리 필터(도시하지 않음)에 의해 처리될 수 있고, 그 결과 트리들이 클러스터링될 수 있다. 캐니 모서리 필터는 오브젝트들이 폐쇄 모서리 곡선에 의해 둘러싸이는 것을 보장하지 않기 때문에, 이 경우 HST에 대하여 사용되는 이미지 그래프는 픽셀값 차이들을 컴퓨팅하도록 가우스 평균화를 이용하여 생성될 수 있다. 이것은 클러스터링이 모서리 끝점들 간의 작은 갭들을 횡단하지 못하게 하는 효과를 갖는다. 트리 구별 엔진(422)이 캐니 모서리 필터를 이러한 방식으로 적용하면, 최종 HST는 많은 경우에 양호한 결과를 가져올 수 있다.

예시적인 방법

도 6은 이미지 비교를 위한 예시적인 방법(600)을 도시한다. 흐름도에서, 동작들을 개별 블록들로 요약한다. 예시적인 방법(600)은, 예를 들어, 예시적인 이미지 비교 엔진(306)의 컴포넌트들에 의해, 하드웨어, 소프트웨어, 또는 이들의 조합으로 수행될 수 있다.

블록(602)에서, 비교될 각 이미지로부터 그래프를 생성한다. 이미지가 다른 이미지들과 유사성 또는 비유사성에 대하여 디지털 방식으로 비교될 수 있도록 이미지를 그래프로 나타내는 것은, 예를 들어, 그래프 모서리들을 그 이미지에서의 인접하는 픽셀들의 차이 값들로 가중함으로써 그 이미지를 구성하는 픽셀들을 신뢰성있게 정량하는 것을 포함한다. 이미지가 컬러이면, 픽셀들의 색 성분들을 이용 하여 그래프를 생성할 수 있고, 또는 컬러 이미지를 그레이스케일링할 수 있으며 픽셀들의 다른 다양한 넌컬러(non-color) 특징들을 이용하여 그래프를 생성할 수 있다. 이미지로부터 그래프를 생성하는 엔진인, 예를 들어, 예시적인 이미지 비교 엔진(306)은, 비교를 위해 그래프를 이미지의 신뢰성있는 표시기로 만드는 다른 선처리 컴포넌트들을 포함할 수 있다.

이미지로부터 그래프를 생성하는 것은 계수 벡터값들을 얻는 웨이브렛 변환에 의해 용이해질 수 있다. 이미지들을 비교하기 위해 신뢰성있는 그래프를 생성하는 데 있어서 주요 요소들 중 하나는 그래프로부터 관련없는 잡음을 제거하는 것이다. 따라서, 웨이브렛 변환 후에, 무의미한 값들을 제로로 할 수 있고 이에 따라 이 메소드가 처리해야 하는 정보의 전체 양을 줄일 수 있다. 또한, 그래프를 생성하는 것은 이미지 및/또는 그래프를 효율적인 크기로 다운스케일링하는 것으로부터 이익을 얻을 수 있다.

블록(604)에서, 각 그래프에 대하여 트리들의 군을 생성한다. 예시적인 방법(600)의 이 부분에서, 비교될 이미지들을 정량하면서 그 이미지들을 나타내는 그래프들은, 디지털 방식으로 실행될 수 있는 수학적 비교 기술에 여전히 적합하지 않다. 따라서, 그래프들을 직접적으로 비교하기 보다는, 각 그래프의 메트릭들을 트리들의 군 내로 임베딩한다. 예를 들어, HST는 효율적으로 디지털 방식으로 실행될 수 있는 수학적 비교 기술에 적합하다. 따라서, 이미지는 그래프로 되고, 이는 다시 관련된 트리들의 군으로 된다. 트리들의 클러스터들 및 노드들에 의해, 이미지들은, 수학적으로 비교될 수 있다. 즉, 디지털 방식으로 조작될 수 있으며, 비교를 위해 이미지들의 시각적 품질에 직접적으로 의존하지 않는 형태로 비교될 수 있다.

블록(606)에서, 비교될 2개의 이미지에 대한 트리들의 군들을 서로 구별하여 유사성 측정을 얻는다. 다시 말하면, 임베딩된 그래프 정보를 갖는 트리들의 군들을 비교하여 이들이 나타내는 이미지들에 대한 유사성 측정을 얻는다. 일 구현예에서는, 이미지를 나타내는 트리들의 군이 순환 생성되기 때문에, 트리 구별 기술을 루트 HST들 및 이들의 관련 자식 트리들에 반복 적용한다. 일 구현예에서, 구별은, 차이들의 매트릭스를 컴파일링하고 이 매트릭스를 벡터화하는 것을 포함하고, 이에 따라 평균화 처리(즉, 중앙 찾기)가 차이들을 하나의 유사성 측정으로 요약할 수 있다.

본 명세서에서 설명한 시스템 및 방법은 그래프 메트릭들을 대략 낮은 왜곡으로 트리 매트릭들 내로 임베딩할 수 있다. 메트릭을 정의하는 일반적인 그래프가 주어진 상태에서, 트리 메트릭 내로의 임베딩은 Ω(n) 왜곡을 갖는다(여기서 n은 G에서의 점들의 수). 그러나, G→T_i 임베딩과 함께 트리 메트릭들의 군{T_i} 및 그래프(G)가 주어진 상태에서(임의의 2개 점이 주어진 상태에서(x,y∈G)), T_i의 랜덤한 선택에 대하여 x,y→T_i의 예상되는 왜곡은 O(log n)이다.

결론

상술한 본 발명의 주제는 하드웨어, 소프트웨어, 펌웨어 등, 또는 이들의 조합으로 구현될 수 있다. 소정의 구현예들에서, 본 발명의 주제는, 컴퓨팅 장치나 통신 장치에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어들의 일반적으로 문맥으로 설명될 수 있다. 일반적으로, 프로그램 모듈은, 특정한 태스크를 수행하거나 특정한 추상 데이터 유형을 구현하는, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 또한, 본 발명의 주제는 통신 네트워크를 통해 링크된 원격 처리 장치에 의해 무선 통신을 통해 태스크가 수행되는 분산 통신 환경에서 실시될 수 있다. 무선 네트워크에서, 프로그램 모듈은 메모리 저장 장치를 비롯하여 로컬 통신 장치 저장 매체 및 원격 통신 장치 저장 매체 둘 다에 위치할 수 있다.

전술한 설명은 이미지 비교를 위한 예시적인 시스템 및 방법을 설명한다. 구조적 특징 및/또는 방법론적 액션에 특정된 언어로 본 발명의 주제를 설명하였지만, 청구범위에서 한정된 대상이 반드시 전술한 특정한 특징이나 액션으로 한정되는 것은 아님을 이해할 것이다. 오히려, 전술한 특정한 특징 및 액션은 청구범위를 구현하는 형태의 예로서 개시된 것이다.

Claims

제1 이미지를 제1 그래프로서, 제2 이미지를 제2 그래프로서 나타내는 단계 - 상기 제1 및 제2 이미지의 각 정점(vertex)은 각 이미지에서의 픽셀에 대응함 - 와,

각 무방향 그래프에서의 정점들 간의 각 모서리에 가중값을 할당하는 단계 - 상기 가중값은 인접하는 픽셀값들 간의 차이에 대응함 - 와,

상기 제1 그래프로부터 트리들의 제1군을 그리고 상기 제2 그래프로부터 트리들의 제2군을 유도해내는 단계 - 상기 트리들의 군들에 그래프 메트릭들이 임베딩됨 - 와,

상기 트리들의 제1 군과 상기 트리들의 제2 군 간의 차이 측정에 기초하여 상기 제1 및 제2 이미지에 대한 차이 측정을 결정하는 단계

를 포함하는 방법.
제1항에 있어서,

상기 제1 이미지를 제1 그래프로서, 제2 이미지를 제2 그래프로서 나타내는 단계는, 웨이브렛 변환으로 각 이미지를 처리하는 단계를 포함하는 방법.
제2항에 있어서,

상기 웨이브렛 변환은 3-레벨 하(Haar) 웨이브렛 변환을 포함하는 방법.
제2항에 있어서,

각 이미지를 다운스케일링함으로써, 선처리 이미지에서 발생하는 잡음을 줄이는 단계를 더 포함하는 방법.
제2항에 있어서,

각 이미지를 폭에 대하여 약 70개의 픽셀로 다운스케일링하여 선처리 이미지를 형성하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 제1 그래프로부터 트리들의 제1 군을, 그리고 상기 제2 그래프로부터 트리들의 제2군을 유도해내는 단계는, 이미지의 순환성 계층적 클러스터링 분해(recursive hierarchical clustering decomposition)에 의해 계층적 분리 트리들(hierarchical well-separated tree)의 일 군을 유도해내는 단계를 포함하는 방법.
제6항에 있어서,

상기 순환성 계층적 클러스터링 분해는,

선처리 이미지로부터 픽셀들의 클러스터, 상기 픽셀들의 클러스터내의 랜덤 픽셀 위치 x, 클러스터 크기 r, -r(logN)(logx)와 동일한 반경 d를 선택하는 것 - 여기서, N은 상기 선처리 이미지에서의 픽셀들의 개수임 - 과,

상기 픽셀들의 클러스터가 분할(partition)될 때까지 상기 픽셀들의 클러스터의 자식 클러스터들을 발생시키는 것

을 포함하고,

상기 자식 클러스터들을 발생시키는 것은, x로부터의 연속되는 반경들에서 자식 클러스터들을 순환 생성하는 것을 포함하며, 여기서, 각 자식 클러스터는 이전에 얻은 클러스터를 현재 반경에서의 클러스터로 나눈 비로 설정되는 방법.
제1항에 있어서,

상기 트리들의 제1 군과 상기 트리들의 제2 군 간의 차이를 결정하는 단계는,

상기 트리들의 제1 군 및 상기 트리들의 제2 군의 토폴로지를 비교하는 단계와,

상기 제1 및 제2 군들의 트리 노드들에 관련된 클러스터들의 토폴로지를 비교하는 단계를 포함하는 방법.
제1항에 있어서,

상기 트리들의 제1 군과 상기 트리들의 제2 군 간의 차이를 결정하는 단계는,

상기 트리들의 제1군 및 상기 트리들의 제2군의 각 노드에 관련된 클러스터 의 컨벡스 헐(convex hull)을 컴퓨팅하여 상기 각 노드에 대한 형상 파라미터들을 얻는 단계와,

상기 노드에 관련된 클러스터의 위치를 상기 형상 파라미터들과 연결함(concatenate)으로써 각 노드에 형상 벡터를 할당하는 단계와,

상기 트리들의 제1 및 제2 군들의 자식 노드들의 세트들 각각에 대하여 형상 벡터들 간의 차이를 최소화하는 차이 측정을 찾는 단계

를 포함하는 방법.
제9항에 있어서,

상기 형상 벡터들의 최소화된 차이들의 벡터를 형성하고 상기 벡터의 성분들을 정규화함으로써, 상기 트리들의 노드들에 걸쳐 차이들을 집계하는 단계를 더 포함하는 방법.
제1항에 있어서,

한 세트의 이미지의 멤버들 및 상기 제1 이미지에 대해 상기 방법을 연속 반복하여 상기 제1 이미지에 대하여 최고의 유사성을 갖는 상기 세트의 멤버를 찾는 단계를 더 포함하는 방법.
컴퓨팅 장치에 의해 실행시, 제1항에 따른 방법을 구현하는 복수의 실행가능 명령어를 포함하는 저장 매체.
대응 이미지들로부터 무방향 그래프들을 유도해내는 이미지 그래프화 엔진 - 상기 무방향 그래프들의 정점들은 상기 이미지들의 픽셀들에 대응함 - 과,

각 무방향 그래프로부터 트리들의 일 군을 유도해내는 트리 생성 엔진과,

트리들의 군들의 대응 노드들 간의 최소 차이를 결정하는 트리 구별 엔진과,

트리들의 군들 간의 차이들의 매트릭스를 컴파일링하는 집계기와,

상기 차이들의 매트릭스로부터 2개 이미지에 대한 유사성 측정을 유도해내는 벡터 엔진

을 포함하는 이미지 비교 엔진.
제13항에 있어서,

상기 이미지 그래프화 엔진은,

컬러 이미지들을 선처리하는 그레이스케일러와,

픽셀 계수 벡터값들을 결정하는 웨이브렛 변환 엔진과,

이미지를 축소하고 잡음을 줄이는 다운스케일러

를 포함하는 이미지 비교 엔진.
제13항에 있어서,

상기 트리 생성 엔진은, 무방향 그래프에 의해 나타나는 이미지를 분리 클러스터들(well separated cluster)로 분할하는 클러스터 리커서(recurser)를 더 포함 하는 이미지 비교 엔진.
제13항에 있어서,

상기 트리 생성 엔진은, 임계값 미만의 개수의 노드를 보유하는 대응 클러스터들에 관련된 트리 노드들을 제거하는 트리 프루너(pruner)를 더 포함하는 이미지 비교 엔진.
제13항에 있어서,

상기 트리 생성 엔진은, 트리가 임계값 미만의 개수의 노드들을 갖는 경우 이미지 그래퍼에서 이미지를 시작시키는 재실행 필터를 더 포함하는 이미지 비교 엔진.
제13항에 있어서,

상기 트리 구별 엔진은, 트리 토폴로지 비교기와 클러스터 토폴로지 비교기를 포함하는 최소 차이 엔진을 더 포함하는 이미지 비교 엔진.
그래프들을 대응하는 이미지들로부터 유도해내는 수단과,

각 그래프로부터 트리들의 일 군을 유도해내는 수단과,

2개의 서로 다른 이미지의 트리들의 군들 간의 최소 차이를 결정하는 수단

을 포함하는 시스템.
제19항에 있어서,

이미지를 선택하는 수단과,

상기 트리들의 군들 간의 최소 차이에 기초하여, 한 세트의 이미지들로부터 상기 선택된 이미지에 가장 유사한 이미지를 찾는 이미지를 찾는 수단을 더 포함하는 시스템.