KR100519768B1 - 반복매칭을 이용한 영상 검색방법 및 장치 - Google Patents

반복매칭을 이용한 영상 검색방법 및 장치 Download PDF

Info

Publication number
KR100519768B1
KR100519768B1 KR10-2003-0023715A KR20030023715A KR100519768B1 KR 100519768 B1 KR100519768 B1 KR 100519768B1 KR 20030023715 A KR20030023715 A KR 20030023715A KR 100519768 B1 KR100519768 B1 KR 100519768B1
Authority
KR
South Korea
Prior art keywords
matching
similar images
image
similar
images
Prior art date
Application number
KR10-2003-0023715A
Other languages
English (en)
Other versions
KR20040034337A (ko
Inventor
김현우
김태균
황원준
기석철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US10/650,964 priority Critical patent/US7298931B2/en
Priority to JP2003353899A priority patent/JP4295062B2/ja
Publication of KR20040034337A publication Critical patent/KR20040034337A/ko
Application granted granted Critical
Publication of KR100519768B1 publication Critical patent/KR100519768B1/ko

Links

Classifications

    • D—TEXTILES; PAPER
    • D05—SEWING; EMBROIDERING; TUFTING
    • D05C—EMBROIDERING; TUFTING
    • D05C17/00—Embroidered or tufted products; Base fabrics specially adapted for embroidered work; Inserts for producing surface irregularities in embroidered products
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G9/00—Bed-covers; Counterpanes; Travelling rugs; Sleeping rugs; Sleeping bags; Pillows
    • D—TEXTILES; PAPER
    • D03—WEAVING
    • D03D—WOVEN FABRICS; METHODS OF WEAVING; LOOMS
    • D03D1/00—Woven fabrics designed to make specified articles
    • D—TEXTILES; PAPER
    • D05—SEWING; EMBROIDERING; TUFTING
    • D05C—EMBROIDERING; TUFTING
    • D05C7/00—Special-purpose or automatic embroidering machines
    • D05C7/08—Special-purpose or automatic embroidering machines for attaching cords, tapes, bands, or the like
    • D—TEXTILES; PAPER
    • D05—SEWING; EMBROIDERING; TUFTING
    • D05D—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES D05B AND D05C, RELATING TO SEWING, EMBROIDERING AND TUFTING
    • D05D2303/00—Applied objects or articles
    • D05D2303/12—Rigid objects
    • D05D2303/18—Sequins

Abstract

반복매칭을 이용한 영상 검색방법 및 장치가 개시된다. 반복매칭을 이용한 영상 검색방법은 (a) 사용자가 선택한 질의영상과 영상 데이터베이스에 저장되어 있는 N개의 참조영상을 비교 검색하여 K개의 유사영상을 매칭순위대로 추출하는 단계; 및 (b) K개의 유사영상으로부터 선택된 매칭순위가 상위인 M개의 유사영상에 대하여 소정의 반복횟수만큼 반복매칭을 수행하여 상기 M개의 유사영상에 대하여 매칭순위를 재정렬하는 단계를 포함한다. 이에 따르면, 사용자가 선택한 질의영상으로 검색한 유사영상 중 상위에 랭크된 M개의 유사영상을 선택하고, M개 유사영상에 대하여 최상위 랭크 유사영상을 이용하여 반복을 수행하여 M개의 유사영상에 대하여 매칭순위를 재정렬하여 출력함으로써, 매칭의 정확도를 대폭 향상시킬 수 있을 뿐 아니라 반복검색에 따른 검색엔진의 부하를 최소화시킬 수 있다.

Description

반복매칭을 이용한 영상 검색방법 및 장치{Image retrieval method and apparatus using iterative matching}
본 발명은 내용기반 멀티미디어 검색시스템에 관한 것으로서, 특히 내용기반 영상 검색시스템에서 검색시간의 과도한 부담없이 검색의 정확도를 향상시키기 위한 반복매칭을 이용한 영상 검색방법 및 장치에 관한 것이다.
최근 들어 내용기반 멀티미디어 검색은 텍스트기반 검색에서 키워드 검색의 제한성을 극복하고 친사용자적인 인터페이스를 제공하는 측면에 그 포커스를 두고 있다. 특히, 인터넷의 급속한 성장, 멀티미디어 장비들의 개인화 및 디지털 라이브러리의 출현으로 인하여 내용기반 멀티미디어 검색의 필요성을 가속화시키고 있다. 한편, 내용기반 영상검색은 칼라(color), 텍스쳐(texture), 모양(shape) 및 얼굴 등과 같은 영상 특징정보를 분석하여 시각적으로 가장 유사한 영상들을 랭크된 순서대로 나열하는 것을 의미한다. 내용기반 영상검색은 특징추출단계와 영상매칭단계로 이루어지며, 특징추출단계에서는 영상의 특징을 기술하기 위하여 특징벡터들을 추출하며, 모든 영상들은 각각 해당하는 특징벡터들로 표현되어 소정 데이터베이스에 저장된다. 영상매칭단계에서는 질의영상이 제공되면 특징벡터 도메인에서 데이터베이스의 영상들과 질의영상과의 유사도를 계산하여 데이터베이스의 영상들을 랭크된 순서대로 나열한다.
특징추출과 영상매칭과 관련되어 많은 방법들이 개발되고 있다. 이중 특징추출에 대해서는 특히 MPEG-7의 카테고리에서 다양한 특징 기술자들이 개발되고 있다. 한편, 영상매칭에 대해서는 탐색시간을 줄이고 다수의 특징들을 결합(fusion)시키는 방법에 대하여 중점적으로 연구되고 있다. 이와 관련된 문헌으로는 예를 들면 W. Hwang 및 J. Weng에 의한 『"Hierarchical Discriminant Regression," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 22, no. 11, Nov. 2000, pp. 1277-1293』과 C. Breitneder 및 H. Eidenberger에 의한 『"Automatic Query Generation for Content-Based Image Retrieval," IEEE Conference on Multimedia and Expo, Jul. 30--Aug. 2, 2000, vol. 2, pp. 705-708』등을 들 수 있다.
그러나, 종래에는 상기 문헌들에서와 같이 영상매칭단계에서 검색시간을 줄이거나 다수의 특징들을 효율적으로 결합시키기 위해서는 많은 방법들이 시도되어 왔으나, 지식에 기반하여 매칭 정확도를 개선하기 위한 노력은 아직까지 시도된 바 없다. 따라서, 상기한 방법들에 의한 영상검색시, 영상들마다 유사하게 보이기 위한 중요한 특징정보들이 모두 다르기 때문에 불만족스러운 결과가 나오는 경우가 있다. 또한, 동일한 내용을 가진 영상들이라 하더라도 조명의 변화나 자세의 변화에 따라서 색특징이나 질감특징 등에 대하여 서로 다른 특징정보를 가짐으로써 정확한 영상 검색이 되지 않을 수도 있다는 문제점이 있다.
이러한 부분을 해결하기 위하여 사용자가 1차 검색한 결과를 사용하여, 찾고자 하는 영상과 비슷한 영상들에 대한 정보를 검색기로 피드백시켜 줌으로써 검색기가 해당 영상을 검색하는데 보다 중요한 특징정보가 무엇인지를 자동으로 계산하고, 그 결과 중요한 특징정보에 가중치를 더 높게 하여 재차 검색을 행하도록 하는 방법이 있다. 그러나 이와 같이 재차 검색을 수행하는 경우, 1차 검색시 사용한 영상 데이터베이스에 저장된 모든 영상들을 모두 검색해야 하므로 질의영상과의 유사도 계산이 복잡해지고, 이로 인하여 검색성능을 높이기 위하여 반복횟수를 증가시킬 경우 검색엔진에 부담을 가중시키는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 사용자가 선택한 질의영상으로 검색한 유사영상 중 상위에 랭크된 M개의 유사영상을 선택하고, M개 유사영상에 대하여 반복매칭을 수행하여 M개의 유사영상에 대하여 매칭 순위를 재정렬하여 출력하는 반복매칭을 이용한 영상 검색방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 반복매칭을 이용한 영상 검색방법을 실현하는데 가장 적합한 장치를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 반복매칭을 이용한 영상 검색방법은 (a) 사용자가 선택한 질의영상과 영상 데이터베이스에 저장되어 있는 N개의 참조영상을 비교 검색하여 K개의 유사영상을 매칭순위대로 추출하는 단계; 및 (b) K개의 유사영상으로부터 선택된 매칭순위가 상위인 M개의 유사영상에 대하여 소정의 반복횟수만큼 반복매칭을 수행하여 상기 M개의 유사영상에 대하여 매칭순위를 재정렬하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 반복매칭을 이용한 영상 검색장치는 사용자가 선택한 질의영상과 영상 데이터베이스에 저장되어 있는 N개의 참조영상을 비교 검색하여 K개의 유사영상을 매칭순위대로 추출하는 제1 검색부; 및 상기 제1 검색부로부터 추출되는 K개의 유사영상으로부터 선택된 매칭순위가 상위인 M개의 유사영상에 대하여 소정의 반복횟수만큼 반복매칭을 수행하여 상기 M개의 유사영상에 대하여 매칭순위를 재정렬하는 제2 검색부를 포함하는 것을 특징으로 한다.
또한, 상기 제2 검색부는 상기 제1 검색부로부터 제공되는 K개의 유사영상 중 매칭순위가 상위인 M개의 유사영상을 저장하는 제1 저장부; 및 상기 제1 저장부에 저장된 상기 M개의 유사영상에 대하여, 최상위랭크 유사영상을 새로운 질의영상으로 채택하여 상기 최상위랭크 유사영상을 제외한 유사영상들에 대하여 반복매칭을 수행하여 상기 M개의 유사영상들의 매칭순위를 재정렬하여 상기 제1 저장부에 저장하는 반복매칭부를 포함하는 것이 바람직하다.
또한, 상기 제2 검색부는 M<K 인 경우, 상기 제1 저장부에서 저장된 M개의 유사영상을 제외한 (K-M)개의 유사영상을 저장하는 제2 저장부; 및 상기 반복매칭부에 의해 매칭순위가 재정렬되어 상기 제1 저장부에 저장된 M개의 유사영상에 상기 제2 저장부에 저장된 (K-M)개의 유사영상을 부가하여 검색결과로서 출력하는 검색결과 조합부를 더 포함하는 것이 바람직하다.
상기의 과제를 이루기 위하여 본 발명에서는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이어서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 영상 검색방법의 개념을 설명하기 위한 도면으로서, 영상 데이터베이스를 구비한 서버(110)와, 소정의 사이즈(M)를 갖는 버퍼(123 또는 126)를 구비하며 선택한 질의영상에 대하여 검색을 요청하는 클라이언트(120)로 이루어진다. 설명의 편의를 위하여 서버(110)와 클라이언트(120)로 구분하였으나 명확하게 구분할 필요는 없으며, 단일 컴퓨터 상에서 구현되는 것도 무방하고, 버퍼(123 또는 126)는 서버(110)에 구비될 수도 있다.
도 1을 참조하면, 서버(110)는 N개의 참조영상들로부터 추출된 특징벡터들이 저장되어 있는 영상 데이터베이스를 구비하며, 클라이언트(120)의 요청에 의해 질의영상이 주어지면 질의영상의 특징벡터를 이용하여 이미지 데이터베이스로부터 검색된 특징벡터에 해당하는 참조영상들을 클라이언트(120)로 전달한다. 설명의 편의를 위하여 영상검색을 위한 영상의 수학적인 표현인 특징벡터를 영상으로 명칭하기로 한다.
클라이언트(120)는 서버(110)에 설치되는 검색엔진(미도시)에서 질의영상 q를 선택하고 검색영상수(K) 등과 같은 소정의 검색조건을 설정하여 검색요청을 하면, 검색엔진은 서버(110)의 이미지 데이터베이스를 검색하여 K개의 유사영상(111)을 매칭점수(score) 순으로 추출하여 클라이언트(120)로 제공한다. 추출된 K개의 유사영상(111) 중 버퍼(123,126)의 사이즈(M)에 해당하는 상위 M개의 유사영상(121)은 버퍼(123)에서 영상영역(124)과 매칭점수영역(125)이 각각 대응하도록 저장되고, 나머지 (K-M)개의 유사영상(122)은 별도의 저장매체(미도시)에 저장된다.
이후, 클라이언트(120)에 설치되는 검색엔진(미도시)은 버퍼(123)에 저장된 상위 M개의 유사영상 중에서 최상위 유사영상 q'을 새로운 질의영상으로 채택하여 버퍼(123)에 저장된 M개의 유사영상에 대하여 반복매칭을 수행하여 최상위 유사영상 q'을 제외한 (M-1)개의 유사영상을 매칭점수 순으로 추출한다. 최상위 유사영상 q'과 추출된 (M-1)의 유사영상은 동일한 버퍼(126)에서 영상영역(127)과 매칭점수영역(128)이 각각 대응하도록 다시 저장된다. 이후, 검색엔진은 버퍼(123)에 저장된 (M-1)개의 유사영상 중에서 최상위 유사영상 q''을 새로운 질의영상으로 채택하여 버퍼(123)에 저장된 (M-2)개의 유사영상에 대하여 반복매칭을 수행하여 최상위 유사영상 q''을 제외한 (M-2)개의 유사영상을 매칭점수 순으로 추출한다.
이와 같은 방법에 의하면, (M-n+1)개의 유사영상 중 최상위랭크 유사영상을 이용하여 (M-n)개의 유사영상에 대한 재정렬이 이루어진다. 여기서, n은 반복횟수에 해당한다.
최종 검색결과(130)로는 초기 검색된 M개의 유사영상(121)에 대하여 순위가 재정렬된 M개의 유사영상(131)이 출력된다. 이때, 순위가 재정렬된 M개의 유사영상(131)에 버퍼(123,126)의 사이즈를 초과하여 별도로 저장된 (K-M)개의 유사영상(122)이 부가되어 출력되는 것도 가능하다.
여기서, 서버(110)와 클라이언트(120)가 각각 검색엔진을 구비하는 것을 예로 들었으나, 두 개의 검색엔진을 통합된 하나의 검색엔진으로 구현하여 서버(110) 또는 클라이언트(120)에 구비할 수 있다.
영상검색을 위하여 영상이 특징벡터로 부호화되는 경우, 해당 영상의 수학적 표현에는 영상의 특징 자체 뿐만 아니라 조명변화나 포즈변화 등과 같은 환경적인 변동이 포함된다. 따라서, 주어진 질의영상에 대하여 검색되는 영상들은 환경적인 변동에 의하여 질의영상의 부호화오류를 반영하게 되고, 일부 영상들은 질의영상과 유사한 환경적인 변동에 의해 검색될 수 있다. 일반적으로 대부분의 최상위 랭크 유사영상은 주로 영상의 특징에 의해 탐색되므로 최상위 랭크 유사영상은 사용자가 선택한 질의영상과 동일한 특성 및 상이한 환경적인 변동을 가진다는 것을 알 수 있다. 본 발명에서는 이와 같은 최상위랭크 유사영상을 새로운 질의영상으로 설정한 것이다.
도 2는 본 발명에 따른 영상 검색방법의 일실시예를 설명하기 위한 흐름도로서, 제1 검색단계(210 내지 240 단계) 및 제2 검색단계(250 내지 270 단계)로 이루어진다.
도 2를 참조하면, 210 단계에서는 사용자가 선택한 질의영상(q)을 입력받고, 220 단계에서는 사용자에 의해 설정된 검색조건을 입력받는다. 여기서, 검색조건에는 검색분야, 검색결과로 표시될 최대 유사영상수(K), 반복매칭에 사용될 유사영상수 및 반복횟수(n) 등이 포함될 수 있다.
230 단계에서는 상기 210 단계에서 입력된 질의영상(q)을 상기 220 단계에서 설정된 검색조건에 따라서 영상 데이터베이스의 참조영상들(｛Ii｜i=1,...,N｝)과 비교검색한다. 이를 위하여, 먼저 질의영상(q)의 특징정보가 추출되고, 추출된 특징정보와 영상 데이터베이스에 인덱싱된 참조영상들의 특징정보를 비교하여 검색하게 된다. 240 단계에서는 상기 230 단계에서의 검색결과, 매칭점수가 높은 순으로 K개의 유사영상을 추출한다.
250 단계에서는 상기 240 단계에서 추출된 K개의 유사영상중에서 상위 M개의 유사영상(｛qi｜i=1,...,M｝)을 추출하여 버퍼(미도시)에 저장한다. 이때, M개의 매칭점수(｛s(i)｜i=1,...,M｝)들도 M개의 유사영상에 대응하여 저장된다. 매칭점수(s(i))는 일예로서 D(q,qi)를 이용하여 산출가능하며, D(q,qi)는 질의영상(q)와 유사영상(qi) 사이의 특징정보 거리의 절대값을 의미하며, 특징정보 거리의 절대값이 작을수록 질의영상(q)과 유사한 영상으로서 상위에 위치하게 된다. 한편, 상기 250 단계는 K개의 유사영상중에서 상위 M개의 유사영상(｛qi｜i=1,...,M｝)을 제외한 (K-M)개의 유사영상을 별도의 저장매체에 저장하는 단계를 더 포함할 수도 있다.
260 단계에서는 상기 250 단계에서 선택된 M개의 유사영상에 대하여 소정의 반복회수 만큼 반복매칭을 수행하여 재정렬된 M개의 유사영상을 출력한다.
이를 위하여 먼저, M개의 유사영상 중 최상위랭크 유사영상(q1)을 새로운 질의영상(q')으로 선택하여 최상위랭크 유사영상(q1)을 제외한 (M-1)개의 유사영상에 대하여 상기 230 단계에서와 동일한 방법으로 다시 검색을 수행한다. 이와 같이, 재검색을 영상 데이터베이스에 저장된 N개의 전체 참조영상이 아닌 버퍼에 저장된 M개의 유사영상에 대하여 수행하는 점에서 유사도 계산의 복잡도가 상당히 줄어드는 효과가 있다. 검색결과, 재정렬된 유사영상(｛qi'｜i=1,...,M｝)와 각 유사영상에 대응하는 매칭점수(｛s'(i)｜i=1,...,M｝)가 얻어진다. 새로운 질의영상(q')에 의한 매칭을 반영하기 위하여 매칭점수(s'(i))는 다음 수학식 1에 의해 갱신된다.
여기서, w1 은 가중치 상수이다. 이와 같이 재차 검색한 결과 얻어지는 매칭점수 D(q',qi')에 가중치 상수(w1 )를 이용하여 가중시키는 이유는, 임의의 반복검색에 의해 검색된 유사영상들 중 최상위랭크 유사영상이 잘못 검색된 영상인 경우, 잘못 검색된 최상위 랭크 유사영상을 새로운 질의영상으로 채택하는 다음번 검색에 의한 영향을 약화시키기 위해서이다.
상기와 같은 반복검색 과정이 n회 수행된다면, 검색결과 재정렬된 유사영상(｛qi (n-1)｜i=1,...,M｝)와 각 유사영상에 대응하는 매칭점수(｛s(n-1) (i)｜i=1,...,M｝)가 얻어지며, 이는 버퍼에 다시 저장된다. 이때, 매칭점수(s(n-1)(i))는 다음 수학식 2로 나타낼 수 있다.
여기서, w는 0.7 내지 0.9까지 설정되며, 바람직하게로는 0.8로 설정된다.상기 수학식 2에 있어서, 가중치 파라미터(wn-1)은 (w1)n-1이고, w 1은 w로 설정함이 바람직하다. 이에 따르면, 가중치 파라미터는 반복횟수가 증가할수록 지수함수적으로 감소하게 된다.
상기한 바와 같은 반복검색에 의해 순위가 재정렬되어 버퍼에 저장된 M개의 유사영상을 검색결과로서 출력한다.
270 단계에서는 만약 버퍼의 사이즈가 사용자가 요청한 검색영상 수보다 작은 경우, 즉 M<K 인 경우, 상기 250 단계에서 별도로 저장된 버퍼 사이즈를 초과하는 (K-M)개의 유사영상을 상기 260 단계에서 재정렬된 M개의 유사영상의 끝부분에 부가시켜 출력한다.
한편, 유사한 프레임워크(framework)를 사용할 경우, 상기 수학식 2는 다음 수학식 3과 같이 수정될 수 있다.
상기 수학식 3을 살펴보면, 상기 240 단계에서 230 단계에서의 검색결과, 매칭점수가 높은 순으로 추출된 K개의 유사영상 중 상위에 랭크된 복수개의 영상의 매칭 순위를 고정시킨 다음 반복매칭을 수행할 수 있다.
도 3은 도 2에 도시된 260 단계의 세부적인 흐름도로서, 310 단계에서는 반복횟수(n)를 1로 설정하고, 320 단계에서는 (M-n+1) 개 유사영상에 대하여 최상위랭크 유사영상을 새로운 질의영상으로 설정하여 (M-n)개 유사영상을 재정렬시킨다. 즉, 반복횟수(n)가 1인 경우 M개 유사영상에 대하여 최상위랭크 유사영상을 이용하여 (M-1)개 유사영상을 재정렬시킬 수 있다.
330 단계에서는 반복횟수(n)가 설정치(t)에 도달하였는지를 판단하고, 반복횟수(n)가 설정치(t)에 도달한 경우 340 단계로 이행하여 재정렬된 M개 유사영상을 출력한다. 여기서, 상기 반복횟수(n)는 상기 220 단계에서 검색조건을 설정할 때 사용자에 의해 정해질 수 있다. 또한, 반복횟수는 상기 M개의 유사영상에 대하여 바로 이전 순위와 비교하여 순위가 변동되는 영상의 수 또는 i 번째 매칭순위 이후의 순위변동여부 등에 따라 검색엔진 내부에서 정해질 수도 있다. 즉, 순위가 변동되는 영상의 수가 소정의 P개 이하이거나, i번째 매칭순위 이후 순위가 변동되지 않는 경우 반복매칭을 종료하게 된다.
한편, 상기 330 단계에서의 판단결과, 반복횟수(n)가 설정치(t)에 도달하지 않은 경우 350 단계로 이행하여 반복횟수(n)를 1 증가시켜 상기 320 단계로 이행하여 새로운 질의영상과 검색범위를 변경시켜 재차 반복매칭을 수행한다.
도 4는 본 발명에 따른 영상 검색장치의 일실시예의 구성을 나타낸 블럭도로서, 사용자 인터페이스부(410), 제1 검색부(420) 및 제2 검색부(420)를 포함한다. 또한, 사용자 인터페이스부(410)는 질의영상 입력부(411), 검색조건 설정부(413) 및 검색결과창(415)을 포함하여 이루어지고, 제1 검색부(420)는 영상 데이터베이스(421) 및 유사영상 추출부(423)로 이루어지고, 제2 검색부(430)는 제1 저장부(431), 제2 저장부(433), 반복매칭부(435) 및 검색결과 조합부(437)로 이루어진다.
도 4를 참조하면, 사용자 인터페이스부(410)에 있어서, 질의영상 입력부(411)는 사용자가 선택한 질의영상(q)을 입력하여 유사영상 추출부(423)로 제공한다. 검색조건 설정부(413)는 사용자에 의해 검색조건 예를 들면, 검색분야, 검색결과로 표시될 최대 유사영상수(K), 반복매칭에 사용될 유사영상수 및 반복횟수(n) 등을 설정하여, 검색분야, 검색결과로 표시될 최대 유사영상수(K) 및 반복매칭에 사용될 유사영상수(M)는 유사영상 추출부(423)로, 반복횟수(n)는 반복매칭부(435)로 제공한다. 검색결과창(415)은 본 발명에 따라 최종적으로 검색된 유사영상들을 디스플레이한다.
제1 검색부(420)에 있어서, 영상 데이터베이스(DB((421)는 N개의 참조영상들이 저장되어 있으며, 유사영상 추출부(423)는 질의영상 입력부(411)를 통해 입력된 질의영상(q)을 검색조건 설정부(413)에서 설정된 검색조건에 따라서 영상 데이터베이스(421)의 참조영상들과 비교검색하고, 검색결과 매칭점수가 높은 순으로 K개의 유사영상을 추출한다.
제2 검색부(430)에 있어서, 제1 저장부(431)는 유사영상 추출부(423)로부터 추출된 K개의 유사영상 중 매칭순위가 상위인 M개의 유사영상을, 제2 저장부(433)는 나머지 (K-M)개의 유사영상을 저장한다. 반복매칭부(435)는 제1 저장부(431)에 저장된 M개의 유사영상에 대하여, 최상위랭크 유사영상을 새로운 질의영상으로 채택하여 최상위랭크 유사영상을 제외한 유사영상들에 대하여 반복매칭을 수행하여 M개의 유사영상들의 매칭순위를 재정렬하여 제1 저장부(431)에 저장한다. 검색결과 조합부(437)는 반복매칭부(435)에 의해 매칭순위가 재정렬되어 제1 저장부(431)에 저장된 M개의 유사영상에 제2 저장부(433)에 저장된 (K-M)개의 유사영상을 부가하여 사용자 인터페이스부(410)로 제공한다.
다음, 얼굴영상 검색에 적용한 예를 통해 본 발명에 따른 영상 검색방법의 성능을 평가하기로 한다.
도 5는 본 발명에 따른 영상 검색방법이 적용되는 얼굴 검색시스템을 도시한 것으로서, 소정의 얼굴기술 알고리즘에 기반한 특정 이미지 데이터베이스로부터 주어진 질의 얼굴영상에 대하여 매칭점수 순서대로 16개의 유사 얼굴영상들을 추출한 예이다. 얼굴검색을 위하여 먼저 얼굴영상을 특징벡터로 표현하고, 두 얼굴영상간의 유사도를 비교하기 위하여 두 특징벡터들간의 거리 또는 상관도를 계산한다. 여기서는 특징벡터의 차원으로 각 얼굴영상당 240 비트가 사용되며, 유사도 측정방법으로 특징벡터들간의 유클리디안 거리가 사용되었다. 한편, 특징벡터들은 Toshio Kamei, Yusuke Takahashi 및 Akio Yamada에 의해 『"Report of Core Experiment on fourier Spectral PCA based Face Description," NEC_MM_TR_2002_330, July 2002』에 제시된 방법을 이용하여 추출되었다.
한편, 데이터세트로 5개의 데이터베이스로 이루어지는 MPEG-7 얼굴 데이타세트가 사용되었다. 5개의 데이터베이스는 각각 확장버젼 1 MPEG-7 얼굴 데이터베이스(E1), Altkom 데이터베이스(A2), XM2VTS 데이터베이스에 있는 MPEG-7 테스트세트(M3), FERET 데이터베이스(F4), 및 Banca 데이터베이스에 있는 MPEG-7 테스트세트(B5)이다. 전체 영상수는 11845개로서, 이중 3655개의 영상은 LDA(Linear Discriminant Analysis) 프로젝션 학습을 위한 트레이닝 이미지로만 사용되고, 8190개의 영상은 성능평가를 위한 테스트 이미지로만 사용되었다. 테스트 이미지 중 4190개의 영상은 질의영상으로 사용되고, F4에 얻어지는 4000개의 영상은 장애영상으로 사용되었다. 표 1은 트레이닝 이미지 및 테스트 이미지에 대한 세부적인 리스트를 나타낸 것이며, 본 발명에 따른 영상 검색 알고리즘의 성능을 평가하기 위하여 모든 질의영상에 대한 사전정보(ground truth) 영상들을 알고 있는 상태이다.
트레이닝 이미지 I (50 vs 50) DB 사람수 영상수 총계
A2 40 15 600
B5 - - -
M1 317 5 1,585
M3 147 10 1,470
F4 - - -
총계 504 3,655
테스트 이미지I (50 vs 50) DB 사람수 영상수 총계
A2 40 15 600
B5 52 10 520
M1 318 5 1,590
M3 148 10 1,480
F4 - - 4,000
총계 558 8,190
한편, 검색의 정확도는 ANMRR(Average Normalized Modified Retrieval Rate)로 평가되었다. ANMRR은 두가지 기준을 동시에 평가하는데, 그 중 하나는 검출된 정확한 영상의 수이고, 다른 하나는 검색결과에서 이들 정확한 영상들이 차지하는 순위로서, ANMRR의 범위는 0에서부터 1까지이고, 작은 값일수록 우수한 정확도를 나타냄을 의미한다. ANMRR에 대하여 세부적인 사항은 B. S. Manjunath, Philippe Salembier 및 Thomas Sikora에 의한 『"Introuction to MPEG-7: Multimedia Content Description Interface," John Wiley & Sons Ltd., 2002』에 자세히 기재되어 있다.
실험에 있어서, 검색되는 데이터세트의 사이즈(N)는 표 1에 나타난 바와 같이 8,190이고, 반복매칭을 위한 버퍼 사이즈(M)는 60이다. 고속 소팅 알고리즘을 사용할 경우 반복매칭 적용시 증가된 탐색시간은 종래의 알고리즘에 비해 겨우 0.007배(=(60log60/8190log8190)×2)이다. 여기서, 2는 최상의 정확도에 해당하는 반복횟수를 나타낸다.
도 6a 및 도 6b는 상기한 실험조건에 따라서 본 발명에 의한 영상검색방법을 도 5에 도시된 얼굴검색시스템에서 실험한 결과, 검색의 정확도를 ANMRR로 표시한 그래프이다. 도 6a 및 도 6b에서 첫번째 검색은 반복매칭이 적용되지 않은 종래의 검색 알고리즘을 나타낸다. 도 6a는 각 검색횟수에 대하여 가중치 파라미터(w)의 값 즉, 0.7, 0.8, 0.9, 1에 따른 정확도를 나타낸 그래프로서, 가중치 파라미터와 상관없이 세번째 검색시 높은 정확도를 보여줌을 알 수 있다. 도 6b는 가중치 파라미터(w)의 값을 0.7, 0.8, 0.9, 1로 둔 경우 검색횟수에 따른 정확도를 나타낸 그래프로서, 가중치 파라미터를 0.8과 1로 둔 경우 높은 정확도를 보여줌을 알 수 있다. 즉, 가중치 파라미터가 0.8이고 검색횟수가 3 즉, 반복횟수가 2인 경우 가장 높은 정확도를 나타낸다. 결론적으로, 종래의 검색 알고리즘 즉, 첫번째 검색과 비교하면, 성능은 ANMRR로 나타낼 경우 0.3546에서 0.3378로 0.0168 향상되었음을 알 수 있다. 이는 1.7%에 달하는 더 많은 영상이 반복매칭에 의해 검색되어짐을 의미한다. 이와 같은 성능향상을 위해 버퍼 사이즈 60에 대한 검색 및 매칭에 소요되는 연산의 복잡도 등은 8,190이라는 전체 데이터베이스로부터 행해지는 첫번째 매칭과 비교할 때 무시할 수 있는 정도이다.
상술한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이 본 발명에 따르면, 사용자가 선택한 질의영상으로 검색한 유사영상 중 상위에 랭크된 M개의 유사영상을 선택하고, M개 유사영상에 대하여 최상위 랭크 유사영상을 이용하여 반복검색을 수행하여 M개의 유사영상에 대하여 매칭순위를 재정렬하여 출력함으로써, 매칭의 정확도를 대폭 향상시킬 수 있을 뿐 아니라 반복검색에 따른 검색엔진의 부하를 최소화시킬 수 있다.
도 1은 본 발명에 따른 영상 검색방법의 개념을 설명하기 위한 도면,
도 2는 본 발명에 따른 영상 검색방법의 일실시예를 설명하기 위한 흐름도,
도 3은 도 2에 도시된 260 단계의 세부적인 흐름도,
도 4는 본 발명에 따른 영상 검색장치의 일실시예의 구성을 나타낸 블럭도,
도 5는 본 발명에 따른 영상 검색방법의 성능을 평가하기 위하여 적용되는 얼굴검색시스템의 예, 및
도 6a 및 도 6b는 도 5에 도시된 얼굴검색시스템에서 실험한 결과, 검색의 정확도를 ANMRR로 표시한 그래프이다.

Claims (25)

  1. (a) 사용자가 선택한 질의영상과 영상 데이터베이스에 저장되어 있는 N개의 참조영상을 비교 검색하여 K개의 유사영상을 매칭순위대로 추출하는 단계;
    (b) 상기 K개의 유사영상으로부터 선택된 매칭순위가 상위인 M개의 유사영상에 대하여 소정의 반복횟수만큼 반복매칭을 수행하여 상기 M개의 유사영상에 대하여 매칭순위를 재정렬하는 단계; 및
    (c) 상기 (a) 단계에서 추출되는 상기 K개의 유사영상으로부터 상기 M개의 유사영상을 제외한 (K-M)개의 유사영상을 상기 (b) 단계에서 재정렬된 M개의 유사영상에 부가하여 출력하는 단계를 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  2. 삭제
  3. 제1 항에 있어서, 상기 (b) 단계는
    (b1) 상기 (a) 단계에서 추출되는 상기 K개의 유사영상으로부터 매칭순위가 상위인 M개의 유사영상을 저장하는 단계;
    (b2) 상기 M개의 유사영상중 최상위랭크 유사영상을 새로운 질의영상으로 채택하여 상기 최상위랭크 유사영상을 제외한 (M-1)개의 유사영상에 대하여 반복매칭을 수행하여 상기 최상위랭크 다음 순위의 유사영상을 결정하는 단계; 및
    (b3) 상기 설정된 반복횟수만큼 상기 (b2) 단계에서 새로운 질의영상과 검색범위를 변경한 다음 반복매칭을 수행하여 상기 M개의 유사영상들의 매칭순위를 재정렬하는 단계를 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  4. 제3 항에 있어서, 상기 (b) 단계는
    (b4) 상기 (a) 단계에서 추출되는 상기 K개의 유사영상으로부터 상기 M개의 유사영상을 제외한 (K-M)개의 유사영상을 저장하는 단계를 더 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  5. 제4 항에 있어서, 상기 (b) 단계는
    (b5) 상기 (b4) 단계에서 저장된 (K-M)개의 유사영상을 상기 (b3) 단계에서 재정렬된 M개의 유사영상에 부가하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  6. 제1 항, 제3 항 내지 제5 항중 어느 한 항에 있어서, 상기 (b) 단계는 반복매칭시 소정의 가중치 파라미터를 이용하여 매칭점수를 갱신시키는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  7. 제6 항에 있어서, 상기 가중치 파라미터는 반복횟수가 증가할수록 지수함수적으로 감소하는 값임을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  8. 제6 항에 있어서, 상기 매칭점수는 다음 수학식
    (여기서, i는 1 내지 M이고, s(n-1)(i)는 n회 반복매칭 수행시 재정렬된 각 유사영상(｛qi (n-1)｜i=1,...,M｝)에 대응하는 매칭점수, wn-1은 n회 반복매칭 수행시 적용된 가중치 파라미터, D(q(n-1),qi (n-1))는 n회 반복매칭 수행시 질의영상(q (n-1))와 재정렬된 유사영상들(qi (n-1)) 사이의 특징정보 거리의 절대값임)
    에 의해 갱신되어지는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  9. 제8 항에 있어서, 상기 가중치 파라미터(wn-1)은 (w1)n-1이고, w 1은 w임을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  10. 제1 항에 있어서, 상기 반복횟수는 사용자에 의해 설정되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  11. 제1 항에 있어서, 상기 반복횟수는 상기 M개의 유사영상에 대하여 기존 순위와 비교하여 순위가 변동되는 영상의 수에 따라 자동적으로 설정되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  12. 제1 항에 있어서, 상기 반복횟수는 i번째 매칭순위 이후의 순위변동여부에 따라 자동적으로 설정되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색방법.
  13. 제1 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 제3 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 사용자가 선택한 질의영상과 영상 데이터베이스에 저장되어 있는 N개의 참조영상을 비교 검색하여 K개의 유사영상을 매칭순위대로 추출하는 제1 검색부;
    상기 제1 검색부로부터 추출되는 K개의 유사영상으로부터 선택된 매칭순위가 상위인 M개의 유사영상에 대하여 소정의 반복횟수만큼 반복매칭을 수행하여 상기 M개의 유사영상에 대하여 매칭순위를 재정렬하는 제2 검색부; 및
    사용자가 선택한 질의영상 및 검색조건을 입력받아 상기 제1 검색부 및 제2 검색부로 제공하고, 상기 제2 검색부에서 재정렬된 유사영상들을 표시하는 사용자 인터페이스부를 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  16. 삭제
  17. 제15 항에 있어서, 상기 제2 검색부는
    상기 제1 검색부로부터 제공되는 K개의 유사영상 중 매칭순위가 상위인 M개의 유사영상을 저장하는 제1 저장부; 및
    상기 제1 저장부에 저장된 상기 M개의 유사영상에 대하여, 최상위랭크 유사영상을 새로운 질의영상으로 채택하여 상기 최상위랭크 유사영상을 제외한 유사영상들에 대하여 반복매칭을 수행하여 상기 M개의 유사영상들의 매칭순위를 재정렬하여 상기 제1 저장부에 저장하는 반복매칭부를 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  18. 제17 항에 있어서, 상기 반복매칭부는 매 반복매칭 수행시마다 새로운 질의영상과 검색범위가 변경되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  19. 제17 항에 있어서, M<K 인 경우, 상기 제1 저장부에서 저장된 M개의 유사영상을 제외한 (K-M)개의 유사영상을 저장하는 제2 저장부를 더 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  20. 제19 항에 있어서, 상기 제2 검색부는 상기 반복매칭부에 의해 매칭순위가 재정렬되어 상기 제1 저장부에 저장된 M개의 유사영상에 상기 제2 저장부에 저장된 (K-M)개의 유사영상을 부가하여 검색결과로서 출력하는 검색결과 조합부를 더 포함하는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  21. 제15 항에 있어서, 상기 제2 검색부는 반복매칭시 소정의 가중치 파라미터를 이용하여 매칭점수를 갱신시키는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  22. 제21 항에 있어서, 상기 가중치 파라미터는 반복횟수가 증가할수록 지수함수적으로 감소하는 값임을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  23. 제15 항에 있어서, 상기 반복횟수는 사용자에 의해 설정되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  24. 제15 항에 있어서, 상기 반복횟수는 상기 M개의 유사영상에 대하여 기존 순위와 비교하여 순위가 변동되는 영상의 수에 따라 자동적으로 설정되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
  25. 제15 항에 있어서, 상기 반복횟수는 i번째 매칭순위 이후의 순위변동여부에 따라 자동적으로 설정되는 것을 특징으로 하는 반복매칭을 이용한 영상 검색장치.
KR10-2003-0023715A 2002-10-14 2003-04-15 반복매칭을 이용한 영상 검색방법 및 장치 KR100519768B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/650,964 US7298931B2 (en) 2002-10-14 2003-08-29 Image retrieval method and apparatus using iterative matching
JP2003353899A JP4295062B2 (ja) 2002-10-14 2003-10-14 反復マッチングを利用した画像検索方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020062518 2002-10-14
KR1020020062518 2002-10-14

Publications (2)

Publication Number Publication Date
KR20040034337A KR20040034337A (ko) 2004-04-28
KR100519768B1 true KR100519768B1 (ko) 2005-10-07

Family

ID=37333671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0023715A KR100519768B1 (ko) 2002-10-14 2003-04-15 반복매칭을 이용한 영상 검색방법 및 장치

Country Status (1)

Country Link
KR (1) KR100519768B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210010770A (ko) 2019-07-19 2021-01-28 울산대학교 산학협력단 이미지의 특이 영역 분석 방법 및 장치
KR20210010769A (ko) 2019-07-19 2021-01-28 울산대학교 산학협력단 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200060035A (ko) * 2018-11-22 2020-05-29 황형중 Vr 영상 기반의 여행 가이드 매칭 서비스 제공 장치 및 그 방법
CN111782849B (zh) * 2019-11-27 2024-03-01 北京沃东天骏信息技术有限公司 图像检索方法和装置
KR102430029B1 (ko) * 2020-08-26 2022-08-05 엔에이치엔클라우드 주식회사 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210010770A (ko) 2019-07-19 2021-01-28 울산대학교 산학협력단 이미지의 특이 영역 분석 방법 및 장치
KR20210010769A (ko) 2019-07-19 2021-01-28 울산대학교 산학협력단 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치

Also Published As

Publication number Publication date
KR20040034337A (ko) 2004-04-28

Similar Documents

Publication Publication Date Title
US7298931B2 (en) Image retrieval method and apparatus using iterative matching
JP4540970B2 (ja) 情報検索装置及びその方法
KR101472452B1 (ko) 멀티미디어 데이터 검색 방법, 장치 및 패턴인식 방법
US8452794B2 (en) Visual and textual query suggestion
US6285995B1 (en) Image retrieval system using a query image
US7493340B2 (en) Image retrieval based on relevance feedback
JP3053003B2 (ja) データベース検索方法
US6522782B2 (en) Image and text searching techniques
US20060095852A1 (en) Information storage and retrieval
US20040107221A1 (en) Information storage and retrieval
KR20010031345A (ko) 인덱싱 및 검색을 위한 다차원 데이터 클러스터링 및 차원축소
JPWO2014050002A1 (ja) クエリ類似度評価システム、評価方法、及びプログラム
US7668853B2 (en) Information storage and retrieval
US6522780B1 (en) Indexing of images and/or text
KR100519768B1 (ko) 반복매칭을 이용한 영상 검색방법 및 장치
KR100761417B1 (ko) 벡터 표현으로 변형된 도미넌트 컬러 기술자를 사용한멀티미디어 데이터베이스의 인덱싱 및 검색 방법
CN112199461B (zh) 基于块索引结构的文档检索方法、装置、介质和设备
Liu et al. Fast video segment retrieval by Sort-Merge feature selection, boundary refinement, and lazy evaluation
Volmer Fast approximate nearest-neighbor queries in metric feature spaces by buoy indexing
JP2000200285A (ja) 情報検索方法、情報検索装置及び情報検索プログラムを記録した記録媒体
JP2001052024A (ja) 類似特徴量の検索方法及び装置及び類似特徴量の検索プログラムを格納した記憶媒体
Al Qaraleh Elimination of repeated occurrences in image search engines
Boldareva et al. Interactive retrieval of video using pre-computed shot-shot similarities
Papadakis et al. Retrieving, adapting and delivering multimedia content using a mobile agent architecture
Kim et al. A Recursive Matching Method for Content-based Image Retrieval

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120905

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee