KR100422710B1

KR100422710B1 - 다중 가중치 구조를 사용한 멀티미디어 검색 방법

Info

Publication number: KR100422710B1
Application number: KR10-2000-0070689A
Authority: KR
Inventors: 이진수; 김현준
Original assignee: 엘지전자 주식회사
Priority date: 2000-11-25
Filing date: 2000-11-25
Publication date: 2004-03-12
Also published as: CN1356651A; EP1209585A3; US20050262133A1; JP4209104B2; US20020087528A1; BR0106045A; JP2002202993A; EP1209585A2; KR20020040976A

Abstract

본 발명은 복수개의 특징정보를 사용하여 멀티미디어를 검색함에 있어서, 사용자가 원하는 형태의 질의에 따라 그 질의에 적합한 최적의 가중치 정보를 자동으로 선택 및 사용하여 멀티미디어 검색을 함으로써, 보다 높은 검색 성능을 얻기 위한 멀티미디어 검색 및 가중치 학습 방법에 관한 것이다.

본 발명은, 복수개의 특징정보를 사용하는 멀티미디어 검색 시스템에서, 질의에 사용되는 특징정보의 조합에 따라 다른 특징정보의 가중치를 학습하여 멀티미디어 특징정보로 포함한다. 또한 본 발명은 질의의 관점에 따라 다른 검색 결과를 나타내기 위하여, 각각의 질의 관점에 따른 특징정보의 가중치를 학습하여 멀티미디어 특징정보로 포함한다. 본 발명에서는 멀티미디어 검색시에 상기 질의에 사용되는 특징정보의 조합이나, 질의의 관점을 판단하여 이에 해당하는 가중치를 선택하여 멀티미디어 검색을 수행하는 것을 특징으로 하는 다중 가중치 구조를 사용한 멀티미디어 검색 및 가중치 학습 방법이다.

Description

다중 가중치 구조를 사용한 멀티미디어 검색 방법{MULTIMEDIA QUERY AND RETRIEVAL SYSTEM USING MULTI-WEIGHTED FEATURE}

더욱 상세하게는 본 발명은 복수개의 특징정보를 사용하여 멀티미디어를 검색함에 있어서, 질의에 사용되는 특징정보의 조합에 따라 다른 특징정보 가중치를 학습하여 멀티미디어 특징정보로 포함하고, 멀티미디어 검색 시에 질의에 사용되는 특징정보의 조합에 따라 해당하는 가중치를 자동으로 선택 및 사용하여 멀티미디어를 검색함으로써 보다 높은 검색성능을 얻을 수 있도록 한 멀티미디어 검색 및 가중치 학습 방법에 관한 것이다.

또한 본 발명은 복수개의 특징정보를 사용하여 멀티미디어를 검색함에 있어서, 질의의 관점에 따라 다른 검색 결과를 나타내기 위해, 각 질의 관점에 따라 다른 특징정보 가중치를 학습하여 멀티미디어 정보로 포함하고, 멀티미디어 검색 시에 사용자의 질의 관점을 판단하여 이에 해당하는 상기 가중치를 선택하여 멀티미디어를 검색함으로써 보다 높은 검색성능을 얻을 수 있도록 한 멀티미디어 검색 및 가중치 학습 방법에 관한 것이다.

이미지 검색 등 멀티미디어 검색에서는 주로 칼라(color), 텍스쳐(texture), 모양(shape)정보 등이 혼용되어 사용된다. 하지만 각 멀티미디어 데이터 마다 해당데이터를 가장 잘 검색할 수 있는 특징정보가 다르기 때문에, 멀티미디어 검색을 위하여 사용자가 특정한 질의를 행할 때 그 데이터를 검색하는데 필요한 특징정보에 대한 중요도 정보를 이용하면 더 높은 성능을 기대할 수 있다.

종래의 멀티미디어 검색기술 중에는 멀티미디어 검색을 할 때마다 사용자로부터 각 특징정보를 얼마만큼 검색에 이용할 것인지를 지정할 수 있는 사용자 인터페이스를 이용하여 멀티미디어 검색에 응용하는 기술이 있다.

예를 들어 칼라는 50%, 텍스쳐 30% 등으로 각각의 특징정보에 대한 중요도를 사용자가 지정하면, 각 특징소의 비중을 달리하여 검색에 이용할 수 있다.

한편, 종래의 멀티미디어 검색기술 중에는 멀티미디어 검색을 위한 사용자 질의가 있을 때마다 사용자가 찾고자 하는 이미지와 비슷한 이미지에 대한 피드백 정보를 줌으로써 이러한 특징소에 대한 가중치를 자동으로 계산하여 검색에 사용하는 기술도 제안되고 있다. 그러나 이 방법은 매번 질의가 이루어질 때마다 사용자가 피드백을 주어야 가중치를 적용할 수 있다는 단점이 있다.

한편, 최근에는 MPEG-7 등, 검색에 필요한 데이터를 표준화하려는 시도가 행해지고 있다. 따라서 특징정보에 대한 가중치 정보도 표준화된 데이터 정보로서 멀티미디어 데이터에 포함될 수 있다. 특징정보에 대한 가중치 정보가 표준화된 데이터 정보로서 멀티미디어 데이터에 포함될 경우 각 데이터의 가중치 정보는 매번 질의가 이루어질 때마다 사용자의 요구와 상관없이 응용되어 높은 검색 성능을 가능하게 할 수 있다.

이렇게 표준화된 데이터에서는 가능한 응용 범위 안에서 필요한 모든 유형의특징정보를 규정하고 있기 때문에 매우 많은 특징정보를 규정하고 있지만, 각 응용에 따라서 상기 특징정보들 중에서 실제로 질의 및 검색에 사용되어질 특징정보는 그 중의 일부만 해당될 수 있다.

예를 들어 비디오 세그먼트를 묘사하기 위한 특징정보는 텍스트 정보와 같이 다양한 의미 정보들도 포함하고, 칼라 히스토그램과 같은 로우 레벨(low-level)의 특징정보들도 포함하게 된다. 로우 레벨(low-level)의 특징정보 중에는 멀티미디어가 비디오라는 특성 때문에 모션(motion) 정보 등이 기술될 것이고, 또한 정지 영상들의 집합이 비디오 영상이라는 점에서 정지 영상의 특징정보라고 할 수 있는 칼라, 텍스쳐, 모양 정보 등이 포함될 것이다. 만일 멀티미디어 검색이 비디오 세그먼트와 세그먼트간의 비교를 행하는 응용일 경우라면 모션 정보와 칼라, 텍스쳐, 모양 정보 등이 모두 사용될 수 있다. 그렇지만 멀티미디어 검색이 비디오 세그먼트와 정지영상의 비교 검색일 경우라면 정지영상에서는 필요하지 않은(없는)모션 정보는 사용되지 않을 것이다.

이와 같이 멀티미디어 검색이 각 응용에 따라 포함하고 있는 특징정보들 중에서 실제로 사용하는 특징정보들은 다를 수 있는데, 이 경우 특징소간 상대적인 가중치는 변경될 수 있다.

다음 예를 살펴보자. 비디오 세그먼트가 포함하고 있는 특징정보가 칼라 히스토그램(color hostogram), 대표 칼라 정보, 텍스쳐 히스토그램일 때, 응용1(Application 1)에서는 이들 3개의 특징정보를 모두 사용하고, 응용2에서는 칼라 히스토그램과 텍스쳐 히스토그램만을 사용한다고 가정하자. 만일 응용1에서 3개의 특징정보(칼라 히스토그램, 대표 칼라 정보, 텍스쳐 히스토그램)를 모두 사용할 때 특정 멀티미디어 데이터의 가중치가 각각의 특징정보에 대해서 0.5, 0.3, 0.2라고 가정하면, 응용2에서는 같은 데이터에 대해, 칼라 히스토그램은 사용하지 않으므로 나머지 2개의 특징정보인 대표 칼라 정보와 텍스쳐 히스토그램의 상대적 가중치 0.3, 0.2를 2개의 특징정보(대표 칼라 정보와 텍스쳐 히스토그램)에 대하여 환산하여 각각 0.6, 0.4로 지정한 후 사용할 수 있을 것이다.

그렇지만 실제로 이러한 방법은 잘 적용되지 않는다. 왜냐하면 비디오 세그먼트가 포함하고 있는 모든 특징정보가 서로 전혀 관계가 없는 독립적인 관계 (Orthogonal)라면 위의 방법이 적용될 수 있으나 실제로는 그렇지 않기 때문이다.

즉, 위의 예에서 칼라 히스토그램과 대표 칼라 정보는 모두 칼라와 관계된 정보로서 텍스쳐 히스토그램보다는 서로 밀접한 관계를 갖고 있다. 따라서 3개의 특징정보(칼라 히스토그램, 대표 칼라 정보, 텍스쳐 히스토그램)를 모두 사용할 경우, 칼라에 관련된 정보가 2개(칼라 히스토그램, 대표 칼라 정보)이고 텍스쳐 정보가 1개이므로, 결국 3개의 특징정보를 모두 사용할 경우(응용1)가 그렇지 않은 응용2에서 보다 실제로는 칼라 정보를 더 많이 사용하는 효과가 있다.

즉, 앞에서 설명한 예의 경우 3개의 특징정보 각각의 가중치를 0.5, 0.3, 0.2라고 했을 때, 이 3개의 특징정보를 모두 사용한다는 것은 실제로 칼라 관련 정보(2개)와 텍스쳐 관련 정보(1개)를 각각 0.8, 0.2(칼라, 텍스쳐)의 비율로 사용하는 것과 유사하다. 그러므로 대표 칼라 정보와 텍스쳐 히스토그램을 응용2에서와 같이 0.6:0.4의 중요도로 조합하여 사용했을 경우에는 오히려 3개 정보를 모두 사용하는 경우(칼라:텍스쳐=0.8:0.2) 보다 칼라 정보를 덜 사용하는 것이 된다. 이러한 이유로 2개의 특징정보-대표 칼라 정보 및 텍스쳐 히스토그램만을 사용했을 경우 대표 칼라 정보의 중요도가 3개 정보를 모두 사용했을 때보다 좀 더 증가할 수 있다.

이와같이 복수개의 특징정보를 조합하여 사용할 경우에는, 각 특징정보들의 조합에 따라 서로 다른 비율의 최적화된 가중치 값이 적용될 수 있다. 따라서, 서로 다른 특징 조합을 사용하는 응용이 가능한 멀티미디어 데이터의 가중치 정보는 각 가능한 특징 조합에 따라 적합한 가중치 정보를 따로 가지고 있어야 보다 높은 성능의 검색 결과를 기대할 수 있다.

앞의 예에 적용하여 본다면, 칼라 히스토그램과 대표 칼라 정보 및 텍스쳐 히스토그램 중에서 대표 칼라 정보와 텍스쳐 히스토그램의 조합으로 멀티미디어 검색을 행한다고 할 때에는 특징조합의 가중치를 칼라와 텍스쳐라는 관점에서 보고 0.8:0.2, 또는 0.7:0.3 등과 같이 칼라정보의 가중치가 상대적으로 충분하게 더 높게 두는 방법으로, 특징정보의 조합에 따라 적합한 가중치 정보를 가지고 있어야 보다 높은 성능을 기대할 수 있는 것이다.

한편, 같은 멀티미디어 데이터라고 해도 검색을 할때 질의의 의도에 따라 원하는 검색 결과가 달라질 수 있다. 예를 들어, 바다 풍경에 배가 보이는 이미지를 질의 이미지로 하여 검색을 행할 경우, 이 질의의 의도가 배가 포함된 이미지를 찾는 질의일 수도 있고, 혹은 바다 풍경이 보이는 이미지를 찾는 질의일 수도 있다.

따라서, 질의 의도가 배가 포함된 이미지를 찾는 것일 경우에는 바다 풍경이없는 이미지들 중에서도 배가 들어 있는 이미지를 찾아서 검색 결과로 내놓을 것이고, 질의 의도가 바다 풍경이 보이는 이미지를 찾는 것일 경우에는 배가 없는 이미지들 중에서도 바다 풍경이 들어있는 이미지를 찾아서 검색 결과로 내놓을 것이며, 또는 이 두가지 조합의 경우도 가능할 것이다.

이와 같이 같은 데이터를 특정한 질의 조건으로 하여 검색할 경우, 그 질의의 종류(의도, 관점)에 따라 원하는 결과가 달라질 수 있는데, 이때 이러한 질의 관점을 서로 다른 가중치로 표현함으로써 원하는 결과를 찾을 수 있다. 따라서 멀티미디어 데이터는 이와 같이 검색 질의에 적합한 검색 결과를 가져올 수 있는 복수개의 가중치 구조를 포함하고 있어야 하며, 검색시 사용자가 원하는 질의를 파악하여 그 질의 관점에 적합한 가중치를 자동으로 선택할 수 있는 방법과, 그러한 복수개의 가중치 값을 추출할 수 있는 방법이 제공되어야 한다.

본 발명은 멀티미디어 검색을 위하여 멀티미디어 데이터의 특징을 묘사하는 정보로 복수개의 다중 가중치를 기술하고, 상기 다중 가중치 정보를 이용해서 서로 다른 특징 조합에 따라 적합한 가중치 정보를 선택 및 사용하여 최적 성능의 멀티미디어 검색이 이루어질 수 있도록 한 멀티미디어 검색 및 가중치 학습 방법을 제안한다.

또한 본 발명은 멀티미디어 검색을 위하여 멀티미디어 데이터의 특징을 묘사하는 정보로 복수개의 다중 가중치를 기술하고, 상기 다중 가중치 정보를 이용해서 질의 관점에 따라 적합한 가중치 정보를 선택 및 사용하여 최적 성능의 멀티미디어검색이 이루어질 수 있도록 한 멀티미디어 검색 및 가중치 학습 방법을 제안한다.

특히 본 발명은 앞서 기술한 서로 다른 특징 조합과 질의 관점에 따른 두 가지 관점에서의 다중 가중치의 필요성을 만족시키기 위해 멀티미디어 데이터의 특징 묘사 정보로서 복수개의 다중 가중치를 기술하고, 이 다중 가중치 정보를 응용에서 어떠한 방법으로 사용할 수 있는지에 대한 응용 방법을 제안하며, 또한 두 가지 관점의 다중 가중치를 각각 추출하는 추출 방법을 제안한다.

도1은 본 발명의 특징 조합에 따른 가중치 학습방법에서 가중치 추출 알고리즘을 나타낸 플로우차트

도2는 본 발명에 적용된 신뢰도를 구하기 위해 수정된 시그모이드 함수를 표현한 도면

도3은 본 발명에서 특징 조합에 따라 다르게 학습된 다중 가중치를 선택하여 응용하는 예를 설명하기 위한 도면

도4는 본 발명에서 질의 객체 및 응답 결과의 디스플레이 예를 나타낸 도면

도5는 본 발명에서 질의 관점에 따른 가중치 추출 알고리즘을 나타낸 플로우차트

도6은 본 발명에서 질의 관점 묘사정보를 포함하는 가중치 구조를 나타낸 도면

도7은 본 발명에서 질의 이미지의 예와 질의 관점의 예를 나타낸 도면

도8은 본 발명에서 특징 조합에 대한 정보를 포함하는 가중치 구조를 나타낸 도면

본 발명은, 복수개의 특징정보를 사용하는 멀티미디어 검색 시스템에서, 질의에 사용되는 특징정보의 조합에 따라 다른 특징정보의 가중치를 학습하여 멀티미디어 특징정보로 포함하는 단계와, 멀티미디어 검색시에 상기 질의에 사용되는 특징정보의 조합에 따라 해당하는 가중치를 선택하여 멀티미디어를 검색하는 단계;로 이루어지는 것을 특징으로 하는 다중 가중치 구조를 사용한 멀티미디어 검색 및 가중치 학습 방법이다.

또한 본 발명은, 복수개의 특징정보를 사용하는 멀티미디어 검색 시스템에서 질의의 관점에 따라 다른 검색 결과를 나타내기 위하여, 각각의 질의 관점에 따른 특징정보의 가중치를 학습하여 멀티미디어 특징정보로 포함하는 단계와, 멀티미디어 검색시에 질의의 관점을 판단하여 이에 해당하는 상기 가중치를 선택하여 멀티미디어를 검색하는 단계;로 이루어지는 것을 특징으로 하는 다중 가중치 구조를 사용한 멀티미디어 검색 및 가중치 학습 방법이다.

상기한 바와같이 이루어지는 본 발명의 멀티미디어 검색 및 가중치 학습 방법의 이해를 돕기 위하여 본 발명을 (1). 특징 조합에 따른 다중 가중치의 학습방법, (2). 특징 조합에 따른 다중 가중치의 응용방법, (3). 질의 관점에 따른 다중 가중치 학습방법, (4). 질의 관점에 따른 다중 가중치의 응용방법으로 각각 나누어 설명한다.

(1). 특징 조합에 따른 다중 가중치 학습 방법.

멀티미디어 검색을 위한 전체 특징정보가 셋(Set) A = [C1, C2, C3,...,CN]이라고 가정하고, 현재 특징 조합에 사용되는 특징정보는 셋(Set) B = [Ci1, Ci2, Ci3,...,CM] ⊆ Set A라고 가정하자. 이 때 Set B를 위한 가중치를 추출하는 알고리즘을 이미지 검색을 예로 들어서 설명하면 도1과 같다.

먼저 Set B에 속한 특징정보들[Ci1, Ci2, Ci3,...,CM]을 모두 같은 중요도로 세팅한 후 유사도를 측정하여 정렬한다(단계 101).

그 다음 단계 102는 정렬된 검색 결과에서 오류를 검색하여 오류의 갯수를 E로 설정하는 단계이다. 이때 오류란 정답 이미지의 수가 K라고 했을 때, 정답 이미지이면서도 상위 순위 K번째보다 하위에 랭크(rank)된 이미지를 의미하며, 이러한 이미지의 수를 E로 세팅한다.

정답 이미지에 대한 정보는 두 가지 방법에 의해 구해질 수 있는데, 첫번째 방법은 단계 101에서 구해진 1차 검색 결과에서 정답 이미지에 대한 정보를 사용자가 피드백 주는 방법이고, 두번째 방법은 사전에 데이터베이스에서 같은 클래스(class)에 속한 이미지들 끼리 사전에 그룹(group)화함으로써, 정답에 대한 정보를 사전에 표본집단을 사용하여 구하는 방법이 있다.

단계 103은 오류 E(또는 E/k : E는 오류 이미지 수 기준, E/k는 정확도 측면에서의 오류 정도, 즉 퍼센트(%) 기준)가 특정 임계치 Th1 이하이면 완료하고 그렇지 않으면 단계 104로 이동하는 단계이고, 단계 104는 오류 E를 이용하여 피드백으로 사용할 이미지의 수(n = 2 ×E)를 결정하는 단계이다.

단계 105는 결정된 피드백 이미지 수(n)만큼 상기 기술한 방법으로 피드백을 주는 단계이고, 단계 106은 주어진 피드백을 사용하여 각 특징소의 가중치를 갱신하는 단계이다.

단계 107은 갱신된 가중치를 사용하여 다시 이미지를 검색하여 정렬하는 단계이고, 단계 108은 검색 결과 리스트에서 나타난 오류를 검색하여 이를 E'로 설정하고, 단계 109는 오류 E'(또는 E'/k)가 특정 임계치 Th1 이하이면 완료하고 그렇지 않으면 단계 110으로 이동하는 단계이다.

단계 110은 오류의 감소 정도가 특정 임계치 이상인지 검사하는 단계이다. 즉, E-E' 가 특정 임계치(Th2) 이상이면(또는 E ×Th2' > E 이면) 다음 단계에서의 피드백 이미지 수(n)를 현재의 오류 E'를 이용하여 피드백으로 사용할 이미지의 수 n = E' ×2로 결정하고(단계 111), 그렇지 않으면 피드백으로 사용할 이미지의 수를 종전의 피드백 수보다 작은 수(n = n ×b, 0 < b < 1)로 결정한다(단계 112). 이때 피드백으로 사용할 이미지의 수가 최소값 (본 발명에서는 2 : 유사이미지 1 + 비유사 이미지 1) 보다 작게 될 경우 피드백 이미지 수는 2로 설정한다.

단계 113은 현재의 오류 E'를 다시 E로 설정하고 단계 105로 이동한다.

이와같이 하여 특징 조합에 따른 가중치 즉, Set B를 위한 가중치를 추출하였으며, 상기 가중치 추출방법에서 단계 106에서는 피드백된 이미지를 사용하여 가중치를 갱신하고 있는데, 이 때 가중치를 갱신하는 방법은 다음과 같다.

즉, 갱신될 새 가중치(New-W)를 구하는데,

New-W = (Reliability ×Old_W + Cur_W)/(Reliability + 1) 로 구한다.

여기서, Cur_W는 현재 주어진 피드백으로 계산된 상대적 가중치값이고, Old_W는 현재 갱신되기 전의 가중치값이며, Reliability는 현재 가중치의 신뢰도값이다.

물론 상기 신뢰도(Reliablity)는 그 가중치값이 얼마나 신뢰적인지를 나타내는 값(R)으로서 갱신된 새 신뢰도(new_R)(new Reliability to be updated)를 다음과 같이 구할 수 있다.

new_R = old_R(1 + Increase R) + a

Increase R = f(#feedback) ×(Precision(t) - Precision(t-1))

여기서, #feedback은 한번에 주어진 피드백의 수(the number of feedback in one stage)이고, old_R은 이전의 신뢰도(previous Reliability) 이다.

그리고, f(#feedback)은 피드백 수가 적을 때에는 0 근처 값을 리턴(return)하고 클수록 증가분을 리턴하는 함수로서, 이 함수의 모양은 도2에 나타난 것과 동일하고 시그모이드(sigmoid) 함수를 수정하여 사용할 수 있다.

앞에서 설명한 바와같이 현재 주어진 피드백으로 계산된 상대적 가중치 값(Cur_W)은 다음과 같이 계산되어질 수 있다.

피드백 이미지를 FI(FI: Feedback Image), 참조 이미지를 RI(RI: ReferenceImage)라고 했을 때, FI가 유사하다고 피드백을 준 이미지(relevant image)이면 Cur_W = αSim(RI,FI), FI가 유사하지 않다고 피드백을 준 이미지(irrelevant image)이면 Cur_W = αDist(RI,FI) 로 계산될 수 있다.

여기서, W는 타입 웨이트(Wk: type weight)나, 요소 웨이트(We: element weight), 또는 위치 웨이트(Wp: position weight)이고, α는 Wk,We,Wp에 대한 정규화 계수(normalize coefficient)이다.

그리고, Sim(FI,RI)는 특징소 k, e, p를 사용한 경우의 참조 이미지(RI)와 피드백 이미지(FI) 사이의 유사도이며, Dist(FI,RI)는 특징소 k, e, p를 사용한 경우의 참조 이미지(RI)와 피드백 이미지(FI) 사이의 비유사도 이다.

이와 같은 방법으로 Set B의 특징 조합으로 검색할 경우 해당 이미지의 가중치를 학습할 수 있다. 마찬가지로 또 다른 특징 조합 Set C가 존재한다면 그에 맞는 가중치를 Set C에 속한 특징정보를 사용하여 검색 및 학습함으로써 추출할 수 있다. 이 때 각 특징정보에 대한 가중치의 차원 수(dimension)은 Set의 요소 수가 된다.

(2). 특징 조합에 따른 다중 가중치의 응용 방법.

앞에서 설명한 것처럼, 각 특징 조합에 따라 다르게 학습된 다중 가중치를 선택하여 응용하는 예가 다음과 같이 가능하다.

먼저 도3과 같은 사용자 인터페이스를 이용해서 사용자가 멀티미디어를 검색할 때에 사용할 특징정보를 선택할 수 있다. 도3의 예에서는 5개의 특징정보(칼라 히스토그램, 텍스쳐 히스토그램, 지역 대표 칼라, 모션 히스토그램, 모양정보) 중에서, 칼라 히스토그램, 지역 대표 칼라, 모션 히스토그램을 선택한 예를 보여주고 있다.

사용자가 도3과 같은 사용자 인터페이스를 이용해서 멀티미디어 검색에 사용될 특징정보들을 선택하면, 선택된 특징정보들의 조합에 따라 상기 도1에서 설명한 방법으로 추출된 가중치를 자동으로 선택하여 검색에 사용한다.

이 때 존재하는 다수의 가중치 중에서 선택된 특징정보들 만으로 학습한 가중치를 선택하는 방법은 다음과 같은 방법을 사용할 수 있다.

가중치 구조에는 각 가중치 값과 가중치가 어떤 특징소의 가중치를 나타내는지에 대한 정보가 포함되어 있다. 이 정보로 현재의 가중치가 어떠한 특징소의 가중치를 포함하는지 알 수 있으므로, 포함된 가중치 값들이 나타내는 특징소들이 선택된 특징소들과 일치하는 가중치를 선택하면 된다.

다중의 가중치를 선택하는 또 다른 방법은 사용자가 초기 검색 결과 중에서 실제로 찾고자 하는 객체와 유사한 객체를 선택함으로써 이루어질 수 있다. 선택된 유사 객체를, 상기 특징조합에 따라 학습되어 존재하는 다수개의 가중치 각각을 사용하여 유사도를 측정했을 때 그 중에서 가장 높은 유사도 값으로 결과를 출력하는 가중치를 선택하면 된다.

만일 멀티미디어 객체가 이미 유사한 동일 클래스에 속하는 객체들의 예(example)에 대한 정보가 포함되어 있을 경우, 검색 시스템은 도4와 같이 질의 객체(여기서는 이미지)에 대한 동일 클래스 객체를 디스플레이 해주고 사용자로 하여금 찾고자 하는 객체를 선택하게 할 수 있다. 즉, 질의 이미지에 대해서 동일 클래스 이미지를 유사 이미지라고 디스플레이 해주고, 사용자가 그 중에서 찾고자 하는 이미지를 선택하게 할 수 있다. 도4에서 굵은 사각형으로 표시된 유사 이미지는 사용자가 유사 이미지로 선택한 객체이다. 객체가 선택된 후에는 앞에서 설명한 바와 같이, 상기 특징조합에 따라 학습하여 존재하는 다수개의 가중치 각각을 사용하여 상기 사용자가 유사 이미지로 선택한 이미지들과 질의 이미지의 유사도를 측정한 후, 그 중에서 가장 높은 유사도 값으로 결과를 출력하는 가중치를 선택한다.

한편, 질의 종류를 미리 정하고 그 종류에 따라 가중치를 선택할 수도 있다.

예를 들어 비디오와 비디오 검색, 비디오와 정지영상의 검색 등, 질의의 종류를 몇가지로 나누어 생각할 수 있으므로, 각 경우마다 사용되는 특징정보들을 정하고 해당하는 가중치를 지정함으로써, 사용자의 질의 종류가 판단되면 해당하는 가중치를 선택할 수 있다. 사용자의 질의 종류는 질의 객체를 결정하고 검색 대상을 결정하면 결정될 수 있다. 예를 들어 질의 종류가 비디오 세그먼트이고, 검색 대상이 이미지 데이터 베이스일 경우 비디오와 정지영상의 검색이 된다.

(3). 질의 관점에 따른 다중 가중치 학습 방법.

특정한 질의 관점에 따른 가중치를 추출하는 알고리즘을 이미지 검색을 예로 하여 설명하면 도5와 같다.

먼저, 포함하고 있는 특징정보들을 모두 같은 중요도로 세팅한 후 유사도를 측정하여 정렬한다(단계 500). 다음 단계 501은 초기 검색 결과에서 현재의 질의 관점에 맞는 유사 이미지에 대한 피드백을 사용자가 주는 단계이다. 차후 단계에서는 본 단계에서 피드백된 유사 이미지를 정답이라고 보고 학습을 수행하게 된다.

단계 500 및 단계 501에서는 초기 검색 결과로부터 사용자 피드백에 의해 특정 질의 관점에 맞는 정답에 대한 정보를 구하였는데, 만일 각 객체마다 같은 클래스에 속하는 이미지 예에 대한 정보가 포함되었을 경우에는 단계 500의 초기 검색 대신, 같은 클래스에 속하는 이미지 예를 디스플레이하는 과정을 수행한 후, 그 디스플레이된 이미지 중에서 사용자가 유사 이미지를 선택할 수도 있다.

이후의 단계 502 부터는, 상기 도1에서의 단계 102 부터와 동일하다.

즉, 정렬된 검색 결과에서 오류를 검색하여 오류의 갯수를 E로 설정하고(단계 502), 오류 E(또는 E/k)가 특정 임계치 Th1 이하이면 완료하고 그렇지 않으면 단계 504로 이동하여 상기 오류 E를 이용하여 피드백으로 사용할 이미지의 수(n = 2 ×E)를 결정하고(단계 503, 단계 504), 결정된 피드백 이미지 수(n)만큼 상기 기술한 방법으로 피드백을 준다(단계 505).

그리고, 주어진 피드백을 사용하여 각 특징소의 가중치를 갱신하고(단계 506), 갱신된 가중치를 사용하여 다시 이미지를 검색하여 정렬하고(단계 507), 검색 결과 리스트에서 나타난 오류를 검색하여 이를 E'로 설정하고(단계 508), 오류 E'(또는 E'/k)가 특정 임계치 Th1 이하이면 완료하고 그렇지 않으면 단계 510으로 이동한다(단계 509).

오류의 감소 정도가 특정 임계치 이상인지 검사하는 단계 510의 검사 결과에 따라 피드백 이미지 수(n)를 현재의 오류 E'를 이용하여 피드백으로 사용할 이미지의 수 n = E' ×2로 결정하거나(단계 511), 그렇지 않으면 단계 512로 가서 피드백으로 사용할 이미지의 수를 종전의 피드백 수보다 작은 수(n = n ×b, 0 < b < 1)로 결정한 다음, 현재의 오류 E'를 다시 E로 설정하고 단계 505로 이동한다(단계 513).

(4). 질의 관점에 따른 다중 가중치의 응용 방법.

상기한 바와같이 각각의 질의 관점에 따라 다르게 학습된 다중 가중치를 선택하여 응용하는 예가 다음과 같이 가능하다.

먼저, 사용자가 초기 검색 결과 중에서 실제로 찾고자 하는 객체와 유사한 객체를 선택함으로써 이루어질 수 있다. 선택된 유사 객체에 대해서, 존재하는 다수개의 가중치 각각을 사용하여 유사도를 측정 했을 때 그 중에서 가장 높은 유사도 값으로 결과를 출력하는 가중치를 질의 관점에 맞는 가중치라고 선택하면 된다.

만일 멀티미디어 객체가 이미 유사한 동일 클래스에 속하는 객체들의 예에 대한 정보가 포함되어 있을 경우, 검색 시스템은 상기 기술한 도4와 같이 질의 객체에 대한 동일 클래스 객체를 디스플레이 해주고 사용자로 하여금 찾고자 하는 객체를 선택하게 할 수 있다. 객체가 선택된 후에는 앞에서 설명한 것처럼, 존재하는 다수개의 가중치 각각을 사용하여 유사도 측정을 한 후 그 중에서 가장 높은 유사도 값으로 결과를 출력하는 가중치를 해당 질의 관점에 맞는 가중치라고 선택한다.

도6은 질의 관점 묘사 정보를 포함하는 가중치 구조의 예를 보여준다.

도6에서 가중치 묘사정보(Weight Scheme)(600)는 가중치(Weights)(601)를 기술하는 묘사자 ID(Descriptor ID)(602)와 해당 가중치값(Weight Value)(603), 그리고 질의 관점 묘사 정보(604)로 이루어지고 있다.

도6과 같이 가중치 구조 내에 해당하는 질의 관점이 텍스트로 묘사되어 있을경우, 이 것을 이용할 수 있다. 즉, 존재하는 가중치들의 질의 관점(텍스트로 묘사된 질의 관점)들을 도7과 같이 나열하고 이 중에서 사용자가 질의 관점을 선택할 수 있도록 하는 것이다. 도7에서는 집이 포함된 풍경 이미지(a)를 예로 하여 기술하고 있으며 이 때, 질의 관점(b)은 집과 푸른 하늘, 들판 등이 가능할 것이다.

한편, 도8은 특징 조합에 대한 정보를 포함하는 가중치 구조를 보여주고 있다. 도8에서 가중치 묘사정보(Weight Scheme)(800)는 가중치(Weights)(801)를 기술하는 묘사자 ID(Descriptor ID)(802)와 해당 가중치값(Weight Value)(803), 그리고 관련 특징 정보 ID의 리스트(804)로 이루어지고 있다.

이와같이 특징 조합에 대한 정보를 포함하는 가중치 구조를 이용하면 이 정보를 바로 사용해서 보다 손쉽게 가중치를 선택할 수 있다.

지금까지 특징 조합에 따른 다중 가중치 구조와 질의 관점에 따른 다중 가중치 구조에 대해 설명하였다. 앞에서 설명하였듯이 특징 조합에 따른 다중 가중치 구조나 질의 관점에 따른 다중 가중치 구조를 사용할 경우, 각 가중치 구조에 특징 조합이나 질의 관점 자체에 대한 정보가 없더라도 자동으로 해당 가중치를 선택하여 사용할 수 있다.

그렇지만 도8과 같이 각 가중치 구조에 현재 그 가중치가 사용하는 특징 조합에 대한 정보가 포함되어 있거나 도6과 같이 각 가중치 구조에 질의 관점이 묘사되어 있을 경우 이 정보를 바로 사용하여 보다 손쉽게 가중치를 선택할 수도 있다.

이 경우에는 보다 손쉬운 응용이 가능한 반면 추가적인 정보가 필요하므로 정보의 크기 측면에서는 단점으로 작용할 수 있다.

본 발명은 멀티미디어 검색에 있어서, 다양한 형태의 응용에 맞는 최적의 특징정보 가중치를 각 객체마다 제공함으로써, 매우 높은 검색 성능을 가능하게 한다. 또한 같은 객체라도 사용자마다 다른 관점에서 검색을 행할 수 있는데, 이때 각 질의 관점에 맞는 최적의 가중치를 추출하고, 선택하여 사용함으로써, 사용자 중심적인 최적의 검색이 가능하도록 한다.

Claims

복수개의 특징정보를 사용하여 멀티미디어 객체를 검색하기 위하여, 상기 복수개의 특징정보 중에서 질의에 사용되는 특징정보의 조합에 따르는 특징정보 가중치를 학습하여 멀티미디어 특징정보로 포함하는 단계와, 멀티미디어 검색 시에 질의에 사용되는 특징정보의 조합에 따라 그 특징정보의 조합에 해당하는 가중치를 선택하여 검색하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 검색 방법.
제 1 항에 있어서, 상기 특징정보의 조합에 따른 가중치의 학습이;

해당 특징정보의 조합을 사용하여 이미지를 검색한 검색 결과나, 사전에 정의된 유사 객체에 대한 그룹 정보에 대하여 사용자로부터의 유사 객체에 대한 피드백을 받아 이루어지는 것을 특징으로 하는 멀티미디어 검색 방법.
제 2 항에 있어서, 상기 특징 조합에 포함되는 특징정보 중에서 유사 객체간 유사도를 높게하는 특징정보일수록 높은 가중치를 갖도록 학습하는 것을 특징으로 하는 멀티미디어 검색 방법.
제 2 항에 있어서, 상기 멀티미디어 검색 시에 질의에 사용되는 특징정보의 조합에 따라 해당하는 가중치를 선택하여 검색하는 단계는, 상기 검색 결과나 유사 객체에 대한 그룹 정보로부터 사용자가 선택하여 피드백한 유사 객체에 대하여, 상기 멀티미디어 특징정보로 포함된 다수개의 가중치 각각을 사용하여 유사도를 측정하는 단계와, 상기 측정된 유사도 중에서 가장 높은 유사도 값으로 결과를 출력하는 가중치를 선택하여 검색에 이용하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 검색 방법.
제 1 항에 있어서, 상기 멀티미디어 검색 시에 질의에 사용되는 특징정보의 조합에 따라 해당하는 가중치를 선택하여 검색하는 단계에서, 사용자가 검색 시에 사용할 특징정보를 선택하면, 상기 멀티미디어 특징정보로 포함된 다수의 가중치 중에서 선택된 특징정보들만으로 학습한 가중치를 선택하여 검색에 사용하는 것을 특징으로 하는 멀티미디어 검색 방법.
제 1 항에 있어서, 상기 멀티미디어 검색 시에 질의에 사용되는 특징정보의 조합에 따라 해당하는 가중치를 선택하여 검색하는 단계에서, 사용자가 질의 객체와 검색 대상을 설정하면, 설정된 객체의 종류와 질의 객체의 종류에 따라 미리 설정된 특징정보들만으로 학습한 가중치를 선택하여 검색에 사용하는 것을 특징으로 하는 멀티미디어 검색 방법.
복수개의 특징정보를 사용하여 멀티미디어 객체를 검색하기 위하여, 검색을 위한 각 질의 관점에 따르는 특징정보 가중치를 학습하여 멀티미디어 특징정보로 포함하는 단계와, 멀티미디어 검색 시에 질의의 관점을 판단하여 상기 멀티미디어특징정보로 포함된 특징정보 가중치 중에서 상기 질의 관점에 해당하는 가중치를 선택하여 검색하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 검색 방법.
제 7 항에 있어서, 상기 질의 관점에 따르는 특징정보의 가중치 학습이;

이미지를 검색한 검색 결과나, 사전에 정의된 유사 객체에 대한 그룹 정보에 대하여 해당 질의 관점에서 보았을 때의 사용자로부터의 유사 객체에 대한 피드백을 받아 이루어지는 것을 특징으로 하는 멀티미디어 검색 방법.
제 8 항에 있어서, 상기 특징 조합에 포함되는 특징정보 중에서 유사 객체간 유사도를 높게하는 특징정보일수록 높은 가중치를 갖도록 학습하는 것을 특징으로 하는 멀티미디어 검색 방법.
제 7 항에 있어서, 상기 멀티미디어 검색 시에 질의 관점을 판단하여 질의 관점에 해당하는 가중치를 선택하여 검색하는 단계는, 상기 검색 결과나 유사 객체에 대한 그룹 정보로부터 사용자가 선택하여 피드백한 유사 객체에 대하여, 상기 멀티미디어 특징정보로 포함된 질의 관점에 따르는 다수개의 가중치 각각을 사용하여 유사도를 측정하는 단계와, 상기 측정된 유사도 중에서 가장 높은 유사도 값으로 결과를 출력하는 가중치를 선택하여 검색에 이용하는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 검색 방법.
제 7 항에 있어서, 상기 멀티미디어 검색 시 질의의 관점을 판단하여 질의 관점에 해당하는 가중치를 선택하여 검색하는 단계에서, 가중치를 묘사하는 정보 내에 기술되어 있는 질의 관점을 검색 시에 디스플레이하고, 사용자가 디스플레이된 질의 관점들 중에서 사용자의 질의 관점을 선택함으로써 질의 관점에 따르는 가중치의 선택 및 검색이 이루어지는 것을 특징으로 하는 멀티미디어 검색 방법.
멀티미디어 객체의 검색을 위하여 해당 멀티미디어 객체의 특징을 기술하는 특징정보의 중요도를 나타내는 가중치 정보를 생성하여 저장하는 단계; 상기 생성된 가중치 정보가 사용되는 질의가 어떤 관점에서의 질의인지를 기술한 질의 관점 기술정보를 생성하여 저장하는 단계; 를 포함하여 이루어진 것을 특징으로 하는 질의 관점 기반의 다중 가중치 생성방법.
멀티미디어 객체의 검색을 위하여 해당 멀티미디어 객체의 특징을 기술하는 특징정보의 중요도를 나타내는 가중치 정보를 생성하여 저장하는 단계; 상기 생성된 가중치 정보가 나타내고자 하는 특징정보들이 어떤 특징정보인지를 가리키기 위하여 그 가중치 정보에 해당하는 특징정보의 리스트를 생성하여 저장하는 단계; 를 포함하여 이루어진 것을 특징으로 하는 멀티미디어 다중 가중치 생성방법.