KR100346264B1 - 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법 - Google Patents

멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법 Download PDF

Info

Publication number
KR100346264B1
KR100346264B1 KR1019990054498A KR19990054498A KR100346264B1 KR 100346264 B1 KR100346264 B1 KR 100346264B1 KR 1019990054498 A KR1019990054498 A KR 1019990054498A KR 19990054498 A KR19990054498 A KR 19990054498A KR 100346264 B1 KR100346264 B1 KR 100346264B1
Authority
KR
South Korea
Prior art keywords
reliability
weights
weight
multimedia
search
Prior art date
Application number
KR1019990054498A
Other languages
English (en)
Other versions
KR20010053930A (ko
Inventor
이진수
이희연
Original Assignee
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자주식회사 filed Critical 엘지전자주식회사
Priority to KR1019990054498A priority Critical patent/KR100346264B1/ko
Priority to US09/726,401 priority patent/US6915292B2/en
Publication of KR20010053930A publication Critical patent/KR20010053930A/ko
Application granted granted Critical
Publication of KR100346264B1 publication Critical patent/KR100346264B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Abstract

본 발명은 멀티미디어 검색을 위한 특징소 정보를 갱신하는 방법과 그 갱신된 정보를 가지는 멀티미디어 특징소 정보의 생성방법에 관한 것이다.
본 발명은 도3에 도시한 바와같이, 참조객체의 가중치를 사용해서 멀티미디어 검색을 수행하고, 이 멀티미디어 검색결과에 대한 사용자 피드백(Relevance Feedback)을 받아 현재 검색 결과에 대한 검색성능을 계산하여 그 검색성능의 평가결과로부터 멀티미디어 특징소에 대한 신뢰도를 갱신하고, 이 갱신된 신뢰도에 근거하여 멀티미디어 특징소의 가중치를 갱신한다.
본 발명에서 상기 신뢰도는 검색성능에 비례하여 작용하고, 현재 참여한 피드백수가 많을수록 검색성능이 신뢰도에 미치는 영향을 크게하며, 학습에 참여한 피드백수에 비례하여 신뢰도를 조정해주는 것을 특징으로 한다.

Description

멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법 {Multimedia Feature Description System Using Weight And Reliability}
본 발명은 멀티미디어 검색을 위한 특징소(Multimedia Feature) 정보를 갱신하는 방법과 그 특징소 정보 생성방법에 관한 것으로서, 멀티미디어 특징소의 가중치와 신뢰도를 갱신함에 있어 멀티미디어 검색환경의 변화에 적응적으로 특징소 가중치와 신뢰도를 갱신할 수 있도록 한 멀티미디어 특징소 정보의 갱신방법과 그 정보 생성방법에 관한 것이다.
특히 본 발명은 멀티미디어 특징소에 대한 가중치와 그 가중치에 대한 신뢰도 정보를 이용해서 멀티미디어를 검색하거나 특징 정보를 갱신하는 시스템에 있어서, (a). 멀티미디어 특징정보를 이용한 검색성능을 평가하고, (b). 상기 검색성능 평가로부터 검색환경의 변화를 인식하여, (c). 상기 인식된 검색환경의 변화를 의미하는 검색성능의 평가를 반영하여 상기 신뢰도와 가중치를 갱신하는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법과 그 정보의 생성방법에 관한 것이다.
예를 들면 본 발명은 멀티미디어 검색시스템에서 멀티미디어 특징소에 대한 가중치 정보(Weight)와 그 가중치에 대한 신뢰도 정보(Reliability)를 포함하고 있을 때, 기존의 가중치를 이용해서 멀티미디어를 검색하고 그 검색 결과에 대한 사용자 피드백으로부터 검색성능을 계산하여, 이 검색성능을 고려한 현재 가중치의 신뢰도를 갱신하고, 이 갱신된 신뢰도를 바탕으로 현재의 가중치를 갱신해 주는 방법과 그 특징소 정보의 생성방법에 관한 것이다.
또한 본 발명은 멀티미디어 특징소간 가중치와 특징소내의 요소간 가중치를 사용하여 멀티미디어를 검색하는 시스템에서 그 특징소 가중치의 신뢰도를 사용한 가중치 갱신을 수행함에 있어서, 기존의 가중치가 보다 많은 피드백에 의해서 학습된 것일수록 새로운 피드백에 의한 가중치 갱신의 영향을 덜 받도록 하며, 최근의 피드백일수록 보다 더 가중치 갱신에 영향을 받도록 하며, 특징소간 가중치의 학습비율은 상대적으로 특징소 요소간 가중치의 학습비율보다 높게 하여 이미지 특징소 가중치를 갱신하는 방법과 그 특징소 정보의 생성방법에 관한 것이다.
종래의 멀티미디어 검색 시스템의 예로서, 내용 기반 이미지 검색 시스템의 경우 내용기반 이미지 검색을 위해서 칼라 히스토그램(Color Histogram), 부분영역 칼라와 같은 다양한 특징소가 사용되고 있다.
그러나, 이미지마다 그 이미지를 구분짓기 위한 주요 특징소가 다를 수 있으므로, 이미지마다 그 이미지 특징에 맞는 특징소의 가중치(weight)를 적용하는 기술이 많이 연구되어 왔다.
종래기술에서는 이러한 특징소의 가중치를 사용자가 검색시에 스스로 정하도록 가중치를 입력할 수 있는 창구를 검색 사용자 인터페이스에 마련하여, 사용자가 이미지 특징소의 가중치를 스스로 정해주도록 하는 방법이 있다.
그러나, 이러한 방법은 일반 사용자가 그 이미지에 맞는 특징소 가중치를 설정하기 어렵다는 문제점이 있다.
한편, 종래의 또다른 기술로서 이러한 문제점을 해결하기 위하여 사용자 피드백(relevance feedback)을 사용한 특징소 가중치 설정 방법을 사용하고 있다.
이 방법은 사용자가 우선 현재 상태에서 한번 검색을 행한 후, 검색 결과 리스트(list)에서 사용자가 찾고자 하는 이미지와 비슷한 이미지와, 그렇지 않은 이미지를 표기하여, 검색 시스템에게 피드백을 주고, 시스템이 상기 사용자 피드백을 사용하여 자동으로 이미지 특징소의 가중치를 설정하거나, 갱신한다.
이러한 방법은 시스템이 스스로 사용자의 피드백을 사용하여 자동적으로 특징소 가중치를 설정한다는 장점을 지니고 있다.
하지만 이와 같은 방법은 학습시에 사용된 유사도 측정 방법(Similarity Measure)이 바뀔 경우 기존에 학습되어진 가중치가 원래만큼의 기여를 하지 못할 수 있다.
즉, 학습시에 사용된 유사도 측정방법이 바뀔 경우에는 새롭게 바뀐 유사도 측정방법에서는 기존의 유사도 측정방법과 다르게 특징소에 대한 상대적 혹은 절대적 중요도를 사용하게 될 것이고, 이러한 경우에는 최악의 경우 기존에 학습된 가중치가 무용지물이 되는 수도 있기 때문에 결국, 학습된 가중치를 사용하여도 원래만큼의 성능 증가를 기대하지 못하게 된다.
따라서, 이와 같이 유사도 측정 방법이 바뀌게 되면, 변화된 환경에 기존의 가중치가 빨리 적응하여 학습될 수 있도록 해야 하며, 반면에 변화되지 않는 안정된 환경에서 오랫동안 학습된 가중치라면 새로운 피드백에 의해 쉽게 기존 가중치가 바뀌는 일이 없도록 해야 검색성능의 저하없이 멀티미디어 검색을 수행할 수 있고, 또 변화된 검색환경에 적응해야만 그 변화된 검색환경에서 옳바른 멀티미디어 검색 결과를 내 놓을 수 있게 될 것이다.
그러나, 종래에 사용자가 이미지 특징소의 가중치를 직접 입력하는 방법이나, 사용자 피드백에 의해서 가중치를 자동적으로 설정하거나 갱신하는 방법으로는 위와같은 요구를 만족할 수 없었다.
본 발명은 멀티미디어 검색에 있어서, 멀티미디어 검색환경의 변화를 고려하여, 변화된 멀티미디어 검색환경에 적응적으로 특징소 가중치와 그 신뢰도를 갱신할 수 있도록 한 멀티미디어 특징소 정보의 갱신방법과 그 정보의 생성방법을 제공한다.
또한 본 발명은 멀티미디어 검색환경의 변화에 대응하여 그 변화된 환경에 적합한 빠른 가중치 학습이 이루어지도록 함으로써, 적은 횟수의 피드백을 사용하더라도 해당 멀티미디어의 특성에 맞는 가중치를 부여할 수 있도록 한 멀티미디어 특징소 정보의 갱신방법과 그 정보의 생성방법을 제공한다.
또한 본 발명은 멀티미디어 검색환경의 변화에 대한 적응능력을 가짐으로써, 새로운 신뢰도를 통한 가중치의 가변적 학습특성을 통해, 가중치를 사용한 멀티미디어 검색이 검색엔진이나 데이터 베이스와 상관없이 멀티미디어 데이터 중심적인 검색을 가능하도록 한 멀티미디어 특징소 정보의 갱신방법과 그 정보의 생성방법을 제공한다.
도1은 복수개의 피드백을 사용하여 유사도에 기반한 상대적 가중치를 구했을 때 나타나는 값들의 정규화된 분산을 나타낸 도면
도2는 신뢰도 갱신을 위한 시그모이드 함수의 적용 예를 나타낸 도면
도3은 본 발명의 멀티미디어 특징소 갱신방법의 일예를 나타낸 플로우차트
본 발명은 특징소에 대한 가중치와 가중치에 대한 신뢰도 값을 사용하여 멀티미디어를 검색하거나 가중치를 갱신하는 시스템에 있어서,
기존의 가중치를 이용하여 멀티미디어를 검색하고, 상기 검색된 결과를 가지고 사용자로부터 하나 이상의 피드백을 받아서, 상기 하나 이상의 피드백을 사용하여 현재 검색 결과에 대한 검색 성능을 계산하고, 상기 계산된 검색 성능을 고려하여 현재의 가중치에 대한 신뢰도를 갱신하고, 상기 갱신된 신뢰도를 사용하여 현재의 가중치를 갱신하는 방법으로 멀티미디어 특징소를 갱신하는 방법과, 상기 방법에 의해서 갱신된 가중치 및 신뢰도를 포함하는 것을 특징으로 하는 멀티미디어 특징소 정보의 생성방법 이다.
또한 본 발명에서, 상기 계산된 검색 성능이 이전단계의 검색 성능보다 높으면 신뢰도는 높아지고 이전단계의 검색 성능보다 낮으면 신뢰도는 낮아지는 방향으로 작용하는 것을 특징으로 한다.
또한 본 발명에서, 상기 계산된 검색 성능 값이 매우 높으면 신뢰도는 높아지고 검색 성능 값이 매우 낮으면 신뢰도는 낮아지는 방향으로 작용하는 것을 특징으로 한다.
또한 본 발명에서, 상기 현재의 검색 성능을 계산하는데 참여한 피드백 수가 많을수록, 검색 성능이 신뢰도 갱신에 미치는 영향이 큰 것을 특징으로 한다.
또한 본 발명에서, 상기 신뢰도의 갱신은, 같은 조건일 때 학습에 참여하는 피드백 수가 많을수록 신뢰도가 높은 것을 특징으로 한다.
또한 본 발명은 특징소간 가중치와 특징소내 요소간 가중치를 사용하여 멀티미디어를 검색하는 시스템에서의 신뢰도를 사용한 가중치 갱신에 있어서,
기존 가중치가 보다 많은 피드백에 의해 학습한 것일수록 새로운 피드백에 의한 영향을 덜 받으며, 같은 조건일 때 최근의 피드백일수록 좀더 가중치 갱신에 많은 영향을 주며, 특징소간 가중치의 학습 비율은 상대적으로 특징소 요소간 가중치의 학습 비율보다 높은 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법과, 상기 방법에 의해서 갱신된 가중치를 포함하는 것을 특징으로 하는 멀티미디어 특징소 정보의 생성방법 이다.
이와같이 이루어지는 본 발명의 멀티미디어 특징소 정보의 갱신방법과 그 정보의 생성방법에 대하여 보다 상세하게 설명하면 다음과 같다.
이미 설명한 바와같이 본 발명의 목적은 앞서 설명한 문제점(검색환경의 변화에 따른 가중치 및 신뢰도 정보의 기여도 문제)을 해결하는데 있다.
앞에서 설명한 바와같이 본 발명에서는 기존의 가중치를 이용해서 멀티미디어를 검색하고, 그 검색된 결과에 대하여 사용자로부터 하나 이상의 피드백을 받아 현재 검색결과에 대한 검색성능을 계산하여, 이 계산된 검색성능을 고려해서 현재의 가중치에 대한 신뢰도를 갱신하고 또 그 갱신된 신뢰도를 이용해서 현재의 가중치를 갱신한다.
또한, 기존 가중치가 보다 많은 피드백에 의해 학습한 것일수록 새로운 피드백에 의한 영향을 덜 받으며, 같은 조건일 때 최근의 피드백일수록 좀더 가중치 갱신에 많은 영향을 주며, 특징소간 가중치의 학습 비율은 상대적으로 특징소 요소간 가중치의 학습 비율보다 높게 한다.
따라서, 본 발명이 적용되는 멀티미디어 검색 시스템에서는 멀티미디어 데이터가 가중치와 함께 신뢰도를 포함하게 되는데, 신뢰도는 현재의 가중치가 얼마나 신뢰할만한 값을 가졌는지를 나타내는 수치로서, 현재의 피드백에 의해 계산된 상대적인 가중치가 기존에 이미 학습된 가중치를 갱신하는데 영향을 미치는 정도를 결정하게 된다.
즉, 가중치를 갱신할 때에 신뢰도가 높은 가중치는 신뢰도가 낮은 가중치에 비해 상대적으로, 새로운 피드백에 의한 영향을 덜 받게 된다.
따라서, 유사도 측정 방법 등 검색 환경이 바뀔 경우, 그로 인한 기존 가중치의 신뢰도 값을 낮춤으로써, 보다 빨리 가중치가 새로운 피드백을 통해 새로운 환경에 적응하여 학습될 수 있도록 하고, 검색환경이 바뀌지 않고 오랫동안 학습된 안정된 가중치일 경우에는 반대로 신뢰도 값을 높임으로써 새로운 피드백에 의해 가중치가 쉽게 바뀌지 않도록 한다.
앞에서 설명한 바와같이 가중치 갱신시에 신뢰도가 높은 가중치는 신뢰도가 낮은 가중치에 비해 상대적으로, 새로운 피드백에 의한 영향을 덜 받게 되며, 이때이루어지는 가중치의 갱신은;
[Reliabilitya× Old_W + Cur_W] / [Reliabilitya+ 1]
(여기서, Reliability는 신뢰도이고, a는 상수값으로서, 0 < a < 1 이고 특징소간 가중치에서의 a는 특징소내 요소간 가중치에서의 a보다 작은 값) 으로 이루어진다.
이 갱신방법에 의하면, 같은 조건일 때 최근의 피드백일수록 가중치 갱신에 보다 많은 영향을 주도록 하고 또, 특징소간 가중치의 학습비율은 상대적으로 특징소 요소간의 가중치의 학습비율 보다 높게 해준다.
예를 들면, 특징소간 가중치의 갱신은 [Reliabilityb× Old_W + Cur_W] / [Reliabilityb+ 1](0 < b < 1), 특징소내 요소간 가중치의 갱신은 [Reliabilityc× Old_W + Cur_W] / [Reliabilityc+ 1](0 < c < 1), (단, b < c) 로 이루어 질 수 있고, 이 것은 결국 상기 [Reliabilitya× Old_W + Cur_W] / [Reliabilitya+ 1]에서 특징소간 가중치일 때의 a가 특징소 요소간 가중치일 때의 a 보다 작은 값을 만족한다는 조건에 해당한다.
상기 가중치 갱신방법(식)에서 분모항은 정규화(Normalize)를 위한 항이며, 분자항에서 Old_W는 기존의 가중치, Cur_W는 현재의 가중치이다.
그리고 상수 a(또는 b, c)는 실험에 의해서 고정된 상수값으로 실시할 수 있으며, 이 a(또는 b, c)값에 의해서, 최근 피드백일수록 가중치 갱신에 더 영향을주도록 하는 것이다.
즉, 0 < a(b,c) < 1 의 조건이므로 Reliabilitya(b,c)× Old_W 에 대하여 현재 가중치(Cur_W)인 최근 피드백이 상대적으로 더 큰 영향을 주게 되는 것이다.
또, 상기 가중치 갱신방법(식)에 의하면 특징소간 가중치의 학습비율을 특징소 요소간 가중치의 학습비율에 비해 상대적으로 높게 적용하게 한다.
즉, 0 < b < 1, 0 < c < 1, b < c 이므로, Reliabilityb× Old_W 는 Reliabilityc× Old_W 보다 작은 값이 될 것이고, 따라서 상대적으로 볼 때 특징소간 가중치에서 Cur_W는 특징소내 요소간 가중치에서 Cur_W 보다 가중치 갱신에 더 큰 영향을 주는 값으로 작용하게 되는 것이다.
이와같이 특징소간 가중치의 학습비율을 특징소 요소간 가중치의 학습비율에 비해 상대적으로 높게 적용하도록 하는데, 이는 한 단계에서 피드백이 가중치 갱신에 미치는 영향이 특징소 요소간 가중치의 경우보다 특징소간 가중치의 경우가 더 크다는 것을 의미한다.
이와 같이 특징소간 가중치와 특징소 요소간 가중치의 학습 비율을 다르게 적용하는 이유는 두 종류의 특징정보가 유사도에 미치는 영향이 다르기 때문인데, 도면 1은 각 경우마다 복수개의 피드백을 사용하여 유사도에 기반한 상대적 가중치를 구했을 때 나타나는 값들의 정규화된 분산을 나타낸다.
도면 1에서 알 수 있듯이 특징소간 가중치의 분산이 특징소 요소간 가중치의 분산보다 약 1/2정도 작음을 알 수 있다.
본 발명에서는 특징소간 가중치의 a = 1/2(즉, b=1/2), 특징소 요소간 가중치의 a= 9/10(즉, c=9/10)로 실시하였다.
이와같이, 본 발명에서는 특징소들 간의 중요도를 나타내는 가중치와 한 특징소 내의 요소들 간의 중요도를 나타내는 가중치를 사용하는 시스템에 있어서, 이들 두 종류의 가중치 학습 과정에 나타나는 특징을 이용하여 보다 빨리 주어진 피드백을 이용하여 적절한 가중치를 학습하도록 한다.
예를 들어, 이미지 검색의 경우 특징소로서 칼라 히스토그램, 그리드 칼라 히스토그램 등을 사용하고, 칼라 히스토그램내의 요소로서 빈(bin)값 각각을 특징소내 요소(element)들로 사용할 때, 상기 특징소간 가중치의 학습비율은 상대적으로 특징소내 요소간 가중치의 학습비율보다 높게 함으로써, 원하는 최적의 가중치(학습)에 보다 빠르게 도달할 수 있도록 한다.
이와 같이 신뢰도를 사용한 가중치 갱신 방법을 사용할 때, 유사도 측정 방법 등 검색 환경이 바뀔 경우, 그로 인한 기존 가중치의 신뢰도 값을 낮춤으로써, 보다 빨리 가중치가 새로운 피드백을 통해 새로운 환경에 적응되고 학습될 수 있도록 하고, 검색환경이 바뀌지 않고 오랫동안 학습된 안정된 가중치일 경우에는 반대로 새로운 피드백에 의해 가중치가 쉽게 바뀌지 않도록 한다.
이와 같이 상황에 따라 신뢰도를 갱신 시켜야 하는데, 신뢰도의 갱신은 다음의 개념을 적용한다.
1). 같은 조건에서 기존에 학습된 가중치가 보다 많은 피드백에 의해 학습되었을 수록 높은 신뢰도를 주어 현재의 가중치가 쉽게 바뀌지 않도록 한다.
2). 특정 이미지가 다른 데이터베이스로 이동하거나 다른 유사도 측정방법(similarity measure)을 사용하는 등, 검색 환경이 변경되었을 경우, 기존 환경에서 학습된 가중치에 대한 신뢰도를 낮게 함으로써, 새로운 변화에 빠르게 적응하여 새로운 환경에 적응된 가중치 학습을 유도한다.
3). 현재 가중치를 사용한 검색 성능이 계속해서 낮아지거나 매우 낮을 경우 학습을 오랫동안 수행했더라도 낮은 신뢰도를 갖도록 한다.
이러한 경우는 이미지 특징소 자체가 높은 검색 성능을 나타내기 어렵거나, 환경이 바뀌어 가중치가 의미를 잃었을 때 발생한다.
반대로 현재 가중치를 사용한 검색 성능이 계속해서 높아지거나 매우 높을 경우 신뢰도를 증가시킨다.
상기 현재의 검색 성능은 사용자 피드백으로부터 대략적으로 구해질 수 있다.
예를 들면 이미지 검색 시스템에서 검색결과에 대한 사용자 피드백 이미지의 비율을 검색성능으로 구하는 방법이 쓰일 수 있다.
즉, 기존의 가중치를 이용해서 검색한 결과로 시스템이 10개의 이미지를 제시하였고, 이 이미지 리스트에서 사용자가 유사 이미지로 9개의 피드백을 주었다면 9/10로 검색성능을 구하는 방법을 들 수 있다.
이러한 검색성능을 구하는 예는 여기에 제한되지 않으며, 검색 성능을 구하기 위한 보다 다양하고 효과적인 기존의 혹은 새로운 방법들이 모색될 수 있을 것이다.
이와같은 검색성능의 계산 결과를 사용하여 상기 기술된 개념을 실현하기 위해 다음과 같은 신뢰도 갱신 방법을 제시한다.
1). 현재의 피드백으로부터 계산된 검색 성능이 신뢰도 갱신에 미치는 영향은 현재 패턴에 참여한 피드백 수가 많을수록 높은 영향력을 갖는다.
이것은 사용자 피드백으로부터 계산된 검색 성능이 많은 피드백으로부터 계산될수록 정확하기 때문이다.
2). 현재의 검색 성능이 높지 않을 경우, 현재의 피드백으로부터 계산된 검색 성능이 신뢰도 갱신에 미치는 영향은 현재의 신뢰도 크기에 비례한다.
3). 기본적으로 현재의 검색 성능이 이전의 검색 성능보다 높은 검색 성능을 나타내면 신뢰도가 증가하고 낮은 검색 성능을 나타내면 신뢰도가 감소하도록 한다.
하지만 이전보다 높더라도 매우 낮은 성능이면 신뢰도가 거의 증가하지 않고 이전보다 낮더라도 매우 높은 성능이면 신뢰도는 거의 감소하지 않는다.
이 것은 비록 현재의 검색성능이 이전의 검색성능 보다 높다고 하더라도, 그 검색성능 자체가 낮아서 검색결과에 대해 신뢰하기 어려운 경우도 있을 수 있으므로, 이러한 경우에는 신뢰도를 낮게 유지해야 올바른 검색성능의 반영이 이루어질 수 있기 때문이다.
이러한 신뢰도 갱신방법을 만족하는 신뢰도 갱신 식으로 다음과 같은 식을 적용할 수 있다.
New_R = Old_R(1 + IncreaseR) + α
IncreaseR = f(# of feedback) × (Precision(t) - Precision(t-1))
(여기서, New_R 은 갱신된 신뢰도, Old_R은 기존 신뢰도, IncreaseR은 증분, # of feedback은 한 검색단계에서 이루어진 피드백 수, Precision(t)는 현재 피드백으로부터 계산된 정확도(검색성능), Precision(t-1)은 이전 피드백으로부터 계산된 정확도(검색성능), α는 같은 조건일 경우 신뢰도 값이 피드백 수에 비례하도록 하기 위한 상수).
상기와 같은 신뢰도 갱신방법에서 현재 패턴에 참여한 피드백 수가 많을수록 높은 영향을 주기 위해 검색 성능의 차에 f(# of feedback)을 곱하였다.
이 함수 f(# of feedback)는 피드백 수가 적을 때에는 0 근처 값을 리턴(Return)하고 클수록 증가분을 리턴하는 함수로서 함수 모양은 도면 2에 나타나 있고, 일반적으로 시그모이드(sigmoid) 함수 φ(x) = 1/[1+exp-s(x-m)]를 수정하여 사용할 수 있다.
그리고, 현재의 검색성능에 비례하여 신뢰도를 갱신하기 위해 증가분 (IncreaseR)을 이전 검색성능과 현재 검색 성능의 차를 기반으로 구성하였다.
즉, 현재의 검색 성능(Precision(t))이 이전의 검색성능(Precision(t-1)) 보다 높을수록 현재와 이전 검색성능의 차는 증가(+값)하게 되고, 이 것은 곧 증가분(IncreaseR)을 증가시키게 되어 신뢰도 갱신에 더 많은 영향을 주게 되며, 현재의 검색성능(Precision(t))이 이전 검색성능(Precision(t-1)) 보다 낮을수록 현재와 이전 검색성능의 차는 감소(-값)하게 되고, 이 것은 곧 증가분(IncreaseR)의 증가를 둔화시켜 신뢰도 갱신에 보다 적은 영향을 주게된다.
또한 현재의 검색성능이 높지 않을 경우 현재의 피드백으로부터 계산된 검색성능이 신뢰도 갱신에 미치는 영향은 현재의 신뢰도 크기에 비례하도록 갱신하기 위해 IncreaseR만을 증가분으로 하지 않고 기존의 신뢰도 Old_R을 곱한 값을 증가분으로 하였다.
마지막에 α (= 상수)를 더하는 것은 같은 조건일 경우-검색성능이 변하지 않더라도 신뢰도 값이 피드백 수에 비례하도록 하기 위함이다.
상기의 신뢰도 갱신방법으로 검색 성능의 차이 대신 비를 사용하는 다음의 갱신방법이 이용될 수도 있다.
New_R = Old_R(1 + IncreaseR) + α
IncreaseR = [f(# of feedback) × ((Precision(t)/Precision(t-1))-1)]
이 신뢰도 갱신방법에 의하면, 현재의 검색성능(Precision(t))이 이전의 검색성능(Precision(t-1))보다 높을수록 그 비는 커지고 그 비가 커질수록 신뢰도 갱신에 미치는 영향은 커지게 된다.
즉, 현재의 검색성능에 비례하여 신뢰도를 갱신하기 위해 증가분(IncreaseR)을 이전 검색성능과 현재 검색 성능의 비를 기반으로 구성하였다.
또한, 현재 패턴에 참여한 피드백 수가 많을수록 높은 영향을 주기 위해 검색 성능의 비에 f(# of feedback)을 곱하였다.
또한 현재의 검색성능이 높지 않을 경우 현재의 피드백으로부터 계산된 검색성능이 신뢰도 갱신에 미치는 영향은 현재의 신뢰도 크기에 비례하도록 갱신하기위해 IncreaseR만을 증가분으로 하지 않고 기존의 신뢰도 Old_R을 곱한 값을 증가분으로 하였다.
마지막에 α (= 상수)를 더하는 것은 같은 조건일 경우-검색성능이 변하지 않더라도 신뢰도 값이 피드백 수에 비례하도록 하기 위함이다.
도3은 앞에서 설명한 본 발명의 신뢰도와 가중치 갱신방법을 나타낸 플로우차트로서, 단계(301)는 기존의 가중치를 이용해서 멀티미디어를 검색하는 단계이고, 단계(302)는 상기 기존 가중치를 이용한 멀티미디어 검색결과를 가지고 사용자로부터 하나 이상의 피드백을 받는 단계이다.
단계(303)는 상기 사용자로부터의 하나 이상의 피드백을 사용해서 현재의 검색 결과에 대한 성능과 피드백 수를 계산하는 단계이고, 단계(304)는 상기 계산된 검색성능을 고려해서 현재의 가중치에 대한 신뢰도를 앞에서 설명한 두가지 갱신방법 중의 어느 하나를 사용해서 갱신하는 단계이다.
즉, New_R = Old_R(1 + IncreaseR) + α, (IncreaseR = f(# of feedback) × (Precision(t) - Precision(t-1))) 이나, New_R = Old_R(1 + IncreaseR) + α, (IncreaseR = [f(# of feedback) × ((Precision(t)/Precision(t-1))-1)]) 의 방법으로 신뢰도를 갱신한다.
단계(305)는 현재 입력된 피드백을 사용해서 상대적인 가중치를 계산하는 단계이고, 단계(306)는 상기 단계(304)에서 갱신된 신뢰도와 단계(305)에서 계산된 상대적 가중치를 이용해서 기존 가중치를 갱신하는 단계이다.
여기서 가중치의 갱신은 앞에서 설명한 바와같이, 기존 가중치가 보다 많은피드백에 의해 학습된 것일수록 새로운 피드백에 의한 영향을 덜 받게하고, 같은 조건일 때 최근 피드백일수록 가중치 갱신에 더 많은 영향을 주도록 하고, 또 특징소간 가중치의 학습비율을 특징소 요소간 가중치의 학습비율에 비해 상대적으로 높게 작용하도록 한다.
상기 단계(305)는 단계(302) 내지 단계(306) 사이 어느 곳에서 수행해도 무방하다.
본 발명은 가중치를 사용한 멀티미디어 검색에 있어서 가중치를 보다 효과적으로 갱신함으로써 빠른 가중치 학습을 가능하게 하고, 검색 환경 변화를 고려한 신뢰도 갱신 방법을 제공함으로써 가중치를 사용한 기존의 멀티미디어 검색 방법의 단점을 보완하였다.
또한 본 발명에 의한 빠른 가중치 학습은 사용자가 적은 회수의 피드백을 사용하더라도 해당 멀티미디어의 특성에 맞는 가중치를 부여할 수 있게하여, 기존 기술에 비해 뛰어난 검색 성능을 갖게 하고, 가중치에 의한 멀티미디어 검색의 실용성을 한층 높였다.
그리고, 본 발명의 또 다른 특징인 멀티미디어의 환경 변화에 대한 적응 능력은 새로운 신뢰도를 통한 가중치의 가변적 학습 특성을 통해, 가중치를 사용한 멀티미디어 검색이 검색 엔진이나 데이터 베이스와 상관 없이 멀티미디어 데이터 중심적인 검색을 가능하게 함으로써, 가중치를 사용한 멀티미디어 검색을 위한 데이터 표준화를 가능하게 하는 효과를 가져온다.

Claims (15)

  1. 멀티미디어 특징소에 대한 가중치와 그 가중치에 대한 신뢰도 정보를 이용해서 멀티미디어를 검색하거나 특징소 정보를 갱신하는 시스템에 있어서,
    (a). 멀티미디어 특징소 정보를 이용한 검색성능을 평가하고, (b). 상기 검색성능 평가로부터 검색환경의 변화를 인식하여, (c). 상기 인식된 검색환경의 변화를 의미하는 검색성능의 평가를 반영하여 상기 신뢰도와 가중치를 갱신하는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  2. 멀티미디어 특징소에 대한 가중치와 그 가중치에 대한 신뢰도 정보를 이용해서 멀티미디어를 검색하거나 특징소 정보를 갱신하는 시스템에 있어서,
    (a). 기존의 가중치를 이용해서 멀티미디어를 검색하는 단계와, (b). 상기 기존의 가중치를 이용한 검색결과에 대하여 사용자로부터 하나 이상의 피드백을 받는 단계와, (c). 상기 사용자로부터의 하나 이상의 피드백을 사용해서, 현재 검색된 결과에 대한 검색성능을 계산하는 단계와, (d). 상기 계산된 검색성능을 반영하여 현재의 가중치에 대한 신뢰도를 갱신하는 단계와, (e). 상기 갱신된 신뢰도를 사용해서 현재의 가중치를 갱신하는 단계로 이루어진 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 신뢰도의 갱신은 상기 검색성능에 비례하여 영향을 받는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 신뢰도의 갱신은 상기 검색성능에 대하여, 이전의 검색성능과 현재의 검색성능을 비교하여 그 검색성능의 증감에 비례하여 영향을 받는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 신뢰도의 갱신정도는 상기 검색성능의 계산에 참여한 피드백 수에 비례하여 영향을 받는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 신뢰도의 갱신정도는 학습에 참여한 피드백 수에 비례하여 영향을 받는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  7. 제 1 항 또는 제 2 항에 있어서, 상기 신뢰도의 갱신은 이전의 검색성능과 현재의 검색성능의 차이로부터 반영되는 검색성능의 증감에 비례하여 영향을 받는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  8. 제 7 항에 있어서, 상기 신뢰도는; 기존 신뢰도 × (1 + 신뢰도 증가분) + α (단, 신뢰도 증가분 = 이전 검색성능과 현재 검색성능의 차에 피드백에 대한 함수를 곱한 함수, α는 같은 조건일 경우 신뢰도 값이 피드백수에 비례하도록 하기 위한 상수); 로 갱신하는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  9. 제 1 항 또는 제 2 항에 있어서, 상기 신뢰도의 갱신정도는 이전의 검색성능과 현재의 검색성능의 비로부터 반영되는 검색성능의 증감에 비례하여 영향을 받는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  10. 제 9 항에 있어서, 상기 신뢰도는; 기존 신뢰도 × (1 + 신뢰도 증가분) + α (단, 신뢰도 증가분 = 이전 검색성능과 현재 검색성능의 비에 피드백에 대한 함수를 곱한 함수, α는 같은 조건일 경우 신뢰도 값이 피드백수에 비례하도록 하기 위한 상수); 로 갱신하는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  11. (a). 멀티미디어 특징소에 대한 기존 가중치를 이용한 검색 결과에 대하여 사용자로부터 하나 이상의 피드백을 받는 단계, (b). 상기 사용자 피드백을 사용해서 검색된 결과에 대한 검색 성능을 계산하는 단계, (c). 상기 계산된 검색 성능을 반영하여 현재의 가중치에 대한 신뢰도를 갱신하고 이 갱신된 신뢰도를 사용해서 현재의 가중치를 갱신하는 단계, (d). 상기 갱신된 신뢰도와 갱신된 가중치를 멀티미디어 특징소 정보에 포함시키는 단계;로 이루어지는 것을 특징으로 하는 멀티미디어 특징소 정보 생성방법.
  12. 멀티미디어 특징소간 가중치와 특징소내의 요소간 가중치를 사용하여 멀티미디어를 검색하는 시스템에서의 신뢰도를 이용한 가중치 갱신에 있어서,
    (a). 기존 가중치와, 현재 입력된 피드백을 사용해서 계산된 가중치를 비교하여, 기존 가중치가 보다 많은 피드백에 의해서 학습된 것일수록 새로운 피드백에 의한 가중치 갱신의 영향을 덜 받는 정도로 가중치를 갱신하고,
    (b). 사용자 피드백에 대하여는, 최근의 피드백일수록 가중치 갱신에 영향을 더 주는 정도로 가중치를 갱신하고,
    (c). 상기 특징소간 가중치의 학습비율은 특징소내 요소간 가중치의 학습비율 보다 높게 영향을 주어 가중치를 갱신하는 것을 특징으로 하는 멀티미디어 특징소 정보의 갱신방법.
  13. 제 12 항에 있어서, 상기 가중치의 갱신은 그 가중치의 신뢰도(Reliability)에 대하여; [Reliabilitya× Old_W + Cur_W] / [Reliabilitya+ 1] (여기서, 0 < a < 1 이고, 특징소간 가중치에서의 a는 특징소내 요소간 가중치에서의 a보다 작은 값) 으로 이루어지는 것을 특징으로 하는 멀티미디어 특징소의 갱신방법.
  14. 멀티미디어 특징소간 가중치와 특징소내의 요소간 가중치를 그 신뢰도를 이용해서 갱신하기 위하여; (a). 기존 가중치가 현재 계산된 가중치보다 더 많은 피드백에 의해서 학습된 것일수록 새로운 피드백에 의한 가중치 갱신의 영향이 적게, 최근의 사용자 피드백일수록 가중치 갱신의 영향이 더 크게, 특징소내 요소간 가중치의 학습비율 보다 특징소간 가중치의 학습비율이 더 높은 영향을 주도록 가중치를 갱신하는 단계, (b). 상기 갱신된 가중치를 멀티미디어 특징소 정보에 포함시키는 단계; 로 이루어진 것을 특징으로 하는 멀티미디어 특징소 정보 생성방법.
  15. 제 14 항에 있어서, 상기 가중치의 갱신은 그 가중치의 신뢰도(Reliability)에 대하여; [Reliabilitya× Old_W + Cur_W] / [Reliabilitya+ 1] (여기서, 0 < a < 1 이고, 특징소간 가중치에서의 a는 특징소내 요소간 가중치에서의 a보다 작은 값) 으로 이루어지는 것을 특징으로 하는 멀티미디어 특징소 정보 생성방법.
KR1019990054498A 1999-12-02 1999-12-02 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법 KR100346264B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019990054498A KR100346264B1 (ko) 1999-12-02 1999-12-02 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법
US09/726,401 US6915292B2 (en) 1999-12-02 2000-12-01 Method for updating multimedia feature information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990054498A KR100346264B1 (ko) 1999-12-02 1999-12-02 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법

Publications (2)

Publication Number Publication Date
KR20010053930A KR20010053930A (ko) 2001-07-02
KR100346264B1 true KR100346264B1 (ko) 2002-07-26

Family

ID=19623220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990054498A KR100346264B1 (ko) 1999-12-02 1999-12-02 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법

Country Status (2)

Country Link
US (1) US6915292B2 (ko)
KR (1) KR100346264B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937814B1 (en) * 2000-04-14 2005-08-30 Realnetworks, Inc. System and method for play while recording processing
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6834288B2 (en) * 2001-04-13 2004-12-21 Industrial Technology Research Institute Content-based similarity retrieval system for image data
CN101911077B (zh) * 2007-12-27 2016-05-11 皇家飞利浦电子股份有限公司 用于分层搜索的方法和装置
JP5328212B2 (ja) * 2008-04-10 2013-10-30 株式会社エヌ・ティ・ティ・ドコモ レコメンド情報評価装置およびレコメンド情報評価方法
GB2470007A (en) 2009-05-05 2010-11-10 Aurix Ltd Analysing non-deterministic results of a search query
US9721019B2 (en) * 2012-12-10 2017-08-01 Aol Inc. Systems and methods for providing personalized recommendations for electronic content
US20170075652A1 (en) 2015-09-14 2017-03-16 Kabushiki Kaisha Toshiba Electronic device and method
WO2021090332A1 (en) * 2019-11-04 2021-05-14 Leadstart Publishing Pvt. Ltd. Systems and methods for providing a platform for feed-back based updateable content
CN111948967B (zh) * 2020-08-18 2021-07-09 太仓韬信信息科技有限公司 一种基于大数据的电力数据采集方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
JP3184763B2 (ja) * 1995-06-07 2001-07-09 インターナショナル・ビジネス・マシーンズ・コーポレ−ション マルチメディア直接アクセス記憶装置及びフォーマット方法
US6347313B1 (en) * 1999-03-01 2002-02-12 Hewlett-Packard Company Information embedding based on user relevance feedback for object retrieval
US6408293B1 (en) * 1999-06-09 2002-06-18 International Business Machines Corporation Interactive framework for understanding user's perception of multimedia data
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information

Also Published As

Publication number Publication date
KR20010053930A (ko) 2001-07-02
US20010003185A1 (en) 2001-06-07
US6915292B2 (en) 2005-07-05

Similar Documents

Publication Publication Date Title
US8965891B1 (en) Training scoring models optimized for highly-ranked results
US6795818B1 (en) Method of searching multimedia data
US6704725B1 (en) Method of searching multimedia data
KR101301380B1 (ko) 네트워크 상에서의 문서의 바이어스된 클릭 거리를사용하는 순위 함수
KR100346264B1 (ko) 멀티미디어 특징소 정보의 갱신방법과 멀티미디어 특징소 정보 생성방법
US7836058B2 (en) Web searching
US6871202B2 (en) Method and apparatus for ranking web page search results
US8108374B2 (en) Optimization framework for tuning ranking engine
US8301638B2 (en) Automated feature selection based on rankboost for ranking
AU2005201765A1 (en) Method and system for calculating importance of a block within a display page
CN109359135B (zh) 一种基于分段权重的时间序列相似性搜索方法
Robertson Threshold setting and performance optimization in adaptive filtering
US7576278B2 (en) Song search system and song search method
KR100895481B1 (ko) 다중 클래스 ｓｖｍ을 이용한 영역 기반 이미지 검색 방법
McDermott et al. A derivation of minimum classification error from the theoretical classification risk using Parzen estimation
CN117291295A (zh) 一种基于改进鲸鱼算法的JMIMHA-BiGRU船轨迹预测方法及系统
US20080147579A1 (en) Discriminative training using boosted lasso
JP2002133389A (ja) データ分類学習方法、データ分類方法、データ分類学習器、データ分類器、データ分類学習プログラムを記録した記憶媒体、データ分類プログラムを記録した記録媒体
CN114528469A (zh) 推荐方法、装置、电子设备、存储介质
JP2020154514A (ja) 学習装置、学習方法、検索装置、検索方法及びプログラム
JP2005309712A (ja) 楽曲検索システムおよび楽曲検索方法
CN114282440B (zh) 一种抽水蓄能机组调节系统鲁棒辨识方法
JP4246101B2 (ja) 楽曲検索システムおよび楽曲検索方法
CN115935001A (zh) 一种帧级别的细粒度自然语言视频时刻定位方法
JPH06274470A (ja) 予測装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee