KR100351400B1 - 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법 - Google Patents

사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법 Download PDF

Info

Publication number
KR100351400B1
KR100351400B1 KR1019990041138A KR19990041138A KR100351400B1 KR 100351400 B1 KR100351400 B1 KR 100351400B1 KR 1019990041138 A KR1019990041138 A KR 1019990041138A KR 19990041138 A KR19990041138 A KR 19990041138A KR 100351400 B1 KR100351400 B1 KR 100351400B1
Authority
KR
South Korea
Prior art keywords
feedback
information
image
recent
user feedback
Prior art date
Application number
KR1019990041138A
Other languages
English (en)
Other versions
KR20010028739A (ko
Inventor
이진수
김현준
이희연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1019990041138A priority Critical patent/KR100351400B1/ko
Priority to US09/666,281 priority patent/US6845371B1/en
Publication of KR20010028739A publication Critical patent/KR20010028739A/ko
Application granted granted Critical
Publication of KR100351400B1 publication Critical patent/KR100351400B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99932—Access augmentation or optimizing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 사용자의 피드백(relevance feedback)을 사용해서 이미지 특징소(image feature)의 가중치(weight)를 결정하는 시스템에서, 최근 사용자 피드백 정보와 전체 피드백 정보를 함께 고려하여 이미지 특징소의 가중치를 결정하는 방법과 그 데이타 특징소 정보의 생성방법에 관한 것이다.
본 발명은 이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해 결정하는 시스템에 있어서, (a). 소정의 이미지에 대한 특징소들을 묘사하는 정보를 가지고, (b). 소정의 이미지에 대한 특징소들의 가중치를 사용자 피드백에 의해서 학습하여 결정할 때 최근의 사용자 피드백 정보를 가지며, (c). 소정의 이미지에 대한 특징소들의 가중치를 사용자 피드백에 의해서 학습하여 결정할 때 지금까지의 전체 피드백 정보를 포함하여, (d). 상기 최근 사용자 피드백 정보와 전체 피드백 정보를 함께 고려하여 이미지 특징소의 가중치를 결정한 후 검색에 이용하도록 한 것을 특징으로 하는 멀티미디어 데이타의 특징소 정보 생성방법과 멀티미디어 데이타의 특징소 가중치 결정방법이다.

Description

사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법{RELEVANCE FEEDBACK SYSTEM OF MULTIMEDIA DATA}
본 발명은 사용자의 피드백(relevance feedback)을 사용해서 이미지 특징소(image feature)의 가중치(weight)를 결정하는 시스템에서, 최근 사용자 피드백 정보와 전체 피드백 정보를 함께 고려하여 이미지 특징소의 가중치를 결정하는 방법과 그 특징소 정보의 생성방법에 관한 것이다.
종래에 효과적인 이미지 검색을 위하여 이미지간의 유사도를 측정할 때 각 특징소별 또는 특징소내의 요소별로 가중치를 두어 유사도를 결정하는 방법을 사용하고 있다.
즉, 사용자의 요구에 응답하여 제시된 이미지들을 보고 사용자가 유사한 이미지 또는 유사하지 않은 이미지에 대한 피드백을 주면, 이 것을 이용해서 이미지의 각 특징소(칼라, 텍스쳐, 세이프, 칼라 히스토그램, 등등)별 가중치를 자동적으로 계산하여 검색에 사용하는 것이다.
이러한 학습된 가중치는 테이블로 저장하여 이후 검색에 다시 사용할 수 있도록 하기도 한다.
또, 아직 가중치가 형성되지 않은 이미지 검색시 유사한 유형의 다른 이미지의 이미 학습된 가중치를 사용할 수 있도록 하기도 하는데, 이 것을 위하여 유사한 이미지 그룹정보를 테이블로 관리한다.
즉, 현재 참조 이미지가 아직 가중치를 형성하지 않더라도 그 이미지가 속한 그룹의 다른 이미지들 중에서 가중치가 형성된 것이 있으면 그러한 가중치를 참조하여 검색에 사용하는 것이다.
앞에서 설명한 사용자 피드백을 반영한 이미지 검색에서, 사용자 피드백을 통해 학습된 가중치를 사용하는 방법은 그 이미지에 대해서 지금까지의 전체 피드백을 모두 반영한 값이라는 장점이 있지만, 사용자의 최근 피드백 패턴에 변화가 있을 때 이러한 최근 피드백 패턴의 변화를 반영하지 못한다는 단점이 있다.
예를 들어 해당 이미지가 다른 데이타 베이스로 옮겨졌을 경우, 사용자가 그동안 반영한 피드백 패턴과는 다른 형태의 피드백이 이루어질 것이다.
이 경우에는 데이타 베이스 이동 이후 일정 시간이 지나 피드백이 많이 반영된다면, 데이타 베이스 이동 이후에 일어난 피드백 패턴이 이전에 반영된 피드백보다 중요한 정보로 작용할 수 있을 것이다.
그렇지만 가중치 학습방법은 특정 기간 이내의 피드백만을 사용하여 학습된 결과가 아니므로, 최근에 변화된 사용자의 피드백 패턴은 앞에서 설명한 전체 피드백에 의한 가중치 학습정보만을 가지는 경우에 이 것을 거의 반영하지 못한다.
또한, 유사 이미지 그룹 정보를 리스트로 관리하는 경우에는 피드백된 모든 이미지들을 리스트로 관리할 수 없기 때문에(방대한 저장공간이 필요함), 최근에 피드백된 정보만을 사용하여 한정된 리스트를 관리하게 된다.
이 경우에는 최근 사용자 피드백 패턴은 반영할 수 있으나, 오히려 그 동안의 전체 피드백 패턴은 반영할 수 없는 단점을 가지게 된다.
예를 들어 최근의 사용자 피드백에 일관성이 존재하지 않을 경우 최근 기간이라는 제한된 피드백만으로 해당 이미지의 특징소 가중치를 결정하여 학습하게 되면, 해당 이미지의 특징을 오히려 반영하지 못하고 불규칙적인 특징소 가중치 학습에 의해서 이미지 특징정보의 신뢰도가 크게 떨어지게 되는 것이다.
본 발명은 사용자 피드백을 사용하여 이미지 특징소의 가중치를 결정할 때 기간 또는 빈도수에 대응하는 최근의 사용자 피드백 패턴을 전체 피드백 패턴과 함께 고려하여 이미지 특징소의 가중치를 결정하는 멀티미디어 데이타의 특징소 정보 생성방법과, 그 특징소 가중치 결정방법을 제공한다.
본 발명은 사용자 피드백을 사용하여 이미지 특징소의 가중치를 결정할 때 기간 또는 빈도수에 대응하는 최근의 사용자 피드백 정보와 전체 피드백 정보를 함께 고려하여 이미지 특징소의 가중치를 결정하고, 이때 최근 사용자 피드백 정보가 얼마나 신뢰적인지를 나타내는 신뢰도 정보와 전체 피드백 정보가 얼마나 신뢰적인지를 나타내는 신뢰도 정보, 또는 이들 두 정보들의 신뢰도에 비례하여 이미지 특징소의 가중치를 결정하는 멀티미디어 데이타의 특징소 정보 생성방법과 그 특징소 가중치를 결정하는 방법을 제공한다.
도1은 본 발명에 적용되는 이미지 데이타 구조를 나타낸 도면
도2는 본 발명에 적용되는 유사 이미지 리스트를 생성하기 위한 큐(QUEUE) 구조를 나타낸 도면
도3은 도2의 큐구조를 이용한 유사 이미지 리스트 관리방법의 플로우차트
도4는 도3의 수순에 의해 큐속의 내용이 변화하는 예를 나타낸 도면
도5는 도1의 멀티미디어 데이타 구조에서 최근의 피드백만을 반영한 유사 이미지 리스트 생성을 위한 리스트 구조를 나타낸 도면
도6은 도5의 리스트 구조에 적용되는 점수갱신 방법을 나타낸 도면
본 발명의 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법은; 이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해 결정하는 시스템에 있어서,이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해서 학습하여 결정하기 위하여, (a). 소정의 이미지 검색 결과에 대한 사용자 피드백을 받는 단계, (b). 상기 소정의 이미지에 대한 최근의 사용자 피드백 정보와 지금까지의 전체 피드백 정보를 멀티미디어 특징소 정보에 포함시키는 단계;로 이루어진 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법이다.
또한 본 발명에서 상기 최근 피드백 정보는 소정의 기간이나 소정의 빈도수에 의해서 최근 피드백 정보와 전체 피드백 정보로 고려되는 것을 특징으로 한다.
또한 본 발명에서 상기 최근 피드백 정보는 최근 사용자의 피드백에 의해서 학습된 가중치 값이거나 유사 이미지 정보이고, 전체 피드백 정보는 그 동안 지금까지 주어진 모든 피드백에 의해서 학습된 가중치 값으로 표현되는 것을 특징으로 한다.
또한 본 발명에서 상기 최근 사용자 피드백 정보가 얼마나 신뢰적인지를 나타내는 최근 사용자 피드백 신뢰도 정보와, 전체 피드백 정보가 얼마나 신뢰적인지를 나타내는 전체 피드백 신뢰도 정보를 더 포함하여, 이미지 특징소의 가중치가 최근 사용자 피드백 정보, 또는 전체 피드백 정보, 또는 최근과 전체 피드백 정보들의 신뢰도에 비례하여 결정되는 것을 특징으로 한다.
본 발명의 사용자 피드백 변화를 반영한 멀티미디어 데이타를 이용하는 특징소 가중치의 결정방법은; 이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해 결정하는 시스템에 있어서,
(a). 소정의 이미지에 대한 특징소 묘사정보와 그 이미지에 대한 최근 및 전체 피드백 정보와 함께 각 피드백 정보의 신뢰도 정보를 포함하는 멀티미디어 데이타 구조를 가지고,
(b). 사용자의 피드백에 응답하여 상기 피드백 정보 및 그 신뢰도를 학습하여 갱신하는 단계와,
(c). 상기 최근 피드백 정보의 신뢰도, 또는 전체 피드백 정보의 신뢰도, 또는 이들 두 정보들의 신뢰도에 비례하여 이미지 특징소의 가중치를 결정하여 검색에 이용하는 단계;
로 이루어진 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법이다.
또한 본 발명의 특징소 가중치 결정방법에서, 상기 최근 사용자 피드백 정보는 최근 사용자 피드백에 의해서 학습된 이미지 특징소의 가중치값으로 표현되거나, 유사 이미지 정보로 표현되고, 상기 전체 피드백 정보는 그 동안 주어진 모든 피드백에 의해서 학습된 특징소 가중치 값으로 표현되는 것을 특징으로 한다.
또한 본 발명의 특징소 가중치 결정방법에서, 상기 최근 사용자 피드백 정보에 대한 신뢰도는 최근 사용패턴이나 피드백의 일관성에 비례하여 결정되는 것을 특징으로 한다.
또한 본 발명의 특징소 가중치 결정방법에서, 상기 전체 피드백 정보의 신뢰도는 학습에 참여한 피드백의 횟수에 비례하여 결정되는 것을 특징으로 한다.
또한 본 발명의 특징소 가중치 결정방법에서, 상기 최근 사용자 피드백 정보는 유사 이미지의 리스트로 표현되고, 이 유사 이미지 리스트로 최근 사용자 피드백 패턴을 반영하기 위해서 큐(QUEUE)알고리즘을 사용하는 것을 특징으로 한다.
또한 본 발명에서 상기 큐알고리즘은;
(a). 유사한 멀티미디어 객체가 피드백되었을 때, 해당 객체가 현재의 큐에존재하는지를 검사하는 단계,
(b). 상기 해당 객체가 현재의 큐에 존재하지 않으면 해당 멀티미디어 객체를 큐입구의 최상위 공간으로 입력하고, 해당 객체의 피드백 횟수는 1로 세팅하며, 기왕에 존재하던 객체들은 큐내에서 한 공간씩 하위로 밀리게 하는 단계,
(c). 상기 해당 객체가 현재의 큐에 존재하면 존재하는 객체의 피드백 횟수를 증가시키고, 해당 객체의 위치를 N만큼 상위로 전진시키는 단계,
(d). 상기 각 단계에서 큐의 크기보다 하위로 밀리는 객체가 발생하는 경우 해당 객체를 큐에서 삭제하는 단계;
로 이루어진 것을 특징으로 한다.
또한 본 발명의 큐 알고리즘에서 N은 고정되거나 객체에 따라 가변적으로 설정되는 것을 특징을 한다.
또한 본 발명의 큐 알고리즘에서 N이 객체의 출현 빈도수에 반비례하게 변동되는 것을 특징으로 한다.
또한 본 발명의 큐 알고리즘에서 유사한 멀티미디어 객체가 피드백 되었을 때, 상기 유사한 멀티미디어 객체가 큐내에 존재하지 않으면 현재 피드백된 객체가 특정 임계치 이상 피드백 되었을 경우에만 큐에 입력함을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의, 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법과, 이 멀티미디어 데이타를 이용한 특징소 가중치 결정방법을 더욱 상세하게 설명한다.
먼저, 도1은 본 발명에 적용되는 이미지 데이타 구조를 나타낸 도면으로서,이미지 검색을 위해서 사용되는 특징소들의 가중치를 사용자의 피드백에 의해 학습하여 결정하는 기술을 적용하기 위한 이미지 데이타 구조의 한가지를 예를 들어 나타낸 것이다.
도1에서 이미지 묘사정보(Image Scheme)(101)는 최근 피드백 정보(Recent Feedback Scheme)(102)와 전체 피드백 정보(Weight Scheme)(103)를 포함하고 있다.
최근 사용자 피드백 정보(102)는 최근(기간 또는 빈도수) 동안 사용자 피드백에 의해서 구성된 유사 이미지 리스트 정보(Similar Image List)(104)를 포함하고, 이 유사 이미지 리스트 정보가 얼마나 신뢰적인지를 나타내는 신뢰도 정보(Reliability)(105)를 가진다.
유사 이미지 리스트 정보(104)는 유사 이미지 정보(Similar List)(106)와 그 이미지에 대한 피드백수(# of feedback)(107)로 기술된다.
즉, 최근 사용된 이미지 리스트는 최근에 유사 이미지에 대한 피드백에 의해서 구성되는데, 리스트내의 하나의 아이템(item)은 유사 이미지(106)와, 유사하다는 피드백의 횟수(107)로 구성된다.
한편, 상기 전체 피드백 정보(103)는 처음부터 지금까지의 모든 사용자 피드백에 의해서 학습된 가중치(Weights)(108)와 그 신뢰도(109)를 포함한다.
도1에서 최근 사용자 피드백에 대한 신뢰도(Reliability)는 다음의 수학식1과 같이 계산될 수 있다.
단, N은 피드백수, m은 유사이미지 리스트내의 이미지수, ni는 i번째 이미지에 대해서 주어진 피드백수 이다.
그리고, 전체 피드백에 대한 신뢰도(Reliability)는 다음의 수학식2와 같이 정의될 수 있다.
단, n은 사용자 권한 등급(이미지의 유사 여부를 판단하여 피드백을 주었을 때 전문가의 피드백이 비전문가의 피드백에 비하여 더욱 높은 신뢰도를 가질 수 있으므로 피드백이 특징소 가중치에 영향을 미치는 권한을 등급으로 나눈다), ek는 사용자 권한등급(k)에 의해서 가중치 갱신치에 얼마만큼의 영향을 미칠 수 있는가를 정하는 정도, Nk는 사용자 권한등급(k)에 의한 피드백 횟수 이다.(사용자 권한등급은 전문가일 경우 상대적으로 영향을 미치는 정도가 높고, 일반 사용자일 경우는 낮다. 사용자 권한등급이 고려되지 않을 경우 신뢰도값은 단지 학습에 참여한 피드백의 수에 비례한다).
최근 사용자 피드백 정보를 사용해서 특징소의 가중치를 계산할 수 있는데, 이렇게 계산된 가중치와 전체 정보에 표현된 가중치를 조합할 때, 이들 정보의 가중치는 앞에서 구해진 신뢰도에 비례하여 이미지 검색에 사용한다.
도1의 멀티미디어 데이타 구조에서 최근 피드백 정보(102)는 유사 이미지의 리스트로서 표현되고 있으나, 이 것을 전체 피드백 정보(103)처럼 최근 사용자의 피드백에 의해 학습된 특징소 가중치값으로 표현해도 된다.
그리고, 최근 사용자 피드백 정보(또는 최근 사용 패턴)는 소정의 설정된 일정 기간 이내에 주어진 사용자 패턴이나 피드백에 의한 정보이거나, 또는 최근의 일정한 횟수(빈도수) 이내에 주어진 사용자 패턴이나 피드백에 의한 정보로 하여 최근 정보를 표현한다.
예를 들어 최근의 기간(d) 이내에 해당 이미지에 대한 피드백 정보로 하고, 그 기간(d)을 경과한 이전의 이미지들은 삭제해 나가는 방법으로 최근 정보를 표현하거나, 또는 소정의 설정된 임계치(th_number)를 가지고 최근에 주어진 피드백중 임계치 번째 이내로 주어진 피드백된 이미지들 만으로 최근 정보를 표현함으로써, 최근의 사용자 피드백(패턴)의 변화를 반영하도록 한다.
즉, 일회성이나 불규칙한 사용자 피드백을 배제하거나 그 영향을 최소화하여 일관성있는 사용자 패턴변화를 고려할 수 있도록 한다.
특히, 상기 수학식1 또는 수학식1로 표현되는 각 정보의 신뢰도를 고려함으로써, 두 정보의 가중치는 최근 정보의 신뢰도, 또는 전체 정보의 신뢰도, 또는 최근과 전체 정보의 신뢰도에 비례하여 이미지 특징소 가중치를 결정함으로써, 사용자 피드백의 변화를 충분하게 반영할 수 있게 한다.
또한, 최근 정보에 대한 신뢰도는 최근 사용패턴 또는 피드백의 일관성에 비례하고, 전체 정보의 신뢰도는 학습에 참여한 피드백의 횟수에 비례하도록 하여, 이미지 특징소의 가중치를 결정함으로써, 전체 피드백 정보와 최근 피드백 정보를 함께 고려한 멀티미디어 객체 검색이 가능하게 하였다.
도2는 도1의 멀티미디어 데이타 구조에서 최근의 피드백만을 반영한 유사 이미지 리스트를 생성하기 위한 큐 구조를 보여준다.
특정 이미지(유사하다고 피드백된 이미지)를 표현하기 위한 이미지ID(Image ID)와 해당 이미지에 대한 피드백 횟수(# of feedback)가 기록되는 구조이며, 입구(Entrance) 쪽을 상위로 보고, 출구(Exit)쪽을 하위로 본다.
도3은 도2의 큐 구조를 이용해서 최근의 사용자 피드백만을 반영한 유사 이미지를 관리하는 방법을 나타낸다.
단계(301)에서는 사용자 피드백 이미지A를 받아들이고, 단계(302)에서는 상기 이미지A가 도3의 큐 안에 있는가를 검사한다.
현재 입력된 이미지A가 이미 큐안에 있다면 단계(303)에서 이미지A의 피드백수를 증가시키고, 단계(304)에서 이미지A의 위치를 N만큼 큐의 입구쪽으로 전진시킨다.
입력된 이미지A가 큐안에 없는 경우에는 단계(305)에서 이미지A를 큐의 첫번째(최상위)에 위치시킨다.
이와같은 과정을 반복하면 이미 큐속에 있는 이미지라도 한동안 피드백으로사용되지 않을 경우 계속 새로운 피드백에 의해서 하위로 밀리다가,큐 속의 이미지들이 큐의 제한 크기를 넘어서면 자동적으로 큐에서 삭제되고, 처음 입력된 이미지의 경우는 항상 큐의 입구쪽에 위치하게 되어, 항상 최근의 사용자 피드백 정보(유사 이미지 리스트 및 각각의 피드백 횟수)를 유지할 수 있게 되는 것이다.
도4는 도3의 수순의 이해를 돕기 위하여 큐속의 내용이 변화하는 예를 보여준 것이다.
여기서 N은 3으로 고정되어 있고 큐의 크기는 10으로 하였다.
그러면, 이미지A,B,C,D,E가 차례로 입력되었을 경우, 큐의 내용은 단계(401∼405)와 같은 형태가 된다.
이후 단계(406)에서 이미지A가 피드백 되었다면 이미지A의 피드백 횟수가 2로 증가하면서 위치는 N=3만큼 큐 입구(최상위)쪽으로 전진하게 되는 것이다.
여기서 N은 고정된 값일 수도 있지만, 멀티미디어 객체에 따라 가변적으로 적용될 수도 있다.
예를 들어, N이 객체의 출현 빈도수에 반비례하게 변동되도록 할 수 있다.
즉, 임의의 멀티미디어 객체가 사용자가 피드백을 결정하기 전에 피드백 후보들로 포함되어 등장할 확률이 항상 다른 객체에 비해 1/2이라면 이 객체에 대한 N은 다른 객체에 비해 두배가 되도록 하는 것이다.
또한, 유사한 멀티미디어 객체가 피드백 되었을 때, 만일 큐 안에 그 객체가 존재하지 않으면 해당 객체를 무조건 큐 입구의 첫번째 공간으로 입력하고 해당 객체의 피드백 횟수는 1로 세팅하는 대신, 현재 피드백된 객체가 설정된 소정의 특정임계치 이상 피드백 되었을 경우에만 큐에 입력하는 방법으로 최근 정보(유사 이미지 리스트 정보)를 관리할 수도 있다.
이 것은 단발성 피드백을 그대로 반영하는 것을 방지할 수 있게 한다.
도5는 도1의 멀티미디어 데이타 구조에서 최근의 피드백만을 반영한 유사 이미지 리스트를 생성하기 위한 또다른 리스트 구조를 보여준다.
도5를 살펴보면, 이미지 예의 리스트(Example List)(501)에 포함되는 이미지의 예시정보(Example)(502)가 그 이미지ID(Example ID)(503)와, 피드백 받은 유사 이미지의 점수(Score)(504)와, 마지막으로 피드백 받은 시간으로부터 현재까지의 시간격을 나타내는 시간격 정보(Waiting duration)(505)로 구성됨을 보이고 있다.
여기서, 시간격은 피드백 받을 때 '0'으로 설정되고, 매 일(또는 시, 월)이 지날 때 마다 '1'씩 증가하거나 또는 임의의 피드백이 도착할 때 마다 '1'씩 증가함으로써 유지될 수 있다.
이러한 정보를 사용하여 점수(Score)를 관리하는 방법은 피드백이 들어올 때 마다 이미지 리스트 내의 이미지 점수들이 갱신되는데,
(a). 유사 이미지 내에 피드백 받은 이미지에 대해서는;
Score(new) = Score(current)×fW(Wait Duration) + 1,
(b). 피드백 받지 않은 다른 이미지에 대해서는;
Score(new) = Score(current)×fW(Wait Duration)
의 계산에 의해서 갱신되며, 이때 fW()는 시간격이 클수록 작은 값을 리턴하는 특성을 갖는 함수로써, 도6에 이러한 함수의 예를 표현하였다.
이와같은 방법으로 한동안 피드백 받지 않은 유사 이미지는 fW에 의해 매우 작은 값이 리턴되므로, 이전에 많은 점수를 기록했더라도 적은 점수를 갖게 된다.
이미지 리스트 내에서는 이러한 점수를 기준으로 일정 임계치 이상인 이미지만 리스트로 관리하던가 혹은 상위 N개의 이미지만 리스트로 관리할 수 있다.
본 발명은 사용자 피드백에 의한 특징소 가중치를 학습하고 또 그 것을 이용해서 이미지 검색을 실행할 때, 최근 사용자 패턴(피드백 정보)와 전체 피드백 정보를 함께 고려하여, 최근 사용자 피드백(패턴) 변화를 반영할 수 있으므로, 사용자의 의도를 정확하게 반영한 이미지 검색을 가능하게 한다.

Claims (18)

  1. 이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해서 학습하여 결정하기 위하여, (a). 소정의 이미지 검색 결과에 대한 사용자 피드백을 받는 단계, (b). 상기 소정의 이미지에 대한 최근의 사용자 피드백 정보와 지금까지의 전체 피드백 정보를 멀티미디어 특징소 정보에 포함시키는 단계; 로 이루어진 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법.
  2. 제 1 항에 있어서, 상기 최근 피드백 정보는 소정의 기간이나 소정의 빈도수에 의해서 최근 피드백 정보와 전체 피드백 정보로 고려되는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법.
  3. 제 1 항에 있어서, 상기 최근 피드백 정보는 최근 사용자의 피드백에 의해서 학습된 가중치 값이거나 유사 이미지 정보이고, 전체 피드백 정보는 그 동안 지금까지 주어진 모든 피드백에 의해서 학습된 가중치 값으로 표현되는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법.
  4. 제 1 항에 있어서, 상기 최근 사용자 피드백 정보가 얼마나 신뢰적인지를 나타내는 최근 사용자 피드백 신뢰도 정보와, 전체 피드백 정보가 얼마나 신뢰적인지를 나타내는 전체 피드백 신뢰도 정보를 더 포함하는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법.
  5. 제 4 항에 있어서, 상기 최근 사용자 피드백 신뢰도 정보는
    (단, N은 피드백수, m은 유사이미지 리스트내의 이미지수, ni는 i번째 이미지에 대해서 주어진 피드백수)
    로 표현되는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법.
  6. 멀티미디어 데이타의 특징소 정보를 생성함에 있어서, 최근 사용자 피드백 정보를 유사 이미지의 리스트로 표현하고, 이 유사 이미지 리스트로 최근 사용자 피드백 패턴을 반영하기 위해서 큐(QUEUE)알고리즘을 사용하는 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  7. 제 6 항에 있어서, 상기 큐알고리즘은;
    (a). 유사한 멀티미디어 객체가 피드백되었을 때, 해당 객체가 현재의 큐에 존재하는지를 검사하는 단계,
    (b). 상기 해당 객체가 현재의 큐에 존재하지 않으면 해당 멀티미디어 객체를 큐입구의 최상위 공간으로 입력하고, 해당 객체의 피드백 횟수는 1로 세팅하며, 기왕에 존재하던 객체들은 큐내에서 한 공간씩 하위로 밀리게 하는 단계,
    (c). 상기 해당 객체가 현재의 큐에 존재하면 존재하는 객체의 피드백 횟수를 증가시키고, 해당 객체의 위치를 N만큼 상위로 전진시키는 단계,
    (d). 상기 각 단계에서 큐의 크기보다 하위로 밀리는 객체가 발생하는 경우 해당 객체를 큐에서 삭제하는 단계;
    로 이루어진 것을 특징으로 멀티미디어 데이타 특징소의 가중치 결정방법.
  8. 제 7 항에 있어서, 상기 N은 고정되거나 객체에 따라 가변적으로 설정되는 것을 특징을 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  9. 제 7 항 또는 제 8 항에 있어서, 상기 N이 객체의 출현 빈도수에 반비례하게 변동되는 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  10. 제 7 항에 있어서, 상기 유사한 멀티미디어 객체가 피드백 되었을 때, 상기 유사한 멀티미디어 객체가 큐내에 존재하지 않으면 현재 피드백된 객체가 특정 임계치 이상 피드백 되었을 경우에만 큐에 입력함을 특징으로 멀티미디어 데이타 특징소의 가중치 결정방법.
  11. 제 1 항에 있어서, 상기 최근 사용자 피드백 정보는 유사 이미지의 리스트로 표현되고, 이 유사 이미지 리스트로 최근 사용자 피드백 패턴을 반영하기 위해서, 유사 이미지(또는 유사 이미지 ID)와, 최근 피드백을 반영하는 점수(Score), 마지막으로 피드백을 받은 시기로부터 현재까지의 시간격(Waiting Duration)으로 구성된 이미지 리스트를 가지는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법.
  12. 제 11 항에 기재된 특징소 정보 생성방법의 상기 이미지 리스트는; 점수가 일정 임계치 이상인 것만 리스트로 유지하거나, 리스트 사이즈가 N일 때 점수가 상위 N인 것만 리스트로 유지하는 방법으로 유사이미지 리스트가 관리되는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타 특징소 정보의 유사 이미지 리스트 관리방법.
  13. 제 11 항에 기재된 특징소 정보 생성방법의 상기 최근 피드백을 반영하는 점수(Score)의 갱신은, 매 피드백이 들어올 때 마다,
    (a). 피드백 받은 이미지에 대해서는;
    Score(new) = Score(current)×fW(Wait Duration) + 1,
    (b). 피드백 받은 이미지 외의 리스트에 존재하는 모든 이미지들에 대해서는;
    Score(new) = Score(current)×fW(Wait Duration),
    (c). fW(Wait Duration) = Wait Duration 이 클수록 작은 값을 리턴하는 특성을 가지는 함수;
    에 의해서 상기 점수가 갱신되는 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타 특징소 정보의 피드백 반영점수 갱신방법.
  14. 이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해 결정하는 시스템에 있어서,
    (a). 소정의 이미지에 대한 특징소 묘사정보와 그 이미지에 대한 최근 및 전체 피드백 정보와 함께 각 피드백 정보의 신뢰도 정보를 포함하는 멀티미디어 데이타 구조를 가지고,
    (b). 사용자의 피드백에 응답하여 상기 피드백 정보 및 그 신뢰도를 학습하여 갱신하는 단계와,
    (c). 상기 최근 피드백 정보의 신뢰도, 또는 전체 피드백 정보의 신뢰도, 또는 이들 두 정보들의 신뢰도에 비례하여 이미지 특징소의 가중치를 결정하여 검색에 이용하는 단계;
    로 이루어진 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  15. 제 14 항에 있어서, 상기 최근 사용자 피드백 정보는 최근 사용자 피드백에 의해서 학습된 이미지 특징소의 가중치값으로 표현되거나, 유사 이미지 정보로 표현되고, 상기 전체 피드백 정보는 그 동안 주어진 모든 피드백에 의해서 학습된 특징소 가중치 값으로 표현되는 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  16. 제 14 항에 있어서, 상기 최근 사용자 피드백 정보에 대한 신뢰도는 최근 사용패턴이나 피드백의 일관성에 비례하여 결정되는 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  17. 제 14 항에 있어서, 상기 전체 피드백 정보의 신뢰도는 학습에 참여한 피드백의 횟수에 비례하여 결정되는 것을 특징으로 하는 멀티미디어 데이타 특징소의 가중치 결정방법.
  18. 이미지 검색에 사용되는 특징소들의 가중치를 사용자 피드백에 의해서 학습하여 결정하기 위하여,
    (a). 소정의 이미지 검색 결과에 대한 사용자 피드백을 받는 단계,
    (b). 상기 소정의 이미지에 대한 최근의 사용자 피드백 정보와 지금까지의 전체 피드백 정보를 멀티미디어 특징소 정보에 포함시키는 단계,
    (c). 상기 최근 사용자 피드백 정보와 전체 피드백 정보를 함께 고려하여 이미지 특징소의 가중치를 결정한 후 검색에 이용하는 단계; 로 이루어진 것을 특징으로 하는 사용자 피드백 변화를 반영한 멀티미디어 데이타 검색방법.
KR1019990041138A 1999-09-22 1999-09-22 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법 KR100351400B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019990041138A KR100351400B1 (ko) 1999-09-22 1999-09-22 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법
US09/666,281 US6845371B1 (en) 1999-09-22 2000-09-21 Multimedia data structure reflecting change of user relevance feedback and method of determining weights of image features of multimedia data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990041138A KR100351400B1 (ko) 1999-09-22 1999-09-22 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법

Publications (2)

Publication Number Publication Date
KR20010028739A KR20010028739A (ko) 2001-04-06
KR100351400B1 true KR100351400B1 (ko) 2002-09-10

Family

ID=19612781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990041138A KR100351400B1 (ko) 1999-09-22 1999-09-22 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법

Country Status (2)

Country Link
US (1) US6845371B1 (ko)
KR (1) KR100351400B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102333428B1 (ko) * 2021-01-25 2021-12-02 주식회사 시리오 인공지능 모델을 이용한 어군 탐지 방법, 장치 및 컴퓨터프로그램

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040182209A1 (en) * 2003-03-18 2004-09-23 Franco James S. Cold-headed standoff
KR100902010B1 (ko) * 2007-06-18 2009-06-12 서강대학교산학협력단 연관 피드백을 포함한 내용 기반 멀티미디어 검색 방법
TWI486048B (zh) * 2008-09-12 2015-05-21 Chi Mei Comm Systems Inc 手機圖片轉換系統及方法
KR101072691B1 (ko) * 2009-07-23 2011-10-11 포항공과대학교 산학협력단 연관성 피드백을 이용한 데이터베이스 검색 방법 및 이를 수행하는 프로그램을 기록한 기록매체
TWI480751B (zh) 2012-12-27 2015-04-11 Ind Tech Res Inst 互動式關聯物件檢索方法與系統
JP5883821B2 (ja) * 2013-03-28 2016-03-15 富士フイルム株式会社 画像検索装置およびその動作制御方法ならびに画像検索サーバ
US20150095320A1 (en) * 2013-09-27 2015-04-02 Trooclick France Apparatus, systems and methods for scoring the reliability of online information
CN111310059B (zh) * 2020-04-01 2023-11-21 东软睿驰汽车技术（沈阳）有限公司 基于聚合资源的用户意图定位方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
JPH1139332A (ja) * 1997-07-22 1999-02-12 Hitachi Ltd 画像検索方法およびその装置およびこれを利用した検索サービス
JPH1166107A (ja) * 1997-07-31 1999-03-09 Samsung Electron Co Ltd コンピュータにおける映像情報検索装置及び方法
KR20000031480A (ko) * 1998-11-06 2000-06-05 이계철 정보 서비스 장치 및 그 방법
KR20000054898A (ko) * 1999-02-01 2000-09-05 김영환 컴퓨터를 이용한 멀티미디어 정보검색 방법 및 그 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4176395A (en) * 1977-11-16 1979-11-27 Clemar Manufacturing Corporation Interactive irrigation control system
US5281995A (en) * 1990-07-27 1994-01-25 Fuji Photo Film Co., Ltd. Method of determining an exposure for use in an image forming apparatus
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
US6084227A (en) * 1995-01-30 2000-07-04 Rhoads; Geoffrey B. Method and apparatus for wide field distortion-compensated imaging
US6173275B1 (en) * 1993-09-20 2001-01-09 Hnc Software, Inc. Representation and retrieval of images using context vectors derived from image information elements
SE502658C2 (sv) * 1994-02-28 1995-12-04 Non Stop Info Ab Förfarande och kontrollanordning för avläsning av identitets -och värdehandlingar.
US6460036B1 (en) * 1994-11-29 2002-10-01 Pinpoint Incorporated System and method for providing customized electronic newspapers and target advertisements
US5652899A (en) * 1995-03-03 1997-07-29 International Business Machines Corporation Software understanding aid for generating and displaying simiplified code flow paths with respect to target code statements
US6067539A (en) * 1998-03-02 2000-05-23 Vigil, Inc. Intelligent information retrieval system
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6347313B1 (en) * 1999-03-01 2002-02-12 Hewlett-Packard Company Information embedding based on user relevance feedback for object retrieval
US6304864B1 (en) * 1999-04-20 2001-10-16 Textwise Llc System for retrieving multimedia information from the internet using multiple evolving intelligent agents

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
JPH1139332A (ja) * 1997-07-22 1999-02-12 Hitachi Ltd 画像検索方法およびその装置およびこれを利用した検索サービス
JPH1166107A (ja) * 1997-07-31 1999-03-09 Samsung Electron Co Ltd コンピュータにおける映像情報検索装置及び方法
KR20000031480A (ko) * 1998-11-06 2000-06-05 이계철 정보 서비스 장치 및 그 방법
KR20000054898A (ko) * 1999-02-01 2000-09-05 김영환 컴퓨터를 이용한 멀티미디어 정보검색 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102333428B1 (ko) * 2021-01-25 2021-12-02 주식회사 시리오 인공지능 모델을 이용한 어군 탐지 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
KR20010028739A (ko) 2001-04-06
US6845371B1 (en) 2005-01-18

Similar Documents

Publication Publication Date Title
US11868724B2 (en) Generating author vectors
Gittins et al. Multi-armed bandit allocation indices
CN111729305B (zh) 地图场景预加载方法、模型训练方法、设备及存储介质
CN109905772B (zh) 视频片段查询方法、装置、计算机设备及存储介质
US9396183B2 (en) System and method for building diverse language models
WO2019114147A1 (zh) 图像美学处理方法及电子设备
US20190164084A1 (en) Method of and system for generating prediction quality parameter for a prediction model executed in a machine learning algorithm
EP3602419B1 (en) Neural network optimizer search
US10540411B2 (en) Candidate answers for speculative questions in a deep question answering system
Downey et al. Learning text patterns for web information extraction and assessment
US11907821B2 (en) Population-based training of machine learning models
JP2006502480A (ja) 関連する単語のクラスタに基づいて、文書を特徴付けるための方法および装置
CN104487918B (zh) 从缓冲区进行字符串预测
CN113360646B (zh) 基于动态权重的文本生成方法、设备及存储介质
US11829714B2 (en) Constructing answers to queries through use of a deep model
KR100351400B1 (ko) 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법
CN111080225A (zh) 项目加速的自动评估
US10789533B2 (en) Generating a consistently labeled training dataset by automatically generating and displaying a set of most similar previously-labeled texts and their previously assigned labels for each text that is being labeled for the training dataset
Kim et al. A Bi-LSTM memory network for end-to-end goal-oriented dialog learning
CN109086345B (zh) 一种内容识别方法、内容分发方法、装置及电子设备
CN114943077B (zh) 基于深度强化学习的恶意pdf文件对抗样本生成方法
CN112508177A (zh) 一种网络结构搜索方法、装置、电子设备及存储介质
CN113111185A (zh) 一种用于知识图谱补全任务的关键路径构建方法和系统
Bowers Does masked and unmasked priming reflect Bayesian inference as implemented in the Bayesian Reader?
CN110210034B (zh) 信息查询方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee