KR100516289B1 - 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법 - Google Patents

퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법 Download PDF

Info

Publication number
KR100516289B1
KR100516289B1 KR10-2000-0064956A KR20000064956A KR100516289B1 KR 100516289 B1 KR100516289 B1 KR 100516289B1 KR 20000064956 A KR20000064956 A KR 20000064956A KR 100516289 B1 KR100516289 B1 KR 100516289B1
Authority
KR
South Korea
Prior art keywords
fuzzy
image
similarity
user
opinion
Prior art date
Application number
KR10-2000-0064956A
Other languages
English (en)
Other versions
KR20020034564A (ko
Inventor
최영식
김진한
윤은일
이상홍
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR10-2000-0064956A priority Critical patent/KR100516289B1/ko
Priority to US09/735,920 priority patent/US6744935B2/en
Publication of KR20020034564A publication Critical patent/KR20020034564A/ko
Application granted granted Critical
Publication of KR100516289B1 publication Critical patent/KR100516289B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 퍼지 측정과 퍼지 적분을 이용하여 영상 유사성을 결합하고, 사용자의 의견을 반영하여 영상 특징에 대한 중요성을 자동으로 계산하여 검색 결과를 향상시키기 위한, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 적용되는 내용기반 영상 검색 방법에 있어서, 새로운 질의 영상에 따라 데이터베이스에 저장된 영상과 질의 영상간의 유사성을 각 특징별로 측정하는 제1 측정단계; 상기 각 특징별로 측정된 유사성을 퍼지 적분을 이용하여 결합하여 퍼지 적분에 의한 유사성을 측정하는 제2 측정단계; 최종적으로 구해진 유사성에 따라 유사성이 높은 영상을 순차적으로 불러와 검색 결과를 전달하는 검색 결과 전달단계; 및 질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도를 재계산하여 변화된 영상을 출력하는 영상 출력단계를 포함함.
4. 발명의 중요한 용도
본 발명은 내용기반 영상 검색 장치 등에 이용됨.

Description

퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법{Content based image reference apparatus and method for relevance feedback using fussy integral}
본 발명은 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 영상 특징을 결합할 때 퍼지 적분을 이용하여 결합하고, 사용자의 의견에 따라 퍼지 적분에 필요한 매개변수를 조절하여 유사도를 계산함으로써 검색 결과를 향상시키기 위한, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
즉, 본 발명은, 영상의 색상, 질감, 모양 및 움직임 등 다양한 영상 특징을 이용하여 검색하는 내용기반 영상 검색 시스템에서 사용자의 질의에 따라 일차적으로 출력된 검색 결과에 대한 사용자의 의견(즉, 각각의 검색된 결과에 대하여 원하는 결과인지 아닌지에 대한 사용자의 의견)을 피드백받아 일차 검색 결과보다 향상된 검색 결과를 제공하기 위한, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
내용기반 영상 검색 장치는, 질의 영상과 데이터베이스(DB) 영상(데이터베이스에 있는 영상)에서 특징을 추출하고, 정의된 영상 특징간의 유사성 측정 방식에 의거하여 유사성을 계산한 후, 질의 영상과 유사성이 높은 순으로 DB 영상을 사용자에게 순차적으로 보여준다.
일반적으로, 영상의 특징을 결합하여 검색하는 방법은 한 개만의 영상 특징을 이용하여 검색하는 방법 보다 더 나은 검색 결과를 준다. 따라서, 영상 특징을 결합하여 검색하기 위하여 각 특징의 중요도에 따라 가중치를 부가하는 가중치 평균(Weighted Averaging) 방식을 주로 사용하여 왔다.
그러나, 종래의 가중치 평균 방식은 일반 사용자들이 가중치를 정확하게 조절할 수 없었고, 다양한 질의 형태를 모델링하기도 어려웠다. 예를 들어, "5개의 특징 중에서 임의의 3가지 특징을 사용하여 주어진 영상과 유사한 영상을 검색하라"는 질의는 가중치 평균 방식으로 처리할 수가 없다. 왜냐하면, 3가지 특징을 어떻게 선택하여 유사도 계산에 적용해야 할지를 모르기 때문이다.
뿐만 아니라, 가중치 평균 방식은 영상 특징 간의 상호 작용을 고려하지 않는다. 즉, 각각의 영상 특징이 서로 독립적이라는 가정하에 선형적으로 유사성을 결합한다. 그러나, 일반적으로 영상 특징은 서로 독립적이지 않기 때문에 특징간의 상호 작용을 고려하여야 한다. 예를 들어, 두 개의 특징이 연관성이 크다면, 이들 특징들에 대한 가중치는 각각의 가중치의 합보다는 작아야 한다. 또한, 어떤 특징은 다른 특징의 존재 여부에 따라 가중치가 달라질 수 있다.
따라서, 현재 내용기반 영상 검색 기술 분야에서는, 퍼지 적분(Fuzzy Integral)을 이용하여 영상 유사성을 결합하고, 사용자의 의견에 따라 퍼지 적분에 필요한 매개변수를 조절 및 유사도를 계산하여 종래의 가중치 조절에서 표현할 수 없는 다양한 사용자 의견을 반영할 수 있는 방안이 요구되고 있다.
본 발명은, 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 퍼지 측정과 퍼지 적분(Fuzzy integral)을 이용하여 영상 유사성을 결합하고, 사용자의 의견을 반용하여 영상 특징에 대한 중요성을 자동으로 계산하여 검색 결과를 향상시키기 위한, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 장치는, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 있어서, 사용자로부터의 영상을 입력받기 위한 영상 입력 수단; 상기 영상 입력 수단을 통해 입력된 영상으로부터 영상 유사성 계산에 필요한 영상 특징을 추출하기 위한 특징 추출 수단; 상기 특징 추출 수단에서 추출된 영상 특징들을 저장하기 위한 제1 저장수단; 상기 영상 입력 수단을 통해 입력된 영상을 분할하여 소형 영상을 생성하기 위한 소형 영상 생성 수단; 상기 소형 영상 생성 수단에서 생성된 소형 영상을 저장하기 위한 제2 저장수단; 상기 제1 저장수단의 영상 특징을 이용하여 선택 질의 영상과 DB 영상과의 유사성을 각 특징별로 계산하기 위한 유사성 계산수단; 상기 유사성 계산수단을 통해 계산된 특징별 유사성을 퍼지 적분을 이용하여 결합하여 최종적인 영상 유사성을 측정하기 위한 유사성 측정수단; 사용자로부터의 질의를 해석하여 유사성을 측정하고, 측정된 유사성에 따라 상기 제2 저장수단을 통해 영상을 순차적으로 불러와 전달하기 위한 질의 처리수단; 및 상기 질의 처리수단으로부터 전달된 영상 데이터에 대해 사용자의 의견을 반영하고, 상기 사용자 의견 반영 결과에 따른 선택 정보를 상기 질의 처리수단으로 전달하기 위한 사용자 인터페이싱수단을 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명의 방법은, 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 적용되는 내용기반 영상 검색 방법에 있어서, 새로운 질의 영상에 따라 데이터베이스에 저장된 영상과 질의 영상간의 유사성을 각 특징별로 측정하는 제1 측정단계; 상기 각 특징별로 측정된 유사성을 퍼지 적분을 이용하여 결합하여 퍼지 적분에 의한 유사성을 측정하는 제2 측정단계; 최종적으로 구해진 유사성에 따라 유사성이 높은 영상을 순차적으로 불러와 검색 결과를 전달하는 검색 결과 전달단계; 및 질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도를 재계산하여 변화된 영상을 출력하는 영상 출력단계를 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은, 프로세서를 구비한 내용기반 영상 검색 장치에, 새로운 질의 영상에 따라 데이터베이스에 저장된 영상과 질의 영상간의 유사성을 각 특징별로 측정하는 제1 측정기능; 상기 각 특징별로 측정된 유사성을 퍼지 적분을 이용하여 결합하여 퍼지 적분에 의한 유사성을 측정하는 제2 측정기능; 최종적으로 구해진 유사성에 따라 유사성이 높은 영상을 순차적으로 불러와 검색 결과를 전달하는 검색 결과 전달기능; 및 질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도를 재계산하여 변화된 영상을 출력하는 영상 출력기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에서 내용기반 영상 검색을 위해서는 일반적으로 색상, 질감, 모양 등 여러 특징들을 영상에서 추출하고, 이들 특징간의 유사성을 측정하는 유사도 측정 방법을 정의한다. 사용자의 질의가 입력되면 정의된 유사성 측정 방법에 의하여 유사도가 높은 순으로 결과를 사용자에게 보여 준다. 이때, 여러 개의 특징을 결합하여 유사성을 측정하게 되면 일반적으로 한 가지 특징만을 사용한 결과보다 더 나은 결과를 얻을 수 있으며, 또한 각 특징에 대한 가중치를 조절함으로써, 사용자 의견을 반영할 수 있다. 그러나, 단순 가중치 조절만으로는 사용자가 의도하는 다양한 질의를 처리하기에 한계가 있다. 따라서, 본 발명은 이러한 특징을 결합할 때 퍼지 적분(Fuzzy Integral)을 사용하여 결합하고, 사용자의 의견에 따라 퍼지 적분에 필요한 매개변수를 조절하여 유사도를 계산하여 종래의 가중치 조절에서 표현할 수 없는 다양한 사용자 의견을 반영할 수 있도록 한다.
즉, 본 발명은, 내용기반 영상 검색 장치에서 다양한 영상 특징을 결합하는 방법 중의 하나인 퍼지 적분(Fuzzy integral)을 사용한다. 퍼지 적분은 퍼지측정(Fuzzy measure)에 대하여 정의되며, 퍼지 측정은 측정 대상이 되는 변수 집합 {x1, …, xn} 의 모든 부분 집합(power set)에 대한 중요도를 나타낸다. 여기서, n 은 측정하고자 하는 변수의 총 개수이며, 퍼지 측정을 나타내는데 필요한 계수의 개수는 2n가 된다. 퍼지 측정 g({x1})과 g({x2})의 합은 퍼지 측정 g({x1, x2})와 다를 수 있다. 즉, 변수간의 상호작용을 고려하여 퍼지 측정이 정해진다. 만약, 퍼지 측정이 합산적(additive) 특성을 갖는다면 퍼지 적분은 종래의 가중치 평균 방법과 동일하게 된다.
따라서, 본 발명에서는 퍼지 측정과 퍼지 적분(Fuzzy integral) 중의 하나인 쇼케 적분(Choquet Integral)을 이용하여 영상 유사성을 결합하고, 사용자 의견을 받아서 퍼지 측정, 즉 영상 특징에 대한 중요성을 자동으로 계산하여 검색 결과를 향상시키도록 한다. 즉, 사용자 의견에 근거하여 퍼지 측정을 자동으로 계산하는 것은 영상 특징간의 상호 관계를 학습하는 것과 같다. 본 발명은 이러한 학습을 위해서 대부분의 영상 검색이 온라인 상에서 수행되는 점과 사용자 의견에 따른 학습 샘플이 적음을 고려하여 퍼지 측정을 학습하는 것을 특징으로 한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치는, 처리해야 할 영상을 데이터베이스에 입력하기 위한 모든 과정을 자동화하기 위하여, 사용자로부터의 영상을 입력받기 위한 영상 입력기(10)와, 영상 입력기(10)를 통해 입력된 영상으로부터 영상 유사성 계산에 필요한 색상, 질감, 모양 및 움직임 등의 특징들을 추출하기 위한 특징 추출기(20)와, 특징 추출기(20)를 통해 추출된 특징들을 효율적으로 저장 및 관리하기 위한 특징 데이터베이스(DB)(30)와, 특징 DB(30)를 참조하여 선택된 질의 영상과 DB 영상과의 유사성을 각 특징별로 계산하기 위한 특징별 유사성 계산기(40)와, 특징별 유사성 계산기(40)를 통해 구해진 특징별 유사성을 퍼지 적분을 이용하여 결합하여 최종적인 영상 유사성을 측정하기 위한 퍼지 적분부(Fuzzy integral)(50)와, 영상 입력기(10)로부터 얻어진 영상을 사용자 검색이 용이하도록 작은 크기로 줄여서 생성하기 위한 소형 영상(Thumbnail) 생성기(60)와, 소형 영상 생성기(60)를 통해 전달된 소형 영상을 저장하기 위한 소형 영상 데이터베이스(DB)(70)와, 사용자 및 영상 검색 장치와의 상호 작용을 수행하기 위한 것으로, 영상 검색 장치의 전단에서 사용자의 질의를 해석하여 특징별 유사성 계산기(40) 및 퍼지 적분부(50)를 구동시켜 유사성을 측정하고, 측정된 유사성에 따라 소형 영상 DB(70)를 통해 소형 영상을 순차적으로 불러와 사용자 인터페이스부(90)로 전달하기 위한 질의 처리기(80)와, 질의 처리기(80)로부터 전달된 영상 데이터를 사용자가 알아보기 쉽도록 보여주고, 사용자로부터의 질의를 질의 처리기(80)로 전달하기 위한 사용자 인터페이스부(90)를 구비한다.
여기서, 영상 입력기(10)는 영상을 데이터베이스(DB)화하는데 필요한 정보, 즉 영상 파일 아이디 생성 및 압축파일의 복원 등을 실행한 후, 후단의 특징 추출기(20) 및 소형 영상(Thumbnail : 즉, 화면표시를 용이하게 하기 위해 큰 영상을 100 ×100 정도의 작은 영상으로 만든 것) 생성기(60)를 구동시킨다.
또한, 사용자 인터페이스부(90)는 사용자의 의견을 반영하기 위하여, 사용자가 원하는 영상을 표시하여 준다. 즉, 질의 처리기(80)에서 사용자에게 보여주는 영상이 사용자가 원하는 영상일 경우는 "0" 표시를 하고, 그렇지 않으면 "X" 표시를 하며, 분명하지 않을 경우는 "-" 표시하여 준다.
한편, 질의 처리기(80)와 사용자 인터페이스부(90) 간에는 인터넷과 같은 네트워크로 수행될 수도 있고, 동일한 컴퓨터 내에서 수행될 수도 있다.
도 2 는 본 발명에 따른 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법에 대한 일실시예 흐름도이다.
도 2에 도시된 바와 같이, 먼저 사용자가 새로운 질의 영상을 선택하게 되면(201), 질의 처리기는 DB 영상과 선택된 질의 영상간의 유사성을 특징별로 측정하기 위하여 각 특징별 유사성 계산기를 구동시킨다(202).
이어서, 특징별 유사성 계산기를 통해 측정된 유사성을 퍼지적분을 이용하여 결합하여 최종적인 유사성을 측정할 수 있도록 퍼지 적분부를 구동시킨 후(203), 최종적으로 구해진 유사성에 따라 소형 영상 DB로부터 유사성이 높은 순으로 소형 영상을 불러와 사용자에게 검색 결과를 전달한다(204).
이후, 사용자가 결과에 만족하는지를 확인하여(205), 만족하면 새로운 영상 검색을 시작할 수 있도록 새로운 질의 영상을 선택하는 과정(201)으로 넘어가고, 만족하지 않으면 'O', 'X', '-'표시 방법에 의한 사용자 의견을 표현하여(206) 재질의할 수 있도록 질의 영상과 DB 영상 간의 특징별 유사성 계산기를 구동시키는 과정(202)부터 반복 수행한다.
즉, 사용자 의견을 동반한 재질의시는 퍼지 적분에서 새로운 퍼지 측정을 구하는 학습 방법을 구동하여 새로운 퍼지 측정에 의한 퍼지 적분을 수행함으로써, 사용자 의견을 반영하게 된다.
이제, 상기에서 설명한 퍼지 측정 과정을 보다 상세히 설명하도록 한다.
우선, 퍼지 측정은 다음과 같이 정의된다.
집합 X는 {x1, … , xn} 유한 집합이고, P(X)는 X의 파워 집합(power set)이라 하면, 다음 두 가지 조건
조건 (ⅰ) g(Ø) = 0, g(X) = 1,
조건 (ⅱ) If A, B ⊂ X and A ⊂ B, then g(A) ≤ g(B)
를 만족하는 함수 g : P(X) → [0, 1]를 퍼지 측정이라 한다.
여기서, 퍼지 측정 g(.) 는 2n 개의 계수가 필요하며, g(A) 값은 부분집합 A의 중요도를 나타낸다. 조건 (ⅱ)는 모노토니서티(monotonicity)를 표시한다. 퍼지 측정을 도식화하면 도 3과 같다.
집합 S = {s1, … , sn}는 X = {x1, … , xn}에 따른 두 영상간의 유사도 측정 함수의 집합이라 정의한다. 여기서, sk(·)는 특징 xk에 따른 유사도 측정 함수이다. 한편, xik와 xjk를 질의 영상 i와 j의 k번째 특징으로 정의한다. 여기서, n은 사용되는 영상 특징의 총 개수이며, xi 는 i번째 특징이다. 예를 들면, 색상 히스토그램(color histogram) 이나 웨이브렛 계수(wavelet coefficients)가 될 수 있다.
상기한 퍼지 측정 g와 유사도 측정 함수 s를 이용한 쇼케 적분(Choquet Integral)에 따른 영상 유사도 결합을 수식으로 나타내면 다음의 [수학식 1]과 같다.
Cg(S, i, j) = k=1..n[S(k)(xi(k),xj(k)) - S(k-1) (xi(k-1), xj(k-1))]g(A(k))
상기의 [수학식 1]에서 0 ≤ s(1)(xi(1), xj(1)) ≤ … ≤ s(n)(x i(n), xj(n)) ≤ 1 이고, A(i) = {x(i), … , x(n)}, i = 1, …, n 이다. g(.)는 퍼지 측정이며, A(i)에 대하여 정의되고, g(A(0)) 는 0 이다. 괄호 () 표시는 순서를 나타낸다. 이 순서는 두 영상간의 유사도 측정값의 오름차순으로 정해진다. 예를 들어, X는 {색상, 질감, 모양}이고, {s1, s2 , s3}는 이들 각각에 대한 유사도 측정 함수의 집합이고, 영상 i, j간의 각 특징별 유사도 측정 결과가 s2 ≤ s1 ≤ s3이라면, s(1)(xi(1), xj(1)) = s2, s(2)(xi(2), xj(2)) = s1, s(3)(xi(3), xj(3)) = s3가 되며, A(0) = Ø, A(1) = {x2}, A (2) = {x2, x1}, A(3) = {x2, x1, x3}가 된다. 이하, g({xk}) 를 gk 등으로 나타낸다.
상기한 바와 같이, 퍼지 적분 (Fuzzy integral)과 퍼지 측정을 이용하여, 사용자 의견을 반영하는 방법에 대하여 상세히 설명하면 다음과 같다.
사용자에 의하여 피드백되어진 관계있는 영상 집합을 R+ 라하고, 관계없는 영상 집합을 R- 라 하자. 사용자 의견을 반영하여 검색 결과를 향상시키는 것은 위의 두 집합을 통하여 퍼지 측정을 학습하는 것과 같다. 즉, 주어진 질의 영상 q에 대하여, R+ 에 속한 영상 i와의 유사도는 증가시키고, R-에 속한 영상 j와의 유사도는 감소시키는 방향으로 퍼지 측정을 조절함으로써, R+에 속한 영상과 비슷한 성질을 갖는 영상은 더 많이 검출되고, R-에 속한 영상과 비슷한 성질을 갖는 영상은 덜 검출되도록 하는 것이다.
이것을 수식으로 표현하면 다음의 [수학식 2]와 같이 최소화되도록 퍼지 측정 g를 조절하는 것이다.
J(g) = Σi∈R + [Cg(S, q, i) - s(n)(xq(n), xi(n))] 2 + Σi∈R - [Cg(S, q, j) - s(1)(xq(1),xj(1))]2
여기서, s(n)(xq(n), xi(n))은 R+에 속하는 영상 i와 질의 영상 q사이의 특징별 유사도 {s1(.), … , sn(.)} 중에서 최대값이고, s(1)(xq(1),x j(1)) 은 R-에 속하는 영상 j와의 특징별 유사도 중에서 최소값이다.
그러나, 퍼지 측정 조건(ⅱ)를 만족하면서 [수학식 2]를 최소화하는 g를 구하는 방법은 매우 까다롭다. 왜냐하면, 단순하게 그레디언트 디센트(Gradient Descent) 방식을 적용할 수 없기 때문이다. 이러한 문제를 해결하는 몇 가지 방식들이 패턴 인식 분야에서 제안되었으나, 이는 사용자 의견을 반영하기가 어렵다. 왜냐하면 사용자에 의하여 주어지는 학습 데이터가 일반적으로 매우 적기 때문에 갱신되지 않는 g가 패턴 인식 응용에서 생기는 것 보다 훨씬 많이 생길 수 있다. 따라서, 학습 결과의 일반화(generalization)에 문제가 발생한다. 이것은, 오히려 학습 전 보다 나쁜 검색 결과를 초래한다. 또한, 온라인 상에서 학습이 수행되어야 하므로 학습 알고리즘은 학습 속도를 향상시켜야 하는 어려움이 따른다. 따라서, 본 발명에서는 이러한 문제점을 해결함으로써, 가중치 평균 방식 보다 훨씬 풍부한 결합 방식인 퍼지 적분을 이용한 사용자 의견을 반영할 수 있도록 한다.
본 발명의 퍼지 측정 방법은 다음과 같이 두 단계로 구성된다.
먼저, 제 1 단계는 개별 특징 중요도 학습에 관한 것으로, 각 특징 xk에 대한 R+에 속한 이미지 i와 질의 이미지 q 사이의 대표 유사도를 구한다. 여기서, 대표 유사도는 평균 ps k가 될 수 있다. 또, R-에 속한 이미지 j와 질의 이미지 q 사이의 대표 유사도를 구한다. 여기서, 대표 유사도는 평균 ns k가 될 수 있다.
이렇게 해서 각 특징 xk에 대한 대표 유사도 차이를 구한다. 이때, 대표 유사도가 평균 유사도일 경우, 평균 대표 유사도 차이 Δs k는 다음의 [수학식 3]과 같이 구한다. 이하, 설명에서 대표 유사도는 평균 유사도라 가정하며, 대표 유사도는 중간값 등 다양한 방법으로 구할 수 있다.
Δs k = ps k - ns k ,
ps k = 1/nΣi∈R + sk(xik, xqk),
ns k = 1/nΣi∈R - sk(xik, xqk)
여기서, Δs k가 양수이면, 이에 해당하는 특징 xk에 대하여 질의 영상과 R+ 에 속한 영상이 R-에 속한 영상 보다 상대적으로 더 유사함을 나타내므로, xk에 대한 중요도, 즉 퍼지 측정 gk가 증가함으로서 사용자 의견을 반영시킬 수 있다.
반대로, Δs k가 음수이면 이에 해당하는 특징 xk에 대하여 질의 영상과 R- 에 속한 영상이 R+에 속한 영상 보다 상대적으로 더 유사함을 나타내므로, xk에 대한 중요도, 즉 퍼지 측정 gk가 감소함으로서 사용자 의견을 반영시킬 수 있다.
끝으로, Δs k 가 "0"에 가까우면, 판단을 내리기 어려우므로 gk를 변화시키지 않고 원래의 값으로 그대로 둔다. 여기서, 사용자가 R+(R-)를 표시하지 않았다면, 현재 사용자에게 보여준 결과 중 표시되지 않은 영상 집합을 R-(R+)로 간주하여 계산한다.
이와 같은 언어적 표현의 규칙을 처리할 수 있는 방식은 퍼지 규칙 기반 시스템이다. 상기한 설명을 퍼지 규칙으로 표현하면 다음의 [수학식 4]와 같다.
If Δs k is positive, then gk = 1,
Else if Δs k is negative, then gk = 0,
Else Δs k is zero, then gk = gk.
또한, 상기와 같은 [수학식 3]을 이용하여 최종적인 퍼지 측정을 구하면 다음의 [수학식 5]와 같다.
gk = (p(Δs k) * 1.0 + n(Δs k) * 0.0 + g k * z(Δs k)) / (p(Δs k) + n(Δs k) + z(Δs k))
= (p(Δs k) + gk * z(Δs k)) / (p(Δ s k) + n(Δs k) + z(Δs k))
여기서, p(Δs k)는 Δs k가 퍼지집합 양수(positive)에 속하는 정도를 나타내는 멤버쉽이고, n(Δs k)는 Δs k가 퍼지집합 음수(negative)에 속하는 정도를 나타내는 멤버쉽이며, z(Δs k)는 Δs k가 퍼지집합 영(zero)에 속하는 정도를 나타내는 멤버쉽이다.
퍼지집합 양수(positive), 음수(negative), 영(zero)은 Δs k의 범위인 -1에서 1사이에서 정의되며, 임의의 퍼지 멤버함수(membership function)로 정의할 수 있다.
각 특징에 대한 중요도, 즉 퍼지 측정을 이용하여 특징간의 상호작용을 고려한 퍼지측정을 구하여야 한다. 상술한 제 1 단계인 초기화작업에서는 퍼지 측정이 가산적(additive) 성질이 있다는 가정하에, 이를 이용하여 모든 특징의 부분집합에 대한 퍼지측정을 구하며, 그 방법은 상기의 [수학식 5]와 같다.
또한, 특징 집합의 모든 부분집합에 대한 퍼지측정을 구하면 다음의 [수학식 6]과 같다.
g({xi, xj}) = g({xi}) + g({xj})
다음, 제 2 단계는 특징 상호 작용 학습에 관한 것으로, 상술한 제 1 단계의 퍼지 규칙을 이용하여 개별 특징에 대한 중요도를 구한다. 본 발명의 다음 단계인 퍼지 적분의 장점인 특징 상호간의 관계를 구하는 방법은 다음과 같다.
스텝 1, 각 샘플에 대하여 에러 값을 구한다. 즉,
Ep = Cg(S, q, p) - s(n)(xq(n), xp(n))if p ∈ R+
Ep = Cg(S, q, p) - s(1)(xq(1), xp(1)) if p ∈ R-
여기서, g는 상술한 제 1 단계 학습 과정을 통해 얻어진 퍼지 측정 방법을 이용한다.
스텝 2, 해당 샘플에 대한 퍼지 측정 g에 대하여 다음과 같이 변동치를 구한다.
Δg(A(k)) =
여기서, 는 학습 비율(learning rate)이다.
스텝 3, 스텝 1, 2를 모든 샘플에 대하여 계산한 후, 퍼치 측정 g를 다음과 같이 갱신한다.
g(A(k)) = g(A(k)) + Δg(A(k))
스텝 4, 각 퍼지 측정 g에 대하여 조건(ⅱ)인 모노토니서티(monotonicity)를 만족시키는 작업을 다음과 같이 한다.
첨부된 도 3의 최상위 레벨에서 시작해서, g ≤ max Upper(g) 이면, g = max Upper(g)로 바꾸고, 그렇지 않으면, 그대로 둔다. 이 작업은 최하위 레벨에 이르기까지 수행한다. 여기서, Upper(g)는 도 3에서 g의 모 노드(parent node)에 있는 퍼지 측정 값의 집합이다.
스텝 5, 총 에러 값이 E = Σp⊂R+, R- Ep < ε이거나, ΔE < δ이면 종료하고, 아니면 를 줄인 후에 스텝 1로 간다. 여기서, ε와 δ는 임계치이고, 는 시간에 따른 감소함수를 사용한다.
도 4 는 본 발명에 따른 내용기반 영상 검색 장치에서 사용자 인터페이스를 보여주는 예시도이다.
도 4에 도시된 바와 같이, 사용자는 질의 영상을 질의 처리기(80)가 보여 주는 임의의 영상에서 선택할 수도 있고, 사용자가 직접 그릴 수도 있고, 혹은 디지털 카메라 등의 외부 영상 입력 장치에서 받은 영상 데이터를 사용할 수도 있다.
한편, 사용자의 의견을 반영하기 위하여, 질의 처리기에서 보여 주는 영상이 원하는 영상일 경우는 'O'표시를 하고, 그렇지 않을 경우는 'X'표시를 하며, 분명하지 않을 경우는 '-'표시를 하도록 한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 내용기반 영상 검색을 위한 사용자 의견 반영 시, 가중치 평균 방식에서 제공할 수 없는 특징간의 상호작용을 쇼케 적분(Choquet Integral)을 이용하여 처리함으로써, 영상간의 인지적 유사 기준을 반영할 수 있어, 사용자는 보다 나은 검색 결과를 얻을 수 있는 효과가 있다.
또한, 본 발명은, 웹서버를 통하여 웹 영상 검색 서비스에 이용될 수 있고, 개인용 컴퓨터에서 단독으로 영상 데이터베이스를 구축하는데 이용될 수도 있는 효과가 있다.
도 1 은 본 발명에 따른 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 대한 일실시예 구성도.
도 2 는 본 발명에 따른 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 내용기반 검색 장치에서 퍼지 측정 계수의 라티스(lattice) 구조에 대한 설명도.
도 4 는 본 발명에 따른 내용기반 영상 검색 장치에서 사용자 인터페이스를 보여주는 예시도.
* 도면의 주요 부분에 대한 부호의 설명
10 : 영상 입력기 20 : 특정 추출기
30 : 특정 DB 40 : 특정별 유사성 계산기
50 : 퍼지 적분부 60 : 소형 영상 생성기
70 : 소형 영상 DB 80 : 질의 처리기
90 : 사용자 인터페이스부

Claims (11)

  1. 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 있어서,
    사용자로부터의 영상을 입력받기 위한 영상 입력 수단;
    상기 영상 입력 수단을 통해 입력된 영상으로부터 영상 유사성 계산에 필요한 영상 특징을 추출하기 위한 특징 추출 수단;
    상기 특징 추출 수단에서 추출된 영상 특징들을 저장하기 위한 제1 저장수단;
    상기 영상 입력 수단을 통해 입력된 영상을 분할하여 소형 영상을 생성하기 위한 소형 영상 생성 수단;
    상기 소형 영상 생성 수단에서 생성된 소형 영상을 저장하기 위한 제2 저장수단;
    상기 제1 저장수단의 영상 특징을 이용하여 선택 질의 영상과 DB 영상과의 유사성을 각 특징별로 계산하기 위한 유사성 계산수단;
    상기 유사성 계산수단을 통해 계산된 특징별 유사성을 퍼지 적분을 이용하여 결합하여 최종적인 영상 유사성을 측정하기 위한 유사성 측정수단;
    사용자로부터의 질의를 해석하여 유사성을 측정하고, 측정된 유사성에 따라 상기 제2 저장수단을 통해 영상을 순차적으로 불러와 전달하기 위한 질의 처리수단; 및
    상기 질의 처리수단으로부터 전달된 영상 데이터에 대해 사용자의 의견을 반영하고, 상기 사용자 의견 반영 결과에 따른 선택 정보를 상기 질의 처리수단으로 전달하기 위한 사용자 인터페이싱수단
    을 포함하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치.
  2. 제 1 항에 있어서,
    상기 유사성 측정수단은,
    하기의 수학식에 의해 상기 퍼지 적분을 수행하여 유사성을 측정하는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치.
    Cg(S, i, j) = k=1..n[S(k)(xi(k),xj(k)) - S(k-1) (xi(k-1), xj(k-1))]g(A(k))
    (여기서, 0 ≤ s(1)(xi(1), xj(1)) ≤ … ≤ s(n)(xi(n) , xj(n)) ≤ 1 이고, A(i) = {x(i), … , x(n)}, i = 1, …, n 으로, g(.)는 퍼지 측정, A(i)에 대한 정의, g(A(0))는 0, 괄호() 표시는 순서, 이 순서는 두 영상간의 유사도 측정값의 오름차순임)
  3. 제 2 항에 있어서,
    상기 퍼지 적분 수행 과정은,
    사용자의 의견을 이용하여 퍼지 적분에 필요한 퍼지 측정을 수행하기 위하여, 개별 특징에 대한 퍼지 측정을 먼저 학습하여 초기화한 후, 특정 상호 작용을 학습하는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치.
  4. 제 3 항에 있어서,
    상기 개별 특징에 대한 퍼지 측정 학습 과정은,
    퍼지 규칙을 이용하여 퍼지 측정값을 구할 때, 대표 유사도 차이를 이용하여 하기의 <수학식1>에 의거하여 퍼지 규칙을 구축하고, 하기의 <수학식2>에 의거하여 퍼지 적분을 측정하는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
    <수학식1>
    If Δs k is positive, then gk = 1,
    Else if Δs k is negative, then gk = 0,
    Else Δs k is zero, then gk = gk.
    <수학식2>
    gk = (p(Δs k) * 1.0 + n(Δs k) * 0.0 + g k * z(Δs k)) / (p(Δs k) + n(Δs k) + z(Δs k))
    = (p(Δs k) + gk * z(Δs k)) / (p(Δ s k) + n(Δs k) + z(Δs k))
    (여기서, p(Δs k)는 Δs k가 퍼지집합 양수(positive)에 속하는 정도를 나타내는 멤버쉽, n(Δs k)는 Δs k가 퍼지집합 음수(negative)에 속하는 정도를 나타내는 멤버쉽, z(Δs k)는 Δs k가 퍼지집합 영(zero)에 속하는 정도를 나타내는 멤버쉽임)
  5. 제 3 항에 있어서,
    상기 특징 상호 작용 학습 과정은,
    하기의 수학식이 최소화되도록 퍼지 측정을 구하고, 퍼지 측정 조건인 모노토니서티(monotonicity)를 만족시키면서 학습하는 것는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
    J(g) = Σi∈R + [Cg(S, q, i) - s(n)(xq(n), xi(n))] 2 + Σi∈R - [Cg(S, q, j) - s(1)(xq(1),xj(1))]2
    (여기서, s(n)(xq(n), xi(n))은 R+에 속하는 영상 i와 질의 영상 q사이의 특징별 유사도 {s1(.), … , sn(.)} 중에서 최대값, s(1)(xq(1),xj(1) )은 R-에 속하는 영상 j와의 특징별 유사도 중에서 최소값임)
  6. 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 장치에 적용되는 내용기반 영상 검색 방법에 있어서,
    새로운 질의 영상에 따라 데이터베이스에 저장된 영상과 질의 영상간의 유사성을 각 특징별로 측정하는 제1 측정단계;
    상기 각 특징별로 측정된 유사성을 퍼지 적분을 이용하여 결합하여 퍼지 적분에 의한 유사성을 측정하는 제2 측정단계;
    최종적으로 구해진 유사성에 따라 유사성이 높은 영상을 순차적으로 불러와 검색 결과를 전달하는 검색 결과 전달단계; 및
    질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도를 재계산하여 변화된 영상을 출력하는 영상 출력단계
    를 포함하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
  7. 제 6 항에 있어서,
    상기 유사성 결합 과정은,
    하기의 수학식에 의해 상기 퍼지 적분을 수행하여 유사성을 측정하는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
    Cg(S, i, j) = k=1..n[S(k)(xi(k),xj(k)) - S(k-1) (xi(k-1), xj(k-1))]g(A(k))
    (여기서, 0 ≤ s(1)(xi(1), xj(1)) ≤ … ≤ s(n)(xi(n) , xj(n)) ≤ 1 이고, A(i) = {x(i), … , x(n)}, i = 1, …, n 으로, g(.)는 퍼지 측정, A(i)에 대한 정의, g(A(0))는 0, 괄호() 표시는 순서, 이 순서는 두 영상간의 유사도 측정값의 오름차순임)
  8. 제 7 항에 있어서,
    상기 퍼지 적분 수행 과정은,
    사용자의 의견을 이용하여 퍼지 적분에 필요한 퍼지 측정을 수행하기 위하여, 개별 특징에 대한 퍼지 측정을 먼저 학습하여 초기화한 후, 특정 상호 작용을 학습하는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
  9. 제 8 항에 있어서,
    상기 개별 특징에 대한 퍼지 측정 학습 과정은,
    퍼지 규칙을 이용하여 퍼지 측정값을 구할 때, 대표 유사도 차이를 이용하여 하기의 <수학식1>에 의거하여 퍼지 규칙을 구축하고, 하기의 <수학식2>에 의거하여 퍼지 적분을 측정하는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
    <수학식1>
    If Δs k is positive, then gk = 1,
    Else if Δs k is negative, then gk = 0,
    Else Δs k is zero, then gk = gk.
    <수학식2>
    gk = (p(Δs k) * 1.0 + n(Δs k) * 0.0 + g k * z(Δs k)) / (p(Δs k) + n(Δs k) + z(Δs k))
    = (p(Δs k) + gk * z(Δs k)) / (p(Δ s k) + n(Δs k) + z(Δs k))
    (여기서, p(Δs k)는 Δs k가 퍼지집합 양수(positive)에 속하는 정도를 나타내는 멤버쉽, n(Δs k)는 Δs k가 퍼지집합 음수(negative)에 속하는 정도를 나타내는 멤버쉽, z(Δs k)는 Δs k가 퍼지집합 영(zero)에 속하는 정도를 나타내는 멤버쉽임)
  10. 제 8 항에 있어서,
    상기 특징 상호 작용 학습 과정은,
    하기의 수학식이 최소화되도록 퍼지 측정을 구하고, 퍼지 측정 조건인 모노토니서티(monotonicity)를 만족시키면서 학습하는 것는 것을 특징으로 하는 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반 영상 검색 방법.
    J(g) = Σi∈R + [Cg(S, q, i) - s(n)(xq(n), xi(n))] 2 + Σi∈R - [Cg(S, q, j) - s(1)(xq(1),xj(1))]2
    (여기서, s(n)(xq(n), xi(n))은 R+에 속하는 영상 i와 질의 영상 q사이의 특징별 유사도 {s1(.), … , sn(.)} 중에서 최대값, s(1)(xq(1),xj(1) )은 R-에 속하는 영상 j와의 특징별 유사도 중에서 최소값임)
  11. 프로세서를 구비한 내용기반 영상 검색 장치에,
    새로운 질의 영상에 따라 데이터베이스에 저장된 영상과 질의 영상간의 유사성을 각 특징별로 측정하는 제1 측정기능;
    상기 각 특징별로 측정된 유사성을 퍼지 적분을 이용하여 결합하여 퍼지 적분에 의한 유사성을 측정하는 제2 측정기능;
    최종적으로 구해진 유사성에 따라 유사성이 높은 영상을 순차적으로 불러와 검색 결과를 전달하는 검색 결과 전달기능; 및
    질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도를 재계산하여 변화된 영상을 출력하는 영상 출력기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2000-0064956A 2000-11-02 2000-11-02 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법 KR100516289B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2000-0064956A KR100516289B1 (ko) 2000-11-02 2000-11-02 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법
US09/735,920 US6744935B2 (en) 2000-11-02 2000-12-14 Content-based image retrieval apparatus and method via relevance feedback by using fuzzy integral

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0064956A KR100516289B1 (ko) 2000-11-02 2000-11-02 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20020034564A KR20020034564A (ko) 2002-05-09
KR100516289B1 true KR100516289B1 (ko) 2005-09-21

Family

ID=19696938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0064956A KR100516289B1 (ko) 2000-11-02 2000-11-02 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법

Country Status (2)

Country Link
US (1) US6744935B2 (ko)
KR (1) KR100516289B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519543B2 (en) 2010-11-15 2016-12-13 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
JP4363792B2 (ja) * 2001-03-23 2009-11-11 富士通株式会社 情報検索システムおよび方法
US7266545B2 (en) * 2001-08-07 2007-09-04 International Business Machines Corporation Methods and apparatus for indexing in a database and for retrieving data from a database in accordance with queries using example sets
US7133555B2 (en) * 2002-08-02 2006-11-07 Intel Corporation Image color matching scheme
US20040024756A1 (en) * 2002-08-05 2004-02-05 John Terrell Rickard Search engine for non-textual data
JP4300767B2 (ja) * 2002-08-05 2009-07-22 ソニー株式会社 ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
US20050210019A1 (en) * 2002-11-20 2005-09-22 Fujitsu Limited Method and apparatus for retrieving image from database, and computer product
CA2513490A1 (en) * 2003-01-24 2004-08-05 Gery Michel Ducatel Searching apparatus and methods
JP4516957B2 (ja) 2003-01-25 2010-08-04 パーデュー リサーチ ファンデーション ３次元オブジェクトについて検索を行なうための方法、システムおよびデータ構造
US7274834B2 (en) * 2003-05-21 2007-09-25 Konica Minolta Holdings, Inc. Searching device, searching method and program
CN100568231C (zh) * 2003-06-23 2009-12-09 爱尔兰都柏林国立大学-都柏林大学 会话式推荐系统及其检索方法
JP4333350B2 (ja) * 2003-12-04 2009-09-16 コニカミノルタホールディングス株式会社 画像管理装置、画像管理方法及びプログラム
US7457483B2 (en) * 2004-02-09 2008-11-25 Olympus Corporation Image processing apparatus, image processing program and storage medium
CN1300746C (zh) * 2004-12-09 2007-02-14 上海交通大学 基于多特征信息融合的视频运动目标自适应跟踪方法
US7877382B1 (en) * 2004-12-31 2011-01-25 Google, Inc. System and methods for detecting images distracting to a user
WO2007038612A2 (en) * 2005-09-26 2007-04-05 Cognisign, Llc Apparatus and method for processing user-specified search image points
WO2007038642A2 (en) * 2005-09-26 2007-04-05 Cognisign, Llc Apparatus and method for trajectory-based identification of digital data content
JP5009577B2 (ja) 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
US20070250478A1 (en) * 2006-04-23 2007-10-25 Knova Software, Inc. Visual search experience editor
JP5139716B2 (ja) * 2007-05-16 2013-02-06 キヤノン株式会社 画像検索装置及び画像検索方法
US8050503B2 (en) * 2007-07-05 2011-11-01 General Electric Company Systems and methods for computer vision using curvelets
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
CN100550038C (zh) * 2007-12-26 2009-10-14 腾讯科技（深圳）有限公司 图片内容识别方法及识别系统
US9043828B1 (en) 2007-12-28 2015-05-26 Google Inc. Placing sponsored-content based on images in video content
US8315423B1 (en) * 2007-12-28 2012-11-20 Google Inc. Providing information in an image-based information retrieval system
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US7962468B2 (en) * 2008-04-17 2011-06-14 Yahoo! Inc. System and method for providing image labeling game using CBIR
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
US20100166303A1 (en) * 2008-12-31 2010-07-01 Ali Rahimi Object recognition using global similarity-based classifier
US8429173B1 (en) 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
JP5676597B2 (ja) * 2009-06-30 2015-02-25 コーニンクレッカ フィリップス エヌ ヴェ 内容に基づく画像検索についての関連性フィードバック
JP5438436B2 (ja) * 2009-08-27 2014-03-12 株式会社日立国際電気 画像検索装置
AU2009357597B2 (en) * 2009-12-30 2015-11-05 Nokia Technologies Oy Methods and apparatuses for facilitating content-based image retrieval
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
US8639034B2 (en) * 2010-11-19 2014-01-28 Ricoh Co., Ltd. Multimedia information retrieval system with progressive feature selection and submission
US20140278375A1 (en) * 2013-03-14 2014-09-18 Trinity College Dublin Methods and system for calculating affect scores in one or more documents
CN103218441B (zh) * 2013-04-22 2015-12-09 北京邮电大学 一种基于内容和反馈的图像检索方法
US9898685B2 (en) 2014-04-29 2018-02-20 At&T Intellectual Property I, L.P. Method and apparatus for analyzing media content
US10013436B1 (en) 2014-06-17 2018-07-03 Google Llc Image annotation based on label consensus
KR101582130B1 (ko) * 2015-09-07 2016-01-04 케이에이엠 주식회사 아마추어의 마그네트 및 브러시 압입장치
KR101582126B1 (ko) * 2015-09-21 2016-01-04 케이에이엠 주식회사 아마추어의 트러스트 플러그 압입장치
US10346476B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Sketch entry and interpretation of graphical user interface design
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10191921B1 (en) 2018-04-03 2019-01-29 Sas Institute Inc. System for expanding image search using attributes and associations

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5717940A (en) * 1995-04-28 1998-02-10 Ricoh Company, Ltd. Method of selecting a target document using features of an example page
US6507841B2 (en) * 1998-02-20 2003-01-14 Hewlett-Packard Company Methods of and apparatus for refining descriptors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519543B2 (en) 2010-11-15 2016-12-13 Samsung Electronics Co., Ltd. Method and apparatus for image search using feature point

Also Published As

Publication number Publication date
US6744935B2 (en) 2004-06-01
US20020051576A1 (en) 2002-05-02
KR20020034564A (ko) 2002-05-09

Similar Documents

Publication Publication Date Title
KR100516289B1 (ko) 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법
US20220222920A1 (en) Content processing method and apparatus, computer device, and storage medium
CN112119388A (zh) 训练图像嵌入模型和文本嵌入模型
JP2010504593A (ja) 分類手法を用いて画像からドミナントカラーを抽出する方法
CN111260754B (zh) 人脸图像编辑方法、装置和存储介质
CN111475729A (zh) 搜索内容推荐方法及装置
JPWO2013021888A1 (ja) 色決定装置、色決定システム、色決定方法、情報記録媒体、ならびに、プログラム
CN112074828A (zh) 训练图像嵌入模型和文本嵌入模型
WO2017027705A1 (en) Method and system for personifying a brand
CN105913286B (zh) 一种自动融合多种个性化推荐模型的方法
US20130268475A1 (en) Information processing apparatus, a method and a non-transitory computer readable medium thereof, and an information communication terminal, a control method and a non-transitory computer readable medium thereof
US20110052074A1 (en) Image database creation device, image retrieval device, image database creation method and image retrieval method
WO2022089467A1 (zh) 视频数据的排序方法、装置、计算机设备和存储介质
CN109033261A (zh) 图像处理方法、装置、处理设备及其存储介质
CN111538818A (zh) 数据查询方法、装置、电子设备及存储介质
KR20190075277A (ko) 콘텐트 검색을 위한 방법 및 그 전자 장치
CN110263973B (zh) 预测用户行为的方法及装置
US7310630B2 (en) Multimedia-object-retrieving method and system
JP5113653B2 (ja) データ処理装置、プログラムおよびデータ処理方法
CN115600017A (zh) 特征编码模型训练方法及装置、媒体对象推荐方法及装置
JP2000048041A (ja) データ検索システム及びこれに用いる装置
JP2005149033A (ja) コンテンツ検索方法、コンテンツ更新方法、コンテンツ更新の反映方法、コンテンツ検索装置、コンテンツ更新装置、コンテンツ検索のプログラム及びコンテンツ更新のプログラム並びにそれらの記録媒体
Xiong et al. Image Aesthetics Assessment via Learnable Queries
JPH0573625A (ja) 類似尺度構成処理方法
Hadj-Selem et al. An iterative smoothing algorithm for regression with structured sparsity

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120904

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130904

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140902

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150908

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160906

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 15