KR100518860B1 - 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법 - Google Patents

이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법 Download PDF

Info

Publication number
KR100518860B1
KR100518860B1 KR10-1999-0026939A KR19990026939A KR100518860B1 KR 100518860 B1 KR100518860 B1 KR 100518860B1 KR 19990026939 A KR19990026939 A KR 19990026939A KR 100518860 B1 KR100518860 B1 KR 100518860B1
Authority
KR
South Korea
Prior art keywords
feature
image
similarity
cdf
information
Prior art date
Application number
KR10-1999-0026939A
Other languages
English (en)
Other versions
KR20010008891A (ko
Inventor
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-1999-0026939A priority Critical patent/KR100518860B1/ko
Priority to US09/606,155 priority patent/US6704725B1/en
Publication of KR20010008891A publication Critical patent/KR20010008891A/ko
Application granted granted Critical
Publication of KR100518860B1 publication Critical patent/KR100518860B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99934Query formulation, input preparation, or translation

Abstract

본 발명은 내용기반 이미지 검색 시스템에 관한 것으로서 예를 들면, 사용자 피드백(Feedback)을 사용한 이미지 특징소(Image Feature)의 가중치를 학습함에 있어서, 이미지 특징소에 대한 정규화 정보(Normalizing Information)를 사용하여 원래의 연산된 유사도(Similarity) 또는 차이(Distance)값을 정규화하여 특징소 가중치를 학습하는 방법과, 정규화 정보를 사용한 이미지 검색방법 및 그 데이타 구성방법에 관한 것이다.
본 발명은 내용기반 이미지 검색 시스템에 있어서, 이미지 특징소 가중치 학습시에 각 특징소가 데이타 세트에 대해서 갖는 유사도(또는 차이값)들의 분포를 정규화하는 과정과, 상기 정규화 정보를 반영해서 이미지 특징소의 가중치를 설정 및 갱신하는 과정으로 이루어진 것을 특징으로 하는 특징소 가중치 학습방법을 제공한다.
또한 본 발명은 내용기반 이미지 검색 시스템에 있어서, 이미지 특징소 가중치 학습시에 각 특징소가 데이타 세트에 대해서 갖는 유사도(또는 차이값)들의 분포를 정규화하는 과정과, 상기 정규화 정보를 사용해서 해당 특징소의 가중치를 반영하여 전체 이미지 유사도를 구하는 과정과, 상기 정규화 정보가 반영된 이미지 유사도에 따라 유사 이미지를 검색하는 과정으로 이루어진 것을 특징으로 하는 이미지 검색 방법을 제공한다.
또한 본 발명은 내용기반 이미지 검색 시스템에 있어서, 각 특징소 마다 그 특징소가 갖는 유사도(또는 차이값) 분포를 기술하는 정보를 포함하는 것을 특징으로 하는 이미지 검색 데이타 구성방법을 제공한다.

Description

이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법{IMAGE SEARCHING METHOD USING FEATURE NORMALIZING INFORMATION}
본 발명은 내용기반 이미지 검색 시스템에 관한 것으로서 예를 들면, 사용자 피드백(Feedback)을 사용한 이미지 특징소(Image Feature)의 가중치를 학습함에 있어서, 이미지 특징소에 대한 정규화 정보(Normalizing Information)를 사용하여 원래의 연산된 유사도(Similarity) 또는 차이(Distance)값을 정규화하여 특징소 가중치를 학습하는 방법과, 정규화 정보를 사용한 이미지 검색방법 및 그 데이타 구성방법에 관한 것이다.
종래의 내용기반 이미지 검색 시스템에서는 이미지 검색을 위한 특징소로서 칼라 히스토그램, 부분영역 칼라와 같은 특징소를 사용하여 이미지의 유사도를 검색하고, 유사도에 대응하는 이미지 검색 결과를 제시하는 시스템으로서, 이미지 마다 그 이미지를 구분하기 위한 주요 특징소에 대하여 이미지 특징에 맞는 특징소 가중치를 적용하고 있다.
특징소 가중치를 적용하는 방법으로는 사용자가 검색시에 사용자 인터페이스를 이용해서 사용자 스스로가 가중치를 입력하는 방법이 있다.
그러나 이 방법은 일반 사용자가 그 이미지에 맞는 특징소 가중치를 설정하기 어렵다는 제약이 있고, 또 각 특징소 마다 다른 유사도 분포에서 오는 특징소 가중치 학습의 오류발생 문제를 가지고 있다.
예를 들어, 사용자가 특징소A가 특징소B 보다 6:4 만큼 더 중요하도록 설정했다고 가정하자.(특징소 A의 유사도 분포는 평균 50, B는 70이라고 가정).
검색 대상 이미지1과 이미지2가 있을 때 특징소A는 이미지1을 이미지2 보다 높은 순위로 등위를 매기고, 특징소B는 이미지2를 이미지1 보다 높은 순위로 등위를 매겼다면 특징소A가 더 중요하므로 결론적으로는 이미지1을 더 높은 등위로 매겨야 할 것이다.
그렇지만 특징소A가 특징소B 보다 평균 유사도 값이 낮으므로 유사도 값만으로 볼 때에는 가중치를 고려하더라도 이미지2가 더 높은 등위를 가질 수 있다.
예를 들어 특징소A는 이미지1이 60, 이미지2가 50의 유사도를 갖는다고 판별하고, 특징소B는 이미지1이 70, 이미지2가 90의 유사도를 갖는다고 판별할 경우 가중치를 고려하더라도 이미지2가 이미지1 보다 더 높은 등위를 가지게 된다.
이와같이 사용자가 특징소들의 가중치를 판별하여 명시하더라도, 각 특징소가 갖는 유사도 분포가 다르므로 그러한 가중치가 반영되지 못하고 오류가 생기게 되는 것이다.
특징소 가중치를 적용하는 또 다른 방법으로는 사용자 피드백(Relevance Feedback)을 사용하여 시스템 스스로가 자동으로 가중치를 설정하거나 갱신하는 방법이 있다.
그러나 이 방법은 이미지의 각 특징소마다 유사도 또는 차이값에 대한 분포가 다른데 따른 가중치 설정 또는 갱신의 오류가 나타날 수 있다.
즉, 사용자 피드백을 사용한 특징소 가중치 학습방법은 사용자가 우선 이미지 검색을 행한후 시스템이 제공하는 검색 결과 리스트에서 사용자가 찾고자 하는 이미지와 비슷한 이미지와 그렇지 않은 이미지를 표기하면, 검색 시스템은 이 사용자 응답에 따른 피드백을 사용하여 자동으로 가중치를 설정 또는 갱신하게 된다.
그런데, 대부분 이미지의 각 특징소는 이미지의 유사도를 계산함에 있어서 각각 서로다른 방법을 사용하기 때문에 이미지를 유사도에 의해 정렬함에 있어서 사용되는 유사도 값이 모두 틀린 값이 된다.
예를 들어, 이미지 검색결과로 10개의 유사 이미지 리스트를 등위에 따라 1등 부터 10등 까지 정렬하였다고 할 때, 같은 10등으로 정렬된 이미지라고 하더라도 어떤 특징소A에 대해서는 80이라는 유사도 값으로 10등을 결정한 반면, 어떤 특징소B는 60이라는 유사도 값으로 10등을 결정할 수도 있다.
이러한 경우 각 특징소마다 유사도(또는 차이값)에 대한 분포가 각각 다르기 때문에 유사도(또는 차이값)을 사용해서 앞의 특징소에 대한 가중치를 설정 또는 갱신하게 되면 오류가 나타날 수 있다.
예를 들어, A,B 두개의 특징소를 사용하여 이미지를 검색한다고 가정했을 때, 특징소A의 유사도 분포는 평균값이 50이고, 특징소B는 평균값이 70이라고 하자.
여기에서 한 이미지를 유사 이미지(relevant image)라고 피드백을 주었을 때 A,B 두개의 특징소가 똑같이 피드백된 이미지를 상위 5%로 등위를 매겼다면, 이들 두 특징소A,B는 같은 가중치를 가져야 한다.
그렇지만 두 특징소A,B의 유사도 분포가 다르기 때문에 같은 등위로 매겨졌다고 하더라도 유사도 값은 특징소A 보다 특징소B가 높으므로 특징소B가 보다 높은 가중치를 가지게 되는 오류가 생기는 것이다.
반대로, 사용자가 시스템의 이미지 검색 결과 리스트에 대하여 앞의 이미지에 대하여 비유사 이미지(irrelevant iamge)를 피드백 하였을 경우에는 반대로 같은 등위로 매겨졌다고 해도 특징소A가 낮은 유사도를 갖게 되므로 오히려 특징소A가 높은 가중치를 가지게 된다.
이와같이 각 특징소 마다 다른 유사도(또는 차이)를 가지게 되므로, 종래의 기술에서의 사용자 피드백을 사용한 가중치 설정방법은 잘못된 가중치를 학습하게 되는 문제점이 있다.
본 발명은 이미지 검색에 사용되는 특징소의 가중치를 학습함에 있어서, 각각의 특징소가 데이타 세트에 대해서 갖는 유사도(또는 차이값) 들의 분포를 정규화함으로써 가중치 학습의 오류를 줄이고, 보다 빠르고 효과적인 이미지 검색을 수행할 수 있도록 한 이미지 검색 시스템을 제공한다.
본 발명은 내용기반 이미지 검색 시스템에 있어서, 이미지 특징소 가중치 학습시에 각 특징소가 데이타 세트에 대해서 갖는 유사도(또는 차이값)들의 분포를 정규화하는 과정과, 상기 정규화 정보를 반영해서 이미지 특징소의 가중치를 설정 및 갱신하는 과정으로 이루어진 것을 특징으로 하는 특징소 가중치 학습방법을 제공한다.
또한 본 발명은 내용기반 이미지 검색 시스템에 있어서, 이미지 특징소 가중치 학습시에 각 특징소가 데이타 세트에 대해서 갖는 유사도(또는 차이값)들의 분포를 정규화하는 과정과, 상기 정규화 정보를 사용해서 해당 특징소의 가중치를 반영하여 전체 이미지 유사도를 구하는 과정과, 상기 정규화 정보가 반영된 이미지 유사도에 따라 유사 이미지를 검색하는 과정으로 이루어진 것을 특징으로 하는 이미지 검색 방법을 제공한다.
또한 본 발명은 내용기반 이미지 검색 시스템에 있어서, 각 특징소 마다 그 특징소가 갖는 유사도(또는 차이값) 분포를 기술하는 정보를 포함하는 것을 특징으로 하는 이미지 검색 데이타 구성방법을 제공한다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
먼저, 도1은 본 발명의 이미지 검색 시스템을 구현하기 위해 각 특징소의 분포 특성을 CDF(Cumuative Distribution Function)로 표현하고, 이 것을 이용해서 해당 특징소가 연산한 유사도값을 정규화하여 사용자 피드백을 이용한 특징소 가중치 학습을 수행하는 과정을 나타낸다.
이 과정은 정규화 정보를 구성하는 단계와 정규화를 이용한 가중치 설정 및 갱신 단계로 이루어진다.
정규화 정보를 구성하는 과정은 단계(101) 내지 단계(105)에 해당하고, 사용자 피드백이 들어왔을 때 이미 구해진 각 특징소의 정규화 정보를 이용해서 유사도를 정규화한 값으로 변환한 후 가중치를 설정 및 갱신하는 과정은 단계(106) 내지 단계(110)에 해당한다.
먼저, 단계(101)에서는 각 특징소의 유사도(또는 차이값)의 분포를 구하기 위해서 일반적인 이미지들로 구성된 검증세트를 준비하고, 그 다음 단계(102)에서는 준비된 이미지 세트에서 각 특징소를 사용하여 검색을 행함으로써 각 특징소의 유사도(또는 차이값)의 PDF(Probability Density Function)를 구한다.
그 다음 단계(103)에서는 구해진 PDF를 사용하여 각 특징소들의 CDF를 구하고, 그 다음 단계(104)에서는 구해진 CDF를 근사화하기 위한 기울기(s)와 평균값(m) 들을 구한다.
즉, 각 CDF를 근사화하기 위해 오차(error)를 최소화하는 시그모이드 함수에서의 기울기(s)와 평균값(m)을 구한다.
다음 단계(105)에서는 구해진 기울기(s)와 평균값(m)들을 이용해서 정규화하고자 하는 답안 CDF의 기울기(s')와 평균값(m')을 결정한다.
이와같이 정규화 정보 구성과정에서는 이미지의 각 특징소의 유사도(또는 차이값) 분포를 CDF로 표현하고 이 곡선을 시그모이드 함수를 사용하여 근사화하는데, 시그모이드의 원래 함수식은 다음의 수학식1과 같고 이 함수의 곡선은 도3과 같이 나타내어 진다.
앞의 수학식1에서 s가 커지면 도3의 곡선 기울기가 커지며, m은 평균값을 나타내며, 여기서 exp(상수) = 2, ψ(x) = y 로 치환하여 특징소가 갖는 유사도 분포(y)를 CDF로 아래의 수학식2와 같이 표현하였다.
도4는 실제 일반 이미지로 구성된 검증 세트에서 4가지의 특징소(GC,GT, LC,LT)에 대한 차이값(distance)의 CDF를 구하여 이를 곡선으로 구현한 예이다.
도3 내지는 도4에서 알 수 있는 바와같이 4가지의 곡선 모두가 시그모이드 함수 형태로 표현되며, 다만 각각의 특징소에 대한 곡선의 평균값(m)과 기울기(s)가 다름을 알 수 있다.
따라서, 각 특징소의 CDF 곡선은 시그모이드 함수로 표현될 수 있으며, 수학식1 내지는 수학식2는 미리 정의되었으므로 기울기(s)와 평균값(m)만 가지면 해당 특징소의 CDF 곡선을 나타낼 수 있다.
여기서 어떤 특징소의 CDF 함수를 찾는다는 것은 그 CDF 곡선을 수학식1 내지는 수학식2의 시그모이드 함수로 근사화 했을 때 최소의 오차를 갖는 기울기(s)와 평균값(m)을 구하는 것이다.
최소 오차를 갖는 기울기(s)와 평균값(m)을 구하는 방법은 가상의 S,M을 최소값에서 부터 시작해서 최대값 까지 소정의 증분만큼 증가하면서 실제 CDF와, 현재 S,M을 적용한 시그모이드 함수와의 오차를 계산하여 그 값이 최소가 되는 S,M을 해당 특징소의 기울기(s)와 평균값(m)으로 정한다.
이와같은 방법으로 도1의 단계(104)에서 각 특징소의 CDF를 나타내는 기울기(s)와 평균값(m)을 구하고, 정규화할 답안 CDF의 기울기(s')와 평균값(m')을 단계(105)에서 구하면 해당 특징소로부터 구해진 유사도(또는 차이값)는 정규화할 수 있다.
여기서, 답안 CDF가 갖는 기울기와 평균값은 각 특징소가 갖는 기울기와 평균값들의 평균을 사용하거나, 정규분포의 CDF를 근사화 했을 때의 기울기와 평균값을 사용하거나, 또는 설정된 값 예를 들어 10에서 15 사이의 기울기와, 0.5에서 각 특징소들의 평균 m값 사이의 값을 사용할 수 있다.
단계(106,107)에서는 사용자가 이미지 검색후의 피드백을 제공하고, 사용자 피드백에 대하여 그 다음 단계(108)에서는 피드백 이미지와 참조 이미지의 유사도(또는 차이값)를 구한다.
즉, 단계(108)는 모든 특징소에 대해서 각각의 특징소를 사용해서 피드백 이미지와 참조 이미지의 유사도(또는 차이값)를 구하는 단계이다.
그 다음 단계(109)는 구해진 유사도(또는 차이값)를 앞에서 구한 해당 특징소의 기울기(s) 및 평균값(m)과 답안 CDF의 기울기(s') 및 평균값(m')을 사용하여 정규화한 값으로 변환하는 단계이다.
여기서, 유사도(또는 차이값)를 정규화한다는 의미는 도5의 (a),(b)에서 설명하는 개념과 같다.
도5의 (a)는 해당 특징소의 CDF 곡선이고, (b)는 정규화할 답안 CDF 곡선이라고 가정한다.
도5의 (a)에서와 같이 해당 특징소를 이용한 유사도가 x라고 했을 때, 정규화된 유사도 x'은 해당 특징소의 CDF 곡선에서 x에 해당하는 y값을 갖는 답안 CDF 곡선(b도)에서의 x값이 된다.
즉, 도5의 (a)에서 x를 만족하는 y값을 (b)곡선에 대입하였을 때 이 것을 만족하는 (b)곡선(답안 CDF곡선)에서의 x'이 바로 정규화된 유사도(또는 차이값)이 되는 것이다.
이러한 개념을 이용해서 유사도를 정규화 하는 수학식3을 다음과 같이 유도하였다.
여기서, x는 원래의 유사도(또는 차이값), x'은 변환, 정규화된 유사도(또는 차이값), s는 해당 특징소의 CDF가 갖는 기울기값, m은 해당 특징소의 CDF가 갖는 평균값, s'은 정규화 하려고 하는 답안 CDF가 갖는 기울기값, m'은 정규화 하려고 하는 답안 CDF가 갖는 평균값이다.
이와같이 도1의 단계(109)에서 유사도를 정규화하고, 그 다음 단계(110)에서는 정규화된 유사도(또는 차이값)를 사용해서 각 특징소의 가중치를 설정하거나 갱신함으로써 본 발명의 특징소 가중치 학습방법은 완료된다.
물론, 여기서 가중치를 설정하거나 갱신하는 방법은 기존의 여러가지 방법을 사용할 수 있으며, 대표적인 방법으로 피드백 이미지가 유사 이미지일 경우 각 특징소로부터 구해진 유사도에 비례하여 상대적 가중치가 설정되고, 비유사 이미지일 경우 차이값(보통 1-distance)에 비례하여 상대적 가중치가 설정되는 방법을 들 수 있다.
도2는 앞에서 설명한 특징소 정규화 정보를 사용한 이미지 특징소 가중치 학습방법의 정규화 방법을 적용하여, 가중치를 고려한 이미지 검색 과정을 나타낸 도면이다.
단계(201) 내지 단계(205)는 정규화 정보를 구성하는 일련의 과정으로서 이 과정은 앞에서 설명한 도1의 단계(101) 내지 단계(105)와 동일하다.
그 다음 단계(206) 내지 단계(213)는 정규화를 사용해서 이미지를 검색하는 일련의 과정을 나타낸다.
먼저, 단계(201) 내지 단계(205) 에서는 이미지 특징소에 대한 정규화 정보를 구성하고, 단계(206)에서 참조 이미지를 선택하여 단계(207)에서 대상 이미지를 첫 이미지로 선정하고 단계(208)에서는 대상 이미지와 참조 이미지의 각 특징소에 대한 유사도(또는 차이값)를 구한다.
그 다음 단계(209)에서는 각 특징소의 기울기(s,s')와 평균값(m,m')을 사용해서 이미지 각 특징소의 유사도(또는 차이값)을 정규화 한다.
여기서 유사도 정규화를 수행하는 방법은 앞에서 설명한 도1 및 도3 내지 도5와 같다.
그 다음 단계(210)에서는 정규화된 각 유사도(또는 차이값)를 해당 특징소의 가중치를 반영(곱셈연산 등)한 후 모두 더하여 전체 이미지의 유사도(또는 차이값)를 구한다.
그리고 상기 단계(208) 내지 단계(210)를 마지막 이미지까지 대상 이미지를 다음 이미지로 놓고(단계 212) 반복 실행하여 마지막 이미지 까지 수행하였으면 단계(211)에서 그 다음 단계(213)로 이행하여 검색된 이미지를 분류하고 제시하는 것으로 이미지 검색을 종료한다.
여기서, 가중치는 앞에서 설명한 바와같이 사용자 피드백을 통한 학습에 의해서 설정된 것일 수도 있고, 사용자가 직접 기술하거나 기타 다른 방법으로 설정된 것일 수 있다(즉, 가중치 설정방법은 제한되지 않는다).
도2와 같이 원래의 특징소 연산으로부터 구해진 유사도(또는 차이값)를 정규화 한 후, 가중치를 적용하여 이미지를 검색함으로써, 고려하고자 하는 가중치를 정확하게 그 값만큼 적용하고, 보다 빠르고 효율적으로 이미지를 검색할 수 있게 된다.
한편, 이미지 검색 시스템에서는 데이타 베이스와 관계없이 이미지 검색을 수행할 수 있게 하기 위하여 이미지 검색에 사용되는 특징소에 대한 표준화가 요구될 수 있다.
이러한 경우 이미지내에 포함된 이미지 묘사정보(Discriptor)는 그 묘사 정보를 추출한 특징소를 기술하기 위한 정보가 표현되어야 효과적으로 묘사정보를 사용할 수 있다.
따라서 본 발명에서는 이러한 특징소를 기술하기 위한 특징소 메타 정보로서 상기 기술한 정규화 정보를 포함하는 구조를 가지도록 하였다.
이러한 정규화 정보를 포함하는 이미지 검색 데이타 구조를 가지게 되면, 임의의 이미지를 다른 서버로 이동하더라도 그 특징소에 대한 CDF 정규화 정보를 사용하여 적절한 가중치를 고려하고, 이미지 검색에 이용될 수 있도록 해준다.
도6의 (a),(b)는 정규화 정보가 이미지내에 포함된 구조를 나타내고 있다.
도6의 (a)에서는 이미지 묘사정보(Image DS)(601)에 메타정보(Meta_Info) (602) 및 정규화 묘사정보(Normalizing Descriptor)(603)가 정규화 정보로서; 이미지 데이타(Image Data)(604), 로우레벨 특징소 정보(Low Level Feature)(605)(606)와 별도로 포함된 예이고, 도6의 (b)는 칼라/텍스쳐와 같은 로우레벨 특징소 정보(605a)내에 메타정보(602a) 및 정규화 묘사정보(603a)가 정규화 정보로서 로우레벨 묘사정보(606a)와 함께 포함된 구조를 보여준다.
도7은 도6에서 정규화 묘사정보(701)가 기울기 정보(702) 및 평균값 정보(703)로 이루어지는 것을 보여주고 있다.
앞에서 설명한 바와같이 도6 및 도7과 같은 이미지 데이타 구조를 가짐으로써, 즉, 이미지를 기술하는 각 특징소를 기술하는 메타정보로서 정규화 정보를 포함함으로써, 이미지가 서로 다른 서버로 이동하여도 해당 특징소를 정규화하여 효과적으로 이미지를 검색할 수 있는 기반을 제공하게 되었다.
본 발명은 특징소의 정규화 정보를 사용해서 원래의 연산된 유사도(또는 차이값)을 정규화 하여 가중치를 적용하고 학습하게 되었다.
그러므로, 가중치 값의 의미를 정확하게 적용하여 효과적인 검색이 이루어 질 수 있도록 하였으며, 사용자 피드백을 사용한 가중치 학습시에 각 특징소 마다 유사도(또는 차이값)의 분포가 상이함에서 오는 잘못된 학습현상을 정규화를 통해 해결하였고, 빠르고 정확한 학습을 보장한다.
또한, 이미지 특징소를 기술하는 메타 정보로서 정규화 정보를 포함하기 때문에, 이미지가 서로 다른 서버로 이동하더라도 해당 특징소를 정규화하여 효과적으로 이미지 검색을 수행할 수 있는 효과를 가진다.
도1은 본 발명에서 특징소 정규화 정보를 구성하는 과정 및 정규화를 이용한 가중치 설정과 갱신과정을 나타낸 플로우차트
도2는 본 발명에서 특징소 정규화를 사용한 이미지 검색방법의 플로우차트
도3은 본 발명에 적용된 시그모이드(Sigmoid)함수의 곡선
도4는 본 발명에서 실제 일반 이미지로 구성된 검증세트에서 네가지의 특징소에 대한 차(distance)의 CDF를 구하여 이를 곡선으로 구한 예를 나타낸 도면
도5는 본 발명에서 정규화 개념을 설명하기 위한 CDF 곡선을 나타낸 도면
도6은 본 발명의 이미지 검색 시스템에 적용되는 데이타 구조의 예를 나타낸 도면
도7은 본 발명에서 정규화 스크립터의 데이타 구조를 나타낸 도면

Claims (13)

  1. 내용기반 이미지 검색 시스템에 있어서, 이미지 검색에 사용되는 특징소의 가중치를 학습시키는 방법에 있어,
    이미지 특징소에 대한 정규화 정보(파라미터)를 구성하는 단계;
    상기 구성된 정규화 정보를 사용하여 각 특징소가 데이타 세트에 대해서 가지는 유사도를 정규화하는 단계;
    상기 정규화된 유사도를 사용하여 각 특징소의 가중치를 학습시키는 단계;
    를 포함하여 이루어진 것을 특징으로 하는 이미지 검색 방법.
  2. 제 1 항에 있어서, 상기 정규화 정보는 각각의 특징소가 가지는 유사도값들의 분포를 CDF로 표현하고, 각 특징소가 갖는 CDF를 하나의 CDF로 정규화해 나가는 것을 특징으로 하는 이미지 검색 방법.
  3. 제 2 항에 있어서, 상기 이미지 특징소가 갖는 유사도값들의 분포를 CDF로 표현하기 위해서;
    y = 1 / (1+A-s(x-m)) ; (A는 상수)
    의 시그모이드 함수를 사용하는 것을 특징으로 하는 이미지 검색 방법.
  4. 제 3 항에 있어서, 상기 시그모이드 함수로 표현되는 각 특징소의 CDF에서 평균값(m)과 기울기(s)를 각 특징소의 분포 특징정보를 표현하는 변수로 사용하는 것을 특징으로 하는 이미지 검색 방법.
  5. 내용기반 이미지 검색 시스템에 있어서, 이미지 검색에 사용되는 특징소의 가중치를 학습시키는 방법에 있어,
    준비된 데이타 세트에 대해 각 특징소가 갖는 유사도에 대한 PDF를 구하는 과정과, 상기 구해진 PDF를 사용해서 CDF를 구하는 과정과, 상기 구해진 CDF를 시그모이드 함수로 근사화시키기 위한 기울기(s) 및 평균값(m)을 구하는 과정과, 정규화하고자 하는 답안 CDF의 기울기(s')와 평균값(m')을 구하는 과정과, 사용자 피드백에 응답하여 피드백 이미지와 참조 이미지의 유사도를 구하는 과정과, 상기 특징소의 CDF에 따른 기울기(s) 및 평균값(m)과 답안 CDF의 기울기(s') 및 평균값(m')을 사용하여 이미지간의 유사도를 정규화 하는 과정과, 상기 정규화된 유사도를 사용하여 각 특징소의 가중치를 설정 내지는 갱신하는 과정으로 이루어진 것을 특징으로 하는 이미지 검색 방법.
  6. 제 5 항에 있어서, 상기 유사도를 정규화 하는 과정은; 원래의 유사도x, 변환/정규화된 유사도x', 해당 특징소의 CDF가 갖는 기울기s 및 평균값m, 답안 CDF가 갖는 기울기s' 및 평균값m'에 대하여;
    x' = - 1/s' * log(2-s(x-m)) + m' ;
    으로 구하는 것을 특징으로 하는 이미지 검색 방법.
  7. 제 5 항에 있어서, 상기 정규화하려고 하는 답안 CDF가 갖는 기울기와 평균값은; 각 특징소가 갖는 s,m값들의 평균을 사용하거나, 정규분포의 CDF를 근사화시켰을 때의 s,m값을 사용하거나, 설정된 값 중에서 어느 하나로 사용함을 특징으로 하는 이미지 검색 방법.
  8. 이미지 특징소에 대한 정규화 정보(파라미터)를 구성하는 과정과; 검색 대상 이미지와 참조 이미지의 각 특징소에 대한 유사도를 구하는 과정과, 상기 각 특징소의 정규화 정보를 이용해서 대상 이미지와 참조 이미지의 각 특징소에 대한 유사도를 정규화하는 과정과, 상기 정규화된 대상 이미지와 참조 이미지의 각 특징소에 대한 유사도를 해당 특징소의 가중치를 반영하여 전체 이미지 유사도를 구하는 과정과, 상기 전체 이미지 유사도에 따라 검색되는 유사 이미지를 제시하는 과정으로 이루어진 것을 특징으로 하는 이미지 검색 방법.
  9. 제 8 항에 있어서, 상기 정규화 정보는 각각의 특징소가 가지는 유사도값들의 분포를 시그모이드 함수를 사용해서 CDF로 표현하고, 시그모이드 함수로 표현되는 각 특징소의 CDF 곡선에서 평균값(m)과 기울기(s)를 각 특징소의 분포 특징정보를 표현하는 변수로 사용하고, 정규화할 답안 CDF의 기울기(s') 및 평균값(m')을 함께 이용해서 유사도를 정규화하는 것을 특징으로 하는 이미지 검색 방법.
  10. 내용기반 이미지 검색을 위한 이미지 데이타 구성방법에 있어서,
    이미지내에 포함된 이미지 묘사정보는 그 묘사정보를 추출한 특징소를 기술하기 위한 특징소 메타정보로서; 각 특징소 마다 그 특징소가 갖는 유사도 분포를 기술하는 특징소의 정규화 정보를 포함하는 것을 특징으로 하는 이미지 데이타 구성방법.
  11. 제 10 항에 있어서, 상기 특징소가 갖는 유사도 분포를 기술하는 특징소의 정규화 정보로서; 각각의 특징소가 가지는 유사도값들의 분포를 시그모이드 함수를 사용해서 CDF로 표현하고, 시그모이드 함수로 표현되는 각 특징소의 CDF 곡선에서 평균값(m)과 기울기(s)를 각 특징소의 분포 특징정보를 표현하는 것을 특징으로 하는 이미지 데이타 구성방법.
  12. 제 10 항에 있어서, 상기 특징소의 정규화 정보는 별도의 메타정보로서 포함되는 것을 특징으로 하는 이미지 데이타 구성방법.
  13. 제 10 항에 있어서, 상기 특징소의 정규화 정보는 이미지의 로우레벨 묘사정보내에 포함되는 것을 특징으로 하는 이미지 데이타 구성방법.
KR10-1999-0026939A 1999-07-05 1999-07-05 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법 KR100518860B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-1999-0026939A KR100518860B1 (ko) 1999-07-05 1999-07-05 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법
US09/606,155 US6704725B1 (en) 1999-07-05 2000-06-29 Method of searching multimedia data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0026939A KR100518860B1 (ko) 1999-07-05 1999-07-05 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법

Publications (2)

Publication Number Publication Date
KR20010008891A KR20010008891A (ko) 2001-02-05
KR100518860B1 true KR100518860B1 (ko) 2005-09-30

Family

ID=19599477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0026939A KR100518860B1 (ko) 1999-07-05 1999-07-05 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법

Country Status (2)

Country Link
US (1) US6704725B1 (ko)
KR (1) KR100518860B1 (ko)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442126B1 (ko) * 2001-01-12 2004-07-30 주식회사 코어트러스트 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법
US7266545B2 (en) * 2001-08-07 2007-09-04 International Business Machines Corporation Methods and apparatus for indexing in a database and for retrieving data from a database in accordance with queries using example sets
JP2003091727A (ja) * 2001-09-17 2003-03-28 Canon Inc 画像処理装置及びその方法、プログラム
US7106903B2 (en) * 2001-09-24 2006-09-12 Vima Technologies, Inc. Dynamic partial function in measurement of similarity of objects
US7028045B2 (en) * 2002-01-25 2006-04-11 International Business Machines Corporation Compressing index files in information retrieval
US6904430B1 (en) * 2002-04-26 2005-06-07 Microsoft Corporation Method and system for efficiently identifying differences between large files
KR100513273B1 (ko) * 2003-07-04 2005-09-09 이디텍 주식회사 동영상 신호의 실시간 밝기 제어 장치 및 방법
US7877382B1 (en) * 2004-12-31 2011-01-25 Google, Inc. System and methods for detecting images distracting to a user
GB0512869D0 (en) * 2005-06-24 2005-08-03 Ibm Method and system for facial recognition in groups
KR100709013B1 (ko) * 2005-07-29 2007-04-18 에스케이 텔레콤주식회사 이미지 검색을 위한 유저 인터페이스, 이를 이용한 이미지검색 시스템 및 그 방법
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US8064716B2 (en) * 2005-11-08 2011-11-22 Soundstarts, Inc. Apparatus and methods for enhancing digital images
US20150052155A1 (en) * 2006-10-26 2015-02-19 Cortica, Ltd. Method and system for ranking multimedia content elements
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8676802B2 (en) 2006-11-30 2014-03-18 Oracle Otc Subsidiary Llc Method and system for information retrieval with clustering
US8935249B2 (en) 2007-06-26 2015-01-13 Oracle Otc Subsidiary Llc Visualization of concepts within a collection of information
US8832140B2 (en) * 2007-06-26 2014-09-09 Oracle Otc Subsidiary Llc System and method for measuring the quality of document sets
JP5029647B2 (ja) * 2009-04-08 2012-09-19 株式会社ニコン 被写体追尾装置、およびカメラ
US9792638B2 (en) 2010-03-29 2017-10-17 Ebay Inc. Using silhouette images to reduce product selection error in an e-commerce environment
US8949252B2 (en) * 2010-03-29 2015-02-03 Ebay Inc. Product category optimization for image similarity searching of image-based listings in a network-based publication system
US9405773B2 (en) * 2010-03-29 2016-08-02 Ebay Inc. Searching for more products like a specified product
US8861844B2 (en) 2010-03-29 2014-10-14 Ebay Inc. Pre-computing digests for image similarity searching of image-based listings in a network-based publication system
US8412594B2 (en) 2010-08-28 2013-04-02 Ebay Inc. Multilevel silhouettes in an online shopping environment
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
JP2013068981A (ja) * 2011-09-20 2013-04-18 Fujitsu Ltd 電子計算機及び画像検索方法
CN103530528A (zh) * 2013-10-29 2014-01-22 华为技术有限公司 评估方法及装置
US10810252B2 (en) * 2015-10-02 2020-10-20 Adobe Inc. Searching using specific attributes found in images
CN108135560B (zh) * 2015-10-27 2021-07-30 株式会社日立制作所 X射线ct数据处理装置以及搭载其的x射线ct装置
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
US20230053495A1 (en) * 2021-08-17 2023-02-23 Verizon Media Inc. Comparable item identification for query items

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993018484A1 (en) * 1992-03-10 1993-09-16 Oracle Corporation Method and apparatus for comparison of data strings
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5855015A (en) * 1995-03-20 1998-12-29 Interval Research Corporation System and method for retrieval of hyperlinked information resources
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
JP3815704B2 (ja) * 1997-10-28 2006-08-30 株式会社リコー 図形分類処理方法、図形検索処理方法、図形分類システム、図形検索システム、図形分類用特徴抽出処理方法、図形分類用表作成処理方法、情報記録媒体、図形間の類似度又は相異度の評価処理方法、図形正規化処理方法、及び、図形間対応付け処理方法
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6567551B2 (en) * 1998-04-27 2003-05-20 Canon Kabushiki Kaisha Image search apparatus and method, and computer readable memory
US6263334B1 (en) * 1998-11-11 2001-07-17 Microsoft Corporation Density-based indexing method for efficient execution of high dimensional nearest-neighbor queries on large databases

Also Published As

Publication number Publication date
US6704725B1 (en) 2004-03-09
KR20010008891A (ko) 2001-02-05

Similar Documents

Publication Publication Date Title
KR100518860B1 (ko) 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법
US8589457B1 (en) Training scoring models optimized for highly-ranked results
US7546293B2 (en) Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US6901411B2 (en) Statistical bigram correlation model for image retrieval
US9110922B2 (en) Joint embedding for item association
US8326091B1 (en) Ranking of images and image labels
EP1202187B1 (en) Image retrieval system and methods with semantic and feature based relevance feedback
US8718383B2 (en) Image and website filter using image comparison
US20130173648A1 (en) Software Application Recognition
CN109634924B (zh) 基于机器学习的文件系统参数自动调优方法及系统
CN112119388A (zh) 训练图像嵌入模型和文本嵌入模型
US20200125996A1 (en) Automated software selection using a vector-trained deep learning model
CN112074828A (zh) 训练图像嵌入模型和文本嵌入模型
EP1426881A2 (en) Information storage and retrieval
US20180285742A1 (en) Learning method, learning apparatus, and storage medium
US6578031B1 (en) Apparatus and method for retrieving vector format data from database in accordance with similarity with input vector
US20090157670A1 (en) Contents-retrieving apparatus and method
KR100911628B1 (ko) 텍스트 질의를 기반으로 한 이미지 검색 결과 정련 방법
CN109189915B (zh) 一种基于深度相关匹配模型的信息检索方法
US11853858B2 (en) Chart building user interface providing machine learned chart recommendations
CN115659945B (zh) 一种标准文档相似度检测方法、装置及系统
Jarrah et al. Minimizing human-machine interactions in automatic image retrieval
Gao et al. Concept model-based unsupervised web image re-ranking
CN115937948A (zh) 人脸归档方法、装置、电子设备及存储介质
CN114840572A (zh) 一种基于物性数据的多维度智能搜索方法及装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee