KR100785928B1 - 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템 - Google Patents

멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템 Download PDF

Info

Publication number
KR100785928B1
KR100785928B1 KR1020060062592A KR20060062592A KR100785928B1 KR 100785928 B1 KR100785928 B1 KR 100785928B1 KR 1020060062592 A KR1020060062592 A KR 1020060062592A KR 20060062592 A KR20060062592 A KR 20060062592A KR 100785928 B1 KR100785928 B1 KR 100785928B1
Authority
KR
South Korea
Prior art keywords
photo
picture
category
query
ranking
Prior art date
Application number
KR1020060062592A
Other languages
English (en)
Inventor
이재원
정용주
한익상
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060062592A priority Critical patent/KR100785928B1/ko
Priority to US11/822,156 priority patent/US7739276B2/en
Application granted granted Critical
Publication of KR100785928B1 publication Critical patent/KR100785928B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

질의어에 대한 오브젝트 카테고리(object category)와 온톨로지를 이용한 확장 검색을 통해 검색된 사진의 카테고리(category)와 일치 정도를, 사진 검색 결과 랭킹에 반영되도록 함으로써 질의어 확장에 따른 부작용으로 관련 없는 카테고리(category)의 사진이 상위 랭크로 검색되는 것을 방지하는 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색 시스템을 개시한다. 멀티모달 정보를 이용한 사진 검색 방법은 질의어에 대한 오브젝트 카테고리(object category)를 할당하는 단계와, 상기 질의어로부터 도출되는 확장 검색어와 연관된 사진을 검색하는 단계와, 상기 할당된 오브젝트 카테고리(object category)를 반영하여, 상기 검색된 사진에 대한 순위를 결정하는 단계, 및 상기 결정된 순위에 상응하여 상기 사진을 정렬하여 표시하는 단계를 포함한다.
사진 검색, 오브젝트(object), 카테고리(category), 온톨로지

Description

멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색 시스템{METHOD AND SYSTEM FOR SEARCHING PHOTOGRAPH USING MULTIMODAL}
도 1은 본 발명의 사진 검색 시스템을 포함하는 단말 수단을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 사진 검색 시스템의 구성을 구체적으로 도시한 도면이다.
도 3은 본 발명에 따른 사진 검색 결과의 표시 일례를 도시한 도면이다.
도 4는 본 발명의 멀티모달 정보를 이용한 사진 검색 방법을 구체적으로 도시한 작업 흐름도이다.
도 5는 본 발명에 따른 온톨로지를 이용한 확장 검색의 일례를 설명하기 위한 작업 흐름도이다.
도 6은 본 발명에 따른 사진의 순위를 결정하는 일례를 설명하기 위한 작업 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
200 : 사진 검색 시스템
210 : 카테고리 할당 수단
220 : 확장 검색 수단
230 : 순위 결정 수단
240 : 사진 정렬 수단
본 발명은 질의어에 대한 오브젝트 카테고리(object category)와 온톨로지를 이용한 확장 검색을 통해 검색된 사진의 카테고리(category)와 일치 정도를, 사진 검색 결과 랭킹에 반영되도록 함으로써 질의어 확장에 따른 부작용으로 관련 없는 카테고리(category)의 사진이 상위 랭크로 검색되는 것을 방지하는 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색 시스템에 관한 것이다.
디지털 카메라와 카메라폰의 보급은 사진의 이용과 관련된 많은 변화를 가져오고 있다. 종래, 사진을 페이퍼 상에 인화하여 반영구적으로 보관하던 것과 달리, 디지털 카메라 등에서는 보다 많은 사진을 전자적으로 쉽게 촬영하고 삭제하며 저장하고 있다. 최근 들어 메모리 사이즈가 커짐에 따라 사진의 저장량은 비례적으로 증가하고 있다. 사진의 저장량의 증가에 따라 사용자는 보다 많은 사진을 보유할 수 있게 되었지만, 그만큼 사진을 정리하거나 특정 사진을 검색하는 일은 더욱 어려운 일이 되고 있는 것이 사실이다.
종래의 사진 검색 방식에서는 단순히 브라우징에 의한 검색, 또는 수작업에 의한 정리에 의존하고 있으며, 이러한 사진 검색 방식에 의해서 수백, 수천 장의 사진을 단순히 브라우저로 찾는다는 것은 용이한 일이 아니다.
브라우징 검색 방식을 개선할 목적으로, 온톨로지를 이용하여 확장 검색을 통한 사진 검색을 수행하는 구성이 개시되고 있다. 하지만, 온톨로지에 의한 질의어 확장은 재현율(recall)을 향상시키는 장점이 있는 반면, 정확률(precision)이 낮아지는 결과를 초래한다. 이러한 문제점은 질의어를 확장하는 경우, 의미적 모호성 등의 이유로 인하여 적합하지 않는 검색어가 확장 검색어로 추출되기 때문이다.
일례로서, 종래의 온톨로지 확장 검색에서는, 질의어 '학교 친구'에 대해, '학교 + 친구/동무/벗/붕우/…'를 확장 검색어로 추출하고, 추출된 확장 검색어 '학교 벗'을 통해 최초 입력된 질의어와 전혀 상관없는 '학교 벗꽃 축제'와 관련한 사진을 검색하는 오류가 발생할 수 있다.
유사례로서, 종래의 온톨로지 확장 검색에서는, 질의어 '경주(지명)'를 '경주(달리기 의미의 한자어)'로 해석하여 확장 검색어로서 '마라톤'을 추출할 수 있다. 또한, 종래의 온톨로지 확장 검색에서는, 질의어 '배(선박)'를 '배(과일)'로 해석하여 검색결과로 '탐스럽게 익은 배'와 관련한 사진을 검색하는 오류가 발생할 수 있다.
또한, 기존의 텍스트 기반 검색에서 많이 사용된 방법을 사진 검색에 적용하는 것은 주변 콘텍스트(Context)를 이용하여 중의성을 가진 어휘의 의미를 분석함으로써 불필요한 검색어가 확장되는 것을 방지할 수 있다. 하지만, 이러한 텍스트 분석을 통한 방법은 일반 인터넷 검색과 같이 텍스트 문서를 검색할 경우에는 적합할 수 있으나, 주석이 짧은 사진 검색의 경우, 의미 분석을 위한 문맥 정보가 부족할 경우도 있으며, 또한 주석에 있는 키워드가 항상 그 사진에 적합하다는 것을 의미하지는 않으므로 텍스트 정보 만으로는 한계가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 질의어 중 사진 내에 객체로 나타나는 쿼리 텀(query term)에 대한 오브젝트 카테고리(object category)를 할당하고, 온톨로지를 이용하여 확장 검색된 사진들에 대해 상기 오브젝트 카테고리(object category)를 반영하여 랭킹이 결정되도록 함으로써 온톨로지에 의한 질의어 확장 오류를 최적하게 줄일 수 있는 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색 시스템을 제공하는 것을 목적으로 한다.
또한, 온톨로지를 이용한 확장 검색을 지원하여 재현율(recall)을 향상시키면서도, 질의어에 할당된 오브젝트 카테고리(object category)를 반영한 순위 결정을 통해 사용자가 검색하고자 하는 사진이 보다 높은 순위로 사용자에게 우선적으로 표시되도록 할 수 있는 고속 정확한 멀티모달 정보를 이용한 사진 검색 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 이루기 위한 멀티모달 정보를 이용한 사진 검색 방법은, 질의어에 대한 오브젝트 카테고리(object category)를 할당하는 단계와, 상기 질의어로부터 도출되는 확장 검색어와 연관된 사진을 검색하는 단계와, 상기 할당된 오브젝트 카테고리(object category)를 반영하여, 상기 검색된 사진에 대한 순위를 결정하는 단계, 및 상기 결정된 순위에 상응하여 상기 사진을 정렬하여 표시하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 기술적 구성으로서, 멀티모달 정보를 이용한 사진 검색 시스템은, 질의어에 대한 오브젝트 카테고리(object category)를 할당하는 카테고리 할당 수단과, 상기 질의어로부터 도출되는 확장 검색어와 연관된 사진을 검색하는 확장 검색 수단과, 상기 할당된 오브젝트 카테고리(object category)를 반영하여, 상기 검색된 사진에 대한 순위를 결정하는 순위 결정 수단, 및 상기 결정된 순위에 상응하여 상기 사진을 정렬하여 표시하는 사진 정렬 수단을 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색 시스템에 대하여 설명한다.
본 명세서에서 지속적으로 사용되는 온톨로지(ontology)는 정보 교환용으로 합의된 어휘를 만들기 위해서 특정 자연어로 정의되는 사물, 사건 및 관계 등과 같은 개념들을 묶는 집합을 지칭할 수 있다. 즉, 온톨로지는 동일 속성을 갖는 개념들이나 특정 개념에 대한 하위 개념을 하나의 집합으로 묶고 있다. 예컨대, '책'과 연관되는 온톨로지는 상기 '책'을 설명하는 속성 또는 상기 '책'과 동일한 속성의 개념인 '책, 서적, 저자, 출판사, 페이지, 가격' 등을 하나의 집합으로 묶을 수 있다. 또한, 상기 '책'과 연관되는 온톨로지는 상기 '책'과 상하 포함 관계에 있는 하위 개념인 '동화책, 만화책, 소설' 등을 하나의 집합으로 묶을 수 있다.
이러한 온톨로지를 사용하는 대표적인 분야는 정보 검색이다. 정보 검색 분야에서의 온톨로지는 용어모음이나 동의어사전 형태로 존재하여 오류를 방지하고 검색효율을 높일 수 있다. 예컨대, 검색자가 잘못 입력한 '불공정 거레'라는 검색어는 사전 형태의 온톨로지를 이용하여 '불공정 거래'로 자동 수정될 수 있으며, ' 불공정 경쟁, 독점, 덤핑' 등과 같은 유사 또는 관련어를 이용하여 보다 다양한 검색서비스를 제공할 수 있다.
본 명세서에서는 온톨로지를 이용하여 확장 검색된 사진의 카테고리(category)와, 온톨로지를 이용하여 질의어에 대해 할당된 오브젝트 카테고리(object category)와의 일치 정도가 사진 검색 결과의 순위 결정에 반영되도록 함으로써 단말 수단에 내장된 사진에 대한 검색 처리를 보다 높은 검색 정확도로서 수행되도록 하는 사진 검색 결과 표시 모델을 설명하고 있다.
도 1은 본 발명의 사진 검색 시스템을 포함하는 단말 수단을 설명하기 위한 도면이다.
사진 검색 시스템(100)은 멀티모달(Multimodal) 정보, 즉 온톨리지를 이용하여 생성된 텍스트 정보 및 비주얼 정보를 모두 적용함으로써 단말 수단(110)에 내장된 사진에 대한 검색 처리를 보다 정확하게 수행되도록 하는 장치이다.
우선, 단말 수단(110)은 내부에 포함된 본 발명의 사진 검색 시스템(100)(또는 이격되어 외부에 위치한 사진 검색 시스템(100))과의 접속 상태를 유지하며, 사진 검색 시스템(100)에 의해 검색되고 결정된 순위에 따라 정렬된 사진(또는 사진 리스트)을 소정의 화면상에 표시하는 역할을 한다.
특히, 본 실시예에서의 단말 수단(110)은 사진 촬영 기능을 구비하고, 렌즈에 의해 촬영된 사진(또는 외부로부터 전송된 사진)을 소정의 메모리 수단에 보관함으로써 보관된 사진을 대상으로 하는 사진 검색 시스템(100)에 의한 검색 처리가 가능하도록 하는 환경을 마련한다.
이러한 단말 수단(110)은 예컨대 퍼스널 컴퓨터, 노트북 등 소정의 메모리 수단을 구비하고 소정의 마이크로프로세서를 탑재함으로써 소정의 연산 능력을 갖춘 단말기를 통칭하는 개념일 수 있으며, 본 실시예에서는 이동 능력이 우수한 이동통신단말기, 모바일 폰, PDA 등을 예시한다.
사용자(120)는 본 발명의 사진 검색 시스템(100)과의 접속을 위한 단말 수단(110)을 보유하며, 단말 수단(110)에 내장된 사진 중에서 검색하고자 하는 특정의 사진에 대한 검색 요청을, 소정의 질의어를 입력하여 생성하는 단말 수단(110)의 이용자를 의미할 수 있다.
여기서 질의어는 검색하고자 하는 사진과 관련이 있다고 판단하여 사용자(120)가 입력하는 단어/문장이며, 사진 검색 시스템(100)은 입력된 단어/문장, 또는 온톨로지 상 상기 질의어와 연관된 집합에 속하는 확장 검색어 등이 메모 정보에 포함되는 사진을 검색의 결과로서 추출한다.
사진 검색 시스템(100)은 사진 검색을 위해 사용자(120)가 입력한 질의어에 대한 오브젝트 카테고리(object category)를 할당하고, 온톨로지를 이용한 확장 검색에 의해 검색된 사진들의 카테고리(category)를 식별하며, 상기 오브젝트 카테고리(object category)와 카테고리(category)와의 일치 정도가, 검색된 사진의 순위 결정에 반영되도록 한다. 이에 따라, 본 발명의 사진 검색 시스템(100)은 확장 검색에 따른 부작용으로 사용자가 검색하고자 하는 카테고리(category)와 무관한 사진이 검색 결과로 추출되는 것을 최적하게 억제할 수 있다.
이하, 도 2를 참조하여 본 발명의 사진 검색 시스템(200)의 구체적인 구성을 설명한다.
도 2는 본 발명에 따른 사진 검색 시스템의 구성을 구체적으로 도시한 도면이다.
본 발명의 사진 검색 시스템(200)은 카테고리 할당 수단(210), 확장 검색 수단(220), 순위 결정 수단(230), 사진 정렬 수단(240)을 포함한다.
카테고리 할당 수단(210)은 사진 검색을 위해 입력된 질의어에 대해 텍스트 기준 분류(Text Based Classification)에 의한 오브젝트 카테고리(object category)를 할당한다.
상기 오브젝트 카테고리(object category)의 할당에 있어서, 카테고리 할당 수단(210)은 질의어를 구성하는 쿼리 텀(query term) 중에서 핵심 검색어를 선정한다. 여기서, 핵심 검색어는 쿼리 텀(query term) 중에서 사진 내에서 객체(object)로 나타나는 쿼리 텀(query term)을 선정한다. 예컨대, 카테고리 할당 수단(210)은 지명, 시간, 이벤트 등 추상적인 개념의 쿼리 텀(query term) 보다는 사진 내에서 인식을 명확하게 할 수 있는 장소(바다, 산, …), 동물, 건물 등과 관련한 쿼리 텀(query term)을 핵심 검색어로 선정한다.
예를 들어, 사용자에 의해 질의어 '휴가 때 보트 타고 찍은 사진'이 입력된 환경에서, 카테고리 할당 수단(210)은 질의어를 구성하는 쿼리 텀(query term)이며 사진 내에 객체(object)로 나타날 수 있는 '보트'를 핵심 검색어로 선정할 수 있다.
이후, 카테고리 할당 수단(210)은 상기 선정된 핵심 검색어와 온톨로지 상의 미리 정의된 오브젝트 카테고리(object category)와의 거리 계산을 수행하고, 계산 결과 중에서 거리가 가장 가깝게 계산되는 오브젝트 카테고리(object category)를 확인한다. 즉, 카테고리 할당 수단(210)은 핵심 검색어와 최근접하는 오브젝트 카테고리(object category)를 상기 핵심 검색어(질의어)에 할당한다.
상술한 예에서 핵심 검색어로 선정된 '보트'에 대해, 카테고리 할당 수단(210)은 다양한 오브젝트 카테고리(object category)와의 거리 계산을 수행하고, 가장 가까운 거리인 '배(ship)'를, 상기 질의어에 대한 오브젝트 카테고리(object category)로 할당할 수 있다.
확장 검색 수단(220)은 질의어로부터 유도되는 확장 검색어를 이용하여 사진을 검색한다. 여기서, 확장 검색어는 질의어와 연관한 온톨로지에 존재하는 동의어 또는 하의어를 의미할 수 있다. 즉, 확장 검색 수단(220)은 사용자(120)가 입력한 질의어가 존재하는 온톨로지 상에서 동일한 집합으로 포함되는 동의어 또는 하의어들을 확장 검색어로 식별하고, 상기 식별된 확장 검색어를 이용하여 단말 수단(110) 내 내장된 사진에 대한 검색을 수행한다.
예컨대, 상술한 예에서, 질의어로 입력된 '휴가 때 보트 타고 찍은 사진'에 대해 확장 검색 수단(220)은 형태소 분석 및, 수식어/불용어를 제거하는 과정을 통해 의미있는 검색어 '휴가, 보트'를 확인하고, 상기 '휴가'와 관련하여 온톨로지 상의 동일 집합에 존재하는 '휴가, 바캉스, 방학', 및 상기 '보트'와 관련하여 온톨로지 상의 동일 집합에 존재하는 '보트, 페리, 곤돌라' 등을 확장 검색어로 식별할 수 있다. 이후, 확장 검색 수단(220)은 식별된 확장 검색어 '휴가, 바캉스, 방학, 보트, 페리, 곤돌라' 각각을 이용하여 사진에 대한 검색 작업을 수행한다.
사진 검색에 있어서, 상기 확장 검색 수단(220)은 식별된 확장 검색어를 포함하는 메모 정보를 소정의 메모리 수단(도시하지 않음)에서 식별하고, 식별된 메모 정보에 대응하는 사진을 상기 메모리 수단에서 추출함으로써 검색 작업을 수행할 수 있다. 상기 메모리 수단은 사진 및, 상기 사진의 메모 정보를 대응시켜 저 장하는 저장 공간의 일종으로, 단말 수단(110) 또는 본 발명의 사진 검색 시스템(200) 내에 선택적으로 포함될 수 있다. 상기 메모 정보는 예컨대 사용자(120)에 의해 작성되는 사진에 대한 주석, 설명 정보를 의미할 수 있다.
순위 결정 수단(230)은 할당된 오브젝트 카테고리(object category)를 반영하여 검색된 사진 각각에 대한 스코어를 부여하고, 상기 부여된 스코어에 따라 사진들의 순위를 결정하는 역할을 한다. 즉, 순위 결정 수단(230)은 검색된 사진에 대해 검색 정확도를 고려하여 소정의 가중치가 적용된 스코어를 부여하고, 부여된 스코어의 크기에 상응하여 사진 각각에 대한 순위를 결정한다. 상기 순위는 후술하는 사진 정렬 수단(240)에 의해 검색된 사진을 정렬시키도록 하는 기준으로 활용된다.
상기 사진에 대한 스코어 부여에 있어서, 순위 결정 수단(230)은 우선, 검색된 사진의 내용을 참조하여 해당 사진에 대한 카테고리(category)를 식별한다. 즉, 순위 결정 수단(230)은 해당 사진의 이미지 내용에 기반하여 사진이 포함하고 있는 카테고리를 분류한다. 상기 카테고리의 분류는 사진의 검색과 동시에 순위 결정 수단(230)에 의해 실시간으로 수행될 수도 있고, 예컨대 본 시스템의 운영자에 의해 사진 검색 이전에 미리 수행될 수 있다. 카테고리의 분류가 사전에 미리 수행되는 경우, 상기 운영자는 메타데이터(metadata) 형식의 카테고리 리스트를 작성하며, 순위 결정 수단(230)은 상기 카테고리 리스트를 통해 사진에 대한 카테고리를 신속하게 분류하게 된다.
또한, 순위 결정 수단(230)은 카테고리 할당 수단(210)에 의해 할당된 상기 오브젝트 카테고리(object category)와 식별된 사진의 카테고리(category)와의 일치 정도를 비교하고, 일치 정도에 따라 가중치를 결정한다. 예컨대, 순위 결정 수단(230)은 질의어에 할당된 오브젝트 카테고리(object category)가 검색된 사진의 카테고리(category)와 정확하게 일치하는 경우 상대적으로 높은 가중치를 결정할 수 있고, 반면에 오브젝트 카테고리(object category)와 사진의 카테고리(category)가 일치하지 않는 경우 낮은 가중치를 결정할 수 있다.
이후, 순위 결정 수단(230)은 결정된 가중치를 적용하여, 검색된 사진에 대한 스코어를 부여한다. 즉, 순위 결정 수단(230)은 검색된 사진들이 사용자(120)의 검색 의도와 어느 정도 매칭되는지에 관한 검색 정확도를 수치로서 환산하는 역할을 한다.
상기 스코어 부여에 있어서, 순위 결정 수단(230)은 사진에 대한 텀-프리컨시(Term Frequency), 도큐먼트-프리컨시(Document Frequency), 이미지-분류(Image Classification) 등을 이용하여 상기 스코어를 부여할 수 있다.
본 실시예에서의 순위 결정 수단(230)은 텀-프리컨시(Term Frequency), 도큐먼트-프리컨시(Document Frequency), 이미지-분류(Image Classification) 등이 factor로 포함되는 수학식 1을 만족하여, 각 사진에 부여될 스코어 Si를 연산할 수 있다.
Figure 112006048027427-pat00001
여기서, w는 TF_IDF_Score를 위한 가중치 값을 의미한다. 상기 TF_IDF_Score는 해당 사진의 메모 정보에 확장 검색어가 나타날 확률을 모델링 한 값을 지칭하며, 상기 Image_Score는 해당 사진에 해당 카테고리가 존재할 확률 값 을 지칭할 수 있다.
상기 TF_IDF_Score는 수학식 2를 만족하여 연산할 수 있다.
Figure 112006048027427-pat00002
여기서, D(Document)는 사진의 ANNOTATION 부분(주석 부분)을 의미하고, t(term)는 검색어를 의미하며, DF(도큐먼트-프리컨시(Document Frequency))는 상기 term이 몇 개 사진의 ANNOTATION 부분(주석 부분)에서 나타났는지를 의미한다.
또한, 상기 Image_Score는 수학식 3을 만족하여 연산할 수 있다.
Figure 112006048027427-pat00003
여기서, I는 사진의 이미지 부분을 의미하고, c는 핵심 검색어에 대한 카테고리를 의미하며, gi는 SVM(Support Vector Machine)과 같은 패턴 분류기의 출력인 신뢰값이고, Pr(gi)은 신뢰값을 확률로 재계산한 사후 확률(posteriori probability)값을 의미한다.
상기 수학식 3은 이미지가 나타날 확률, 즉 Pr(Ii)이 동일 확률(equally probable)이라는 가정에서 성립될 수 있다.
이러한 스코어 부여에 따라 검색된 사진 각각으로 순위를 결정할 수 있는 환경이 마련되며, 예컨대 순위 결정 수단(230)은 스코어가 높은 사진에 대해 상대 적으로 높은 순위를, 스코어가 낮은 사진에 대해 상대적으로 낮은 순위를 결정할 수 있다.
사진 정렬 수단(240)은 결정된 순위에 상응하여 검색된 사진을 정렬하여 표시한다. 즉, 사진 정렬 수단(240)은 검색 정확도를 고려하여 결정된 순위에 따라 검색된 사진을 화면상에서 배열하는 역할을 한다. 예컨대, 사진 정렬 수단(240)은 최상위 순위의 사진이 단말 수단(110)의 화면 상의 최상단에서 표시되도록 할 수 있다.
따라서, 본 발명에 의하면, 질의어 중 사진 내에 객체로 나타나는 쿼리 텀(query term)에 대한 오브젝트 카테고리(object category)를 할당하고, 온톨로지를 이용하여 확장 검색된 사진들에 대해 상기 오브젝트 카테고리(object category)를 반영하여 랭킹이 결정되도록 함으로써 온톨로지에 의한 질의어 확장 오류를 최적하게 줄일 수 있다.
도 3은 본 발명에 따른 사진 검색 결과의 표시 일례를 도시한 도면이다.
상술한 바와 같이, 본 발명의 사진 검색 시스템(200)은 사진 검색을 위해 사용자가 입력한 질의어에 대해 할당된 오브젝트 카테고리(object category)와, 온톨로지를 이용하여 확장 검색된 사진의 카테고리(category)와의 일치 여부에 따라 상이하게 결정된 가중치를 반영하여 상기 검색된 사진에 스코어를 부여한다. 또한, 사진 검색 시스템(200)은 부여된 스코어에 따라 사진 각각에 대해 순위를 결정하고, 결정된 순위에 상응하여 정렬된 사진을 사용자에게 제공한다.
도 3에서는 단말 수단(110)에 내장된 사진에 대해 검색을 원하는 사용자가 질의어 '휴가 때 보트 타고 찍은 사진'을 입력하는 경우, 사진 검색 시스템(200)의 검색 처리 동작을 예시하고 있다.
사진 검색 시스템(200)은 질의어 '휴가 때 보트 타고 찍은 사진'을 구성하는 쿼리 텀(query term) 중에서 사진 상에 객체(object)로 나타날 수 있는 쿼리 텀(query term) '보트'를 핵심 검색어로 선정한다.
또한 사진 검색 시스템(200)은 선정된 핵심 검색어와 온톨로지 상에서 미리 정의된 오브젝트 카테고리(object category)와의 거리 계산을 통해 가장 가까운 오브젝트 카테고리(object category)를 할당한다. 상술한 예에서, 사진 검색 시스템(200)은 핵심 검색어 '보트'와 가장 근접하는 '배(ship)'를, 상기 질의어 '휴가 때 보트 타고 찍은 사진'에 대한 오브젝트 카테고리(object category)로서 할당할 수 있다.
질의어에 대한 오브젝트 카테고리(object category)가 선정되는 조건에서, 사진 검색 시스템(200)은 확장 검색을 통해 단말 수단(110)에 내장된 사진을 검색할 수 있다. 상기 질의어 '휴가 때 보트 타고 찍은 사진'에 대해, 사진 검색 시스템(200)은 파서를 이용하여 질의어를 분석하고, 수식어 및 불용어를 제거한 의미있는 검색어 '휴가', '보트'를 추출한다. 사진 검색 시스템(200)은 온톨로지를 이용하여 질의어를 확장하며, 상기 '휴가'와 연관된 온톨로지 상의 '휴가, 바캉스, 방학,…' 및, 상기 '보트'와 연관된 온톨로지 상의 '보트, 페리, 곤돌라, …'를 확장 검색어로 식별한다. 이후, 사진 검색 시스템(200)은 식별된 확장 검색어 '휴가, 바캉스, 방학, 보트, 페리, 곤돌라, …'를 이용한 확장 검색을 수행한다. 도 3에서는 확장 검색에 의해 n개의 사진이 검색되는 것을 예시하고 있다.
또한, 사진 검색 시스템(200)은 검색된 사진의 카테고리(category)를 식별한다. 상기 카테고리(category)의 식별은 사진 검색 시스템(200)에 의해 실시간으로 수행된 카테고리(category)의 분류 처리를 통해 이루어질 수도 있고, 사전에 작성된 메타 데이터 형식의 카테고리 리스트를 통해 이루어질 수도 있다. 사진 검색 시스템(200)은 사진의 이미지 내용을 기반하여 카테고리(category)의 분류 처리를 수행할 수 있다.
사진 검색 시스템(200)은 식별된 사진의 카테고리(category)와 할당된 오브젝트 카테고리(object category)를 비교하고, 카테고리(category)의 일치 정도에 따라 각 사진에 대한 가중치를 결정한다. 또한, 사진 검색 시스템(200)은 결정된 가중치를 반영하여 검색된 사진 각각에 대해 스코어를 부여한다. 즉, 사진 검색 시스템(200)은 텀-프리컨시(Term Frequency), 도큐먼트-프리컨시(Document Frequency), 이미지-분류(Image Classification) 정보를 이용하여 사진에 대해 소정의 검색점수를 결정하고, 카테고리(category) 일치 정도에 따른 가중치를 상기 검색점수에 반영하여 상기 검색된 사진에 대해 스코어를 부여한다.
도 3에서, 사진 검색 시스템(200)은 사진 3에 대해 검색점수 '2.0'을 결정할 수 있고, 질의어 '휴가 때 보트 타고 찍은 사진'에 할당된 오브젝트 카테고리(object category) '배(ship)'와, 사진 3의 카테고리(category) '배(ship)'가 일치함에 따라 비교적 높게 결정된 가중치 '*2'를 상기 검색점수 '2.0'에 반영하여 스코어링(scoring)을 할 수 있다.
또한, 사진 검색 시스템(200)은 결정된 점수를 고려하여 사진 각각에 대해 순위를 결정함으로써 화면 상에서의 사진 정렬 형태를 결정하게 된다. 예컨대, 사진 검색 시스템(200)은 점수가 가장 높은 사진 3에 최상위 순위를 결정할 수 있고, 순위가 최상위인 사진 '3'을 화면 최상단에서 표시되도록 검색된 사진들을 정렬시킬 수 있다.
따라서, 본 실시예에 의해서는, 온톨로지를 이용한 확장 검색을 지원하여 재현율(recall)을 향상시키면서도, 질의어에 할당된 오브젝트 카테고리(object category)를 반영한 순위 결정을 통해 사용자가 검색하고자 하는 사진이 보다 높은 순위로 사용자에게 우선적으로 표시되도록 할 수 있다.
이하, 본 발명의 실시예에 따른 사진 검색 시스템의 작업 흐름을 상세히 설명한다.
도 4는 본 발명의 멀티모달 정보를 이용한 사진 검색 방법을 구체적으로 도시한 작업 흐름도이다.
본 발명의 멀티모달 정보를 이용한 사진 검색 방법은 상술한 사진 검색 시스템(200)에 의해 수행된다.
우선, 사진 검색 시스템(200)은 질의어에 대한 오브젝트 카테고리(object category)를 할당한다(S410). 본 단계(S410)는 사진 검색을 원하는 사용자에 의해 입력된 질의어 분석을 통해 검색하고자 하는 사진의 오브젝트 카테고리(object category)를 분류하는 과정이다(텍스트 기준 분류(Text Based Classification)). 즉, 텍스트 기준 분류(Text Based Classification)에서의 사진 검색 시스템(200)은 질의어(핵심 검색어)와 온톨로지 상의 미리 정의된 오브젝트 카테고리(object category)와의 거리 계산을 통해 가장 가까운 오브젝트 카테고리(object category)를 할당한다. 상기 핵심 검색어는 질의어를 구성하는 쿼리 텀(query term) 중에서 사진 내에서 객체(object)로 나타나는 쿼리 텀(query term)을 선정할 수 있다. 예컨대, 질의어 '휴가 때 보트 타고 찍은 사진'이 입력된 조건하에서, 사진 검색 시스템(200)은 사진 상에서 객체(object)로 나타날 수 있는 쿼리 텀(query term) '보트'를 핵심 검색어로 선정할 수 있고, 핵심 검색어 '보트'와 가장 가까운 거리로 계산되는 '배(ship)'를 질의어에 대한 오브젝트 카테고리(object category)로 할당할 수 있다(도 3 참조).
또한, 사진 검색 시스템(200)은 질의어로부터 도출되는 확장 검색어와 연관된 사진을 검색한다(S420). 본 단계(S420)는 질의어와 연관한 온톨로지에 존재하는 동의어 또는 하의어를 확장 검색어로서 추출하고, 상기 추출된 동의어 또는 하의어의 확장 검색어를 이용한 사진에 대한 확장 검색을 수행하는 과정이다.
도 5는 본 발명에 따른 온톨로지를 이용한 확장 검색의 일례를 설명하기 위한 작업 흐름도이다.
사진 검색 시스템(200)은 사진 검색을 위해 입력된 질의어에 대해 파서를 이용하여 자연어 질의어를 분석한다(S510). 본 단계(S510)는 형태소 분석을 통해 질의어로부터 자연어 질의어를 추출하는 'NL Query Analysis' 과정으로, 사진 검색 시스템(200)은 질의어에서 수식어 또는 불용어를 제거하여 의미있는 검색어를 추출한다.
또한, 사진 검색 시스템(200)은 온톨로지를 이용하여 질의어를 확장한다(S520). 본 단계(S520)는 추출된 자연어 검색어와 연관한 온톨로지 상의 동일 집합에 속하는 동의어 또는 하의어를 탐색하여 질의어를 확장하는 'Ontology Based Query Expansion' 과정이다.
다음으로, 사진 검색 시스템(200)은 확장 검색어를 이용하여 텍스트 기반 검색을 수행한다(S530). 본 단계(S530)는 확장 검색어를 포함하는 메모 정보를 소정의 메모리 수단에서 식별하고, 식별되는 메모 정보에 대응하는 사진을 메모리 수 단으로부터 추출해내는 'Text Based Photo Retrieval 과정이다.
따라서, 본 발명에 따르면, 온톨로지를 이용한 확장 검색어의 추출 및 확장 검색에 의한 사진 검색을 통해 광범위한 사진 검색을 가능하게 하며 재현율(recall) 높일 수 있다.
다시, 도 4를 살펴보면, 사진 검색 시스템(200)은 할당된 오브젝트 카테고리(object category)를 반영하여, 상기 검색된 사진에 대한 순위를 결정한다(S430). 본 단계(S430)는 검색된 사진에 대해 검색 정확도를 고려하여 스코어를 부여하고, 상기 부여된 스코어에 따라 사진의 정렬시 근거가 되는 순위를 결정하는 과정이다(Scoring & Ranking).
도 6은 본 발명에 따른 사진의 순위를 결정하는 일례를 설명하기 위한 작업 흐름도이다.
우선, 사진 검색 시스템(200)은 검색된 사진의 이미지 내용을 참조하여 해당 사진에 대한 카테고리(category)를 식별한다(S610). 본 단계(S610)는 검색된 사진의 이미지 내용에 기반해 사진이 포함하고 있는 카테고리를 분류하는 과정이다. 사진 검색 시스템(200)은 사진의 검색에 연동하여 카테고리(category) 분류를 실시간으로 처리할 수 있다. 다른 예로서, 사진 검색 시스템(200)은 사진 촬영 기능을 갖는 단말 수단(110)에서의 현실적인 동작을 위해 메타데이터 형식으로 사전에 미리 작성된 카테고리 리스트를 포함할 수 있고, 상기 카테고리 리스트에 대한 메타데이터 파싱(parsing)에 의해 사진의 카테고리(category)를 분류할 수 있다.
또한, 사진 검색 시스템(200)은 할당된 오브젝트 카테고리(object category)와 식별된 사진의 카테고리(category)와의 일치 정도를 측정하고, 상기 측정된 일치 정도에 상응하는 가중치를 결정한다(S620). 본 단계(S620)는 검색점수에 반영할 가중치를 결정하는 과정으로, 예컨대 할당된 사진의 오브젝트 카테고리(object category)가 검색된 사진에도 나타나는 경우 높은 가중치를 결정하고, 그렇지 않는 경우, 낮은 가중치를 결정할 수 있다.
계속해서, 사진 검색 시스템(200)은 결정된 가중치를 적용하여 사진에 대해 스코어를 부여한다(S630). 본 단계(S630)는 사진에서의 텀-프리컨시(Term Frequency), 도큐먼트-프리컨시(Document Frequency), 이미지-분류(Image Classification) 등을 고려하여 검색된 사진 개별의 검색점수를 결정하고, 결정된 검색점수에 가중치를 적용하여 스코어를 부여하는 과정이다.
본 단계(S630)에서의 사진 검색 시스템(200)은 사진에 대해 부여되는 스코어 si를,
Figure 112006048027427-pat00004
에 만족하여 연산할 수 있다. 상기 w는 TF_IDF_Score를 위한 가중치를 의미한다.
여기서, 확장 검색어가 상기 사진의 메모 정보에 포함될 확률을 모델링한 값인 상기 TF_IDF_Score는,
Figure 112006048027427-pat00005
를 만족하여 연산할 수 있다. 여기서, D는 사진의 ANNOTATION 부분(주석 부분)을 의미하고, t는 검색어를 의미하며, DF는 상기 확장 검색어를 포함하는 사진의 개수를 의미한다.
또한, 사진에 카테고리가 존재할 확률 값인 상기 Image Score는,
Figure 112006048027427-pat00006
를 만족하여 연산할 수 있다. 여기서, I는 사진의 이미지 부분을 의미하고, c는 핵심 검색어에 대한 카테고리를 나타내며, gi는 소정 패턴 분류기의 신뢰값이고, Pr(gi)은 상기 신뢰값을 확률로 재계산한 사후 확률값을 의미한다.
즉, 사진 검색 시스템(200)은 검색 정확도를 고려하여 사진에 대해 부여된 스코어를 이용하여 검색된 사진 각각에 대한 순위를 결정할 수 있게 한다.
도 4를 계속해서 살펴보면, 사진 검색 시스템(200)은 결정된 순위에 상응하여 상기 사진을 정렬하여 표시한다(S440). 본 단계(S440)는 순위에 따라 사진을 배열하여 검색 결과로서 화면상에 디스플레이시키는 과정으로, 검색 정확도가 높아 상위 순위가 결정된 사진을 사용자에게 우선적으로 제공한다.
따라서, 본 발명에 의하면, 질의어 중 사진 내에 객체로 나타나는 쿼리 텀(query term)에 대한 오브젝트 카테고리(object category)를 할당하고, 온톨로지를 이용하여 확장 검색된 사진들에 대해 상기 오브젝트 카테고리(object category)를 반영하여 랭킹이 결정되도록 함으로써 온톨로지에 의한 질의어 확장 오류를 최적하게 줄일 수 있다.
또한, 본 발명에 의해서는, 온톨로지를 이용한 확장 검색을 지원하여 재현율(recall)을 향상시키면서도, 질의어에 할당된 오브젝트 카테고리(object category)를 반영한 순위 결정을 통해 사용자가 검색하고자 하는 사진이 보다 높은 순위로 사용자에게 우선적으로 표시되도록 할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
이상의 설명에서 알 수 있는 바와 같이, 본 발명에 따르면, 질의어 중 사진 내에 객체로 나타나는 쿼리 텀(query term)에 대한 오브젝트 카테고리(object category)를 할당하고, 온톨로지를 이용하여 확장 검색된 사진들에 대해 상기 오브젝트 카테고리(object category)를 반영하여 랭킹이 결정되도록 함으로써 온톨로지에 의한 질의어 확장 오류를 최적하게 줄일 수 있는 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색 시스템을 제공할 수 있다.
또한, 본 발명에 따르면, 온톨로지를 이용한 확장 검색을 지원하여 재현율(recall)을 향상시키면서도, 질의어에 할당된 오브젝트 카테고리(object category)를 반영한 순위 결정을 통해 사용자가 검색하고자 하는 사진이 보다 높은 순위로 사용자에게 우선적으로 표시되도록 할 수 있는 고속 정확한 멀티모달 정보를 이용한 사진 검색 방법을 제공할 수 있다.

Claims (21)

  1. 사진 검색 시스템에 의해 구현되는 사진 검색 방법에 있어서,
    상기 사진 검색 시스템의 카테고리 할당 수단에서, 질의어를 구성하는 쿼리 텀(query term) 중에서 핵심 검색어를 선정하는 단계;
    상기 카테고리 할당 수단에서, 상기 선정된 핵심 검색어에 오브젝트 카테고리(object category)를 할당하는 단계;
    상기 사진 검색 시스템의 확장 검색 수단에서, 상기 질의어로부터 도출되는 확장 검색어와 연관된 사진을 검색하는 단계;
    상기 사진 검색 시스템의 순위 결정 수단에서, 상기 할당된 오브젝트 카테고리(object category)를 반영하여, 상기 검색된 사진에 대한 순위를 결정하는 단계; 및
    상기 사진 검색 시스템의 사진 정렬 수단에서, 상기 결정된 순위에 상응하여 상기 사진을 정렬하여 표시하는 단계
    를 포함하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  2. 삭제
  3. 제1항에 있어서,
    핵심 검색어를 선정하는 상기 단계는,
    사진 내에서 객체(object)로 나타나는 쿼리 텀(query term)을 상기 핵심 검색어로 선정하는 단계
    를 포함하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  4. 제1항에 있어서,
    핵심 검색어에 오브젝트 카테고리(object category)를 할당하는 상기 단계는,
    상기 핵심 검색어와 온톨로지 상의 미리 정의된 오브젝트 카테고리(object category)와의 거리를 계산하는 단계; 및
    상기 계산 결과 중에서 거리가 가장 짧게 계산되는 오브젝트 카테고리(object category)를 상기 핵심 검색어에 할당하는 단계
    를 포함하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  5. 제1항에 있어서,
    상기 확장 검색어는 상기 질의어와 연관한 온톨로지에 존재하는 동의어 또는 하의어인 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  6. 제1항에 있어서,
    확장 검색어와 연관된 사진을 검색하는 상기 단계는,
    사진 및, 상기 사진의 메모 정보를 대응시켜 저장하는 메모리 수단을 유지하는 단계;
    상기 확장 검색어를 포함하는 메모 정보를, 상기 메모리 수단에서 식별하는 단계; 및
    상기 식별되는 메모 정보에 대응하는 사진을, 상기 메모리 수단으로부터 추출하는 단계
    를 포함하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  7. 제1항에 있어서,
    검색된 사진에 대한 순위를 결정하는 상기 단계는,
    상기 검색된 사진의 내용을 참조하여 해당 사진에 대한 카테고리(category)를 식별하는 단계;
    상기 할당된 오브젝트 카테고리(object category)와, 상기 식별된 사진의 카테고리(category)와의 일치 정도를 측정하고, 상기 측정된 일치 정도에 상응하는 가중치를 결정하는 단계; 및
    상기 결정된 가중치를 적용하여 상기 사진에 대해 스코어를 부여하는 단계
    를 포함하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  8. 제7항에 있어서,
    상기 확장 검색어가 상기 사진의 메모 정보에 포함될 확률을 모델링한 값을 TF_IDF_Score로, 상기 사진에 카테고리가 존재할 확률 값을 Image Score로 정의하는 경우,
    검색된 사진에 대한 스코어를 부여하는 상기 단계는,
    상기 사진에 부여되는 스코어 si는,
    w가 상기 TF_IDF_Score를 위한 가중치일 경우,
    Figure 112007062330555-pat00019
    를 만족하여 연산하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  9. 제8항에 있어서,
    상기 TF_IDF_Score는,
    D가 사진의 ANNOTATION 부분(주석 부분)을 의미하고, t가 검색어를 의미하며, DF가 상기 확장 검색어를 포함하는 사진의 개수를 의미하는 경우,
    Figure 112007062330555-pat00020
    를 만족하여 연산하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  10. 제8항에 있어서,
    상기 Image Score는,
    I가 사진의 이미지 부분을 의미하고, c가 핵심 검색어에 대한 카테고리를 나타내며, gi가 패턴 분류기의 신뢰값이고, Pr(gi)이 상기 신뢰값을 확률로 재계산한 사후 확률값을 의미하는 경우,
    Figure 112007062330555-pat00021
    를 만족하여 연산하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 방법.
  11. 제1항, 제3항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  12. 사진 검색 시스템에 있어서,
    질의어를 구성하는 쿼리 텀(query term) 중에서 핵심 검색어를 선정하고, 상기 선정된 핵심 검색어에 오브젝트 카테고리(object category)를 할당하는 카테고리 할당 수단;
    상기 질의어로부터 도출되는 확장 검색어와 연관된 사진을 검색하는 확장 검색 수단;
    상기 할당된 오브젝트 카테고리(object category)를 반영하여, 상기 검색된 사진에 대한 순위를 결정하는 순위 결정 수단; 및
    상기 결정된 순위에 상응하여 상기 사진을 정렬하여 표시하는 사진 정렬 수단
    을 포함하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  13. 삭제
  14. 제12항에 있어서,
    상기 카테고리 할당 수단은, 사진 내에서 오브젝트(object)로 나타나는 쿼리 텀(query term)을 상기 핵심 검색어로 선정하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  15. 제12항에 있어서,
    상기 카테고리 할당 수단은, 상기 핵심 검색어와 온톨로지 상의 미리 정의된 오브젝트 카테고리(object category)와의 거리를 계산하고, 상기 계산 결과 중에서 거리가 가장 짧게 계산되는 오브젝트 카테고리(object category)를 상기 핵심 검색어에 할당하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  16. 제12항에 있어서,
    상기 확장 검색어는 상기 질의어와 연관한 온톨로지에 존재하는 동의어 또는 하의어인 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  17. 제12항에 있어서,
    상기 사진 및, 상기 사진의 메모 정보를 대응시켜 저장하는 메모리 수단을 더 포함하고,
    상기 확장 검색 수단은, 상기 확장 검색어를 포함하는 메모 정보를, 상기 메모리 수단에서 식별하고, 상기 식별되는 메모 정보에 대응하는 사진을, 상기 메모리 수단으로부터 추출하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  18. 제12항에 있어서,
    상기 순위 결정 수단은, 상기 검색된 사진의 내용을 참조하여 해당 사진에 대한 카테고리(category)를 식별하고, 상기 할당된 오브젝트 카테고리(object category)와, 상기 식별된 사진의 카테고리(category)와의 일치 정도를 측정하고, 상기 측정된 일치 정도에 상응하는 가중치를 결정하며, 상기 결정된 가중치를 적용하여 상기 사진에 대해 스코어를 부여하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  19. 제18항에 있어서,
    상기 확장 검색어가 상기 사진의 메모 정보에 포함될 확률을 모델링한 값을 TF_IDF_Score로, 상기 사진에 카테고리가 존재할 확률 값을 Image Score로 정의하는 경우,
    상기 순위 결정 수단은,
    상기 사진에 부여되는 스코어 si를,
    w가 상기 TF_IDF_Score를 위한 가중치일 경우,
    Figure 112007062330555-pat00022
    를 만족하여 연산하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  20. 제19항에 있어서,
    상기 순위 결정 수단은,
    상기 TF_IDF_Score를,
    D가 사진의 ANNOTATION 부분(주석 부분)을 의미하고, t가 검색어를 의미하며, DF가 상기 확장 검색어를 포함하는 사진의 개수를 의미하는 경우,
    Figure 112007062330555-pat00023
    를 만족하여 연산하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
  21. 제19항에 있어서,
    상기 순위 결정 수단은,
    상기 Image Score를,
    I가 사진의 이미지 부분을 의미하고, c가 핵심 검색어에 대한 카테고리를 나타내며, gi가 패턴 분류기의 신뢰값이고, Pr(gi)이 상기 신뢰값을 확률로 재계산한 사후 확률값을 의미하는 경우,
    Figure 112007062330555-pat00024
    를 만족하여 연산하는 것을 특징으로 하는 멀티모달 정보를 이용한 사진 검색 시스템.
KR1020060062592A 2006-07-04 2006-07-04 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템 KR100785928B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060062592A KR100785928B1 (ko) 2006-07-04 2006-07-04 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템
US11/822,156 US7739276B2 (en) 2006-07-04 2007-07-02 Method, system, and medium for retrieving photo using multimodal information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060062592A KR100785928B1 (ko) 2006-07-04 2006-07-04 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템

Publications (1)

Publication Number Publication Date
KR100785928B1 true KR100785928B1 (ko) 2007-12-17

Family

ID=38920235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060062592A KR100785928B1 (ko) 2006-07-04 2006-07-04 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템

Country Status (2)

Country Link
US (1) US7739276B2 (ko)
KR (1) KR100785928B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009146113A3 (en) * 2008-04-03 2010-03-18 Microsoft Corporation User intention modeling for interactive image retrieval
KR101108761B1 (ko) 2009-12-29 2012-02-24 엔에이치엔(주) 이미지 중복 제거시의 대표 이미지 선택 방법 및 시스템
KR101122394B1 (ko) * 2009-05-08 2012-03-23 엔에이치엔(주) 엔트로피 점수를 이용한 검색결과 제공 방법 및 장치
US8229935B2 (en) 2006-11-13 2012-07-24 Samsung Electronics Co., Ltd. Photo recommendation method using mood of music and system thereof
KR101219469B1 (ko) 2011-03-29 2013-01-11 서울대학교산학협력단 멀티미디어 컨텐츠의 멀티모달 학습 및 분류 방법
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
KR20160104442A (ko) * 2015-02-26 2016-09-05 서울대학교산학협력단 컴퓨터 실행 가능한 비모수 베이지안 합곱 네트워크를 통한 이미지 검색 방법
US11080328B2 (en) 2012-12-05 2021-08-03 Google Llc Predictively presenting search capabilities

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8078618B2 (en) * 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
US7904461B2 (en) * 2007-05-01 2011-03-08 Google Inc. Advertiser and user association
US8055664B2 (en) 2007-05-01 2011-11-08 Google Inc. Inferring user interests
US8280721B2 (en) * 2007-08-31 2012-10-02 Microsoft Corporation Efficiently representing word sense probabilities
US7853622B1 (en) 2007-11-01 2010-12-14 Google Inc. Video-related recommendations using link structure
US8041082B1 (en) 2007-11-02 2011-10-18 Google Inc. Inferring the gender of a face in an image
US7961986B1 (en) * 2008-06-30 2011-06-14 Google Inc. Ranking of images and image labels
US20100094826A1 (en) * 2008-10-14 2010-04-15 Omid Rouhani-Kalleh System for resolving entities in text into real world objects using context
US20100094855A1 (en) * 2008-10-14 2010-04-15 Omid Rouhani-Kalleh System for transforming queries using object identification
US8041733B2 (en) * 2008-10-14 2011-10-18 Yahoo! Inc. System for automatically categorizing queries
US20100094846A1 (en) * 2008-10-14 2010-04-15 Omid Rouhani-Kalleh Leveraging an Informational Resource for Doing Disambiguation
JP4735995B2 (ja) * 2008-12-04 2011-07-27 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
CN101996210A (zh) * 2009-08-31 2011-03-30 国际商业机器公司 用于搜索电子地图的方法和系统
US8306922B1 (en) 2009-10-01 2012-11-06 Google Inc. Detecting content on a social network using links
US8311950B1 (en) 2009-10-01 2012-11-13 Google Inc. Detecting content on a social network using browsing patterns
US8774526B2 (en) * 2010-02-08 2014-07-08 Microsoft Corporation Intelligent image search results summarization and browsing
US8275771B1 (en) 2010-02-26 2012-09-25 Google Inc. Non-text content item search
GB201008924D0 (en) * 2010-05-27 2010-07-14 Anthropics Technology Ltd Applying effects to electronic media files
US8538896B2 (en) 2010-08-31 2013-09-17 Xerox Corporation Retrieval systems and methods employing probabilistic cross-media relevance feedback
US20120117051A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
US8447767B2 (en) 2010-12-15 2013-05-21 Xerox Corporation System and method for multimedia information retrieval
US8996495B2 (en) * 2011-02-15 2015-03-31 Ebay Inc. Method and system for ranking search results based on category demand normalized using impressions
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
JP5737079B2 (ja) * 2011-08-31 2015-06-17 カシオ計算機株式会社 テキスト検索装置、テキスト検索プログラム、及びテキスト検索方法
KR101818717B1 (ko) * 2011-09-27 2018-01-15 네이버 주식회사 컨셉 키워드 확장 데이터 셋을 이용한 검색방법, 장치 및 컴퓨터로 판독 가능한 기록매체
US8661049B2 (en) * 2012-07-09 2014-02-25 ZenDesk, Inc. Weight-based stemming for improving search quality
CN104239359B (zh) * 2013-06-24 2017-09-01 富士通株式会社 基于多模态的图像标注装置以及方法
CN104516902A (zh) * 2013-09-29 2015-04-15 北大方正集团有限公司 语义信息获取方法及其对应的关键词扩展方法和检索方法
CN104462590B (zh) * 2014-12-30 2019-03-12 百度在线网络技术（北京）有限公司 信息搜索方法及装置
CN108228612B (zh) * 2016-12-14 2022-03-18 北京国双科技有限公司 一种提取网络事件关键词以及情绪倾向的方法及装置
JP6857586B2 (ja) * 2017-10-02 2021-04-14 富士フイルム株式会社 画像抽出装置，画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体
CN113139121A (zh) * 2020-01-20 2021-07-20 阿里巴巴集团控股有限公司 查询方法、模型训练方法、装置、设备及存储介质
US11645323B2 (en) 2020-02-26 2023-05-09 Samsung Electronics Co.. Ltd. Coarse-to-fine multimodal gallery search system with attention-based neural network models

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330935A (ja) 2002-05-15 2003-11-21 Toshiba Corp マルチモーダル情報システム及びマルチモーダル情報検索方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541836A (en) 1991-12-30 1996-07-30 At&T Corp. Word disambiguation apparatus and methods
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US5579471A (en) 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
KR970010030B1 (ko) 1993-12-24 1997-06-20 양승택 사진 검색 시스템
US5721902A (en) * 1995-09-15 1998-02-24 Infonautics Corporation Restricted expansion of query terms using part of speech tagging
US5696964A (en) * 1996-04-16 1997-12-09 Nec Research Institute, Inc. Multimedia database retrieval system which maintains a posterior probability distribution that each item in the database is a target of a search
US6098033A (en) 1997-07-31 2000-08-01 Microsoft Corporation Determining similarity between words
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
KR100319154B1 (ko) 1999-02-01 2001-12-29 구자홍 이미지 데이타의 구성 방법과 이미지 검색 방법
US6477269B1 (en) 1999-04-20 2002-11-05 Microsoft Corporation Method and system for searching for images based on color and shape of a selected image
US6574616B1 (en) * 2000-02-16 2003-06-03 Index Stock Imagery, Inc. Stochastic visually based image query and retrieval system
US6704729B1 (en) * 2000-05-19 2004-03-09 Microsoft Corporation Retrieval of relevant information categories
US7007008B2 (en) * 2000-08-08 2006-02-28 America Online, Inc. Category searching
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US7089226B1 (en) * 2001-06-28 2006-08-08 Microsoft Corporation System, representation, and method providing multilevel information retrieval with clarification dialog
CA2397424A1 (en) * 2002-08-09 2004-02-09 Mohammed Lamine Kherfi Content-based image retrieval using positive and negative examples
US7394947B2 (en) * 2003-04-08 2008-07-01 The Penn State Research Foundation System and method for automatic linguistic indexing of images by a statistical modeling approach
US20040260677A1 (en) * 2003-06-17 2004-12-23 Radhika Malpani Search query categorization for business listings search
JP2007505382A (ja) * 2003-09-08 2007-03-08 コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． グラフィック要素の索引付け及び探索方法及び装置
US7475092B2 (en) * 2004-11-29 2009-01-06 Rothschild Trust Holdings, Llc System and method for embedding symbology in digital images and using the symbology to organize and control the digital images
US7272597B2 (en) * 2004-12-29 2007-09-18 Aol Llc Domain expert search
US7836050B2 (en) * 2006-01-25 2010-11-16 Microsoft Corporation Ranking content based on relevance and quality
US7974984B2 (en) * 2006-04-19 2011-07-05 Mobile Content Networks, Inc. Method and system for managing single and multiple taxonomies
US7966309B2 (en) * 2007-01-17 2011-06-21 Google Inc. Providing relevance-ordered categories of information
US7966321B2 (en) * 2007-01-17 2011-06-21 Google Inc. Presentation of local results
US8094948B2 (en) * 2007-04-27 2012-01-10 The Regents Of The University Of California Photo classification using optical parameters of camera from EXIF metadata
US8862608B2 (en) * 2007-11-13 2014-10-14 Wal-Mart Stores, Inc. Information retrieval using category as a consideration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330935A (ja) 2002-05-15 2003-11-21 Toshiba Corp マルチモーダル情報システム及びマルチモーダル情報検索方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229935B2 (en) 2006-11-13 2012-07-24 Samsung Electronics Co., Ltd. Photo recommendation method using mood of music and system thereof
WO2009146113A3 (en) * 2008-04-03 2010-03-18 Microsoft Corporation User intention modeling for interactive image retrieval
US8190604B2 (en) 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
KR101122394B1 (ko) * 2009-05-08 2012-03-23 엔에이치엔(주) 엔트로피 점수를 이용한 검색결과 제공 방법 및 장치
KR101108761B1 (ko) 2009-12-29 2012-02-24 엔에이치엔(주) 이미지 중복 제거시의 대표 이미지 선택 방법 및 시스템
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
KR101219469B1 (ko) 2011-03-29 2013-01-11 서울대학교산학협력단 멀티미디어 컨텐츠의 멀티모달 학습 및 분류 방법
US11080328B2 (en) 2012-12-05 2021-08-03 Google Llc Predictively presenting search capabilities
US11886495B2 (en) 2012-12-05 2024-01-30 Google Llc Predictively presenting search capabilities
KR20160104442A (ko) * 2015-02-26 2016-09-05 서울대학교산학협력단 컴퓨터 실행 가능한 비모수 베이지안 합곱 네트워크를 통한 이미지 검색 방법
KR101657674B1 (ko) * 2015-02-26 2016-09-19 서울대학교산학협력단 컴퓨터 실행 가능한 비모수 베이지안 합곱 네트워크를 통한 이미지 검색 방법

Also Published As

Publication number Publication date
US7739276B2 (en) 2010-06-15
US20080010275A1 (en) 2008-01-10

Similar Documents

Publication Publication Date Title
KR100785928B1 (ko) 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템
CN108829893B (zh) 确定视频标签的方法、装置、存储介质和终端设备
US9411830B2 (en) Interactive multi-modal image search
CN106997382B (zh) 基于大数据的创新创意标签自动标注方法及系统
US10534808B2 (en) Architecture for responding to visual query
US9122680B2 (en) Information processing apparatus, information processing method, and program
US7783644B1 (en) Query-independent entity importance in books
CA2774278C (en) Methods and systems for extracting keyphrases from natural text for search engine indexing
US20140101544A1 (en) Displaying information according to selected entity type
US7647303B2 (en) Document processing apparatus for searching documents, control method therefor, program for implementing the method, and storage medium storing the program
US7003736B2 (en) Iconic representation of content
EP1391834A2 (en) Document retrieval system and question answering system
JP5444115B2 (ja) データ検索装置、データ検索方法及びプログラム
US20110035406A1 (en) User Interface for Presenting Search Results for Multiple Regions of a Visual Query
US20140101606A1 (en) Context-sensitive information display with selected text
US20100318532A1 (en) Unified inverted index for video passage retrieval
US20120162244A1 (en) Image search color sketch filtering
US20210103622A1 (en) Information search method, device, apparatus and computer-readable medium
CN107844493B (zh) 一种文件关联方法及系统
US10621252B2 (en) Method for searching in a database
CN110209759B (zh) 自动识别书页的方法及装置
KR101178208B1 (ko) 키워드 추출 장치 및 방법
CN111133429A (zh) 提取表达以供自然语言处理
JPH10307837A (ja) 検索装置並びに検索プログラムを記録した記録媒体
CN112860940B (zh) 基于描述逻辑知识库上有序概念空间的音乐资源检索方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee