KR20150006606A - 객체 기반으로 영상을 검색하는 서버 및 방법 - Google Patents

객체 기반으로 영상을 검색하는 서버 및 방법 Download PDF

Info

Publication number
KR20150006606A
KR20150006606A KR20130080191A KR20130080191A KR20150006606A KR 20150006606 A KR20150006606 A KR 20150006606A KR 20130080191 A KR20130080191 A KR 20130080191A KR 20130080191 A KR20130080191 A KR 20130080191A KR 20150006606 A KR20150006606 A KR 20150006606A
Authority
KR
South Korea
Prior art keywords
image
feature value
objects
area
unit
Prior art date
Application number
KR20130080191A
Other languages
English (en)
Inventor
김종성
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR20130080191A priority Critical patent/KR20150006606A/ko
Priority to US14/326,964 priority patent/US20150019532A1/en
Publication of KR20150006606A publication Critical patent/KR20150006606A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

객체 기반으로 영상을 검색하는 서버는 입력된 영상을 복수의 영역으로 분할하는 영역 분할부, 복수의 영역별로 영역 특징값을 계산하고, 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식하는 객체 인식부, 복수의 객체의 각각에 해당하는 키워드를 매칭시키는 키워드 매칭부, 복수의 객체의 각각에 해당하는 객체 특징값을 계산하는 객체 특징값 계산부 및 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 객체 특징값을 상호 연관시켜 저장하는 영상 데이터베이스부를 포함한다.

Description

객체 기반으로 영상을 검색하는 서버 및 방법{SERVER AND METHOD FOR RETRIEVING PICTURE BASED ON OBJECT}
본 발명은 객체 기반으로 영상을 검색하는 서버 및 방법에 관한 것이다.
오늘날 정보통신의 발달로 영상 데이터의 양은 기하급수적으로 늘어나고 있다. 이에 따라, 사용자들은 원하는 영상 정보를 빠르고, 정확하게 찾는 기술을 필요로 하게 되었다. 이러한 영상 데이터를 이용한 영상 검색 기술로서 주로 텍스트 기반의 영상 검색 기술이 이용되고 있다. 텍스트 기반의 영상 검색과 관련하여, 선행기술인 한국공개특허 제 2004-0021073호는 영상데이터를 키워드로 검색할 수 있는 방법에 대하여 개시하고 있다.
최근에는 텍스트 기반의 영상 검색 기술뿐만 아니라, 구글 이미지(Google Image)와 같은 내용 기반의 영상 검색 기술도 많이 이용되고 있다. 내용 기반의 영상 검색 기술은 영상의 특징으로 영상을 검색하는 기술로서 텍스트 기반의 영상 검색보다 효율적으로 영상 데이터의 검색이 가능하고, 영상의 특징 정보의 추출 및 관리가 유용하다. 다만, 내용 기반의 영상 검색 기술은 종종 전혀 상반된 검색 결과가 도출되기도 하므로, 좀 더 높은 정확성을 갖는 영상 검색 기술이 요구되고 있다.
우선 순위가 높은 객체를 기준으로 검색 결과를 정렬하여 사용자에게 제시함으로써, 효율적인 영상 검색을 가능하게 하는 객체 기반 영상 검색 서버 및 방법을 제공하고자 한다. 사용자가 의도한 바를 정확하게 파악하여 검색 결과를 제시하는 객체 기반 영상 검색 서버 및 방법을 제공하고자 한다. 기존의 내용 기반 영상 검색 보다 높은 정확도와 우선 순위를 부여하여 오류가 발생할 확률을 낮춰주는 객체 기반 영상 검색 서버 및 방법을 제공하고자 한다. 객체 분리 후 객체별 우선 순위를 부여함으로써, 사용자에게 정확한 정보를 제공하고, 오검색된 결과를 억제하는 객체 기반 영상 검색 서버 및 방법을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 입력된 영상을 복수의 영역으로 분할하는 영역 분할부, 복수의 영역별로 영역 특징값을 계산하고, 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식하는 객체 인식부, 복수의 객체의 각각에 해당하는 키워드를 매칭시키는 키워드 매칭부, 복수의 객체의 각각에 해당하는 객체 특징값을 계산하는 객체 특징값 계산부 및 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 객체 특징값을 상호 연관시켜 저장하는 영상 데이터베이스부를 포함하는 객체 기반 영상 검색 서버를 제공할 수 있다.
또한, 본 발명의 다른 실시예는, 영상, 영상이 포함하는 복수의 객체 각각의 키워드 및 상기 객체 각각의 객체 특징값을 상호 연관시켜 저장하는 영상 데이터베이스부, 사용자 단말로부터 영상 검색을 위한 질의어를 수신하는 질의어 수신부, 질의어에 해당하는 영상을 키워드를 기초로 영상 데이터베이스부로부터 검색하는 영상 검색부 및 검색된 영상을 객체 특징값을 기초로 정렬하여 사용자 단말에게 제공하는 영상 제공부를 포함하는, 객체 기반 영상 검색 서버를 제공할 수 있다.
또한, 본 발명의 또 다른 실시예는, 입력된 영상을 복수의 영역으로 분할하는 단계, 복수의 영역별로 영역 특징값을 계산하고, 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식하는 단계, 복수의 객체의 각각에 해당하는 키워드를 매칭시키는 단계, 복수의 객체의 각각에 해당하는 객체 특징값을 계산하는 단계 및 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 객체 특징값을 상호 연관시켜 저장하는 단계를 포함하는 객체 기반 영상 검색 방법을 제공할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 우선 순위가 높은 객체를 기준으로 검색 결과를 정렬하여 사용자에게 제시함으로써, 효율적인 영상 검색을 가능하게 하는 객체 기반 영상 검색 서버 및 방법을 제공할 수 있다. 사용자가 의도한 바를 정확하게 파악하여 검색 결과를 제시하는 객체 기반 영상 검색 서버 및 방법을 제공할 수 있다. 기존의 내용 기반 영상 검색 보다 높은 정확도와 우선 순위를 부여하여 오류가 발생할 확률을 낮춰주는 객체 기반 영상 검색 서버 및 방법을 제공하고자 한다. 객체 분리 후 객체별 우선 순위를 부여함으로써, 사용자에게 정확한 정보를 제공하고, 오검색된 결과를 억제하는 객체 기반 영상 검색 서버 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 기반 영상 검색 시스템의 구성도이다.
도 2는 도 1에 도시된 객체 기반 영상 검색 서버의 구성도의 일 예이다.
도 3은 본 발명의 일 실시예에 따른 입력 영상이 복수의 영역으로 분할된 도면이다.
도 4는 본 발명의 일 실시예에 따른 입력 영상에 대한 메타데이터를 생성하는 과정을 나타낸 흐름도이다.
도 5는 도 1에 도시된 객체 기반 영상 검색 서버의 구성도의 다른 실시 예이다.
도 6은 본 발명의 일 실시예에 따른 질의어에 대응하는 영상을 검색하는 과정을 나타낸 흐름도이다.
도 7은 종래의 영상 검색 결과와 본 발명의 일 실시예에 따른 객체 기반 영상 검색 결과를 비교한 도면이다.
도 8은 본 발명의 일 실시예에 따른 객체 기반 영상 검색 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 객체 기반 영상 검색 시스템의 구성도이다. 도 1을 참조하면, 객체 기반 영상 검색 시스템(1)은 객체 기반 영상 검색 서버(100) 및 다수의 사용자 단말(200)을 포함할 수 있다. 도 1 에 도시된 객체 기반 영상 검색 서버(100) 및 다수의 사용자 단말(200)은 객체 기반 영상 검색 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 객체 기반 영상 검색 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 객체 기반 영상 검색 서버(100)는 네트워크를 통하여 다수의 사용자 단말(200)과 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE 등이 포함되나 이에 한정되지는 않는다.
객체 기반 영상 검색 서버(100)는 서버(100)에 입력된 영상을 복수의 영역으로 분할하고, 복수의 영역별로 영역 특징값을 계산할 수 있다. 이 때, 서버(100)에 입력된 영상은 관리자 단말 또는 다수의 사용자 단말(200) 중 어느 하나 이상으로부터 입력된 영상일 수 있다. 또는, 서버(100)가 네트워크를 경유하여 수집한 영상이거나, 별도의 영상 정보 데이터베이스로부터 다운로드 받은 영상일수도 있다.
객체 기반 영상 검색 서버(100)는 입력 영상을 색상 정보, 질감 정보, 모양 정보, 경계선 정보 중 하나 이상을 이용하여 입력된 영상을 분할하고, 분할된 복수의 영역에 대해 색상 히스토그램, 질감 정보, 필터링 정보 중 하나 이상을 이용하여 영역 특징값을 계산할 수 있다.
객체 기반 영상 검색 서버(100)는 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식하고, 복수의 객체의 각각에 해당하는 키워드를 매칭시킬 수 있다. 예를 들어, 입력 영상이 3개의 영역으로 분할되는 경우, 객체 기반 영상 검색 서버(100)는 해당 영역의 특징값에 기초하여 복수의 영역에 해당하는 객체를 제 1 객체, 제 2 객체 및 제 3 객체로 인식할 수 있으며, 인식된 객체에 해당하는 키워드를 매칭시킬 수 있다.
객체 기반 영상 검색 서버(100)는 복수의 객체의 각각에 해당하는 객체 특징값을 계산하여 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 객체 특징값을 상호 연관시켜 데이터베이스에 저장시킬 수 있다. 이 때, 객체 특징값은 인식된 객체별로 정규화된 특징값으로서, 질감 정보 및 색상 정보 중 하나 이상을 포함할 수 있으며, 입력된 영상의 전체 면적과 각 객체의 면적과의 비율을 포함할 수 있다.
예를 들어, 제 1 객체가 자동차, 제 2 객체가 도로라고 가정하는 경우, 객체 기반 영상 검색 서버(100)는 제 1 객체인 자동차의 객체 특징값을 계산하기 위해 색상 정보를 이용할 수 있다. 다른 예를 들어, 객체 기반 영상 검색 서버(100)는 제 2 객체인 도로의 객체 특징값을 계산하기 위해 질감 정보를 이용할 수 있다.
객체 기반 영상 검색 서버(100)는 사용자 단말(200)로부터 영상 검색을 위한 질의어를 수신하여 데이터베이스로부터 검색할 수 있다. 이 때, 질의어는 키워드 또는 영상 중 적어도 어느 하나일 수 있다. 예를 들어, 객체 기반 영상 검색 서버(100)는 사용자 단말(200)로부터 질의어로 키워드를 수신하면, 데이터베이스에 저장되어 있는 객체 중 질의된 키워드와 일치하거나 대응하는 객체를 포함하는 영상을 검색한다. 다른 예를 들어, 객체 기반 영상 검색 서버(100)는 사용자 단말(200)로부터 질의어로 영상을 수신하면, 질의된 영상으로부터 객체를 추출할 수 있다. 그 후, 객체 기반 영상 검색 서버(100)는 객체가 영상 내에서 차지하고 있는 영역의 크기 순으로 객체의 키워드와 일치하는 객체를 포함하는 영상을 검색할 수 있다. 예를 들어, 질의 영상 내에 2개의 객체가 포함되었다고 가정하면, 객체 중 가장 큰 영역을 차지하고 있는 객체의 키워드와 일치하는 객체를 포함하는 영상을 검색한 후, 두번째 큰 영역을 차지하고 있는 객체의 키워드와 일치하는 객체를 포함하는 영상을 검색할 수 있다. 이 때, 객체 기반 영상 검색 서버(100)는 질의된 영상에서 추출된 모든 객체에 대해서 동일한 동작을 수행할 수 있다.
객체 기반 영상 검색 서버(100)는 검색된 다수의 영상을 객체 특징값을 기초로 정렬하여 사용자 단말(200)에게 제공할 수 있다. 객체 기반 영상 검색 서버(100)는 질의된 키워드와 일치하는 객체를 포함하는 영상이 다수 검색되면, 객체 특징값에 기초하여 이를 내림차순으로 정렬하여 사용자 단말(200)로 제공할 수 있다. 또한, 객체 기반 영상 검색 서버(100)는 질의된 영상에서 추출된 모든 객체에 대하여 해당 객체의 키워드를 포함하는 복수의 영상이 검색되면, 질의된 영상에서 각 객체의 객체 특징값에 기초하여 검색된 복수의 영상에 일정한 비율의 점수를 부여하고, 부여된 점수에 따라 복수의 영상을 내림차순으로 정렬하여 사용자 단말(200)로 제공할 수 있다. 이 때, 객체 특징값은 객체별로 정규화된 특징값으로서, 질감 정보 및 색상 정보 중 하나 이상을 포함할 수 있으며, 입력된 영상의 면적과 각 객체의 면적과의 비율을 포함할 수 있다.
이러한 객체 기반 영상 검색 서버(100)의 일 예는 컨텐츠 제공 서버, 컨텐츠 서비스 제공자 서버, 미디어 서버, 헤드엔드 등 다양하다.
사용자 단말(200)은 질의어를 입력하여 객체 기반 영상 검색 서버(100)로 전송한다. 이 때, 질의어는 키워드 또는 영상 중 어느 하나일 수 있다. 또한, 사용자 단말(200)은 객체 기반 영상 검색 서버(100)로부터 검색된 영상을 제공받을 수 있다. 예를 들어, 사용자 단말(200)은 질의어로 키워드를 입력하면, 키워드에 해당하는 객체를 포함하는 영상 중 객체 특징값에 의해 정렬된 다수의 영상을 객체 기반 영상 검색 서버(100)로부터 제공받을 수 있다. 다른 예를 들어, 사용자 단말(200)은 영상을 질의어로 입력하면, 입력 영상 내의 객체에 기초하여 해당 객체가 포함된 복수의 영상을 객체 기반 영상 검색 서버(100)로부터 제공받을 수 있다. 이때, 제공되는 영상은 객체 특징값에 기초하여 내림차순으로 정렬된 것일 수 있다.
이러한 사용자 단말(200)의 일 예는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smart phone), 스마트 패드(smart pad), 타블랫 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 사용자 단말(200)은 IPTV(Internet Protocol Television), 스마트 TV(Smart TV) 및 커넥티드 TV(Connected TV) 등과 같이 인터넷 회선을 이용하는 모든 종류의 TV장치를 포함할 수 있다. 또한, 사용자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 노트북(notebook), 넷북(Netbook), 울트라북(UltraBook), 서브노트북(SubNotebook), 데스크노트(DeskNote), UMPC(Ultra-Mobile PC) 등과 같은 모든 종류의 휴대용 PC를 포함할 수 있으나, 이러한 일 예에 한정되어 해석되지는 않는다.
도 2는 도 1에 도시된 객체 기반 영상 검색 서버의 구성도의 일 예이다. 도 1 및 도 2를 참조하면, 객체 기반 영상 검색 서버(100)는 영역 분할부(110), 객체 인식부(120), 키워드 매칭부(130), 객체 특징값 계산부(140) 및 영상 데이터베이스부(150)을 포함할 수 있다.
다만, 도 2에 도시된 객체 기반 영상 검색 서버(100)는 본원의 하나의 구현 예에 불과하며, 도 2에 도시된 구성 요소들을 기초로 하여 여러 형태로 변형이 가능함은 본원의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들어, 구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
도 3은 본 발명의 일 실시예에 따른 입력 영상이 복수의 영역으로 분할된 도면이다. 도 2 및 도 3을 참조하면, 영역 분할부(110)는 입력된 영상을 복수의 영역으로 분할한다. 이 때, 영역 분할부(110)는 색상 정보, 질감 정보, 모양 정보, 경계선 정보 중 하나 이상을 이용하여 입력된 영상을 분할할 수 있다. 예를 들어, 영역 분할부(110)는 도 3의 입력 영상을 색상 정보, 질감 정보, 모양 정보, 경계선 정보 중 하나 이상을 이용하여 4개의 영역으로 분할할 수 있다.
객체 인식부(120)는 분할된 복수의 영역별로 영역 특징값을 계산하고, 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식한다. 이 때, 영역 특징값은 색상 히스토그램, 질감 정보, 필터링 정보 중 하나 이상을 포함할 수 있다. 색상 히스토그램은 색상의 특징 값을 추출하여 색상의 분포가 비슷한 영상들을 유사한 영상으로 판단하는 것을 말한다. 질감 정보는 객체의 윤곽선을 가장 잘 표현할 수 있는 엣지(edge) 정보를 이용하며, 이를 통해 질감 정보가 동일한 영역으로 군집화시킬 수 있다. 필터링 정보는 영상 인식에 필요한 다양한 필터(filter)를 사용하여 필터링 결과값을 획득할 수 있다. 이 때, 사용되는 필터는 예를 들어, 메디안 필터(Median filter), 캐니 필터(Canny filter) 및 가보 필터(Gabor filter) 중 적어도 어느 하나 이상일 수 있다. 객체 인식부(120)는 메디안 필터링을 사용하여 칼라 RGB의 특징 정보를 추출할 수 있다. 또한, 객체 인식부(120)는 캐니 필터링을 이용하여 객체의 엣지 정보를 추출할 수 있다. 또한, 객체 인식부(120)는 가보 필터를 이용하여 특정 이미지가 전체적으로 어떤 타입의 이미지 인지를 종합적으로 분석함으로써, 객체를 인공물 또는 자연물로 분류할 수 있다. 예를 들어, 객체 인식부(120)는 도 3의 입력 영상을 4개의 영역별로 영역 특징값을 계산하고, 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식한다. 이 때, 객체 인식부(120)는 분할된 4개의 영역을 영역 특징값에 기초하여 제 1 객체(310), 제 2 객체(320), 제 3 객체(330) 및 제 4 객체(340)로 인식할 수 있다.
키워드 매칭부(130)는 복수의 객체의 각각에 해당하는 키워드를 매칭시킨다. 예를 들어, 키워드 매칭부(130)는 도 3의 복수의 객체 중 제 1 객체(310)는 '하늘', 제 2 객체(320)는 '산', 제 3 객체(330)는 '바다' 및 제 4 객체(340)는 '모래'로 키워드를 매칭시킬 수 있다.
객체 특징값 계산부(140)는 복수의 객체의 각각에 해당하는 객체 특징값을 계산한다. 이 때, 객체 특징값 계산부(140)는 인식된 객체별로 특화된 객체 특징값을 계산할 수 있다. 예를 들어, 객체 특징값은 객체별로 정규화된 특징값으로서, 질감 정보 및 색상 정보 중 하나 이상을 포함할 수 있다. 예를 들어, 객체 특징값 계산부(140)는 하늘(310)로 분류된 객체의 파란색의 색상의 분포도를 추출할 수 있다. 다른 예를 들어, 객체 특징값 계산부(140)는 모래(340)로 분류된 객체의 거친 정도의 질감 정보를 추출할 수 있다. 또한, 객체 특징값은 입력된 영상의 면적과 각 객체의 면적과의 비율을 포함할 수 있다. 예를 들어, 객체 특징값 계산부(140)는 입력 영상의 전체 이미지 화소수 대비 객체가 차지하고 있는 화소수의 비율을 계산할 수 있다.
영상 데이터베이스부(150)는 입력 영상, 입력 영상에 포함된 복수의 객체 각각의 키워드 및 복수의 객체 각각의 객체 특징값을 상호 연관시켜 저장한다.
Figure pat00001
표 1은 입력 영상의 인식된 객체, 객체의 키워드, 객체가 영상 내에 차지하는 면적 비율 및 객체 특징값을 나타낸다. 표 1을 참조하면, 영상 데이터베이스부(150)는 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 특징값을 상호 연관시켜 입력 영상의 메타데이터로서 저장할 수 있다.
이 때, 객체 기반 영상 검색 서버(100)는 질의어 수신부(160), 영상 검색부(170) 및 영상 제공부(180)을 더 포함할 수 있다. 질의어 수신부(160)는 사용자 단말(200)로부터 영상 검색을 위한 질의어를 수신할 수 있다. 영상 검색부(170)는 질의어에 해당하는 영상을 키워드를 기초로 영상 데이터베이스부로부터 검색할 수 있다. 영상 제공부(180)는 검색된 영상을 객체 특정값을 기초로 정렬하여 사용자 단말(200)에게 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 객체 기반 영상 검색 서버(100)에서 입력 영상에 대한 메타데이터를 생성하는 과정을 나타낸 흐름도이다. 도 4를 참조하면, 단계 S410에서 객체 기반 영상 검색 서버(100)는 입력된 영상을 복수의 영역으로 분할한다. 단계 S420에서 객체 기반 영상 검색 서버(100)는 복수의 영역별로 영역 특징값을 계산한다. 단계 S430에서 객체 기반 영상 검색 서버(100)는 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식한다. 단계 S440에서 객체 기반 영상 검색 서버(100)는 복수의 객체의 각각에 해당하는 키워드를 매칭시킨다. 단계 S450에서 객체 기반 영상 검색 서버(100)는 복수의 객체의 각각에 해당하는 객체 특징값을 계산한다. 단계 S460에서 객체 기반 영상 검색 서버(100)는 영상 검색을 위한 메타데이터를 생성하여 데이터베이스에 저장한다. 이 때, 생성된 메타데이터는 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 객체 특징값이 상호 연관되어 데이터베이스에 저장된다.
도 5는 도 1에 도시된 객체 기반 영상 검색 서버의 구성도의 다른 실시 예이다. 도 1 및 도 5를 참조하면, 객체 기반 영상 검색 서버(100)는 영상 데이터베이스부(150), 질의어 수신부(160), 영상 검색부(170) 및 영상 제공부(180)를 포함할 수 있다.
영상 데이터베이스부(150)는 입력 영상, 입력 영상에 포함된 복수의 객체 각각의 키워드 및 복수의 객체 각각의 객체 특징값을 상호 연관시켜 저장하고 있다.
질의어 수신부(160)는 사용자 단말(200)로부터 영상 검색을 위한 질의어를 수신할 수 있다. 이 때, 질의어는 키워드 또는 이미지일 수 있다. 질의어 수신부(160)는 예를 들어, 사용자 단말(200)로부터 '바다'라는 키워드를 입력받을 수 있으며, 또는 '바다'라는 객체를 포함하는 영상을 입력받을 수 있다.
영상 검색부(170)는 질의어에 해당하는 영상을 키워드를 기초로 영상 데이터베이스부(150)로부터 검색하여 검색 영상 후보군을 생성할 수 있다. 이 때, 입력된 질의어가 '바다'라는 키워드일 경우, 영상 검색부(170)는 '바다'와 대응하는 영상을 키워드를 기초로 영상 데이터베이스부(150)에서 검색하여 검색 영상 후보군을 생성할 수 있다. 또는, 입력된 질의어가 '바다'라는 객체를 포함하는 영상일 경우, 영상 검색부(170)는 해당 영상에 포함된 객체를 인식하고, 인식된 객체가 나타내는 '바다'라는 키워드와 대응하는 영상을 키워드에 기초하여 영상 데이터베이스부(150)에서 검색하고, 검색 영상 후보군을 생성할 수 있다. 예를 들어, 질의어 수신부(160)가 사용자 단말(200)로부터 질의어로 제 1 객체와 제 2 객체를 포함하는 영상을 수신하였다고 가정하자. 이 때, 영상 내에 차지하는 면적이 제 1 객체, 제 2 객체 순이고, 제 1 객체의 키워드가 '하늘', 제 2 객체의 키워드가 '바다'라고 한다면, 영상 검색부(170)는 가장 큰 면적을 차지하고 있는 제 1 객체인 '하늘'이라는 키워드를 포함하는 영상을 검색한 후, 제 2 객체인 '바다'라는 키워드를 포함하는 영상을 검색하여 제 1 객체와 제 2 객체를 포함하는 복수의 검색 영상 후보군을 생성한다.
Figure pat00002
영상 검색부(170)는 검색 영상 후보군에 포함된 객체를 수학식 1에 기초하여 일정한 비율의 점수를 부여할 수 있다. 이 때, 영상 검색부(170)는 객체가 검색 영상에서 차지하는 영역 및 객체 특징값에 기초하여 검색 영상 후보군의 각각의 영상에 점수를 부여하고, 부여된 점수에 기초하여 검색 영상 후보군을 내림차순으로 정렬할 수 있다.
영상 제공부(180)는 검색된 영상을 객체 특징값을 기초로 정렬하여 사용자 단말(200)에게 제공할 수 있다. 예를 들어, 질의어 수신부(160)는 사용자 단말(200)로부터 '바다'를 포함하는 키워드 또는 영상을 수신한 경우, 영상 제공부(180)는 '바다'로 검색된 복수의 영상 중 '바다'의 색상 정보를 기초로 정렬하여 사용자 단말(200)에게 제공할 수 있다. 이 때, 영상 제공부(180)는 복수의 영상의 특징값에 기초하여 특징값을 내림차순으로 복수의 영상을 정렬시킬 수 있으며, 객체 특징값은 객체별 정규화된 특징값으로서, 질감 정보 및 색상 정보 중 하나 이상을 포함할 수 있다. 또한, 객체 특징값은 입력된 영상의 면적과 객체의 면적과의 비율을 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 질의어에 대응하는 영상을 검색하는 방법을 나타낸 흐름도이다. 도 6에 도시된 실시예에 따른 질의어에 대응하는 영상을 검색하는 방법은 도 1에 도시된 실시예에 따른 객체 기반 영상 검색 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1에 도시된 실시예에 따른 객체 기반 영상 검색 시스템(1)에 관하여 이미 기술된 내용은 도 6에 도시된 실시예에 따른 질의어에 대응하는 영상을 검색하는 방법에도 적용된다.
단계 S610에서 객체 기반 영상 검색 서버(100)의 영상 데이터베이스부(150)는 영상, 영상이 포함하는 복수의 객체 각각의 키워드 및 복수의 객체 각각의 객체 특징값을 상호 연관시켜 저장한다. 단계 S620에서 질의어 수신부(160)는 사용자 단말(200)로부터 영상 검색을 위한 질의어를 수신한다. 단계 S630에서 영상 검색부(170)는 질의어에 해당하는 영상을 키워드를 기초로 영상 데이터베이스부로부터 검색한다. 단계 S640에서 영상 제공부(180)는 검색된 영상을 객체 특징값을 기초로 정렬하여 사용자 단말(200)에게 제공한다.
도 7은 종래의 영상 검색 결과와 본 발명의 일 실시예에 따른 객체 기반 영상 검색 결과를 비교한 도면이다. 도 7을 참조하면, 기존의 영상 검색 결과(710)와 객체 기반 영상 검색 결과(720)를 비교하여 나타내었다. 기존의 영상 검색 결과(710)는 구글(Google)의 이미지 검색을 이용하여 사용자 단말(200)에서 지시어로 '하늘'을 입력하였을 때의 결과이다. 기존의 영상 검색 결과는 1번부터 8번까지의 영상을 정렬하고 있다. 이 때, 1번 내지 4번의 위치에 존재하는 상위 영상을 보면, 사용자 단말에서 입력한 '하늘'이란 객체 외에 구름, 나무 들판과 같은 다양한 객체가 포함되어 있다. 예를 들어, 사용자가 영상 검색 결과로서 푸른 하늘을 원한다면, 사용자가 원하는 영상 검색 결과는 8번의 영상일 수 있다. 그러나 8번의 영상은 기존의 영상 검색 결과에서는 하위 영상에 위치하고 있다.
객체 기반 영상 검색 결과(720)는 기존의 영상 검색 결과(710)를 영상의 특징값에 기초하여 정렬한 것이다. 이 때, 영상의 특징값은 예를 들어, 하늘에서의 블루(Blue) 값의 분포도일 수 있다. 기존의 영상 검색 결과(710)에 포함된 각각의 영상은 블루 값의 분포도에 따라 1번=0.75, 2번=0.55, 3번=0.65, 4번=0.5, 5번=0.55, 6번=0.7, 7번=0.25 및 8번=0.9과 같은 특징값을 가질 수 있다.
Figure pat00003
표 2를 참조하면, 객체 기반 영상 검색 결과(720)는 영상의 특징값에 기초하여 기존의 영상 검색 결과(710)를 1번은 2번의 위치로, 2번은 5번의 위치로, 3번은 4번의 위치로, 4번은 7번의 위치로, 5번은 5번의 위치로, 6번은 3번의 위치로, 7번은 8번의 위치로, 8번은 1번의 위치로 사진의 위치를 변경하여 내림차순으로 정렬시킬 수 있다.
즉, 블루 값의 분포가 0.9로 가장 높은 영상이 객체 기반 영상 검색 결과(720)의 1번의 위치에 놓이게 되어 사용자가 원하는 영상 검색 결과인 '푸른 하늘'의 영상을 얻을 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른 객체 기반 영상 검색 방법을 나타낸 흐름도이다. 도 8에 도시된 실시예에 따른 객체 기반 영상 검색 방법은 도 1에 도시된 실시예에 따른 객체 기반 영상 검색 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1에 도시된 실시예에 따른 객체 기반 영상 검색 시스템(1)에 관하여 이미 기술된 내용은 도 8에 도시된 실시예에 따른 객체 기반 영상 검색 방법에도 적용된다.
단계 S810에서 객체 기반 영상 검색 서버(100)의 영역 분할부(110)는 입력된 영상을 복수의 영역으로 분할한다. 단계 S820에서 객체 인식부(120)은 복수의 영역별로 영역 특징값을 계산하고, 영역 특징값을 기초로 복수의 영역 각각에 해당하는 객체를 인식한다. 단계 S830에서 키워드 매칭부(130)는 복수의 객체의 각각에 해당하는 키워드를 매칭시킨다. 단계 S840에서 객체 특징값 계산부(140)는 복수의 객체의 각각에 해다하는 객체 특징값을 계산한다. 단계 S850에서 영상 데이터베이스부(150)는 입력된 영상, 복수의 객체의 키워드 및 복수의 객체의 객체 특징값을 상호 연관시켜 저장한다.
도 8에는 도시되지 않았으나, 객체 기반 영상 검색 방법은 사용자 단말(200)로부터 영상 검색을 위한 질의어를 수신하는 단계를 더 포함할 수 있다. 또한, 도 8에는 도시되지 않았으나, 객체 기반 영상 검색 방법은 질의어에 해당하는 영상을 키워드로 기초로 검색하는 단계를 더 포함할 수도 있다. 또한, 도 8에는 도시되지 않았으나, 객체 기반 영상 검색 방법은 검색된 영상을 객체 특징값을 기초로 정렬하여 사용자 단말(200)에게 제공하는 단계를 더 포함할 수도 있다.
도 8을 통해 설명된 객체 기반 영상 검색 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 객체 기반 영상 검색 서버
110: 영역 분할부
120: 객체 인식부
130: 키워드 매칭부
140: 객체 특징값 계산부
150: 영상 데이터베이스부
160: 질의어 수신부
170: 영상 검색부
180: 영상 제공부
200: 사용자 단말

Claims (14)

  1. 객체 기반 영상 검색 서버에 있어서,
    입력된 영상을 복수의 영역으로 분할하는 영역 분할부;
    상기 복수의 영역별로 영역 특징값을 계산하고, 상기 영역 특징값을 기초로 상기 복수의 영역 각각에 해당하는 객체를 인식하는 객체 인식부;
    상기 복수의 객체의 각각에 해당하는 키워드를 매칭시키는 키워드 매칭부;
    상기 복수의 객체의 각각에 해당하는 객체 특징값을 계산하는 객체 특징값 계산부; 및
    상기 입력된 영상, 상기 복수의 객체의 키워드 및 상기 복수의 객체의 객체 특징값을 상호 연관시켜 저장하는 영상 데이터베이스부
    를 포함하는 객체 기반 영상 검색 서버.
  2. 제 1 항에 있어서,
    상기 객체 특징값은 상기 입력된 영상의 면적과 상기 각 객체의 면적과의 비율을 포함하는 것인, 객체 기반 영상 검색 서버.
  3. 제 1 항에 있어서,
    상기 객체 특징값 계산부는 상기 인식된 객체별로 특화된 객체 특징값을 계산하는 것인, 객체 기반 영상 검색 서버.
  4. 제 1 항에 있어서,
    상기 객체 특징값은 객체별 정규화된 특징값으로서, 질감 정보 및 색상 정보 중 하나 이상을 포함하는 것인, 객체 기반 영상 검색 서버.
  5. 제 1 항에 있어서,
    사용자 단말로부터 영상 검색을 위한 질의어를 수신하는 질의어 수신부;
    상기 질의어에 해당하는 영상을 상기 키워드를 기초로 상기 영상 데이터베이스부로부터 검색하는, 영상 검색부;
    상기 검색된 영상을 상기 객체 특징값을 기초로 정렬하여 상기 사용자 단말에게 제공하는, 영상 제공부
    를 더 포함하는, 객체 기반 영상 검색 서버.
  6. 제 1 항에 있어서,
    상기 영역 분할부는 색상 정보, 질감 정보, 모양 정보, 경계선 정보 중 하나 이상을 이용하여 상기 입력된 영상을 분할하는 것인, 객체 기반 영상 검색 서버.
  7. 제 1 항에 있어서,
    상기 영역 특징값은 색상 히스토그램, 질감 정보, 필터링 정보 중 하나 이상을 포함하는 것인, 객체 기반 영상 검색 서버.
  8. 객체 기반 영상 검색 서버에 있어서,
    영상, 상기 영상이 포함하는 복수의 객체 각각의 키워드 및 상기 복수의 객체 각각의 객체 특징값을 상호 연관시켜 저장하는 영상 데이터베이스부;
    사용자 단말로부터 영상 검색을 위한 질의어를 수신하는 질의어 수신부;
    상기 질의어에 해당하는 영상을 상기 키워드를 기초로 상기 영상 데이터베이스부로부터 검색하는 영상 검색부; 및
    상기 검색된 영상을 상기 객체 특징값을 기초로 정렬하여 상기 사용자 단말에게 제공하는 영상 제공부
    를 포함하는, 객체 기반 영상 검색 서버.
  9. 제 8 항에 있어서,
    상기 영상을 복수의 영역으로 분할하는 영역 분할부; 및
    상기 복수의 영역별로 영역 특징값을 계산하고, 상기 영역 특징값을 기초로 상기 복수의 영역 각각에 해당하는 객체를 인식하는 객체 인식부;
    를 더 포함하는, 객체 기반 영상 검색 서버.
  10. 제 8 항에 있어서,
    상기 객체 특징값은 상기 영상의 면적과 상기 각 객체의 면적과의 비율을 포함하는 것인, 객체 기반 영상 검색 서버.
  11. 제 9 항에 있어서,
    상기 객체 특징값은 상기 객체 인식부에 의해 인식된 객체별로 특화된 것인, 객체 기반 영상 검색 서버.
  12. 제 8 항에 있어서,
    상기 객체 특징값은 객체별 정규화된 특징값으로서, 질감 정보 및 색상 정보 중 하나 이상을 포함하는 것인, 객체 기반 영상 검색 서버.
  13. 객체 기반 영상 검색 방법에 있어서,
    입력된 영상을 복수의 영역으로 분할하는 단계;
    상기 복수의 영역별로 영역 특징값을 계산하고, 상기 영역 특징값을 기초로 상기 복수의 영역 각각에 해당하는 객체를 인식하는 단계;
    상기 복수의 객체의 각각에 해당하는 키워드를 매칭시키는 단계;
    상기 복수의 객체의 각각에 해당하는 객체 특징값을 계산하는 단계; 및
    상기 입력된 영상, 상기 복수의 객체의 키워드 및 상기 복수의 객체의 객체 특징값을 상호 연관시켜 저장하는 단계
    를 포함하는 객체 기반 영상 검색 방법.
  14. 제 13 항에 있어서,
    사용자 단말로부터 영상 검색을 위한 질의어를 수신하는 단계;
    상기 질의어에 해당하는 영상을 상기 키워드를 기초로 검색하는 단계;
    상기 검색된 영상을 상기 객체 특징값을 기초로 정렬하여 상기 사용자 단말에게 제공하는 단계
    를 더 포함하는, 객체 기반 영상 검색 방법.
KR20130080191A 2013-07-09 2013-07-09 객체 기반으로 영상을 검색하는 서버 및 방법 KR20150006606A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130080191A KR20150006606A (ko) 2013-07-09 2013-07-09 객체 기반으로 영상을 검색하는 서버 및 방법
US14/326,964 US20150019532A1 (en) 2013-07-09 2014-07-09 Image searching scheme

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130080191A KR20150006606A (ko) 2013-07-09 2013-07-09 객체 기반으로 영상을 검색하는 서버 및 방법

Publications (1)

Publication Number Publication Date
KR20150006606A true KR20150006606A (ko) 2015-01-19

Family

ID=52277988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130080191A KR20150006606A (ko) 2013-07-09 2013-07-09 객체 기반으로 영상을 검색하는 서버 및 방법

Country Status (2)

Country Link
US (1) US20150019532A1 (ko)
KR (1) KR20150006606A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210006662A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법
KR20210006661A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
JP6419560B2 (ja) * 2014-12-05 2018-11-07 株式会社東芝 検索装置、方法及びプログラム
US20170019585A1 (en) * 2015-07-15 2017-01-19 AmperVue Incorporated Camera clustering and tracking system
CN107533566A (zh) * 2016-02-25 2018-01-02 华为技术有限公司 对图片的内容进行检索的方法、便携式电子设备和图形用户界面
CN109063076B (zh) * 2018-07-24 2021-07-13 维沃移动通信有限公司 一种图片生成方法及移动终端
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
JP5063422B2 (ja) * 2008-03-14 2012-10-31 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
CA2789208A1 (en) * 2010-02-10 2011-08-18 Thereitis.Com Pty Ltd Method and system for display of objects in 3d
US9008433B2 (en) * 2012-02-08 2015-04-14 International Business Machines Corporation Object tag metadata and image search

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210006662A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법
KR20210006661A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템

Also Published As

Publication number Publication date
US20150019532A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
KR20150006606A (ko) 객체 기반으로 영상을 검색하는 서버 및 방법
US20240070214A1 (en) Image searching method and apparatus
US10885100B2 (en) Thumbnail-based image sharing method and terminal
US12038977B2 (en) Visual recognition using user tap locations
US8064641B2 (en) System and method for identifying objects in video
US8724910B1 (en) Selection of representative images
US20110145234A1 (en) Search method and system
US8577882B2 (en) Method and system for searching multilingual documents
US20080270378A1 (en) Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System
US11481432B2 (en) Reverse image search method, apparatus and application system
JP2002092032A (ja) 次検索候補単語提示方法および装置と次検索候補単語提示プログラムを記録した記録媒体
US11782979B2 (en) Method and apparatus for video searches and index construction
US9606975B2 (en) Apparatus and method for automatically generating visual annotation based on visual language
JP2019520662A (ja) 商標画像のコンテンツ・ベースの検索及び取得
KR102373884B1 (ko) 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법
US20230367804A1 (en) Multimedia content publishing method and apparatus, and electronic device and storage medium
CN108431800B (zh) 图像处理装置以及图像检索界面的显示方法
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
KR20190124436A (ko) 영상 기반 건물 검색 방법 및 장치
CN111782841A (zh) 图像搜索方法、装置、设备和计算机可读介质
US20240169000A1 (en) Information processing method and apparatus, device, and medium
WO2021244424A1 (zh) 中心词提取方法、装置、设备及存储介质
Zhang et al. Interactive mobile visual search for social activities completion using query image contextual model
KR102369324B1 (ko) 스마트경로 생성방법 및 장치
US20240221056A1 (en) Method and apparatus for presenting search screening items, electronic device, and storage medium

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid