KR101932619B1 - 콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템 - Google Patents

콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템 Download PDF

Info

Publication number
KR101932619B1
KR101932619B1 KR1020160161197A KR20160161197A KR101932619B1 KR 101932619 B1 KR101932619 B1 KR 101932619B1 KR 1020160161197 A KR1020160161197 A KR 1020160161197A KR 20160161197 A KR20160161197 A KR 20160161197A KR 101932619 B1 KR101932619 B1 KR 101932619B1
Authority
KR
South Korea
Prior art keywords
image
content provider
content
images
entry
Prior art date
Application number
KR1020160161197A
Other languages
English (en)
Other versions
KR20170138033A (ko
Inventor
치 콩
판 주
광 양
징아오 왕
Original Assignee
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 유에스에이 엘엘씨 filed Critical 바이두 유에스에이 엘엘씨
Publication of KR20170138033A publication Critical patent/KR20170138033A/ko
Application granted granted Critical
Publication of KR101932619B1 publication Critical patent/KR101932619B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G06F17/30268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Abstract

일 실시형태에 의하면, 하나 또는 복수의 이미지의 제1 집합을 검색 쿼리에 응답하여 식별된 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 식별하고, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공된다. 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 식별하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하고, 제2 콘텐츠 제공자는 상기 제1 콘텐츠 제공자와 상이하다. 후보 이미지 리스트에서 이미지의 제2 집합에 포함된 임의의 후보 이미지들을 제거한다. 이어서, 후보 이미지 중의 하나를 선택하여 콘텐츠 항목에 연관시킨다.

Description

콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템{METHOD, APPARATUS AND DATA PROCESSING SYSTEM FOR MATCHING CONTENT ITEMS WITH IMAGES}
본 발명의 실시형태는 전체적으로 콘텐츠 검색에 관한 것이다. 더 구체적으로, 본 발명의 실시형태는 검색 쿼리에 응답하여 화이트 리스트 및 블랙 리스트를 이용하여 매칭되는 이미지를 구비하는 콘텐츠를 검색하는 것에 관한 것이다.
대부분 검색 엔진들은 보통 클라이언트 기기 상에 운행되는 브라우저에서 작동되는 동안 웹 페이지의 검색을 수행한다. 검색 엔진은 사용자가 입력한 검색어를 수신하고, 검색어에 연관된 웹 페이지의 검색 결과 리스트를 획득한다. 검색 엔진은 특정 기준에 따라 검색 리스트의 일련의 부분 집합들로서 검색 결과를 표시한다. 검색 조작 시 사용되는 일반적인 기준에는, 검색어가 정해진 웹 페이지에 완전히 나타나는지 아니면 부분적으로 나타나는지, 그리고 검색 문자열이 검색 결과 중에 나타난 회수, 알파벳 순서 등이 있다. 또한, 사용자는 마우스 버튼을 클릭함으로써 링크를 오픈하여 열기 및 브라우징하기를 결정할 수 있다. 검색 엔진은 후속적으로 더 훌륭한 검색을 제공하기 위해 사용자와 검색 결과의 인터랙션 및/또는 사용자 정보 중의 일부를 모니터링하고 수집할 수 있다.
통상적으로, 검색 쿼리에 대응하여 검색을 진행하여 콘텐츠 항목 리스트를 식별하고 획득한다. 다음, 콘텐츠 항목을 검색 요청자에게 반환한다. 종래의 검색 엔진은 대부분의 콘텐츠 항목들을 수정하지 않고 그대로 반환한다. 검색 결과 중의 일부 콘텐츠 항목들은 흥미롭지 못하거나 지루한 것으로 보일 수 있는 단순한 일반 텍스트거나 설명이다. 간혹 콘텐츠 항목들이 그에 관련되는 일부 이미지들과 함께 준비될 경우, 검색 결과 중의 콘텐츠는 더 잘 표현될 수 있거나 더욱 눈길을 끌게 된다. 그러나, 일부 이미지들은 하나의 콘텐츠 아이템에만 적합할 수 있고, 기타 이미지들은 다른 콘텐츠 아이템에 연관되지 않을 수 있으므로, 콘텐츠 항목에 적절한 이미지를 매칭시키는 것은 아주 어려운 과제이다.
본 출원은 콘텐츠 항목과 이미지를 매칭시키기 위한 컴퓨터 구현 방법, 장치 및 데이터 처리 시스템을 제공하는데 그 목적이 있다.
제1 양태에 있어서, 콘텐츠 항목과 이미지를 매칭시키기 위한 컴퓨터 구현 방법을 제공하고, 상기 방법은, 하나 또는 복수의 이미지의 제1 집합을 검색 쿼리에 응답하여 식별된 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 인식하되, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공되는 단계와, 상기 제1 콘텐츠 제공자와 상이한 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 식별하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하는 단계와, 상기 후보 이미지 리스트에서 상기 이미지의 상기 제2 집합에 포함된 임의의 후보 이미지를 제거하는 단계와, 상기 후보 이미지 중에서 상기 콘텐츠 항목에 연관될 하나의 후보 이미지를 선택하는 단계를 포함할 수 있다.
제2 양태에 있어서, 내부에 명령어가 저장되어 있는 비일시적 기계 판독 가능한 매체를 제공하고, 상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서가 콘텐츠 항목과 이미지를 매칭시키는 조작을 수행하도록 하며, 상기 조작은, 하나 또는 복수의 이미지의 제1 집합을 검색 쿼리에 응답하여 식별된 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 인식하되, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공되는 단계와, 상기 제1 콘텐츠 제공자와 상이한 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 식별하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하는 단계와, 상기 후보 이미지 리스트에서 상기 이미지의 상기 제2 집합에 포함된 임의의 후보 이미지를 제거하는 단계와, 상기 후보 이미지 중에서 상기 콘텐츠 항목에 연관될 하나의 후보 이미지를 선택하는 단계를 포함할 수 있다.
제3 양태에 있어서, 콘텐츠 항목과 이미지를 매칭시키기 위한 데이터 처리 시스템을 제공하고, 상기 데이터 처리 시스템은 본 출원의 실시형태에 따른 콘텐츠 항목과 이미지를 매칭시키기 위한 비일시적 기계 판독 가능한 매체를 포함할 수 있다.
첨부된 도면의 각 도형에서 본 발명의 실시형태들은 한정적인 방식이 아닌 예시적인 방식으로 도시되였고, 첨부된 도면에 있어서, 동일한 첨부 기호는 유사한 소자들을 지칭한다.
도1a 및 도1b는 본 발명의 일부 실시형태에 따른 이미지를 콘텐츠 항목에 매칭시키기 위한 시스템 구성의 예시를 나타내는 블록도이다.
도2는 본 발명의 일 실시형태에 따른 이미지 선택 시스템의 예시를 나타내는 블록도이다.
도3a 내지 도3b는 본 발명의 일부 실시형태에 따른 쿼리-이미지 매칭 테이블의 예시이다.
도4a 내지 도4c는 본 발명의 일부 실시형태에 따른 이미지 선택 데이터 구조의 예시이다.
도5는 본 발명의 일 실시형태에 따른 이미지 선택 시스템의 예시를 나타내는 블록도이다.
도6은 본 발명의 일 실시형태에 따른 이미지 선택 시스템의 처리 흐름을 나타내는 흐름도이다.
도7은 본 발명의 일 실시형태에 따른 이미지를 콘텐츠 항목에 매칭시키는 프로세스를 나타내는 흐름도이다.
도8은 본 발명의 일 실시형태에 따른 데이터 분석 시스템의 예시를 나타내는 블록도이다.
도9는 본 발명의 일 실시형태에 따른 데이터 분석 프로세스를 나타내는 흐름도이다.
도10은 일 실시형태에 따른 데이터 처리 시스템을 나타내는 블록도이다.
이하에서 설명되는 세부 사항을 참조하여 본 발명의 각종 실시형태 및 양태들에 대해 설명할 것이고, 첨부된 도면은 각 실시형태들을 나타낼 것이다. 아래의 설명 및 도면들은 본 발명의 예시일 뿐, 본 발명을 한정하는 것으로 이해해서는 안된다. 본 발명의 각 실시형태들에 대한 충분한 이해를 제공하기 위해 많은 구체적인 세부 사항들에 대해 설명한다. 그러나, 특정 경우에 있어서, 본 발명의 실시형태들에 대한 간결한 설명을 제공하기 위해, 공지된 또는 종래의 세부 사항들은 설명되지 않는다.
본 명세서에서 “일 실시형태(one embodiment)” 또는 “실시형태(an embodiment)”라고 지칭하는 것은 실시형태에 결부하여 설명한 구체적인 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함될 수 있음을 의미한다. 본 명세서의 여러 부분에서 관용구 “일 실시형태에 있어서”가 나타날 경우, 이는 항상 동일한 실시형태를 가리켜야만 하는 것은 아니다.
일부 실시형태에서, 대부분 이미지는 임의의 콘텐츠에 사용될 수 있는 일반적인 이미지이나, 일부 이미지는 특정 콘텐츠 항목에만 적합할 수 있고(예를 들어, 특정 콘텐츠 제공자에 속하는 이미지), 기타 이미지는 기타 특정 콘텐츠 항목에 적합하지 않을 수 있다(예를 들어, 특정 콘텐츠 제공자의 경쟁대상에 속하는 이미지). 일부 유형의 콘텐츠 항목(예를 들어, 화이트 리스트)에 적합한 이미지의 맵핑을 제공하고 일부 이미지가 일부 유형의 콘텐츠 항목(예를 들어, 블랙 리스트)에 연관되는 것을 방지하기 위해 검색 메커니즘이 제공된다.
일 실시형태에 따르면, 하나 또는 복수의 이미지의 제1 집합을 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 인식된다. 검색 쿼리에 응답하여 콘텐츠 항목을 검색 및 인식하고, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공된다. 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 인식하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하고, 제2 콘텐츠 제공자와 제1 콘텐츠 제공자는 상이할 수 있다. 후보 이미지 리스트에서 제2 이미지 집합에 포함된 임의의 후보 이미지를 제거한다. 하나 또는 복수의 이미지의 제3 집합을 인식하도록 이미지 블랙 리스트 테이블에 대하여 제2 조회 작업을 수행한다. 제3 집합 중의 이미지는 제1 콘텐츠 제공자에 연관된다. 후보 이미지 리스트에서 제3 이미지 집합에 포함된 임의의 후보 이미지를 제거한다. 다음, 후보 이미지 리스트에서 이미지를 선택하여 해당 콘텐츠 항목과 연관시킨다.
이미지 화이트 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 단지 해당 엔트리의 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목에만 연관될 수 있음을 가리키도록 이미지를 콘텐츠 제공자에 맵핑시킨다. 예를 들어, 이미지는 대응되는 콘텐츠 제공자에 연관되는 소스로부터 획득된, 판권 보호를 받는 이미지일 수 있다. 이미지 블랙 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 해당 엔트리의 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목과 연관될 수 없음을 가리키도록 이미지를 콘텐츠 제공자에 맵핑시킨다. 예를 들어, 이미지는 다른 한 콘텐츠 제공자에 연관되는 소스로부터 획득된, 판권 보호를 받는 이미지일 수 있고, 상기 콘텐츠 제공자는 상기 대응되는 엔트리에 나열된 콘텐츠 제공자의 경쟁대상이다. 화이트 리스트와 블랙 리스트 중의 이미지를 수집하고 분석하여 어느 이미지가 일부 콘텐츠 제공자와 호환되고 그리고 어느 이미지가 일부 콘텐츠 제공자와 상충되는지를 결정한다.
도 1a 및 도 1b는 본 발명의 일부 실시형태들에 따른 이미지와 콘텐츠 항목을 매칭시키기 위한 시스템 구성의 예시를 보여주는 블록도이다. 도 1a를 참조하면, 시스템(100)은 네트워크(103)를 통해 서버(104)에 통신적으로 연결된 하나 또는 다수의 클라이언트 기기(101-102)를 포함하나, 이에 한정되지 않는다. 클라이언트 기기(101-102)는 개인용 컴퓨터(예를 들어, 데스크 톱, 랩톱 및 태블릿), “씬(thin)” 클라이언트, 개인 휴대 정보 단말기(PDA), 웹 가능한 전자기기, 스마트 시계 또는 모바일 폰(예를 들어, 스마트 폰) 등과 같은 임의의 유형의 클라이언트 기기일 수 있다. 네트워크(103)는 예를 들어 유선 또는 무선의 근거리 통신망(LAN), 인터넷과 같은 광역망(WAN) 또는 이들의 조합 등 임의의 유형의 네트워크일 수 있다.
서버(104)는 임의의 유형의 서버 또는 서버 클러스터일 수 있으며, 예를 들어 웹 또는 클라우드 서버, 응용 서버, 백앤드 서버 또는 이들의 조합일 수 있다. 일 실시형태에 있어서, 서버(104)는 검색 엔진(120), 이미지 선택 모듈(110) 및 이미지 선택 방법/모델(115)을 포함하나, 이에 한정되지 않는다. 서버(104)는 클라이언트 기기(101-102)와 같은 클라이언트가 서버(104)에 의해 제공된 자원 또는 서비스에 접속할 수 있도록 하는 인터페이스(미도시)를 더 포함한다. 인터페이스는 웹 인터페이스, 응용 프로그램 인터페이스(API) 및/또는 명령어 라인 인터페이스(CLI)를 포함할 수 있다.
예를 들어, 본 예시에서 클라이언트 기기(101)의 사용자 애플리케이션(예를 들어, 웹 브라우저, 모바일 애플리케이션)인 클라이언트는 서버(104)에 검색 쿼리를 발송할 수 있고, 검색 엔진(120)은 네트워크(103)를 통해 인터페이스를 경유하여 검색 쿼리를 수신한다. 검색 엔진(120)은 검색 쿼리에 대응하여 검색 쿼리로부터 하나 또는 다수의 키워드(또는 검색어)를 추출한다. 검색 엔진(120)은 키워드에 관련된 콘텐츠 항목 리스트를 식별하도록 콘텐츠 데이터 베이스(133)에서 검색을 진행하고, 상기 콘텐츠 데이터 베이스(133)는 주요 콘텐츠 데이터 베이스(130) 및/또는 보조 콘텐츠 데이터 베이스(131)를 포함할 수 있다. 주요 콘텐츠 데이터 베이스(130; 또는 마스터 콘텐츠 데이터 베이스)는 일반 콘텐츠 데이터 베이스일 수 있고, 보조 콘텐츠 데이터 베이스(131; 또는 부차적 또는 부속 콘텐츠 데이터 베이스)는 특수 콘텐츠 데이터 베이스일 수 있다. 검색 엔진(120)은 리스트 중의 적어도 일부 콘텐츠 항목들을 구비한 검색 결과 페이지를 클라이언트 기기(101)에 반환하여 클라이언트 기기(101)에 표시되도록 한다. 검색 엔진(120)은 바이두 주식회사(Baidu, Inc)로부터 획득 가능한 Baidu® 검색 엔진이거나, 또는 선택적으로, 검색 엔진(120)은 Google® 검색 엔진, Microsoft Bing™ 검색 엔진, Yahoo® 검색 엔진 또는 일부 기타 검색 엔진일 수 있다.
예를 들어 웹 검색 엔진과 같은 검색 엔진은 월드 와이드 웹(World Wide Web) 상에서 정보를 검색하도록 설계된 소프트웨어 시스템이다. 검색 결과는 통상적으로 흔히 검색 엔진 결과 페이지라고 불리는 결과 라인 형식으로 표시된다. 정보는 웹 페이지, 이미지 및 기타 유형의 파일들의 혼합 형식일 수 있다. 일부 검색 엔진은 또한 데이터 베이스 또는 오픈 디렉터리에서 획득 가능한 데이터를 마이닝(mine)한다. 오직 인간 편집자로만 유지 관리되는 웹 디렉터리와는 달리, 검색 엔진은 또한 웹 크롤러 상에서 알고리즘을 실행함으로써 실시간 정보를 유지 관리한다.
웹 검색 엔진은 이들이 페이지의 하이퍼텍스트 마크업 언어(HTML) 마크업으로부터 검색한 수많은 웹 페이지들에 관한 정보를 저장함으로써 작동한다. 이러한 페이지들은 웹 크롤러에 의해 검색되고, 상기 웹 크롤러는 사이트 상의 각 링크들을 추종하는 자동화된 웹 크롤러이다. 다음, 검색 엔진은 각 페이지의 콘텐츠를 분석하여 이러한 콘텐츠가 어떤 방식으로 색인되어야 하는지를 확정한다(예를 들어, 타이틀, 페이지 콘텐츠, 해딩 또는 메타 태크라고 불리는 특수 필드로부터 단어들을 추출할 수 있음). 웹 페이지에 관한 데이터는 차후의 쿼리에 사용되도록 색인 데이터 베이스에 저장된다. 색인은 쿼리에 관련된 정보를 최대한 빨리 찾도록 하는데 유익하다.
사용자가 검색 엔진에 쿼리를 입력할 경우(일반적으로 키워드를 이용함), 엔진은 해당 쿼리의 색인을 점검하고, 쿼리의 기준에 따라 가장 적합하게 매칭된(best-matching) 웹 페이지 리스트를 제공하며, 일반적으로 문서의 타이틀 및 일부 경우에는 텍스트의 일부분을 포함한 간략한 요약도 함께 제공한다. 색인은 데이터와 함께 저장된 정보 및 정보를 색인하는 방법으로 구축된다. 검색 엔진은 단어 또는 문구들을 입력된 그대로 정확히 검색한다. 일부 검색 엔진은 사용자들이 키워드 사이의 거리를 한정할 수 있도록 하는 근접 검색이라고 불리는 고급 기능을 제공한다. 개념에 기반한 검색 방법도 존재하며, 이에 대한 연구에는 사용자가 검색하는 단어 또는 문구들을 포함한 페이지들에 대해 통계적 분석을 이용하는 것이 포함된다. 또한, 자연 언어 쿼리는 사용자가 인간에게 질문 시 사용되는 형식과 동일한 형식으로 질문을 입력할 수 있도록 한다.
검색 엔진의 유용성은 해당 검색 엔진이 반환한 결과 집합의 관련성에 의해 결정된다. 비록 특정 단어 또는 문구를 포함한 웹 페이지가 수백만 개가 존재할 수 있으나, 일부 페이지들이 기타 페이지들보다 더 관련되거나 인기가 더 많거나 더 권위적일 수 있다. 대부분 검색 엔진들은 “베스트” 결과를 우선적으로 제공하기 위해 다양한 방법을 채용하여 결과에 대해 랭킹을 진행한다. 검색 엔진이 어떤 페이지들이 베스트 매치인지, 그리고 결과들이 어떤 순서로 표시되어야 하는지를 결정하는 것은 엔진에 따라 매우 다양한다.
다시 도 1a를 참조하면, 일 실시형태에 있어서, 클라이언트 기기(본 예시에서의 클라이언트 기기(101))로부터 서버(104)에 수신된 검색 쿼리에 대응하여, 검색 엔진(120)은 주요 콘텐츠 데이터 베이스(130) 및/또는 보조 콘텐츠 데이터 베이스(131)와 같은 콘텐츠 데이터 베이스(133)에서 검색을 진행하여 콘텐츠 항목 리스트를 생성한다. 콘텐츠 항목 중의 각각은 유니폼 리소스 링크(uniform resource link; URL) 및/또는 유니폼 리소스 아이덴티파이어(uniform resource identifier; URI)를 통해 특정 콘텐츠 제공자의 특정 웹 사이트의 특정 웹 페이지에 연관될 수 있다. 일 실시형태에 있어서, 주요 콘텐츠 데이터 베이스(130)는 네트워크 크롤러로 수집된 일반 콘텐츠 항목(예를 들어, 스폰서가 없는 콘텐츠)을 저장한다. 보조 콘텐츠 데이터 베이스(131)는 특정 콘텐츠 제공자, 이미 알려진 콘텐츠 제공자 또는 기정된 콘텐츠 제공자에 연관된 특정 또는 특수 콘텐츠 항목(예를 들어, 스폰서가 있는 콘텐츠)을 저장한다. 선택적으로, 콘텐츠 데이터 베이스(133)는 주요 콘텐츠 데이터 베이스(130)와 보조 콘텐츠 데이터 베이스(131)를 구분하지 않고서 단일 데이터 베이스로 구현될 수 있다.
네트워크 크롤러 또는 웹 크롤러는 네트워크의 하이퍼텍스트 구조를 자동적으로 편력하는 프로그램이다. 실천에 있어서, 네트워크 크롤러는 각각 URL로부터 문서를 다운로드하는 하나 또는 다수의 프로세스 또는 스레드를 실행하도록 구성된 분리된 컴퓨터 또는 서버 상에서 실행될 수 있다. 네트워크 크롤러는 할당된 URL들을 수신하고, 이러한 URL들에서 문서를 다운로드한다. 네트워크 크롤러는 콘텐츠 처리 시스템(미도시) 및/또는 검색 엔진(120)에 의해 처리되도록, 검색된 문서에 인용된 문서를 검색할 수도 있다. 네트워크 크롤러는 하이퍼텍스트 전송 프로토콜(HTTP) 및 파일 전송 프로토콜(FTP)과 같은 다양한 프로토콜을 이용하여 URL에 연관된 페이지들을 다운로드할 수 있다.
또한, 일 실시형태에 있어서, 이미지 선택 모듈 또는 시스템(110)은 이미지 선택 방법 또는 모델(115)을 이용하여 검색 쿼리에 연관된 키워드를 기반으로 이미지 ID 리스트를 식별하고, 상기 이미지 ID는 검색 쿼리에 연관된 키워드에 관한 이미지를 식별한다. 이미지 선택 방법/모델(115)은 테이블 또는 데이터 베이스와 같은 다양한 데이터 구조로 구현될 수 있는 키워드-이미지(키워드/이미지) 맵핑 테이블(미도시)을 포함할 수 있다. 이미지 ID에 기반하여, 이미지 저장부(125)에 저장된 이미지들(122)로부터 이미지 후보 리스트를 식별하고 검색할 수 있으며, 상기 이미지 저장부(125)는 이미지(122)를 묘사하는 이미지 메타 데이터(미도시)를 저장할 수도 있다.
한편, 일 실시형태에 따르면, 이미지 선택방법/모델(115)의 일부(미도시)로서 이미지 화이트 리스트 테이블에서 검색을 진행하여 특정 콘텐츠 제공자에 속하는 콘텐츠 항목에만 매칭될 수 있는 하나 또는 복수의 이미지를 식별한다. 이미지 화이트 리스트 테이블은 복수개의 맵핑 엔트리를 포함하고, 각각의 엔트리는 이미지 ID에 의해 식별된 이미지가 대응되는 콘텐츠 제공자에 의해 제공된 콘텐츠 항목에만 연관될 수 있음을 가리키도록 이미지 ID를 콘텐츠 제공자 ID에 맵핑시킨다. 검색 쿼리에 응답하여 식별된 콘텐츠 항목이 이미지 화이트 리스트 테이블에 나열된 콘텐츠 제공자와 상이한 콘텐츠 제공자에 속할 경우, 이미지 화이트 리스트 테이블에 포함된 임의의 후보 이미지를 제거할 수 있다.
또한, 다른 일 실시형태에 따르면, 이미지 선택 방법/모델(115)의 일부(미도시)로서 이미지 블랙 리스트 테이블에서 검색을 진행하여 검색 쿼리에 기반하여 식별된 콘텐츠 항목의 콘텐츠 제공자와 동일한 콘텐츠 제공자에 속하는 콘텐츠 항목에 매칭될 수 없는 하나 또는 복수개의 이미지를 식별한다. 이미지 블랙 리스트 테이블은 복수개의 맵핑 엔트리를 포함하고, 각각의 엔트리는 이미지 ID에 의해 식별된 이미지가 콘텐츠 제공자에 의해 제공된 콘텐츠 항목에 매칭될 수 없음을 가리키도록 이미지 ID를 콘텐츠 제공자 ID에 맵핑시킨다. 검색 쿼리를 통해 식별된 콘텐츠 항목에 대응되는 콘텐츠 제공자와 매칭되는, 이미지 블랙 리스트 테이블 중의 임의의 맵핑 엔트리에 포함된 임의의 후보 이미지를 제거할 수 있다.
일 실시형태에 있어서, 하나 또는 다수의 이미지 또는 네트워크 크롤러로 이미지(122) 및 각 이미지(122)의 메타 데이터를 획득할 수 있고, 상기 네트워크 크롤러는 네트워크를 크롤(craw)하여 이미지들과 이미지 주위의 메타 데이터를 수집하도록 디자인된다. 이미지(122)는 권한이 없는 이미지, 판권 보호를 받을 수 없는 이미지일 수 있다. 특권을 가진 이미지, 판권 보호를 받는 이미지, 허가된 이미지, 또는 기타 독점적인 권한을 부여받은 이미지들을 식별할 수 있고, 이들을 이미지 화이트 리스트 테이블 및/또는 이미지 블랙 리스트 테이블에 넣을 수 있다. 키워드와 이미지 후보 사이의 랭킹 스코어 및 콘텐츠 항목의 메타 데이터에 기반하여 이미지 후보들에 대해 랭킹을 진행할 수 있다. 콘텐츠 데이터 베이스(133)에서 검색된 콘텐츠 항목들 중의 각각에 대해, 이미지 후보 리스트로부터 콘텐츠 항목에 연관될 이미지를 선택한다. 선택된 이미지를 콘텐츠 항목에 합병시켜 합병된 또는 합성된 콘텐츠 항목을 생성할 수 있다. 예를 들어, 선택된 이미지는 콘텐츠 항목의 배경 이미지로 사용될 수 있다. 합병된 콘텐츠 항목 및 이미지의 리스트를 검색 결과의 일부분으로서 클라이언트 기기(101)에 반환한다.
일 실시형태에 있어서, 검색 쿼리를 수신하기 전에, 예를 들어 데이터 분석 시스템/서버(150)로 (예를 들어, 오프라인으로) 미리 이미지 선택 방법/모델(115)을 구성하고 생성할 수 있다. 이미지 선택 방법/모델(115)은 키워드-투-이미지(키워드/이미지) 맵핑 테이블, 이미지 화이트 리스트 테이블, 및 이미지 블랙 리스트 테이블을 포함할 수 있다. 키워드/이미지 맵핑 테이블은 예를 들어 도 3a에 도시된 바와 같이, 각각 키워드를 하나 또는 다수의 이미지 ID에 맵핑시키거나, 또는 반대로 하나 또는 다수의 이미지 ID를 키워드에 맵핑시키는 다수의 맵핑 엔트리를 포함한다. 키워드는 검색 쿼리에 사용될 가능성이 더 큰 키워드 및/또는 일부 콘텐츠 항목들에 연관된 키워드(예를 들어, 스폰서가 있는 콘텐츠의 입찰 단어)로 식별될 수 있다. 이러한 키워드는 일정 기간 동안 컴파일(compile)될 수 있는 사용자 검색 활동 또는 검색 기록에 대한 분석 또는 추적에 기반하여 식별될 수 있다. 도 3b에 이미지 화이트 리스트 테이블의 예시가 도시되고, 도 3c에 이미지 블랙 리스트 테이블의 예시가 도시된다. 다른 일 실시형태에 있어서, 도4에 도시된 바와 같이, 키워드/이미지 맵핑 테이블, 이미지 화이트 리스트 테이블 및 이미지 블랙 리스트 테이블을 결합한 단일 테이블 또는 데이터 구조를 유지 관리할 수 있다.
서버(104)의 구성은 오직 예시적인 목적으로 설명된 것일 뿐임을 유의하여야 한다. 서버(104)는 다양한 말단 사용자 기기들에 프런트엔드(frontend) 검색 서비스를 제공하는 웹 서버일 수 있다. 선택적으로, 서버(104)는 프런트엔드 서버(예를 들어, 웹 서버 또는 일반 콘텐츠 서버)에 특정 또는 특수 콘텐츠 검색 서비스를 제공하고, 이미지를 콘텐츠 데이터 베이스 또는 서버의 콘텐츠 항목에 매칭 및/또는 통합시키는 애플리케이션 서버 또는 백앤드 서버일 수 있다. 데이터 분석 시스템(150)은 콘텐츠 데이터 베이스 또는 서버(133)의 콘텐츠 항목 또는 이들 각자에 연관된 키워드에 기반하여 이미지 선택 방법/모델(115)을 생성하거나 트레이닝하기 위한 별도의 서버로 구현될 수도 있다.
기타 구조 또는 구성을 적용할 수도 있다. 예를 들어, 도 1b에 도시된 바와 같이, 콘텐츠 데이터 베이스(133)는 콘텐츠 서버로서 네트워크를 통해 별도의 서버에서 유지 관리(maintained)되고 호스팅(hosted)될 수 있다. 유사하게, 이미지 저장부(125)는 이미지 검색 엔진을 포함한 이미지 서버로서 별도의 서버에서 유지 관리되고 호스팅될 수 있다. 서버(133) 및 서버(125)는 웹 서버, 애플리케이션 서버 또는 백앤드 서버일 수 있다. 콘텐츠 서버(133) 및/또는 이미지 서버(125)는 서버(104)와 동일한 개체 또는 단체로 구성되고 제공될 수 있다. 선택적으로, 콘텐츠 서버(133) 및/또는 이미지 서버(125)는 이미지(122) 및 콘텐츠 데이터 베이스(130-131) 중의 콘텐츠 및 이들의 메타 데이터를 수집하기 위한 별도의 개체 또는 단체(예를 들어, 제3자 제공자)에 의해 유지 관리되고 호스팅될 수 있다.
콘텐츠 데이터 베이스/서버(133)는 주요 콘텐츠 데이터 베이스(130) 및 보조 콘텐츠 데이터 베이스(131)를 포함한다는 것도 유의하여야 한다. 주요 콘텐츠 데이터 베이스(130)는 주요 콘텐츠 서버로 지칭되는 별도의 콘텐츠 서버에서 구현되거나 유지 관리될 수 있다. 유사하게, 보조 콘텐츠 데이터 베이스(131)는 보조 또는 부속 콘텐츠 서버로 지칭되는 별도의 콘텐츠 서버에서 구현되거나 유지 관리될 수 있다. 다양한 매칭 공식을 이용하여 2가지 콘텐츠 데이터 베이스(130-131)로부터 획득한 콘텐츠 항목을 이미지 저장부/서버(125)로부터 획득한 이미지들에 매칭시킬 수 있다. 선택적으로, 주요 콘텐츠 데이터 베이스(130) 및 보조 콘텐츠 데이터 베이스(131) 중의 하나로부터 획득한 콘텐츠 항목만 이미지 저장부/서버(125)로부터 획득한 이미지들에 매칭시킬 것이다. 예를 들어, 보조 콘텐츠 데이터 베이스(131)로부터 획득한 콘텐츠 항목(예를 들어, 스폰서가 있는 콘텐츠)은 이미지 저장부/서버(125)로부터 획득한 이미지에 매칭시킬 것이고, 주요 콘텐츠 데이터 베이스(130)로부터 획득한 콘텐츠 항목(예를 들어, 일반 콘텐츠)은 검색 결과의 일부분으로서 수정하지 않고서 클라이언트 기기에 반환할 것이다.
도 2는 본 발명의 일 실시형태에 따른 이미지들을 콘텐츠 항목에 매칭시키기 위한 시스템을 보여주는 블록도이다. 시스템(200)은 도 1a 및 도 1b의 시스템(100)의 일부분으로 구현될 수 있다. 도 2를 참조하면, 클라이언트 기기(예를 들어, 도 1의 클라이언트 기기(101))로부터 검색 쿼리(201)를 수신할 경우, 검색 엔진(120)은 검색 쿼리(201)에 연관된 하나 또는 다수의 키워드 검색어에 기반하여 콘텐츠 항목의 제1 리스트를 식별하고 검색하도록, 콘텐츠 데이터 베이스 또는 콘텐츠 서버(133)에서 제1 검색을 수행한다. 또한, 검색 엔진(120)은 일 세트의 이미지 선택 방법/모델(115; 또는 쿼리/이미지 매칭 룰)을 이용하여 검색 쿼리(201)에 연관된 키워드를 기반으로 이미지 저장부 또는 이미지 서버(125)로부터 이미지 리스트를 식별하도록, 이미지 선택 모듈(110)과 통신한다. 검색 엔진(120) 및/또는 이미지 선택 모듈(110)은 검색 쿼리(201)에 포함된 키워드 및/또는 검색 쿼리(201) 속의 키워드와 유사한 키워드(예를 들어, 어의적으로 유사한 단어, 유의어)의 리스트를 도출하도록, 쿼리에 대해 분석을 진행할 수 있다. 콘텐츠 데이터 베이스/서버(133) 및/또는 이미지 저장부/서버(125)에서 진행된 검색은 확장된 키워드의 리스트에 대해 진행될 수 있다.
일 실시형태에 있어서, 이미지 선택 모듈(110) 및/또는 이미지 선택 방법/모델(115)은 검색 엔진(120)에 통합될 수 있다. 이미지 선택 방법/모델(115)은 예를 들어, 데이터 분석 시스템 또는 서버(150; 또는 쿼리/이미지 맵핑 시스템)에 의해 사전에 구성되거나 컴파일될 수 있다. 쿼리/이미지 맵핑 시스템(150)은 API 또는 네트워크를 통해 시스템(200)에 통신적으로 연결된 별도의 시스템 또는 서버에 호스팅될 수 있다. 쿼리/이미지 맵핑 시스템(150)은 사용자 또는 관리자가 쿼리/이미지 매칭 규칙의 집합을 구성할 수 있도록 하는 사용자 인터페이스를 포함할 수 있고, 이후 처리 로직을 통해 기정된 알고리즘을 이용하여 상기 쿼리/이미지 매칭 규칙의 집합에 대해 확장 및 랭킹을 진행할 수 있다. 아래에서 쿼리/이미지 맵핑 시스템(150)의 기타 세부 사항들에 대해 더 설명할 것이다.
유사하게, 이미지 수집 시스템(230)으로 이미지 저장부/서버(125)에 저장된 이미지들을 수집할 수 있고, 상기 이미지 수집 시스템(230)은 네트워크를 통해 시스템(200)에 통신적으로 연결된 별도의 서버 또는 서버일 수 있다. 쿼리/이미지 맵핑 시스템(150) 및/또는 이미지 수집 시스템(230)은 시스템(200)과 동일한 또는 상이한 개체 또는 단체에 의해 작동될 수 있다. 본 예시에 있어서, 이미지들을 시스템(200)에 대한 로칼 이미지 저장부(예를 들어, 서버(104)에 대해 로칼임)에 캐시 또는 저장할 수 있다. 선택적으로, 이미지 수집 시스템(230)에 연관된 지정 서버로 이미지들을 유지 관리할 수 있고, 이미지 선택 모듈(110)은 API를 통해 상기 지정 서버와 통신함으로써 이미지 리스트를 식별하고 검색한다.
이미지 선택 모듈(110)은 이미지 저장부/서버(125)에서 검색된 이미지 리스트에 기반하여, 예를 들어 콘텐츠 항목, 이미지 및 검색 쿼리 사이의 유사성 스코어에 기반하여 랭킹 알고리즘에 의해 이미지들에 대해 랭킹을 진행한다. 다음, 이미지들 중의 일부를 콘텐츠 데이터 베이스/서버(133)에서 식별되고 검색된 콘텐츠 항목 중의 일부에 매칭시킨다. 다음, 매칭된 콘텐츠 항목 및 이미지들을 통합된 콘텐츠 항목으로서 통합한다. 일 실시형태에 있어서, 하나의 이미지를 콘텐츠 항목의 배경 이미지 또는 보완 이미지로서 선택할 수 있다. 예를 들어, 콘텐츠 항목(211)은 설명 또는 텍스트일 수 있고, 이미지(212)는 콘텐츠 항목(211)의 배경 이미지로 선택될 수 있다. 본 출원의 전체에 걸쳐 설명된 매칭 또는 랭킹 기법에 의해 적절한 방식으로 이미지(212)를 선택하여 콘텐츠 항목(211)을 보완 또는 설명하거나, 반대로, 이미지(212)를 보완하거나 설명하도록 콘텐츠 항목(211)을 선택한다. 예를 들어, 콘텐츠 항목(211)의 콘텐츠는 이미지(212)에 나타난 콘텐츠에 관련되거나, 반대로, 이미지(212)에 나타난 콘텐츠는 콘텐츠 항목(211)의 콘텐츠에 관련된다. 검색 결과(215)의 일부분으로서 통합된 이미지(212) 및 콘텐츠 항목(211)을 클라이언트 기기에 반환할 수 있다.
일 실시형태에 있어서, 클라이언트 기기로부터 수신된 검색 쿼리(201)에 대응하여, 검색 쿼리(201)에 기반하여 하나 또는 다수의 키워드를 확정하고, 상기 키워드는 검색 쿼리(201) 속의 키워드 또는 검색 쿼리(201)에 대한 분석에 기반하여 확장된 키워드를 포함할 수 있다. 키워드에 기반하여 이미지 선택 방법/모델(115)에서 조회 작업 또는 검색을 진행하고, 상기 이미지 선택 방법/모델(115)은 예를 들어, 데이터 베이스 또는 테이블과 같은 다양한 데이터 구조로 구현될 수 있다.
이미지 선택 방법/모델(115)은 다수의 맵핑 엔트리를 구비한 키워드/이미지 맵핑 테이블을 포함한다. 각 맵핑 엔트리는 하나 또는 다수의 키워드를 이미지 저장부/서버(125)에 저장된 하나 또는 다수의 이미지를 식별하는 하나 또는 다수의 이미지 ID에 맵핑시킨다. 검색 쿼리(201)에 의해 획득한 키워드에 기반하여, 이미지 선택 방법/모델(115)에 의해 하나 또는 다수의 이미지 ID의 리스트를 획득할 수 있다. 임의의 무관한 또는 상충되는 후보 이미지들을 제거하고자 이미지 화이트 리스트 테이블 및 이미지 블랙 리스트 테이블을 이용하여 후보 이미지들에 대해 처리를 진행할 수 있다. 후보 이미지의 이미지 ID에 기반하여, 이미지 저장부/서버(125)로부터 이미지 후보로서 대응되는 이미지들을 획득한다. 다음, 하나 또는 다수의 기정된 랭킹 및/또는 매칭 알고리즘을 이용하여 이미지 후보들에 대해 랭킹 및 매칭을 진행한다. 다음, 검색 결과(215)의 일부분으로 통합되도록 최상위의 이미지들을 선택하여 콘텐츠 항목에 연관시킨다. 도 2에 도시된 부재 또는 모듈들 중의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있음을 유의하여야 한다.
도 3a 내지 도 3b는 본 발명의 일부 실시형태들에 따른 쿼리-이미지 매칭 테이블들의 예시이다. 도 3a를 참조하면, 쿼리/이미지 매칭 테이블(300)은 상기와 같은 도 1a, 도 1b 및 도 2의 이미지 선택 방법/모델(115)의 일부분인 쿼리/이미지 맵핑 테이블을 표시할 수 있다. 일 실시형태에 있어서, 쿼리/이미지 매칭 테이블(300)은 다수의 매칭 엔트리를 포함한다. 매칭 엔트리들 중의 각각은 하나 또는 다수의 키워드(301)를 하나 또는 다수의 이미지 ID(302)에 맵핑시키고, 상기 이미지 ID(302)는 예를 들어 이미지 저장부/서버(125)와 같은 이미지 저장부 또는 이미지 서버에서 대응되는 이미지를 식별한다. 키워드에 기반하여 매칭 테이블(300)을 색인한다. 본 예시에 있어서, 제1 엔트리는 단어 “플라워”를 이미지1 내지 이미지5에 맵핑시킨다. 제2 엔트리는 단어 “베이징 플라워”를 오직 이미지1에만 맵핑시킨다. 제3 엔트리는 단어 “상하이 플라워”를 이미지2에 맵핑시킨다. 제4 엔트리는 단어 “플라워 배송”을 이미지1, 이미지2 및 이미지4에 맵핑시킨다. 따라서, 검색 쿼리가 “베이징 플라워”를 포함할 경우, 이미지1 내지 이미지5가 식별될 수 있다. 다만, 이미지1은 가장 높은 순위를 가질수 있다.
아래에서 도 3b를 참조하면, 도 3b는 일 매칭 테이블의 선택적인 실시형태의 예시이고, 해당 매칭 테이블은 이미지 선택 방법/모델(115)의 일부분으로서 사용될 수 있는 이미지-키워드(이미지/키워드) 매칭 테이블이다. 본 예시에 있어서, 이미지/키워드 매칭 테이블(350)은 다수의 매칭 엔트리를 포함한다. 각 매칭 엔트리는 이미지 ID(351)를 하나 또는 다수의 키워드(352)에 맵핑시킨다. 이미지 ID에 기반하여 매칭 테이블(350)을 색인한다. 테이블(300)과 테이블(350)은 서로 교체하여 사용될 수 있다. 예를 들어, 테이블(300)을 이용하여 하나 또는 다수의 키워드에 관련된 모든 이미지들을 식별할 수 있다.
도4a 내지 도4c는 본 발명의 일부 실시형태에 따른 이미지 선택 데이터 구조의 예시이다. 도4a를 참조하면, 데이터 구조(400; 본 예시에서의 맵핑 테이블)는 다수의 맵핑 엔트리를 구비하는 이미지 화이트 리스트 테이블을 표시한다. 각각의 맵핑 엔트리는 이미지 ID(401)를 콘텐츠 제공자 ID(402) 및/또는 콘텐츠 제공자 ID(402)에 의해 인식된 콘텐츠 제공자의 카테고리/제품(403)에 맵핑시킨다. 이러한 엔트리는 이미지 ID(401)에 의해 식별된 이미지가 콘텐츠 제공자 또는 콘텐츠 제공자 ID(402)에 의해 인식된 콘텐츠 제공자의 카테고리에 연관되는 콘텐츠 항목에만 할당될 수 있음을 가리킨다. 이미지 및 이미지의 메타 데이터는 웹페이지 크롤러로 수집될 수 있고, 데이터 분석 시스템(150)에 의해 분석됨으로써 이미지가 이미지 화이트 리스트 테이블(400)에 저장되어야 하는지 여부를 결정한다. 이미지의 메타 데이터는 타이틀, 설명, 소스(예를 들어, 네트워크 주소, 브랜드 전문점 웹 사이트), 특정 콘텐츠 항목 또는 제품을 묘사하는 콘텐츠, 개체의 상표 또는 서비스 마크(예를 들어, 로고) 등을 포함할 수 있다.
예를 들어, 특정 콘텐츠 제공자에 연관되는 소스(예를 들어, 웹 사이트)로부터 이미지를 수집할 수 있다. 이미지는 예를 들어 이미지 인식 프로세스에 의해 인식된 콘텐츠를 포함할 수 있고, 특정 콘텐츠 제공자 또는 특정 콘텐츠 제공자의 제품/카테고리를 표시하거나 설명할 수 있다. 이미지(예를 들어, 판권 보호를 받는 이미지)는 특정 콘텐츠 제공자에 의해 독점되거나 또는 특정 콘텐츠 제공자의 허가를 받을 수 있다. 임의의 이러한 경우에 있어서, 예를 들어, 데이터 분석 시스템(150)에 의해 결정됨으로써, 이미지는 대응되는 콘텐츠 제공자가 제공한 콘텐츠 항목에만 연관될 수 있다. 다음, 이러한 이미지의 이미지 ID는 예를 들어, 데이터 분석 시스템(150)에 의해 오프라인으로 이미지 화이트 리스트 테이블(400)에 저장된다. 일 실시형태에 있어서, 온라인 검색 동안, 검색 쿼리에 기반하여 획득한 콘텐츠 항목이 이미지 화이트 리스트 테이블(400)에 나열된 임의의 콘텐츠 제공자에 의해 제공된 것이 아닐 경우, 고려될 후보 이미지 리스트에서 이미지 화이트 리스트 테이블에 나열된 콘텐츠 제공자 중의 임의의 하나와 매칭되는 임의의 후보 이미지를 제거할 수 있다.
도4b를 참조하면, 도4b는 이미지 블랙 리스트 테이블을 나타내며, 테이블(420)은 다수의 맵핑 엔트리를 포함한다. 각각의 맵핑 엔트리는 이미지 ID(421)를 콘텐츠 제공자 ID(422) 또는 콘텐츠 제공자 ID(422)에 의해 인식된 콘텐츠 제공자의 카테고리/제품(423)에 맵핑시킨다. 이러한 엔트리는 이미지 ID(401)에 의해 식별된 이미지가 콘텐츠 제공자 또는 콘텐츠 제공자 ID(422)에 의해 인식된 콘텐츠 제공자의 카테고리에 연관되는 콘텐츠 항목에 할당될 수 없음을 가리킨다. 이미지 및 이미지의 메타 데이터는 웹페이지 크롤러로 수집될 수 있고, 데이터 분석 시스템(150)에 의해 분석됨으로써 이미지가 이미지 블랙 리스트 테이블(420)에 저장되어야 하는지 여부를 결정한다. 이미지의 메타 데이터는 타이틀, 설명, 소스(예를 들어, 네트워크 주소, 브랜드 전문점 웹 사이트), 특정 콘텐츠 항목 또는 제품을 묘사하는 콘텐츠, 개체의 상표 또는 서비스 마크(예를 들어, 로고) 등을 포함할 수 있다.
예를 들어, 특정 콘텐츠 제공자에 연관되는 소스(예를 들어, 웹 사이트)로부터 이미지를 수집할 수 있고, 상기 특정 콘텐츠 제공자는 다른 한 콘텐츠 제공자의 경쟁상대이다. 이미지는 예를 들어 이미지 인식 프로세스에 의해 인식된 콘텐츠를 포함할 수 있고, 특정 콘텐츠 제공자 또는 특정 콘텐츠 제공자의 제품/카테고리를 표시하거나 설명할 수 있으며, 상기 특정 콘텐츠 제공자는 다른 한 콘텐츠 제공자의 경쟁상대이다. 이미지(예를 들어, 판권 보호를 받는 이미지)는 특정 콘텐츠 제공자에 의해 독점되거나 또는 특정 콘텐츠 제공자의 허가를 받을 수 있으며, 상기 특정 콘텐츠 제공자는 다른 한 콘텐츠 제공자의 경쟁상대이다. 임의의 이러한 경우에 있어서, 예를 들어, 데이터 분석 시스템(150)에 의해 결정됨으로써, 이미지는 대응되는 콘텐츠 제공자가 제공한 콘텐츠 항목에 연관되지 않을 수 있다. 다음, 이러한 이미지의 이미지 ID는 예를 들어, 데이터 분석 시스템(150)에 의해 오프라인으로 이미지 블랙 리스트 테이블(420)에 저장된다. 일 실시형태에 있어서, 온라인 검색 동안, 검색 쿼리에 기반하여 획득한 콘텐츠 항목이 이미지 블랙 리스트 테이블(420)에 나열된 임의의 콘텐츠 제공자에 의해 제공된 것일 경우, 고려될 후보 이미지 리스트에서 이미지 블랙 리스트 테이블(420)에 나열된 콘텐츠 제공자 중의 임의의 하나와 매칭되는 임의의 후보 이미지를 제거할 수 있다.
다른 일 실시형태에 있어서, 테이블(300, 350, 400, 420)은 도4c에 도시된 단일 테이블(450)로 결합될 수 있다. 도4c를 참조하면, 테이블(450)은 다수의 맵핑 엔트리를 포함한다. 각각의 엔트리는 키워드(451)를 하나 또는 복수의 이미지 ID(452)에 맵핑시킨다. 이미지가 특정 콘텐츠 제공자의 콘텐츠 항목에만 할당될 수 있을 경우, 대응되는 콘텐츠 제공자 ID는 화이트 리스트 필드(453)에 나열된다. 유사하게, 이미지가 특정 콘텐츠 제공자의 콘텐츠 항목에 할당될 수 없을 경우, 대응되는 콘텐츠 제공자 ID는 블랙 리스트 필드(454)에 나열된다. 도3a 내지 도3b 및 도4a 내지 도4c에 도시된 테이블은 데이터 분석 시스템 또는 서버(150)에 의해 오프라인으로 컴파일 및 생성될 수 있고, 이미지 선택 모듈 또는 시스템(110)에 의해 온라인으로 이용될 수 있다.
도5는 본 발명의 일 실시형태에 따른 이미지 선택 시스템의 예시를 나타내는 블록도이다. 시스템(500)은 도1a 내지 도1b의 시스템(100) 또는 도2의 시스템(200)의 일부분으로 구현될 수 있다. 도5를 참조하면, 이미지 선택 모듈 또는 시스템(110)은 키워드 추출 모듈(501), 이미지 검색 모듈(502), 화이트 리스트 처리 모듈(503), 블랙 리스트 처리 모듈(504) 및 이미지 랭킹 모듈(505)을 포함하나 이에 한정되지 않는다. 모듈(501~505)은 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 채점 모듈은 메모리에 로딩될 수 있고 하나 또는 복수의 프로세서에 의해 실행될 수 있다.
도6은 본 발명의 일 실시형태에 따른 이미지 선택 시스템의 처리 흐름을 나타내는 흐름도이다. 처리 흐름(600)은 도5의 시스템(500)에 의해 수행될 수 있다. 도5 내지 도6을 참조하면, 검색 쿼리(601) 또는 검색 쿼리(601)의 검색어에 응답하여, 키워드 추출 모듈(501; 또는 조회 분석 모듈)은 해당 검색어에 대해 분석을 진행하여, 검색 쿼리(601)의 검색어에 연관되는 일 세트의 키워드(602)를 도출한다. 키워드(602)는 검색 쿼리(601)의 검색어에 포함된 키워드일 수 있다. 선택적으로, 키워드(602)는 검색 쿼리(601)의 검색어에 어의적으로 관련되는 부가 키워드를 더 포함할 수 있고, 상기 부가 키워드는 분석에 기반하여 결정될 수 있다. 예를 들어, 키워드 추출 모듈(501)은 검색어에 대해 잠재 의미 분석을 진행하여, 검색 쿼리(601)의 검색어에 어의적으로 관련되는 부가 키워드를 도출할 수 있다. 상기 분석은 검색 쿼리(601) 중에서 검색 요청기의 의도와 무관하거나 또는 모순되는 것으로 보이는 일부 키워드를 제거할 수도 있다.
잠재 의미 분석(latent semantic analysis; LSA)은 자연 언어 처리(특히는 분포식 어의)에서 일 세트의 문서 및 해당 문서에 포함된 단어에 관련되는 일 세트의 개념을 생성함으로써 해당 파일과 단어 사이의 관계를 분석하는 기법이다. LSA는 의미상 가까운 단어가 유사한 텍스트 조각에 나타날 것이라고 가정한다. 단락별 단어수를 포함하는 매트릭스(행은 유일한 단어를 표시하고 열은 각각의 단락을 표시함)는 큰 텍스트 조각으로 구축되고, 특이값 분해(SVD)로 불리우는 수학적 기법을 이용하여 행의 수량을 줄이는 동시에 열 사이의 유사성 구조를 보류한다. 다음, 임의의 2개의 행으로 형성된 2개의 벡터 사이의 각도의 코사인 함수(또는 2개의 표준화 벡터 사이의 내적)를 이용하여 단어를 비교한다. 수치가 1에 접근하면 단어들이 매우 유사하다는 것을 표시하고, 수치가 0에 접근하면 단어들이 아주 다르다는 것을 표시한다.
키워드(602)에 기반하여, 키워드/이미지 맵핑 테이블(300)을 이용하여 이미지 ID(603)의 리스트를 식별한다. 이미지 ID(603)에 기반하여, 이미지 검색 모듈(502)은 후보 이미지로서의 이미지의 리스트 및 이미지의 연관 메타 데이터를 획득하도록 이미지 저장부(예를 들어, 이미지 저장부(125))에서 검색을 진행한다. 이미지 검색 모듈(502)은 이미지를 식별하기 위한 예비 이미지 ID(603)의 리스트를 식별하도록, 키워드(502)에 기반하여 키워드/이미지 맵핑 테이블에서 조회를 진행할 수 있다. 또한, 화이트 리스트 처리 모듈(503)은 이미지 ID(603)를 처리하여, 상기한 바와 같이 이미지 화이트 리스트 테이블(400)에 기반하여 후보 이미지들로부터 임의의 무관한 또는 상충되는 이미지 ID를 제거함으로써, 중간 후보 이미지(605)를 생성한다. 블랙 리스트 처리 모듈(504)은 중간 후보 이미지(605)에 대해 추가 처리를 진행하여, 상기한 바와 같이 이미지 블랙 리스트 테이블(420)에 기반하여 후보 이미지들로부터 임의의 무관한 또는 상충되는 이미지 ID를 더 제거함으로써 최종 후보 이미지(606)의 리스트를 생성한다. 이미지 랭킹 모듈(505)로 다양한 랭킹 알고리즘 또는 모델을 이용하여 최종 후보 이미지(606)에 대해 랭킹을 진행한다. 다음, 최상위의 이미지를 선택하여, 검색 엔진(120)에 의해 검색 쿼리(601)에 응답하여 검색되고 식별된 콘텐츠 항목(604)에 연관시킬 수 있다.
도7은 본 발명의 일 실시형태에 따른 이미지를 콘텐츠 항목에 매칭시키는 프로세스를 나타내는 흐름도이다. 프로세스(700)는 처리 로직에 의해 실행될 수 있고, 처리 로직은 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있다. 예를 들어, 프로세스(700)는 도5의 시스템(500)에 의해 실행될 수 있다. 도7를 참조하면, 블록(701)에서, 처리 로직은 검색 쿼리에 기반하여 식별된 콘텐츠 항목을 수신하고, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공된다. 블록(702)에서, 처리 로직은 검색 쿼리에 연관되는 하나 또는 복수의 키워드에 기반하여, 예를 들어 키워드/이미지 맵핑 테이블을 이용하여 이미지 리스트를 후보 이미지로서 식별한다. 블록(703)에서, 처리 로직은 제1 콘텐츠 제공자와 상이한 콘텐츠 제공자에 대응되는 이미지 화이트 리스트 테이블에 포함된 임의의 이미지를 식별하고 제거한다. 블록(704)에서, 처리 로직은 제1 콘텐츠 제공자와 동일한 콘텐츠 제공자에 대응되는 이미지 블랙 리스트 테이블에 포함된 임의의 이미지를 식별하고 제거한다. 블록(705)에서, 다양한 랭킹 알고리즘 또는 모델을 이용하여 나머지 후보 이미지들에 대하여 랭킹을 진행한다. 다음, 블록(706)에서, 최상위의 이미지들 중의 하나를 선택하여 콘텐츠 항목에 연관시킨다.
도8은 본 발명의 일 실시형태에 따른 데이터 분석 시스템의 예시를 나타내는 블록도이다. 도8을 참조하면, 데이터 분석 시스템(150)은 데이터 수집 모듈(801), 분석 모듈(802), 키워드/이미지 맵핑 모듈(803), 화이트 리스트 처리 모듈(804), 및 블랙 리스트 처리 모듈(805)을 포함하나 이에 한정되지 않는다. 데이터 수집 모듈(801)은 이미지 저장부(125)에 저장하고자 하는 이미지 및 이미지의 메타 데이터를 수집하는 것을 책임진다. 분석 모듈(802)은 콘텐츠 데이터베이스(133)에 저장된 콘텐츠 항목 및 콘텐츠 항목의 메타 데이터에 근거하여 이미지 저장부(125)에 저장된 이미지와 메타 데이터에 대하여 분석을 진행하고, 상기 콘텐츠 항목은 하나 또는 복수의 콘텐츠 제공자에 의해 제공된다. 상기 분석에 기반하여, 키워드/이미지 맵핑 모듈(803)은 키워드/이미지 맵핑 테이블(300)을 생성한다.
또한, 화이트 리스트 처리 모듈(804)은 이미지 화이트 리스트 테이블(400)을 생성한다. 상기한 바와 같이, 특정 콘텐츠 제공자에 연관되는 소스(예를 들어, 웹 사이트)로부터 이미지를 수집할 수 있다. 이미지는 예를 들어, 이미지 인식 프로세스를 통해 인식된 콘텐츠를 포함할 수 있고, 특정 콘텐츠 제공자 또는 특정 콘텐츠 제공자의 제품/카테고리를 표시하거나 묘사할 수 있다. 이미지(예를 들어, 판권 보호를 받는 이미지)는 특정 콘텐츠 제공자에 의해 독점되거나 또는 허가를 받을 수 있다. 임의의 이러한 경우에 있어서, 예를 들어 분석 모듈(802) 및/또는 화이트 리스트 처리 모듈(804)에 의해 결정됨으로써, 이미지는 대응되는 콘텐츠 제공자가 제공한 콘텐츠 항목에만 연관될 수 있다. 다음, 이러한 이미지의 이미지 ID는 이미지 화이트 리스트 테이블(400)에 저장된다.
한편, 블랙 리스트 처리 모듈(805)은 이미지 블랙 리스트 테이블(420)을 생성한다. 상기한 바와 같이, 특정 콘텐츠 제공자에 연관되는 소스(예를 들어, 웹 사이트)로부터 이미지를 수집할 수 있고, 상기 특정 콘텐츠 제공자는 다른 한 콘텐츠 제공자의 경쟁대상이다. 이미지는 예를 들어, 이미지 인식 프로세스에 의해 인식된 콘텐츠를 포함할 수 있고, 다른 한 특정 콘텐츠 제공자의 경쟁대상인 특정 콘텐츠 제공자 또는 상기 특정 콘텐츠 제공자의 제품/카테고리를 표시하거나 묘사할 수 있다. 이미지(예를 들어, 판권 보호를 받는 이미지)는 다른 한 특정 콘텐츠 제공자의 경쟁대상인 특정 콘텐츠 제공자에 의해 독점되거나 또는 상기 특정 콘텐츠 제공자의 허가를 받을 수 있다. 임의의 이러한 경우에 있어서, 예를 들어 분석 모듈(802) 및/또는 블랙 리스트 처리 모듈(805)에 의해 결정됨으로써, 이미지는 대응되는 콘텐츠 제공자가 제공하는 콘텐츠 항목에 연관되지 않을 수 있다. 다음, 이러한 이미지의 이미지 ID는 이미지 블랙 리스트 테이블(420)에 저장된다.
도9는 본 발명의 일 실시형태에 따른 데이터 분석 프로세스를 나타내는 흐름도이다. 프로세스(900)는 처리 로직에 의해 실행될 수 있고, 처리 로직은 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있다. 예를 들어, 프로세스(900)는 도8의 시스템(800)에 의해 실행될 수 있다. 도9를 참조하면, 블록(901)에서, 처리 로직은 일 세트의 이미지 및 해당 이미지의 메타 데이터를 수신한다. 각각의 이미지에 대하여, 블록(902)에서, 처리 로직은 이미지와 메타 데이터에 대해 분석을 진행하고, 이미지를 식별하기 위한 이미지 ID를 하나 또는 복수의 키워드(예를 들어, 입찰 단어)에 맵핑시킴으로써 키워드/이미지 맵핑 테이블을 생성한다. 블록(903)에서, 처리 로직은 이미지가 제1 콘텐츠 제공자에 연관되는지 여부를 확정한다. 이미지와 제1 콘텐츠 제공자가 연관될 경우, 블록(904)에서, 이미지를 식별하기 위한 이미지 ID를 제1 콘텐츠 제공자에 맵핑되도록 이미지 화이트 리스트 테이블에 포함시킨다. 블록(905)에서, 처리 로직은 이미지가 제2 콘텐츠 제공자의 경쟁대상에 연관되는지 여부를 확정한다. 연관될 경우, 블록(906)에서, 이미지 ID를 제2 콘텐츠 제공자를 인식하기 위한 제2 콘텐츠 제공자 ID에 연관되도록 이미지 블랙 리스트 테이블에 추가한다.
상기의 기법들을 이용하여 이미지를 콘텐츠 제공자에 의해 제공된 협찬 콘텐츠에 매칭시킬 수 있다. 한가지 유형의 협찬 콘테츠가 콘텐츠 제공자인 광고업체에 의해 제공된 광고(Ad)이다. 예를 들어, 다시 도 1a 내지 도 1b를 참조하면, 콘텐츠 데이터 베이스(DB) 또는 서버(133)는 Ad 데이터 베이스 또는 Ad 서버일 수 있다. 콘텐츠 항목들(예를 들어, Ad) 중의 각각은 일 리스트의 기정된 키워드, 단어, 문구 또는 문장에 연관된다. 이러한 기정된 키워드, 단어, 문구 또는 문장들은 광고 제공자에 의해 구매, 한정 또는 지정된 입찰 단어일 수 있다. 다른 일 실시형태에 있어서, 주요 콘텐츠 DB(130)는 통상적으로 공중 네트워크에서 획득 가능한 일반 콘텐츠를 저장할 수 있다. 보조 콘텐츠 DB(131)는 광고 DB일 수 있다. 일부 광고들은 단순히 일반 텍스트(plain texts)일 수 있다. 예를 들어 배경 이미지가 되도록 이미지를 광고에 매칭시키고 통합시킴으로써, 광고가 사용자들에 대해 더 호소력이 있거나 더 눈길을 끌 수 있다. 서버(104)는 콘텐츠를 검색하기 위한 웹 서버일 수 있거나, 선택적으로 서버(104)는 광고 서버일 수 있다.
도 10은 본 발명의 일 실시형태와 함께 사용될 수 있는 데이터 처리 시스템의 예시를 나타내는 블록도이다. 예를 들어, 시스템(1500)은 상술한 과정 또는 방법 중의 임의의 하나를 수행하는 임의의 데이터 처리 시스템, 예를 들어 상기와 같은 클라이언트 기기 또는 서버(예를 들어, 상기와 같은 클라이언트 기기(101-102), 서버(104), 콘텐츠 서버(133), 콘텐츠/이미지 맵핑 시스템/서버(150) 또는 이미지 검색 엔진/시스템/서버(605))를 표시할 수 있다.
시스템(1500)은 많은 다양한 부재들을 포함할 수 있다. 이러한 부재들은 집적회로(IC), 집적회로의 일부분, 이산형 전자기기 또는 컴퓨터 시스템의 머더보드 또는 애드인(add-in) 카드와 같은 회로판에 적합한 기타 모듈, 또는 기타 방식으로 컴퓨터 시스템의 섀시(chassis) 내에 통합된 부재로 구현될 수 있다.
시스템(1500)은 컴퓨터 시스템의 많은 부재들의 거시적인 시각에서의 도면을 나타내기 위한 것임을 유의해야 한다. 그러나, 일부 실시형태들에서는 추가된 부재가 존재할 수 있음을 이해해야 하고, 또한, 기타 실시형태에 있어서, 설명된 부재들의 상이한 배치가 존재할 수 있음을 이해해야 한다. 시스템(1500)은 데스크 톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버, 모바일 폰, 미디어 플레이어, 개인 휴대 정보 단말기(PDA), 스마트 워치, 개인 휴대 통신기, 게이밍 디바이스, 네트워크 라우터 또는 허브, 무선 엑세스 포인트(AP) 또는 리피터, 셋톱박스 또는 이들의 조합을 표시할 수 있다. 또한, 단일 기계 또는 시스템을 도시하였으나, 용어 “기계” 또는 “시스템”은 한 세트(또는 다수의 세트)의 명령어를 단독으로 또는 공동으로 실행하여 본 명세서에 기재된 방법 중 임의의 하나 또는 다수의 방법을 실행하는 기계 또는 시스템의 임의의 조합을 포함한다는 것도 이해해야 한다.
일 실시형태에 있어서, 시스템(1500)은 버스 또는 상호연결 장치(1510)를 통해 연결된 프로세서(1501), 메모리(1503) 및 장치(1505-1508)를 포함한다. 프로세서(1501)는 단일 프로세서 코어 또는 다수의 프로세스 코어를 포함한 단일 프로세서 또는 다수의 프로세서를 대표할 수 있다. 프로세서(1501)는 마이크로 프로세서, 중앙 처리 유닛(CPU) 등과 같은 하나 또는 다수의 범용 프로세서를 대표할 수 있다. 더욱 상세하게, 프로세서(1501)는 복합 명령어 집합 계산(CISC) 마이크로 프로세서, 축소 명령어 집합 계산(RISC) 마이크로 프로세서, 긴 명령어 워드(VLIW) 마이크로 프로세서 또는 기타 명령어 집합을 실현하는 프로세서, 또는 명령어 집합의 조합을 실현하는 프로세서일 수 있다. 프로세서(1501)는 응용 주문형 집적회로(ASIC), 셀룰러 또는 베이스밴드 프로세서, 필드 프로그램 가능 게이트 어레이(FPGA), 디지털 신호 처리기(DSP), 네트워크 프로세서, 그래픽 프로세서, 통신 처리 장치, 암호화 프로세서, 코프로세서, 내장형 프로세서 또는 명령어를 처리할 수 있는 기타 임의의 유형의 로직과 같은 하나 또는 다수의 특수 목적 프로세서일 수도 있다.
프로세서(1501)는 상기 시스템의 각종 부재들과 통신하기 위한 메인 처리 유닛 및 중앙 허브로 작용할 수 있으며, 상기 프로세서(1501)는 초저 전압 프로세서와 같은 저출력 다중 코어 프로세서 소켓일 수 있다. 이러한 프로세서는 시스템 온 칩(SoC)으로 구현될 수 있다. 프로세서(1501)는 본 명세서에 기재된 동작 및 단계를 수행하기 위한 명령어를 실행하도록 구성된다. 시스템(1500)은 선택적인 그래픽 서브 시스템(1504; 표시 제어 장치 및/또는 표시 장치)과 통신하기 위한 그래픽 인터페이스를 더 포함할 수 있고, 상기 그래픽 서브 시스템(1504)은 표시 제어 장치, 그래픽 프로세서 및/또는 표시 장치를 포함할 수 있다.
프로세서(1501)는 일 실시형태에서 다수의 메모리 장치로 구현되어 기정 량의 시스템 메모리를 제공할 수 있는 메모리(1503)와 통신할 수 있다. 메모리(1503)는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 싱크로너스 DRAM(SDRAM), 스태틱 RAM(SRAM)과 같은 하나 또는 다수의 휘발성 저장(또는 메모리) 장치 또는 기타 유형의 저장 장치를 포함할 수 있다. 메모리(1503)는 프로세서(1501) 또는 기타 임의의 장치로 실행되는 명령어 서열을 포함하는 정보를 저장할 수 있다. 예를 들어, 다양한 운영 체제, 장치 드라이버, 펌웨어(예를 들어, 기본 입출력 체계 또는 BIOS) 및/또는 응용 프로그램의 실행 가능한 코드 및/또는 데이터는 메모리(1503)에 로딩되어, 프로세서(1501)에 의해 실행될 수 있다. 운영 체제는 임의의 유형의 운영 체제일 수 있으며, 예를 들어, Microsoft®의 Windows® 운영 체제, 애플의 Mac OS®/iOS®, Google®의 Android®, Linux®, Unix®, 또는 VxWorks과 같은 기타 실시간 또는 내장형 운영 체제일 수 있다.
시스템(1500)은 네트워크 인터페이스 장치(1505), 선택적인 입력 장치(1506) 및 기타 선택적인 I/O 장치(1507)를 포함하는 장치(1505-1508)와 같은 I/O 장치를 더 포함할 수 있다. 네트워크 인터페이스 장치(1505)는 무선 트래시버 및/또는 네트워크 인터페이스 카드(NIC)를 포함할 수 있다. 무선 트랜시버는 WiFi 트랜시버, 적외선 트랜시버, 블루투스 트랜시버, WiMax 트랜시버, 무선 셀룰러 텔레포니 트랜시버, 위성 트랜시버(예를 들어, 전지구 측위 시스템(GPS) 트랜시버) 또는 기타 무선 주파수(RF) 트랜시버 또는 이들의 조합일 수 있다. NIC는 이더넷 카드일 수 있다.
입력 장치(1506)는 마우스, 터치 패드, 터치 감응식 스크린(표시 장치(1504)에 통합될 수 있음), 스타일러스와 같은 지시 장치, 및/또는 키보드(예를 들어, 물리적 키보드 또는 터치 감응식 스크린의 일부분으로 표시된 가상 키보드)를 포함할 수 있다. 예를 들어, 입력 장치(1506)는 터치 스크린에 연결된 터치 스크린 제어 장치를 포함할 수 있다. 터치 스크린 및 터치 스크린 제어 장치는 예를 들어, 다수의 터치 감응 기술 중 임의의 하나 및 표면 탄성파 기술, 및 터치 스크린과의 하나 또는 다수의 접촉점을 결정하기 위한 기타 근접각 센서 어레이 또는 기타 소자를 이용하여 터치 스크린의 접촉 및 이동 또는 중단을 검출할 수 있다.
I/O 장치(1507)는 오디오 장치를 포함할 수 있다. 오디오 장치는 스피커 및/또는 마이크로 폰을 포함함으로써 음성 인식, 음성 복제, 디지털 녹음 및/또는 텔레포니 기능과 같은 음성 지원 기능이 가능하도록 할 수 있다. 기타 I/O 장치(1507)는 범용 직렬 버스(USB) 포트, 병렬 포트, 직렬 포트, 프린터, 네트워크 인터페이스, 버스 브리지(PCI-PCI 브리지), 센서(예를 들어, 가속도계, 자이로스코프(gyroscope), 자력계, 광 센서, 나침판, 근접각 센서 등과 같은 동작 센서) 또는 이들의 조합을 더 포함할 수 있다. 장치(1507)는 이미징 처리 서브 시스템(예를 들어, 카메라)를 더 포함할 수 있고, 상기 이미징 처리 서브 시스템은 고체 촬상 소자(CCD) 또는 상보형 금속산화 반도체(CMOS) 광학 센서와 같이, 사진 및 비디오 클립을 기록하는 것과 같은 카메라 기능을 가능하도록 하기 위한 광학 센서를 포함할 수 있다. 일부 센서는 센서 허브(미도시)를 통해 상호연결 장치(1510)에 연결될 수 있고, 키보드 또는 온도 센서와 같은 기타 장치는 내장된 제어 장치(미도시)에 의해 제어될 수 있으며, 이는 시스템(1500)의 구체적인 구성 또는 디자인에 의해 결정된다.
데이터, 응용 프로그램, 하나 또는 다수의 운영 체제 등에 대한 영구 저장을 제공하기 위해, 프로세서(1501)에 대용량 저장 장치(미도시)가 연결될 수도 있다. 각종 실시형태에 있어서, 더 얇고 더 가벼운 시스템 디자인을 실현하고 시스템 반응성을 향상시키기 위해, 상기 대용량 저장 장치는 고체 디바이스(SSD)를 통해 구현될 수 있다. 그러나, 기타 실시형태에 있어서, 대용량 저장 장치는 주로 하드디스크 드라이브(HDD)를 이용하여 구현될 수 있으며, 비교적 적은 량의 SSD 저장 장치를 SSD 캐시로 작용하도록 하여 파워 다운 상황에서 맥락 상태 및 기타 유사한 정보에 대한 비휘발성 저장을 실현함으로써, 시스템 활동이 재시작될 경우 빠른 파워 업을 실현할 수 있다. 또한, 플래시 장치는 예를 들어, 직렬 주변 장치 인터페이스(SPI)를 통해 프로세서(1501)에 연결될 수 있다. 이러한 플래시 장치는 시스템의 기본 입출력 소프트웨어(BIOS) 및 기타 펌웨어를 포함하는 시스템 소프트웨어에 대한 비휘발성 저장을 제공할 수 있다.
저장 장치(1508)는 본 명세서에 설명된 방법 및 기능 중 임의의 하나 또는 다수를 구현하는 한 세트 또는 다수 세트의 명령어 또는 소프트웨어(예를 들어, 모듈, 유닛 및/또는 로직(1528))가 저장된 컴퓨터 방문 가능한 저장 매체(1509; 기계 판독 가능한 저장 매체 또는 컴퓨터 판독 가능한 매체라고도 함)를 포함할 수 있다. 모듈/유닛/로직(1528)은 예를 들어, 상술한 검색 엔진, 암호기, 교호 로그 기록 모듈, 이미지 선택 모듈과 같이 전술된 부재 중의 임의의 하나를 대표할 수 있다. 모듈/유닛/로직(1528)은 데이터 처리 시스템(1500), 메모리(1503) 및 프로세서(1501)에 의해 실행되는 동안, 완전히 또는 적어도 부분적으로 메모리(1503) 및/또는 프로세서(1501) 내에 위치할 수도 있으며, 기계 방문 가능한 저장 매체를 구성하기도 한다. 모듈/유닛/로직(1528)은 나아가 네트워크 인터페이스 장치(1505)를 통해 네트워크 상에서 발송 또는 수신될 수도 있다.
컴퓨터 판독 가능한 저장 매체(1509)는 상술한 일부 소프트웨어 기능을 영구적으로 저장하기 위한 것일 수도 있다. 예시적인 실시형태에서 컴퓨터 판독 가능한 저장 매체(1509)는 단일 매체로 도시되였으나, 용어 “컴퓨터 판독 가능한 저장 매체”는 하나 또는 다수 세트의 명령어를 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙 집중식 또는 분산형 데이터 베이스 및/또는 관련된 캐시 및 서버)를 포함하는 것으로 이해해야 한다. 또한, 용어 “컴퓨터 판독 가능한 저장 매체”는 기계에 의해 실행되고, 기계로 하여금 본 발명의 하나 또는 다수의 방법을 실행하도록 하는 한 세트의 명령어를 저장하거나 인코딩할 수 있는 임의의 매체를 포함하는 것으로 이해해야 한다. 따라서, 용어 “컴퓨터 판독 가능한 저장 매체”는 고체 메모리 및 광학 및 자기식 매체 또는 기타 임의의 비일시적인 기계 판독 가능한 매체를 포함하나 이에 한정되지 않는 것으로 이해해야 한다.
본 명세서에서 설명된 모듈/유닛/로직(1528), 부재 및 기타 특징은 이산형 하드웨어 부재로 구현되거나 ASICS, FPGAs, DSPs 또는 유사한 장치와 같은 하드웨어 부재의 기능에 통할될 수 있다. 이외에, 모듈/유닛/로직(1528)은 하드웨어 장치 내에서 펌웨어 또는 기능성 회로로 구현될 수 있다. 또한, 모듈/유닛/로직(1528)은 하드웨어 장치 및 소프트웨어 부재의 임의의 조합으로 구현될 수 있다.
데이터 처리 시스템의 각종 부재와 함께 시스템(1500)을 도시하였으나, 이러한 세부 사항들은 본 발명의 실시형태에 밀접히 관련되는 것이 아니므로, 임의의 구체적인 체계 구조 또는 부재들의 상호 연결 방식을 대표하는 것이 아님을 유의해야 한다. 또한, 본 발명의 실시형태에서 네트워크 컴퓨터, 휴대용 컴퓨터, 모바일 폰, 서버 및/또는 더 적은 부재 또는 더 많은 부재를 구비할 수 있는 기타 데이터 처리 시스템도 사용할 수 있음을 자명할 것이다.
이미 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 기호적 표현으로 상기 상세한 설명 중의 일부분을 표시하였다. 이러한 알고리즘적 설명 및 표현은 데이터 처리 분야의 당업자들이 그들 작업의 요지를 해당 분야의 기타 당업자들한테 효율적으로 전달하기 위해 사용하는 방식이다. 여기서, 알고리즘은 통상적으로 원하는 결과를 달성하기 위한 조작의 자기 부합적 시퀸스로 구상된다. 이러한 조작들은 물리량에 대한 물리적 조작을 필요로 하는 조작이다.
그러나, 이러한 용어 및 유사한 용어들은 모두 적당한 물리량에 연관되어야 하고, 이러한 량에 적용된 편리한 라벨일 뿐이라는 것을 명기해야 한다. 상술한 기재로부터 명확히 알수 있는 바와 같이 기타 구체적인 설명이 없는 한, 첨부된 청구항에 기재된 용어를 이용하여 진행한 설명은 명세서 전체를 걸쳐 컴퓨터 시스템 또는 유사한 전자 계산 장치의 동작 및 과정을 가리킨다는 것을 자명할 것이며, 상기 컴퓨터 시스템 또는 유사한 전자 계산 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자) 량으로 표시된 데이터를 조작하고, 상기 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 유사한 정보 저장 장치, 전송 및 표시 장치 내에서 유사하게 물리량으로 표시된 기타 데이터로 전환한다.
도면에 도시된 기법들은 하나 또는 다수의 전자 기기에 저장되고 이러한 전자 기기에서 실행되는 코드 및 데어터를 이용하여 구현될 수 있다. 이러한 전자 기기는 비일시적인 컴퓨터 판독 가능한 기억 매체(예를 들어, 자기 디스크; 광 디스크; 랜덤 액세스 메모리; 읽기 전용 메모리; 플래시 메모리 장치; 상변화 메모리) 및 일시적인 컴퓨터 판독 가능한 전송 매체(예를 들어, 전기, 광, 어쿠스틱 또는 기타 형식의 전파 신호-예를 들어, 반송파, 적외선 신호, 디지털 신호)와 같은 컴퓨터 판독 가능한 매체를 이용하여 코드 및 데이터를 저장하고 (내부적으로 및/또는 네트워크를 통해 기타 전자 기기와) 통신한다.
첨부된 도면에 도시된 과정 또는 방법은 하드웨어(예를 들어, 회로, 전용 로직 등), 펌웨어, 소프트웨어(예를 들어, 비일시적인 컴퓨터 판독 가능한 매체에 내장됨) 또는 이들의 조합을 포함하는 처리 로직에 의해 실행될 수 있다. 비록 위에서 일부 순차적인 조작에 의해 상기 과정 또는 방법에 대해 설명하였으나, 설명된 조작 중의 일부는 상이한 순서로 실행될 수도 있음을 자명할 것이다. 또한, 일부 조작은 순차적인 순서가 아니라, 병행으로 수행될 수 있다.
상기 명세서에서, 본 발명의 상세한 예시적 실시형태들을 참조하여 본 발명의 실시형태에 대해 설명하였다. 첨부된 청구항에 기재된 본 발명의 사상 및 범위를 벗어나지 않으면서 각종 변경을 진행할 수 있음은 명백할 것이다. 따라서, 명세서 및 도면은 한정적인 것이 아니라, 예시적인 것으로 이해하여야 한다.

Claims (24)

  1. 콘텐츠 항목과 이미지를 매칭시키기 위한 컴퓨터 구현 방법에 있어서,
    하나 또는 복수의 이미지의 제1 집합을 검색 쿼리에 응답하여 식별된 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 인식하되, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공되는 단계;
    상기 제1 콘텐츠 제공자와 상이한 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 식별하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하는 단계;
    상기 후보 이미지 리스트에서 상기 이미지의 상기 제2 집합에 포함된 임의의 후보 이미지를 제거하는 단계;
    상기 콘텐츠 항목의 상기 제1 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제3 집합을 식별하도록, 이미지 블랙 리스트 테이블에서 제2 조회 작업을 수행하는 단계;
    상기 후보 이미지 리스트에서 상기 이미지의 상기 제3 집합에 포함된 임의의 후보 이미지를 제거하는 단계; 및
    상기 후보 이미지 중에서 상기 콘텐츠 항목에 연관될 하나의 후보 이미지를 선택하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 이미지 화이트 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목에만 연관될 수 있음을 가리키도록 상기 이미지를 콘텐츠 제공자에 맵핑시키는 것을 특징으로 하는 컴퓨터 구현 방법.
  3. 제2항에 있어서,
    상기 이미지 화이트 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자에 연관되는 소스로부터 획득되는 것을 특징으로 하는 컴퓨터 구현 방법.
  4. 제2항에 있어서,
    상기 이미지 화이트 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자에 연관되는 인식 가능한 콘텐츠를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 이미지 블랙 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목과 연관될 수 없음을 가리키도록 이미지를 콘텐츠 제공자에 맵핑시키는 것을 특징으로 하는 컴퓨터 구현 방법.
  7. 제6항에 있어서,
    상기 이미지 블랙 리스트 테이블 중의 제1 엔트리의 제1 이미지는 제3 콘텐츠 제공자에 연관되는 소스로부터 획득되고, 상기 제3 콘텐츠 제공자는 상기 제1 엔트리에 나열된 제4 콘텐츠 제공자의 경쟁대상인 것을 특징으로 하는 컴퓨터 구현 방법.
  8. 제6항에 있어서,
    상기 이미지 블랙 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자와 상충되는 인식 가능한 콘텐츠를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 검색 쿼리로부터 하나 또는 복수의 키워드를 추출하는 단계; 및
    상기 이미지의 상기 제1 집합을 식별하도록, 상기 추출된 키워드에 기반하여 키워드-투-이미지(키워드/이미지) 맵핑 테이블에서 제3 조회 작업을 수행하는 단계;를 더 포함하되,
    상기 키워드/이미지 맵핑 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 키워드를 하나 또는 복수의 이미지를 식별하기 위한 하나 또는 복수의 이미지 식별자(ID)에 맵핑시키는 것을 특징으로 하는 컴퓨터 구현 방법.
  10. 내부에 명령어가 저장되어 있는 비일시적 기계 판독 가능한 매체에 있어서, 상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서가 콘텐츠 항목과 이미지를 매칭시키는 조작을 수행하도록 하며, 상기 조작은,
    하나 또는 복수의 이미지의 제1 집합을 검색 쿼리에 응답하여 식별된 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 인식하되, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공되는 단계;
    상기 제1 콘텐츠 제공자와 상이한 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 식별하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하는 단계;
    상기 후보 이미지 리스트에서 상기 이미지의 상기 제2 집합에 포함된 임의의 후보 이미지를 제거하는 단계;
    상기 콘텐츠 항목의 상기 제1 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제3 집합을 식별하도록, 이미지 블랙 리스트 테이블에서 제2 조회 작업을 수행하는 단계;
    상기 후보 이미지 리스트에서 상기 이미지의 상기 제3 집합에 포함된 임의의 후보 이미지를 제거하는 단계; 및
    상기 후보 이미지 중에서 상기 콘텐츠 항목에 연관될 하나의 후보 이미지를 선택하는 단계;를 포함하는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  11. 제10항에 있어서,
    상기 이미지 화이트 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목에만 연관될 수 있음을 가리키도록 상기 이미지를 콘텐츠 제공자에 맵핑시키는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  12. 제11항에 있어서,
    상기 이미지 화이트 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자에 연관되는 소스로부터 획득되는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  13. 제11항에 있어서,
    상기 이미지 화이트 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자에 연관되는 인식 가능한 콘텐츠를 포함하는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  14. 삭제
  15. 제10항에 있어서,
    상기 이미지 블랙 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목과 연관될 수 없음을 가리키도록 이미지를 콘텐츠 제공자에 맵핑시키는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  16. 제15항에 있어서,
    상기 이미지 블랙 리스트 테이블 중의 제1 엔트리의 제1 이미지는 제3 콘텐츠 제공자에 연관되는 소스로부터 획득되고, 상기 제3 콘텐츠 제공자는 상기 제1 엔트리에 나열된 제4 콘텐츠 제공자의 경쟁대상인 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  17. 제15항에 있어서,
    상기 이미지 블랙 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자와 상충되는 인식 가능한 콘텐츠를 포함하는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  18. 제10항에 있어서,
    상기 조작은,
    상기 검색 쿼리로부터 하나 또는 복수의 키워드를 추출하는 단계; 및
    상기 이미지의 상기 제1 집합을 식별하도록, 상기 추출된 키워드에 기반하여 키워드-투-이미지(키워드/이미지) 맵핑 테이블에서 제3 조회 작업을 수행하는 단계;를 더 포함하되,
    상기 키워드/이미지 맵핑 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 키워드를 하나 또는 복수의 이미지를 식별하기 위한 하나 또는 복수의 이미지 식별자(ID)에 맵핑시키는 것을 특징으로 하는 비일시적 기계 판독 가능한 매체.
  19. 프로세서; 및
    명령어를 저장하고자 상기 프로세서에 연결된 메모리;를 포함하되, 상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 콘텐츠 항목을 이미지에 매칭시키는 조작을 수행하도록 하며, 상기 조작은,
    하나 또는 복수의 이미지의 제1 집합을 검색 쿼리에 응답하여 식별된 콘텐츠 항목에 매칭시키고자 하는 후보 이미지 리스트로서 인식하되, 상기 콘텐츠 항목은 제1 콘텐츠 제공자에 의해 제공되는 단계;
    상기 제1 콘텐츠 제공자와 상이한 제2 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제2 집합을 식별하도록 이미지 화이트 리스트 테이블에서 제1 조회 작업을 수행하는 단계;
    상기 후보 이미지 리스트에서 상기 이미지의 상기 제2 집합에 포함된 임의의 후보 이미지를 제거하는 단계;
    상기 콘텐츠 항목의 상기 제1 콘텐츠 제공자에 연관되는 하나 또는 복수의 이미지의 제3 집합을 식별하도록, 이미지 블랙 리스트 테이블에서 제2 조회 작업을 수행하는 단계;
    상기 후보 이미지 리스트에서 상기 이미지의 상기 제3 집합에 포함된 임의의 후보 이미지를 제거하는 단계; 및
    상기 후보 이미지 중에서 상기 콘텐츠 항목에 연관될 하나의 후보 이미지를 선택하는 단계;를 포함하는 것을 특징으로 하는 데이터 처리 시스템.
  20. 제19항에 있어서,
    상기 이미지 화이트 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목에만 연관될 수 있음을 가리키도록 상기 이미지를 콘텐츠 제공자에 맵핑시키는 것을 특징으로 하는 데이터 처리 시스템.
  21. 제20항에 있어서,
    상기 이미지 화이트 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자에 연관되는 소스로부터 획득되는 것을 특징으로 하는 데이터 처리 시스템.
  22. 제20항에 있어서,
    상기 이미지 화이트 리스트 테이블 중의 제1 엔트리의 제1 이미지는 상기 제1 엔트리에 나열된 제3 콘텐츠 제공자에 연관되는 인식 가능한 콘텐츠를 포함하는 것을 특징으로 하는 데이터 처리 시스템.
  23. 삭제
  24. 제19항에 있어서,
    상기 이미지 블랙 리스트 테이블은 복수의 엔트리를 포함하고, 각각의 엔트리는 이미지가 대응되는 콘텐츠 제공자에 의해 제공되는 콘텐츠 항목과 연관될 수 없음을 가리키도록 이미지를 콘텐츠 제공자에 맵핑시키는 것을 특징으로 하는 데이터 처리 시스템.
KR1020160161197A 2016-06-06 2016-11-30 콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템 KR101932619B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/174,368 2016-06-06
US15/174,368 US10289642B2 (en) 2016-06-06 2016-06-06 Method and system for matching images with content using whitelists and blacklists in response to a search query

Publications (2)

Publication Number Publication Date
KR20170138033A KR20170138033A (ko) 2017-12-14
KR101932619B1 true KR101932619B1 (ko) 2018-12-27

Family

ID=57442579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160161197A KR101932619B1 (ko) 2016-06-06 2016-11-30 콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템

Country Status (5)

Country Link
US (1) US10289642B2 (ko)
EP (1) EP3255564A1 (ko)
JP (1) JP6165955B1 (ko)
KR (1) KR101932619B1 (ko)
CN (1) CN107463592B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102380518B1 (ko) * 2021-06-22 2022-04-01 한국과학기술정보연구원 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487868B2 (en) * 2017-08-01 2022-11-01 Pc Matic, Inc. System, method, and apparatus for computer security
WO2019059598A1 (en) * 2017-09-20 2019-03-28 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR MANAGING SERVICE REQUEST IN BLOCK CHAIN NETWORK
CN108446737B (zh) * 2018-03-21 2022-07-05 百度在线网络技术（北京）有限公司 用于识别对象的方法和装置
CN109766779B (zh) * 2018-12-20 2021-07-20 深圳云天励飞技术有限公司 徘徊人员识别方法及相关产品
CN113094550B (zh) * 2020-01-08 2023-10-24 百度在线网络技术（北京）有限公司 视频检索方法、装置、设备和介质
CN111709247B (zh) * 2020-05-20 2023-04-07 北京百度网讯科技有限公司 数据集处理方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063209A (ja) * 2000-08-22 2002-02-28 Sony Corp 情報処理装置および方法、情報システム、並びに記録媒体
WO2011025701A1 (en) * 2009-08-24 2011-03-03 Google Inc. Relevance-based image selection
US8626585B1 (en) * 2012-05-14 2014-01-07 Google Inc. Selection of images to display next to textual content
US20140122458A1 (en) * 2011-06-23 2014-05-01 Microsoft Corporation Anchor Image Identification for Vertical Video Search

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03251937A (ja) * 1990-02-28 1991-11-11 Nec Corp データベース検索方式
JP3251937B2 (ja) * 1990-08-02 2002-01-28 ランクサイド・テクノロジー・カンパニー・エルピー 焼結セラミック成形体の製造方法
JP3897494B2 (ja) * 1999-08-31 2007-03-22 キヤノン株式会社 画像管理検索装置、画像管理検索方法及び記憶媒体
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
JP2003256461A (ja) * 2002-03-04 2003-09-12 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
US8239263B2 (en) * 2003-09-05 2012-08-07 Google Inc. Identifying and/or blocking ads such as document-specific competitive ads
US9407963B2 (en) * 2004-02-27 2016-08-02 Yahoo! Inc. Method and system for managing digital content including streaming media
US7421454B2 (en) * 2004-02-27 2008-09-02 Yahoo! Inc. Method and system for managing digital content including streaming media
US8775436B1 (en) * 2004-03-19 2014-07-08 Google Inc. Image selection for news search
US7697791B1 (en) * 2004-05-10 2010-04-13 Google Inc. Method and system for providing targeted documents based on concepts automatically identified therein
US9912677B2 (en) * 2005-09-06 2018-03-06 Daniel Chien Evaluating a questionable network communication
WO2007089943A2 (en) * 2006-02-01 2007-08-09 Markmonitor Inc. Detecting online abuse in images
US8356076B1 (en) * 2007-01-30 2013-01-15 Proofpoint, Inc. Apparatus and method for performing spam detection and filtering using an image history table
US8005826B1 (en) * 2007-04-30 2011-08-23 Google Inc. Identifying media content in queries
US20090077617A1 (en) * 2007-09-13 2009-03-19 Levow Zachary S Automated generation of spam-detection rules using optical character recognition and identifications of common features
US8428367B2 (en) * 2007-10-26 2013-04-23 International Business Machines Corporation System and method for electronic document classification
JP5118592B2 (ja) * 2007-12-04 2013-01-16 株式会社リコー ファイル管理システム
JP4604253B2 (ja) * 2007-12-21 2011-01-05 Ｎｅｃビッグローブ株式会社 ウェブページ安全性判定システム
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
US8321516B2 (en) * 2008-09-30 2012-11-27 Aol Inc. Systems and methods for creating and updating reputation records
US8448245B2 (en) * 2009-01-17 2013-05-21 Stopthehacker.com, Jaal LLC Automated identification of phishing, phony and malicious web sites
CN101902699B (zh) * 2009-05-31 2013-08-21 中兴通讯股份有限公司 一种基于消息号码处理消息的方法及装置
WO2011006281A1 (en) * 2009-07-17 2011-01-20 Google Inc. Providing advertisements from related search queries
US9710491B2 (en) * 2009-11-02 2017-07-18 Microsoft Technology Licensing, Llc Content-based image search
JP2012064144A (ja) * 2010-09-17 2012-03-29 Sharp Corp 中継サーバ、及び広告配信システム
US8412771B2 (en) * 2010-10-21 2013-04-02 Yahoo! Inc. Matching items of user-generated content to entities
US8909625B1 (en) * 2011-06-02 2014-12-09 Google Inc. Image search
US8645354B2 (en) * 2011-06-23 2014-02-04 Microsoft Corporation Scalable metadata extraction for video search
US8572096B1 (en) * 2011-08-05 2013-10-29 Google Inc. Selecting keywords using co-visitation information
KR101391107B1 (ko) * 2011-08-10 2014-04-30 네이버 주식회사 검색 대상의 타입을 인터렉티브하게 표시하는 검색 서비스 제공 방법 및 장치
US9646292B2 (en) * 2011-08-24 2017-05-09 Follett Corporation Method and system for distributing digital media content
US9152730B2 (en) * 2011-11-10 2015-10-06 Evernote Corporation Extracting principal content from web pages
US9208316B1 (en) * 2012-02-27 2015-12-08 Amazon Technologies, Inc. Selective disabling of content portions
JP6020196B2 (ja) * 2013-01-23 2016-11-02 富士ゼロックス株式会社 情報提供装置及びプログラム
US9110943B2 (en) * 2013-01-31 2015-08-18 Google Inc. Identifying an image for an entity
WO2015013459A1 (en) * 2013-07-26 2015-01-29 Ad-Vantage Networks, Inc. Systems and methods for managing network resource requests
US9501499B2 (en) 2013-10-21 2016-11-22 Google Inc. Methods and systems for creating image-based content based on text-based content
CN103678487B (zh) * 2013-11-08 2017-05-03 北京奇虎科技有限公司 一种网页快照的生成方法和装置
EP3090529B1 (en) * 2013-12-31 2021-09-15 British Telecommunications public limited company Processing service requests for digital content
CN105981072A (zh) * 2014-01-23 2016-09-28 川边均 用于交换信息的系统和方法
CN104394122B (zh) * 2014-10-31 2017-06-27 杭州安恒信息技术有限公司 一种基于自适应代理机制的http业务防火墙
CN104754374B (zh) * 2015-04-03 2018-06-26 北京奇虎科技有限公司 音视频文件检测管理方法及装置
US10701454B2 (en) * 2015-06-30 2020-06-30 Home Box Office, Inc. Image providing service
US20170032043A1 (en) * 2015-07-27 2017-02-02 Meemim Inc. System and method for content image association and network-constrained content retrieval
US10296538B2 (en) * 2016-02-23 2019-05-21 Baidu Usa Llc Method for matching images with content based on representations of keywords associated with the content in response to a search query
US10275472B2 (en) * 2016-03-01 2019-04-30 Baidu Usa Llc Method for categorizing images to be associated with content items based on keywords of search queries
US10289700B2 (en) * 2016-03-01 2019-05-14 Baidu Usa Llc Method for dynamically matching images with content items based on keywords in response to search queries
US9930045B2 (en) * 2016-05-23 2018-03-27 Verizon Patent And Licensing Inc. Logging system for blacklisting URLs in toll-free data service
US10282761B2 (en) * 2016-11-15 2019-05-07 Comscore, Inc. Systems and processes for detecting content blocking software

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063209A (ja) * 2000-08-22 2002-02-28 Sony Corp 情報処理装置および方法、情報システム、並びに記録媒体
WO2011025701A1 (en) * 2009-08-24 2011-03-03 Google Inc. Relevance-based image selection
US20140122458A1 (en) * 2011-06-23 2014-05-01 Microsoft Corporation Anchor Image Identification for Vertical Video Search
US8626585B1 (en) * 2012-05-14 2014-01-07 Google Inc. Selection of images to display next to textual content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102380518B1 (ko) * 2021-06-22 2022-04-01 한국과학기술정보연구원 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템

Also Published As

Publication number Publication date
US10289642B2 (en) 2019-05-14
CN107463592A (zh) 2017-12-12
CN107463592B (zh) 2021-03-09
KR20170138033A (ko) 2017-12-14
EP3255564A1 (en) 2017-12-13
JP2017220204A (ja) 2017-12-14
US20170351706A1 (en) 2017-12-07
JP6165955B1 (ja) 2017-07-19

Similar Documents

Publication Publication Date Title
KR101932618B1 (ko) 검색 쿼리에 응답하여 유사성 스코어에 기초하여 이미지와 콘텐츠에 대해 평가 및 랭킹을 진행하기 위한 방법 및 시스템
KR101934449B1 (ko) 검색 쿼리에 응답하여 콘텐츠에 매칭될 이미지에 대해 동적 랭킹을 진행하기 위한 방법 및 시스템
KR101932619B1 (ko) 콘텐츠 항목과 이미지를 매칭시키기 위한 방법, 장치 및 데이터 처리 시스템
CN107103016B (zh) 基于关键词表示使图像与内容匹配的方法
CN107145496B (zh) 基于关键词将图像与内容项目匹配的方法
US10296535B2 (en) Method and system to randomize image matching to find best images to be matched with content items
US20180060358A1 (en) Method and system for selecting images based on user contextual information in response to search queries
JP6363682B2 (ja) 画像とコンテンツのメタデータに基づいてコンテンツとマッチングする画像を選択する方法
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
CN107491465B (zh) 用于搜索内容的方法和装置以及数据处理系统
US11308154B2 (en) Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
US10496698B2 (en) Method and system for determining image-based content styles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant