KR20160040633A - 컨텍스트 단서를 이미지와 상관시켜 이미지를 분류하기 위한 시스템 및 방법 - Google Patents

컨텍스트 단서를 이미지와 상관시켜 이미지를 분류하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20160040633A
KR20160040633A KR1020167005447A KR20167005447A KR20160040633A KR 20160040633 A KR20160040633 A KR 20160040633A KR 1020167005447 A KR1020167005447 A KR 1020167005447A KR 20167005447 A KR20167005447 A KR 20167005447A KR 20160040633 A KR20160040633 A KR 20160040633A
Authority
KR
South Korea
Prior art keywords
image
images
module
user
classifier
Prior art date
Application number
KR1020167005447A
Other languages
English (en)
Other versions
KR102244748B1 (ko
Inventor
루보미르 보르데프
발라마노하 팔루리
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20160040633A publication Critical patent/KR20160040633A/ko
Application granted granted Critical
Publication of KR102244748B1 publication Critical patent/KR102244748B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06K9/00684—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/6256—
    • G06K9/72—
    • G06K9/726—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/915—Image

Abstract

이미지들의 샘플 세트가 수신된다. 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서와 관련될 수 있다. 이미지 클래스와 샘플 세트에서 각각의 이미지의 상관관계가 이미지와 관련된 하나 이상의 소셜 단서에 기반하여 점수화된다. 점수화에 기반하여, 분류기를 트레이닝하는 이미지들의 트레이닝 세트가 샘플 세트로부터 결정된다. 일실시예로, 이미지 클래스와 이미지들의 평가 세트가 상관되는 정도가 결정된다. 결정은 이미지들의 평가 세트의 최상위 점수의 서브세트를 순위화하는 것을 포함할 수 있다.

Description

컨텍스트 단서를 이미지와 상관시켜 이미지를 분류하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR IMAGE CLASSIFICATION BY CORRELATING CONTEXTUAL CUES WITH IMAGES}
기술 분야는 소셜 네트워크 분야에 관한 것이다. 더욱 특히, 기술 분야는 소셜 네트워크에서의 이미지 분류 기술에 관한 것이다.
소셜 네트워크는 구성원들을 서로 연결해주는 상호작용 및 컨텐츠가 풍부한 온라인 커뮤니티를 제공할 수 있다. 소셜 네트워크의 구성원들은 그들이 서로 어떻게 관련되는지를 표시할 수 있다. 예컨대, 소셜 네트워크의 구성원들은 그들이 친구, 가족 구성원, 사업 동료, 또는 서로의 팔로워라고 표시할 수 있고, 구성원들은 일부 다른 관계를 서로에게 지정할 수 있다. 소셜 네트워크는 구성원들이 서로 메시징하거나 메시지를 온라인 커뮤니티에 게시하도록 할 수 있다.
소셜 네트워크는 또한, 구성원들이 서로 컨텐츠를 공유하도록 할 수 있다. 예컨대, 구성원들은 다수의 플랫폼에 걸쳐 열람될 수 있는 상호작용형 피드(interactive feed)를 포함하는 하나 이상의 페이지를 생성하거나 사용할 수 있다. 페이지는, 구성원이 소셜 네트워크의 특정 구성원들과 공유하거나 일반적으로 소셜 네트워크에 발행(publish)하기를 희망하는 이미지, 비디오, 및 다른 컨텐츠를 포함할 수 있다. 구성원들은 또한, 다른 방식으로 소셜 네트워크와 컨텐츠를 공유할 수 있다. 예컨대, 이미지의 경우, 구성원들은 이미지 보드에 이미지들을 발행하거나 온라인 커뮤니티에 의한 검색에 이미지들이 이용가능하게 만들 수 있다.
본 발명의 내용 중에 포함되어 있다.
시스템은 적어도 하나의 프로세서 및 프로세서가 이미지들의 샘플 세트의 수신을 수행하게끔 명령하도록 구성된 명령어를 저장하는 메모리를 포함할 수 있고, 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서(social clue)와 관련된다. 샘플 세트에서 각각의 이미지의 이미지 클래스에 대한 상관관계는, 이미지와 관련된 하나 이상의 소셜 단서에 기반하여 점수화된다. 점수에 기반하여, 분류기(classifier)를 트레이닝(train)하는 이미지들의 트레이닝 세트가 샘플 세트로부터 결정될 수 있다.
일부 실시예로, 이미지 클래스가 특정될 수 있다. 일부 실시예로, 결정은 점수에 기반하여 샘플 세트로부터 각각의 이미지를 순위화(rank)하는 것을 포함할 수 있다. 결정은 이미지들의 샘플 세트 중 최상위 점수의 서브세트를 선택하는 것을 포함할 수 있다. 최상위 점수의 서브세트가 이미지들의 트레이닝 세트일 수 있다.
다양한 실시예로, 분류기는 이미지들의 트레이닝 세트에 기반하여 트레이닝될 수 있다. 이미지 클래스와 관련된 시각적 패턴 템플릿(template)이 생성될 수 있다. 분류기는 일부 실시예로, 시각적 단어 가방식(bag of visual words) 이미지 분류 기술 또는 뉴럴 네트워크 이미지 분류 기술을 사용하도록 구성될 수 있다.
일부 실시예로, 이미지들의 평가 세트가 이미지 클래스와 상관되는 정도가 결정될 수 있다. 이미지들의 평가 세트는 이미지들의 샘플 세트와 상이할 수 있다. 이미지들의 평가 세트는 이미지들의 샘플 세트보다 큰 이미지들의 세트를 포함할 수 있다.
다양한 실시예로, 이미지들의 평가 세트의 각각의 이미지의, 이미지 클래스와 관련된 시각적 패턴 템플릿에 대한 상관관계는 점수화될 수 있다. 평가 세트의 각각의 이미지는, 이미지들의 평가 세트의 각각의 이미지의 점수화된 상관관계에 기반하여 순위화될 수 있다. 이미지들의 평가 세트 중 최상위 점수의 서브세트가 이미지 클래스와 관련될 수 있다.
일부 실시예로, 하나 이상의 소셜 단서는 하나 이상의 이미지 태그를 포함할 수 있다. 이미지와 관련된 하나 이상의 이미지 태그의 총 개수에서 특정 이미지 태그의 인스턴스들의 개수가 결정될 수 있다.
일부 실시예로, 하나 이상의 소셜 단서는: 이미지들의 샘플 세트 중 하나의 이미지와 관련된 위치 데이터; 또는 이미지들의 샘플 세트 중 상기 이미지의 업로더, 태거(tagger), 또는 소유자의 신원 중 하나 이상을 포함할 수 있다. 다양한 실시예로, 하나 이상의 소셜 단서는 소셜 네트워킹 시스템에 의해 수신될 수 있다.
컴퓨터로 구현되는 방법은, 컴퓨터 시스템에 의해 이미지들의 샘플세트를 수신하는 것을 포함할 수 있고, 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서와 관련된다. 방법은, 컴퓨터 시스템에 의해, 이미지와 관련되는 하나 이상의 소셜 단서에 기반하여 샘플 세트의 각각의 이미지와 이미지 클래스의 상관관계(correlation)를 점수화하는 것을 포함할 수 있다. 방법은 또한, 컴퓨터 시스템에 의해, 점수에 기반하여 분류기를 트레이닝하는 이미지들의 트레이닝 세트를 샘플 세트로부터 결정하는 것을 포함할 수 있다.
컴퓨터 저장 매체는, 실행시 컴퓨터 시스템이 이미지들의 샘플 세트를 수신하는 것을 포함하는 컴퓨터로 구현되는 방법을 수행하도록 하는 컴퓨터-실행가능한 명령어를 저장하며, 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서와 관련된다. 방법은, 이미지와 관련된 하나 이상의 소셜 단서에 기반하여 샘플 세트의 각각의 이미지와 이미지 클래스 간의 상관관계를 점수화하는 것을 포함할 수 있다. 방법은 또한, 점수에 기반하여 분류기를 트레이닝하는 이미지들의 트레이닝 세트를 샘플 세트로부터 결정하는 것을 포함할 수 있다.
다른 특징 및 실시예들은 첨부되는 도면 및 이하의 상세한 설명으로부터 자명해질 것이다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일부 실시예에 따른, 컨텍스트 이미지 분류 시스템(contextual image classification system)의 예를 도시한다.
도 2a는 일부 실시예에 따른, 이미지 분류 모듈의 예를 도시한다.
도 2b는 일부 실시예에 따른, 이미지 분류 모듈의 예를 도시한다.
도 3은 일부 실시예에 따른, 이미지 분류 트레이닝 모듈의 예를 도시한다.
도 4는 일부 실시예에 따른, 이미지 분류 평가 모듈의 예를 도시한다.
도 5는 일부 실시예에 따른, 분류기의 예를 도시한다.
도 6은 일부 실시예에 따른, 이미지를 분류하기 위한 프로세스의 예를 도시한다.
도 7은 일부 실시예에 따른, 분류기를 트레이닝하기 위한 프로세스의 예를 도시한다.
도 8은 일부 실시예에 따른, 이미지를 분류하기 위한 프로세스의 예를 도시한다.
도 9는 일부 실시예에 따른, 이미지들의 그룹에 적용되는 컨텍스트적으로(contextually) 생성된 이미지 필터들의 미리보기(preview)의 예를 도시한다.
도 10은 일부 실시예에 따른, 이미지들의 그룹에 적용된 컨텍스트적으로 생성된 이미지 필터의 미리보기의 예를 도시한다.
도 11은 일부 실시예에 따른, 소셜 네트워킹 시스템 내의 컨텍스트 이미지 분류 시스템의 네트워크 다이어그램의 예를 도시한다.
도 12는 일부 실시예에 따른, 본 명세서에 기술된 하나 이상의 실시예를 구현하는데 사용될 수 있는 컴퓨터 시스템의 예를 도시한다.
도면들은 오로지 예시적인 목적을 위해 본 발명의 다양한 실시예들을 도시하며, 도면들은 같은 구성요소를 식별하기 위해 같은 참조 번호를 사용한다. 통상의 기술자는 다음의 설명으로부터 도면들에 도시된 구조들 및 방법들의 대안적 실시예가 본 명세서에 기술된 발명의 원리로부터 벗어남이 없이 이용될 수 있음을 쉽게 인식할 것이다.
컨텍스트 단서를 상관시키는 것에 의한 이미지 분류
소셜 네트워킹 시스템은 컨텐츠를 생성하고 친구들과 공유하는 능력을 사용자들에게 제공할 수 있다. 소셜 네트워킹 시스템의 사진-공유 서비스의 사용자들은 그들의 모바일 전화에서 이미지(예컨대, 정지 이미지, 밈(meme)), 비디오, 또는 상호작용형 컨텐츠를 캡쳐하고 컨텐츠를 그들의 온라인 친구들과 공유하는 것을 즐길 수 있다. 유사하게, 사용자들은 예컨대, 그들의 홈페이지에 상호작용형 피드를 업데이트함으로써 그들의 친구들과 컨텐츠를 공유하는 것을 즐길 수 있다.
소셜 네트워킹 시스템은 또한, 컨텐츠의 아이템에 관한 정보 또는 컨텐츠에 관한 속성을 표시하거나, 식별하거나, 카테고리화하거나, 라벨링하거나, 기술하거나, 또는 제공하는 능력을 제공 또는 지원할 수 있다. 이러한 정보를 표시하는 한가지 방법은 컨텐츠 또는 그것의 속성의 대상물을 식별할 수 있거나 아니면 관련시킬 수 있는 태그를 통하는 것이다. 이러한 정보는 표시하는 다른 방법은 업로드의 위치, 또는 컨텐츠가 어디에서 캡쳐되었는지를 식별하기 위해 사용자가 업로드하는 컨텐츠의 GPS(global positioning system) 좌표를 통하는 것이다. 본 명세서에서 더 상세히 기술될 것처럼, 소셜 네트워킹 시스템에서 컨텐츠에 관한 정보를 표시하기 위한 많은 다른 방법들이 있다. 태그(예컨대, 해시태그 또는 다른 메타데이터 태그) 및 GPS 시스템 좌표를 포함하는 이러한 많은 표시자는 시각적이지 않으며, 컨텐츠에서 시각적 데이터의 자동화된 분석에 기반하지 않는다.
특정 상황에서, 비시각적 표시자는 주관적이거나 잠재적으로 오인의 소지가 있을 수 있다. 예컨대, 컨텐츠 생성자가 그의 또는 그녀 자신의 컨텐츠에 적용하기 위해 선택한 태그들은 컨텐츠 생성자의 관점에서는 컨텐츠의 대상물을 기술할 수 있지만, 태그들은 다른 사람들의 관점에서는 잘못 기술하고 있거나 심지어는 관련이 없을 수 있다. 예컨대, 스스로를 할로윈에 캣우먼으로 차려입은 사진을 게시하는 사용자는, 사진이 가정에서의 집 고양이를 포함하지 않음에도 그 사진을 "#cat"으로 태그할 수 있다. "Paris"라고 명명된 개의 사진을 게시하는 사용자는, 사진이 프랑스 파리를 묘사하지 않음에도 그 사진을 태그 "#paris"로 태그할 수 있다. Super Bowl Sunday에 뉴올리언스의 Super Bowl에 그의 가족을 캡쳐한 이미지를 게시하는 사용자는, 이미지들이 Super Bowl에서 캡쳐되었음을 표시하는 GPS 좌표 및/또는 타임 스탬프를 가질 수 있지만, 이미지들 자체의 컨텐츠는 풋볼 경기와 관련되지 않을 수 있다.
비시각적 표시자의 주관성은 소셜 네트워킹 시스템의 사용자들이 풍부하게 다양한 컨텐츠를 창의적으로 표현하고 공유하도록 돕지만, 비시각적 표시자의 주관성은 종종 사진과 같은 사용자가-업로드한 이미지들을 검색하는 것을 어렵게 만든다. 예컨대, "고양이"에 대해 소셜 네트워킹 시스템에 게시된 이미지들을 검색하려는 시도는 할로윈에 캣우먼 복장을 입은 사용자의 이미지를 나타내 보일 수 있다. 프랑스 파리에서의 에펠탑의 이미지에 대한 그래픽 검색을 수행하려는 시도는 "Paris"라고 이름지어진 개의 이미지로 이어질 수 있다. Super Bowl 사진을 검색하려는 시도는 풋볼 경기의 1차적 설명을 찾는 사람에게 높은 관련성이 없을 수 있는 팬의 가족의 개인적인 사진들을 나타내 보일 수 있다. 어느 정도, 이러한 예들에서 이미지들과 관련된 비시각적 표시자는, 그들이 관련된 이미지의 컨텐츠를 정확하게 반영하지 않을 수 있다는 점에서 "노이즈(noisy)"가 된다. 소셜 네트워킹 시스템에서 사용자-업로드된 컨텐츠를 정확하게 검색하는 것이 바람직할 수 있다.
도 1은 일부 실시예에 따른, 컨텍스트 이미지 분류 시스템(102)의 예를 도시한다. 컨텍스트 이미지 분류 시스템(102)은 소셜 네트워킹 시스템으로 통합될 수 있고, 그 예가 도 11에 제공된다. 도 1의 예에서, 컨텍스트 이미지 분류 시스템(102)은 이미지 분류 모듈(104) 및 이미지 애플리케이션 모듈(106)을 포함할 수 있다.
이미지 분류 모듈(104)은, 컨텐츠 및 컨텐츠의 시각적 속성과 관련된 컨텍스트 단서에 기반하여 컨텐츠에서 대상물을 인식할 수 있다. 컨텐츠는 예컨대, 이미지, 밈(meme), 비디오, 상호작용형 시청각 자료 등을 포함할 수 있다. 시각적 속성은 컨텐츠에서 묘사되는 대상물의 특징적 속성을 반영하는 이미지 또는 이미지 세그먼트에서의 시각적 패턴을 포함할 수 있다. 시각적 속성은 예컨대, 외관, 색상, 형태, 레이아웃 등 중 하나 또는 이들의 조합에 기반할 수 있다.
컨텍스트 단서는 컨텐츠에 묘사된 대상물의 시각적 표시자를 포함할 수 있다. 컨텍스트 단서는 컨텐츠의 적어도 일부의 대상물을 반영하거나 시사할 수 있다. 일부 실시예로, 컨텍스트 단서는 컨텐츠 태그를 포함할 수 있다. 컨텍스트 단서는 또한, 가령 소셜 단서와 같은 컨텐츠에서 대상물의 비시각적 표시자의 다른 타입들을 포함할 수 있다. 예컨대, 제한 없이, 컨텍스트 단서는: 이미지 또는 사용자의 디지털 장치의 GPS 좌표, 특정된 태그가 아닌 태그들의 개수, 특정된 태그가 일련의 태그들에서 발생하는 정도, 일련의 태그에서 특정된 태그의 순서, 컨텐츠의 태거(tagger)(예컨대, 문자 스트링을 컨텐츠와 관련시키는 엔티티)의 신원, 컨텐츠의 업로더(예컨대, 소셜 네트워킹 시스템의 데이터 스토어에 저장하기 위해 컨텐츠를 제공하는 엔티티)의 신원, 컨텐츠의 소유자의 신원, 컨텐츠 업로드의 시간, 태거 (또는 업로더나 소유자)의 연결 및 연결의 타입(예컨대, 친구), 태거 (또는 업로더나 소유자)의 상태 또는 프로필, 컨텐츠와 관련된 메타데이터, 주어진 타입의 컨텐츠, EXIF(Exchangeable Image File) 정보 등을 열람하거나 좋아하는 사람들의 신원을 포함할 수 있다.
일부 실시예로, 이미지 분류 모듈(104)은 분류기가 이미지들의 샘플 세트로부터 수집된 컨텍스트 단서에 기반하여 이미지 클래스의 시각적 속성을 인식하도록 트레이닝할 수 있다. 이미지들의 샘플 세트는 분류기를 트레이닝하기 위한 트레이닝 세트가 선택되는 이미지들의 그룹을 포함할 수 있다. 이미지들의 샘플 세트는, 분류기에 의한 정확한 결과를 보장하기 위해 충분히 많은 수의 이미지들을 포함할 수 있다. 분류기는, 컨텐츠가 특정 이미지 클래스 내에 속하는 정도에 상응하는 통계 점수를 컨텐츠의 각각의 아이템에 할당할 수 있다. 일부 실시예로, 분류기는 계층적 분류기, 선형 분류기, 또는 다른 분류기를 통합할 수 있다. 분류기의 예는 도 5에 제공된다. 일부 실시예로, 분류기는 초기에 소셜 네트워킹 시스템에 의해 관리되는 이미지들의 선택된 서브세트에 기반하여 트레이닝될 수 있다. 분류기는 다양한 상황에서 유지될 수 있다. 예컨대, 분류기는 선택된 주파수에서 주기적으로 유지되거나, 이미지가 분류기에 이용가능하게 됨에 따라 비-주기적으로 유지될 수 있다. 다른 예로, 분류기는, 소셜 네트워킹 시스템으로 업로드될 많은 수의 이미지들을 발생시킬 확률이 높은 이벤트들(예컨대, Super Bowl)과 같은 특정 이벤트들이 발생할 때 유지될 수 있다. 또 다른 예로, 분류기는, 소셜 네트워킹 시스템이 임계 개수의 새로운 이미지들을 수신할 때 유지될 수 있다. 이러한 상황들 및 다른 상황들에서 유지하는 것은 분류기가 이미지 클래스들의 시각적 속성을 인식하는 능력을 보다 섬세하게(refine) 만들 수 있다.
이미지 클래스는 예컨대, 객체(예컨대, 고양이, 자동차, 사람, 지갑 등), 브랜드 또는 브랜드와 관련된 객체(예컨대, Coca-Cola®, Ferrari®), 프로 스포츠 팀(예컨대, the Golden State Warriors®), 위치(예컨대, 에베레스트 산), 활동(예컨대, 수영하기), 구절 또는 컨셉(예컨대, 적색 드레스, 행복), 및 컨텐츠와 관련될 수 있는 임의의 다른 것들, 행위 또는 관념을 포함할 수 있다. 본 명세서에서 제공되는 많은 예는 단일의 "이미지 클래스"를 의미하는 한편, 이미지 클래스는 객체, 브랜드, 프로 스포츠 팀, 위치 등의 조합을 포함하는 복수의 이미지 클래스들 또는 하나 이상의 이미지 클래스들을 의미할 수 있다.
일부 실시예로, 이미지 분류 모듈(104)은 이미지들의 평가 세트의 시각적 속성을 이미지 클래스의 시각적 속성과 비교하고, 이미지들의 평가 세트에서의 시각적 속성이 이미지 클래스의 시각적 속성과 충분히 상관될 수 있는지 여부를 결정하기 위해 트레이닝된 분류기를 사용할 수 있다. 이미지들의 평가 세트는 분류기에 의한 분류를 위해 선택된 이미지들의 그룹을 포함할 수 있다. 다양한 실시예로, 이미지들의 평가 세트는 데이터 스토어에서의 이미지들의 전부 또는 일부, 또는 소셜 네트워킹 시스템에서의 이미지들의 전부 또는 일부를 포함할 수 있다. 일실시예로, 분류기는 기계 습득과 같은 임의의 적절한 기술에 의해 트레이닝될 수 있다.
다양한 실시예로, 이미지 분류 모듈(104)은 이미지 애플리케이션 모듈(106)로 분류된 컨텐츠를 제공할 수 있다. 분류된 컨텐츠는 분류기에 의해 순위화 및/또는 점수화된 컨텐츠를 포함할 수 있다. 반면에, 비가공 컨텐츠 또는 미분류(unclassified) 컨텐츠는 분류기에 의해 순위화 및/또는 점수화되지 않았거나 아니면 하나 이상의 이미지 클래스와 관련되지 않은 컨텐츠를 포함할 수 있다. 분류된 컨텐츠는, 상기 분류된 컨텐츠가 이미지 클래스를 매칭(match)하는 정도를 표시하는 점수를 가질 수 있다. 분류된 컨텐츠의 더 높은 점수를 얻은 아이템들은 이미지 클래스의 시각적 속성과 더 높은 상관도(higher degrees of correlation)를 가질 수 있다. 결과적으로, 다양한 실시예에서, 이미지 분류 모듈(104)은 점수에 기반하여 분류된 컨텐츠를 효과적으로 검색하도록 할 수 있다.
분류를 위해 이미지들의 평가 세트의 분석 중에 분류기를 사용하는 것은 다양한 시간에서 발생할 수 있다. 예컨대, 분류기는 선택된 주파수에서 이미지들의 평가 세트를 분석하거나, 이미지들이 분류기로 이용가능하게 됨에 따라 비-주기적으로 평가 세트를 분석할 수 있다. 분류기는 또한, 가령 소셜 네트워킹 시스템으로 업로드되는 많은 수의 이미지들을 발생시킬 확률이 높은 이벤트들과 같은 특정 이벤트가 발생할 때 이미지들의 평가 세트를 분석할 수 있다. 분류기는, 소셜 네트워킹 시스템이 임계 개수의 새로운 이미지들을 수신할 때 이미지들의 평가 세트를 분석할 수 있다. 또 다른 예로, 분류기는, 예상되는 이미지 검색이 수행되기에 앞서 분류를 위해 이미지들의 평가 세트를 분석할 수 있다.
이미지 애플리케이션 모듈(106)은 분류된 컨텐츠를 소셜 네트워킹 시스템에서 사용하기 위해 적응(adapt)시킬 수 있다. 일부 실시예로, 이미지 애플리케이션 모듈(106)은 검색 APIs(application programming interfaces)와 인터페이싱하여 분류된 컨텐츠의 각각의 아이템들이 그것의 이미지 클래스에 따라 검색가능하도록 만들 수 있다. 예컨대, 이미지 애플리케이션 모듈(106)은, 사용자가 소셜 네트워킹 시스템으로 업로드한 분류된 이미지를 검색하는 검색 모듈과 인터페이스할 수 있다. 다른 예로, 이미지 애플리케이션 모듈(106)은, 사용자가 그들의 피드에 게시한 분류된 이미지 또는 밈스를 위해 소셜 네트워킹 시스템의 피드를 검색하는 검색 모듈과 인터페이스할 수 있다. 이미지 애플리케이션 모듈(106)은 또한, 검색 질의에 응답하여 분류된 컨텐츠를 제공할 수 있다. 일부 실시예로, 이미지 애플리케이션 모듈(106)은, 주제 사전(subject dictionary), 카테고리 트리, 및 토픽 태그 기술을 사용하여 이미지 분류 모듈(104)에 의해 제공되는 분류된 이미지들과 관련된 토픽들을 추출할 수 있다.
도 2a는 일부 실시예에 따른, 이미지 분류 모듈(104)의 예를 도시한다. 이미지 분류 모듈(104)은 미분류 이미지 데이터스토어(202), 이미지 분류 트레이닝 모듈(204), 및 분류기(208)를 포함할 수 있다. 도 2a에 도시된 컴포넌트들에 추가하여, 이미지 분류 모듈(104)은 또한, 도 2b에 도시된 컴포넌트들을 포함할 수 있다. 도 2a 및 도 2b에서 같은 구성요소들은 같은 참조 번호를 가질 수 있음을 유의해야 한다.
미분류 이미지 데이터스토어(202)는 이미지 분류 트레이닝 모듈(204) 및 이미지 분류 평가 모듈(206)에 연결될 수 있다. 미분류 이미지 데이터스토어(202)는 미분류 이미지들을 포함할 수 있다. 미분류 이미지들은 그들과 관련된 컨텍스트 단서를 가질 수 있다. 데이터스토어는 테이블, CSV(comma-separated values) 파일, 전통적인 데이터베이스(예컨대, SQL), 또는 다른 알려지거나 종래의 조직화 포맷을 포함하는 임의의 데이터의 조직을 포함할 수 있다. 일부 실시예로, 미분류 데이터스토어(202)는 또한, 가령 태그 또는 다른 단서들과 같은 이미지와 관련된 컨텍스트 단서들의 세트를 저장할 수 있다. 일부 실시예로, 미분류 이미지 데이터스토어(202)는 소셜 네트워킹 시스템에서 미분류 이미지들의 일부 또는 전부를 표현할 수 있다.
이미지 분류 트레이닝 모듈(204)은 미분류 이미지 데이터스토어(202) 및 분류기(208)에 연결될 수 있다. 일부 실시예로, 이미지 분류 트레이닝 모듈(204)은 트레이닝 단계(training phase)를 구현할 수 있다. 트레이닝 단계는, 이미지 분류 트레이닝 모듈(204)이 분류기(208)가 이미지들의 샘플 세트로부터 선택된 이미지들의 시각적 속성을 인식하도록 트레이닝하는 이미지 분류 모듈(104)의 단계를 포함할 수 있다. 트레이닝 단계 동안에, 이미지 분류 트레이닝 모듈(204)은 미분류 이미지 데이터스토어(202)로부터 이미지들의 샘플 세트를 획득할 수 있다. 이미지 분류 트레이닝 모듈(204)은 또한, 각각의 획득된 미분류 이미지와 관련된 컨텍스트 단서들의 세트를 수집할 수 있다. 컨텍스트 단서들의 세트에 기반하여, 이미지들의 샘플 세트로부터 선택된 이미지들의 트레이닝 세트는, 분류기(208)가 시각적 패턴을 인식하도록 트레이닝하는데 사용될 수 있다. 미분류 이미지들 및/또는 컨텍스트 단서들은, 이미지들의 샘플 세트로부터 이미지들의 트레이닝 세트를 결정하기 위해 관련 정보에 대해 미분류 이미지 데이터스토어(202)를 질의함으로써 획득될 수 있다.
트레이닝 단계 동안에, 이미지 분류 트레이닝 모듈(204)은 분류기(208)를 트레이닝 시킬 하나 이상의 이미지 클래스를 특정하도록 구성될 수 있다. 이미지 클래스를 특정하기 위해, 이미지 분류 트레이닝 모듈(204)은 이미지 클래스를 정의하는 자동화된 입력을 수신할 수 있다. 이미지 클래스의 특정은 가령, 이미지 분류의 작업이 맡겨진 관리자와 같은 사람으로부터의 수동 입력을 또한, 수반할 수 있다.
트레이닝 단계 동안에, 이미지 분류 트레이닝 모듈(204)은, 이미지 클래스에 상응하는 컨텍스트 단서들을 식별하고 선택하도록 구성될 수 있다. 다양한 실시예로, 이미지 분류 트레이닝 모듈(204)은 특정 이미지 클래스의 속성들을 평가할 수 있고, 특정 컨텍스트 단서들이 그 이미지 클래스와 아마도 관련되었을지를 결정할 수 있다. 예컨대, 이미지 분류 트레이닝 모듈(204)은 하나의 타입의 태그들이 가정의 집 고양이의 사진을 수반할 확률이 높은 한편, 다른 타입의 태그는 할로윈에 캣우먼의 복장인 사용자의 사진을 수반할 가능성이 높다고 결정할 수 있다. 이 경우, 이미지 분류 트레이닝 모듈(204)은, 고양이의 이미지 클래스에 상응하는 가정의 집 고양이의 사진을 수반할 가능성이 높은 태그들의 타입을 선택할 수 있다. 본 명세서에서 더 상세히 논의되는 것처럼, 컨텍스트 단서들을 특정 이미지 클래스에 적용할 지의 판단(consideration)은, 가령 태그(예컨대, 태그 "#cat", 태그 "#Halloween" 등), 태그들의 순서, 특정 태그들이 다른 특정 태그들에 의해 수반되는지 여부(예컨대, 태그 "#cat"이 태그 "#animal"에 의해 수반되는지 또는 태그 "#cat"이 태그 "#Halloween"에 의해 수반되는지) 등과 같은 판단들에 기반할 수 있다. 이미지 분류 트레이닝 모듈(204)은 또한, 특정 이미지와 관련된 컨텍스트 단서들이 특정 이미지 클래스에 상응하는 정도를 순위화 및/또는 점수화하도록 구성될 수 있다.
컨텍스트 단서들은, 이미지들의 샘플 세트로부터 이미지들의 트레이닝 세트를 식별하기 위해 분석된다. 이미지들의 트레이닝 세트는 이미지 클래스와 가장 밀접하게 상관되는 이미지들을 표현한다. 트레이닝 단계 동안에, 이미지 분류 트레이닝 모듈(204)은 이미지 클래스와 관련된 시각적 속성들을 식별하기 위해 이미지들의 트레이닝 세트를 분류기(208)로 제공할 수 있다. 일부 실시예로, 이미지 분류 트레이닝 모듈(204)은 분류기(208)가 특정 이미지 클래스에 상응하는 시각적 패턴의 템플릿을 생성하도록 명령할 수 있다. 일부 실시예로, 이미지 분류 트레이닝 모듈(204)은, 원한다면, 가령 분류된 이미지 데이터스토어(210)와 같은 위치에 분류된 이미지들 및/또는 관련된 시각적 패턴 템플릿들을 저장할 수 있다. 이미지 분류 트레이닝 모듈(204)은 또한, 이미지들의 트레이닝 세트를 선택하는 것을 돕기 위해 수동 주석자(manual annotator)를 사용할 수 있다. 이미지 분류 트레이닝 모듈(204)은 도 3 및 도 7의 컨텍스트에서 더 논의된다.
분류기(208)는 이미지 분류 트레이닝 모듈(204)에 연결될 수 있고, 분류된 이미지 데이터스토어(예컨대, 도 2b에 도시된 분류된 이미지 데이터스토어(210))에 연결될 수 있다. 분류기는 이미지 분류 트레이닝 모듈(204)로부터 이미지들을 수신할 수 있다. 트레이닝 단계에서, 분류기(208)는 특정 시각적 패턴의 존재에 대해 이미지들의 트레이닝 세트를 평가할 수 있다. 분류기(208)는 특정 시각적 패턴을 이미지 클래스와 관련시킬 수 있고, 시각적 패턴 템플릿을 생성할 수 있으며, 시각적 패턴 템플릿이 저장되도록 할 수 있다. 트레이닝 단계에서, 분류기(208)는 트레이닝에 사용된 이미지들을 이미지 분류 트레이닝 모듈(204)로 돌려보낼 수 있다. 일부 실시예로, 분류기(208)는 이미지 분류 트레이닝 모듈(204)로 돌아가는 연결(예컨대, 피드백 루프를 통해)을 포함할 수 있다. 결과적으로, 분류기(208)는 이미지 분류 트레이닝 모듈(204)의 정확성을 보조할 수 있다. 이러한 돌아가는 연결은 향후의 분류 및 트레이닝의 향상을 보조할 수 있다. 분류기(208)는 도 5의 컨텍스트에서 더 논의된다.
도 2b는 일부 실시예에 따른, 이미지 분류 모듈(104)의 예를 도시한다. 이미지 분류 모듈(104)은 미분류 이미지 데이터스토어(212), 이미지 분류 평가 모듈(206), 분류기(208), 및 분류된 이미지 데이터스토어(210)를 포함할 수 있다. 미분류 이미지 데이터스토어(212)는 이미지 분류 평가 모듈(206)에 연결될 수 있다. 미분류 이미지 데이터스토어(212)는 미분류 이미지들을 저장할 수 있다. 미분류 이미지 데이터스토어(212)는 도 2a에 도시된 미분류 이미지 데이터스토어(202)와 동일할 수 있으나, 그럴 필요가 있는 것은 아니다.
이미지 분류 평가 모듈(206)은 미분류 이미지 데이터스토어(212)에 연결될 수 있고, 분류기(208)에 연결될 수 있다. 일부 실시예로, 이미지 분류 평가 모듈(206)은 평가 단계(evaluation phase)를 구현할 수 있다. 평가 단계는, 이미지 분류 평가 모듈(206)이 분류기(208)를 사용하여 이미지들의 평가 세트에서 시각적 패턴을 인식하는 이미지 분류 모듈(104)의 단계를 포함할 수 있다. 일실시예로, 이미지들의 평가 세트는 미분류 이미지 데이터스토어(212)로부터 선택될 수 있다.
평가 단계 동안에, 이미지 분류 평가 모듈(206)은 미분류 이미지 데이터스토어(212)로부터의 이미지들의 평가 세트를 분류기(208)로 제공할 수 있다. 다양한 실시예로, 이미지 분류 트레이닝 모듈(204)은, 트레이닝 단계에서, 분류기(208)가 이미지 클래스와 관련된 이미지들의 트레이닝 세트의 시각적 속성을 인식하도록 트레이닝했을 수 있다. 이미지들의 평가 세트는, 이미지들의 샘플 세트 및 이미지들의 트레이닝 세트와는 다른 이미지들의 세트를 포함할 수 있다. 일부 실시예로, 이미지 분류 평가 모듈(206)은 또한, 분류기(208)가 이미지들의 평가 세트와 비교할 이미지 클래스를 분류기(208)에 제공할 수 있다. 다양한 실시예로, 이미지 분류 평가 모듈(206)은 분류기(208)가 이미지 클래스와의 상관관계에 기반하여 이미지들의 평가 세트를 순위화 및/또는 점수화하도록 명령할 수 있다. 이미지 분류 평가 모듈(206)은 또한, 분류된 이미지 데이터스토어(210)에 이미지들(즉, 이미지 클래스와의 상관관계에 기반하여 점수화된 이미지들)의 순위 및 점수를 저장할 수 있다. 이미지 분류 평가 모듈(206)은 도 4 및 도 8의 컨텍스트에서 더 논의된다.
분류기(208)는 이미지 분류 트레이닝 모듈(204) 및 이미지 분류 평가 모듈(206)에 연결될 수 있다. 분류기(208)는 이미지 분류 평가 모듈(206)로부터 이미지들을 수신할 수 있다. 평가 단계에서, 분류기(208)는, 각각의 이미지 및 관심있는 이미지 클래스와 관련된 시각적 패턴 템플릿 사이의 상관관계를 점수화하기 위해 이미지들의 평가 세트에 시각적 패턴 인식을 수행할 수 있다. 평가 단계에서, 분류기(208)는 평가에서 사용된 이미지들을 이미지 분류 평가 모듈(206)로 돌려보낼 수 있다. 분류기(208)는 도 5의 컨텍스트에서 더 논의된다.
분류된 이미지 데이터스토어(210)는 분류기(208) 및 이미지 애플리케이션 모듈(106)로 연결될 수 있다. 분류된 이미지 데이터스토어(210)는 분류된 이미지, 이미지 클래스, 시각적 패턴 템플릿, 및 다른 정보를 포함하는 정보를 저장할 수 있다. 일부 실시예로, 분류된 이미지 데이터스토어(210)는, 분류된 이미지에 대한 액세스를 찾는 API들에 의한 분류된 이미지들의 효율적인 검색을 용이하게 하도록 인덱싱될 수 있다. 예컨대, 분류된 이미지 데이터스토어(210)는 분류된 이미지들을 액세스하려는 이미지 애플리케이션 모듈(106)에 연결된 검색 모듈과 호환되도록 구성될 수 있다.
도 3은 일부 실시예에 따른, 이미지 분류 트레이닝 모듈(204)의 예를 도시한다. 이미지 분류 트레이닝 모듈(204)은 트레이닝 이미지 선택 모듈(301), 트레이닝 이미지 데이터스토어(309), 및 분류기 트레이닝 모듈(310)을 포함할 수 있다.
트레이닝 이미지 선택 모듈(301)은 미분류 이미지 데이터스토어(202)에 연결될 수 있고, 트레이닝 이미지 데이터스토어(309)에 연결될 수 있다. 트레이닝 미지 선택 모듈(301)은 이미지들의 샘플 세트로부터 이미지들의 트레이닝 세트를 식별할 수 있다. 트레이닝 이미지 선택 모듈(301)은 또한, 트레이닝 이미지 데이터스토어(309)에 이미지들의 트레이닝 세트를 저장할 수 있다. 트레이닝 이미지 선택 모듈(301)은 트레이닝 이미지 수집 모듈(302), 컨텍스트 단서 추출 모듈(304), 이미지 클래스 특정(specification) 모듈(306), 및 이미지 클래스 상관 모듈(308)을 포함할 수 있다.
트레이닝 이미지 수집 모듈(302)은 트레이닝 이미지 선택 모듈(301)의 다른 모듈들에 연결될 수 있다. 일부 실시예로, 트레이닝 이미지 수집 모듈(302)은, 이미지들의 샘플 세트와 관련된 컨텍스트 단서와 함께 이미지들의 샘플 세트를 수집할 수 있다. 이미지들의 샘플 세트 및 관련된 컨텍스트 단서는 미분류 이미지 데이터스토어(202)로부터 검색될 수 있다.
컨텍스트 단서 추출 모듈(304)은 트레이닝 이미지 선택 모듈(301)의 다른 모듈들에 연결될 수 있다. 컨텍스트 단서 추출 모듈(304)은 이미지들의 샘플 세트와 관련된 컨텍스트 단서들을 추출하도록 구성될 수 있다. 본 명세서에서 논의되는 것처럼, 컨텍스트 단서는 이미지의 컨텍스의 비시각적 표시자를 포함할 수 있다. 이미지에 대한 컨텍스트 단서의 예는 이미지를 위한 이미지 태그, 이미지를 캡쳐하는 장치의 GPS 좌표, 이미지의 태거, 업로더, 및 소유자의 신원, 이미지의 소유자들의 신원, 이미지와 직접 또는 간접적으로 관련된 다른 정보 등을 포함할 수 있다. 일부 실시예로, 컨텍스트 단서 추출 모듈(304)은 이미지 클래스 상관 모듈(308)에 컨텍스트 단서들의 세트를 제공하여, 이미지 클래스 상관 모듈(308)이 컨텍스트 단서를 이미지 클래스와 상관시키도록 할 수 있다.
이미지 클래스 특정 모듈(306)은 트레이닝 이미지 선택 모듈(301)의 다른 모듈들에 연결될 수 있다. 이미지 클래스 특정 모듈(306)은 분류기(208)가 인식하도록 트레이닝된 이미지 클래스를 특정하도록 구성될 수 있다. 일부 실시예로, 이미지 클래스 특정 모듈(306)은 사람이거나 또는 자동화될 수 있는 관리자로부터 이미지 클래스를 특정하는 명령어를 수신할 수 있다. 다양한 실시예로, 이미지 클래스의 특정은, 이미지 클래스가 존재하지 않는다면 이미지 클래스를 생성하거나, 혹은 이러한 이미지 클래스가 존재한다면 이미지 클래스를 지정하는 것을 수반할 수 있다.
이미지 클래스 상관 모듈(308)은 트레이닝 이미지 선택 모듈(301)의 다른 모듈들에 연결될 수 있다. 이미지 클래스 상관 모듈(308)은 컨텍스트 단서 추출 모듈(304)로부터 관련된 컨텍스트 단서와 함께 하나 이상의 이미지들의 샘플 세트를 수신할 수 있고, 이미지 클래스 특정 모듈(306)로부터 특정된 이미지 클래스를 수신할 수 있다. 이미지 클래스 상관 모듈(308)은 특정 이미지의 컨텍스트 단서들이 특정 이미지 클래스와 상관될 정도(extent)를 결정할 수 있다. 더 구체적으로, 이미지 클래스 상관 모듈(308)은 각각의 이미지에, 주어진 이미지가 이미지 클래스와 상관되는 확률을 표시하는 점수 또는 값을 할당할 수 있다. 일부 실시예로, 이미지 클래스 상관 모듈(308)은 또한, 각각의 이미지의 점수에 기반하여 이미지들의 샘플 세트 중 각각을 순위화할 수 있다. 일부 실시예로, 이미지 클래스 상관 모듈(308)은 이미지들의 샘플 세트로부터 가령 이미지들의 샘플 세트 중 최고 점수의 이미지들과 같은 트레이닝 세트를, 분류기 트레이닝 모듈(310)로 제공하기 위해 선택할 수 있다. 유리하게, 이미지 클래스 상관 모듈(308)은 이미지들의 샘플 세트에서 컨텐츠의 어떠한 시각적 인식도 수행할 필요가 없다.
다음의 설명은 이미지 클래스 상관 모듈(308)이 이미지들과 관련된 컨텍스트 단서에 기반하여 어떻게 가능성이 높은 이미지들의 컨텐츠를 결정할 수 있는지의 예를 제공한다. 다음의 설명에서 제공되는 것처럼, 이미지 클래스 상관 모듈(308)은 태그 자체, 태그의 신택스(syntax)를 분석할 수 있거나, 또는 컨텍스트 단서 추출 모듈(304)에 의해 추출된 컨텍스트 단서에 다른 타입의 분석을 수행할 수 있다. 이미지 클래스 상관 모듈(308)은 또한, 이미지들의 트레이닝 세트를 결정하기 위해 컨텍스트 단서들에 기반하여 이미지들의 샘플 세트를 특정된 이미지 클래스와 상관시키는 다음의 예들의 임의의 조합을 제공할 수 있다.
일부 실시예로, 이미지 클래스 상관 모듈(308)은 이미지들의 샘플의 이미지 태그의 신택스를 분석할 수 있다. 이미지 클래스 상관 모듈(308)은 특정 신택스가 주어진 이미지 클래스와 얼마나 확률이 높게 상관되는지를 결정할 수 있다. 일부 실시예로, 이미지 태그의 신택스 분석은 이미지 태그의 정확한 언어에 가중치를 할당하는 것을 수반할 수 있다. 즉, 이미지 클래스 상관 모듈(308)은, 이미지와 관련된 태그의 정확한 단어 선택(wording)은, 태그가 이미지 클래스와 상관되어야 함을 표시한다고 결정할 수 있다. 예컨대, 이미지는 이미지 태그 "#domestic housecat"으로 태그될 수 있다. 이미지 클래스 상관 모듈(308)은 태그 "#domestic housecat"이 가정의 집 고양이의 이미지에 대한 이미지 클래스와 높은 정도로 상관된다고 결정할 수 있다. 다른 예로, 이미지 클래스 상관 모듈(308)은 태그 "#domestic house market"이 가정의 집 고양이에 대한 이미지 클래스와 낮은 정도로 상관된다고 결정할 수 있다.
이미지 클래스 상관 모듈(308)은 또한, 이미지와 관련된 일련의 이미지 태그에서 특정 이미지 태그의 순서를 분석할 수 있다. 예컨대, 가정의 집 고양이의 사진을 태그하고자 하는 사람은 다음의 일련의 태그들: "#cat, #athome, #Sunday, #animal"을 포함할 수 있다. 이미지 클래스 상관 모듈(308)은 태그 "#cat"이 일련의 태그들에서 제1 태그이며, 따라서 이미지가 가정의 집 고양이의 이미지일 확률이 높다고 식별할 수 있다. 이미지 클래스 상관 모듈(308)은 이미지를 이미지 클래스에 상관시키는 것에서의 가중치를 일련의 태그들에 할당할 수 있다. 이미지를 이미지 클래스와 상관시키기 위해, 이미지 클래스 상관 모듈(308)은 또한, 일련의 태그들에서의 제1 위치와는 다른 위치들에서의 태그들을 감안할 수 있음을 유의해야 한다.
이미지 클래스 상관 모듈(308)은 또한, 복수의 이미지 태그들이 서로 동의어인지 여부를 분석할 수 있다. 예컨대, 제1 이미지가 다음과 같이 태그되었다고 가정한다: "#cat, #athome, #Halloween, #Catwoman, #costume, #DC Comics®". 또한, 제2 이미지는 다음과 같이 태그되었다고 가정한다: "#cat, #mammal, #animal, #housecat, #tomcat, #feline, #cute". 이미지 클래스 상관 모듈(308)은, 제1 이미지의 태그들의 일부에 기반하여, 일련의 태그들이 서로와 동의어가 아니며, 제1 이미지는 가정의 집 고양이의 이미지를 포함할 가능성이 높지 않다고 결정할 수 있다. 이미지 클래스 상관 모듈(308)은 또한, 제2 이미지의 태그들의 일부에 기반하여, 일련의 태그들이 동의어이며(예컨대, "cat", "tomcat", 및 "feline"), 제2 이미지는 가정의 집 고양이의 이미지를 포함할 확률이 제1 이미지보다 높다고 결정할 수 있다. 따라서, 이미지 클래스 상관 모듈(308)은 가정의 집 고양이의 이미지 클래스와 관련하여 제1 이미지의 점수보다 높은 점수를 제2 이미지에 대해 할당할 수 있다.
일부 실시예로, 이미지 클래스 상관 모듈(308)은 반의어 또는 다른 의미의 부존재에 대해 복수의 이미지 태그들을 평가할 수 있다. 예컨대, 제1 이미지가 다음과 같이 태그되었다고 가정한다: "#blackcar," "#whitecar," "#luxurycar," "#My Mercedes". 제2 이미지는 다음과 같이 태그되었다고 가정한다: "#blackcar," "#darkcar," "#luxurycar," "#My Mercedes". 이미지 클래스 상관 모듈(308)은 제2의 일련의 태그들이 "blackcar"에 대한 반의어가 부족하다는 사실에 기반하여, 제2 이미지는 검정색 자동차에 상응하는 이미지 클래스와 높은 정도로 상관된다고 결정할 수 있다. 이미지 클래스 상관 모듈(308)은 검정색 자동차의 이미지 클래스와 관련하여 제1 이미지에 대한 점수보다 큰 제2 이미지에 대한 점수를 할당할 수 있다.
이미지 클래스 상관 모듈(308)은 일부 실시예로, 온톨로지(ontology) 또는 언어 계층(language hierarchy)에 기반하여 이미지 태그의 관계를 평가할 수 있다. 예컨대, 이미지 클래스 상관 모듈(308)은 온라인 소스(예컨대, WordNet)로부터 하나 이상의 단어의 온톨로지를 개발할 수 있고, 감정적인 영향을 갖는 단어들(예컨대, "happy," "sad," red dress," "black car")을 찾을 수 있다. 다른 예로, 이미지가 다음과 같이 태그되었다고 가정한다: "#cat, #mammal, #animal, #housecat, #tomcat, #feline, #cute". 이미지 클래스 상관 모듈(308)은 "cat"이 "mammal"에 의해 식별되는 아이템들의 패밀리의 일부이며, 결국 "animal"에 의해 식별되는 아이템들의 패밀리의 일부라고 결정할 수 있다. 결과적으로, 이미지 클래스 상관 모듈(308)은 이러한 예에서, 태그가 이미지에 묘사된 가정의 집 고양이의 신뢰할 수 있는 표시자를 제공하는 것으로 식별할 수 있다. 이미지 클래스 상관 모듈(308)은 이후 가정의 집 고양이의 이미지 클래스와 관련하여 이미지들을 그에 맞춰 점수화할 수 있다.
다양한 실시예로, 이미지 클래스 상관 모듈(308)은 태그 단어 및 구절의 다른 자연어 분석을 수행할 수 있다. 일부 실시예로, 이미지 클래스 상관 모듈(308)은 태그 단어들의 철자 오기를 감안할 수 있다. 이미지 클래스 상관 모듈(308)은 또한, 영어가 아닌 언어들을 감안할 수 있고, 영어에 대응되는 것과 연계하여 영어가 아닌 단어들의 존재(예컨대, 동일한 일련의 태그들에서 "#cat" 및 "#gato")를 찾는 것을 포함할 수 있다. 이러한 예들 각각에서, 이미지 클래스 상관 모듈(308)은 특정 이미지 클래스와 관련하여 이미지들의 세트를 적절하게 점수화할 수 있다.
이미지 태그의 신택스를 분석하는 것에 추가로, 이미지 클래스 상관 모듈(308)은 이미지 생성 및/또는 태깅과 관련된 소셜 단서(social cue)들을 분석할 수 있다. 예컨대, 이미지 클래스 상관 모듈(308)은 이미지들의 샘플 세트와 관련된 위치 데이터를 분석할 수 있다. 더욱 구체적으로, 이미지 클래스 상관 모듈(308)은 이미지의 GPS 좌표를 평가할 수 있다. 예컨대, GPS 좌표는 사용자의 모바일 장치 상의 GPS 송수신기로부터 획득될 수 있거나, 이미지가 업로드될 때 또는 그 후에 이미지의 지리적 태깅(geographical tagging)으로부터 획득될 수 있다. 특정 이미지의 위치 데이터를 사용하여, 이미지 클래스 상관 모듈(308)은 특정 이미지 클래스에 관련된 점수를 특정 이미지에 할당할 수 있다. 예컨대, 이미지 클래스 상관 모듈(308)은 이미지가 샌프란시스코의 금문교(Golden Gate Bridge in San Francisco) 근처에서 찍혔다고 위치 데이터로부터 결정할 수 있다. 이미지 클래스 상관 모듈(308)은 이후 대교(bridge)의 이미지 클래스와 관련된 점수를 이미지에 할당할 수 있다.
일부 실시예로, 이미지 클래스 상관 모듈(308)은 이미지들의 샘플 세트 중 특정 이미지의 생성자의 신원을 포함하는 소셜 단서를 분석할 수 있다. 이미지 클래스 상관 모듈(308)은 특정 엔티티들이 특정 이미지 클래스에서 이미지들을 생성할 가능성이 높은지 여부에 따라 점수를 할당할 수 있다. 예컨대, 엔티티가 과거에 특정 이미지 클래스에서 많은 이미지들을 생성했었다면, 이미지 클래스 상관 모듈(308)은 이미지 클래스와의 높은 정도의 상관관계를 반영하도록 엔티티의 특정 이미지를 점수화할 수 있다.
일부 실시예로, 이미지 클래스 상관 모듈(308)은 이미지들의 샘플 세트 중 하나의 소유자가 이미지의 생성자 또는 이미지의 태거였는지를 표시하는 소셜 단서를 분석할 수 있다. 일부 실시예로, 이미지 클래스 상관 모듈(308)은 엔티티가 이미지를 소유하거나 또는 생성되거나 태그된 이미지에 대한 지식 재산권을 소유하는지 여부를 결정할 수 있다. 예컨대, 상표(예컨대, Coca-Cola® 로고)의 이미지 클래스와 관련하여, 이미지 클래스 상관 모듈(308)은, 이미지가 상표를 소유한 엔티티(예컨대, Coca-Cola® 사)에 의해 생성되거나 태그되었다면, 높은 정도의 상관관계를 반영하는 점수를 이미지에 제공할 수 있다. 이러한 가중치 기법은 상표등록된 이미지 또는 로고를 인식하는데 특히 유용한 것으로 증명될 수 있다.
일부 실시예로, 이미지 클래스 상관 모듈(308)은 소셜 네트워킹 시스템에서 사람의 상태 또는 프로필을 표시하는 소셜 단서를 분석할 수 있다. 사람은 이미지들의 샘플 세트 중 특정 이미지의 생성자 및/또는 태거일 수 있다. 예컨대, 이미지 클래스 상관 모듈(308)은, 사람의 활동들(예컨대, 과거 게시물, 상태 업데이트, 친구관계, 메시지 이력, 과거 태그 이력, 과거 이미지 생성 이력, 이력의 브라우징, 온라인 프로필 등), 또는 관계들(예컨대, 친구들)에 기반하여 사람이 신뢰할 만한 이미지 생성자 및/또는 태거일 가능성이 높은지 여부를 결정할 수 있다. 이미지 클래스 상관 모듈(308)은 사람의 상태 또는 프로필이 사람이 일반적으로 또는 특히 이미지 클래스와 관련하여 신뢰할 만한 이미지 생성자 및/또는 태거임을 표시하는지 여부에 기반하여 하나 이상의 이미지에 다양한 점수를 할당할 수 있다.
다양한 실시예로, 이미지 클래스 상관 모듈(308)은 다른 이미지 클래스들의 존재 또는 부존재를 표시하는 소셜 단서들을 분석할 수 있다. 예컨대, 이미지 클래스 상관 모듈(308)은 이미지가 보트(boat)를 포함하고, 결과적으로 이미지가 실내가 아닐 가능성이 높다고 결정할 수 있다. 컨텍스트 단서들(예컨대, 해시태그 "#indoors")의 존재는 이미지가 보트를 포함할 가능성이 낮다고 표시할 수 있다. 다른 예로, 이미지 클래스 상관 모듈(308)은 이미지에서 하나의 객체의 존재는, 다른 객체가 이미지에 존재하거나 존재하지 않을 수 있음을 의미할 수 있다고 결정할 수 있다. 예컨대, 이미지에서 소(cow)를 표시하는 컨텍스트 단서들의 존재는, 이미지가 소와 비행기 모두를 포함할 가능성이 낮다는 사실에 비추어 볼 때, 이미지 클래스 상관 모듈(308)이 비행기에 대한 음의 상관관계(negative correlation)를 제공하도록 할 수 있다. 다른 예로, 이미지에서 한마리의 닭을 표시하는 하나의 컨텍스트 단서의 존재는, 한마리의 닭을 포함하는 이미지가 다른 닭들을 포함할 가능성이 높다는 사실에 비추어 볼 때, 이미지 클래스 상관 모듈(308)이 이미지에서 다른 닭들에 대한 양의 상관관계를 제공하도록 할 수 있다. 마찬가지로, 양(sheep)의 존재는 목양견(sheepdog)에 대한 양의 상관관계(positive correlation)를 표시할 수 있다.
이미지 클래스 상관 모듈(308)은 위에서 논의된 것들을 포함하지만 이들로 제한되지 않고 하나 이상의: 업로더가 이미지의 소유자인지 여부, 이미지의 파일 타입, 이미지의 또는 이미지와 관련된 메타데이터, 이미지를 좋아한 사람들의 신원, 태그 또는 이미지를 열람한 사용자들의 숙련도 또는 경험, 이미지가 이미지 클래스에서 이전에 분류되었는지 여부 (및 그렇다면, 그 이미지 클래스와 관련된 이미지의 점수가 무엇인지) 등을 포함하는 다양한 소셜 단서들을 분석할 수 있다. 본 명세서에서 명시적으로 논의된 것들을 제외한 다른 소셜 단서들은 이미지들을 이미지 클래스와 상관시키고 점수화하기 위해 이미지 클래스 상관 모듈(308)에 의해 분석될 수 있다. 이미지 클래스 상관 모듈(308)은, 이러한 이미지들의 컨텍스트 단서가 하나 이상의 이미지 클래스와 높은 정도로 상관되는 정도에 기반하여 다양한 점수들을 다양한 이미지들에 할당할 수 있다.
점수를 이미지에 할당하는 것에 추가로, 이미지 클래스 상관 모듈(308)은 또한, 하나 이상의 이미지 클래스에 관해 이미지들의 샘플 세트를 순위화할 수 있다. 예컨대, 이미지 클래스 상관 모듈(308)은 이미지 클래스와 관련된 각각의 이미지의 점수에 기반하여 이미지들의 샘플 세트의 각각의 이미지를 순위화할 수 있다. 순위는 각각의 이미지의 이미지 클래스에 대한 상대적인 상관관계를 반영할 수 있다. 이미지 클래스 상관 모듈(308)은 이미지들의 트레이닝 세트를 생성하기 위해 가중치, 점수, 및/또는 순위를 사용할 수 있다.
트레이닝 이미지 데이터스토어(309)는 트레이닝 이미지 선택 모듈(301)로부터 이미지들의 트레이닝 세트를 수신할 수 있다. 트레이닝 이미지 데이터스토어(309)는 이미지들의 트레이닝 세트를 저장할 수 있다. 일부 실시예로, 트레이닝 이미지 데이터스토어(309)는 분류 트레이닝 모듈(310)이 이미지들의 트레이닝 세트를 액세스하는 것을 허용할 수 있다.
분류기 트레이닝 모듈(310)은 트레이닝 이미지 데이터스토어(309)에 연결될 수 있고, 분류기(208)에 연결될 수 있다. 다양한 실시예로, 분류기 트레이닝 모듈(310)은 이미지 클래스를 인식하게끔 분류기(208)를 트레이닝하는 이미지들의 트레이닝 세트를 제공할 수 있다. 이미지들의 트레이닝 세트는, 특정 이미지 클래스와 관련하여 샘플 세트의 최상위의 이미지들의 임계 개수로 제한될 수 있다. 최상위 이미지들의 임계 개수는 값 K에 의해 표현될 수 있고, 여기서 K는 임의의 정수 값(integer value)이다. 예컨대, 트레이닝 이미지 수집 모듈(302)이 궁극적으로 분류기(208)가 "domestic housecats"에 대한 이미지 클래스를 인식하도록 트레이닝 하기 위한 이미지들의 샘플 세트로 1000개의 이미지들을 수집했다고 가정한다. 또한, 이미지 클래스 상관 모듈(308)이 이러한 이미지들 중 200개에 잔존하는 800개의 이미지들에 할당된 점수보다 높은 점수들을 할당했다고 가정한다. 이러한 경우, 분류기 트레이닝 모듈(310)은 분류기(208)에 상위 점수의 200개 이미지를 이미지들의 트레이닝 세트로서 제공할 수 있어서 분류기(208)가 가정의 집 고양이에 대한 이미지 클래스와 높게 상관되는 이미지들의 시각적 속성을 효율적으로 결정할 수 있도록 한다.
도 4는 일부 실시예에 따른, 이미지 분류 평가 모듈(206)의 예를 도시한다. 이미지 분류 평가 모듈(206)은 평가 이미지 수집 모듈(402), 분류기 입력 모듈(404), 시각적 패턴 템플릿 수집 모듈(405), 분류기 점수 수신 모듈(406), 시각적 속성 순위화 모듈(408), 및 평가된 이미지 제공 모듈(410)을 포함할 수 있다.
평가 이미지 수집 모듈(402)은 이미지 분류 평가 모듈(206)의 다른 모듈들에 연결될 수 있다. 일부 실시예로, 평가 이미지 수집 모듈(402)은 미분류 이미지 데이터스토어(202)로부터 이미지 분류를 위한 이미지들의 평가 세트를 수집할 수 있다. 이미지들의 평가 세트는 이미지들의 샘플 세트 및 이미지들의 트레이닝 세트와 동일하거나 상이할 수 있다. 이미지들의 평가 세트는, 이미지들의 샘플 세트와 이미지들의 트레이닝 세트와는 상이한 개수의 이미지들(예컨대, 더 많은 수의 이미지들)을 포함할 수 있다. 다양한 실시예로, 이미지들의 평가 세트는 미분류 이미지 데이터스토어(202)로부터 무작위로 또는 선택적으로 획득될 수 있다.
시각적 패턴 템플릿 수집 모듈(405)은 이미지 분류 평가 모듈(206)의 다른 모듈들에 연결될 수 있고, 이미지 분류 트레이닝 모듈(204)에 연결될 수 있다. 일부 실시예로, 시각적 패턴 템플릿 수집 모듈(405)은 특정 이미지 클래스에 상응하는 시각적 패턴 템플릿을 이미지 분류 트레이닝 모듈(204)로부터 수신할 수 있다. 시각적 패턴 템플릿 수집 모듈(405)은 분류기 입력 모듈(404)에 시각적 패턴 템플릿을 더 제공할 수 있다.
분류기 입력 모듈(404)은 이미지 분류 평가 모듈(206)의 다른 모듈들에 연결될 수 있다. 일부 실시예로, 분류기 입력 모듈(404)은 이미지들의 평가 세트를 평가 이미지 수집 모듈(402)로부터 수신할 수 있다. 분류기 입력 모듈(404)은 또한, 시각적 패턴 템플릿 수집 모듈(405)로부터 특정 이미지 클래스에 상응하는 시각적 패턴 템플릿을 수신할 수 있다. 분류기 입력 모듈(404)은, 분류기(208)가 이미지들의 평가 세트 각각에서 시각적 패턴 템플릿의 인식을 시도하도록 명령할 수 있다.
분류기 점수 수신 모듈(406)은 이미지 분류 평가 모듈(206)의 다른 모듈들에 연결될 수 있다. 일부 실시예로, 분류기 점수 수신 모듈(406)은 분류기(208)로부터 이미지들의 평가 세트 중 특정 이미지들이 시각적 패턴 템플릿과 상관되는 정도를 표시하는 점수들을 수신할 수 있다.
시각적 속성 순위화 모듈(408)은 이미지 분류 평가 모듈(206)의 다른 모듈들에 연결될 수 있다. 다양한 실시예로, 시각적 속성 순위화 모듈(408)은, 이미지들의 평가 세트의 각각의 이미지의 점수가 시각적 패턴 템플릿과 상관되는 정도에 기반하여 이미지들의 평가 세트를 순위화할 수 있다. 일부 실시예로, 시각적 속성 순위화 모듈(408)은, 인덱싱 또는 검색을 위한 이미지들의 분류된 세트를 구성하는 이미지들의 재순위화된(re-ranked) 세트를 제공할 수 있다.
평가된 이미지 제공 모듈(410)은 이미지 분류 평가 모듈(206)의 다른 모듈들에 연결될 수 있다. 일부 실시예로, 평가된 이미지 제공 모듈(410)은 시각적 속성 순위화 모듈(408)로부터 재순위화되거나 분류된 이미지들을 수신할 수 있다. 평가된 이미지 제공 모듈(410)은, 각각의 재순위화된 이미지가 특정된 이미지 클래스와 상관되는 정도를 반영하는 인덱스 또는 다른 정보와 함께 재순위화된 이미지를 분류된 이미지 데이터스토어(210)에 제공할 수 있다.
도 5는 일부 실시예에 따른, 분류기(208)의 예를 도시한다. 분류기(208)는 시각적 패턴 생성 모듈(502), 시각적 패턴 인식 모듈(504), 및 분류된 이미지 인터페이스 모듈(506)을 포함할 수 있다.
시각적 패턴 생성 모듈(502)은 시각적 패턴 인식 모듈(504)에 연결될 수 있다. 시각적 패턴 생성 모듈(502)은, 분류기(208)의 트레이닝 단계 동안에, 이미지 분류 트레이닝 모듈(204)로부터 이미지들의 트레이닝 세트를 수신할 수 있고, 이미지 클래스와 관련된 이미지들의 트레이닝 세트에 공통적인 특징들의 시각적 패턴 템플릿을 생성할 수 있다. 시각적 패턴 템플릿을 생성하기 위해, 시각적 패턴 생성 모듈(502)은 가령 이미지들의 트레이닝 세트 각각에서 로컬 이미지 특징들의 어휘의 발생을 계산(count)하는 컴퓨터 비젼(vision) 또는 기술에서 단어 가방식 모델과 같은 시각적 패턴 인식 알고리즘을 구현할 수 있다. 일실시예로, 시각적 패턴 생성 모듈(502)은 이미지를 세그먼트로 분할(break up)할 수 있고, 시각적 특징의 존재에 대해 이미지의 각각의 세그먼트를 평가할 수 있다. 시각적 패턴 생성 모듈(502)은 또한, 이미지의 각각의 세그먼트에서 식별된 시각적 특징들을 추출할 수 있고, 시각적 특징들을 벡터로 표현할 수 있다. 그 벡터를 사용하여, 시각적 패턴 생성 모듈(502)은 이미지들의 트레이닝 세트에 공통되는 특징들의 시각적 패턴 템플릿을 생성할 수 있다.
다양한 실시예로, 시각적 패턴 생성 모듈(502)은 이미지들의 트레이닝 세트에서 가장 많이 공통적으로 발견되는 특징들에 기반하여 시각적 패턴 템플릿을 생성할 수 있다. 예컨대, 이러한 실시예들에서, 이미지 분류 트레이닝 모듈(204)은 시각적 패턴 생성 모듈(502)에 정수 "K" 개의 이미지들을 제공할 수 있고, 시각적 패턴 생성 모듈(502)은 K개의 이미지들에서 가장 많이 공통적으로 발견되는 특징들을 인식할 수 있다.
시각적 패턴 인식 모듈(504)은 시각적 패턴 생성 모듈(502)에 연결될 수 있다. 시각적 패턴 인식 모듈(504)은 평가 단계 동안에, 이미지 분류 평가 모듈(206)로부터 이미지들의 평가 세트를 수신할 수 있고, 이미지들의 평가 세트의 각각이 이미지 클래스와 관련된 특정 시각적 패턴 템플릿과 상관되는 정도를 식별할 수 있다. 일부 실시예로, 시각적 패턴 인식 모듈(504)은 가령 단어 가방식 알고리즘과 같은 시각적 패턴 인식을 이용할 수 있다. 시각적 패턴 인식은 일부 실시예들에서, 뉴럴 네트워크 이미지 분류 기술을 포함할 수 있다. 시각적 패턴 인식 모듈(504)은 이미지들의 평가 세트 내에서 다양한 시각적 특징들을 결정할 수 있고, 각각의 이미지에 대해, 추출된 시각적 특징들을 벡터들의 세트로 표현할 수 있다. 시각적 패턴 인식 모듈(504)은 또한, 이미지들의 평가 세트의 각각을 위한 벡터들을 특징들의 다양한 시각적 패턴 템플릿과 비교할 수 있다. 일부 실시예로, 시각적 패턴 인식 모듈(504)은 이미지들의 평가 세트의 각각이 트레이닝 단계 동안 생성된 다양한 시각적 패턴 템플릿들과 상관되는 정도를 점수화할 수 있다.
분류된 이미지 인터페이스 모듈(506)은 시각적 패턴 생성 모듈(502) 및 시각적 패턴 인식 모듈(504)에 연결될 수 있다. 일부 실시예로, 분류된 이미지 인터페이스 모듈(506)은 시각적 패턴 인식 모듈(504)로부터 분류된 이미지들을 그들의 점수와 함께 수신할 수 있다. 분류된 이미지 인터페이스 모듈(506)은 분류된 이미지 데이터스토어(210)에 분류된 이미지들 및/또는 점수들을 제공할 수 있다. 분류된 이미지 인터페이스 모듈(506)은 또한, 시각적 패턴 템플릿을 분류된 이미지 데이터스토어(210)에 제공할 수 있다.
도 6은 일부 실시예에 따른, 이미지를 분류하기 위한 프로세스(600)의 예를 도시한다. 프로세스(600)는 도 2a에 도시된 이미지 분류 모듈(104)과 함께 논의된다. 프로세스(600)는 트레이닝 단계(600a) 및 평가 단계(600b)를 포함할 수 있다. 프로세스(600)의 블록(602)에서, 이미지 분류 트레이닝 모듈(204)은 미분류 이미지 데이터스토어(202)로부터 이미지들의 샘플 세트를 수집할 수 있다. 블록(604)에서, 이미지 분류 트레이닝 모듈(204)은 이미지들의 샘플 세트와 관련된 컨텍스트 단서를 수집할 수 있다. 블록(606)에서, 이미지 분류 트레이닝 모듈(204)은, 본 명세서에서 논의되는 이미지들의 트레이닝 세트를 생성하기 위해 이미지들의 관심있는 이미지 클래스에 대한 상관관계에 기반하여 이미지들을 점수화하고 순위화하는데 컨텍스트 단서들을 사용할 수 있다. 점수화 및 순위화에 기반하여, 이미지들의 트레이닝 세트가 결정될 수 있다. 블록(607)에서, 이미지 분류 트레이닝 모듈(204)은 트레이닝 세트에 기반하여 분류기(208)를 트레이닝할 수 있다. 블록(608)에서, 이미지 분류 평가 모듈(206)은 미분류 이미지 데이터스토어(202)로부터 이미지들의 평가 세트를 수집할 수 있다. 블록(610)에서, 분류기(208)는 이미지들의 평가 세트의 시각적 속성을 이미지 클래스와 관련된 시각적 패턴 템플릿들의 세트와 비교할 수 있다. 블록(612)에서, 분류기(208)는 상기 비교에 기반하여 이미지들의 평가 세트 중 각각의 이미지가 이미지 클래스에 속하는지 여부를 결정할 수 있다.
도 7은 일부 실시예에 따른, 분류기를 트레이닝하기 위한 프로세스(700)의 예를 도시한다. 프로세스(700)는 도 3에 도시된 이미지 분류 트레이닝 모듈(204)과 함께 논의된다. 블록(701)에서, 이미지 클래스 특정 모듈(306)은 분류기(208)가 인식하도록 트레이닝하기 위한 이미지 클래스를 특정할 수 있다. 블록(702)에서, 트레이닝 이미지 수집 모듈(302)은 이미지들의 샘플 세트를 수신할 수 있고, 이미지들의 샘플 세트의 각각은 관련된 컨텍스트 단서들을 가진다. 블록(704)에서, 컨텍스트 단서 추출 모듈(304)은 이미지들의 샘플 세트로부터 컨텍스트 단서를 추출할 수 있다. 블록(708)에서, 이미지 클래스 상관 모듈(308)은 이미지와 관련된 하나 이상의 컨텍스트 단서에 기반하여 이미지들의 샘플 세트에서 각각의 이미지와 이미지 클래스 간의 상관관계를 점수화할 수 있다. 블록(710)에서, 이미지 클래스 상관 모듈(308)은 각각의 이미지의 점수에 기반하여 이미지들의 샘플 세트를 순위화할 수 있다. 블록(712)에서, 이미지 클래스 상관 모듈(308)은 샘플 세트로부터 분류기(208)를 트레이닝할 이미지들의 트레이닝 세트를 결정할 수 있다. 일부 실시예로, 트레이닝 세트의 결정은 점수화에 기반하여 샘플 세트에서 각각의 이미지를 순위화하는 것을 포함할 수 있다. 결정은 또한, 이미지들의 샘플 세트 중 최상위 점수의 서브세트를 선택하는 것을 포함할 수 있다. 최상위 점수의 서브세트는 이미지들의 트레이닝 세트를 포함할 수 있다. 블록(714)에서, 분류 트레이닝 모듈(310)은 이미지들의 트레이닝 세트에서 공통된 시각적 패턴들을 식별하도록 분류기(208)를 트레이닝할 수 있다.
도 8은 일부 실시예에 따른, 이미지들을 분류하기 위한 프로세스(800)의 예를 도시한다. 프로세스(800)는 도 4에 도시된 이미지 분류 평가 모듈(206) 및 도 5에 도시된 분류기(208)와 함께 논의된다. 블록(802)에서, 평가 이미지 수집 모듈(402)은 미분류 이미지 데이터스토어(202)로부터 이미지들의 평가 세트를 수집할 수 있다. 블록(804)에서, 평가 이미지 수집 모듈(402)은 이미지들의 평가 세트의 시각적 속성을 평가하기 위한 이미지 클래스를 결정할 수 있다. 일부 실시예로, 분류기 입력 모듈(404)은 이미지들의 평가 세트 및 이미지 클래스를 분류기(208)에 제공할 수 있다. 블록(806)에서, 시각적 패턴 인식 모듈(504)은, 이미지 클래스와 관련된 시각적 패턴 템플릿에 대한 이미지들의 평가 세트의 각각의 이미지의 상관관계를 점수화할 수 있다. 블록(808)에서, 시각적 패턴 인식 모듈(504)은 이미지들의 평가 세트 중 각각의 이미지의 점수화된 상관관계에 기반하여 이미지들의 평가 세트 중 각각의 이미지를 순위화할 수 있다. 블록(810)에서, 시각적 패턴 인식 모듈(504)은 이미지들의 평가 세트 중 최상위 점수의 서브세트를 이미지 클래스와 관련시킬 수 있다. 일부 실시예로, 분류된 이미지 인터페이스 모듈(506)은 이후 최상위 점수의 서브세트를 소셜 네트워킹 시스템에서 다양한 다른 모듈에 제공할 수 있다.
도 9는 일부 실시예에 따른, 이미지 분류 모듈(104)에 의한 이미지들의 그룹의 컨텍스트적으로 생성된 분류의 미리보기(900)의 예를 도시한다. 미리보기(900)는 이미지들의 미분류 그룹(902), 제1 이미지들의 분류된 그룹(904), 제2 이미지들의 분류된 그룹(906), 제3 이미지들의 분류된 그룹(908), 및 제4 이미지들의 분류된 그룹(910)을 포함한다. 도 9의 예에서, 이미지들의 미분류 그룹(902)은 관련된 컨텍스트 단서를 갖는 이미지들의 그룹을 포함한다. 컨텍스트 단서는 이미지 태그 및 다른 컨텍스트 정보를 포함할 수 있다. 제1 이미지들의 분류된 그룹(904), 제2 이미지들의 분류된 그룹(906), 제3 이미지들의 분류된 그룹(908), 및 제4 이미지들의 분류된 그룹(910)을 생성하기 위해, 하나 이상의 이미지들의 미분류 그룹(902)이 이미지 분류 트레이닝 모듈(204)에 제공되었다. 이미지 분류 트레이닝 모듈(204)은 트레이닝 단계 동안에, 4개의 이미지 클래스들, 즉: 합성된 외관/느낌을 갖는 이미지들의 제1 이미지 클래스, 클로즈-업(close-up) 이미지들의 제2 이미지 클래스, 실외에서 찍힌 이미지들의 제3 이미지 클래스, 및 물을 묘사하는 이미지들의 제4 이미지 클래스와 관련된 시각적 속성들을 인식하도록 분류기(208)를 트레이닝하기 위해, 컨텍스트 단서에 기반하여 분류된 이미지들의 미분류 그룹(902)의 세트들을 사용했다. 이미지 분류 평가 모듈(206)은 평가 단계 동안에, 이미지들의 미분류 그룹(902)의 시각적 속성들을 4개의 이미지 클래스들과 관련된 시각적 패턴 템플릿들과 비교하도록 트레이닝된 분류기(208)에 이미지들의 미분류 그룹(902)을 제공하였다. 분류기(208)의 출력은, 분류기(208)가 인식하도록 트레이닝된 4개의 이미지 클래스들에 상응하였다. 더욱 구체적으로, 분류기(208)는, 제1 이미지 클래스에 상응하는 제1 이미지들의 분류된 그룹(904); 제2 이미지 클래스에 상응하는 제2 이미지들의 분류된 그룹(906); 제3 이미지 클래스에 상응하는 제3 이미지들의 분류된 그룹(908); 및 제4 이미지 클래스에 상응하는 제4 이미지들의 분류된 그룹(910)을 생성하였다.
도 10은 일부 실시예에 따른, 이미지 분류 모듈(104)에 의한 이미지들의 그룹의 컨텍스트적으로 생성된 이미지 필터 분류의 미리보기(1000)의 예를 도시한다. 미리보기(1000)는 이미지들의 미분류 그룹(1002) 및 이미지들의 분류된 그룹(1004)을 포함한다. 이미지들의 미분류 그룹(1002)은 소셜 네트워킹 시스템에서 미분류 이미지들의 일부를 표현할 수 있다. 이미지들의 샘플 세트는 태그 및 다른 컨텍스트 단서들과 관련되었다. 그것의 컨텍스트 단서들에 기반하여, 이미지들의 샘플 세트의 각각의 이미지는 관심있는 이미지 클래스와의 상관관계에 기반하여 점수화되었다. 이 예에서, "cat"은 관심있는 이미지 클래스이다. 이미지들의 샘플 세트의 이미지들은 이후 그들의 점수에 기반하여 순위화되었다. 이 예에서, 이미지들의 샘플 세트의 최상위 200개의 이미지들이 이미지들의 트레이닝 세트로 지정되었다. 이미지들의 트레이닝 세트는 이후, 분류기가 이미지들에 묘사된 공통의 시각적 패턴을 인식하도록 트레이닝하는데 적용되었다. 시각적 패턴 템플릿은, 트레이닝 세트에 기반하여 생성되었고, "cat" 이미지 클래스와 관련되었다. 이미지들의 미분류 그룹(1002)은 이미지들의 평가 세트로 이용되었다. 이미지들의 평가 세트는 "cat" 이미지 클래스와 관련된 시각적 패턴 템플릿과의 그들의 상관관계를 점수화하기 위해 분류기에 적용되었다. 이미지들의 평가 세트의 점수가 순위화되었고, 이미지들의 평가 세트에서 최상위의 이미지들은 이미지들의 분류된 그룹(1004)으로 선택되었다.
소셜 네트워킹 시스템 - 예시적인 구현예
도 11은 일부 실시예에 따른, 컨텍스트 이미지 분류 시스템(102)을 구현하는 예시적인 소셜 네트워킹 시스템(1100)의 네트워크 다이어그램이다. 소셜 네트워킹 시스템(1100)은 하나 이상의 사용자 장치(1110), 하나 이상의 외부 시스템(1120), 소셜 네트워킹 시스템(1130), 및 네트워크(1150)를 포함한다. 일실시예로, 전술한 실시예들과 연계하여 논의된 소셜 네트워킹 시스템은 소셜 네트워킹 시스템(1130)으로 구현될 수 있다. 예시적인 목적을 위해, 도 11에 도시된 소셜 네트워킹 시스템(1100)의 실시예는, 단일 외부 시스템(1120) 및 단일 사용자 장치(1110)를 포함한다. 하지만, 다른 실시예로, 소셜 네트워킹 시스템(1100)은 더 많은 사용자 장치(1110) 및/또는 더 많은 외부 시스템(1120)을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(1130)은 소셜 네트워킹 시스템 제공자에 의해 운영되는 한편, 외부 시스템(1120)은, 상이한 엔티티들에 의해 운영될 수 있는 점에서 소셜 네트워킹 시스템(1130)으로부터 분리되어 있다. 하지만, 다양한 실시예로, 소셜 네트워킹 시스템(1130) 및 외부 시스템(1120)은 소셜 네트워킹 시스템(1130)의 사용자들 (또는 구성원들)에게 소셜 네트워킹 서비스를 제공하기 위해 함께 동작한다. 이러한 측면에서, 소셜 네트워킹 시스템(1130)은, 외부 시스템(1120)과 같은 다른 시스템들이 인터넷을 통해 사용자에게 소셜 네트워킹 서비스 및 기능을 제공하는데 사용할 수 있는 플랫폼 또는 백본을 제공한다.
사용자 장치(1110)는 사용자로부터 입력을 수신하고 네트워크(1150)를 통해 데이터를 송수신할 수 있는 하나 이상의 컴퓨팅 장치를 포함한다. 일실시예로, 사용자 장치(1110)는 예컨대, Microsoft Windows 호환가능한 운영 시스템(OS), Apple OS X, 및/또는 리눅스 배포판을 실행하는 종래의 컴퓨터 시스템이다. 다른 실시예로, 사용자 장치(1110)는 가령 스마트폰, 태블릿, PDA(personal digital assistant), 모바일 전화 등과 같은 컴퓨터 기능을 갖는 장치일 수 있다. 사용자 장치(1110)는 네트워크(1150)를 통해 통신하도록 구성된다. 사용자 장치(1110)는 예컨대, 사용자 장치(1110)의 사용자가 소셜 네트워킹 시스템(1130)과 상호작용할 수 있게 하는 브라우저 애플리케이션과 같은 애플리케이션을 실행할 수 있다. 또 다른 실시예로, 사용자 장치(1110)는 iOS 및 ANDROID와 같은 사용자 장치(1110)의 네이티브 운영 시스템에 의해 제공되는 API(application programming interface)를 통해 소셜 네트워킹 시스템(1130)과 상호작용한다. 사용자 장치(1110)는, 유선 및/또는 무선 통신 시스템을 사용하는 로컬 영역 및/또는 광역 네트워크의 임의의 조합을 포함할 수 있는 네트워크(1150)를 통해 외부 시스템(1120) 및 소셜 네트워킹 시스템(1130)과 통신하도록 구성된다.
일실시예로, 네트워크(1150)는 표준 통신 기술 및 프로토콜을 사용한다. 따라서, 네트워크(1150)는 Ethernet, 802.11, WiMAX(worldwide interoperability for microwave access), 3G, 4G, CDMA, GSM, LTE, DSL(digital subscriber line) 등과 같은 기술을 사용하는 링크를 포함할 수 있다. 유사하게, 네트워크(1150)에서 사용되는 네트워킹 프로토콜은 MPLS(multiprotocol label switching), TCP/IP(transmission control protocol/Internet protocol), UDP(User Datagram Protocol), HTTP(hypertext transport protocol), SMTP(simple mail transfer protocol), FTP(file transfer protocol) 등을 포함할 수 있다. 네트워크(1150) 상에서 교환되는 데이터는 HTML(hypertext markup language) 및 XML(extensible markup language)을 포함하는 기술 및/또는 포맷을 사용하여 표현될 수 있다. 추가로, 모든 또는 일부 링크는 SSL(secure sockets layer), TLS(transport layer security), 및 IPsec(Internet Protocol security)와 같은 종래의 암호화 기술을 사용하여 암호화될 수 있다.
일실시예로, 사용자 장치(1110)는 브라우저 애플리케이션(1112)을 사용하여, 외부 시스템(1120) 및 소셜 네트워킹 시스템(1130)으로부터 수신된 마크업 언어 문서(1114)를 프로세싱함으로써 외부 시스템(1120) 및/또는 소셜 네트워킹 시스템(1130)으로부터의 컨텐츠를 디스플레이할 수 있다. 마크업 언어 문서(1114)는 컨텐츠 및 컨텐츠의 포맷 또는 프레젠테이션을 기술하는 하나 이상의 명령어들을 식별한다. 마크업 언어 문서(1114)에 포함된 명령어들을 실행함으로써, 브라우저 애플리케이션(1112)은 마크업 언어 문서(1114)에 의해 기술된 포맷 또는 프레젠테이션을 사용하여 식별된 컨텐츠를 디스플레이한다. 예컨대, 마크업 언어 문서(1114)는, 외부 시스템(1120) 및 소셜 네트워킹 시스템(1130)으로부터 검색된 텍스트 및/또는 이미지 데이터를 포함하는 다수의 프레임들을 갖는 웹 페이지를 생성하고 디스플레이하기 위한 명령어들을 포함한다. 다양한 실시예로, 마크업 언어 문서(1114)는 XML(extensible markup language) 데이터, XHTML(extensible hypertext markup language) 데이터, 또는 다른 마크업 언어 데이터를 포함하는 데이터 파일을 포함한다. 추가로, 마크업 언어 문서(1114)는 JSON(JavaScript Object Notation) 데이터, 패딩(padding)을 갖는 JSON(JSONP), 및 외부 시스템(1120)과 사용자 장치(1110) 사이의 데이터 상호교환을 용이하게 하는 자바스크립트 데이터를 포함할 수 있다. 사용자 장치(1110)상의 브라우저 애플리케이션(1112)은 마크업 언어 문서(1114)를 디코딩하기 위해 자바스크립트 컴파일러를 사용할 수 있다.
마크업 언어 문서(1114)는 또한, FLASH™ 또는 Unity™ 애플리케이션들, SilverLight™ 애플리케이션 프레임워크(framework) 등과 같은 애플리케이션 또는 애플리케이션 프레임워크를 포함하거나 링크할 수 있다.
일실시예로, 사용자 장치(1110)는 또한, 사용자 장치(1110)의 사용자가 소셜 네트워킹 시스템(1130)으로 로그되는지 여부를 표시하는 데이터를 포함하는 하나 이상의 쿠키(1116)를 포함하고, 이는 소셜 네트워킹 시스템(1130)으로부터 사용자 장치(1110)로 통신되는 데이터의 수정을 가능하게 할 수 있다.
외부 시스템(1120)은, 네트워크(1150)를 사용하여 사용자 장치(1110)로 통신되는 하나 이상의 웹 페이지들(1122a, 1122b)을 포함하는 하나 이상의 웹 서버들을 포함한다. 외부 시스템(1120)은 소셜 네트워킹 시스템(1130)으로부터 분리된다. 예컨대, 외부 시스템(1120)은 제1 도메인과 연관되는 한편, 소셜 네트워킹 시스템(1130)은 분리된 소셜 네트워킹 도메인과 연관된다. 외부 시스템(1120)에 포함된 웹 페이지들(1122a, 1122b)은 컨텐츠를 식별하고 식별된 컨텐츠의 포맷 또는 프레젠테이션을 특정하는 명령어들을 포함하는 마크업 언어 문서(1114)를 포함한다.
소셜 네트워킹 시스템(1130)은 복수의 사용자들을 포함하는 소셜 네트워킹 시스템을 위해 소셜 네트워킹 시스템의 사용자들에게 소셜 네트워킹 시스템의 다른 사용자들과 통신하고 상호작용하는 능력을 제공하는 하나 이상의 컴퓨팅 장치를 포함한다. 일부 예에서, 소셜 네트워킹 시스템은 그래프 즉, 에지 및 노드를 포함하는 데이터 구조로 표현될 수 있다. 데이터 베이스, 객체, 클래스, 메타 구성요소, 파일, 또는 임의의 다른 데이터 구조를 포함하지만 이에 제한되지 않는 다른 데이터 구조가 또한, 소셜 네트워킹 시스템을 표현하는데 사용될 수 있다. 소셜 네트워킹 시스템(1130)은 오퍼레이터에 의해 관리되고, 유지되거나, 또는 제어될 수 있다. 소셜 네트워킹 시스템(1130)의 오퍼레이터는 사람, 자동화된 애플리케이션, 또는 컨텐츠를 관리하고, 정책을 규제하고, 소셜 네트워킹 시스템(1130) 내에서 사용 메트릭을 수집하기 위한 일련의 애플리케이션들일 수 있다. 임의의 타입의 오퍼레이터가 사용될 수 있다.
사용자들은 소셜 네트워킹 시스템(1130)에 가입할 수 있고, 이후 그들이 연결되고자 하는 소셜 네트워킹 시스템(1130)의 임의의 수의 다른 사용자들에 대한 연결을 추가할 수 있다. 본 명세서에서 사용되는 용어 "친구"는, 사용자가 소셜 네트워킹 시스템(1130)을 통해 연결, 연관, 또는 관계를 형성한 소셜 네트워킹 시스템(1130)의 임의의 다른 사용자를 의미한다. 예컨대, 일실시예로, 소셜 네트워킹 시스템(1130)에서의 사용자들이 소셜 그래프에서 노드로 표현된다면, 용어 "친구"는 2개의 사용자 노드를 직접 연결하고 그 사이에 형성되는 에지를 의미할 수 있다.
연결은 사용자에 의해 명시적으로 추가되거나 사용자의 공통의 특징(예컨대,동일한 교육 기관의 졸업생들인 사용자들)에 기반하여 소셜 네트워킹 시스템(1130)에 의해 자동으로 생성될 수 있다. 예컨대, 제1 사용자는 구체적으로 특정의 다른 사용자를 친구로 선택한다. 소셜 네트워킹 시스템(1130)에서의 연결은 보통 양방향이지만, 그럴 필요는 없고, 따라서 용어들 "사용자" 및 "친구"는 준거 기준(frame of reference)에 따른다. 소셜 네트워킹 시스템(1130)의 사용자들 사이의 연결은 보통 양방향("쌍방향"), 또는 "상호적"이지만, 연결들은 또한, 일방적, 또는 "일방향"일 수 있다. 예컨대, Bob과 Joe가 모두 소셜 네트워킹 시스템(1130)의 사용자들이고 서로에게 연결되어있다면, Boe과 Joe는 서로의 연결들이다. 반면에, Bob이 소셜 네트워킹 시스템(1130)으로 Joe에 의해 통신되는 데이터를 열람하기 위해 Joe에게 연결하기를 희망한지만, Joe가 상호 연결을 형성하기를 희망하지 않는다면, 일방향 연결이 확립될 수 있다. 사용자들 사이의 연결은 직접적인 연결일 수 있지만, 소셜 네트워킹 시스템(1130)의 일부 실시예들은 하나 이상의 연결 레벨 또는 이격도를 통한 간접적인 연결을 허용한다.
사용자들 사이의 연결을 확립 및 관리하고 사용자들 사이의 상호작용을 허용하는 것에 추가로, 소셜 네트워킹 시스템(1130)은 사용자들에게 소셜 네트워킹 시스템(1130)에 의해 지원되는 다양한 타입의 아이템들에 대해 행위를 수행할 능력을 제공한다. 이러한 아이템들은, 소셜 네트워킹 시스템(1130)의 사용자들이 속할 수 있는 그룹들 또는 네트워크들(즉, 사람들, 엔티티들, 및 컨셉들의 소셜 네트워크), 사용자가 관심이 있을 수 있는 이벤트 또는 캘린더 엔트리들, 사용자가 소셜 네트워킹 시스템(1130)을 통해 사용할 수 있는 컴퓨터-기반의 애플리케이션들, 사용자가 소셜 네트워킹 시스템(1130)에 의해 제공되거나 소셜 네트워킹 시스템(1130)을 통한 서비스를 통해 아이템들을 사거나 팔 수 있도록 하는 거래들, 사용자가 소셜 네트워킹 시스템(1130) 내에서 혹은 밖에서 수행할 수 있는 광고와의 상호작용들을 포함할 수 있다. 이들은 사용자가 소셜 네트워킹 시스템(1130)에 대해 행동할 수 있는 아이템들의 몇몇 예시에 불과하며, 많은 다른 예들이 가능하다. 사용자는 소셜 네트워킹 시스템(1130)에서 또는 소셜 네트워킹 시스템(1130)과 분리되거나 네트워크(1150)를 통해 소셜 네트워킹 시스템(1130)으로 연결된 외부 시스템(1120)에서, 표현될 수 있는 그 어떠한 것과도 상호작용할 수 있다.
소셜 네트워킹 시스템(1130)은 또한, 다양한 엔티티들을 링크할 수 있다. 예컨대, 소셜 네트워킹 시스템(1130)은 사용자가 API, 웹 서비스, 또는 다른 통신 채널을 통해 외부 시스템(1120) 또는 다른 엔티티들과 상호작용하는 것뿐만 아니라 사용자들 서로와 상호작용할 수 있게 한다. 소셜 네트워킹 시스템(1130)은 복수의 에지에 의해 상호연결된 복수의 노드를 포함하는 "소셜 그래프"를 생성하고 관리한다. 소셜 그래프에서의 각각의 노드는 다른 노드에 대해 행동할 수 있거나 및/또는 다른 노드가 행동할 수 있는 엔티티를 표현할 수 있다. 소셜 그래프는 다양한 타입의 노드들을 포함할 수 있다. 노드의 타입의 예들은 사용자들, 비-인간 엔티티들, 컨텐츠 아이템, 웹 페이지, 그룹, 활동, 메시지, 컨셉, 및 소셜 네트워킹 시스템(1130)에서 객체에 의해 표현될 수 있는 임의의 다른 것들을 포함한다. 소셜 그래프에서의 2개의 노드 사이의 에지는 2개의 노드 사이의 특정 유형의 연결 또는 연관을 표현할 수 있고, 에지는 노드 연결로부터 또는 노드들 중 하나가 다른 노드에 대해 수행하는 행위로부터 발생할 수 있다. 일부 경우에서, 노드 사이의 에지에는 가중치가 부과될 수 있다. 에지의 가중치는 노드 사이의 연결 또는 연관의 강도와 같은 에지와 연관된 속성을 표현할 수 있다. 상이한 타입의 에지에는 상이한 가중치가 제공될 수 있다. 예컨대, 한 명의 사용자가 다른 사용자를 "좋아요"할 때 생성된 에지에는 하나의 가중치가 부여될 수 있는 한편, 사용자가 다른 사용자를 친구로 삼을 때 생성된 에지에는 상이한 가중치가 부여될 수 있다.
예로서, 제1 사용자가 제2 사용자를 친구로 식별할 때, 소셜 그래프에서의 에지는 제1 사용자를 표현하는 노드와 제2 사용자를 표현하는 제2 노드를 연결하도록 생성된다. 다양한 노드가 서로 연관되고 상호작용함에 따라, 소셜 네트워킹 시스템(1130)은 관계 및 상호작용을 반영하도록 다양한 노드를 연결하는 에지들을 수정한다.
소셜 네트워킹 시스템(1130)은 또한, 소셜 네트워킹 시스템(1130)과의 사용자 상호작용을 향상시키는 사용자-생성된 컨텐츠를 포함한다. 사용자-생성된 컨텐츠는, 사용자가 소셜 네트워킹 시스템(1130)에 추가, 업로드, 전송 또는 "게시"할 수 있는 모든 것을 포함할 수 있다. 예컨대, 사용자는 사용자 장치(1110)로부터 소셜 네트워킹 시스템(1130)에 게시물을 통신한다. 게시물은 상태 업데이트 또는 다른 텍스트 데이터, 위치 정보, 사진과 같은 이미지, 비디오, 링크, 음악, 또는 다른 유사한 데이터 및/또는 미디어와 같은 데이터를 포함할 수 있다. 컨텐츠는 또한, 제3자에 의해 소셜 네트워킹 시스템(1130)에 추가될 수 있다. 컨텐츠 "아이템"들은 소셜 네트워킹 시스템(1130)에서 객체로 표현될 수 있다. 이러한 방식으로, 소셜 네트워킹 시스템(1130)의 사용자들은, 다양한 통신 채널을 통해 미디어의 다양한 타입의 텍스트 및 컨텐츠 아이템을 게시함으로써 서로와 통신하도록 장려된다. 이러한 통신은 사용자들 서로간의 상호작용을 증가시키고 사용자가 소셜 네트워킹 시스템(1130)과 상호작용하는 빈도를 증가시킨다.
소셜 네트워킹 시스템(1130)은 웹 서버(1132), API 요청 서버(1134), 사용자 프로필 스토어(1136), 연결 스토어(1138), 행위 로거(1140), 활동 로그(1142), 인증 서버(1144), 이미지 분류 모듈(1146), 및 이미지 애플리케이션 모듈(1148)을 포함한다. 일실시예로, 소셜 네트워킹 시스템(1130)은 다양한 애플리케이션을 위해 추가의, 더 적은 수의, 혹은 상이한 컴포넌트들을 포함할 수 있다. 네트워크 인터페이스, 보안 메커니즘, 부하 균형기(load balancer), 장애복구 서버(failover server), 관리 및 네트워크 운영 콘솔 등과 같은 다른 컴포넌트들은 시스템의 세부사항을 불명확하게 만들지 않기 위해 도시되지 않는다.
사용자 프로필 스토어(1136)는, 사용자에 의해 선언되었거나 소셜 네트워킹 시스템(1130)에 의해 추론된 경력, 학력, 취미 또는 선호도, 위치 등과 같은 인명적, 인구학적, 및 다른 타입의 기술적 정보를 포함하는 사용자 계정에 관한 정보를 관리한다. 이 정보는 사용자 프로필 스토어(1136)에 저장되어서, 각각의 사용자가 고유하게 식별되도록 한다. 소셜 네트워킹 시스템(1130)은 또한, 연결 스토어(1138)에서의 상이한 사용자들 사이의 하나 이상의 연결을 기술하는 데이터를 저장한다. 연결 정보는 유사하거나 공통되는 경력, 그룹 멤버쉽, 취미, 또는 학력을 갖는 사용자들을 표시할 수 있다. 추가로, 소셜 네트워킹 시스템(1130)은 상이한 사용자들 사이의 사용자-정의된 연결을 포함하여, 사용자들이 다른 사용자들과의 그들의 관계를 특정할 수 있도록 한다. 예컨대, 사용자-정의된 연결은 사용자가 사용자의 실제-삶에서의 관계들, 가령 친구들, 동료들, 파트너들 등에 필적하는 다른 사용자들과의 관계를 생성할 수 있도록 한다. 사용자들은 미리 정의된 타입의 연결로부터 선택하거나 필요에 따라 그들 스스로의 연결 타입을 정의할 수 있다. 소셜 네트워킹 시스템(1130)에서의 다른 노드들과의 연결, 가령 비-인간 엔티티들, 버켓, 클러스터 센터, 이미지, 관심사, 페이지, 외부 시스템, 컨셉 등이 또한, 연결 스토어(1138)에 저장된다.
소셜 네트워킹 시스템(1130)은 사용자가 상호작용할 수 있는 객체들에 관한 데이터를 관리한다. 이 데이터를 관리하기 위해, 사용자 프로필 스토어(1136) 및 연결 스토어(1138)는 소셜 네트워킹 시스템(1130)에 의해 관리되는 객체들의 대응하는 타입의 인스턴스(instance)들을 저장한다. 각각의 객체 타입은 객체의 타입에 적절한 정보는 저장하는데 적합한 정보 필드를 가진다. 예컨대, 사용자 프로필 스토어(1136)는 사용자의 계정 및 사용자의 계정과 관련된 정보를 기술하기에 적절한 필드를 갖는 데이터 구조를 포함한다. 특정 타입의 새로운 객체가 생성될 때, 소셜 네트워킹 시스템(1130)은 대응하는 타입의 새로운 데이터 구조를 초기화하고, 고유한 객체 식별자를 그것에 할당하며, 필요에 따라 객체에 데이터를 추가한다. 이는 예컨대, 사용자가 소셜 네트워킹 시스템(1130)의 사용자가 되고, 소셜 네트워킹 시스템(1130)이 사용자 프로필 스토어(1136)에 사용자 프로필의 새로운 인스턴스를 생성하며, 고유한 식별자를 사용자 계정에 할당하고, 사용자에 의해 제공된 정보로 사용자 계정의 필드를 채우는 것을 시작할 때에 발생할 수 있다.
연결 스토어(1138)는 사용자의 다른 사용자들에 대한 연결, 외부 시스템(1120)으로의 연결 또는 다른 엔티티들로의 연결을 기술하는데 적절한 데이터 구조를 포함한다. 연결 스토어(1138)는 또한, 연결 타입을 사용자의 연결과 연관시킬 수 있고, 연결 타입은 사용자에 관한 정보에 대한 액세스를 규제하기 위해 사용자의 개인정보 설정과 함께 사용될 수 있다. 일실시예로, 사용자 프로필 스토어(1136) 및 연결 스토어(1138)는 연합된 데이터베이스로 구현될 수 있다.
연결 스토어(1138), 사용자 프로필 스토어(1136), 및 활동 로그(1142)에 저장된 데이터는 소셜 네트워킹 시스템(1130)이 상이한 객체들 사이의 관계를 식별하기 위해 다양한 객체 및 노드를 연결하는 에지를 식별하도록 노드를 사용하는 소셜 그래프를 생성할 수 있도록 한다. 예컨대, 제1 사용자가 소셜 네트워킹 시스템(1130)에서 제2 사용자와의 연결을 확립한다면, 사용자 프로필 스토어(1136)로부터의 제1 사용자 및 제2 사용자의 사용자 계정들은 소셜 그래프에서 노드로서 역할을 할 수 있다. 연결 스토어(1138)에 의해 저장된 제1 사용자 및 제2 사용자 사이의 연결은 제1 사용자 및 제2 사용자와 연관된 노드들 사이의 에지이다. 이 예로 계속하면, 제2 사용자는 이후, 소셜 네트워킹 시스템(1130) 내에서 제1 사용자에게 메시지를 전송할 수 있다. 저장될 수 있는 이 메시지를 전송하는 행위는, 제1 사용자 및 제2 사용자를 표현하는 소셜 그래프에서의 2개의 노드 사이의 또 다른 에지이다. 추가로, 메시지 자체는 식별될 수 있고, 제1 사용자 및 제2 사용자를 표현하는 노드들에 연결된 또 다른 노드로서 소셜 그래프에 포함될 수 있다.
다른 예로, 제1 사용자는 소셜 네트워킹 시스템(1130)에 의해 관리되는 이미지에서 (또는 대안으로, 소셜 네트워킹 시스템(1130) 외부의 다른 시스템에 의해 관리되는 이미지)에서 제2 사용자를 태그할 수 있다. 이미지는 그 자체가 소셜 네트워킹 시스템(1130)에서 노드로 표현될 수 있다. 이러한 태깅 행위는 제1 사용자 및 제2 사용자 사이의 에지를 생성할 뿐만 아니라 소셜 그래프에서 또한, 노드가 되는 각각의 사용자들 및 이미지 사이의 에지를 생성할 수 있다. 또 다른 예로, 사용자가 이벤트에 참석하는 것을 확인한다면, 사용자 및 이벤트는 사용자 프로필 스토어(1136)로부터 획득되는 노드들이며, 여기서 이벤트의 참석은 활동 로그(1142)로부터 검색될 수 있는 노드 사이의 에지이다. 소셜 그래프를 생성하고 관리함으로써, 소셜 네트워킹 시스템(1130)은 상이한 타입의 객체 및 상호작용과 그 객체들 사이의 연결을 기술하는 데이터를 포함하고, 소셜적으로 관련된(socially relevant) 정보의 풍부한 소스를 제공한다.
웹 서버(1132)는 네트워크(1150)를 통해 소셜 네트워킹 시스템(1130)을 하나 이상의 사용자 장치(1110) 및/또는 하나 이상의 외부 시스템(1120)으로 링크한다. 웹 서버(1132)는, 가령 Java, JavaScript, Flash, XML 등과 같은 다른 웹-연관 컨텐츠뿐만 아니라 웹 페이지들을 서빙한다. 웹 서버(1132)는 메일 서버 또는 소셜 네트워킹 시스템(1130)과 하나 이상의 사용자 장치(1110) 사이의 메시지를 수신하고 라우팅하기 위한 다른 메시징 기능을 포함할 수 있다. 메시지는 인스턴트 메시지, 큐잉된 메시지(예컨대, 이메일), 텍스트 및 SMS 메시지, 또는 임의의 다른 적절한 메시지 포맷일 수 있다.
API 요청 서버(1134)는, 하나 이상의 API 함수를 호출함으로써 하나 이상의 외부 시스템(1120) 및 사용자 장치(1110)가 소셜 네트워킹 시스템(1130)으로부터 액세스 정보를 호출하도록 한다. API 요청 서버(1134)는 또한, API들을 호출함으로써 외부 시스템(1120)이 소셜 네트워킹 시스템(1130)으로 정보를 전송하도록 할 수 있다. 일실시예로, 외부 시스템(1120)은 네트워크(1150)를 통해 소셜 네트워킹 시스템(1130)으로 API 요청을 전송하고, API 요청 서버(1134)는 API 요청을 수신한다. API 요청 서버(1134)는, API 요청 서버(1134)가 네트워크(1150)를 통해 외부 시스템(1120)으로 통신하는 적절한 응답을 생성하기 위해 API 요청과 연관된 API를 호출함으로써 그 요청을 프로세싱한다. 예컨대, API 요청에 응답하여, API 요청 서버(1134)는 가령 외부 시스템(1120)으로 로그된 사용자의 연결과 같은 사용자와 연관된 데이터를 수집하고, 수집된 데이터를 외부 시스템(1120)으로 통신한다. 다른 실시예로, 사용자 장치(1110)는 외부 시스템(1120)과 동일한 방식으로 API들을 통해 소셜 네트워킹 시스템(1130)과 통신한다.
행위 로거(1140)는 소셜 네트워킹 시스템(1130) 안에서의 및/또는 밖에서의 사용자 행위에 관한 통신을 웹 서버(1132)로부터 수신할 수 있다. 행위 로거(1140)는 사용자 행위에 관한 정보로 활동 로그(1142)를 채워서 소셜 네트워킹 시스템(1130)이 소셜 네트워킹 시스템(1130) 내에서 및 소셜 네트워킹 시스템(1130) 밖에서 그것의 사용자들에 의해 행해진 다양한 행위를 발견할 수 있도록 한다. 특정 사용자가 소셜 네트워킹 시스템(1130) 상의 다른 노드에 관해 행한 임의의 행위는, 활동 로그(1142) 또는 유사한 데이터베이스 또는 다른 데이터 저장소에 관리되는 정보를 통해 각각의 사용자의 계정과 연관될 수 있다. 식별되고 저장된 소셜 네트워킹 시스템(1130) 내에서 사용자에 의해 행해진 행위의 예들은 예컨대, 다른 사용자로의 연결의 추가, 다른 사용자에게 메세지를 전송, 다른 사용자로부터의 메시지를 읽기, 다른 사용자와 연관된 컨텐츠를 열람, 다른 사용자에 의해 게시된 이벤트에 참석, 이미지를 게시, 이미지를 게시하는 것의 시도, 또는 다른 사용자 또는 다른 객체와 상호작용하는 다른 행위들을 포함할 수 있다. 사용자가 소셜 네트워킹 시스템(1130) 내에서 행위를 행할 때, 행위는 활동 로그(1142)에 기록된다. 일실시예로, 소셜 네트워킹 시스템(1130)은 활동 로그(1142)를 엔트리들의 데이터베이스로서 관리한다. 행위가 소셜 네트워킹 시스템(1130) 내에서 행해질 때, 행위에 대한 엔트리는 활동 로그(1142)에 추가된다. 활동 로그(1142)는 행위 로그라고 불릴 수 있다.
추가로, 사용자 행위는 가령 소셜 네트워킹 시스템(1130)으로부터 분리된 외부 시스템(1120)과 같이 소셜 네트워킹 시스템(1130)의 외부의 엔트리 내에서 발생하는 컨셉 및 행위와 연관될 수 있다. 예컨대, 행위 로거(1140)는 웹 서버(1132)로부터 외부 시스템(1120)과의 사용자 상호작용을 기술하는 데이터를 수신할 수 있다. 이 예에서, 외부 시스템(1120)은 소셜 그래프에서의 구조화된 행위 및 객체에 따라 사용자의 상호작용을 보고한다.
사용자가 외부 시스템(1120)과 상호작용하는 행위들의 다른 예들은, 사용자가 외부 시스템(1120) 또는 다른 엔티티에 대한 관심을 표현하는 것, 사용자가 외부 시스템(1120) 또는 외부 시스템(1120) 내의 웹 페이지(1122a)를 논의하는 코멘트를 소셜 네트워킹 시스템(1130)에 게시하는 것, 사용자가 외부 시스템(1120)과 연관된 URL(Uniform Resource Locator) 또는 다른 식별자를 소셜 네트워킹 시스템(1130)에 게시하는 것, 사용자가 외부 시스템(1120)과 연관된 이벤트에 참석하는 것, 또는 외부 시스템(1120)과 관련된 사용자에 의한 임의의 다른 행위를 포함한다. 따라서, 활동 로그(1142)는 소셜 네트워킹 시스템(1130)의 사용자 및 소셜 네트워킹 시스템(1130)으로부터 분리된 외부 시스템(1120) 사이의 상호작용을 기술하는 행위들을 포함할 수 있다.
인증 서버(1144)는 소셜 네트워킹 시스템(1130)의 사용자들의 하나 이상의 개인정보 설정을 강제한다. 사용자의 개인정보 설정은 어떻게 사용자와 연관된 특정 정보가 공유될 수 있는지를 결정한다. 개인정보 설정은 사용자와 연관된 특정 정보의 명세(specification) 및 정보가 공유될 수 있는 엔티티 또는 엔티티들의 명세를 포함한다. 정보가 공유될 수 있는 엔티티들의 예들은 다른 사용자들, 애플리케이션, 외부 시스템(1120), 또는 정보에 잠재적으로 액세스할 수 있는 임의의 엔티티를 포함할 수 있다. 사용자에 의해 공유될 수 있는 정보는 가령, 프로필 사진, 사용자와 연관된 전화번호, 사용자의 연결, 연결을 추가하기, 사용자의 프로필 정보를 변경하기와 같은 사용자에 의해 행해진 행위 등과 같은 사용자 계정 정보를 포함한다.
개인정보 설정 명세가 상이한 레벨의 입상도(granularity)에서 제공될 수 있다. 예컨대, 개인정보 설정은 다른 사용자들과 공유될 특정 정보를 식별할 수 있고; 개인정보 설정은 직장 전화번호 또는 가령, 프로필 사진, 집 전화번호, 및 상태와 같은 관련된 정보의 특정 세트를 식별한다. 대안으로, 개인정보 설정은 사용자와 연관된 모든 정보에 적용될 수 있다. 특정 정보에 액세스할 수 있는 엔티티들의 세트의 명세는 또한, 다양한 레벨의 입상도에서 특정될 수 있다. 정보가 공유될 수 있는 다양한 세트의 엔티티들은 예컨대, 사용자의 모든 친구들, 친구들의 모든 친구들, 모든 애플리케이션, 또는 모든 외부 시스템(1120)을 포함할 수 있다. 일실시예는 엔티티들의 세트의 명세가 엔티티들의 목록을 포함할 수 있도록 한다. 예컨대, 사용자는 특정 정보에 액세스하는 것이 허용되는 외부 시스템(1120)의 리스트를 제공할 수 있다. 다른 실시예는 명세가, 정보에 액세스하는 것이 허용되지 않은 예외들을 함께 갖는 엔티티들의 세트를 포함하도록 한다. 예컨대, 사용자는 모든 외부 시스템(1120)이 사용자의 작업 정보에 액세스할 수 있도록 하지만, 작업 정보에 액세스하는 것이 허용되지 않는 외부 시스템(1120)의 리스트를 특정할 수 있다. 특정 실시예들은 특정 정보를 액세스하는 것이 허용되지 않는 예외들의 리스트를 "차단 리스트"라고 할 수 있다. 사용자에 의해 특정된 차단 리스트에 속하는 외부 시스템(1120)은 개인정보 설정에 특정된 정보를 액세스하는 것으로부터 차단된다. 정보의 명세의 입상도 및 정보가 공유되는 엔티티들의 명세의 입상도의 다양한 조합이 가능하다. 예컨대, 모든 개인 정보는 친구들과 공유될 수 있는 한편, 모든 작업 정보는 친구의 친구들과 공유될 수 있다.
인증 서버(1144)는 사용자와 연관된 특정 정보가 사용자의 친구들, 외부 시스템(1120), 및/또는 다른 애플리케이션과 엔티티들에 의해 액세스될 수 있는지 여부를 결정하는 로직을 포함한다. 외부 시스템(1120)은 가령 사용자의 직장 전화번호와 같은 사용자의 더 개인적이고 민감한 정보에 액세스하기 위해 인증 서버(1144)로부터의 인증이 필요할 수 있다. 사용자의 개인정보 설정에 기반하여, 인증 서버(1144)는, 다른 사용자, 외부 시스템(1120), 애플리케이션, 또는 다른 엔티티가 사용자에 의해 행해진 행위에 관한 정보를 포함하는 사용자와 연관된 정보에 액세스하는 것이 허용되는지 여부를 결정한다.
도 11의 예에서, 소셜 네트워킹 시스템(1130)은 본 명세서에서 더 상세히 기술되는 이미지 분류 모듈(1146) 및 이미지 애플리케이션 모듈(1148)을 포함할 수 있다. 일실시예로, 이미지 분류 모듈(1146)은 이미지들의 샘플 세트에 대한 컨텍스트 힌트들을 수집할 수 있고, 이미지들의 트레이닝 세트를 생성하기 위해 컨텍스트 힌트들을 사용할 수 있다. 이미지들의 트레이닝 세트는 이미지 클래스의 시각적 패턴 템플릿을 생성하도록 분류기를 트레이닝시키는데 사용될 수 있다. 분류기는, 시각적 패턴 템플릿과의 상관관계에 기반하여 이미지들의 평가 세트를 점수화할 수 있다. 이미지들의 평가 세트 중 가장 높은 점수의 이미지들은 이미지 클래스에 가장 밀접하게 관련되는 것으로 여겨질 수 있다. 일실시예로, 이미지 분류 모듈(1146)은 이미지 분류 모듈(104)로 구현될 수 있다. 이미지 애플리케이션 모듈(1148)은 분류된 이미지의 검색을 허용하도록 다른 애플리케이션과 인터페이싱할 수 있다. 일실시예로, 이미지 애플리케이션 모듈(1148)은 이미지 애플리케이션 모듈(106)로 구현될 수 있다.
하드웨어 구현
전술한 프로세스 및 특징들은 광범위하게 다양한 네트워크 및 컴퓨팅 환경에서 광범위하게 다양한 기계 및 컴퓨터 시스템 구조에 의해 구현될 수 있다. 도 12는 일실시예에 따른, 본 명세서에 기술된 하나 이상의 실시예들을 구현하도록 사용될 수 있는 컴퓨터 시스템(1200)의 예시를 도시한다. 컴퓨터 시스템(1200)은 컴퓨터 시스템(1200)이 본 명세서에 기술된 프로세스 및 특징들을 수행하도록 야기하는 명령어들의 세트들을 포함한다. 컴퓨터 시스템(1200)은 다른 기계들에 연결(예컨대, 네트워킹)될 수 있다. 네트워킹된 배치에서, 컴퓨터 시스템(1200)은 클라이언트-서버 네트워크 환경에서의 서버 기계 또는 클라이언트 기계의 용량으로 또는 피어-투-피어 (또는 분산형) 네트워크 환경에서의 피어 기계로서 동작할 수 있다. 일실시예로, 컴퓨터 시스템(1200)은 소셜 네트워킹 시스템(1130), 사용자 장치(1110), 외부 시스템(1120), 또는 이들의 컴포넌트일 수 있다. 일실시예로, 컴퓨터 시스템(1200)은 소셜 네트워킹 시스템(1130)의 전부 또는 일부를 구성하는 많은 수의 서버들 중 하나의 서버일 수 있다.
컴퓨터 시스템(1200)은, 본 명세서에 기술된 프로세스 및 특징에 관련되고, 컴퓨터-판독가능한 매체에 저장된 프로세서(1202), 캐시(1204), 및 하나 이상의 실행가능한 모듈 및 드라이버를 포함한다. 추가로, 컴퓨터 시스템(1200)은 고성능 입력/출력(I/O) 버스(1206) 및 표준 I/O 버스(1212)를 포함한다. 호스트 브릿지(1210)는 프로세서(1202)를 고성능 I/O 버스(1206)에 연결하는 한편, I/O 버스 브릿지(1212)는 2개의 버스들(1206, 1212)을 서로 연결한다. 시스템 메모리(1214) 및 네트워크 인터페이스(1216)는 고성능 I/O 버스(1206)에 연결된다. 컴퓨터 시스템(1200)은 비디오 메모리 및 비디오 메모리에 연결된 디스플레이 장치(도시되지 않음)를 더 포함할 수 있다. 대용량 저장소(1218) 및 I/O 포트(1220)는 표준 I/O 버스(1212)에 연결된다. 컴퓨터 시스템(1200)은 선택적으로 키보드, 포인팅 장치, 디스플레이 장치, 또는 표준 I/O 버스(1212)에 연결된 다른 입력/출력 장치들(도시되지 않음)을 포함할 수 있다. 전체적으로, 이러한 구성요소들은, 캘리포니아 산타 클라라의 인텔사에 의해 제조된 x126-호환 프로세서, 및 캘리포니아 서니데일의 AMD(Advanced Micro Devices), Inc.에 의해 제조된 x126-호환 프로세서뿐만 아니라 임의의 다른 적절한 프로세서에 기반하는 컴퓨터 시스템을 포함하지만 이에 제한되지 않는 컴퓨터 하드웨어 시스템의 넓은 카테고리를 표현하도록 의도되었다.
운영 시스템은, 소프트웨어 애플리케이션(도시되지 않음)으로 오가는 데이터의 입력 및 출력을 포함하는 컴퓨터 시스템(1200)의 동작을 관리하고 제어한다. 운영 시스템은 시스템상에 실행되는 소프트웨어 애플리케이션과 시스템의 하드웨어 컴포넌트들 사이의 인터페이스를 제공한다. 가령 LINUX 운영 시스템, 캘리포니아 쿠퍼티노의 Apple Computer Inc.로부터 이용가능한 Apple Macintosh 운영 시스템, UNIX 운영 시스템, Microsoft® Windows® 운영 시스템, BSD 운영 시스템 등과 같은 임의의 적절한 운영 시스템이 이용될 수 있다. 다른 구현도 가능하다.
컴퓨터 시스템(1200)의 구성요소들은 아래에서 더 상세하게 기술된다. 특히, 네트워크 인터페이스(1216)는 컴퓨터 시스템(1200) 및 가령 Ethernet(예컨대, IEEE 1202.3) 네트워크, 백플레인(backplane) 등과 같은 임의의 광범위의 네트워크 사이의 통신을 제공한다. 대용량 저장소(1218)는 앞서 식별된 각각의 컴퓨팅 시스템들에 의해 구현되는 상기 프로세스들 및 특징들을 수행하는 프로그래밍 명령어들 및 데이터를 위한 영구적인 저장소를 제공하는 한편, 시스템 메모리(1214)(예컨대, DRAM)는 프로세서(1202)에 의해 실행될 때 데이터 및 프로그래밍 명령어들을 위한 임시적인 저장소를 제공한다. I/O 포트(1220)는, 컴퓨터 시스템(1200)에 연결될 수 있는 추가 주변 장치들 사이의 통신을 제공하는 하나 이상의 직렬 및/또는 병렬 통신 포트일 수 있다.
컴퓨터 시스템(1200)은 다양한 시스템 구조들을 포함할 수 있고, 컴퓨터 시스템(1200)의 다양한 컴포넌트들은 재정렬될 수 있다. 예컨대, 캐시(1204)는 프로세서(1202)를 갖는 온-칩일 수 있다. 대안으로, 캐시(1204) 및 프로세서(1202)는 프로세서(1202)가 "프로세서 코어"로 불리는 "프로세서 모듈"로 함께 패킹(pack)될 수 있다. 더욱이, 특정 실시예들은 상기의 컴포넌트들 전부를 요구하지도 않고 포함하지도 않을 수 있다. 예컨대, 표준 I/O 버스(1212)에 연결된 주변 장치들은 고성능 I/O 버스(1206)에 연결될 수 있다. 추가로, 일부 실시예로, 단일 버스만이 존재할 수 있고, 컴퓨터 시스템(1200)의 컴포넌트들은 단일 버스에 연결될 수 있다. 더욱이, 컴퓨터 시스템(1200)은 가령 추가적인 프로세서, 저장 장치, 또는 메모리와 같은 추가 컴포넌트들을 포함할 수 있다.
일반적으로, 본 명세서에 기술된 프로세스 및 특징들은 운영 시스템 또는 특정 애플리케이션, 컴포넌트, 프로그램, 객체, 모듈 또는 "프로그램"으로 불리는 일련의 명령어들의 일부로서 구현될 수 있다. 예컨대, 하나 이상의 프로그램들은 본 명세서에 기술된 특정 프로세스들을 실행하는데 사용될 수 있다. 프로그램들은 전형적으로 하나 이상의 프로세서에 의해 읽혀지고 실행될 때 컴퓨터 시스템(1200)이 본 명세서에 기술된 프로세스 및 특징들을 실행하는 동작들을 수행하도록 야기하는 하나 이상의 명령어들을 컴퓨터 시스템(1200)에서 다양한 메모리 및 저장 장치에서 포함할 수 있다. 본 명세서에 기술된 프로세스 및 특징들은 소프트웨어, 펌웨어, 하드웨어(예컨대, 애플리케이션 고유의 집적 회로(application specific integrated circuit; ASIC), 또는 이들의 임의의 조합에서 구현될 수 있다.
하나의 구현예로, 본 명세서에 기술된 프로세스 및 특징들은, 컴퓨터 시스템(1200)에 의해 실행되는 일련의 실행가능한 모듈로서 분산형 컴퓨팅 환경에서 개별적으로 또는 집합적으로 구현될 수 있다. 전술한 모듈들은 하드웨어, 컴퓨터-판독가능한 매체 (또는 기계-판독가능한 매체), 또는 이들 모두의 조합에 의해 실현될 수 있다. 예컨대, 모듈은 가령, 프로세서(1202)와 같은 하드웨어 시스템에서의 프로세서에 의해 실행되는 복수의 또는 일련의 명령어들을 포함할 수 있다. 초기에, 일련의 명령어들은 가령, 대용량 저장소(1218)와 같은 저장 장치에 저장될 수 있다. 하지만, 일련의 명령어들은 임의의 적절한 컴퓨터-판독가능한 저장 매체에 저장될 수 있다. 더욱이, 일련의 명령어들은 로컬에서 저장될 필요가 없으며, 네트워크 인터페이스(1216)를 통해 가령 네트워크상의 서버와 같은 원격 저장 장치로부터 수신될 수 있다. 명령어들은 가령 대용량 저장소(1218)와 같은 저장 장치로부터 시스템 메모리(1214)로 복사되고, 이후 프로세서(1202)에 의해 액세스되고 실행된다. 다양한 구현예로, 모듈 또는 모듈들은 가령, 병렬 프로세싱 환경에서의 다수의 서버들과 같이 하나 또는 다수의 위치들에서 프로세서 또는 다수의 프로세서들에 의해 실행될 수 있다.
컴퓨터-판독가능한 매체의 예들은, 가령 휘발성 및 비-휘발성 메모리 장치와 같은 기록 가능한 타입의 매체; 고체 상태 메모리(solid state memory; SSD); 플로피 및 다른 제거가능한 디스크; 하드 디스크 드라이브, 자기 매체; 광학 디스크(예컨대, CD ROMS(Compact Disk Read-Only Memory), DVDs(Digital Versatile Disks)); 다른 유사한 비-일시적 (또는 일시적), 실체적 (또는 비-실체적) 저장 매체; 또는 본 명세서에 기술되는 임의의 하나 이상의 프로세스 및 특징을 수행하는 컴퓨터 시스템(1200)에 의해 실행하기 위한 일련의 명령어들을 저장하고, 인코딩하고, 운반하는데 적절한 임의의 타입의 매체를 포함하지만, 이에 제한되지 않는다.
설명하기 위한 목적을 위해, 발명의 설명의 완전한 이해를 제공하도록 다수의 구체적인 세부사항들이 언급된다. 하지만, 본 명세서의 실시예들은 이러한 구체적인 세부사항들 없이도 실행될 수 있음이 통상의 기술자에게 자명해질 것이다. 일부 예에서, 모듈, 구조, 프로세스, 특징, 및 장치는 발명의 설명을 불명확하게 하는 것을 피하기 위해 블록 다이어그램의 형태로 도시된다. 다른 예에서, 기능적 블록 다이어그램 및 흐름 다이어그램은 데이터 및 로직의 흐름을 표현하도록 도시된다. 블록 다이어그램 및 흐름 다이어그램의 컴포넌트들(예컨대, 모듈, 블록, 구조, 장치, 특징 등)은 본 명세서에 명시적으로 기술되고 도시된 것과 다른 방식으로 다양하게 조합되고, 분리되고, 제거되고, 재정렬되고, 대체될 수 있다.
본 명세서에서의 "일실시예", "실시예", "일부 실시예", "다양한 실시예", "특정 실시예", "다른 실시예", "일련의 실시예" 등에 대한 언급은, 실시예와 연계되어 기술된 특정의 특징, 설계, 구조, 또는 특성이 본 명세서의 적어도 하나의 실시예에 포함되는 것을 의미한다. 본 명세서에서의 다양한 위치에서 가령, "일실시예로" 또는 "실시예로"와 같은 구절이 나타나는 것은 동일한 실시예를 언급하거나 혹은 다른 실시예들과 상호 배타적이며 분리된 또는 대안적 실시예들을 필연적으로 언급하는 것은 아니다. 더욱이, "실시예" 등에 대한 명시적인 언급이 있는지와 무관하게, 다양하게 조합될 수 있고 일부 실시예들에 포함될 수 있는 다양한 특징들이 기술되지만, 이들은 또한, 다른 실시예들에서 다양하게 생략된다. 유사하게, 일부 실시예들에 대한 선호사항 또는 요구사항일 수 있지만 다른 실시예들에서는 그렇지 않을 수 있는 다양한 특징들이 기술된다.
본 명세서에 사용되는 용어는 원칙적으로 가독성 및 훈시적 목적을 위해서 선택되었으며, 발명의 대상을 묘사하거나 제한하기 위해 선택된 것은 아니다. 따라서, 보호범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 출원이 기반으로 하는 제출된 청구범위에 의해 정의되는 것으로 의도되었다. 그러므로 실시예들의 개시내용은 이하의 청구범위에서 정의되는 보호범위를 제한하는 것이 아니라 그 예시가 되는 것으로 의도되었다.

Claims (20)

  1. 적어도 하나의 프로세서; 및
    이미지들의 샘플 세트를 수신하는 것;
    이미지와 관련된 하나 이상의 소셜 단서(social clue)에 기반하여 이미지 클래스와 샘플 세트에서 각각의 이미지의 상관관계(correlation)를 점수화(score)하는 것; 및
    점수화에 기반하여 샘플 세트로부터 분류기를 트레이닝(train)할 이미지들의 트레이닝 세트를 결정하는 것을 적어도 하나의 프로세서가 수행하게끔 명령하도록 구성된 명령어들을 저장하는 메모리를 포함하고,
    상기 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서와 관련되는 시스템.
  2. 제 1 항에 있어서,
    이미지 클래스를 특정하는 것을 더 포함하는 시스템.
  3. 제 1 항에 있어서,
    결정하는 것은 점수화에 기반하여 이미지들의 샘플 세트에서 각각의 이미지를 순위화하는 것을 포함하는 시스템.
  4. 제 1 항에 있어서,
    결정하는 것은 이미지들의 샘플 세트 중 최상위 점수의 서브세트를 선택하는 것을 포함하는 시스템.
  5. 제 4 항에 있어서,
    최상위 점수의 서브세트는 이미지들의 트레이닝 세트인 시스템.
  6. 제 1 항에 있어서,
    이미지들의 트레이닝 세트에 기반하여 분류기를 트레이닝하는 것을 더 포함하는 시스템.
  7. 제 1 항에 있어서,
    이미지 클래스와 관련된 시각적 패턴 템플릿(visual pattern template)을 생성하는 것을 더 포함하는 시스템.
  8. 제 1 항에 있어서,
    분류기는 시각적 단어 가방식(bag of visual words) 이미지 분류 기술 또는 뉴럴 네트워크(neural network) 이미지 분류 기술을 사용하도록 구성되는 시스템.
  9. 제 1 항에 있어서,
    이미지 클래스와 이미지들의 평가 세트가 상관되는 정도(extent)를 결정하는 것을 더 포함하는 시스템.
  10. 제 9 항에 있어서,
    이미지들의 평가 세트는 이미지들의 샘플 세트와 상이한 시스템.
  11. 제 9 항에 있어서,
    이미지들의 평가 세트는 이미지들의 샘플 세트보다 이미지들의 더 큰 세트를 포함하는 시스템.
  12. 제 9 항에 있어서,
    이미지 클래스와 관련된 시각적 패턴 템플릿과 이미지들의 평가 세트의 각각의 이미지의 상관관계를 점수화하는 것을 더 포함하는 시스템.
  13. 제 12 항에 있어서,
    이미지들의 평가 세트의 각각의 이미지의 상관관계의 점수화에 기반하여 평가 세트의 각각의 이미지를 순위화하는 것을 더 포함하는 시스템.
  14. 제 12 항에 있어서,
    이미지 클래스와 이미지들의 평가 세트의 최상위 점수의 서브세트를 관련시키는 것을 더 포함하는 시스템.
  15. 제 1 항에 있어서,
    하나 이상의 소셜 단서는 하나 이상의 이미지 태그를 포함하는 시스템.
  16. 제 15 항에 있어서,
    이미지와 관련된 하나 이상의 이미지 태그의 총 개수에서 특정 이미지 태그의 인스턴스(instance)들의 개수를 결정하는 것을 더 포함하는 시스템.
  17. 제 1 항에 있어서,
    하나 이상의 소셜 단서는: 이미지들의 샘플 세트 중 하나의 이미지와 관련된 위치 데이터; 또는 상기 이미지들의 샘플 세트 중 하나의 이미지의 업로더(uploader), 태거(tagger), 또는 소유자의 신원 중 하나 이상을 포함하는 시스템.
  18. 제 1 항에 있어서,
    하나 이상의 소셜 단서는 소셜 네트워킹 시스템에 의해 수신되는 시스템.
  19. 컴퓨터 시스템에 의해, 이미지들의 샘플 세트를 수신하는 단계;
    컴퓨터 시스템에 의해, 이미지와 관련된 하나 이상의 소셜 단서에 기반하여 이미지 클래스와 샘플 세트에서 각각의 이미지의 상관관계를 점수화하는 단계; 및
    컴퓨터 시스템에 의해, 점수화에 기반하여 샘플 세트로부터 분류기를 트레이닝할 이미지들의 트레이닝 세트를 결정하는 단계를 포함하고,
    상기 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서와 관련되는 컴퓨터로 구현되는 방법.
  20. 이미지들의 샘플 세트를 수신하는 단계;
    이미지와 관련된 하나 이상의 소셜 단서에 기반하여 이미지 클래스와 샘플 세트에서 각각의 이미지의 상관관계를 점수화하는 단계; 및
    점수화에 기반하여 샘플 세트로부터 분류기를 트레이닝할 이미지들의 트레이닝 세트를 결정하는 단계를 포함하는 컴퓨터로 구현되는 방법을, 실행시 컴퓨터 시스템이 수행하도록 하는 컴퓨터-실행가능한 명령어들을 저장하고,
    상기 샘플 세트에서 각각의 이미지는 하나 이상의 소셜 단서와 관련되는 컴퓨터 저장 매체.
KR1020167005447A 2013-08-05 2014-02-11 컨텍스트 큐를 이미지와 상관시켜 이미지를 분류하기 위한 시스템 및 방법 KR102244748B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/959,446 2013-08-05
US13/959,446 US10169686B2 (en) 2013-08-05 2013-08-05 Systems and methods for image classification by correlating contextual cues with images
PCT/US2014/015887 WO2015020691A1 (en) 2013-08-05 2014-02-11 Systems and methods for image classification by correlating contextual cues with images

Publications (2)

Publication Number Publication Date
KR20160040633A true KR20160040633A (ko) 2016-04-14
KR102244748B1 KR102244748B1 (ko) 2021-04-28

Family

ID=52427721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167005447A KR102244748B1 (ko) 2013-08-05 2014-02-11 컨텍스트 큐를 이미지와 상관시켜 이미지를 분류하기 위한 시스템 및 방법

Country Status (10)

Country Link
US (2) US10169686B2 (ko)
JP (1) JP6612229B2 (ko)
KR (1) KR102244748B1 (ko)
CN (1) CN105612514B (ko)
AU (1) AU2014304803B2 (ko)
BR (1) BR112016003926A2 (ko)
CA (1) CA2920193A1 (ko)
IL (1) IL243859A0 (ko)
MX (1) MX367510B (ko)
WO (1) WO2015020691A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050669A (ko) * 2017-11-03 2019-05-13 카페24 주식회사 쇼핑몰 웹페이지 저작 방법, 장치 및 시스템

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751198B (zh) * 2013-12-27 2018-04-27 华为技术有限公司 图像中的目标物的识别方法及装置
US10223727B2 (en) * 2014-10-20 2019-03-05 Oath Inc. E-commerce recommendation system and method
US10977571B2 (en) * 2015-03-02 2021-04-13 Bluvector, Inc. System and method for training machine learning applications
CN104899872B (zh) * 2015-05-18 2017-11-03 北京大学 基于显式和隐含信息的图像视觉显著度计算方法和装置
US10534810B1 (en) * 2015-05-21 2020-01-14 Google Llc Computerized systems and methods for enriching a knowledge base for search queries
US11537262B1 (en) 2015-07-21 2022-12-27 Monotype Imaging Inc. Using attributes for font recommendations
US9906704B2 (en) 2015-09-17 2018-02-27 Qualcomm Incorporated Managing crowd sourced photography in a wireless network
US10878286B2 (en) * 2016-02-24 2020-12-29 Nec Corporation Learning device, learning method, and recording medium
CN105825228B (zh) * 2016-03-14 2019-04-30 百度在线网络技术（北京）有限公司 图像识别方法及装置
CN105761269A (zh) * 2016-03-14 2016-07-13 北京大学 基于多尺度区分性子空间的图像显著对象的检测方法
US9892326B2 (en) 2016-03-31 2018-02-13 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
US11237857B2 (en) * 2016-07-07 2022-02-01 Data Accelerator Ltd Method and system for application virtualization that includes machine learning
US11314565B2 (en) * 2016-07-07 2022-04-26 Data Accelerator Ltd Method and system for application virtualization that includes resource access control
US10929461B2 (en) * 2016-07-25 2021-02-23 Evernote Corporation Automatic detection and transfer of relevant image data to content collections
US10645142B2 (en) 2016-09-20 2020-05-05 Facebook, Inc. Video keyframes display on online social networks
US10026021B2 (en) 2016-09-27 2018-07-17 Facebook, Inc. Training image-recognition systems using a joint embedding model on online social networks
US10083379B2 (en) 2016-09-27 2018-09-25 Facebook, Inc. Training image-recognition systems based on search queries on online social networks
US20180101540A1 (en) * 2016-10-10 2018-04-12 Facebook, Inc. Diversifying Media Search Results on Online Social Networks
EP3306555A1 (en) * 2016-10-10 2018-04-11 Facebook, Inc. Diversifying media search results on online social networks
US11200273B2 (en) 2016-10-16 2021-12-14 Ebay Inc. Parallel prediction of multiple image aspects
US10452688B2 (en) * 2016-11-08 2019-10-22 Ebay Inc. Crowd assisted query system
US11347374B2 (en) * 2016-11-17 2022-05-31 Meta Platforms, Inc. Systems and methods for managing shared content
US11544579B2 (en) 2016-11-23 2023-01-03 Primal Fusion Inc. System and method for generating training data for machine learning classifier
CN110168579A (zh) * 2016-11-23 2019-08-23 启创互联公司 用于利用机器学习分类器来使用知识表示的系统和方法
CN106650795B (zh) * 2016-12-01 2020-06-12 携程计算机技术（上海）有限公司 酒店房型图像的排序方法
EP3336800B1 (de) * 2016-12-19 2019-08-28 Siemens Healthcare GmbH Bestimmen einer trainingsfunktion zum generieren von annotierten trainingsbildern
US10803013B2 (en) * 2017-02-10 2020-10-13 Smugmug, Inc. Efficient similarity detection
US11301506B2 (en) * 2017-06-29 2022-04-12 Adobe Inc. Automated digital asset tagging using multiple vocabulary sets
CN107463953B (zh) * 2017-07-21 2019-11-19 上海媒智科技有限公司 在标签含噪情况下基于质量嵌入的图像分类方法及系统
JP7027070B2 (ja) 2017-08-31 2022-03-01 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11334750B2 (en) 2017-09-07 2022-05-17 Monotype Imaging Inc. Using attributes for predicting imagery performance
US10909429B2 (en) * 2017-09-27 2021-02-02 Monotype Imaging Inc. Using attributes for identifying imagery for selection
CN107679183B (zh) 2017-09-29 2020-11-06 百度在线网络技术（北京）有限公司 分类器用训练数据获取方法和装置、服务器及存储介质
WO2019089578A1 (en) 2017-10-30 2019-05-09 Monotype Imaging Inc. Font identification from imagery
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
CN110351180A (zh) * 2018-04-03 2019-10-18 鸿富锦精密电子(天津)有限公司 物联信息管理系统
JP7219023B2 (ja) * 2018-06-22 2023-02-07 日立造船株式会社 情報処理装置および対象物判定プログラム
US10635940B1 (en) * 2018-12-11 2020-04-28 Capital One Services, Llc Systems and methods for updating image recognition models
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
US11494884B2 (en) 2019-02-21 2022-11-08 Canon U.S.A., Inc. Method and system for evaluating image sharpness
US20220004820A1 (en) * 2019-03-06 2022-01-06 Telepathy Labs, Inc. Method and system for assisting a developer in improving an accuracy of a classifier
WO2021081741A1 (zh) * 2019-10-29 2021-05-06 深圳大学 一种基于多关系社交网络的图像分类方法及系统
US11704716B2 (en) * 2019-11-18 2023-07-18 Meta Platforms, Inc. Identifying objects within an image from a user of an online system matching products identified to the online system by the user
US11354936B1 (en) * 2020-07-15 2022-06-07 Amazon Technologies, Inc. Incremental clustering for face recognition systems
US11184445B2 (en) * 2020-09-27 2021-11-23 Jean-Michel Michel Cloutier System and method of establishing communication between users
JP7102563B2 (ja) * 2021-02-03 2022-07-19 プライマル フュージョン インコーポレイテッド 機械学習分類器とともに知識表現を使用するためのシステム及び方法
JP7388662B2 (ja) 2021-08-20 2023-11-29 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN113822252B (zh) * 2021-11-24 2022-04-22 杭州迪英加科技有限公司 显微镜下病理图像细胞鲁棒检测方法
US20230260275A1 (en) * 2022-02-11 2023-08-17 Whammy, Inc. System and method for identifying objects and/or owners

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271297A1 (en) * 2006-05-19 2007-11-22 Jaffe Alexander B Summarization of media object collections
JP2009258953A (ja) * 2008-04-16 2009-11-05 Univ Of Electro-Communications 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
JP2011523137A (ja) * 2008-06-06 2011-08-04 トムソン ライセンシング 画像の類似検索システム及び方法
US20130007667A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation People centric, cross service, content discovery system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909510A (en) 1997-05-19 1999-06-01 Xerox Corporation Method and apparatus for document classification from degraded images
US7296032B1 (en) * 2001-05-17 2007-11-13 Fotiva, Inc. Digital media organization and access
US7941009B2 (en) 2003-04-08 2011-05-10 The Penn State Research Foundation Real-time computerized annotation of pictures
US9715542B2 (en) * 2005-08-03 2017-07-25 Search Engine Technologies, Llc Systems for and methods of finding relevant documents by analyzing tags
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
US7877384B2 (en) 2007-03-01 2011-01-25 Microsoft Corporation Scoring relevance of a document based on image text
US8880529B2 (en) * 2007-05-15 2014-11-04 Tivo Inc. Hierarchical tags with community-based ratings
US20090083332A1 (en) * 2007-09-21 2009-03-26 The Penn State Research Foundation Tagging over time: real-world image annotation by lightweight metalearning
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US20100271297A1 (en) * 2009-04-27 2010-10-28 Shoei-Lai Chen Non-contact touchpad apparatus and method for operating the same
US8478052B1 (en) * 2009-07-17 2013-07-02 Google Inc. Image classification
US8370282B1 (en) * 2009-07-22 2013-02-05 Google Inc. Image quality measures
US20110188742A1 (en) 2010-02-02 2011-08-04 Jie Yu Recommending user image to social network groups
US8401282B2 (en) 2010-03-26 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Method for training multi-class classifiers with active selection and binary feedback
US20120106854A1 (en) 2010-10-28 2012-05-03 Feng Tang Event classification of images from fusion of classifier classifications
US9218364B1 (en) * 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
US9037600B1 (en) * 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
US9646226B2 (en) * 2013-04-16 2017-05-09 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271297A1 (en) * 2006-05-19 2007-11-22 Jaffe Alexander B Summarization of media object collections
JP2009258953A (ja) * 2008-04-16 2009-11-05 Univ Of Electro-Communications 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
JP2011523137A (ja) * 2008-06-06 2011-08-04 トムソン ライセンシング 画像の類似検索システム及び方法
US20130007667A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation People centric, cross service, content discovery system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050669A (ko) * 2017-11-03 2019-05-13 카페24 주식회사 쇼핑몰 웹페이지 저작 방법, 장치 및 시스템

Also Published As

Publication number Publication date
JP2016527646A (ja) 2016-09-08
CN105612514A (zh) 2016-05-25
US10169686B2 (en) 2019-01-01
US20190279053A1 (en) 2019-09-12
KR102244748B1 (ko) 2021-04-28
US20150036919A1 (en) 2015-02-05
MX2016001687A (es) 2016-09-06
CN105612514B (zh) 2020-07-21
BR112016003926A2 (pt) 2019-11-12
AU2014304803A1 (en) 2016-02-25
JP6612229B2 (ja) 2019-11-27
IL243859A0 (en) 2016-04-21
AU2014304803B2 (en) 2019-07-04
MX367510B (es) 2019-08-26
WO2015020691A1 (en) 2015-02-12
CA2920193A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
KR102244748B1 (ko) 컨텍스트 큐를 이미지와 상관시켜 이미지를 분류하기 위한 시스템 및 방법
US10614143B2 (en) Systems and methods for automated page category recommendation
US10154312B2 (en) Systems and methods for ranking and providing related media content based on signals
US20180012236A1 (en) Systems and methods for analyzing interaction-bait content based on classifier models
US10650133B2 (en) Systems and methods for providing image-based security measures
US10652075B2 (en) Systems and methods for selecting content items and generating multimedia content
US10630632B2 (en) Systems and methods for ranking comments
US10699216B2 (en) Systems and methods for providing content
US11709996B2 (en) Suggesting captions for content
US10552473B2 (en) Systems and methods for processing media content that depict objects
US20160373454A1 (en) Systems and methods for providing content to verified entities
US10769199B2 (en) Systems and methods for processing media content that depict objects
US10460171B2 (en) Systems and methods for processing media content that depict objects
EP2835748A1 (en) Systems and methods for image classification by correlating contextual cues with images
US10360255B2 (en) Systems and methods to determine location of media items
US9544384B2 (en) Method and system for pushing associated users in social networking service network
US20160078035A1 (en) Systems and methods for providing real-time content items associated with topics
US20180096390A1 (en) Systems and methods for promoting content items
US20190155929A1 (en) Systems and methods for automated query expansion
US20220303632A1 (en) Systems and methods for automatically adjusting playback of media content items
US10733478B2 (en) Systems and methods for processing media content that depict objects
US10419383B2 (en) Systems and methods for ranking comments based on interaction-to-impression ratio
US10270772B2 (en) Systems and methods for providing content to verified entities
US20170220644A1 (en) Media discovery across content respository

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant