KR20180080276A - 딥-러닝 모델을 사용한 컨텐츠 아이템의 식별 - Google Patents

딥-러닝 모델을 사용한 컨텐츠 아이템의 식별 Download PDF

Info

Publication number
KR20180080276A
KR20180080276A KR1020187015573A KR20187015573A KR20180080276A KR 20180080276 A KR20180080276 A KR 20180080276A KR 1020187015573 A KR1020187015573 A KR 1020187015573A KR 20187015573 A KR20187015573 A KR 20187015573A KR 20180080276 A KR20180080276 A KR 20180080276A
Authority
KR
South Korea
Prior art keywords
content item
content
embedding
point
deep
Prior art date
Application number
KR1020187015573A
Other languages
English (en)
Inventor
발마노하르 팔루리
오렌 리펠
피오트르 돌라
루보미르 디미트로브 부르데브
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20180080276A publication Critical patent/KR20180080276A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

일실시예로, 본 방법은 제1 컨텐츠 아이템을 수신하는 단계를 포함할 수 있다. 제1 컨텐츠 아이템의 제1 임베딩이 결정될 수 있고 임베딩 공간 내 제1 지점에 대응할 수 있다. 임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함할 수 있다. 임베딩은 딥-러닝 모델을 사용하여 결정된다. 지점들은 임베딩 공간 내 하나 이상의 클러스터에 위치하며 컨텐츠 아이템의 클래스와 각각 관련된다. 클러스터 내 지점의 위치는 각각의 대응하는 컨텐츠 아이템의 하나 이상의 속성에 기반할 수 있다. 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템은 제1 지점과 제2 지점의 위치 및 식별된 제2 컨텐츠 아이템에 대응하는 제2 지점이 위치하는 특정 클러스터에 기반하여 식별될 수 있다.

Description

딥-러닝 모델을 사용한 컨텐츠 아이템의 식별
본 출원은 미국연방법률(35 U.S.C. §119(e)) 하에 2015년 11월 5일자로 출원된 미국 가특허출원 제62/251,352호의 우선권을 주장하며, 그 내용은 본 명세서에 참조로 통합되어 있다.
본 명세서는 일반적으로 딥-러닝 모델의 훈련에 관한 것이다.
딥-러닝(Deep-learning)은 지도형 또는 비지도형 설정에서 모델을 훈련하는 것을 포함할 수 있는 기계 학습의 한 유형이다. 딥-러닝 모델은 데이터의 표현을 학습하도록 훈련될 수 있다. 예로서 제한 없이, 딥-러닝 모델은 데이터를 강도 값의 벡터로 나타낼 수 있다. 딥-러닝 모델은 데이터 분류에 사용될 수 있다. 분류는 딥-러닝 모델을 훈련하여 데이터 포인트가 카테고리 세트 중 어느 곳에 속하는지를 결정하는 것을 포함할 수 있다.
특정 실시예로, 본 시스템은 딥-러닝 모델을 사용하여 입력된 컨텐츠 아이템과 유사한 하나 이상의 컨텐츠 아이템을 식별할 수 있다. 딥-러닝 모델은 다차원 임베딩 공간 내 임베딩(embeddings)과 컨텐츠 아이템을 맵핑하도록 훈련될 수 있다. 각각의 임베딩은 임베딩 공간 내 한 지점의 좌표에 대응할 수 있다. 딥-러닝 모델은 동일한 클래스에 속하는 컨텐츠 아이템들이 임베딩 공간 내 동일한 클러스터 지점에 위치하도록 컨텐츠 아이템들의 임베딩을 생성하도록 훈련될 수 있다. 딥-러닝 모델은 컨텐츠 아이템의 하나 이상의 속성에 기초하여 클러스터 내의 특정 위치에 컨텐츠 아이템을 배치하는 컨텐츠 아이템의 임베딩을 생성하도록 더 훈련될 수 있다.
컨텐츠 아이템의 임베딩은 임의의 수의 적절한 작업을 달성하는데 사용될 수 있다. 예로서 제한 없이, 시스템은 검색 알고리즘을 이용하여 임베딩 공간에서 검색 질의에 근접한 컨텐츠 아이템들의 하나 이상의 임베딩을 식별할 수 있다. 시스템은 식별된 임베딩들의 컨텐츠 아이템들이 검색 질의와 유사하다고 결정할 수 있다. 특정 실시예에서, 컨텐츠 아이템은 클라이언트 시스템에서 사용자에 의해 입력되는 수신된 검색 질의에 응답하여 식별될 수 있다. 식별된 컨텐츠 아이템은 클라이언트 시스템에서 실행되는 애플리케이션(예컨대, 메시징 플랫폼, 소셜 네트워킹 시스템과 관련된 애플리케이션 또는 임의의 다른 적절한 애플리케이션)의 인터페이스에서 제안으로서 사용자에게 디스플레이될 수 있다.
특정 실시예에서, 제2 컨텐츠 아이템이 (예컨대, 제1 컨텐츠 아이템을 포함하는 검색 질의에 응답하여) 식별될 수 있고 제1 컨텐츠 아이템에 근접한 임베딩 공간 내 임베딩을 가질 수 있다(예컨대, 식별된 제2 컨텐츠 아이템은 제1 컨텐츠 아이템과 관련되고/되거나 유사한 엔티티 또는 데이터 객체일 수 있다). 식별된 제2 컨텐츠 아이템은 캐싱되거나 사전-캐싱(pre-caching)될 수 있다. 예로서 제한 없이, 제1 컨텐츠 아이템에 가까운 식별된 제2 컨텐츠 아이템은 한 명 이상의 사용자 또는 하나 이상의 클라이언트 시스템에 대해 개별적으로 캐싱되거나 사전-캐싱될 수 있다. 캐싱 또는 사전-캐싱은 예로서 제한 없이 한 명 이상의 특정 사용자 또는 사용자 각각에 대해 서버-측 또는 클라이언트-측에서 구현되거나 수행될 수 있다. 캐싱 또는 사전-캐싱은 컨텐츠 아이템이 더 신속하게 액세스될 수 있게 할 수 있다. 예로서 제한 없이, 컨텐츠 아이템(제1 컨텐츠 아이템과 관련되거나 유사한 식별된 제2 컨텐츠 아이템)은 각 사용자가 요청하는 경우 또는 서버가 사용자(예컨대, 사용자의 클라이언트 시스템)에게 추천(예컨대, 식별된 제2 컨텐츠 아이템)을 푸시하는 경우 신속하게 액세스될 수 있다. 제안된 방법을 사용함으로써, 예로서 제한 없이 사용자 또는 클라이언트 시스템으로부터의 검색 질의로서 획득되었거나 수신되었던 제1 컨텐츠 아이템과 관련되는 컨텐츠 아이템(예컨대, 컴퓨팅 시스템 - 예로서 제한 없이 소셜 네트워킹 시스템의 하나 이상의 데이터베이스 내에 저장된 데이터 객체)을 식별하는 것이 가능하다. 식별된 제2 컨텐츠 아이템은 각각 액세스될 확률과 연관될 수 있다. 특정 실시예에서, 제2 컨텐츠 아이템은 액세스될 확률이 특정 최소 확률을 초과함을 기초로 선택될 수 있다. 이러한 컨텐츠 아이템 또는 객체를 캐싱 또는 사전-캐싱하는 것은 쓸데없는 캐싱을 피하고/하거나 데이터 트래픽을 감소시키고/시키거나 각각의 컨텐츠 아이템 또는 데이터 객체에 액세스하기 위한 속도 또는 액세스 시간을 향상시키는데 효과적일 수 있다. 가능한 모든 컨텐츠 아이템들(예컨대, 수십억 개의 컨텐츠 아이템들) 중에서, 각 검색에서 컨텐츠 아이템들의 서브세트만이 관련성이 있다고 발견될 수 있다. 제안된 방법을 사용함으로써, 관련 컨텐츠 아이템들의 서브세트는 클라이언트 시스템으로 전송되거나 클라이언트 시스템에 의해 캐싱 또는 사전-캐싱될 수 있다. 예로서 제한 없이 제1 컨텐츠 아이템과 유사하다(예컨대, 임베딩 공간 내 제1 컨텐츠 아이템에 근접하다)고 결정된 제2 컨텐츠 아이템을 포함하는 관련 컨텐츠 아이템은 임베딩 공간에서 검색(예컨대, 거리 검색)을 실행함으로써 신속하게 획득 및/또는 식별될 수 있다. 특정 실시예에서, 엔티티의 클러스터링은 사용되는 각각의 데이터베이스에 기초할 수 있다. 즉, 클러스터링은 데이터베이스에 따라 다를 수 있다. 관련 엔티티의 클러스터링은 예로서 제한 없이 제안된 방법에 기초한 소셜 네트워킹 시스템의 한 명 이상의 사용자에 대해 수행될 수 있다.
특정 실시예에서, 컨텐츠 아이템, 컨텐츠 아이템과 관련된 정보 또는 둘 모두는 예로서 제한 없이 하나 이상의 데이터베이스 또는 데이터 스토어에 데이터 객체로서 저장될 수 있다. 이러한 데이터베이스 또는 데이터 스토어는 예로서 제한 없이 (예컨대, 서로 다른 위치, 도시, 국가 및/또는 대륙에서) 지리적으로 분포될 수 있는 하나 이상의 데이터 센터에 있을 수 있다. 특정 실시예에서, 임베딩 공간은 한 명 이상의 특정 사용자, 각 사용자, 소셜 네트워킹 시스템의 한 명 이상의 사용자 또는 이들의 임의의 조합에 대해 하나 이상의 컨텐츠 아이템의 관련성을 예측하는데 사용될 수 있고, 사용자는 각각의 지리적 위치 내에 각각 위치할 수 있다. 관련성이 있다고 예측된 컨텐츠 아이템들 및 해당 정보는 결정된 관련성에 기초하여 한 명 이상의 사용자와 더 가까운 거리에 위치한 데이터베이스에 저장될 수 있다. 또한, 관련성이 있다고 결정된 컨텐츠 아이템 및 관련 정보는 예로서 제한 없이 한 명 이상의 사용자 또는 클라이언트 시스템의 지리적 위치와 더 가까운 거리에 위치하는 하나 이상의 클라이언트 시스템, 하나 이상의 서버 또는 이들의 임의의 조합으로 사전-캐싱되거나 캐싱될 수 있다. 이러한 실시예는 원격 데이터베이스 및/또는 데이터 센터 간의 부하 및/또는 데이터 트래픽을 감소시키는데 효과적일 수 있다. 이들 실시예는 또한 (예컨대, 특정 컨텐츠 아이템에 액세스하기 위한) 액세스 시간을 향상(예컨대, 감소)시킬 수 있다.
특정 실시예에서, 컨텐츠 아이템은 또한 클러스터링되거나 리-클러스터링될 수 있다. 클러스터링(clustering)은 더 빠른 검색 결과(즉, 검색 시간의 단축 및 그에 따른 검색 엔진의 부하 감소) 및/또는 대응하는 데이터 네트워크를 통한 더 적은 데이터 트래픽에 이르게 할 수 있다. 클러스터는 임베딩 공간 내 포지션 또는 위치에 기초하여 데이터 스토어에 저장될 수 있다. 이런 저장 기법은 데이터 액세스 시간 및/또는 검색 시간을 향상시킬 수 있다. 예로서 제한 없이, 임베딩 공간 내 그들의 각각의 위치에 기초하여 컨텐츠 아이템의 클러스터를 데이터 스토어에 저장하면 검색 엔진은 관련 결과를 검색하기 위해 더 적은 데이터 스토어를 방문할 수 있다. 또한, 임베딩을 클러스터링함으로써, 임베딩 공간으로부터 검색된 검색 결과는 클러스터링이 수행되지 않는 임베딩 공간으로부터 검색 결과를 검색하는 애플리케이션에 비해 더 정확하고/특정될 수 있는데, 이는 검색 결과가 엔티티의 속성뿐만 아니라 고급 일반 분류에 더 기반할 수 있기 때문이다. 클라이언트 시스템은 사용자에 대한 적절한 검색 결과를 얻기 위해 점점 더 정제된 검색을 계속 제출할 필요가 없을 수 있는데, 이는 클라이언트 시스템과 서버 간의 상호작용의 수와 강도가 감소될 수 있음을 의미한다. 또한, 클러스터링은 다른 클러스터들의 검색 결과가 검색 결과에 의도적으로 풀링(pulled)될 수 있으므로 더 다양한 검색 결과를 제공할 수 있다. 비록 임베딩의 결정이 서버에 의해 수행되는 특정 실시예가 기술되지만, 이는 예로서 제한이 없고 클라이언트 시스템이 임베딩 공간에서 컨텐츠 아이템의 임베딩들 중 일부 또는 전부를 결정할 수 있다. 예로서 제한 없이, 컨텐츠 아이템은 시각적 컨텐츠일 수 있고, 시각적 컨텐츠의 전-처리(pre-processing)는 클라이언트 시스템에서 또는 클라이언트 시스템에 의해 수행될 수 있다(예컨대, 시각적 컨텐츠의 하나 이상의 속성을 결정할 수 있다). 이후, 사용자는 시각적 컨텐츠에 대응하는 하나 이상의 검색 용어를 (예컨대, 클라이언트 시스템의 인터페이스에서) 제시받을 수 있다(예컨대, 각 검색 용어는 시각적 컨텐츠의 하나 이상의 속성에 기초한다). 이후, 사용자는 (예컨대, 각각의 프롬프트를 송출하는 클라이언트 시스템 또는 서버에 의해) 검색 용어를 확인하도록 프롬프트될 수 있다.
본 명세서에 개시된 실시예들은 단지 예들이며, 본 명세서의 범위는 이에 국한되지 않는다. 특정 실시예들은 본 명세서에 개시된 실시예들의 컴포넌트, 구성요소, 특징, 기능, 동작 또는 단계의 전부 또는 일부를 포함하거나 전혀 포함하지 않을 수 있다. 특히, 본 발명에 따른 실시예들은 방법, 저장매체, 시스템 및 컴퓨터 프로그램 제품에 관한 첨부된 청구항들에 개시되며, 예컨대 방법과 같은 하나의 청구항 카테고리로 언급되는 임의의 특징은 또한 예컨대 시스템과 같은 또 다른 청구항 카테고리로 청구될 수 있다. 첨부된 청구항들에서 종속항들이나 재참조(references back)가 단지 형식적인 이유로 선택된다. 그러나, 임의의 이전의 청구항들에 대한 의도적인 재참조(특히, 다수의 종속항들)로부터 생성된 임의의 발명의 내용은 청구항들과 이들의 특징들의 임의의 조합이 개시되고 첨부된 청구항들에서 선택된 종속항들에 관계없이 청구될 수 있도록 또한 청구될 수 있다. 청구될 수 있는 발명의 내용은 첨부된 청구항들에서 제시되는 특징들의 조합뿐 아니라 청구항들의 특징들의 임의의 다른 조합을 포함하며, 청구항들에 언급된 각각의 특징은 청구항들의 임의의 다른 특징이나 다른 특징들의 조합과 결합될 수 있다. 게다가, 본 명세서에 기술되거나 도시된 임의의 실시예들 및 특징들은 단독의 청구항으로 및/또는 본 명세서에서 기술되거나 도시된 임의의 실시예나 특징과의 임의의 조합으로 또는 첨부된 청구항들의 임의의 특징들로 청구될 수 있다.
본 발명에 따른 일실시예에서, 컴퓨터-구현 방법은: 하나 이상의 컴퓨팅 장치에 의해, 제1 컨텐츠 아이템을 수신하는 단계; 하나 이상의 컴퓨팅 장치에 의해, 제1 컨텐츠 아이템의 제1 임베딩을 결정하는 단계; 및 하나 이상의 컴퓨팅 장치에 의해: 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하는 단계를 포함할 수 있고, 제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고, 임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며, 제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고, 제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며, 각각의 클러스터는 컨텐츠 아이템의 클래스(class)와 관련되고, 제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치한다.
실시예들에서 딥-러닝 모델은 기계-학습 모델, 신경망, 잠재적 신경망, 임의의 다른 적절한 딥-러닝 모델 또는 이들의 임의의 조합일 수 있다. 실시예들에서, 딥-러닝 모델은 복수의 추상화 계층을 가질 수 있고, 입력은 임의의 적절한 수의 컨텐츠 아이템일 수 있으며, 출력은 컨텐츠 아이템의 하나 이상의 임베딩일 수 있다.
임베딩 공간은 다-차원 공간, 예컨대 d-차원일 수 있고, d는 용량을 제어하는 하이퍼-파라미터(예컨대, 자연수)이며, 임베딩 공간은 컨텐츠 아이템의 임베딩에 대응하는 복수의 지점을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 컨텐츠 아이템의 임베딩은 임베딩 공간에서의 컨텐츠 아이템의 표현을 말한다.
특정 실시예로, 딥-러닝 모델, 예컨대 신경망은 Rd에서 벡터와 컨텐츠 아이템을 맵핑하는 하나 이상의 인덱스를 포함할 수 있는데, 이때 R은 실수의 집합을 나타내고, d는 예컨대 자연수와 같이 용량을 제어하는 하이퍼-파라미터이다. 벡터는 d-차원 강도 벡터일 수 있다. 본 명세서에서 사용되는 바와 같이, 강도 값은 -1 내지 1의 범위 내 임의의 적절한 값일 수 있다. 컨텐츠 아이템의 각각의 벡터 표현은 임베딩 공간 내 각각의 지점에 대한 좌표를 제공할 수 있다.
특정 실시예로, 제2 컨텐츠 아이템이 연관되어 있는(즉, 위치하는) 클러스터는 예로서 제한 없이 임베딩 공간 내 클러스터의 각각의 위치에 따라 하나 이상의 데이터 스토어에 저장될 수 있다. 특히, 클러스터링은 (예컨대, 검색 질의에서) 제1 컨텐츠 아이템을 수신한 해당 검색 엔진이 제한된 수의 데이터 스토어에 집중할 수 있다는 이점을 가질 수 있다. 즉, 검색 엔진은 관련 결과(예컨대, 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템)를 검색하기 위해 많은 데이터 스토어로 갈 필요가 없다. 이는 검색 엔진의 부하를 줄일 수 있다. 이는 또한 데이터 전송 속도를 감소시킬 수 있다.
특정 실시예로, 클러스터링은 다양한 검색 결과를 제공하는데 사용될 수 있다. 예를 들어, 검색 결과를 다양화하기 위해 검색 결과는 의도적으로 서로 다른 클러스터에서 가져올 수 있다.
특정 실시예로, 임베딩 공간 내 컨텐츠 아이템의 임베딩은 하나 이상의 서버에 의해 결정될 수 있다. 특정 실시예에서, 컨텐츠 아이템의 임베딩은 하나 이상의 클라이언트 시스템에 의해 결정될 수 있다. 예로서 제한 없이, 임의의 적합한 유형의 컨텐츠(예컨대, 시각적 컨텐츠)의 전-처리는 클라이언트 시스템에 의해 전체적으로 또는 부분적으로 수행될 수 있다. 또 다른 예로서 제한 없이, 클라이언트 시스템은 컨텐츠 아이템(예컨대, 시각적 컨텐츠 아이템)의 하나 이상의 속성을 결정할 수 있다.
특정 실시예로, 임베딩 및 클러스터링은 하나 이상의 데이터베이스에서 대응하는 컨텐츠 아이템을 저장하는데 사용될 수 있다. 이러한 하나 이상의 데이터베이스는 예로서 제한 없이 하나 이상의 상호연결된 데이터베이스를 포함하는 데이터 센터일 수 있다. 컨텐츠 아이템은 특정 지리적 위치 내 사용자 또는 다른 엔티티(entity)의 관련성에 대해 예측되거나 결정된 확률에 기초하여 하나 이상의 데이터베이스에 저장될 수 있다. 또한, 컨텐츠 아이템은 특정 지리적 위치와 연관된 컨텐츠 아이템들과 컨텐츠 아이템들 사이의 유사성에 기초하여 하나 이상의 데이터베이스에 저장될 수 있다.
특정 실시예에서, 임베딩 공간은 (예컨대, 임베딩 공간 내 컨텐츠 아이템들 사이의 근접성에 기초하여 또는 임베딩 공간에서 동일한 클러스터에 있는 컨텐츠 아이템에 기초하여) 소정의 제1 컨텐츠 아이템에 대한 제2 컨텐츠 아이템의 관련성 확률 또는 유사성 값을 결정하는데 사용될 수 있다. 컨텐츠 아이템이 하나 이상의 데이터베이스에 저장되는 방식(즉, 어느 컨텐츠 아이템이 어느 데이터베이스에 저장되는지)은 결정된 확률 또는 유사성 값에 기초하여 결정될 수 있다. 예로서 제한 없이, 사용자 특화되고/되거나 지리적으로 특화된 예측에 기초할 수도 있다.
컨텐츠 아이템들 사이의 유사성을 결정하기 위해 임베딩 공간을 사용하는 정확성은 데이터 접근 시간을 향상시킬 수 있다. 또한, 임베딩은 (예컨대, 검색 엔진에 의해) 검색 시간을 줄이는데 효과적일 수 있다. 특히, 임베딩 공간으로부터 결정되는 유사성에 따른 분류 및/또는 저장 및 결정된 유사성에 따른 클러스터링을 통해 검색 시간은 더 빨라지고, 데이터 트래픽은 더 적어지며, 각각의 검색 엔진 및 관련 데이터베이스의 시스템 부하는 감소할 수 있다.
또한, 본 발명의 실시예들은 하나 이상의 전자식 데이터베이스에서 하나 이상의 데이터베이스에 저장된 데이터 객체와 관련된 컨텐츠 아이템을 탐색 및/또는 검색하기 위한 컴퓨터-구현 검색 엔진을 작동하는 방법에 관한 것일 수 있다. 검색 엔진을 작동하는 방법은 본 명세서에 개시되는 임의의 실시예를 포함하는 상술한 방법을 포함할 수 있고, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템이 결정되는 방법은 하나 이상의 전자식 데이터베이스에서 검색 결과를 식별하기 위해 사용될 수 있으며, 결정되는 유사한 제2 컨텐츠 아이템에 기초하여 검색 결과, 즉 검색 결과 페이지는 예컨대 질의중인 사용자와 관련된 디스플레이 장치에서 디스플레이하기 위해 생성되고 제공될 수 있다. 특히, 제1 컨텐츠 아이템은 하나 이상의 컴퓨팅 장치에 의해 수신되는 검색 질의 또는 검색 용어를 표현할 수 있고, 제1 컨텐츠 아이템과 유사하다고 결정되는 하나 이상의 제2 컨텐츠 아이템은 검색 결과로서 사용될 수 있거나 제1 컨텐츠 아이템을 수신함에 응답하여 검색 결과의 생성을 위해 사용될 수 있다.
특정 실시예로, 예로서 제한 없이, 다-차원 임베딩 공간 내 컨텐츠 아이템들 사이의 유사성에 기초하여 검색 결과를 결정하는 것은 하나 이상의 서로 다른 데이터베이스를 포함하는 전자식 데이터베이스 내 특정 컨텐츠 아이템에 대한 검색의 속도 및/또는 정확성을 향상시킬 수 있다.
제안된 방법에 따라 동작하는 각각의 검색 엔진에 의해 생성되는 검색 결과는 더 정확하고/하거나 특화될 수 있는데, 이는 적어도 검색 결과가 공지된 검색 알고리즘의 경우일 수 있는 단지 하이-레벨 클래스에 기반하지 않을 수 있지만, 또한 검색될 컨텐츠 아이템의 속성에 기반할 수 있다. 따라서, 클라이언트 시스템은 사용자가 구하는 검색 결과를 얻기 위해 점점 더 정제된 검색을 계속하여 제출할 필요가 없을 수 있거나, 즉 검색 엔진으로 제출되는 검색의 수가 크게 감소될 수 있다. 특히, 이는 클라이언트 시스템과 서버 사이의 특정 상호작용의 시스템 부하를 감소하는 것이 적절하다.
딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련될 수 있다.
제1 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수일 수 있다.
딥-러닝 모델은 신경망(neural network)일 수 있다.
특정 실시예로, 본 발명에 따라, 본 방법은 식별된 하나 이상의 제2 컨텐츠 아이템에 기반하여 검색 결과를 생성하는 단계 및 디스플레이 장치에서 디스플레이하기 위해 질의중인 사용자와 관련된 검색 결과를 제공하는 단계; 및/또는 식별된 하나 이상의 제2 컨텐츠 아이템과 관련된 클러스터에 따라 제1 컨텐츠 아이템을 저장하는 단계; 및/또는 사용자와 관련된 클라이언트 장치 및/또는 서버에서 식별된 제2 컨텐츠 아이템 중 하나 이상을 캐싱 또는 사전-캐싱(pre-caching)하는 단계; 및/또는 유사한 식별된 제2 컨텐츠 아이템에 기반하여, 특히 식별된 하나 이상의 제2 컨텐츠 아이템으로부터 선택되는 컨텐츠 아이템을 리-클러스터링(re-clustering)하는 단계를 더 포함할 수 있다.
제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠일 수 있고, 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함할 수 있다.
제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의일 수 있다.
본 발명에 따른 일실시예에서, 본 방법은 사용자에게 디스플레이하기 위해 하나 이상의 식별된 제2 컨텐츠 아이템을 클라이언트 시스템으로 송신하는 단계를 더 포함할 수 있다.
제1 컨텐츠 아이템의 컨텐츠 유형은 텍스트 컨텐츠, 이미지 컨텐츠, 오디오 컨텐츠 및 비디오 컨텐츠 중 하나 이상을 포함할 수 있다.
본 발명에 따른 일실시예에서, 본 방법은 제1 컨텐츠 아이템의 컨텐츠 유형을 결정하는 단계를 더 포함하고, 상기 하나 이상의 제2 컨텐츠 아이템을 식별하는 단계는 제1 컨텐츠 아이템의 컨텐츠 유형에 더 기반할 수 있다.
본 발명에 따른 일실시예에서, 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체는: 제1 컨텐츠 아이템을 수신하고; 제1 컨텐츠 아이템의 제1 임베딩을 결정하며; 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하도록 실행시 동작하는 소프트웨어를 포함할 수 있고, 제1 임베딩은 임베딩 공간 내 제1 지점에 대응하고, 임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며, 제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고, 제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며, 각각의 클러스터는 컨텐츠 아이템의 클래스와 관련되고, 제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치한다.
딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩을 감소시키는 손실 함수를 사용하여 훈련될 수 있다.
제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수일 수 있다.
제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠일 수 있고, 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈, 조명 상태, 전경 구조, 재료, 질감, 크기 및 입상도 중 하나 이상을 포함할 수 있다.
제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의일 수 있다.
본 발명에 따른 일실시예에서, 본 시스템은 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함한 메모리를 포함할 수 있고, 상기 프로세서는: 제1 컨텐츠 아이템을 수신하고; 제1 컨텐츠 아이템의 제1 임베딩을 결정하며; 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하는 명령어를 실행할 때 동작하며, 제1 임베딩은 임베딩 공간 내 제1 지점에 대응하고, 임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며, 제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고, 제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며, 각각의 클러스터는 컨텐츠 아이템의 클래스와 관련되고, 제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치한다.
딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩을 감소시키는 손실 함수를 사용하여 훈련될 수 있다.
제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수일 수 있다.
제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠일 수 있고, 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈, 조명 상태, 전경 구조, 재료, 질감, 크기 및 입상도 중 하나 이상을 포함할 수 있다.
제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의일 수 있다.
본 발명의 또 하나의 실시예로, 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체는 본 발명 또는 상술한 임의의 실시예들에 따른 방법을 수행하도록 실행될 때 동작하는 소프트웨어를 포함한다.
본 발명의 또 하나의 실시예로, 시스템은: 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 적어도 하나의 메모리를 포함하며, 상기 프로세서는 본 발명 또는 상술한 임의의 실시예들에 따른 방법을 수행하는 명령어를 실행할 때 동작한다.
본 발명의 또 하나의 실시예로, 바람직하기로 컴퓨터-판독가능한 비-일시적 저장매체를 포함하는 컴퓨터 프로그램 제품은 본 발명 또는 상술한 임의의 실시예들에 따른 방법을 수행하도록 데이터 처리 시스템에서 실행될 때 동작한다.
본 발명의 내용 중에 포함되어 있다.
도 1은 소셜 네트워킹 시스템과 관련된 예시적인 네트워크 환경을 도시한다.
도 2는 예시적인 소셜 그래프를 도시한다.
도 3은 예시적인 딥-러닝 모델을 도시한다.
도 4는 딥-러닝 모델을 사용하여 생성되는 임베딩 공간의 뷰의 예를 도시한다.
도 5는 임베딩 공간 내 유사한 컨텐츠 아이템들을 식별하기 위한 방법의 예를 도시한다.
도 6은 임베딩 공간의 뷰의 예를 도시한다.
도 7은 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템을 식별하기 위한 방법의 예를 도시한다.
도 8은 예시적인 컴퓨터 시스템을 도시한다.
시스템 개요
도 1은 소셜 네트워킹 시스템과 관련된 예시적인 네트워크 환경(100)을 도시한다. 네트워크 환경(100)은 네트워크(110)에 의해 서로 연결되는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 포함한다. 도 1은 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 특정한 구성을 도시하지만, 본 명세서는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 임의의 적절한 구성을 고려한다. 예로서 제한 없이, 2 이상의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 네트워크(110)를 우회하여 서로 직접적으로 연결될 수 있다. 또 다른 예로서, 2 이상의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 전체적으로 또는 부분적으로 서로 물리적으로 또는 논리적으로 같은 장소에 배치될 수 있다. 게다가, 도 1은 특정한 수의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 도시하지만, 본 명세서는 임의의 적절한 수의 클라이언트 장치(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크 환경(100)은 다수의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 포함할 수 있다.
본 명세서는 임의의 적절한 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크(110)의 하나 이상의 부분은 애드 혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설 네트워크(VPN), 근거리 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 대도시 네트워크(MAN), 인터넷의 일부, 공중 전화망(PSTN)의 일부, 셀룰러 전화 네트워크 또는 2 이상의 이들의 조합을 포함할 수 있다. 네트워크(110)는 하나 이상의 네트워크(110)를 포함할 수 있다.
링크(150)는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 통신 네트워크(110)와 연결하거나 서로 연결할 수 있다. 본 명세서는 임의의 적절한 링크(150)를 고려한다. 특정 실시예로, 하나 이상의 링크(150)는 하나 이상의 유선라인(가령, 예컨대, 디지털 가입자 라인(DSL) 또는 DOCSIS(Data Over Cable Service Interface Specification)), 무선(가령, 예컨대, Wi-Fi 또는 WiMAX(Worldwide Interoperability for Microwave Access)) 또는 광학(가령, 예컨대, 동기식 광학 네트워크(Synchronous Optical Network, SONET) 또는 동기식 디지털 계층(Synchronous Digital Hierarchy, SDH)) 링크를 포함한다. 특정 실시예로, 하나 이상의 링크(150)는 애드 혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부, PSTN의 일부, 셀룰러 기술-기반 네트워크, 위성 통신 기술-기반 네트워크, 또 다른 링크(150) 또는 2 이상의 이런 링크(150)의 조합을 각각 포함한다. 링크(150)는 네트워크 환경(100)을 통해 반드시 동일할 필요는 없다. 하나 이상의 제1 링크(150)는 하나 이상의 측면에서 하나 이상의 제2 링크(150)와 다를 수 있다.
특정 실시예로, 클라이언트 시스템(130)은 하드웨어, 소프트웨어 또는 임베디드 로직 컴포넌트나 이들의 2 이상의 컴포넌트의 조합을 포함하고 클라이언트 시스템(130)에 의해 구현되거나 지원되는 적절한 기능을 수행할 수 있는 전자식 장치일 수 있다. 예로서 제한 없이, 클라이언트 시스템(130)은 가령 데스크톱 컴퓨터, 노트북이나 랩톱 컴퓨터, 넷북, 태블릿 컴퓨터, e-북 리더, GPS 장치, 카메라, 개인용 정보 단말기(PDA), 휴대용 전자 장치, 셀룰러 전화, 스마트폰, 증강/가상 현실 장치, 다른 적절한 전자 장치 또는 이들의 임의의 적절한 조합과 같은 컴퓨터 시스템을 포함할 수 있다. 본 명세서는 임의의 적절한 클라이언트 시스템(130)을 고려한다. 클라이언트 시스템(130)은 클라이언트 시스템(130)에서 네트워크 사용자가 네트워크(110)에 접근할 수 있게 할 수 있다. 클라이언트 시스템(130)은 그 사용자가 다른 클라이언트 시스템(130)의 다른 사용자들과 통신할 수 있게 할 수 있다.
특정 실시예로, 클라이언트 시스템(130)은, 가령 MICROSOFT INTERNET EXPLORER, GOOGLE CHROME 또는 MOZILLA FIREFOX와 같은 웹 브라우저(132)를 포함할 수 있고, 가령 TOOLBAR 또는 YAHOO TOOLBAR와 같은 하나 이상의 애드-온(add-ons), 플러그-인(plug-ins) 또는 다른 확장형(extensions)을 가질 수 있다. 클라이언트 시스템(130)에서의 사용자는 URL(Uniform Resource Locator) 또는 웹 브라우저(132)를 특정 서버(가령, 서버(162) 또는 제3자 시스템(170)과 관련된 서버)로 인도하는 다른 주소를 입력할 수 있고, 웹 브라우저(132)는 하이퍼텍스트 전송 프로토콜(HTTP) 요청을 생성하고 HTTP 요청을 서버로 통신할 수 있다. 서버는 HTTP 요청을 수락하고, HTTP 요청에 응답하여 하나 이상의 하이퍼텍스트 마크업 언어(HTML) 파일을 클라이언트 시스템(130)으로 통신할 수 있다. 클라이언트 시스템(130)은 사용자에게 표시하기 위해 서버로부터 HTML 파일에 기초한 웹페이지를 렌더링할 수 있다. 본 명세서는 임의의 적절한 웹페이지 파일을 고려한다. 예로서 제한 없이, 웹페이지는 특정한 필요에 따라 HTML 파일, 확장형 하이퍼텍스트 마크업 언어(XHTML) 파일 또는 확장형 마크업 언어(XML) 파일로부터 렌더링할 수 있다. 또한, 이런 페이지는, 예로서 제한 없이 JAVASCRIPT, JAVA, MICROSOFT SILVERLIGHT, 가령 AJAX(비동기식 JAVASCRIPT 및 XML)와 같은 마크업 언어와 스크립트의 조합 등과 같은 스크립트를 실행할 수 있다. 본 명세서에서, 웹페이지에 대한 레퍼런스는 (브라우저가 웹페이지를 렌더링하는데 사용할 수 있는) 하나 이상의 해당 웹페이지 파일을 포함하며, 적절한 경우, 그 역도 또한 같다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크를 호스팅할 수 있는 네트워크-주소화 컴퓨팅 시스템일 수 있다. 소셜 네트워킹 시스템(160)은 예컨대 사용자-프로필 데이터, 컨셉-프로필 데이터, 소셜-그래프 정보 또는 온라인 소셜 네트워크에 관한 다른 적절한 데이터와 같은 소셜 네트워킹 데이터를 생성, 저장, 수신 및 송신할 수 있다. 소셜 네트워킹 시스템(160)은 직접적으로 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 컴포넌트들에 의해 접근될 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 서버(162)를 포함할 수 있다. 각 서버(162)는 일체형 서버(unitary server)일 수 있거나, 다수의 컴퓨터 또는 다수의 데이터센터에 걸쳐 있는 분산형 서버일 수 있다. 서버(162)는 예로서 제한 없이, 웹 서버, 뉴스 서버, 메일 서버, 메시지 서버, 광고 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터베이스 서버, 프록시 서버, 본 명세서에 기술된 기능이나 프로세스를 수행하는데 적절한 또 다른 서버 또는 이들의 임의의 조합과 같이, 다양한 타입일 수 있다. 특정 실시예로, 각 서버(162)는 서버(162)에 의해 구현되거나 지원되는 적절한 기능을 수행하기 위한 하드웨어, 소프트웨어 또는 임베디드 논리 소자 또는 2 이상의 이런 소자들의 조합을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(164)은 하나 이상의 데이터 스토어(164)를 포함할 수 있다. 데이터 스토어(164)는 다양한 타입의 정보를 저장하는데 사용될 수 있다. 특정 실시예로, 데이터 스토어(164)에 저장된 정보는 특정한 데이터 구조에 따라 구조화될 수 있다. 특정 실시예로, 각 데이터 스토어(164)는 관계형, 컬럼형, 상관형 또는 다른 적절한 데이터베이스일 수 있다. 비록 본 명세서는 특정 타입의 데이터베이스를 기술하거나 도시하지만, 본 명세서는 임의의 적절한 타입의 데이터베이스를 고려한다. 특정 실시예는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)이 데이터 스토어(164)에 저장된 정보를 관리, 검색, 변경, 추가 또는 삭제할 수 있게 하는 인터페이스를 제공할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어(164)에 하나 이상의 소셜 그래프를 저장할 수 있다. 특정 실시예로, 소셜 그래프는 (특정 사용자에 각각 해당하는) 다수의 사용자 노드 또는 (특정 컨셉에 각각 해당하는) 다수의 컨셉 노드를 포함할 수 있는 다수의 노드 및 노드를 연결하는 다수의 에지를 포함할 수 있다. 소셜 네트워킹 시스템(160)은 다른 사용자와 통신하고 상호작용하는 능력을 온라인 소셜 네트워크의 사용자에게 제공할 수 있다. 특정 실시예로, 사용자는 소셜 네트워킹 시스템(160)을 통해 온라인 소셜 네트워크에 가입한 후 연결들(즉, 관계들)을 그들이 연결되고자 하는 소셜 네트워킹 시스템(160)의 다수의 다른 사용자에 추가할 수 있다. 본 명세서에서, "친구"란 용어는 사용자가 소셜 네트워킹 시스템(160)을 통해 연결, 유대 또는 관계를 형성했던 소셜 네트워킹 시스템(160)의 임의의 다른 사용자를 가리킬 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)에 의해 지원되는 다양한 유형의 아이템이나 객체에 대한 행위를 취할 수 있는 능력을 사용자에게 제공할 수 있다. 예로서 제한 없이, 아이템 및 객체는 소셜 네트워킹 시스템(160)의 사용자들이 속할 수 있는 그룹이나 소셜 네트워크, 사용자가 관심을 가질지도 모르는 이벤트 또는 캘린더 엔트리, 사용자가 사용할 수 있는 컴퓨터-기반 애플리케이션, 사용자가 서비스를 통해 아이템을 팔거나 구매할 수 있게 하는 거래, 사용자가 수행할 수 있는 광고와의 상호작용 또는 다른 적절한 아이템이나 객체를 포함할 수 있다. 사용자는 소셜 네트워킹 시스템(160) 또는 소셜 네트워킹 시스템(160)과 별개이거나 네트워크(110)를 통해 소셜 네트워킹 시스템(160)에 결합되는 제3자 시스템(170)의 외부 시스템에서 표현될 수 있는 모든 것과 상호작용할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 다양한 엔티티를 링크할 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 사용자가 서로 상호작용할 뿐 아니라 제3자 시스템(170)이나 다른 엔티티로부터 컨텐츠를 수신할 수 있게 하거나, 사용자가 응용 프로그래밍 인터페이스(API)나 다른 통신 채널을 통해 이런 엔티티와 상호작용할 수 있게 해줄 수 있다.
특정 실시예로, 제3자 시스템(170)은 하나 이상의 타입의 서버, 하나 이상의 데이터 스토어, API들을 포함하나 이에 국한되지 않는 하나 이상의 인터페이스, 하나 이상의 웹 서비스, 하나 이상의 컨텐츠 소스, 하나 이상의 네트워크 또는 예컨대 서버가 통신할 수 있는 임의의 다른 적절한 컴포넌트를 포함할 수 있다. 제3자 시스템(170)은 소셜 네트워킹 시스템(160)을 운영하는 엔티티와는 다른 엔티티에 의해 운영될 수 있다. 그러나, 특정 실시예로, 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 소셜 네트워킹 서비스를 소셜 네트워킹 시스템(160)이나 제3자 시스템(170)의 사용자에게 제공하도록 서로 함께 동작할 수 있다. 이런 의미에서, 소셜 네트워킹 시스템(160)은 가령 제3자 시스템(170)과 같은 다른 시스템들이 인터넷상의 사용자들에게 소셜 네트워킹 서비스와 기능을 제공하도록 사용할 수 있는 플랫폼 또는 백본(backbone)을 제공할 수 있다.
특정 실시예로, 제3자 시스템(170)은 제3자 컨텐츠 객체 제공자를 포함할 수 있다. 제3자 컨텐츠 객체 제공자는 클라이언트 시스템(130)과 통신될 수 있는 하나 이상의 소스의 컨텐츠 객체를 포함할 수 있다. 예로서 제한 없이, 컨텐츠 객체는 가령 영화 쇼타임, 영화 리뷰, 레스토랑 리뷰, 레스토랑 메뉴, 제품 정보와 리뷰 또는 다른 적절한 정보와 같이 사용자가 관심 있는 사물이나 활동에 관한 정보를 포함할 수 있다. 또 다른 예로서 제한 없이, 컨텐츠 객체는 가령 쿠폰, 할인 티켓, 상품권 또는 다른 적절한 인센티브 객체와 같은 인센티브 컨텐츠 객체를 포함할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 또한 소셜 네트워킹 시스템(160)과 사용자의 상호작용을 향상시킬 수 있는 사용자-생성된 컨텐츠 객체를 포함한다. 사용자-생성된 컨텐츠는 사용자가 소셜 네트워킹 시스템(160)에 추가, 업로드, 송신 또는 "게시"할 수 있는 어떤 것을 포함할 수 있다. 예로서 제한 없이, 사용자는 클라이언트 시스템(130)으로부터 소셜 네트워킹 시스템(160)으로 게시물을 통신할 수 있다. 게시물은 가령 상태 업데이트나 다른 텍스트형 데이터와 같은 데이터, 위치 정보, 사진, 비디오, 링크, 음악 또는 다른 유사한 데이터나 매체를 포함할 수 있다. 또한, 컨텐츠는 가령 뉴스피드 또는 스트림과 같이 "통신 채널"을 통해 제3자에 의해 소셜 네트워킹 시스템(160)에 추가될 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 다양한 서버, 서브-시스템, 프로그램, 모듈, 로그 및 데이터 스토어를 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 다음의 하나 이상의: 웹 서버, 행위 로거, API 요청 서버, 관련성 및 순위화 엔진, 컨텐츠 객체 분류기, 알림 제어기, 행위 로그, 제3자 컨텐츠 객체 노출 로그, 추론 모듈, 인증/개인정보 서버, 검색 모듈, 광고 타겟팅 모듈, 사용자 인터페이스 모듈, 사용자 프로필 스토어, 연결 스토어, 제3자 컨텐츠 스토어 또는 위치 스토어를 포함할 수 있다. 또한, 소셜 네트워킹 시스템(160)은 가령 네트워크 인터페이스, 보안 메커니즘, 부하 균형기, 장애 서버, 관리 및 네트워크 운영 콘솔, 다른 적절한 컴포넌트 또는 이들의 임의의 적절한 조합과 같이 적절한 컴포넌트들을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 사용자 프로필을 저장하기 위한 하나 이상의 사용자 프로필 스토어를 포함할 수 있다. 사용자 프로필은 예컨대 인명정보, 인구학적 정보, 행동 정보, 소셜 정보 또는 가령 경력, 학력, 취미나 기호, 관심사, 친밀감, 위치와 같은 다른 유형의 설명적 정보를 포함할 수 있다. 관심사 정보는 하나 이상의 카테고리에 관한 관심사를 포함할 수 있다. 카테고리는 일반적이거나 구체적일 수 있다. 예로서 제한 없이, 사용자가 신발 브랜드에 관한 기사에 "좋아한다"면, 카테고리는 그 브랜드일 수 있거나 "신발" 또는 "옷"의 일반 카테고리일 수 있다. 연결 스토어는 사용자에 대한 연결 정보를 저장하는데 사용될 수 있다. 연결 정보는 유사하거나 공통의 경력, 그룹 맴버쉽, 취미, 학력을 가지거나 임의의 방식으로 관련되거나 공통 속성을 공유하는 사용자들을 표시할 수 있다. 또한, 연결 정보는 (내부와 외부 모두의) 다른 사용자들과 컨텐츠 사이의 사용자-정의된 연결들을 포함할 수 있다. 웹 서버는 네트워크(110)를 통해 하나 이상의 클라이언트 시스템(130)이나 하나 이상의 제3자 시스템(170)과 소셜 네트워킹 시스템(160)을 링크하는데 사용될 수 있다. 웹 서버는 소셜 네트워킹 시스템(160)과 하나 이상의 클라이언트 시스템(130) 사이에서 메시지를 수신하고 라우팅하기 위한 메일 서버나 다른 메시징 기능을 포함할 수 있다. API 요청 서버는 제3자 시스템(170)이 하나 이상의 API를 호출하여 소셜 네트워킹 시스템(160)으로부터의 정보에 접근할 수 있게 해줄 수 있다. 행위 로거는 소셜 네트워킹 시스템(160) 내부나 외부에서의 사용자의 행위에 대한 웹 서버로부터의 통신을 수신하는데 사용될 수 있다. 행위 로그와 함께, 제3자 컨텐츠 객체 로그에서는 제3자 컨텐츠 객체에 대한 사용자 노출이 관리될 수 있다. 알림 제어기는 컨텐츠 객체에 관한 정보를 클라이언트 시스템(130)에 제공할 수 있다. 정보는 알림으로서 클라이언트 시스템(130)으로 푸싱(pushed)될 수 있거나, 정보는 클라이언트 시스템(130)으로부터 수신된 요청에 응답하여 클라이언트 시스템(130)으로부터 풀링(pulled)될 수 있다. 인증 서버는 소셜 네트워킹 시스템(160)의 사용자의 하나 이상의 개인정보 설정을 강제하는데 사용될 수 있다. 사용자의 개인정보 설정은 사용자와 관련된 특정 정보가 어떻게 공유될 수 있는지를 결정한다. 인증 서버는 예컨대 적절한 개인정보 설정을 설정함으로써, 사용자의 행위를 소셜 네트워킹 시스템(160)에 의해 로그되게 하거나 다른 시스템(예컨대, 제3자 시스템(170))과 공유되게 하도록 사용자가 참여하거나 탈퇴할 수 있게 해줄 수 있다. 제3자 컨텐츠 객체 스토어는 가령 제3자 시스템(170)과 같은 제3자로부터 수신된 컨텐츠 객체를 저장하는데 사용될 수 있다. 위치 스토어는 사용자와 관련된 클라이언트 시스템(130)으로부터 수신된 위치 정보를 저장하는데 사용될 수 있다. 광고 가격결정 모듈은 소셜 정보, 현재시간, 위치 정보 또는 다른 적절한 정보를 결합하여 알림의 형태로 사용자에게 관련 광고를 제공할 수 있다.
소셜 그래프
도 2는 예시적인 소셜 그래프(200)를 도시한다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 하나 이상의 소셜 그래프(200)를 저장할 수 있다. 특정 실시예로, 소셜 그래프(200)는 다수의 사용자 노드(202)나 다수의 컨셉 노드(204)를 포함할 수 있는 다수의 노드 및 노드를 연결하는 다수의 에지(206)를 포함할 수 있다. 도 2에 도시된 예시적인 소셜 그래프(200)는 훈시적 목적상 2차원 시각적 지도 표현으로 도시된다. 특정 실시예로, 소셜 네트워킹 시스템(160), 클라이언트 시스템(130) 또는 제3자 시스템(170)은 소셜 그래프(200) 및 적절한 애플리케이션에 대한 관련 소셜-그래프 정보에 접근할 수 있다. 소셜 그래프(200)의 노드 및 에지는 예컨대 데이터 스토어(가령, 소셜-그래프 데이터베이스)에 데이터 객체로서 저장될 수 있다. 이런 데이터 스토어는 소셜 그래프(200)의 노드 또는 에지의 하나 이상의 검색가능하거나 질의가능한 인덱스를 포함할 수 있다.
특정 실시예로, 사용자 노드(202)는 소셜 네트워킹 시스템(160)의 사용자에 해당할 수 있다. 예로서 제한 없이, 사용자는 개인(사람인 사용자), 엔티티(예컨대, 기업, 사업체 또는 제3자 애플리케이션) 또는 소셜 네트워킹 시스템(160)과 상호작용하거나 소셜 네트워킹 시스템에서 통신하는 (예컨대, 개인 또는 엔티티의) 그룹일 수 있다. 특정 실시예로, 사용자가 소셜 네트워킹 시스템(160)에서 계정을 등록하면, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)를 생성할 수 있고, 하나 이상의 데이터 스토어에 사용자 노드(202)를 저장할 수 있다. 적절한 경우, 본 명세서에 기술되는 사용자들 및 사용자 노드들(202)은 등록 사용자들 및 등록 사용자들과 관련된 사용자 노드들(202)을 말할 수 있다. 추가로 또는 대안으로, 본 명세서에 기술되는 사용자들 및 사용자 노드들(202)은 적절한 경우 소셜 네트워킹 시스템(160)에 등록되지 않은 사용자들을 말할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자가 제공한 정보 및 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템이 수집한 정보와 관련될 수 있다. 예로서 제한 없이, 사용자는 그들의 이름, 프로필 사진, 연락 정보, 생일, 성별, 혼인 여부, 가족 관계, 직장, 학력, 기호, 관심사 또는 다른 신상 정보를 제공할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자와 관련된 정보에 해당하는 하나 이상의 데이터 객체와 관련될 수 있다. 특정 실시예로, 사용자 노드(202)는 하나 이상의 웹페이지에 해당할 수 있다.
특정 실시예로, 컨셉 노드(204)는 컨셉에 해당할 수 있다. 예로서 제한 없이, 컨셉은 장소(가령, 예컨대, 영화관, 레스토랑, 명소 또는 도시); 웹사이트(가령, 예컨대, 소셜 네트워크 시스템(160)과 관련된 웹사이트 또는 웹-애플리케이션 서버와 관련된 제3자 웹사이트); 엔티티(가령, 예컨대, 사람, 사업체, 그룹, 스포츠 팀 또는 유명인사); 소셜 네트워킹 시스템(160) 또는 가령 웹-애플리케이션 서버와 같은 외부 서버에 위치할 수 있는 자원(가령, 예컨대, 오디오 파일, 비디오 파일, 디지털 사진, 텍스트 파일, 구조화된 문서 또는 애플리케이션); 물적 재산권 또는 지적 재산권(가령, 예컨대, 조각품, 미술품, 영화, 게임, 노래, 아이디어, 사진 또는 저서); 게임; 활동; 아이디어나 이론; 증강/가상 현실 환경 내 객체; 또 다른 적절한 컨셉; 또는 2 이상의 이런 컨셉들에 해당할 수 있다. 컨셉 노드(204)는 사용자에 의해 제공된 컨셉의 정보 또는 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템에 의해 수집된 정보와 관련될 수 있다. 예로서 제한 없이, 컨셉의 정보는 이름이나 제목; 하나 이상의 이미지(예컨대, 책의 커버 페이지의 이미지); 위치(예컨대, 주소 또는 지리적 위치); (URL과 관련될 수 있는) 웹사이트; 연락 정보(예컨대, 전화번호 또는 이메일 주소); 다른 적절한 컨셉 정보; 또는 이런 정보의 임의의 적절한 조합을 포함할 수 있다. 특정 실시예로, 각각의 컨셉 노드(204)는 컨셉 노드(204)와 관련된 정보에 해당하는 하나 이상의 데이터 객체와 관련될 수 있다. 특정 실시예로, 각각의 컨셉 노드(204)는 웹페이지에 해당할 수 있다.
특정 실시예로, 소셜 그래프(200)에서 노드는 ("프로필 페이지"라고 할 수 있는) 웹페이지를 표현하거나, 그 웹페이지로 표현될 수 있다. 프로필 페이지는 소셜 네트워킹 시스템(160)에 의해 호스트될 수 있거나, 접근될 수 있다. 또한, 프로필 페이지는 제3자 서버(170)와 관련된 제3자 웹사이트에 호스트될 수 있다. 예로서 제한 없이, 특정한 외부 웹페이지에 해당하는 프로필 페이지는 특정한 외부 웹페이지일 수 있고, 이런 프로필 페이지는 특정 컨셉 노드(204)에 해당할 수 있다. 프로필 페이지는 모든 또는 선택된 서브세트의 다른 사용자들에 의해 열람될 수 있다. 예로서 제한 없이, 사용자 노드(202)는 해당 사용자가 컨텐츠를 추가할 수 있고, 선언을 할 수 있으며, 그렇지 않으면 그들 자신을 표현할 수 있는 해당 사용자 프로필-페이지를 가질 수 있다. 또 다른 예로서 제한 없이, 컨셉 노드(204)는 특히 컨셉 노드(204)에 해당하는 컨셉과 관련하여 하나 이상의 사용자들이 컨텐츠를 추가할 수 있거나, 선언을 할 수 있거나, 그들 자신을 표현할 수 있는 해당 컨셉-프로필 페이지를 가질 수 있다.
특정 실시예로, 컨셉 노드(204)는 제3자 시스템(170)에 의해 호스팅된 제3자 웹페이지 또는 자원을 표현할 수 있다. 제3자 웹페이지 또는 자원은 다른 요소들 중에서 행위 또는 활동을 표현하는 (예컨대, JavaScript, AJAX 또는 PHP 코드로 구현될 수 있는) 컨텐츠, 선택가능하거나 다른 아이콘 또는 다른 상호작용가능한 객체를 포함할 수 있다. 예로서 제한 없이, 제3자 웹페이지는 가령 "좋아요", "체크인", "식사하기(eat)", "추천하기" 또는 다른 적절한 행위나 활동과 같은 선택가능한 아이콘을 포함할 수 있다. 제3자 웹페이지를 열람하는 사용자는 아이콘들 중 하나(예컨대, "체크인")를 선택하여 행위를 수행할 수 있고, 클라이언트 시스템(130)이 사용자의 행위를 표시하는 메시지를 소셜 네트워킹 시스템(160)으로 송신하게 할 수 있다. 그 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 제3자 웹페이지 또는 자원에 해당하는 컨셉 노드(204) 사이의 에지(예컨대, "체크인-타입" 에지)를 생성할 수 있고, 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다.
특정 실시예로, 소셜 그래프(200)에서 노드 쌍은 하나 이상의 에지(206)에 의해 서로 연결될 수 있다. 노드 쌍을 연결하는 에지(206)는 노드 쌍 사이의 관계를 표현할 수 있다. 특정 실시예로, 에지(206)는 노드 쌍 사이의 관계에 해당하는 하나 이상의 데이터 객체나 속성을 포함하거나 표현할 수 있다. 예로서 제한 없이, 제1 사용자는 제2 사용자가 제1 사용자의 "친구"라고 표시할 수 있다. 이런 표시에 응답하여, 소셜 네트워킹 시스템(160)은 "친구 요청"을 제2 사용자에게 송신할 수 있다. 제2 사용자가 "친구 요청"을 확인하면, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)에서 제1 사용자의 사용자 노드(202)와 제2 사용자의 사용자 노드(202)를 연결하는 에지(206)를 생성할 수 있고, 하나 이상의 데이터 스토어(164)에 소셜-그래프 정보로서 에지(206)를 저장할 수 있다. 도 2의 예에서, 소셜 그래프(200)는 사용자 "A"와 사용자 "B"의 사용자 노드(202)들 사이의 친구 관계를 표시하는 에지(206)를 그리고 사용자 "C"와 사용자 "B"의 사용자 노드(202) 사이의 친구 관계를 표시하는 에지를 포함한다. 본 명세서가 특정 사용자 노드(202)를 연결하는 특정 속성을 가진 특정 에지(206)를 기술하거나 도시하지만, 본 명세서는 사용자 노드(202)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 예로서 제한 없이, 에지(206)는 친구관계, 가족관계, 사업이나 고용 관계, (예컨대, 좋아요 등을 포함하는) 팬 관계, 팔로어 관계, (예컨대, 액세스하기, 열람하기, 체크인하기, 공유하기 등을 포함하는) 방문자 관계, 구독자 관계, 상위/하위 관계, 호혜 관계, 비-상호 관계, 또 다른 적절한 타입의 관계 또는 2 이상의 이런 관계들을 표현할 수 있다. 게다가, 본 명세서는 일반적으로 노드들이 연결되는 것을 기술하지만, 본 명세서는 또한 사용자 또는 컨셉이 연결되는 것을 기술한다. 본 명세서에서, 사용자 또는 컨셉이 연결되는 것에 대한 언급은 적절한 경우 이들 사용자 또는 컨셉에 해당하는 노드가 하나 이상의 에지(206)에 의해 소셜 그래프(200)에서 연결되는 것을 말할 수 있다.
특정 실시예로, 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)는 컨셉 노드(204)와 관련된 컨셉에 대해 사용자 노드(202)의 사용자가 수행한 특정 행위 또는 활동을 표현할 수 있다. 예로서 제한 없이, 도 2에 도시된 바와 같이, 사용자는 컨셉을 "좋아요(like)", "참여했음(attended)", "실행했음(played)", "청취했음(listened)", "요리했음(cooked)", "근무했음(worked at)", 또는 "시청했음(watched)"을 할 수 있고, 이들 각각은 에지 타입이나 서브타입에 해당할 수 있다. 컨셉 노드(204)에 해당하는 컨셉-프로필 페이지는 예컨대 선택가능한 "체크인" 아이콘(가령, 예컨대, 클릭가능한 "체크인" 아이콘) 또는 선택가능한 "즐겨찾기에 추가(add to favorites)" 아이콘을 포함할 수 있다. 마찬가지로, 사용자가 이런 아이콘을 클릭한 후, 소셜 네트워킹 시스템(160)은 각각의 행위에 해당하는 사용자의 행위에 응답하여 "즐겨찾기" 에지 또는 "체크인" 에지를 생성할 수 있다. 또 다른 예로서 제한 없이, 사용자(사용자 "C")는 특정 애플리케이션(온라인 음악 애플리케이션인 SPOTIFY)을 사용하여 특정 노래("Imagine")를 들을 수 있다. 이 경우, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 노래 및 애플리케이션에 해당하는 컨셉 노드(204) 사이에 "청취했음(listened)" 에지(206) 및 "사용했음(used)" 에지(도 2에 도시)를 생성하여, 사용자가 그 노래를 들었고 그 애플리케이션을 사용했음을 표시할 수 있다. 게다가, 소셜 네트워킹 시스템(160)은 노래와 애플리케이션에 해당하는 컨셉 노드(204) 사이에서 "실행했음(played)" 에지(206)(도 2에 도시)를 생성하여 특정 노래가 특정 애플리케이션에 의해 실행되었음을 표시할 수 있다. 이 경우, "실행했음(played)" 에지(206)는 외부 오디오 파일(노래 "Imagine")에 대해 외부 애플리케이션(SPOTIFY)이 수행한 행위에 해당한다. 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 특정 속성을 가진 에지(206)를 기술하지만, 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 게다가, 본 명세서는 단일의 관계를 표현하는 사용자 노드(202)와 컨셉 노드(204) 사이의 에지를 기술하지만, 본 명세서는 하나 이상의 관계를 표현하는 사용자 노드(202)와 컨셉 노드(204) 사이의 에지를 고려한다. 예로서 제한 없이, 에지(206)는 사용자가 특정 컨셉에서 좋아요 하고 사용했음을 모두 표현할 수 있다. 대안으로, 또 다른 에지(206)는 사용자 노드(202)와 컨셉 노드(204) 사이(도 2에 도시된 바와 같이, 사용자 "E"에 대한 사용자 노드(202)와 "SPOTIFY"에 대한 컨셉 노드(204) 사이)의 각 타입의 관계(또는 다수의 단일 관계)를 표현할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)에서 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 예로서 제한 없이, (가령, 예컨대, 사용자의 클라이언트 시스템(130)에 의해 호스팅되는 웹 브라우저 또는 특수목적 애플리케이션을 사용하여) 사용자가 컨셉-프로필 페이지를 열람하는 것은 사용자가 "좋아요" 아이콘을 클릭하거나 선택하여 컨셉 노드(204)가 표현한 컨셉을 좋아함을 나타낼 수 있는데, "좋아요" 아이콘은 사용자의 클라이언트 시스템(130)이 컨셉-프로필 페이지와 관련된 컨셉을 사용자가 좋아요 했다고 표시한 메시지를 소셜 네트워킹 시스템(160)으로 송신하게 할 수 있다. 그 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자와 컨셉 노드(204) 사이의 "좋아요" 에지(206)로 도시된 바와 같이 사용자와 관련된 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다. 특정 실시예로, 에지(206)는 특정 사용자 행위에 응답하여 소셜 네트워킹 시스템(160)에 의해 자동 형성될 수 있다. 예로서 제한 없이, 제1 사용자가 사진을 업로드하거나, 영화를 시청하거나, 노래를 듣는다면, 에지(206)는 제1 사용자에 해당하는 사용자 노드(202)와 이런 컨셉에 해당하는 컨셉 노드(204) 사이에 형성될 수 있다. 본 명세서는 특정 방식으로 특정 에지(206)를 형성하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 에지(206)를 형성하는 것을 고려한다.
딥-러닝 모델의 훈련
특정 실시예는 딥-러닝 모델을 사용하여 소정의 컨텐츠 아이템(예컨대, 검색 질의)과 유사한 하나 이상의 컨텐츠 아이템을 식별한다. 컨텐츠 아이템은 예로서 제한 없이 텍스트 컨텐츠(예컨대, 하나 이상의 n-그램), 시각적 컨텐츠(예컨대, 하나 이상의 이미지), 오디오 컨텐츠(예컨대, 하나 이상의 오디오 녹음), 비디오 컨텐츠(예컨대, 하나 이상의 비디오 클립), 임의의 다른 적합한 유형의 컨텐츠 또는 이들의 임의의 조합을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, n-그램은 단어들이나 단어 그룹, 담화의 임의의 일부, 구두점(예컨대, "!"), 구어체(예컨대, "미친다(go nuts)"), 두문자어(예컨대, "BRB"), 약어(예컨대, "mgmt."), 감탄사("우"), 영숫자 문자, 기호, 문자, 강조 부호 또는 이들의 임의의 조합일 수 있다.
도 3은 예시적인 딥-러닝 모델(310)을 도시한다. 딥-러닝 모델(310)은 기계 학습 모델, 신경망, 잠재적 신경망, 임의의 다른 적합한 딥-러닝 모델 또는 이들의 임의의 조합일 수 있다. 특정 실시예에서, 딥-러닝 모델(310)은 복수의 추상화 계층을 가질 수 있다. 입력들(302, 304, 306 및 308)은 임의의 적절한 수의 컨텐츠 아이템들일 수 있다. 출력들(312)은 컨텐츠 아이템들의 하나 이상의 임베딩일 수 있다. 임베딩 공간은 다-차원 공간(예컨대, d-차원, 이때 d는 용량을 제어하는 하이퍼-파라미터)일 수 있고, 컨텐츠 아이템들의 임베딩들에 대응하는 복수의 지점을 포함할 수 있다. 본 명세서에 사용되는 바와 같이, 컨텐츠 아이템의 임베딩은 임베딩 공간 내 컨텐츠 아이템의 표현을 말한다. 비록 특정 개수의 입력 컨텐츠 아이템들(302, 304, 306 및 308)이 도 3에 도시되어 있지만, 딥-러닝 모델(310)은 임의의 적절한 개수의 입력 컨텐츠 아이템들(302, 304, 306 및 308)에 대한 컨텐츠 아이템들의 임베딩을 생성할 수 있다.
특정 실시예로, 딥-러닝 모델(310)(예컨대, 신경망)은 Rd 내 벡터와 컨텐츠 아이템을 맵핑하는 하나 이상의 인덱스를 포함할 수 있는데, 이때 R은 실수의 집합을 나타내고, d는 용량을 제어하는 하이퍼-파라미터이다. 벡터는 d-차원 강도 벡터일 수 있다. 본 명세서에서 사용되는 바와 같이, 강도 값은 -1 내지 1의 범위 내 임의의 적절한 값일 수 있다. 컨텐츠 아이템들의 각각의 벡터 표현들은 임베딩 공간 내 각각의 지점에 대한 좌표를 제공할 수 있다. 비록 특정 개수의 입력 컨텐츠 아이템들(302, 304, 306 및 308)이 도 3에 도시되어 있지만, 딥-러닝 모델(310)은 임의의 적절한 수의 컨텐츠 아이템들(302, 304, 306 및 308)과 벡터 표현들 간의 맵핑을 제공할 수 있다.
딥-러닝 모델(310)은 컨텐츠 아이템의 최적 임베딩을 생성하도록 훈련될 수 있다. 딥-러닝 모델(310)은 딥-러닝 모델(310)이 훈련될 때 동적으로 업데이트될 수 있는 하나 이상의 인덱스를 포함할 수 있다. 하나 이상의 인덱스는 딥-러닝 모델(310)의 훈련 단계 동안 생성될 수 있다. 딥-러닝 모델(310)은 예를 들어 신경망 또는 잠재적 신경망일 수 있다. 딥-러닝 모델(310)은 랜덤 분포를 사용하여 초기화될 수 있다. 즉, 딥-러닝 모델(310)은 (즉, 컨텐츠 아이템(302, 304, 306 및 308)과 벡터 표현 사이에서, 컨텐츠 아이템(302, 304, 306 및 308)의 어느 임베딩이 생성될 수 있는지에 기초하여) 초기에 랜덤으로 할당된 맵핑을 가질 수 있다. 예로서 제한 없이, 랜덤 분포는 가우시안 분포(Gaussian distribution)일 수 있다. 훈련을 통해 딥-러닝 모델(310)의 하나 이상의 인덱스는 초기 맵핑보다 더 최적의 맵핑을 생성할 수 있다.
비록 본 명세서는 도 3의 특정 실시예가 소셜 네트워킹 시스템(160)에 의해 구현되는 것을 기술하고 도시하지만, 본 명세서는 도 3의 임의의 적절한 실시예가 임의의 적절한 플랫폼이나 시스템에 의해 구현되는 것을 고려한다. 예로서 제한 없이, 도 3의 특정 실시예는 클라이언트 시스템(130), 제3자 시스템(170) 또는 임의의 다른 적절한 시스템에 의해 구현될 수 있다. 게다가, 비록 본 명세서는 도 3의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 3의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
특정 실시예에서, 딥-러닝 모델(310)은 임베딩 공간 내 컨텐츠 아이템의 임베딩의 클러스터를 생성하도록 훈련될 수 있다. 각 클러스터는 컨텐츠 아이템의 클래스(예컨대, 컨텐츠 아이템의 카테고리화 또는 서브세트)와 연관될 수 있다. 본 명세서에서 사용되는 바와 같이, 클러스터는 임베딩 공간 내 컨텐츠 아이템의 임베딩에 대응하는 하나 이상의 지점들의 세트일 수 있고, 임베딩이 클러스터에 있는 컨텐츠 아이템은 동일한 클래스에 속할 수 있다.
도 4는 딥-러닝 모델(310)을 사용하여 생성된 임베딩 공간의 예시적인 뷰(400)를 도시한다. 임베딩 공간은 2개의 클러스터(410 및 412)를 포함하는 것으로 도시된다. 클러스터(410)는 백색 원 세트(402) 및 흑색 원 세트(404)인 원 세트들로 도시된 컨텐츠 아이템의 임베딩을 포함하는 것으로 도시된다. 클러스터(412)는 백색 정사각형 세트(406) 및 검은 정사각형 세트(408)인 정사각형 세트들로 도시된 컨텐츠 아이템들의 임베딩을 포함하는 것으로 도시된다. 비록 컨텐츠 아이템(402, 404, 406 및 408)의 임베딩이 특정 모양인 것으로 도 4에 도시되어 있지만, 이들 각각의 임베딩은 다-차원 임베딩 공간에서 (즉, 좌표로 정의되는) 각각의 지점을 나타내는 것으로 이해될 것이다. 컨텐츠 아이템(402, 404, 406 및 408)의 임베딩은 명확성 및 설명의 용이함을 위해 특정 모양을 갖는 것으로 도시된다.
특정 실시예로, 딥-러닝 모델(310)은 (예를 들어, 컨텐츠 아이템을 분류하기 위해) 임베딩 공간에서 클러스터로 컨텐츠 아이템을 임베딩하고 클래스 간의 편차에 기초하여 클러스터 내의 위치에 컨텐츠 아이템을 임베딩하도록 훈련될 수 있다. 본 명세서에서 사용되는 바와 같이, 컨텐츠 아이템을 임베딩하는 것은 임베딩 공간의 특정 지점에 대응하는 컨텐츠 아이템의 임베딩을 생성하는 것을 지칭할 수 있다. 딥-러닝 모델(310)이 훈련되기 전에(예컨대, 초기화에), 딥-러닝 모델(310)은 임베딩 공간 내에 랜덤하게 배치된 컨텐츠 아이템의 임베딩을 생성할 수 있다. 딥-러닝 모델(310)은 컨텐츠 아이템의 각각의 임베딩의 벡터 표현과 유사한 컨텐츠 아이템들의 임베딩의 벡터 표현 간의 오차를 최소화하거나 감소시키도록 훈련될 수 있다. 딥-러닝 모델(310)은 의미론적 유사성(예를 들어, 컨텐츠 아이템의 하나 이상의 의미에 기초한 관계) 및 시각적 유사성(예를 들어, 시각적 컨텐츠 아이템의 하나 이상의 시각적 속성에 기초한 관계)을 사용하여 컨텐츠 아이템 간의 유사성을 결정하도록 훈련될 수 있다. 특정 실시예에서, 딥-러닝 모델(310)은 컨텐츠 아이템들의 의미론적 유사성에 기초하여 (예컨대, 특정 클러스터에 임베딩하도록) 컨텐츠 아이템들을 분류하도록 훈련될 수 있다. 특정 실시예에서, 딥-러닝 모델(310)은 동일한 클러스터 및 상이한 클러스터(예컨대, 근방 또는 이웃 클러스터)에 임베딩된 컨텐츠 아이템들 간의 시각적 유사성에 기초하여 클러스터 내 특정 위치에 컨텐츠 아이템을 임베딩하도록 훈련될 수 있다. 딥-러닝 모델(310)은 (예를 들어, 유사성의 추가적인 척도를 추가함으로써) 임베딩 공간 내 하나 이상의 클러스터에 위치하는 지점들 사이의 오버랩을 감소시키는 손실 함수를 사용하여 훈련될 수 있다. 비록 유사성이 의미론적 및 시각적 유사성으로 구성되는 것으로 본 명세서에서 설명되고 도시되어 있지만, 이는 단지 예시적인 것이며 한정의 의미가 아니라는 것을 의미할 것이다. 유사성은 의미론적 유사성, 시각적 유사성, 오디오 유사성, 임의의 다른 적절한 유사성 기준 또는 이들의 임의의 조합에 기초하여 정의될 수 있다. 유사성은 컨텐츠 아이템의 유형에 기초하여 정의될 수 있다. 예로서 제한 없이, 딥-러닝 모델(310)은 오디오 컨텐츠 아이템에 대한 임베딩을 생성할 수 있고, 딥-러닝 모델(310)은 의미론적 유사성 및 오디오 유사성(예를 들어, 오디오 컨텐츠의 하나 이상의 속성)에 기초하여 오디오 컨텐츠 아이템을 임베딩하도록 훈련될 수 있다.
딥-러닝 모델(310)은 비-지도 설정에서 (예컨대, 클러스터에 임베딩하도록) 컨텐츠 아이템을 분류하도록 훈련(예컨대, 라벨링되지 않은 데이터에 대한 구조를 제공하도록 훈련)될 수 있다. 특정 실시예에서, 딥-러닝 모델(310)은 임베딩 공간 내 동일하고 다른 클러스터 내 컨텐츠 아이템들 사이의 시각적 유사성을 반영하는 클러스터 내 위치에 컨텐츠 아이템을 임베딩하도록 (예컨대, 컨텐츠 아이템을 분류하는데 사용된 것과 다른 딥-러닝 모델(310)의 다른 계층을 사용하여) 훈련될 수 있다. 시각적 유사성은 컨텐츠 아이템들의 하나 이상의 속성들에 기초하여 결정될 수 있다. 예로서 제한 없이, 시각적 유사성은 포즈, 조명 상태, 전경 구조, 색상, 재료, 질감, 크기, 입상도(예컨대, 세립 또는 조립), 컨텐츠 아이템의 임의의 다른 적절한 시각적 속성 또는 이들의 임의의 조합에 기초할 수 있다. 컨텐츠 아이템의 속성은 딥-러닝 모델(310)의 잠재적 입력 변수일 수 있다.
유사성은 거리만큼 임베딩 공간에서 표현될 수 있다. 높은 레벨에서, 유사한 컨텐츠 아이템은 임베딩 공간에서 서로 근접한 지점들에 임베딩될 수 있다. 의미론적 유사성은 전역 근접성(global proximity)으로 표현될 수 있다(예컨대, 동일한 클래스에 있는 컨텐츠 아이템은 임베딩 공간에서 동일한 클러스터의 지점들에 임베딩될 수 있다). 시각적 유사성은 로컬 근접성(local proximity)으로 표현될 수 있다(예컨대, 공통된 하나 이상의 속성을 갖는 컨텐츠 아이템은 클러스터 할당에도 불구하고 서로 근접한 지점에 임베딩될 수 있다).
도 4의 도시된 예에서, 백색 원(402)은 백색 개들의 이미지들의 임베딩을 나타낼 수 있다; 흑색 원(404)은 흑색 개들의 이미지들의 임베딩을 나타낼 수 있다; 백색 정사각형(406)은 백색 고양이들의 이미지들의 임베딩을 나타낼 수 있다; 흑색 정사각형(408)은 흑색 고양이들의 이미지들의 임베딩을 나타낼 수 있다. 딥-러닝 모델(310)은 동물의 종류(예컨대, 개와 고양이) 간에 전역적으로 구별하도록 훈련될 수 있고 흑색 및 백색 고양이와 개 간에 국부적으로 구별하도록 더 훈련될 수 있다(즉, 임베딩 공간에 표현되는 고양이와 개의 속성은 색상이다). 딥-러닝 모델(310)은 개의 종류와 연관될 수 있는 클러스터(410)에 위치하는 백색 개의 이미지의 임베딩(402) 및 흑색 개의 이미지의 임베딩(404)을 생성할 수 있다. 또한, 딥-러닝 모델은 고양이의 종류와 관련될 수 있는 클러스터(412)에 위치하는 백색 고양이의 이미지의 임베딩(406) 및 흑색 고양이의 이미지의 임베딩(408)을 생성할 수 있다. 도 4에 도시된 바와 같이, 비록 임베딩들(402 및 406)이 서로 다른 클러스터에 있더라도, 백색 개의 이미지의 임베딩(402)은 백색 고양이의 이미지의 임베딩(406)과 거리가 가깝다. 또한, 도 4에 도시된 바와 같이, 비록 임베딩들(404 및 408)이 서로 다른 클러스터에 있더라도, 흑색 개 이미지의 임베딩(404)은 흑색 고양이의 이미지의 임베딩(408)과 거리가 가깝다. 임베딩 공간은 하나 이상의 속성(예컨대, 색상)에 기초한 시각적 유사성뿐만 아니라 종류의 유사성의 표현을 제공할 수 있다.
특정 실시예로, 딥-러닝 모델(310)은 클러스터링 기술에 기초한 알고리즘을 사용하여 훈련될 수 있다. 딥-러닝 모델(310)은 각각의 클래스에 대한 클러스터로 컨텐츠 아이템을 할당하도록(즉, 각각의 컨텐츠 아이템을 각각의 클래스에 임베딩하도록) 비-지도 방식으로 훈련될 수 있다. 딥-러닝 모델(310)은 임베딩 공간 내 지점들의 클러스터들 간의 오버랩을 검색하고 로컬 레벨의 이들 클러스터 간의 오버랩을 감소시키거나 최소화하는 알고리즘을 사용하여 더 훈련될 수 있다. 특정 실시예로, 딥-러닝 모델(310)에 대한 훈련 세트는 수식 (1) 내지 (4)로 주어질 수 있다:
입력 컨텐츠 아이템 쌍(D): C 클래스에서,
Figure pct00001
컨텐츠 아이템의 벡터 표현(rn):
Figure pct00002
각 클래스 C에 대하여, Kc 클러스터 할당이 있음
Figure pct00003
여기서,
Figure pct00004
본 명세서에서 사용되는 바와 같이,
Figure pct00005
는 파라미터 벡터를 나타내고,
Figure pct00006
는 컨텐츠 아이템을 나타내며,
Figure pct00007
는 컨텐츠 아이템을 나타내고,
Figure pct00008
이다. 특정 실시예로, 딥-러닝 모델(310)은 수식 (5)로 주어진 손실 함수
Figure pct00009
를 사용하여 훈련될 수 있다:
Figure pct00010
여기서, 분산(
Figure pct00011
)은 다음과 같다:
Figure pct00012
본 명세서에서 사용되는 바와 같이,
Figure pct00013
는 학습 속도(learning rate)를 나타내고,
Figure pct00014
는 클러스터들 간의 변량 마진(variable margin)을 나타낸다.
Figure pct00015
파라미터는 임베딩 공간의 클러스터의 원하는 견고함(예컨대, 지점들의 클러스터들이 임베딩 공간에서 서로 공간상 얼마나 근접해있는지)에 따라 조정될 수 있다.
특정 실시예로, (예컨대, 수식 (5)에 나타난 손실 함수를 사용하여) 딥-러닝 모델(310)을 훈련함으로써 딥-러닝 모델(310)의 하나 이상의 가중치가 업데이트될 수 있다. 딥-러닝 모델의 하나 이상의 가중치의 초기 값은 (예컨대, 가우시안 분포를 사용하여) 임의로 결정될 수 있다. 특정 실시예에서, 딥-러닝 모델의 하나 이상의 가중치는 임베딩 공간 내 지점들의 클러스터들 간의 오버랩을 최소화하도록 업데이트될 수 있다. 특정 실시예에서, 딥-러닝 모델의 하나 이상의 가중치는 수식 (5)에 의해 주어진 손실 함수를 사용하여 에러를 최소화하도록 업데이트될 수 있다. 딥-러닝 모델의 가중치는 컨텐츠 아이템에 대한 더 나은 임베딩을 산출하기 위해 업데이트될 수 있으며, 이로 인해 임베딩 공간 내 (즉, 컨텐츠 아이템의 임베딩에 대응하는) 지점들의 분포가 클러스터 간에 덜 중첩될 수 있다.
비록 본 명세서는 도 4의 특정 실시예가 특정 방식으로 구현되는 것을 기술하고 도시하지만, 본 명세서는 도 4의 임의의 적절한 실시예가 임의의 적절한 인터페이스에서 발생하고 임의의 적절한 플랫폼이나 시스템에 의해 구현되는 것을 고려한다. 예로서 제한 없이, 도 4의 특정 실시예는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 또는 임의의 다른 적절한 시스템에 의해 구현될 수 있다. 게다가, 비록 본 명세서는 도 4의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 4의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
일단 딥-러닝 모델이 컨텐츠 아이템을 임베딩 공간에 임베딩하도록 훈련되면, 임베딩 공간은 예로서 제한 없이 입력 컨텐츠 아이템을 고려하여 특정 컨텐츠 아이템을 식별하는 것을 포함하는 다양한 작업을 수행하는데 사용될 수 있다.
임베딩 공간을 사용한 유사 컨텐츠 아이템의 식별
도 5는 임베딩 공간에서 유사한 컨텐츠 아이템을 식별하기 위한 예시적인 방법(500)을 도시한다. 단계 510에서, 본 시스템은 사용자의 클라이언트 시스템(130)으로부터 제1 컨텐츠 아이템을 수신할 수 있다. 예로서 제한 없이, 제1 컨텐츠 아이템은 클라이언트 시스템(130)의 인터페이스에서 사용자에 의해 입력된 검색 질의일 수 있다. 단계 520에서, 딥-러닝 모델(310)은 임베딩 공간에서 제1 컨텐츠 아이템의 제1 임베딩을 결정하는데 사용될 수 있다. 특정 실시예에서, 제1 컨텐츠 아이템의 제1 임베딩을 결정하기 전에, 딥-러닝 모델(310)은 도 4와 관련하여 기술된 바와 같이 훈련될 수 있다. 딥-러닝 모델은, 예로서 제한 없이, 제1 컨텐츠 아이템의 제1 벡터 표현과 제1 컨텐츠 아이템을 맵핑할 수 있다. 제1 컨텐츠 아이템의 제1 임베딩은 제1 컨텐츠 아이템의 제1 벡터 표현에 기초하여 결정될 수 있고, 제1 임베딩은 임베딩 공간 내 제1 지점에 대응할 수 있다. 특정 실시예에서, 임베딩 공간은 제2 컨텐츠 아이템들의 복수의 제2 임베딩들에 대응하는 복수의 제2 지점을 포함할 수 있다. 제2 임베딩은 딥-러닝 모델(310)을 사용하여 결정될 수 있다. 제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치할 수 있다. 제1 지점 및 제2 지점은 제1 및 제2 컨텐츠 아이템들의 하나 이상의 속성에 기초하여 클러스터 내에 추가로 위치될 수 있다. 제1 및 제2 컨텐츠 아이템의 하나 이상의 속성은 어느 딥-러닝 모델(310)이 훈련될 수 있는지에 기초한 잠재적 변수일 수 있다.
단계 530에서, 본 시스템은 제1 컨텐츠 아이템의 컨텐츠 유형을 결정할 수 있다. 제1 컨텐츠 아이템의 컨텐츠 유형은 텍스트 컨텐츠, 이미지 컨텐츠, 오디오 컨텐츠, 비디오 컨텐츠, 의료-영상 컨텐츠, 임의의 다른 적절한 유형의 컨텐츠 또는 이들의 임의의 조합일 수 있다. 예로서 제한 없이, 제1 컨텐츠 아이템은 시각적 컨텐츠(예를 들어, 프렌치 불독(French Bulldogs)과 함께 자고 있는 아기의 이미지)일 수 있다. 또 다른 예로서 제한 없이, 제1 컨텐츠 아이템은 텍스트 컨텐츠(예를 들어, "Kacey Musgraves")일 수 있다.
단계 540에서, 본 시스템은 제1 컨텐츠 아이템과 유사한 임베딩 공간 내 하나 이상의 제2 컨텐츠 아이템을 식별할 수 있다. 특정 실시예에서, 본 시스템은 제1 컨텐츠 아이템의 제1 임베딩에 대응하는 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기초하여 하나 이상의 제2 컨텐츠 아이템을 식별할 수 있다. 예로서 제한 없이, 제1 컨텐츠 아이템의 임베딩에 대응하는 제1 지점은 특정 클러스터에 위치할 수 있고, 검색 알고리즘은 특정 클러스터의 제1 지점의 임계 거리 내에 있는 하나 이상의 제2 지점을 식별하도록 적용될 수 있다. 또 다른 예로서 제한 없이, 제1 지점은 임베딩 공간 내 하나 이상의 클러스터에 근접하여 위치할 수 있고, 검색 알고리즘은 근접 클러스터 각각의 제1 지점의 임계 거리 내에 있는 하나 이상의 제2 지점을 식별(즉, 다양한 검색 결과를 검색)하도록 적용될 수 있다. 또 다른 예로서 제한 없이, 제1 지점은 임베딩 공간 내 하나 이상의 클러스터에 근접하여 위치할 수 있고, 검색 알고리즘은 각각의 근접 클러스터의 중심의 임계 거리 내에 있는 각각의 근접 클러스터 내 하나 이상의 지점을 식별하도록 근접 클러스터 각각에 적용될 수 있다.
특정 실시예로, 본 시스템은 단계 530에서 식별된 제1 컨텐츠 아이템의 컨텐츠 유형에 기초하여 제1 컨텐츠 아이템과 유사한 임베딩 공간 내 하나 이상의 제2 컨텐츠 아이템을 식별할 수 있다. 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템을 식별하기 위해 적용되는 특정한 검색 알고리즘은 제1 컨텐츠 아이템의 컨텐츠 유형에 따라 변할 수 있다. 예로서 제한 없이, 제1 컨텐츠 아이템이 텍스트 컨텐츠(예를 들어, "Kacey Musgraves")라면, 검색 알고리즘은 제1 컨텐츠 아이템의 제1 임베딩에 대응하는 제1 지점이 위치하는 클러스터(예컨대, 컨트리 뮤지션의 클래스) 내 제2 지점을 검색하도록 적용될 수 있다. 또 다른 예로서 제한 없이, 제1 컨텐츠 아이템이 시각적 컨텐츠(예를 들어, 프렌치 불독과 함께 자고 있는 아기의 이미지)라면, 검색 알고리즘은 각각의 제2 지점이 위치하는 클러스터에 관계없이 제1 지점의 임계 거리 내에서 제2 지점을 검색하도록 적용될 수 있다.
단계 550에서, 본 시스템은 사용자에게 디스플레이를 위해 클라이언트 시스템(130)으로 단계 540에서 식별된 제2 컨텐츠 아이템을 송신할 수 있다. 예로서 제한 없이, 제1 컨텐츠 아이템은 클라이언트 시스템(130)의 인터페이스에서 사용자에 의해 검색 질의로서 입력될 수 있고, 식별된 제2 컨텐츠 아이템은 클라이언트 시스템(130)에서 검색 결과로서 사용자에게 디스플레이될 수 있다.
적절한 경우, 특정 실시예는 도 5의 방법의 하나 이상의 단계들을 반복할 수 있다. 비록 본 명세서는 도 5의 방법의 특정 단계가 특정 순서로 발생하는 것으로 기술하고 도시하지만, 본 명세서는 도 5의 방법의 임의의 적절한 단계가 임의의 적절한 순서로 발생하는 것을 고려한다. 게다가, 비록 본 명세서는 도 5의 특정 실시예가 특정 방식으로 구현되는 것으로 기술하고 도시하지만, 본 명세서는 도 5의 임의의 적절한 실시예가 임의의 적절한 인터페이스에서 발생하고 임의의 적절한 플랫폼이나 시스템에 의해 구현되는 것으로 고려한다. 예로서 제한 없이, 도 5의 특정 실시예는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 또는 임의의 다른 적절한 시스템에 의해 구현될 수 있다. 또한, 비록 본 명세서는 도 5의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치, 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 5의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치, 또는 시스템의 임의의 적절한 조합을 고려한다.
도 6은 임베딩 공간의 뷰(600)의 예를 도시한다. 임베딩 공간은 제2 컨텐츠 아이템의 제2 임베딩에 대응하는 제2 지점들의 클러스터들(620, 630, 640 및 650)을 포함할 수 있다. 클러스터들(620, 630, 640 및 650) 각각은 컨텐츠 아이템들의 클래스와 연관될 수 있다. 또한, 임베딩 공간은 제1 컨텐츠 아이템의 제1 임베딩에 대응하는 제1 지점(610)을 포함할 수 있다. 임베딩 공간은 딥-러닝 모델(310)을 사용하여 생성될 수 있다. 도 6에 도시된 바와 같이, 임베딩 공간은 (예컨대, 수식 (5)의 손실 함수를 사용하여) 적어도 부분적으로 훈련될 수 있다. 클러스터들(620, 630, 640 및 650) 각각 사이의 거리는 도 4와 함께 상술한 바와 같이 수식 (5)로부터
Figure pct00016
파라미터에 의존할 수 있다. 도 6의 임베딩 공간이 2-차원인 것으로 도시되어 있지만, 임베딩 공간은 임의의 적절한 차원(예를 들어, 다-차원)일 수 있음이 이해될 것이다.
제1 컨텐츠 아이템이 수신될 수 있으며, 이는 딥-러닝 모델(310)을 사용하여 제1 컨텐츠 아이템의 제1 임베딩에 대응하는 제1 지점(610)을 결정함으로써 임베딩 공간에 임베딩될 수 있다. 도 6의 도시된 예에서, 제1 지점(610)은 제2 지점의 클러스터(620) 내에 위치한다. 도 5와 관련하여 상술한 바와 같이, 검색 알고리즘은 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하도록 적용될 수 있다. 예로서 제한 없이, 검색 알고리즘은 클러스터(620)의 하나 이상의 제2 지점이 클러스터(620)의 제1 지점(610)의 임계 거리 내에 있다고 결정하도록 적용될 수 있고, 하나 이상의 제2 지점에 대응하는 제2 컨텐츠 아이템은 제1 컨텐츠 아이템과 유사한 것으로 식별될 수 있다. 예로서 제한 없이, 클러스터(620, 630 및 650) 내의 하나 이상의 제2 지점이 제1 지점(310)의 임계 거리 내에 있다고 결정하도록 적용될 수 있고, 클러스터들(620, 630 및 650) 내 하나 이상의 제2 지점에 대응하는 제2 컨텐츠 아이템이 제1 컨텐츠 아이템과 유사한 것으로 식별될 수 있다.
비록 본 명세서는 도 6의 특정 실시예가 특정 방식으로 구현되는 것으로 기술하고 도시하지만, 본 명세서는 도 6의 임의의 적절한 실시예가 임의의 적절한 인터페이스에서 발생하고 임의의 적절한 플랫폼이나 시스템에 의해 구현되는 것으로 고려한다. 예로서 제한 없이, 도 6의 특정 실시예는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 또는 임의의 다른 적절한 시스템에 의해 구현될 수 있다. 또한, 비록 본 명세서는 도 6의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치, 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 6의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치, 또는 시스템의 임의의 적절한 조합을 고려한다.
도 7은 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템을 식별하기 위한 예시적인 방법을 도시한다. 이 방법은 단계 710에서 시작할 수 있으며, 제1 컨텐츠 아이템이 수신된다. 단계 720에서, 제1 컨텐츠 아이템의 제1 임베딩이 결정되며, 여기서 제1 임베딩은 임베딩 공간의 제1 지점에 대응하고, 임베딩 공간은 제2 컨텐츠 아이템들의 복수의 제2 임베딩들에 대응하는 복수의 제2 지점들을 포함하며, 제1 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고, 제1 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며, 클러스터 각각은 컨텐츠 아이템의 클래스와 연관되고, 제1 및 제2 지점은 제1 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기초하여 클러스터 내에 더 위치한다. 단계 730에서, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템들은 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기초하여 식별된다.
적절한 경우, 특정 실시예는 도 7의 방법의 하나 이상의 단계들을 반복할 수 있다. 비록 본 명세서는 도 7의 방법의 특정 단계가 특정 순서로 발생하는 것으로 기술하고 도시하지만, 본 명세서는 도 7의 방법의 임의의 적절한 단계가 임의의 적절한 순서로 발생하는 것을 고려한다. 게다가, 비록 본 명세서는 도 7의 방법의 특정 단계를 포함하는 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템을 식별하는 예시적인 방법을 기술하고 도시하지만, 본 명세서는 적절한 경우 도 7의 방법의 단계의 전부, 일부를 포함하거나 전혀 포함하지 않을 수 있는, 임의의 적절한 단계를 포함하는 제1 컨텐츠 아이템과 유사한 제2 컨텐츠 아이템을 식별하는 임의의 적절한 방법을 고려한다. 또한, 비록 본 명세서는 도 7의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치, 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 7의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치, 또는 시스템의 임의의 적절한 조합을 고려한다.
시스템 및 방법
도 8은 예시적인 컴퓨터 시스템(800)을 도시한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)에서 실행하는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템들(800)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 컴퓨터 시스템에 대한 레퍼런스는 적절한 경우 컴퓨팅 장치를 포함할 수 있다. 게다가, 컴퓨터 시스템에 대한 레퍼런스는 적절한 경우 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 명세서는 임의의 적절한 수의 컴퓨터 시스템(800)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(800)을 고려한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템 메쉬(mesh), 모바일 전화, 개인 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 컴퓨터 시스템(800)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나; 다수의 기계에 걸쳐 있거나; 다수의 데이터센터에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 성분을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 실행할 수 있다. 예로서 제한 없이, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 실행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 다른 시기에 또는 다른 위치에서 실행할 수 있다.
특정 실시예로, 컴퓨터 시스템(800)은 프로세서(802), 메모리(804), 저장소(806), 입력/출력(I/O) 인터페이스(808), 통신 인터페이스(810) 및 버스(812)를 포함한다. 본 명세서가 특정 배열로 특정한 수의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 구성으로 임의의 적절한 수의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예로, 프로세서(802)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(802)는 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장소(806)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장소(806)에 기록할 수 있다. 특정 실시예로, 프로세서(802)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(802)를 고려한다. 예로서 제한 없이, 프로세서(802)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들 및 하나 이상의 변환 색인 버퍼(translation lookaside buffers, TLBs)를 포함할 수 있다. 명령어 캐시 내 명령어들은 메모리(804)나 저장소(806) 내 명령어들의 사본일 수 있고, 명령어 캐시는 프로세서(802)에 의한 이런 명령어들의 검색 속도를 높일 수 있다. 데이터 캐시 내 데이터는 프로세서(802)에서 실행하는 다음 명령들에 의해 접근하거나 메모리(804)나 저장소(806)로 기록하기 위해 프로세서(802)에서 실행되는 이전 명령들의 결과; 또는 다른 적절한 데이터를 동작하는데 프로세서(802)에서 실행하는 명령어를 위한 메모리(804)나 저장소(806) 내의 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(802)에 의한 판독 또는 기록 동작의 속도를 높일 수 있다. TLB들은 프로세서(802)에 의한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예로, 프로세서(802)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터들을 포함하는 프로세서(802)를 고려한다. 적절한 경우, 프로세서(802)는 하나 이상의 산술 논리 유닛(ALUs)을 포함할 수 있거나; 멀티-코어 프로세서일 수 있거나; 하나 이상이 프로세서들(802)을 포함할 수 있다. 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예로, 메모리(804)는 프로세서(802)가 실행하는 명령어 또는 프로세서(802)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 저장소(806)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(800))에서 메모리(804)로 명령어를 로딩할 수 있다. 이후, 프로세서(802)는 메모리(804)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(802)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(802)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(802)는 하나 이상의 이런 결과를 메모리(804)에 기록할 수 있다. 특정 실시예로, 프로세서(802)는 (저장소(806) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(804)에서 단지 명령어만을 실행하며, (저장소(806) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(804)에서 단지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(802)를 메모리(804)로 연결할 수 있다. 하기에 기술되는 바와 같이, 버스(812)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(802)와 메모리(804) 사이에 상주하며, 프로세서(802)에 의해 요청되는 메모리(804)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(804)는 랜덤 액세스 메모리(RAM)를 포함한다. 적절한 경우, 이런 RAM은 휘발성 메모리일 수 있다. 적절한 경우, 이런 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이런 RAM은 단일 포트형 또는 다중-포트형 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(804)는 하나 이상의 메모리(804)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예로, 저장소(806)는 데이터용 또는 명령어용 대용량 저장소를 포함한다. 예로서 제한 없이, 저장소(806)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 자기-광학 디스크, 자기 테이프, 범용 직렬 버스(USB) 드라이브 또는 이들의 2 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(806)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(806)는 컴퓨터 시스템(800)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장소(806)는 비휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장소(806)는 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM), 플래시 메모리 또는 이들의 2 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(806)를 고려한다. 적절한 경우, 저장소(806)는 프로세서(802)와 저장소(806) 사이의 통신을 용이하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(806)는 하나 이상의 저장소(806)를 포함할 수 있다. 본 명세서가 특정 저장소를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.
특정 실시예로, I/O 인터페이스(808)는 컴퓨터 시스템(800)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(800) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 또 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 적절한 I/O 인터페이스(808)를 고려한다. 적절한 경우, I/O 인터페이스(808)는 프로세서(802)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(808)는 하나 이상의 I/O 인터페이스(808)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예로, 통신 인터페이스(810)는 컴퓨터 시스템(800)과 하나 이상의 다른 컴퓨터 시스템(800)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(810)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(810)를 고려한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(800)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러폰 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(810)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(810)는 하나 이상의 통신 인터페이스(810)를 포함할 수 있다. 본 명세서가 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예로, 버스(812)는 컴퓨터 시스템(800)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 버스(812)는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 또 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(812)는 하나 이상의 버스(812)를 포함할 수 있다. 본 명세서가 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.
본 명세서에서, 컴퓨터-판독가능한 비-일시적 저장매체 또는 저장매체들은 하나 이상의 반도체 기반 또는 다른 집적회로(ICs)(가령, 예컨대 FPGAs(field-programmable gate arrays) 또는 ASICs(application-specific ICs)), 하드 디스크 드라이브(HDDs), 하이브리드 하드 디스크(HHDs), 광학 디스크, 광학 디스크 드라이브(ODDs), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDDs), 자기 테이프, 고체-상태 드라이브(SSDs), RAM-드라이브, SECURE DIGITAL 카드나 드라이브, 임의의 다른 적절한 컴퓨터-판독가능한 비-일시적 저장매체 또는, 적절한 경우, 2 이상의 이들의 임의의 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 비-일시적 저장매체는 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
기타
본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.
본 명세서의 범위는 당업자가 이해할 수 있는 본 명세서에 기술되거나 도시된 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 본 명세서의 범위는 본 명세서에 기술되거나 도시된 예시적인 실시예들로 국한되지 않는다. 게다가, 본 명세서는 특정 컴포넌트, 구성요소, 특징, 기능, 동작 또는 단계를 포함하는 것으로 본 명세서의 각각의 실시예들을 기술하고 도시하지만, 임의의 이런 실시예들은 당업자가 이해할 수 있는 본 명세서에 어디든 기술되거나 도시되는 임의의 컴포넌트, 구성요소, 특징, 기능, 동작 또는 단계의 임의의 조합이나 치환을 포함할 수 있다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

Claims (34)

  1. 하나 이상의 컴퓨팅 장치에 의해, 제1 컨텐츠 아이템을 수신하는 단계;
    하나 이상의 컴퓨팅 장치에 의해, 제1 컨텐츠 아이템의 제1 임베딩을 결정하는 단계; 및
    하나 이상의 컴퓨팅 장치에 의해: 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하는 단계를 포함하며,
    제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고,
    임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며,
    제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고,
    제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며,
    각각의 클러스터는 컨텐츠 아이템의 클래스(class)와 관련되고,
    제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치하는 방법.
  2. 제 1 항에 있어서,
    딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련되는 방법.
  3. 제 1 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수인 방법.
  4. 제 1 항에 있어서,
    딥-러닝 모델은 신경망(neural network)인 방법.
  5. 제 1 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠이고,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함하는 방법.
  6. 제 1 항에 있어서,
    제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의인 방법.
  7. 제 6 항에 있어서,
    사용자에게 디스플레이하기 위해, 하나 이상의 식별된 제2 컨텐츠 아이템을 클라이언트 시스템으로 송신하는 단계를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    제1 컨텐츠 아이템의 컨텐츠 유형은 텍스트 컨텐츠, 이미지 컨텐츠, 오디오 컨텐츠 및 비디오 컨텐츠 중 하나 이상을 포함하는 방법.
  9. 제 8 항에 있어서,
    제1 컨텐츠 아이템의 컨텐츠 유형을 결정하는 단계를 더 포함하고,
    상기 하나 이상의 제2 컨텐츠 아이템을 식별하는 단계는 제1 컨텐츠 아이템의 컨텐츠 유형에 더 기반하는 방법.
  10. 제1 컨텐츠 아이템을 수신하고;
    제1 컨텐츠 아이템의 제1 임베딩을 결정하며;
    제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하도록 실행시 동작하는 소프트웨어를 수록한 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체로서,
    제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고,
    임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며,
    제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고,
    제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며,
    각각의 클러스터는 컨텐츠 아이템의 클래스와 관련되고,
    제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치하는 컴퓨터-판독가능한 비-일시적 저장매체.
  11. 제 10 항에 있어서,
    딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련되는 컴퓨터-판독가능한 비-일시적 저장매체.
  12. 제 10 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수인 컴퓨터-판독가능한 비-일시적 저장매체.
  13. 제 10 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠이고,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  14. 제 10 항에 있어서,
    제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의인 컴퓨터-판독가능한 비-일시적 저장매체.
  15. 하나 이상의 프로세서; 및
    프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함한 메모리를 포함하는 시스템으로서,
    상기 프로세서는:
    제1 컨텐츠 아이템을 수신하고;
    제1 컨텐츠 아이템의 제1 임베딩을 결정하며;
    제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하는 명령어를 실행할 때 동작하며,
    제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고,
    임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며,
    제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고,
    제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며,
    각각의 클러스터는 컨텐츠 아이템의 클래스와 관련되고,
    제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치하는 시스템.
  16. 제 15 항에 있어서,
    딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련되는 시스템.
  17. 제 15 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수인 시스템.
  18. 제 15 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠이고,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함하는 시스템.
  19. 제 15 항에 있어서,
    제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의인 시스템.
  20. 하나 이상의 컴퓨팅 장치에 의해, 제1 컨텐츠 아이템을 수신하는 단계;
    하나 이상의 컴퓨팅 장치에 의해, 제1 컨텐츠 아이템의 제1 임베딩을 결정하는 단계; 및
    하나 이상의 컴퓨팅 장치에 의해: 제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하는 단계를 포함하며,
    제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고,
    임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며,
    제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고,
    제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며,
    각각의 클러스터는 컨텐츠 아이템의 클래스(class)와 관련되고,
    제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치하는 컴퓨터-구현 방법.
  21. 제 20 항에 있어서,
    딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련되는 컴퓨터-구현 방법.
  22. 제 20 항 또는 제 21 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수이고/이거나, 딥-러닝 모델은 신경망(neural network)인 컴퓨터-구현 방법.
  23. 제 20 항 내지 제 22 항 중 어느 한 항에 있어서,
    식별된 하나 이상의 제2 컨텐츠 아이템에 기반하여 검색 결과를 생성하는 단계 및 디스플레이 장치에서 디스플레이하기 위해 질의중인 사용자와 관련된 검색 결과를 제공하는 단계; 및/또는
    식별된 하나 이상의 제2 컨텐츠 아이템과 관련된 클러스터에 따라 제1 컨텐츠 아이템을 저장하는 단계; 및/또는
    사용자와 관련된 클라이언트 장치 및/또는 서버에서 식별된 제2 컨텐츠 아이템 중 하나 이상을 캐싱 또는 사전-캐싱(pre-caching)하는 단계; 및/또는
    유사한 식별된 제2 컨텐츠 아이템에 기반하여, 특히 식별된 하나 이상의 제2 컨텐츠 아이템으로부터 선택되는 컨텐츠 아이템을 리-클러스터링(re-clustering)하는 단계를 더 포함하는 컴퓨터-구현 방법.
  24. 제 20 항 내지 제 23 항 중 어느 한 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠이고,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함하는 컴퓨터-구현 방법.
  25. 제 20 항 내지 제 24 항 중 어느 한 항에 있어서,
    제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의이며,
    바람직하기로, 사용자에게 디스플레이하기 위해 하나 이상의 식별된 제2 컨텐츠 아이템을 클라이언트 시스템으로 송신하는 단계를 더 포함하는 컴퓨터-구현 방법.
  26. 제 20 항 내지 제 25 항 중 어느 한 항에 있어서,
    제1 컨텐츠 아이템의 컨텐츠 유형은 텍스트 컨텐츠, 이미지 컨텐츠, 오디오 컨텐츠 및 비디오 컨텐츠 중 하나 이상을 포함하며,
    바람직하기로, 제1 컨텐츠 아이템의 컨텐츠 유형을 결정하는 단계를 더 포함하고,
    상기 하나 이상의 제2 컨텐츠 아이템을 식별하는 단계는 제1 컨텐츠 아이템의 컨텐츠 유형에 더 기반하는 컴퓨터-구현 방법.
  27. 제1 컨텐츠 아이템을 수신하고;
    제1 컨텐츠 아이템의 제1 임베딩을 결정하며;
    제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하도록 실행시 동작하는 소프트웨어를 수록한 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체로서,
    제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고,
    임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며,
    제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고,
    제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며,
    각각의 클러스터는 컨텐츠 아이템의 클래스와 관련되고,
    제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치하는 컴퓨터-판독가능한 비-일시적 저장매체.
  28. 제 27 항에 있어서,
    딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련되는 컴퓨터-판독가능한 비-일시적 저장매체.
  29. 제 27 항 또는 제 28 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수인 컴퓨터-판독가능한 비-일시적 저장매체.
  30. 제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠이고,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함하고/하거나,
    제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의인 컴퓨터-판독가능한 비-일시적 저장매체.
  31. 하나 이상의 프로세서; 및
    프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함한 메모리를 포함하는 시스템으로서,
    상기 프로세서는:
    제1 컨텐츠 아이템을 수신하고;
    제1 컨텐츠 아이템의 제1 임베딩을 결정하며;
    제1 지점의 위치, 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점이 위치하는 하나 이상의 특정 클러스터, 및 특정 클러스터 내 하나 이상의 제2 컨텐츠 아이템에 대응하는 하나 이상의 제2 지점의 위치에 기반하여, 제1 컨텐츠 아이템과 유사한 하나 이상의 제2 컨텐츠 아이템을 식별하는 명령어를 실행할 때 동작하며,
    제1 임베딩은 임베딩 공간(embedding space) 내 제1 지점에 대응하고,
    임베딩 공간은 제2 컨텐츠 아이템의 복수의 제2 임베딩에 대응하는 복수의 제2 지점을 포함하며,
    제1 임베딩 및 제2 임베딩은 딥-러닝 모델을 사용하여 결정되고,
    제1 지점 및 제2 지점은 임베딩 공간 내 하나 이상의 클러스터에 위치하며,
    각각의 클러스터는 컨텐츠 아이템의 클래스와 관련되고,
    제1 지점 및 제2 지점은 제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성에 기반하여 클러스터 내에 더 위치하는 시스템.
  32. 제 31 항에 있어서,
    딥-러닝 모델은 하나 이상의 클러스터에 위치한 지점들 사이의 오버랩(overlap)을 감소시키는 손실 함수(loss function)를 사용하여 훈련되는 시스템.
  33. 제 31 항 또는 제 32 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 딥-러닝 모델의 잠재적 입력 변수인 시스템.
  34. 제 31 항 내지 제 33 항 중 어느 한 항에 있어서,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템은 각각 시각적 컨텐츠이고,
    제1 컨텐츠 아이템 및 제2 컨텐츠 아이템의 하나 이상의 속성은 색상, 포즈(pose), 조명 상태(lighting conditions), 전경 구조(scene geometry), 재료, 질감, 크기 및 입상도(granularity) 중 하나 이상을 포함하고/하거나,
    제1 컨텐츠 아이템은 사용자의 클라이언트 시스템에서 수신된 검색 질의인 시스템.
KR1020187015573A 2015-11-05 2016-02-18 딥-러닝 모델을 사용한 컨텐츠 아이템의 식별 KR20180080276A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562251352P 2015-11-05 2015-11-05
US62/251,352 2015-11-05
US14/981,413 US20170132510A1 (en) 2015-11-05 2015-12-28 Identifying Content Items Using a Deep-Learning Model
US14/981,413 2015-12-28
PCT/US2016/018368 WO2017078768A1 (en) 2015-11-05 2016-02-18 Identifying content items using a deep-learning model

Publications (1)

Publication Number Publication Date
KR20180080276A true KR20180080276A (ko) 2018-07-11

Family

ID=58662317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187015573A KR20180080276A (ko) 2015-11-05 2016-02-18 딥-러닝 모델을 사용한 컨텐츠 아이템의 식별

Country Status (10)

Country Link
US (1) US20170132510A1 (ko)
JP (1) JP2019503528A (ko)
KR (1) KR20180080276A (ko)
CN (1) CN108292309A (ko)
AU (1) AU2016350555A1 (ko)
BR (1) BR112018009072A8 (ko)
CA (1) CA3002758A1 (ko)
IL (1) IL258761A (ko)
MX (1) MX2018005686A (ko)
WO (1) WO2017078768A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054356A (ko) 2018-11-02 2020-05-20 경희대학교 산학협력단 Mec 환경에서 자율 주행을 위한 딥러닝 기반 캐싱 시스템 및 방법
KR20220040295A (ko) * 2020-09-23 2022-03-30 네이버 주식회사 메트릭 학습을 위한 가상의 학습 데이터 생성 방법 및 시스템
KR102405413B1 (ko) * 2021-03-22 2022-06-08 이석기 머신 러닝 기반의 통합 교통 예약 서비스 제공 장치 및 방법
WO2023085717A1 (ko) * 2021-11-09 2023-05-19 에스케이플래닛 주식회사 클러스터링을 기반으로 하는 레이블링을 수행하기 위한 장치, 이상 탐지를 위한 장치 및 이를 위한 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019177B2 (en) * 2016-07-21 2021-05-25 Facebook, Inc. Selecting assets
US10235604B2 (en) 2016-09-13 2019-03-19 Sophistio, Inc. Automatic wearable item classification systems and methods based upon normalized depictions
US10623775B1 (en) * 2016-11-04 2020-04-14 Twitter, Inc. End-to-end video and image compression
US10606885B2 (en) 2016-11-15 2020-03-31 Evolv Technology Solutions, Inc. Data object creation and recommendation using machine learning based online evolution
WO2019012527A1 (en) * 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
CN109472274B (zh) * 2017-09-07 2022-06-28 富士通株式会社 深度学习分类模型的训练装置和方法
US11194330B1 (en) * 2017-11-03 2021-12-07 Hrl Laboratories, Llc System and method for audio classification based on unsupervised attribute learning
US11436628B2 (en) * 2017-10-20 2022-09-06 Yahoo Ad Tech Llc System and method for automated bidding using deep neural language models
WO2019164276A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술동작 인식 방법 및 장치
KR102018565B1 (ko) * 2018-02-20 2019-09-05 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
US11669746B2 (en) * 2018-04-11 2023-06-06 Samsung Electronics Co., Ltd. System and method for active machine learning
US11531928B2 (en) * 2018-06-30 2022-12-20 Microsoft Technology Licensing, Llc Machine learning for associating skills with content
CN110069663B (zh) * 2019-04-29 2021-06-04 厦门美图之家科技有限公司 视频推荐方法及装置
KR102214422B1 (ko) * 2019-08-08 2021-02-09 네이버 주식회사 개인화 컨텐츠 추천을 위한 실시간 그래프기반 임베딩 구축 방법 및 시스템
KR20210032105A (ko) 2019-09-16 2021-03-24 한국전자통신연구원 랭킹 기반 네트워크 임베딩을 이용한 군집화 방법 및 장치
US11222177B2 (en) 2020-04-03 2022-01-11 International Business Machines Corporation Intelligent augmentation of word representation via character shape embeddings in a neural network

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6347313B1 (en) * 1999-03-01 2002-02-12 Hewlett-Packard Company Information embedding based on user relevance feedback for object retrieval
US7970727B2 (en) * 2007-11-16 2011-06-28 Microsoft Corporation Method for modeling data structures by creating digraphs through contexual distances
US8234228B2 (en) * 2008-02-07 2012-07-31 Nec Laboratories America, Inc. Method for training a learning machine having a deep multi-layered network with labeled and unlabeled training data
US9183173B2 (en) * 2010-03-02 2015-11-10 Microsoft Technology Licensing, Llc Learning element weighting for similarity measures
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20120294540A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Rank order-based image clustering
US8909563B1 (en) * 2011-06-17 2014-12-09 Google Inc. Methods, systems, and programming for annotating an image including scoring using a plurality of trained classifiers corresponding to a plurality of clustered image groups associated with a set of weighted labels
CN102254043B (zh) * 2011-08-17 2013-04-03 电子科技大学 一种基于语义映射的服装图像检索方法
JP5677348B2 (ja) * 2012-03-23 2015-02-25 富士フイルム株式会社 症例検索装置、症例検索方法及びプログラム
US9471676B1 (en) * 2012-10-11 2016-10-18 Google Inc. System and method for suggesting keywords based on image contents
WO2015049732A1 (ja) * 2013-10-02 2015-04-09 株式会社日立製作所 画像検索方法、画像検索システム、および情報記録媒体
US9426385B2 (en) * 2014-02-07 2016-08-23 Qualcomm Technologies, Inc. Image processing based on scene recognition
US20150310862A1 (en) * 2014-04-24 2015-10-29 Microsoft Corporation Deep learning for semantic parsing including semantic utterance classification
US9767386B2 (en) * 2015-06-23 2017-09-19 Adobe Systems Incorporated Training a classifier algorithm used for automatically generating tags to be applied to images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054356A (ko) 2018-11-02 2020-05-20 경희대학교 산학협력단 Mec 환경에서 자율 주행을 위한 딥러닝 기반 캐싱 시스템 및 방법
KR20220040295A (ko) * 2020-09-23 2022-03-30 네이버 주식회사 메트릭 학습을 위한 가상의 학습 데이터 생성 방법 및 시스템
KR102405413B1 (ko) * 2021-03-22 2022-06-08 이석기 머신 러닝 기반의 통합 교통 예약 서비스 제공 장치 및 방법
WO2023085717A1 (ko) * 2021-11-09 2023-05-19 에스케이플래닛 주식회사 클러스터링을 기반으로 하는 레이블링을 수행하기 위한 장치, 이상 탐지를 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
JP2019503528A (ja) 2019-02-07
CN108292309A (zh) 2018-07-17
MX2018005686A (es) 2018-08-01
AU2016350555A1 (en) 2018-05-31
BR112018009072A2 (pt) 2018-10-30
CA3002758A1 (en) 2017-05-11
WO2017078768A1 (en) 2017-05-11
IL258761A (en) 2018-06-28
BR112018009072A8 (pt) 2019-02-26
US20170132510A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
JP6689389B2 (ja) ディープラーニングモデルを用いたエンティティの識別
KR20180080276A (ko) 딥-러닝 모델을 사용한 컨텐츠 아이템의 식별
JP6293830B2 (ja) オンライン・ソーシャル・ネットワークにおける検索クエリに対する近似的プライバシ
JP6208317B2 (ja) オンライン・ソーシャル・ネットワークにおける検索クエリのための静的ランク付け
KR101826113B1 (ko) 메시지의 인-라인 이미지를 위한 방법 및 시스템
JP6290952B2 (ja) 構造化された検索クエリのための文法モデル
JP6377807B2 (ja) オンライン・ソーシャル・ネットワークにおける検索クエリの書き換え
KR101945922B1 (ko) 오프라인 컨텐츠의 생성
KR101997541B1 (ko) 온라인 소셜 네트워크에서 외부 컨텐츠의 순위화
KR101964202B1 (ko) 관심 지점에 따라 이미지 잘라내기
KR101918659B1 (ko) 가변하는 검색 질의 버티컬 액세스
KR20160010873A (ko) 레이어 업데이트로 데이터베이스 샤딩
KR20190064641A (ko) 딥러닝 모델을 사용한 추천의 생성
EP3166025A1 (en) Identifying content items using a deep-learning model

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application