KR101619946B1 - 네이티브 애플리케이션 테스트 - Google Patents

네이티브 애플리케이션 테스트 Download PDF

Info

Publication number
KR101619946B1
KR101619946B1 KR1020167004572A KR20167004572A KR101619946B1 KR 101619946 B1 KR101619946 B1 KR 101619946B1 KR 1020167004572 A KR1020167004572 A KR 1020167004572A KR 20167004572 A KR20167004572 A KR 20167004572A KR 101619946 B1 KR101619946 B1 KR 101619946B1
Authority
KR
South Korea
Prior art keywords
client system
processing
user
client
users
Prior art date
Application number
KR1020167004572A
Other languages
English (en)
Other versions
KR20160029858A (ko
Inventor
마이클 더들리 존슨
마티유 벤자민 토저
브레노 폼페우 로베르토
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20160029858A publication Critical patent/KR20160029858A/ko
Application granted granted Critical
Publication of KR101619946B1 publication Critical patent/KR101619946B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G06Q50/30—

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Operations Research (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

일실시예로, 본 방법은 복수의 클라이언트 시스템에 애플리케이션을 배치하는 단계, 클라이언트 시스템으로부터 요청을 수신하여 클라이언트 시스템 세트에 애플리케이션의 처리를 제공하는 단계, 클라이언트 시스템이 처리 그룹에 속하는지를 결정하는 단계, 처리를 원격으로 활성화하는 단계, 후속 요청에 응답하여 처리의 활성화를 동기화하는 단계 및 처리에 대한 사용자의 노출을 식별하여 클라이언트 시스템 세트로부터 노출 데이터를 수신하는 단계를 포함한다.

Description

네이티브 애플리케이션 테스트{NATIVE APPLICATION TESTING}
본 명세서는 일반적으로 온라인 소셜 네트워크 및 온라인 환경에서의 피처 또는 제품의 개시에 관한 것이다.
소셜 네트워킹 웹사이트를 포함할 수 있는 소셜 네트워킹 시스템은 그 사용자들(가령, 사람들 또는 단체)이 소셜 네트워킹 시스템과 상호작용하고 소셜 네트워킹 시스템을 통해 서로 상호작용할 수 있게 해줄 수 있다. 소셜 네트워킹 시스템은 사용자로부터의 입력으로 사용자와 관련된 사용자 프로필을 생성하고 소셜 네트워킹 시스템에 저장할 수 있다. 사용자 프로필은 신상 정보, 통신-채널 정보 및 사용자의 개인 관심사에 대한 정보를 포함할 수 있다. 또한, 소셜 네트워킹 시스템은 사용자로부터의 입력으로 소셜 네트워킹 시스템의 다른 사용자들과의 사용자의 관계의 레코드를 생성하고 저장할 수 있을 뿐만 아니라, 서비스(예컨대, 담벼락-게시물, 사진 공유, 이벤트 조직, 메시징, 게임 또는 광고)를 제공하여 사용자들 사이의 소셜 상호작용을 용이하게 할 수 있다.
소셜 네트워킹 시스템은 하나 이상의 네트워크를 통해 서비스에 관한 컨텐츠 또는 메시지를 사용자의 모바일이나 다른 컴퓨팅 시스템으로 송신할 수 있다. 또한, 사용자는 소셜 네트워킹 시스템 내 사용자의 사용자 프로필과 다른 데이터에 접근하기 위해 소프트웨어 애플리케이션을 사용자의 모바일이나 다른 컴퓨팅 시스템에 설치할 수 있다. 소셜 네트워킹 시스템은 사용자에게 디스플레이하기 위해 가령 사용자와 연결된 다른 사용자들의 집계된 소식의 뉴스피드와 같이 개인화된 세트의 컨텐츠 객체를 생성할 수 있다.
A/B 테스트법은 온라인 실험(online experiments)의 효과를 평가하기 위한 표준 접근법이다. 일반적으로, A/B 테스트법은 (통상 A 및 B라고 하는) 2개의 변량(variants)을 가진 랜덤화된 실험을 사용하며, 이런 2개의 변량은 실험에서 제어(control) 및 처리(treatment)를 나타낸다. 이런 실험은 웹 개발 및 마케팅에서뿐 아니라 더 종래의 형태의 광고에서 공통으로 사용된다. 온라인 설정에서, 목적은 통상적으로 온라인 환경에 대한 변화가 환경에서의 사용자 행동에 어떻게 영향을 주는지를 결정하기 위함이다. 제어 그룹 및 처리 그룹이 비교되며, 사용자의 행동에 영향을 줄 수 있는 하나의 변량을 제외하고 일반적으로 동일하다.
본 발명의 내용 중에 포함되어 있다.
특정 실시예로, 소셜 네트워킹 시스템은 원격으로 제어되고 모니터될 수 있는 처리를 포함하는 사용자들에게 네이티브 애플리케이션을 제공함으로써 새로운 제품, 피처, 광고 또는 경험("처리")이 온라인 소셜 네트워크의 사용자에게 개시되도록 하는 방법을 향상시킬 수 있다. A/B 테스트법은 온라인 실험의 효과를 평가하기 위한 표준 접근법이다. 목표는 통상적으로 총 표본의 샘플을 처리에 노출하여 새로운 제품, 피처 또는 조건의 평균 처리 효과를 추정하기 위한 것이다. 특정 실시예로, 실험은 또한 특정 처리의 효과를 결정하도록 사용자 세트에 대해 파라미터(예컨대, 좋아요의 수, 코멘트의 수, 생성된 수익 등)의 행렬을 측정하는 것을 포함할 수 있다. 과제는 처리가 특정한 클라이언트 시스템에서 활성화될 수 있는 동안 특정 이벤트가 처리가 비활성되게 할 수 있다는 점이다. 예컨대, 캐시-제거(cache-clearing) 이벤트(예컨대, 설정 파일, 임시 파일, 쿠키 또는 특정 처리가 애플리케이션에서 활성되어야 하는지를 명시하는 다른 캐시된 객체의 제거) 또는 삭제 이벤트(예컨대, 사용자가 애플리케이션을 삭제하고 재-설치함)는 처리가 사용자에게 제공되지 않도록 애플리케이션을 재설정할 수 있다. 클라이언트 시스템과 소셜 네트워킹 시스템 사이의 처리의 활성화를 동기화함으로써, 실험은 비록 캐시-제거 또는 삭제 이벤트가 있을지라도 사용자가 처리 그룹에서 효과적으로 관리되도록 시행될 수 있다. 이런 방식으로, A/B 실험은 비록 캐시-제거 또는 삭제 이벤트가 있을지라도 사용자가 처리 그룹에서 효과적으로 관리되도록 시행될 수 있다. 이후, 이런 제1 사용자 세트로부터 수신된 데이터는 이런 사용자들에 대한 처리의 처리 효과를 결정하도록 분석될 수 있다. 이후, 처리는 다음의 사용자 세트에서 사용자에게 시판되기 전에 수정될 수 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 소셜 네트워킹 시스템과 연관된 예시적인 네트워크 환경을 도시한다.
도 2는 예시적인 소셜 그래프를 도시한다.
도 3은 원격 클라이언트에서 네이티브 애플리케이션을 테스트하기 위한 예시적인 방법을 도시한다.
도 4는 예시적인 컴퓨터 시스템을 도시한다.
도 1은 소셜 네트워킹 시스템과 관련된 예시적인 네트워크 환경(100)을 도시한다. 네트워크 환경(100)은 네트워크(110)에 의해 서로 연결되는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 포함한다. 도 1은 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 특정한 구성을 도시하지만, 본 명세서는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 임의의 적절한 구성을 고려한다. 예로서 제한 없이, 2 이상의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 네트워크(110)를 우회하여 서로 직접적으로 연결될 수 있다. 또 다른 예로서, 2 이상의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 전체적으로 또는 부분적으로 서로 물리적으로 또는 논리적으로 같은 장소에 배치될 수 있다. 게다가, 도 1은 특정한 수의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 도시하지만, 본 명세서는 임의의 적절한 수의 클라이언트 장치(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크 환경(100)은 다수의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 포함할 수 있다.
본 명세서는 임의의 적절한 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크(110)의 하나 이상의 부분은 애드 혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설 네트워크(VPN), 근거리 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 대도시 네트워크(MAN), 인터넷의 일부, 공중 전화망(PSTN)의 일부, 셀룰러 전화 네트워크 또는 2 이상의 이들의 조합을 포함할 수 있다. 네트워크(110)는 하나 이상의 네트워크(110)를 포함할 수 있다.
링크(150)는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 통신 네트워크(110)와 연결하거나 서로 연결할 수 있다. 본 명세서는 임의의 적절한 링크(150)를 고려한다. 특정 실시예로, 하나 이상의 링크(150)는 하나 이상의 유선라인(가령, 예컨대, 디지털 가입자 라인(DSL) 또는 DOCSIS(Data Over Cable Service Interface Specification)), 무선(가령, 예컨대, Wi-Fi 또는 WiMAX(Worldwide Interoperability for Microwave Access)) 또는 광학(가령, 예컨대, 동기식 광학 네트워크(Synchronous Optical Network, SONET) 또는 동기식 디지털 계층(Synchronous Digital Hierarchy, SDH)) 링크를 포함한다. 특정 실시예로, 하나 이상의 링크(150)는 애드 혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부, PSTN의 일부, 셀룰러 기술-기반 네트워크, 위성 통신 기술-기반 네트워크, 또 다른 링크(150) 또는 2 이상의 이런 링크(150)의 조합을 각각 포함한다. 링크(150)는 네트워크 환경(100)을 통해 반드시 동일할 필요는 없다. 하나 이상의 제1 링크(150)는 하나 이상의 측면에서 하나 이상의 제2 링크(150)와 다를 수 있다.
특정 실시예로, 클라이언트 시스템(130)은 하드웨어, 소프트웨어 또는 임베디드 로직 컴포넌트나 이들의 2 이상의 컴포넌트의 조합을 포함하고 클라이언트 시스템(130)에 의해 구현되거나 지원되는 적절한 기능을 수행할 수 있는 전자식 장치일 수 있다. 예로서 제한 없이, 클라이언트 시스템(130)은 가령 데스크톱 컴퓨터, 노트북이나 랩톱 컴퓨터, 넷북, 태블릿 컴퓨터, e-북 리더, GPS 장치, 카메라, 개인용 정보 단말기(PDA), 휴대용 전자 장치, 셀룰러 전화, 스마트폰, 다른 적절한 전자 장치 또는 이들의 임의의 적절한 조합과 같은 컴퓨터 시스템을 포함할 수 있다. 본 명세서는 임의의 적절한 클라이언트 시스템(130)을 고려한다. 클라이언트 시스템(130)은 클라이언트 시스템(130)에서 네트워크 사용자가 네트워크(110)에 접근할 수 있게 할 수 있다. 클라이언트 시스템(130)은 그 사용자가 다른 클라이언트 시스템(130)의 다른 사용자들과 통신할 수 있게 할 수 있다.
특정 실시예로, 클라이언트 시스템(130)은, 가령 MICROSOFT INTERNET EXPLORER, GOOGLE CHROME 또는 MOZILLA FIREFOX와 같은 웹 브라우저(132)를 포함할 수 있고, 가령 TOOLBAR 또는 YAHOO TOOLBAR와 같은 하나 이상의 애드-온(add-ons), 플러그-인(plug-ins) 또는 다른 확장형(extensions)을 가질 수 있다. 클라이언트 시스템(130)에서의 사용자는 URL(Uniform Resource Locator) 또는 웹 브라우저(132)를 특정 서버(가령, 서버(162) 또는 제3자 시스템(170)과 관련된 서버)로 인도하는 다른 주소를 입력할 수 있고, 웹 브라우저(132)는 하이퍼텍스트 전송 프로토콜(HTTP) 요청을 생성하고 HTTP 요청을 서버로 통신할 수 있다. 서버는 HTTP 요청을 수락하고, HTTP 요청에 응답하여 하나 이상의 하이퍼텍스트 마크업 언어(HTML) 파일을 클라이언트 시스템(130)으로 통신할 수 있다. 클라이언트 시스템(130)은 사용자에게 표시하기 위해 서버로부터 HTML 파일에 기초한 웹페이지를 렌더링할 수 있다. 본 명세서는 임의의 적절한 웹페이지 파일을 고려한다. 예로서 제한 없이, 웹페이지는 특정한 필요에 따라 HTML 파일, 확장형 하이퍼텍스트 마크업 언어(XHTML) 파일 또는 확장형 마크업 언어(XML) 파일로부터 렌더링할 수 있다. 또한, 이런 페이지는, 예로서 제한 없이 JAVASCRIPT, JAVA, MICROSOFT SILVERLIGHT, 가령 AJAX(비동기식 JAVASCRIPT 및 XML)와 같은 마크업 언어와 스크립트의 조합 등과 같은 스크립트를 실행할 수 있다. 본 명세서에서, 웹페이지에 대한 레퍼런스는 (브라우저가 웹페이지를 렌더링하는데 사용할 수 있는) 하나 이상의 해당 웹페이지 파일을 포함하며, 적절한 경우, 그 역도 또한 같다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크를 호스팅할 수 있는 네트워크-주소화 컴퓨팅 시스템일 수 있다. 소셜 네트워킹 시스템(160)은 예컨대 사용자-프로필 데이터, 컨셉-프로필 데이터, 소셜-그래프 정보 또는 온라인 소셜 네트워크에 관한 다른 적절한 데이터와 같은 소셜 네트워킹 데이터를 생성, 저장, 수신 및 송신할 수 있다. 소셜 네트워킹 시스템(160)은 직접적으로 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 컴포넌트들에 의해 접근될 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 서버(162)를 포함할 수 있다. 각 서버(162)는 일체형 서버(unitary server)일 수 있거나, 다수의 컴퓨터 또는 다수의 데이터센터에 걸쳐 있는 분산형 서버일 수 있다. 서버(162)는 예로서 제한 없이, 웹 서버, 뉴스 서버, 메일 서버, 메시지 서버, 광고 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터베이스 서버, 프록시 서버, 본 명세서에 기술된 기능이나 프로세스를 수행하는데 적절한 또 다른 서버 또는 이들의 임의의 조합과 같이, 다양한 타입일 수 있다. 특정 실시예로, 각 서버(162)는 서버(162)에 의해 구현되거나 지원되는 적절한 기능을 수행하기 위한 하드웨어, 소프트웨어 또는 임베디드 논리 소자 또는 2 이상의 이런 소자들의 조합을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(164)은 하나 이상의 데이터 스토어(164)를 포함할 수 있다. 데이터 스토어(164)는 다양한 타입의 정보를 저장하는데 사용될 수 있다. 특정 실시예로, 데이터 스토어(164)에 저장된 정보는 특정한 데이터 구조에 따라 구조화될 수 있다. 특정 실시예로, 각 데이터 스토어(164)는 관계형, 컬럼형, 상관형 또는 다른 적절한 데이터베이스일 수 있다. 비록 본 명세서는 특정 타입의 데이터베이스를 기술하거나 도시하지만, 본 명세서는 임의의 적절한 타입의 데이터베이스를 고려한다. 특정 실시예는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)이 데이터 스토어(164)에 저장된 정보를 관리, 검색, 변경, 추가 또는 삭제할 수 있게 하는 인터페이스를 제공할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어(164)에 하나 이상의 소셜 그래프를 저장할 수 있다. 특정 실시예로, 소셜 그래프는 (특정 사용자에 각각 해당하는) 다수의 사용자 노드 또는 (특정 컨셉에 각각 해당하는) 다수의 컨셉 노드를 포함할 수 있는 다수의 노드 및 노드를 연결하는 다수의 에지를 포함할 수 있다. 소셜 네트워킹 시스템(160)은 다른 사용자와 통신하고 상호작용하는 능력을 온라인 소셜 네트워크의 사용자에게 제공할 수 있다. 특정 실시예로, 사용자는 소셜 네트워킹 시스템(160)을 통해 온라인 소셜 네트워크에 가입한 후 연결들(즉, 관계들)을 그들이 연결되고자 하는 소셜 네트워킹 시스템(160)의 다수의 다른 사용자에 추가할 수 있다. 본 명세서에서, "친구"란 용어는 사용자가 소셜 네트워킹 시스템(160)을 통해 연결, 유대 또는 관계를 형성했던 소셜 네트워킹 시스템(160)의 임의의 다른 사용자를 가리킬 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)에 의해 지원되는 다양한 유형의 아이템이나 객체에 대한 행위를 취할 수 있는 능력을 사용자에게 제공할 수 있다. 예로서 제한 없이, 아이템 및 객체는 소셜 네트워킹 시스템(160)의 사용자들이 속할 수 있는 그룹이나 소셜 네트워크, 사용자가 관심을 가질지도 모르는 이벤트 또는 캘린더 엔트리, 사용자가 사용할 수 있는 컴퓨터-기반 애플리케이션, 사용자가 서비스를 통해 아이템을 팔거나 구매할 수 있게 하는 거래, 사용자가 수행할 수 있는 광고와의 상호작용 또는 다른 적절한 아이템이나 객체를 포함할 수 있다. 사용자는 소셜 네트워킹 시스템(160) 또는 소셜 네트워킹 시스템(160)과 별개이거나 네트워크(110)를 통해 소셜 네트워킹 시스템(160)에 결합되는 제3자 시스템(170)의 외부 시스템에서 표현될 수 있는 모든 것과 상호작용할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 다양한 엔티티를 링크할 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 사용자가 서로 상호작용할 뿐 아니라 제3자 시스템(170)이나 다른 엔티티로부터 컨텐츠를 수신할 수 있게 하거나, 사용자가 응용 프로그래밍 인터페이스(API)나 다른 통신 채널을 통해 이런 엔티티와 상호작용할 수 있게 해줄 수 있다.
특정 실시예로, 제3자 시스템(170)은 하나 이상의 타입의 서버, 하나 이상의 데이터 스토어, API들을 포함하나 이에 국한되지 않는 하나 이상의 인터페이스, 하나 이상의 웹 서비스, 하나 이상의 컨텐츠 소스, 하나 이상의 네트워크 또는 예컨대 서버가 통신할 수 있는 임의의 다른 적절한 컴포넌트를 포함할 수 있다. 제3자 시스템(170)은 소셜 네트워킹 시스템(160)을 운영하는 엔티티와는 다른 엔티티에 의해 운영될 수 있다. 그러나, 특정 실시예로, 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 소셜 네트워킹 서비스를 소셜 네트워킹 시스템(160)이나 제3자 시스템(170)의 사용자에게 제공하도록 서로 함께 동작할 수 있다. 이런 의미에서, 소셜 네트워킹 시스템(160)은 가령 제3자 시스템(170)과 같은 다른 시스템들이 인터넷상의 사용자들에게 소셜 네트워킹 서비스와 기능을 제공하도록 사용할 수 있는 플랫폼 또는 백본(backbone)을 제공할 수 있다.
특정 실시예로, 제3자 시스템(170)은 제3자 컨텐츠 객체 제공자를 포함할 수 있다. 제3자 컨텐츠 객체 제공자는 클라이언트 시스템(130)과 통신될 수 있는 하나 이상의 소스의 컨텐츠 객체를 포함할 수 있다. 예로서 제한 없이, 컨텐츠 객체는 가령 영화 쇼타임, 영화 리뷰, 레스토랑 리뷰, 레스토랑 메뉴, 제품 정보와 리뷰 또는 다른 적절한 정보와 같이 사용자가 관심 있는 사물이나 활동에 관한 정보를 포함할 수 있다. 또 다른 예로서 제한 없이, 컨텐츠 객체는 가령 쿠폰, 할인 티켓, 상품권 또는 다른 적절한 인센티브 객체와 같은 인센티브 컨텐츠 객체를 포함할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 또한 소셜 네트워킹 시스템(160)과 사용자의 상호작용을 향상시킬 수 있는 사용자-생성된 컨텐츠 객체를 포함한다. 사용자-생성된 컨텐츠는 사용자가 소셜 네트워킹 시스템(160)에 추가, 업로드, 송신 또는 "게시"할 수 있는 어떤 것을 포함할 수 있다. 예로서 제한 없이, 사용자는 클라이언트 시스템(130)으로부터 소셜 네트워킹 시스템(160)으로 게시물을 통신할 수 있다. 게시물은 가령 상태 업데이트나 다른 텍스트형 데이터와 같은 데이터, 위치 정보, 사진, 비디오, 링크, 음악 또는 다른 유사한 데이터나 매체를 포함할 수 있다. 또한, 컨텐츠는 가령 뉴스피드 또는 스트림과 같이 "통신 채널"을 통해 제3자에 의해 소셜 네트워킹 시스템(160)에 추가될 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 다양한 서버, 서브-시스템, 프로그램, 모듈, 로그 및 데이터 스토어를 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 다음의 하나 이상의: 웹 서버, 행위 로거, API 요청 서버, 관련성 및 순위화 엔진, 컨텐츠 객체 분류기, 알림 제어기, 행위 로그, 제3자 컨텐츠 객체 노출 로그, 추론 모듈, 인증/프라이버시 서버, 검색 모듈, 광고 타겟팅 모듈, 사용자 인터페이스 모듈, 사용자 프로필 스토어, 연결 스토어, 제3자 컨텐츠 스토어 또는 위치 스토어를 포함할 수 있다. 또한, 소셜 네트워킹 시스템(160)은 가령 네트워크 인터페이스, 보안 메커니즘, 부하 균형기, 장애 서버, 관리 및 네트워크 운영 콘솔, 다른 적절한 컴포넌트 또는 이들의 임의의 적절한 조합과 같이 적절한 컴포넌트들을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 사용자 프로필을 저장하기 위한 하나 이상의 사용자 프로필 스토어를 포함할 수 있다. 사용자 프로필은 예컨대 인명정보, 인구학적 정보, 행동 정보, 소셜 정보 또는 가령 경력, 학력, 취미나 기호, 관심사, 친밀감, 위치와 같은 다른 유형의 설명적 정보를 포함할 수 있다. 관심사 정보는 하나 이상의 카테고리에 관한 관심사를 포함할 수 있다. 카테고리는 일반적이거나 구체적일 수 있다. 예로서 제한 없이, 사용자가 신발 브랜드에 관한 기사에 "좋아한다"면, 카테고리는 그 브랜드일 수 있거나 "신발" 또는 "옷"의 일반 카테고리일 수 있다. 연결 스토어는 사용자에 대한 연결 정보를 저장하는데 사용될 수 있다. 연결 정보는 유사하거나 공통의 경력, 그룹 맴버쉽, 취미, 학력을 가지거나 임의의 방식으로 관련되거나 공통 속성을 공유하는 사용자들을 표시할 수 있다. 또한, 연결 정보는 (내부와 외부 모두의) 다른 사용자들과 컨텐츠 사이의 사용자-정의된 연결들을 포함할 수 있다. 웹 서버는 네트워크(110)를 통해 하나 이상의 클라이언트 시스템(130)이나 하나 이상의 제3자 시스템(170)과 소셜 네트워킹 시스템(160)을 링크하는데 사용될 수 있다. 웹 서버는 소셜 네트워킹 시스템(160)과 하나 이상의 클라이언트 시스템(130) 사이에서 메시지를 수신하고 라우팅하기 위한 메일 서버나 다른 메시징 기능을 포함할 수 있다. API 요청 서버는 제3자 시스템(170)이 하나 이상의 API를 호출하여 소셜 네트워킹 시스템(160)으로부터의 정보에 접근할 수 있게 해줄 수 있다. 행위 로거는 소셜 네트워킹 시스템(160) 내부나 외부에서의 사용자의 행위에 대한 웹 서버로부터의 통신을 수신하는데 사용될 수 있다. 행위 로그와 함께, 제3자 컨텐츠 객체 로그에서는 제3자 컨텐츠 객체에 대한 사용자 노출이 관리될 수 있다. 알림 제어기는 컨텐츠 객체에 관한 정보를 클라이언트 시스템(130)에 제공할 수 있다. 정보는 알림으로서 클라이언트 시스템(130)으로 푸싱(pushed)될 수 있거나, 정보는 클라이언트 시스템(130)으로부터 수신된 요청에 응답하여 클라이언트 시스템(130)으로부터 풀링(pulled)될 수 있다. 인증 서버는 소셜 네트워킹 시스템(160)의 사용자의 하나 이상의 프라이버시 설정을 강제하는데 사용될 수 있다. 사용자의 프라이버시 설정은 사용자와 관련된 특정 정보가 어떻게 공유될 수 있는지를 결정한다. 인증 서버는 예컨대 적절한 프라이버시 설정을 설정함으로써, 사용자의 행위를 소셜 네트워킹 시스템(160)에 의해 로그되게 하거나 다른 시스템(예컨대, 제3자 시스템(170))과 공유되게 하도록 사용자가 참여하거나 탈퇴할 수 있게 해줄 수 있다. 제3자 컨텐츠 객체 스토어는 가령 제3자 시스템(170)과 같은 제3자로부터 수신된 컨텐츠 객체를 저장하는데 사용될 수 있다. 위치 스토어는 사용자와 관련된 클라이언트 시스템(130)으로부터 수신된 위치 정보를 저장하는데 사용될 수 있다. 광고 가격결정 모듈은 소셜 정보, 현재시간, 위치 정보 또는 다른 적절한 정보를 결합하여 알림의 형태로 사용자에게 관련 광고를 제공할 수 있다.
도 2는 예시적인 소셜 그래프(200)를 도시한다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 하나 이상의 소셜 그래프(200)를 저장할 수 있다. 특정 실시예로, 소셜 그래프(200)는 다수의 사용자 노드(202)나 다수의 컨셉 노드(204)를 포함할 수 있는 다수의 노드 및 노드를 연결하는 다수의 에지(206)를 포함할 수 있다. 도 2에 도시된 예시적인 소셜 그래프(200)는 훈시적 목적상 2차원 시각적 지도 표현으로 도시된다. 특정 실시예로, 소셜 네트워킹 시스템(160), 클라이언트 시스템(130) 또는 제3자 시스템(170)은 소셜 그래프(200) 및 적절한 애플리케이션에 대한 관련 소셜-그래프 정보에 접근할 수 있다. 소셜 그래프(200)의 노드 및 에지는 예컨대 데이터 스토어(가령, 소셜-그래프 데이터베이스)에 데이터 객체로서 저장될 수 있다. 이런 데이터 스토어는 소셜 그래프(200)의 노드 또는 에지의 하나 이상의 검색가능하거나 질의가능한 인덱스를 포함할 수 있다.
특정 실시예로, 사용자 노드(202)는 소셜 네트워킹 시스템(160)의 사용자에 해당할 수 있다. 예로서 제한 없이, 사용자는 개인(사람인 사용자), 엔티티(예컨대, 기업, 사업체 또는 제3자 애플리케이션) 또는 소셜 네트워킹 시스템(160)과 상호작용하거나 소셜 네트워킹 시스템에서 통신하는 (예컨대, 개인 또는 엔티티의) 그룹일 수 있다. 특정 실시예로, 사용자가 소셜 네트워킹 시스템(160)에서 계정을 등록하면, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)를 생성할 수 있고, 하나 이상의 데이터 스토어에 사용자 노드(202)를 저장할 수 있다. 적절한 경우, 본 명세서에 기술되는 사용자들 및 사용자 노드들(202)은 등록 사용자들 및 등록 사용자들과 관련된 사용자 노드들(202)을 말할 수 있다. 추가로 또는 대안으로, 본 명세서에 기술되는 사용자들 및 사용자 노드들(202)은 적절한 경우 소셜 네트워킹 시스템(160)에 등록되지 않은 사용자들을 말할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자가 제공한 정보 및 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템이 수집한 정보와 관련될 수 있다. 예로서 제한 없이, 사용자는 그들의 이름, 프로필 사진, 연락 정보, 생일, 성별, 혼인 여부, 가족 관계, 직장, 학력, 기호, 관심사 또는 다른 신상 정보를 제공할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자와 관련된 정보에 해당하는 하나 이상의 데이터 객체와 관련될 수 있다. 특정 실시예로, 사용자 노드(202)는 하나 이상의 웹페이지에 해당할 수 있다.
특정 실시예로, 컨셉 노드(204)는 컨셉에 해당할 수 있다. 예로서 제한 없이, 컨셉은 장소(가령, 예컨대, 영화관, 레스토랑, 명소 또는 도시); 웹사이트(가령, 예컨대, 소셜 네트워크 시스템(160)과 관련된 웹사이트 또는 웹-애플리케이션 서버와 관련된 제3자 웹사이트); 엔티티(가령, 예컨대, 사람, 사업체, 그룹, 스포츠 팀 또는 유명인사); 소셜 네트워킹 시스템(160) 또는 가령 웹-애플리케이션 서버와 같은 외부 서버에 위치할 수 있는 자원(가령, 예컨대, 오디오 파일, 비디오 파일, 디지털 사진, 텍스트 파일, 구조화된 문서 또는 애플리케이션); 물적 재산권 또는 지적 재산권(가령, 예컨대, 조각품, 미술품, 영화, 게임, 노래, 아이디어, 사진 또는 저서); 게임; 활동; 아이디어나 이론; 또 다른 적절한 컨셉; 또는 2 이상의 이런 컨셉들에 해당할 수 있다. 컨셉 노드(204)는 사용자에 의해 제공된 컨셉의 정보 또는 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템에 의해 수집된 정보와 관련될 수 있다. 예로서 제한 없이, 컨셉의 정보는 이름이나 제목; 하나 이상의 이미지(예컨대, 책의 커버 페이지의 이미지); 위치(예컨대, 주소 또는 지리적 위치); (URL과 관련될 수 있는) 웹사이트; 연락 정보(예컨대, 전화번호 또는 이메일 주소); 다른 적절한 컨셉 정보; 또는 이런 정보의 임의의 적절한 조합을 포함할 수 있다. 특정 실시예로, 컨셉 노드(204)는 컨셉 노드(204)와 관련된 정보에 해당하는 하나 이상의 데이터 객체와 관련될 수 있다. 특정 실시예로, 컨셉 노드(204)는 하나 이상의 웹페이지에 해당할 수 있다.
특정 실시예로, 소셜 그래프(200)에서 노드는 ("프로필 페이지"라고 할 수 있는) 웹페이지를 표현하거나, 그 웹페이지로 표현될 수 있다. 프로필 페이지는 소셜 네트워킹 시스템(160)에 의해 호스트될 수 있거나, 접근될 수 있다. 또한, 프로필 페이지는 제3자 서버(170)와 관련된 제3자 웹사이트에 호스트될 수 있다. 예로서 제한 없이, 특정한 외부 웹페이지에 해당하는 프로필 페이지는 특정한 외부 웹페이지일 수 있고, 이런 프로필 페이지는 특정 컨셉 노드(204)에 해당할 수 있다. 프로필 페이지는 모든 또는 선택된 서브세트의 다른 사용자들에 의해 열람될 수 있다. 예로서 제한 없이, 사용자 노드(202)는 해당 사용자가 컨텐츠를 추가할 수 있고, 선언을 할 수 있으며, 그렇지 않으면 그들 자신을 표현할 수 있는 해당 사용자 프로필-페이지를 가질 수 있다. 또 다른 예로서 제한 없이, 컨셉 노드(204)는 특히 컨셉 노드(204)에 해당하는 컨셉과 관련하여 하나 이상의 사용자들이 컨텐츠를 추가할 수 있거나, 선언을 할 수 있거나, 그들 자신을 표현할 수 있는 해당 컨셉-프로필 페이지를 가질 수 있다.
특정 실시예로, 컨셉 노드(204)는 제3자 시스템(170)에 의해 호스팅된 제3자 웹페이지 또는 자원을 표현할 수 있다. 제3자 웹페이지 또는 자원은 다른 요소들 중에서 행위 또는 활동을 표현하는 (예컨대, JavaScript, AJAX 또는 PHP 코드로 구현될 수 있는) 컨텐츠, 선택가능하거나 다른 아이콘 또는 다른 상호작용가능한 객체를 포함할 수 있다. 예로서 제한 없이, 제3자 웹페이지는 가령 "좋아요", "체크인", "식사하기(eat)", "추천하기" 또는 다른 적절한 행위나 활동과 같은 선택가능한 아이콘을 포함할 수 있다. 제3자 웹페이지를 열람하는 사용자는 아이콘들 중 하나(예컨대, "식사하기")를 선택하여 행위를 수행할 수 있고, 클라이언트 시스템(130)이 사용자의 행위를 표시하는 메시지를 소셜 네트워킹 시스템(160)으로 송신하게 할 수 있다. 그 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 제3자 웹페이지 또는 자원에 해당하는 컨셉 노드(204) 사이의 에지(예컨대, "식사하기" 에지)를 생성할 수 있고, 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다.
특정 실시예로, 소셜 그래프(200)에서 노드 쌍은 하나 이상의 에지(206)에 의해 서로 연결될 수 있다. 노드 쌍을 연결하는 에지(206)는 노드 쌍 사이의 관계를 표현할 수 있다. 특정 실시예로, 에지(206)는 노드 쌍 사이의 관계에 해당하는 하나 이상의 데이터 객체나 속성을 포함하거나 표현할 수 있다. 예로서 제한 없이, 제1 사용자는 제2 사용자가 제1 사용자의 "친구"라고 표시할 수 있다. 이런 표시에 응답하여, 소셜 네트워킹 시스템(160)은 "친구 요청"을 제2 사용자에게 송신할 수 있다. 제2 사용자가 "친구 요청"을 확인하면, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)에서 제1 사용자의 사용자 노드(202)와 제2 사용자의 사용자 노드(202)를 연결하는 에지(206)를 생성할 수 있고, 하나 이상의 데이터 스토어(164)에 소셜-그래프 정보로서 에지(206)를 저장할 수 있다. 도 2의 예에서, 소셜 그래프(200)는 사용자 "A"와 사용자 "B"의 사용자 노드(202)들 사이의 친구 관계를 표시하는 에지(206)를 그리고 사용자 "C"와 사용자 "B"의 사용자 노드(202) 사이의 친구 관계를 표시하는 에지를 포함한다. 본 명세서가 특정 사용자 노드(202)를 연결하는 특정 속성을 가진 특정 에지(206)를 기술하거나 도시하지만, 본 명세서는 사용자 노드(202)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 예로서 제한 없이, 에지(206)는 친구관계, 가족관계, 사업이나 고용 관계, 팬 관계, 팔로어 관계, 방문자 관계, 구독자 관계, 상위/하위 관계, 호혜 관계, 비-상호 관계, 또 다른 적절한 타입의 관계 또는 2 이상의 이런 관계들을 표현할 수 있다. 게다가, 본 명세서는 일반적으로 노드들이 연결되는 것을 기술하지만, 본 명세서는 또한 사용자 또는 컨셉이 연결되는 것을 기술한다. 본 명세서에서, 사용자 또는 컨셉이 연결되는 것에 대한 언급은 적절한 경우 이들 사용자 또는 컨셉에 해당하는 노드가 하나 이상의 에지(206)에 의해 소셜 그래프(200)에서 연결되는 것을 말할 수 있다.
특정 실시예로, 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)는 컨셉 노드(204)와 관련된 컨셉에 대해 사용자 노드(202)의 사용자가 수행한 특정 행위 또는 활동을 표현할 수 있다. 예로서 제한 없이, 도 2에 도시된 바와 같이, 사용자는 컨셉을 "좋아요(like)", "참여했음(attended)", "실행했음(played)", "청취했음(listened)", "요리했음(cooked)", "근무했음(worked at)", 또는 "시청했음(watched)"을 할 수 있고, 이들 각각은 에지 타입이나 서브타입에 해당할 수 있다. 컨셉 노드(204)에 해당하는 컨셉-프로필 페이지는 예컨대 선택가능한 "체크인" 아이콘(가령, 예컨대, 클릭가능한 "체크인" 아이콘) 또는 선택가능한 "즐겨찾기에 추가(add to favorites)" 아이콘을 포함할 수 있다. 마찬가지로, 사용자가 이런 아이콘을 클릭한 후, 소셜 네트워킹 시스템(160)은 각각의 행위에 해당하는 사용자의 행위에 응답하여 "즐겨찾기" 에지 또는 "체크인" 에지를 생성할 수 있다. 또 다른 예로서 제한 없이, 사용자(사용자 "C")는 특정 애플리케이션(온라인 음악 애플리케이션인 SPOTIFY)을 사용하여 특정 노래("Imagine")를 들을 수 있다. 이 경우, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 노래 및 애플리케이션에 해당하는 컨셉 노드(204) 사이에 "청취했음(listened)" 에지(206) 및 "사용했음(used)" 에지(도 2에 도시)를 생성하여, 사용자가 그 노래를 들었고 그 애플리케이션을 사용했음을 표시할 수 있다. 게다가, 소셜 네트워킹 시스템(160)은 노래와 애플리케이션에 해당하는 컨셉 노드(204) 사이에서 "실행했음(played)" 에지(206)(도 2에 도시)를 생성하여 특정 노래가 특정 애플리케이션에 의해 실행되었음을 표시할 수 있다. 이 경우, "실행했음(played)" 에지(206)는 외부 오디오 파일(노래 "Imagine")에 대해 외부 애플리케이션(SPOTIFY)이 수행한 행위에 해당한다. 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 특정 속성을 가진 에지(206)를 기술하지만, 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 게다가, 본 명세서는 단일의 관계를 표현하는 사용자 노드(202)와 컨셉 노드(204) 사이의 에지를 기술하지만, 본 명세서는 하나 이상의 관계를 표현하는 사용자 노드(202)와 컨셉 노드(204) 사이의 에지를 고려한다. 예로서 제한 없이, 에지(206)는 사용자가 특정 컨셉에서 좋아요 하고 사용했음을 모두 표현할 수 있다. 대안으로, 또 다른 에지(206)는 사용자 노드(202)와 컨셉 노드(204) 사이(도 2에 도시된 바와 같이, 사용자 "E"에 대한 사용자 노드(202)와 "SPOTIFY"에 대한 컨셉 노드(204) 사이)의 각 타입의 관계(또는 다수의 단일 관계)를 표현할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)에서 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 예로서 제한 없이, (가령, 예컨대, 사용자의 클라이언트 시스템(130)에 의해 호스팅되는 웹 브라우저 또는 특수목적 애플리케이션을 사용하여) 사용자가 컨셉-프로필 페이지를 열람하는 것은 사용자가 "좋아요" 아이콘을 클릭하거나 선택하여 컨셉 노드(204)가 표현한 컨셉을 좋아함을 나타낼 수 있는데, "좋아요" 아이콘은 사용자의 클라이언트 시스템(130)이 컨셉-프로필 페이지와 관련된 컨셉을 사용자가 좋아요 했다고 표시한 메시지를 소셜 네트워킹 시스템(160)으로 송신하게 할 수 있다. 그 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자와 컨셉 노드(204) 사이의 "좋아요" 에지(206)로 도시된 바와 같이 사용자와 관련된 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다. 특정 실시예로, 에지(206)는 특정 사용자 행위에 응답하여 소셜 네트워킹 시스템(160)에 의해 자동 형성될 수 있다. 예로서 제한 없이, 제1 사용자가 사진을 업로드하거나, 영화를 시청하거나, 노래를 듣는다면, 에지(206)는 제1 사용자에 해당하는 사용자 노드(202)와 이런 컨셉에 해당하는 컨셉 노드(204) 사이에 형성될 수 있다. 본 명세서는 특정 방식으로 특정 에지(206)를 형성하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 에지(206)를 형성하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 원격으로 제어되고 모니터될 수 있는 처리를 포함하는 사용자에게 네이티브 애플리케이션을 제공함으로써 새로운 제품, 피처(feature), 광고 또는 경험("처리")이 온라인 소셜 네트워크의 사용자에게 개시되도록 하는 방법을 향상시킬 수 있다. A/B 테스트법은 온라인 실험의 효과를 평가하기 위한 표준 접근법이다. 목표는 통상적으로 총 표본의 샘플을 처리에 노출하여 새로운 제품, 피처 또는 조건의 평균 처리 효과를 추정하기 위한 것이다. 특정 실시예로, 실험은 또한 특정 처리의 효과를 결정하도록 사용자 세트에 대해 파라미터(예컨대, 좋아요의 수, 코멘트의 수, 생성된 수익 등)의 행렬을 측정하는 것을 포함할 수 있다. 과제는 처리가 특정한 클라이언트 시스템(130)에서 활성화될 수 있는 동안 특정 이벤트가 처리가 비활성되게 할 수 있다는 점이다. 예컨대, 캐시-제거(cache-clearing) 이벤트(예컨대, 설정 파일, 임시 파일, 쿠키 또는 특정 처리가 애플리케이션에서 활성되어야 하는지를 명시하는 다른 캐시된 객체의 제거) 또는 삭제 이벤트(예컨대, 사용자가 애플리케이션을 삭제하고 재-설치함)는 처리가 사용자에게 제공되지 않도록 애플리케이션을 재설정할 수 있다. 클라이언트 시스템(130)과 소셜 네트워킹 시스템(160) 사이의 처리의 활성화를 동기화함으로써, 실험은 비록 캐시-제거 또는 삭제 이벤트가 있을지라도 사용자가 처리 그룹에서 효과적으로 관리되도록 시행될 수 있다. 이런 방식으로, A/B 실험은 비록 캐시-제거 또는 삭제 이벤트가 있을지라도 사용자가 처리 그룹에서 효과적으로 관리되도록 시행될 수 있다. 이후, 이런 제1 사용자 세트로부터 수신된 데이터는 이런 사용자들에 대한 처리의 처리 효과를 결정하도록 분석될 수 있다. 이후, 처리는 다음의 사용자 세트에서 사용자에게 시판되기 전에 수정될 수 있다. 처리를 시판하는 순차적인 접근법은 처리가 온라인 소셜 네트워크의 모든 사용자에게 제공될 때까지 시행될 수 있다. 비록 본 명세서는 특정 방식으로 처리를 사용자에게 제공하고 처리 효과를 결정하는 것을 제공하지만, 본 명세서는 임의의 적절한 방식으로 사용자에게 처리를 제공하고 처리 효과를 결정하는 것을 고려한다.
A/B 테스트 접근법에서는 처리 그룹 내 사용자가 실제로 처리에 노출되고 있다고 확실하게 하는 것이 중요하다. 새로운 제품, 피처 등이 데스크톱 환경에서 (예컨대, 웹 브라우저(132)를 통해) 시판될 때, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)에 의해 웹페이지 서버를 사용자가 열람하는 것에 일환으로서 처리(또는 처리의 결여)에 대한 사용자 노출을 결정할 수 있다. 그러나, 소셜 네트워킹 시스템(160)이 (예컨대, 모바일 클라이언트에서 앱으로부터) 클라이언트 시스템(130)에 설치된 네이티브 애플리케이션을 통해 액세스되는 경우, 처리에 대한 사용자 노출은 반드시 확실할 필요는 없는데, 이는 소셜 네트워킹 시스템(160)이 사용자가 네이티브 애플리케이션에서 무엇을 열람하거나 수행하는지, 네이티브 애플리케이션이 클라이언트 시스템(130)으로부터 삭제되었는지, 네이티브 애플리케이션에 관한 사용 데이터가 클라이언트 시스템(130)에서 캐시로부터 제거되었는지 등을 항상 감지할 수는 없기 때문이다. 네이티브 애플리케이션에 대한 사용자 노출의 이런 불확실성은 처리의 효과를 결정하기 위한 파라미터의 행렬을 측정하는 정확성을 감소시킬 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 복수의 사용자와 연관된 복수의 클라이언트 시스템(130)에 각각 애플리케이션을 배치할 수 있다. 애플리케이션은 클라이언트 시스템(130) 각각에 설치될 수 있다. 예로서 제한 없이, 네이티브 애플리케이션은 사용자가 웹 브라우저(132)보다는 네이티브 애플리케이션을 통해 소셜 네트워킹 시스템(160)에 액세스할 수 있게 하는 모바일 클라이언트 시스템(130)에 설치될 수 있다. 특정 실시예로, 하나 이상의 처리는 애플리케이션에서 원격으로 활성화될 수 있다. A/B 랜덤화 실험에 대해, 개인의 처리 조건은 그들이 간섭(intervention)에 종속되는지를 결정한다. 이는 일반적으로 2개의 값: "처리" 또는 "제어"를 취한다. 대부분의 랜덤화 실험에서, 실험자는 처리 조건을 랜덤화하는 방법을 명시적으로 제어하며, 통상 개인들은 독립적으로 할당된다. 한편, 개인의 노출 조건은 세계가 간섭을 어떻게 경험하는지와 전적으로 연계하여 그들이 간섭을 어떻게 경험하는지를 결정한다. 예로서 제한 없이, 네이티브 애플리케이션은 특정 피처 또는 경험이 애플리케이션과 함께 포함되지만 반드시 사용자에게 제공되어야 하는 것은 아니도록 하는 기능을 포함할 수 있다. 즉, 네이티브 애플리케이션은 하나 이상의 선택형 처리를 포함할 수 있다. 이런 처리는 예컨대 네이티브 애플리케이션에서 특정한 피처 또는 경험을 활성화하는 소셜 네트워킹 시스템(160)으로부터의 명령에 응답하여 활성화될 수 있다. 처리는 예컨대 특정 사용자가 처리를 제공받지만 다른 사람들은 그렇지 않을 수 있도록 사용자-대-사용자(user-by-user) 기반으로 원격으로 활성화될 수 있다. 비록 본 명세서는 특정 방식으로 특정 애플리케이션을 배치하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 애플리케이션을 배치하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 제1 사용자 세트에 대응하는 제1 클라이언트 시스템(130) 세트에 각각 처리를 제공할 수 있다. 예컨대, 처리는 특정 광고, 제품, 피처, 경험, 다른 적절한 처리 또는 이들의 임의의 조합일 수 있다. 고정 단위 처리 값 추정(stable unit treatment value assumption)이 타당한 근사(reasonable approximation)인 보통의 랜덤화된 시행(예컨대, 검색 엔진이 사용자들의 방문 시간에 대한 그들의 색 기법(color scheme)의 효과를 A/B 테스트하는 경우) 하에서, 모집단은 2개의 그룹: (새로운 색 기법 A를 보는) "처리" 그룹 및 (디폴트 색 기법 B를 보는) 제어 그룹으로 나눠진다. 사용자 사이의 간섭 효과를 무시할 정도라고 가정하면, 처리된 그룹 내 각각의 개인들은 전체 모집단이 처리된다면 마치 그들이 그럴 것처럼 응답하며, 제어 그룹 내 각각의 개인들은 전체 모집단이 제어된다면 마치 그들이 그럴 것처럼 응답한다. 이런 방식으로, 우리는 2개의 구별된 "평행 우주(parallel universes)"(예컨대, 색 기법 A가 모든 사람에게 사용되는 "우주 A" 및 색 기법 B가 모든 사람에게 사용되는 "우주 B")의 샘플들로부터의 결과를 동시에 관찰하고 있다고 생각할 수 있고, 각각의 우주에서 사용자의 행동의 성질에 대해 추론할 수 있다. 처리는 온라인 소셜 네트워크 또는 제3자 시스템(170)을 통해 제공될 수 있다. 이후, 소셜 네트워킹 시스템(160)은 제1 사용자 세트의 사용자들에 대한 처리의 처리 효과를 결정할 수 있다. 비록 본 명세서는 특정 방식으로 특정 처리를 제공하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 처리를 제공하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 처리를 클라이언트 시스템(130)에 제공하도록 클라이언트 시스템(130)과 동기화할 수 있다. 이를 통해 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)에 로컬적으로 설치되는 네이티브 애플리케이션의 노출 및 사용을 정확히 기록할 수 있다. 클라이언트 시스템(130)은 클라이언트 시스템(130)에서 네이티브 애플리케이션의 상태 변화에 대응하는 이벤트를 소셜 네트워킹 시스템(160)으로 다시 송신함으로써 네이티브 애플리케이션의 상태를 소셜 네트워킹 시스템(160)과 동기화할 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)에 송신된 이벤트는 네이티브 애플리케이션과 연관된 배치 이벤트, 노출 이벤트, 캐시-제거 이벤트 또는 전환 이벤트일 수 있다. 다수의 클라이언트 시스템(130)으로부터 이런 이벤트를 수신함으로써, 소셜 네트워킹 시스템(160)은 이런 클라이언트 시스템(130)에서 네이티브 앱의 노출 및 사용의 정확한 로그를 구축할 수 있고, 파라미터의 행렬을 정확히 계산할 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)에 액세스하도록 클라이언트 시스템(130)에 설치된 애플리케이션으로부터 요청을 수신할 수 있다. 이후, 소셜 네트워킹 시스템(160)은 클라이언트 시스템이 처리와 연관된 처리 그룹에 속하는지를 결정할 수 있다. 클라이언트 시스템(130)이 처리 그룹에 속한다면, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)에 처리를 원격으로 활성화할 수 있다. 마찬가지로, 클라이언트 시스템(130)이 제어 그룹에 속한다면, 소셜 네트워킹 시스템(160)은 임의의 처리를 활성화하지 않을 수 있다(또는, 처리가 몇몇의 이유로 활성화되었다면, 소셜 네트워킹 시스템(160)은 그 시점에서 처리를 비활성화할 수 있다). 클라이언트 시스템(130)에 의한 후속 액세스에 응답하여, 소셜 네트워킹 시스템(160)은 처리의 활성화를 동기화할 수 있다. 처리는 다양한 이유로 비활성화되었을 수 있으므로, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)이 여전히 사용자에게 처리를 제공하고 있는지를 결정할 필요가 있다. 예컨대, 클라이언트 시스템(130)에 의한 후속 액세스에 응답하여, 소셜 네트워킹 시스템(160)은 처리가 클라이언트 시스템(130)에서 여전히 활성 상태인지를 결정할 수 있다. 그렇다면, 어떤 행동도 취해질 필요가 없을 수 있다. 그러나, 처리가 클라이언트 시스템(130)에서 활성 상태가 아니라고 결정되면, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)에서 처리를 원격으로 재-활성화할 수 있다. 이런 방식으로, A/B 실험은 캐시-제거 또는 삭제 이벤트가 있을지라도 사용자들이 처리 그룹에 효과적으로 관리되도록 시행될 수 있다. 비록 본 명세서는 특정 방식으로 특정 처리를 동기화하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 처리를 동기화하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 특정된 타임아웃 기간 이후 제1 클라이언트 시스템(130) 세트에 처리를 비활성화할 수 있다. 임의의 적절한 타임아웃 기간이 사용될 수 있다. 예로서 제한 없이, 네이티브 애플리케이션에서 처리는 클라이언트 시스템(130)에서 활성화된 후 8주 타임아웃(timeout)할 수 있다. 또 다른 예로서 제한 없이, 처리는 특정된 날짜에 타임아웃할 수 있다. 타임아웃 기간은 사용자-대-사용자 기반으로(예컨대, 특정 고객이 애플리케이션을 설치한 후 8주) 또는 전역적으로(예컨대, 사용자가 그 기간 동안 실험에 입력한 시간에 관계없이 실험이 시작한 후 8주) 특정될 수 있다. 처리를 비활성화하는 것은 처리를 포함한 제품, 피처, 경험 등이 사용자에게 제공되는 것을 정지함을 의미한다. 타임아웃 이후, 사용자는 네이티브 애플리케이션에서 디폴트 (예컨대, 제어) 제품/경험을 제공받을 수 있다. 특정 실시예로, 클라이언트 시스템(130)은 소셜 네트워킹 시스템(160)으로 타임아웃 이벤트를 송신할 수 있다. 이런 방식으로, 소셜 네트워킹 시스템(160)은 네이티브 앱과 연관된 모든 실험을 추적할 필요는 없을 수 있어서, 총 생산성 및 개발 효율을 개선시킬 수 있다. 비록 본 명세서는 특정 방식으로 처리를 비활성화하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 처리를 비활성화하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 네트워크-인지 방식으로 사용자의 클러스터에 처리를 제공할 수 있다. 소셜 네트워킹 시스템(160)은 그래프 클러스터 랜덤화를 사용하여 소셜 그래프(200)에서 복수의 클러스터를 식별할 수 있다. 각각의 식별된 클러스터는 소셜 그래프(200)의 복수의 노드로부터의 별개의 노드 세트를 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 각 클러스터 내 임계 수의 노드가 클러스터 내 다른 노드들에 대해 네트워크 노출될 수 있도록 클러스터들을 특정할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 서로에 대해 사용자의 소셜-그래프 친밀성에 적어도 부분적으로 기반하여 클러스터들을 식별할 수 있다. 소셜 그래프(200) 내 이웃들이 있음(즉, 에지(206)로 연결됨)에 기반하여 사용자를 단지 클러스터링하는 대신, 소셜 네트워킹 시스템(160)은 서로에 대한 상대적으로 높은 소셜-그래프 친밀성을 가지는 이웃들을 클러스터링할 수 있다. 즉, 사용자 i는 사용자 i에 대해 임계 친밀성을 초과하는 j 이웃들로 클러스터링될 수 있는 한편, 사용자 i에 대한 낮은 친밀성을 가지는 이웃들은 클러스터에 반드시 포함되지는 않을 수 있다. 비록 본 명세서는 특정 방식으로 네트워크 노출을 가진 클러스터를 식별하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 네트워크 노출을 가진 클러스터를 식별하는 것을 고려한다. 사용자 세트를 식별하고 선택하는 것에 연계하여, 특정 실시예는 참조로 통합되는 2013년 7월 10일자로 출원된 미국특허출원 제13/939093호에 개시된 하나 이상의 시스템, 컴포넌트, 구성요소, 기능, 방법, 동작 또는 단계를 이용할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 제1 클라이언트 시스템(130) 세트로부터 처리 데이터를 수신할 수 있다. 소셜 네트워킹 시스템(160)은 특정된 시간 기간 동안 (소셜 네트워킹 시스템으로 다시 송신되는 이벤트에 의해 결정되는 바와 같이) 네이티브 애플리케이션의 특정 처리로 노출되었던 사용자 세트에 기반하여 파라미터의 행렬을 계산할 수 있다. 동일한 시간 동안, 소셜 네트워킹 시스템(160)은 또한 동일한 시간 동안 클라이언트 시스템(130)으로부터 소셜 네트워킹 시스템(160)에 액세스하면서 네이티브 애플리케이션의 특정 처리에 노출되지 않았던 사용자들을 포함하는 제어 그룹을 구축할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 제1 클라이언트 시스템 세트로부터 노출 데이터를 수신할 수 있다. 각 클라이언트 시스템(130)에 대한 노출 데이터는 처리에 대한 클라이언트 시스템(130)의 사용자의 노출을 식별할 수 있다. 예로서 제한 없이, 처리가 특정 광고라면, 노출 데이터는 광고가 네이티브 애플리케이션의 사용자에게 디스플레이되었는지를 식별할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 제1 클라이언트 시스템 세트로부터 전환 데이터를 수신할 수 있다. 각 클라이언트 시스템(130)에 대한 전환 데이터는 처리에 대한 사용자 상호작용을 식별할 수 있다. 예로서 제한 없이, 이전의 예를 이어가면, 처리가 광고라면, 전환 데이터는 광고를 클릭했거나 상호작용했는지를 식별할 수 있다. 비록 본 명세서는 특정 방식으로 특정 처리 데이터를 수신하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 처리 데이터를 수신하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 제1 사용자 세트의 사용자들에 대한 처리의 처리 효과를 결정할 수 있다. 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크의 사용자들의 서브세트에 처리를 제공함으로써 그 처리를 테스트할 수 있다. 특정 실시예로, 처리는 처리에 대한 i의 반응이 온라인 소셜 네트워크의 이웃 j도 또한 처리를 받는지 여부에 의존한다는 점에서 "소셜" 성분을 가질 수 있다. 또한, 이런 소셜 성분은 처리의 네트워크 효과라고도 일컬어질 수 있다. 예로서 제한 없이, 특정 처리는 가령 소셜 광고, 텍스트/비디오 채팅, 메시징, 소셜 네트워킹 등과 같은 소셜 성분들을 나타낼 수 있다. 예컨대, 텍스트/비디오 채팅 피처에 대해, 이런 피처는 사용자 i가 채팅할 한 명 이상의 이웃 j를 가지는 경우에만 유용하다. 개인/사용자는 그 개인이 테스트에 대한 처리를 제공받는다면 처리 그룹에 있는 것으로 간주되며, 그렇지 않으면 제어 그룹에 있는 것으로 간주된다. 관심에 대한 근원적인 수치 응답 변수(예컨대, 각 조건에서 사용자의 time-on-site)가 있을 수 있고, 소셜 네트워킹 시스템(160)은 모든 사람이 서비스를 받는 우주 및 아무도 서비스를 받지 않는 우주 모두에서 이런 응답의 평균을 추정할 수 있다.
Figure 112016017329081-pct00001
를 처리 할당 벡터라고 하자. 여기서,
Figure 112016017329081-pct00002
은 사용자 i가 처리 그룹에 있음을 의미하고,
Figure 112016017329081-pct00003
은 사용자 i가 제어 그룹에 있음을 의미한다.
Figure 112016017329081-pct00004
은 처리 할당 벡터
Figure 112016017329081-pct00005
하에서 사용자 i의 잠재적 결과(potential outcome)라고 하자. 우리가 관심을 가지는 것은 2개의 그룹들
Figure 112016017329081-pct00006
및
Figure 112016017329081-pct00007
사이의 평균 처리 효과
Figure 112016017329081-pct00008
이며, 평균 처리 효과는 다음과 같이 계산될 수 있다:
Figure 112016017329081-pct00009
.
특정 실시예로, 소셜 네트워킹 시스템(160)은 사용자들에 대한 처리의 개인 효과와 사용자들에 대한 처리의 네트워크 효과 모두를 결정할 수 있다. 특정 처리의 처리 효과는 네트워크 효과와 개인 효과 모두의 함수일 수 있다. 처리의 비-소셜 성분은 처리의 개인 효과라고 일컬어질 수 있다. 처리는 그 처리에 대한 i의 반응이 온라인 소셜 네트워크의 이웃 j도 또한 그 처리를 받는지 여부에 의존하지 않는다는 점에서 개인 성분을 가진다. 예로서 제한 없이, 사용자 i에 대한 소셜 광고는 (물론, 소셜 광고도 또한 네트워크 효과를 가질 수 있다고 하더라도) 한 명 이상의 이웃 j도 또한 소셜 광고에 노출되는지에 관계 없이 사용자 i에 대한 개인 효과를 가질 수 있다. 특정 처리의 개인 효과와 네트워크 효과 모두를 구별하고 측정하는 것은 그 처리에 대한 사용자 참여를 증가시키거나 향상시키기 위해 처리를 최상으로 수정하는 방법을 결정하는데 유용할 수 있다. 비록 본 명세서는 특정 방식으로 처리 효과를 결정하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 처리 효과를 결정하는 것을 고려한다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 제2 사용자 세트에 처리를 제공할 수 있다. 본 명세서에 기술된 프로세스는 이후 필요한 경우 처리가 온라인 소셜 네트워크의 모든 사용자에게 제공될 때까지 반복될 수 있다. 이런 방식으로, 광고, 피처 또는 제품은 온라인 소셜 네트워크의 사용자에게 시판될 수 있다. 특정 실시예로, 처리 효과가 제1 사용자 세트에 대해 결정된 후, 소셜 네트워킹 시스템(160)은 처리의 결정된 처리 효과에 기반하여 처리를 수정할 수 있다. 광고, 피처 또는 제품은 예컨대 처리와 사용자의 상호작용이나 경험을 최적화하도록 결정된 처리 효과에 기반하여 수정될 수 있다. 이후, 수정된 처리는 추가적인 사용자 세트에 제공될 수 있고, 예컨대 처리가 충분히 개선시키고 전체 온라인 소셜 네트워크에 개시될 때까지 연속하여 수정되고 추가 사용자에게 시판될 수 있다. 비록 본 명세서는 특정 방식으로 처리를 제공하고 처리 효과를 결정하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 처리를 제공하거나 처리 효과를 결정하는 것을 고려한다.
도 3은 원격 클라이언트에서 네이티브 애플리케이션을 테스트하기 위한 예시적인 방법(300)을 도시한다. 이 방법은 단계 310에서 시작할 수 있는데, 이때 소셜 네트워킹 시스템(160)은 복수의 사용자와 연관된 복수의 클라이언트 시스템(130)에 각각 애플리케이션을 배치할 수 있다. 애플리케이션은 각각의 클라이언트 시스템(130)에 설치될 수 있다. 게다가, 하나 이상의 처리는 애플리케이션에서 원격으로 활성화될 수 있다. 단계 320에서, 소셜 네트워킹 시스템(160)은 복수의 클라이언트 시스템(130) 중 제1 클라이언트 시스템(130) 세트에 애플리케이션의 제1 처리를 제공할 수 있다. 제1 클라이언트 시스템(130) 세트는 복수의 사용자 중 제1 사용자 세트에 각각 연관시킬 수 있다. 특정 실시예로, 단계 320는 하나 이상의 다음의 서브-단계를 포함할 수 있다: 단계 322에서, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)의 하나 이상의 컴퓨팅 장치에 액세스하도록 클라이언트 시스템(130)에 설치된 애플리케이션으로부터 요청을 수신할 수 있다. 단계 324에서, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)이 제1 처리와 연관된 처리 그룹에 속하는지를 결정할 수 있다. 단계 326에서, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)이 처리 그룹에 속한다면 클라이언트 시스템(130)에 제1 처리를 원격으로 활성화할 수 있다. 단계 328에서, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)에 의한 후속 액세스에 응답하여 제1 처리의 활성화를 동기화할 수 있다. 단계 330에서, 소셜 네트워킹 시스템(160)은 제1 클라이언트 시스템(130) 세트로부터 노출 데이터를 수신할 수 있다. 각 클라이언트 시스템(130)에 대한 노출 데이터는 제1 처리에 대한 클라이언트 시스템(130)의 사용자의 노출을 식별할 수 있다. 적절한 경우, 특정 실시예는 도 3의 방법의 하나 이상의 단계를 반복할 수 있다. 비록 본 명세서는 도 3의 방법의 특정 단계가 특정 순서로 발생하는 것을 기술하고 도시하지만, 본 명세서는 도 3의 방법의 임의의 적절한 단계가 임의의 적절한 순서로 발생하는 것을 고려한다. 게다가, 비록 본 명세서는 도 3의 방법의 특정 단계를 포함하는 원격 클라이언트에서 네이티브 애플리케이션을 테스트하기 위한 예시적인 방법을 기술하고 도시하지만, 본 명세서는 적절한 경우 도 3의 방법의 단계들의 전부나 일부를 포함하거나 어떤 단계도 포함하지 않을 수 있는 임의의 적절한 단계를 포함하는 원격 클라이언트에서 네이티브 애플리케이션을 테스트하는 임의의 적절한 방법을 고려한다. 게다가, 비록 본 명세서는 도 3의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 3의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
특정 실시예로, 광고는, 하나 이상의 웹 페이지에서 제시되는 임의의 적절한 디지털 포맷에서, 하나 이상의 이메일에서 또는 사용자에 의해 요청되는 검색 결과와 관련하여, (HTML-링크될 수 있는) 텍스트, (HTML-링크될 수 있는) 하나 이상의 이미지, 하나 이상의 비디오, 오디오, 하나 이상의 ADOBE FLASH 파일, 이들의 적절한 조합 또는 임의의 다른 적절한 광고일 수 있다. 추가로 또는 대안으로, 광고는 하나 이상의 스폰서 소식(예컨대, 소셜 네트워킹 시스템(160)의 뉴스-피드 또는 티커 아이템)일 수 있다. 스폰서 소식은 예컨대 소셜 행위를 사용자의 프로필 페이지나 다른 페이지의 기결정된 영역 내에 제시되게 하거나, 광고자와 관련된 추가 정보와 함께 제시되게 하거나, 다른 사용자들의 뉴스피드나 티커 내에 올리거나 하이라이팅되게 하거나, 홍보되게 함으로써, 광고자가 홍보하는 사용자에 의한 소셜 행위(가령, 페이지를 "좋아요" 하기, 페이지의 게시물을 "좋아요" 하거나 코멘트하기, 페이지와 관련된 이벤트에 대해 회답(RSVP)하기, 페이지에 게시된 질문에 투표하기, 한 장소로 체크인하기, 애플리케이션을 사용하거나 게임을 실행하기 또는 웹사이트를 "좋아요" 하거나 공유하기)일 수 있다. 광고자는 소셜 행위가 홍보되도록 지불할 수 있다. 예로서 제한 없이, 광고는 검색-결과 페이지의 검색 결과들 중에 포함될 수 있으며, 이때 스폰서 컨텐츠는 비-스폰서 컨텐츠보다 더 홍보된다. 특정 실시예로, 하나 이상의 광고는 상술한 네트워크-인지 제품 시판 기술을 사용하여 온라인 소셜 네트워크의 사용자의 하나 이상의 클러스터에 대해 테스트될 수 있다.
특정 실시예로, 광고는 소셜 네트워킹 시스템 웹페이지, 제3자 웹페이지 또는 다른 페이지 내에서 디스플레이하기 위해 요청될 수 있다. 광고는, 가령 페이지 상단의 배너 영역에서, 페이지 측면의 종렬에서, 페이지의 GUI에서, 팝-업창에서, 드롭-다운 메뉴에서, 페이지의 입력 필드에서, 페이지의 컨텐츠의 상단 위에서 또는 그 밖의 페이지의 어느 곳에서, 페이지의 전용 부분에 디스플레이될 수 있다. 추가로 또는 대안으로, 광고는 애플리케이션 내에 디스플레이될 수 있다. 광고는 사용자가 페이지에 접근하거나, 애플리케이션을 이용할 수 있기 전에 광고를 상호작용하거나 광고를 시청하도록 사용자에게 요구하는 전용 페이지 내에 디스플레이될 수 있다. 예컨대, 사용자는 웹 브라우저를 통해 광고를 열람할 수 있다.
사용자는 임의의 적절한 방식으로 광고와 상호작용할 수 있다. 사용자는 광고를 클릭하거나 선택할 수 있다. 광고를 선택함으로써, 사용자는 광고와 관련된 페이지로 (또는, 사용자가 사용하는 브라우저 또는 다른 애플리케이션)를 인도될 수 있다. 광고와 관련된 페이지에서, 사용자는 가령 광고와 관련된 제품이나 서비스를 구매하기, 광고와 관련된 정보를 수신하기 또는 광고와 관련된 뉴스레터를 구독하기와 같은 추가의 행위들을 행할 수 있다. 오디오 또는 비디오를 가진 광고는 광고의 컴포넌트를 선택("실행 버튼"을 좋아요)함으로써 실행될 수 있다. 대안으로, 광고를 선택함으로써, 소셜 네트워킹 시스템(160)은 사용자의 특정 행위를 실행하거나 수정할 수 있다.
또한, 광고는 사용자가 상호작용할 수 있는 소셜 네트워킹 시스템 기능을 포함할 수 있다. 예로서 제한 없이, 광고는 보증과 관련된 아이콘이나 링크를 선택하여 사용자가 광고를 "좋아요"하거나 보증하게 할 수 있다. 또 다른 예로서 제한 없이, 광고는 (예컨대, 질의를 실행하여) 사용자가 광고자에 관한 컨텐츠를 검색하게 할 수 있다. 마찬가지로, 사용자는 (예컨대, 소셜 네트워킹 시스템(160)을 통해) 다른 사용자와 광고를 공유할 수 있거나, (예컨대, 소셜 네트워킹 시스템(160)을 통해) 광고와 관련된 이벤트에 회답(RSVP)할 수 있다. 추가로 또는 대안으로, 광고는 사용자에 관한 소셜 네트워킹 시스템 컨텍스트를 포함할 수 있다. 예로서 제한 없이, 광고는 광고의 내용과 관련된 행위를 행했던 소셜 네트워킹 시스템(160) 내 사용자의 친구에 대한 정보를 디스플레이할 수 있다.
도 4는 예시적인 컴퓨터 시스템(400)을 도시한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(400)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(400)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(400)을 실행하는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템들(400)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 적절한 경우 컴퓨터 시스템에 대한 언급은 컴퓨팅 장치를 포함할 수 있고 그 역도 또한 동일하다. 게다가, 컴퓨터 시스템에 대한 언급은 적절한 경우 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 명세서는 임의의 적절한 수의 컴퓨터 시스템(400)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(400)을 고려한다. 예로서 제한 없이, 컴퓨터 시스템(400)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템 메쉬(mesh), 모바일 전화, 개인 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(400)은 하나 이상의 컴퓨터 시스템(400)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나, 다수의 기계에 걸쳐 있거나; 다수의 데이터 센터에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 성분을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(400)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 실행할 수 있다. 예로서 제한 없이, 하나 이상의 컴퓨터 시스템(400)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 실행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(400)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 다른 시기에 또는 다른 위치에서 실행할 수 있다.
특정 실시예로, 컴퓨터 시스템(400)은 프로세서(402), 메모리(404), 저장소(406), 입력/출력(I/O) 인터페이스(408), 통신 인터페이스(410) 및 버스(412)를 포함한다. 본 명세서가 특정 배열로 특정한 수의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 배열로 임의의 적절한 수의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예로, 프로세서(402)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(402)는 내부 레지스터, 내부 캐시, 메모리(404) 또는 저장소(406)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(404) 또는 저장소(406)에 기록할 수 있다. 특정 실시예로, 프로세서(402)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(402)를 고려한다. 예로서 제한 없이, 프로세서(402)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들 및 하나 이상의 변환 색인 버퍼(translation lookaside buffers, TLBs)를 포함할 수 있다. 명령어 캐시에 저장된 명령어들은 메모리(404)나 저장소(406) 내 명령어들의 사본일 수 있고, 명령어 캐시는 프로세서(402)에 의한 이런 명령어들의 검색 속도를 높일 수 있다. 데이터 캐시 내의 데이터는 프로세서(402)에서 실행하는 다음 명령들에 의해 접근하거나 메모리(404)나 저장소(406)로 기록하기 위해 프로세서(402)에서 실행되는 이전 명령들의 결과; 또는 다른 적절한 데이터를 동작하는데 프로세서(402)에서 실행하는 명령어를 위한 메모리(404)나 저장소(406) 내의 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(402)에 의한 판독 또는 기록 동작의 속도를 높일 수 있다. TLB들은 프로세서(402)에 의한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예로, 프로세서(402)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터들을 포함하는 프로세서(402)를 고려한다. 적절한 경우, 프로세서(402)는 하나 이상의 산술 논리 유닛(ALUs)을 포함할 수 있거나; 멀티-코어 프로세서일 수 있거나; 하나 이상이 프로세서들(402)을 포함할 수 있다. 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예로, 메모리(404)는 프로세서(402)가 실행하는 명령어 또는 프로세서(402)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로서 제한 없이, 컴퓨터 시스템(400)은 저장소(406)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(400))에서 메모리(404)로 명령어를 로딩할 수 있다. 이후, 프로세서(402)는 메모리(404)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(402)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(402)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(402)는 하나 이상의 이런 결과를 메모리(404)에 기록할 수 있다. 특정 실시예로, 프로세서(402)는 (저장소(406) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(404)에서 단지 명령어만을 실행하며, (저장소(406) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(404)에서 단지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(402)를 메모리(404)로 연결할 수 있다. 하기에 기술되는 바와 같이, 버스(412)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(402)와 메모리(404) 사이에 상주하며, 프로세서(402)에 의해 요청되는 메모리(404)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(404)는 랜덤 액세스 메모리(RAM)를 포함한다. 적절한 경우, 이런 RAM은 휘발성 메모리일 수 있다. 적절한 경우, 이런 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이런 RAM은 단일 포트형 또는 다중-포트형 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(404)는 하나 이상의 메모리(404)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예로, 저장소(406)는 데이터용 또는 명령어용 대용량 저장소를 포함한다. 예로서 제한 없이, 저장소(406)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 자기-광학 디스크, 자기 테이프, 범용 직렬 버스(USB) 드라이브 또는 이들의 2 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(406)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(406)는 컴퓨터 시스템(400)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장소(406)는 비휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장소(406)는 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM), 플래시 메모리 또는 이들의 2 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(406)를 고려한다. 적절한 경우, 저장소(406)는 프로세서(402)와 저장소(406) 사이의 통신을 용이하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(406)는 하나 이상의 저장소(406)를 포함할 수 있다. 본 명세서가 특정 저장소를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.
특정 실시예로, I/O 인터페이스(408)는 컴퓨터 시스템(400)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(400)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(400) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 적절한 I/O 인터페이스(408)를 고려한다. 적절한 경우, I/O 인터페이스(408)는 프로세서(402)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(408)는 하나 이상의 I/O 인터페이스(408)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예로, 통신 인터페이스(410)는 컴퓨터 시스템(400)과 하나 이상의 다른 컴퓨터 시스템(400)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(410)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(410)를 고려한다. 예로서 제한 없이, 컴퓨터 시스템(400)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(400)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(400)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(410)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(410)는 하나 이상의 통신 인터페이스(410)를 포함할 수 있다. 본 명세서가 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예로, 버스(412)는 컴퓨터 시스템(400)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 버스(412)는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(412)는 하나 이상의 버스(412)를 포함할 수 있다. 본 명세서가 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.
본 명세서에서, 컴퓨터-판독가능한 비-일시적 저장매체 또는 저장매체들은 하나 이상의 반도체 기반 또는 다른 집적회로(ICs)(가령, 예컨대 FPGAs(field-programmable gate arrays) 또는 ASICs(application-specific ICs)), 하드 디스크 드라이브(HDDs), 하이브리드 하드 디스크(HHDs), 광학 디스크, 광학 디스크 드라이브(ODDs), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDDs), 자기 테이프, 고체-상태 드라이브(SSDs), RAM-드라이브, SECURE DIGITAL 카드나 드라이브, 임의의 다른 적절한 컴퓨터-판독가능한 비-일시적 저장매체 또는, 적절한 경우, 2 이상의 이들의 임의의 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 비-일시적 저장매체는 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.
본 명세서의 범위는 당업자가 이해할 수 있는 본 명세서에 기술되거나 도시된 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 본 명세서의 범위는 본 명세서에 기술되거나 도시된 예시적인 실시예들로 국한되지 않는다. 게다가, 본 명세서는 특정 컴포넌트, 구성요소, 기능, 동작 또는 단계를 포함하는 것으로 본 명세서의 각각의 실시예들을 기술하고 도시하지만, 임의의 이런 실시예들은 당업자가 이해할 수 있는 본 명세서에 어디든 기술되거나 도시되는 임의의 컴포넌트, 구성요소, 기능, 동작 또는 단계의 임의의 조합이나 치환을 포함할 수 있다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

Claims (17)

  1. 하나 이상의 컴퓨팅 시스템과 연관된 하나 이상의 프로세서에 의해:
    복수의 사용자와 연관된 복수의 클라이언트 시스템에 각각 애플리케이션을 배치하는 단계;
    애플리케이션의 제1 처리를 복수의 클라이언트 시스템 중 제1 클라이언트 시스템 세트에 제공하는 단계;
    제1 클라이언트 시스템 세트로부터 노출 데이터를 수신하는 단계; 및
    제1 사용자 세트의 사용자들에 대한 제1 처리의 처리 효과를 결정하는 단계를 포함하며,
    애플리케이션은 각각의 클라이언트 시스템에 설치되고, 하나 이상의 처리는 애플리케이션에서 원격으로 활성화될 수 있으며,
    제1 클라이언트 시스템 세트는 복수의 사용자 중 제1 사용자 세트와 각각 연관되고,
    애플리케이션의 제1 처리를 각각의 클라이언트 시스템에 제공하는 단계는:
    하나 이상의 컴퓨팅 장치에 액세스하도록 클라이언트 시스템에 설치된 애플리케이션으로부터 요청을 수신하는 단계;
    클라이언트 시스템이 제1 처리와 연관된 처리 그룹에 속하는지를 결정하는 단계;
    클라이언트 시스템이 처리 그룹에 속한다면 클라이언트 시스템에서 제1 처리를 원격으로 활성화하는 단계; 및
    클라이언트 시스템에 의한 후속 액세스에 응답하여 제1 처리의 작동을 동기화하는 단계를 포함하며,
    각 클라이언트 시스템에 대한 노출 데이터는 제1 처리로의 클라이언트 시스템의 사용자의 노출을 식별하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    특정된 타임아웃 구간 이후 제1 클라이언트 시스템 세트에서 제1 처리를 비활성화하는 단계를 더 포함하는 방법.
  4. 제 1 항에 있어서,
    제1 클라이언트 시스템 세트로부터 전환 데이터(conversion data)를 수신하는 단계를 더 포함하고, 각 클라이언트 시스템에 대한 전환 데이터는 제1 처리에 대한 사용자 상호작용을 식별하는 방법.
  5. 제 1 항에 있어서,
    클라이언트 시스템에 의한 후속 액세스에 응답하여 제1 처리의 작동을 동기화하는 단계는:
    제1 처리가 클라이언트 시스템에서 활성 중인지를 결정하는 단계; 및
    제1 처리가 클라이언트 시스템에서 활성 중이 아니라고 결정되면 클라이언트 시스템에서 제1 처리를 원격으로 재-활성화하는 단계를 포함하는 방법.
  6. 제 1 항에 있어서,
    복수의 노드 및 노드를 연결하는 복수의 에지를 포함하는 소셜 그래프에 액세스하는 단계를 더 포함하며,
    2개의 노드 사이의 각각의 에지는 노드 사이의 이격도 1도를 나타내고,
    복수의 노드는 온라인 소셜 네트워크와 연관된 복수의 사용자에 각각 대응하는 방법.
  7. 제 6 항에 있어서,
    그래프 클러스터 랜덤화를 사용하여 소셜 그래프에서 복수의 클러스터를 식별하는 단계를 더 포함하며,
    각 클러스터는 복수의 노드 중 별개의 노드 세트를 포함하고,
    각 클러스터에서 임계 수의 노드는 클러스터 내 다른 노드들에 대해 네트워크 노출되는 방법.
  8. 제 7 항에 있어서,
    제1 사용자 세트는 복수의 클러스터 중 제1 클러스터 세트에 대응하는 방법.
  9. 제 1 항에 있어서,
    처리의 결정된 처리 효과에 기반하여 처리를 수정하는 단계를 더 포함하는 방법.
  10. 제 1 항에 있어서,
    제2 클라이언트 시스템 세트에 처리를 적용하는 단계를 더 포함하며,
    제2 클라이언트 시스템 세트는 제1 클라이언트 시스템 세트와 별개인 방법.
  11. 제 1 항에 있어서,
    처리를 제공하는 단계는 복수의 사용자의 사용자 세트들에 대해 처리와 제어 사이에서 랜덤화하는 단계를 포함하는 방법.
  12. 제 1 항에 있어서,
    처리는 특정 광고인 방법.
  13. 제 1 항에 있어서,
    처리는 애플리케이션과 연관된 특정 제품이나 피처(feature)인 방법.
  14. 제 1 항에 있어서,
    클라이언트 시스템은 모바일 클라이언트 시스템인 방법.
  15. 제 1 항에 있어서,
    하나 이상의 컴퓨팅 시스템은 온라인 소셜 네트워크와 연관된 서버인 방법.
  16. 복수의 사용자와 연관된 복수의 클라이언트 시스템에 각각 애플리케이션을 배치하고;
    애플리케이션의 제1 처리를 복수의 클라이언트 시스템 중 제1 클라이언트 시스템 세트에 제공하며;
    제1 클라이언트 시스템 세트로부터 노출 데이터를 수신하고;
    제1 사용자 세트의 사용자들에 대한 제1 처리의 처리 효과를 결정하도록 실행될 때 동작하는 소프트웨어를 수록하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체로서,
    애플리케이션은 각각의 클라이언트 시스템에 설치되고, 하나 이상의 처리는 애플리케이션에서 원격으로 활성화될 수 있으며,
    제1 클라이언트 시스템 세트는 복수의 사용자 중 제1 사용자 세트와 각각 연관되고,
    애플리케이션의 제1 처리를 각각의 클라이언트 시스템에 제공하는 것은:
    하나 이상의 컴퓨팅 장치에 액세스하도록 클라이언트 시스템에 설치된 애플리케이션으로부터 요청을 수신하고;
    클라이언트 시스템이 제1 처리와 연관된 처리 그룹에 속하는지를 결정하며;
    클라이언트 시스템이 처리 그룹에 속한다면 클라이언트 시스템에서 제1 처리를 원격으로 활성화하고;
    클라이언트 시스템에 의한 후속 액세스에 응답하여 제1 처리의 작동을 동기화하는 것을 포함하며,
    각 클라이언트 시스템에 대한 노출 데이터는 제1 처리로의 클라이언트 시스템의 사용자의 노출을 식별하는 컴퓨터-판독가능한 비-일시적 저장매체.
  17. 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 메모리를 포함하는 시스템으로서,
    상기 프로세서는:
    복수의 사용자와 연관된 복수의 클라이언트 시스템에 각각 애플리케이션을 배치하고;
    애플리케이션의 제1 처리를 복수의 클라이언트 시스템 중 제1 클라이언트 시스템 세트에 제공하며;
    제1 클라이언트 시스템 세트로부터 노출 데이터를 수신하고;
    제1 사용자 세트의 사용자들에 대한 제1 처리의 처리 효과를 결정하는 명령어를 실행할 때 동작하고,
    애플리케이션은 각각의 클라이언트 시스템에 설치되고, 하나 이상의 처리는 애플리케이션에서 원격으로 활성화될 수 있으며,
    제1 클라이언트 시스템 세트는 복수의 사용자 중 제1 사용자 세트와 각각 연관되고,
    애플리케이션의 제1 처리를 각각의 클라이언트 시스템에 제공하는 것은:
    하나 이상의 컴퓨팅 장치에 액세스하도록 클라이언트 시스템에 설치된 애플리케이션으로부터 요청을 수신하고;
    클라이언트 시스템이 제1 처리와 연관된 처리 그룹에 속하는지를 결정하며;
    클라이언트 시스템이 처리 그룹에 속한다면 클라이언트 시스템에서 제1 처리를 원격으로 활성화하고;
    클라이언트 시스템에 의한 후속 액세스에 응답하여 제1 처리의 작동을 동기화하는 것을 포함하며,
    각 클라이언트 시스템에 대한 노출 데이터는 제1 처리로의 클라이언트 시스템의 사용자의 노출을 식별하는 시스템.
KR1020167004572A 2013-07-23 2014-07-18 네이티브 애플리케이션 테스트 KR101619946B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/948,893 2013-07-23
US13/948,893 US9305322B2 (en) 2013-07-23 2013-07-23 Native application testing
PCT/US2014/047261 WO2015013139A1 (en) 2013-07-23 2014-07-18 Native application testing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167010082A Division KR101923067B1 (ko) 2013-07-23 2014-07-18 네이티브 애플리케이션 테스트

Publications (2)

Publication Number Publication Date
KR20160029858A KR20160029858A (ko) 2016-03-15
KR101619946B1 true KR101619946B1 (ko) 2016-05-12

Family

ID=52391431

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167004572A KR101619946B1 (ko) 2013-07-23 2014-07-18 네이티브 애플리케이션 테스트
KR1020167010082A KR101923067B1 (ko) 2013-07-23 2014-07-18 네이티브 애플리케이션 테스트

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167010082A KR101923067B1 (ko) 2013-07-23 2014-07-18 네이티브 애플리케이션 테스트

Country Status (6)

Country Link
US (2) US9305322B2 (ko)
JP (2) JP6035454B2 (ko)
KR (2) KR101619946B1 (ko)
CA (2) CA2928571C (ko)
IL (2) IL243639A (ko)
WO (1) WO2015013139A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9450992B2 (en) * 2013-10-23 2016-09-20 Facebook, Inc. Node properties in a social-networking system
CN103677977B (zh) * 2013-12-19 2017-05-17 贝壳网际（北京）安全技术有限公司 清理移动终端中临时文件的方法、装置和移动终端
US20150347357A1 (en) * 2014-05-30 2015-12-03 Rovi Guides, Inc. Systems and methods for automatic text recognition and linking
US20160132596A1 (en) * 2014-11-12 2016-05-12 Quixey, Inc. Generating Search Results Based On Software Application Installation Status
CN106294033B (zh) * 2015-05-13 2019-06-21 阿里巴巴集团控股有限公司 一种多机房缓存同步功能的测试方法及装置
JP6532294B2 (ja) * 2015-05-25 2019-06-19 リトライブ株式会社 閲覧状況判定装置、閲覧状況判定方法
US9348671B1 (en) * 2015-07-23 2016-05-24 Google Inc. Monitoring application loading
US20170128838A1 (en) * 2015-11-09 2017-05-11 Google Inc. Application testing with experimental layers
RU2642411C2 (ru) * 2016-04-04 2018-01-24 Общество С Ограниченной Ответственностью "Яндекс" Способ определения тренда показателя степени вовлеченности пользователя
US10621627B2 (en) 2017-05-04 2020-04-14 Microsoft Technology Licensing, Llc Running client experiments based on server-side user segment data
CN107451867A (zh) * 2017-08-02 2017-12-08 北京奇艺世纪科技有限公司 一种模拟广告联调交互的方法和装置
US20200106685A1 (en) * 2018-09-27 2020-04-02 Microsoft Technology Licensing, Llc Low variance estimation of network effects
CN110990270B (zh) * 2019-11-28 2023-07-21 百度在线网络技术（北京）有限公司 Ab实验实现方法、装置、电子设备及存储介质
KR20240015351A (ko) * 2022-07-27 2024-02-05 쿠팡 주식회사 서비스와 관련된 테스트를 관리하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110225265A1 (en) 2005-01-27 2011-09-15 FMR Corp., a Delaware corporation A/B Testing
US20120071236A1 (en) 2009-09-30 2012-03-22 Zynga Inc. Apparatuses, methods and systems for a live online game tester

Family Cites Families (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997026729A2 (en) 1995-12-27 1997-07-24 Robinson Gary B Automated collaborative filtering in world wide web advertising
US7631012B2 (en) 1997-05-22 2009-12-08 Computer Associates Think, Inc. System and method of operating a database
US7110993B2 (en) 1999-05-28 2006-09-19 Overture Services, Inc. System and method for influencing a position on a search result list generated by a computer network search engine
US6539232B2 (en) 2000-06-10 2003-03-25 Telcontar Method and system for connecting mobile users based on degree of separation
US6957184B2 (en) 2000-07-20 2005-10-18 Microsoft Corporation Context free grammar engine for speech recognition system
US6766320B1 (en) 2000-08-24 2004-07-20 Microsoft Corporation Search engine with natural language-based robust parsing for user query and relevance feedback learning
US6714939B2 (en) 2001-01-08 2004-03-30 Softface, Inc. Creation of structured data from plain text
US8095875B2 (en) 2001-06-22 2012-01-10 Krause Philip R Method and apparatus for consolidating network information
US20090006543A1 (en) 2001-08-20 2009-01-01 Masterobjects System and method for asynchronous retrieval of information based on incremental user input
US7752326B2 (en) 2001-08-20 2010-07-06 Masterobjects, Inc. System and method for utilizing asynchronous client server communication objects
US8112529B2 (en) 2001-08-20 2012-02-07 Masterobjects, Inc. System and method for asynchronous client server session communication
WO2003030051A1 (en) 2001-09-30 2003-04-10 Realcontacts Ltd Connection service
CN100483333C (zh) 2001-12-28 2009-04-29 国际商业机器公司 实时数据入库
US7512612B1 (en) 2002-08-08 2009-03-31 Spoke Software Selecting an optimal path through a relationship graph
US7249123B2 (en) 2002-10-31 2007-07-24 International Business Machines Corporation System and method for building social networks based on activity around shared virtual objects
US7836391B2 (en) 2003-06-10 2010-11-16 Google Inc. Document search engine including highlighting of confident results
US7069308B2 (en) 2003-06-16 2006-06-27 Friendster, Inc. System, method and apparatus for connecting users in an online computer system based on their relationships within social networks
US20050091202A1 (en) 2003-10-22 2005-04-28 Thomas Kapenda J. Social network-based internet search engine
US20050125408A1 (en) 2003-11-20 2005-06-09 Beena Somaroo Listing service tracking system and method for tracking a user's interaction with a listing service
US20050131872A1 (en) 2003-12-16 2005-06-16 Microsoft Corporation Query recognizer
US7707122B2 (en) 2004-01-29 2010-04-27 Yahoo ! Inc. System and method of information filtering using measures of affinity of a relationship
JP5592594B2 (ja) 2004-03-23 2014-09-17 グーグル インコーポレイテッド デジタルマッピングシステム
EP1747548A4 (en) 2004-05-17 2009-08-05 Visible Path Corp SYSTEM AND PROCEDURE FOR ENFORCING PRIVACY IN SOCIAL NETWORKS
US7689452B2 (en) 2004-05-17 2010-03-30 Lam Chuck P System and method for utilizing social networks for collaborative filtering
US7788260B2 (en) 2004-06-14 2010-08-31 Facebook, Inc. Ranking search results based on the frequency of clicks on the search results by members of a social network who are within a predetermined degree of separation
US7836044B2 (en) 2004-06-22 2010-11-16 Google Inc. Anticipated query generation and processing in a search engine
US8302164B2 (en) 2004-07-22 2012-10-30 Facebook, Inc. Authorization and authentication based on an individual's social network
US7809695B2 (en) 2004-08-23 2010-10-05 Thomson Reuters Global Resources Information retrieval systems with duplicate document detection and presentation functions
AU2005301055A1 (en) 2004-11-04 2006-05-11 Topeer Corporation System and method for creating a secure trusted social network
US7499940B1 (en) 2004-11-11 2009-03-03 Google Inc. Method and system for URL autocompletion using ranked results
US7461059B2 (en) 2005-02-23 2008-12-02 Microsoft Corporation Dynamically updated search results based upon continuously-evolving search query that is based at least in part upon phrase suggestion, search engine uses previous result sets performing additional search tasks
US7451161B2 (en) 2005-04-28 2008-11-11 Friendster, Inc. Compatibility scoring of users in a social network
WO2007002820A2 (en) 2005-06-28 2007-01-04 Yahoo! Inc. Search engine with augmented relevance ranking by community participation
US20080005064A1 (en) 2005-06-28 2008-01-03 Yahoo! Inc. Apparatus and method for content annotation and conditional annotation retrieval in a search context
US7991764B2 (en) 2005-07-22 2011-08-02 Yogesh Chunilal Rathod Method and system for communication, publishing, searching, sharing and dynamically providing a journal feed
WO2007067754A2 (en) 2005-12-07 2007-06-14 Networks In Motion, Inc. Telecommunication device for address guidance
US8027943B2 (en) 2007-08-16 2011-09-27 Facebook, Inc. Systems and methods for observing responses to invitations by users in a web-based social network
US7702685B2 (en) 2006-01-20 2010-04-20 Microsoft Corporation Querying social networks
US9323867B2 (en) 2006-08-03 2016-04-26 Microsoft Technology Licensing, Llc Search tool using multiple different search engine types across different data sets
US8201107B2 (en) 2006-09-15 2012-06-12 Emc Corporation User readability improvement for dynamic updating of search results
US7636712B2 (en) 2006-11-14 2009-12-22 Microsoft Corporation Batching document identifiers for result trimming
EP2095249A4 (en) 2006-11-16 2011-08-17 Onmobile Global Ltd SYSTEM AND METHOD FOR PROVIDING A FINISHED SOCIAL NETWORK
US7840538B2 (en) 2006-12-20 2010-11-23 Yahoo! Inc. Discovering query intent from search queries and concept networks
US8280978B2 (en) 2006-12-29 2012-10-02 Prodea Systems, Inc. Demarcation between service provider and user in multi-services gateway device at user premises
US20080183694A1 (en) 2007-01-31 2008-07-31 Daniel Cane Method and system presenting search results using relationship information
US7636713B2 (en) 2007-01-31 2009-12-22 Yahoo! Inc. Using activation paths to cluster proximity query results
US7680882B2 (en) 2007-03-06 2010-03-16 Friendster, Inc. Multimedia aggregation in an online social network
US20100145771A1 (en) 2007-03-15 2010-06-10 Ariel Fligler System and method for providing service or adding benefit to social networks
US8713143B2 (en) 2007-04-27 2014-04-29 President And Fellows Of Harvard College Establishing a social network
US7783630B1 (en) 2007-06-29 2010-08-24 Emc Corporation Tuning of relevancy ranking for federated search
EP2191395A4 (en) 2007-08-17 2011-04-20 Google Inc RANKING OF SOCIAL NETWORK OBJECTS
US8031595B2 (en) 2007-08-21 2011-10-04 International Business Machines Corporation Future location determination using social networks
US20090094200A1 (en) 2007-10-05 2009-04-09 Yahoo! Inc. Method for Admission-controlled Caching
US8862622B2 (en) 2007-12-10 2014-10-14 Sprylogics International Corp. Analysis, inference, and visualization of social networks
US20090164929A1 (en) 2007-12-20 2009-06-25 Microsoft Corporation Customizing Search Results
US20090164408A1 (en) 2007-12-21 2009-06-25 Ilya Grigorik Method, System and Computer Program for Managing Delivery of Online Content
US8214804B2 (en) * 2007-12-31 2012-07-03 Overstock.Com, Inc. System and method for assigning computer users to test groups
US7853587B2 (en) 2008-01-31 2010-12-14 Microsoft Corporation Generating search result summaries
US20090197681A1 (en) 2008-01-31 2009-08-06 Microsoft Corporation System and method for targeted recommendations using social gaming networks
US8055470B2 (en) * 2008-02-14 2011-11-08 Yahoo!, Inc. Simulated bucket testing
US20090228296A1 (en) 2008-03-04 2009-09-10 Collarity, Inc. Optimization of social distribution networks
US8606721B1 (en) 2008-03-11 2013-12-10 Amazon Technologies, Inc. Implicit social graph edge strengths
US20090259646A1 (en) 2008-04-09 2009-10-15 Yahoo!, Inc. Method for Calculating Score for Search Query
US8645406B2 (en) 2008-04-11 2014-02-04 Microsoft Corporation Exploiting conditions to optimize expensive database queries
US20090265326A1 (en) 2008-04-17 2009-10-22 Thomas Dudley Lehrman Dynamic personal privacy system for internet-connected social networks
US8744976B2 (en) 2008-04-28 2014-06-03 Yahoo! Inc. Discovery of friends using social network graph properties
US20090276414A1 (en) 2008-04-30 2009-11-05 Microsoft Corporation Ranking model adaptation for searching
US8417698B2 (en) 2008-05-06 2013-04-09 Yellowpages.Com Llc Systems and methods to provide search based on social graphs and affinity groups
US8244727B2 (en) 2008-05-29 2012-08-14 Nokia Corporation Method, apparatus, and computer program product for content use assignment by exploiting social graph information
US8055673B2 (en) 2008-06-05 2011-11-08 Yahoo! Inc. Friendly search and socially augmented search query assistance layer
US8082278B2 (en) 2008-06-13 2011-12-20 Microsoft Corporation Generating query suggestions from semantic relationships in content
US8027990B1 (en) 2008-07-09 2011-09-27 Google Inc. Dynamic query suggestion
US8290924B2 (en) 2008-08-29 2012-10-16 Empire Technology Development Llc Providing answer to keyword based query from natural owner of information
US20100082695A1 (en) 2008-09-26 2010-04-01 Hardt Dick C Enterprise social graph and contextual information presentation
WO2010037031A2 (en) 2008-09-26 2010-04-01 Fwix, Inc. System and method for aggregating web feeds relevant to a geographical locale from multiple sources
US8060492B2 (en) 2008-11-18 2011-11-15 Yahoo! Inc. System and method for generation of URL based context queries
US8145622B2 (en) 2009-01-09 2012-03-27 Microsoft Corporation System for finding queries aiming at tail URLs
US8412749B2 (en) 2009-01-16 2013-04-02 Google Inc. Populating a structured presentation with new values
US9098723B2 (en) 2009-02-02 2015-08-04 Waldeck Technology, Llc Forming crowds and providing access to crowd data in a mobile environment
US8250053B2 (en) 2009-02-24 2012-08-21 Microsoft Corporation Intelligent enhancement of a search result snippet
US20100235354A1 (en) 2009-03-12 2010-09-16 International Business Machines Corporation Collaborative search engine system
US8145636B1 (en) 2009-03-13 2012-03-27 Google Inc. Classifying text into hierarchical categories
US20100321399A1 (en) 2009-06-18 2010-12-23 Patrik Ellren Maps from Sparse Geospatial Data Tiles
US8667009B2 (en) 2009-07-21 2014-03-04 Saambaa Llc Systems and methods for utilizing and searching social network information
US20110078166A1 (en) 2009-09-29 2011-03-31 Nokia Corporation Method and apparatus for creating and utilizing information representation of queries
US8306922B1 (en) 2009-10-01 2012-11-06 Google Inc. Detecting content on a social network using links
US20110087534A1 (en) 2009-10-14 2011-04-14 Wantsa Media (Canada), Inc. Search queries and advertising platforms utilizing at least one social graph
US8239364B2 (en) 2009-12-08 2012-08-07 Facebook, Inc. Search and retrieval of objects in a social networking system
US20110184981A1 (en) 2010-01-27 2011-07-28 Yahoo! Inc. Personalize Search Results for Search Queries with General Implicit Local Intent
US8301639B1 (en) 2010-01-29 2012-10-30 Google Inc. Location based query suggestion
US10748119B2 (en) 2010-02-01 2020-08-18 Microsoft Technology Licensing, Llc Social network search
US8595297B2 (en) 2010-02-08 2013-11-26 At&T Intellectual Property I, L.P. Searching data in a social network to provide an answer to an information request
US8527496B2 (en) 2010-02-11 2013-09-03 Facebook, Inc. Real time content searching in social network
US20110231296A1 (en) 2010-03-16 2011-09-22 UberMedia, Inc. Systems and methods for interacting with messages, authors, and followers
US8732208B2 (en) 2010-04-19 2014-05-20 Facebook, Inc. Structured search queries based on social-graph information
US8572129B1 (en) 2010-04-19 2013-10-29 Facebook, Inc. Automatically generating nodes and edges in an integrated social graph
US8180804B1 (en) 2010-04-19 2012-05-15 Facebook, Inc. Dynamically generating recommendations based on social graph information
US8782080B2 (en) 2010-04-19 2014-07-15 Facebook, Inc. Detecting social graph elements for structured search queries
US8918418B2 (en) 2010-04-19 2014-12-23 Facebook, Inc. Default structured search queries on online social networks
US8868603B2 (en) 2010-04-19 2014-10-21 Facebook, Inc. Ambiguous structured search queries on online social networks
US8244848B1 (en) 2010-04-19 2012-08-14 Facebook, Inc. Integrated social network environment
US8751521B2 (en) 2010-04-19 2014-06-10 Facebook, Inc. Personalized structured search queries for online social networks
US8185558B1 (en) 2010-04-19 2012-05-22 Facebook, Inc. Automatically generating nodes and edges in an integrated social graph
JP5234839B2 (ja) * 2010-06-08 2013-07-10 Ｎｅｃビッグローブ株式会社 コンテンツ管理装置、コンテンツ管理方法およびプログラム
US8719246B2 (en) 2010-06-28 2014-05-06 Microsoft Corporation Generating and presenting a suggested search query
US8832093B2 (en) 2010-08-18 2014-09-09 Facebook, Inc. Dynamic place visibility in geo-social networking system
US20120059713A1 (en) 2010-08-27 2012-03-08 Adchemy, Inc. Matching Advertisers and Users Based on Their Respective Intents
EP2633444A4 (en) 2010-10-30 2017-06-21 International Business Machines Corporation Transforming search engine queries
US8364709B1 (en) 2010-11-22 2013-01-29 Google Inc. Determining word boundary likelihoods in potentially incomplete text
EP2458545A1 (en) 2010-11-30 2012-05-30 France Telecom Method of and apparatus for managing data representative of a business in a database
US9978022B2 (en) 2010-12-22 2018-05-22 Facebook, Inc. Providing context relevant search for a user based on location and social information
US10304066B2 (en) 2010-12-22 2019-05-28 Facebook, Inc. Providing relevant notifications for a user based on location and social information
US8832111B2 (en) 2010-12-30 2014-09-09 Facebook, Inc. Distributed cache for graph data
US8688691B2 (en) 2011-01-13 2014-04-01 International Business Machines Corporation Relevancy ranking of search results in a network based upon a user's computer-related activities
US8639725B1 (en) 2011-01-31 2014-01-28 Google Inc. Methods for efficiently querying multiple points in an indexed quadtree
US9870424B2 (en) 2011-02-10 2018-01-16 Microsoft Technology Licensing, Llc Social network based contextual ranking
JP6066096B2 (ja) * 2011-02-22 2017-01-25 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ コンテンツのオンページ操作およびリアルタイム置換のための方法、システム、およびコンピュータ・プログラム
US20120278127A1 (en) 2011-04-28 2012-11-01 Rawllin International Inc. Generating product recommendations based on dynamic product context data and/or social activity data related to a product
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US20120311034A1 (en) 2011-06-03 2012-12-06 Cbs Interactive Inc. System and methods for filtering based on social media
US8909637B2 (en) 2011-06-03 2014-12-09 Facebook, Inc. Context-based ranking of search results
US9268857B2 (en) 2011-06-03 2016-02-23 Facebook, Inc. Suggesting search results to users before receiving any search query from the users
US20120317088A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Associating Search Queries and Entities
US8601027B2 (en) 2011-06-20 2013-12-03 Google Inc. Query-based user groups in social networks
US9779385B2 (en) 2011-06-24 2017-10-03 Facebook, Inc. Inferring topics from social networking system communications
US20130031106A1 (en) 2011-07-29 2013-01-31 Microsoft Corporation Social network powered query suggestions
US9218390B2 (en) 2011-07-29 2015-12-22 Yellowpages.Com Llc Query parser derivation computing device and method for making a query parser for parsing unstructured search queries
EP2554226A3 (en) 2011-08-05 2013-12-25 Disney Enterprises, Inc. Conducting market research using social network games
US8538960B2 (en) 2011-08-05 2013-09-17 Microsoft Corporation Providing objective and people results for search
US20130041876A1 (en) 2011-08-08 2013-02-14 Paul Alexander Dow Link recommendation and densification
US11620719B2 (en) 2011-09-12 2023-04-04 Microsoft Technology Licensing, Llc Identifying unseen content of interest
US8312056B1 (en) 2011-09-13 2012-11-13 Xerox Corporation Method and system for identifying a key influencer in social media utilizing topic modeling and social diffusion analysis
US10120877B2 (en) 2011-09-15 2018-11-06 Stephan HEATH Broad and alternative category clustering of the same, similar or different categories in social/geo/promo link promotional data sets for end user display of interactive ad links, coupons, mobile coupons, promotions and sale of products, goods and services integrated with 3D spatial geomapping and mobile mapping and social networking
US20130086024A1 (en) 2011-09-29 2013-04-04 Microsoft Corporation Query Reformulation Using Post-Execution Results Analysis
US8918354B2 (en) 2011-10-03 2014-12-23 Microsoft Corporation Intelligent intent detection from social network messages
US8949232B2 (en) 2011-10-04 2015-02-03 Microsoft Corporation Social network recommended content and recommending members for personalized search results
US9324113B2 (en) 2011-10-12 2016-04-26 Microsoft Technology Licensing, Llc Presenting social network connections on a search engine results page
EP2777008A4 (en) * 2011-11-11 2015-09-02 Wetpaint Com Inc DYNAMIC GAME BOOK: EXPERIMENTAL PLATFORM FOR SOCIAL NETWORKS
US8868590B1 (en) 2011-11-17 2014-10-21 Sri International Method and system utilizing a personalized user model to develop a search request
US8788340B2 (en) * 2011-12-16 2014-07-22 Facebook, Inc. Advertisement based on application-created social content
US8935261B2 (en) 2011-12-28 2015-01-13 Facebook, Inc. Social discovery and ranking of pages
US8974305B2 (en) * 2012-01-18 2015-03-10 Bally Gaming, Inc. Network gaming architecture, gaming systems, and related methods
US9120007B2 (en) * 2012-01-18 2015-09-01 Bally Gaming, Inc. Network gaming architecture, gaming systems, and related methods
US8949264B2 (en) 2012-01-30 2015-02-03 Hewlett-Packard Development Company, L.P. Disambiguating associations
US20130204737A1 (en) 2012-02-03 2013-08-08 Shubham Agarwal Leveraging store activity for recommendations
US8321364B1 (en) 2012-02-08 2012-11-27 Google Inc. Method and system for including robots into social networks
US20130227011A1 (en) 2012-02-29 2013-08-29 Eventbrite, Inc. Interest-Based Social Recommendations for Event Ticket Network Systems
US9971993B2 (en) 2012-03-26 2018-05-15 Microsoft Technology Licensing, Llc Leveraging a social graph for use with electronic messaging
US8924434B2 (en) 2012-06-29 2014-12-30 Oracle International Corporation Project resource comparison view
US8983991B2 (en) 2012-07-27 2015-03-17 Facebook, Inc. Generating logical expressions for search queries
US8935255B2 (en) 2012-07-27 2015-01-13 Facebook, Inc. Social static ranking for search
US10311085B2 (en) 2012-08-31 2019-06-04 Netseer, Inc. Concept-level user intent profile extraction and applications
US20140122465A1 (en) 2012-10-31 2014-05-01 Brandon Bilinski Ranking Music Search Results
US8935271B2 (en) 2012-12-21 2015-01-13 Facebook, Inc. Extract operator
US10083027B2 (en) * 2013-03-14 2018-09-25 Solano Labs, Inc. Systems and methods for managing software development environments
US20150026522A1 (en) * 2013-07-19 2015-01-22 Dawnray Young Systems and methods for mobile application a/b testing
US8949250B1 (en) 2013-12-19 2015-02-03 Facebook, Inc. Generating recommended search queries on online social networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110225265A1 (en) 2005-01-27 2011-09-15 FMR Corp., a Delaware corporation A/B Testing
US20120071236A1 (en) 2009-09-30 2012-03-22 Zynga Inc. Apparatuses, methods and systems for a live online game tester

Also Published As

Publication number Publication date
US20160140600A1 (en) 2016-05-19
CA2928571A1 (en) 2015-01-29
CA2918358A1 (en) 2015-01-29
WO2015013139A8 (en) 2015-04-23
IL243639A (en) 2016-07-31
CA2928571C (en) 2019-01-08
JP2017050014A (ja) 2017-03-09
IL246572B (en) 2018-04-30
IL243639A0 (en) 2016-03-31
US10032186B2 (en) 2018-07-24
AU2014293451A1 (en) 2016-03-10
KR20160048223A (ko) 2016-05-03
JP6035454B2 (ja) 2016-11-30
CA2918358C (en) 2016-07-12
US9305322B2 (en) 2016-04-05
US20150032866A1 (en) 2015-01-29
JP2016530588A (ja) 2016-09-29
KR101923067B1 (ko) 2018-11-28
JP6386007B2 (ja) 2018-09-05
WO2015013139A1 (en) 2015-01-29
KR20160029858A (ko) 2016-03-15

Similar Documents

Publication Publication Date Title
KR101619946B1 (ko) 네이티브 애플리케이션 테스트
KR101820893B1 (ko) 온라인 소셜 네트워크에서의 대규모 페이지 추천
KR101681250B1 (ko) 온라인 소셜 네트워크 내 네트워크-인지 제품 시판
KR101945922B1 (ko) 오프라인 컨텐츠의 생성
KR101826113B1 (ko) 메시지의 인-라인 이미지를 위한 방법 및 시스템
JP6499284B2 (ja) ネットワーク要素のソーシャル・スコア
KR101777304B1 (ko) 관심 지점에 따라 이미지 잘라내기
KR101815142B1 (ko) 소셜 컨텍스트에 기반한 이미지 필터링 방법 및 시스템
US20190116233A1 (en) Organizing Application-Reported Information
KR20160144481A (ko) 컨텐츠의 사용자 공유 유도
KR20150096705A (ko) 클라이언트-측 광고 결정
JP7242669B2 (ja) 複数のデバイスにわたるコンテンツを提供すること
AU2014293451B2 (en) Native application testing
AU2018200958A1 (en) Native application testing

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant