KR20180039656A

KR20180039656A - 광고 성과 측정

Info

Publication number: KR20180039656A
Application number: KR1020187006129A
Authority: KR
Inventors: 마이클 다니엘 레빈슨; 윌리엄 불락; 네이든 존 데이비스; 친마이 디팍 카란드
Original assignee: 페이스북, 인크.
Priority date: 2015-09-08
Filing date: 2016-08-16
Publication date: 2018-04-18
Also published as: WO2017044259A1; US20170068987A1; IL257280A; CA2994423A1; AU2016320680A1; JP6788667B2; JP2018526741A

Abstract

광고 시스템은 광고 캠페인으로 인해 기인할 수 있는 전환의 증가를 나타내는, 광고 캠페인에 대한 광고 성과 메트릭을 측정한다. 노출 기회가 성과 연구에서의 광고에 대하여 사용자를 위해 이용가능하게 됨에 따라 광고 시스템은 사용자가 실험 그룹에 있는지 또는 대조 그룹에 있는지 여부를 결정한다. 성과 연구에서 편향을 제한하기 위해, 광고가 사용자를 위해 선택된 후 그리고 노출 직전에 광고가 사용자에게 제공되는 것을 보류하는 대신에 시스템은 광고 선택 프로세스에서 더 높은 레벨에서 광고를 보류한다. 이러한 방식으로, 모든 실험 그룹 사용자들이 광고를 수신하지는 않는다. 시스템은 성과 메트릭을, 예컨대 증분 성과 (실험 그룹과 대조 그룹에서 전환율의 차이)로 계산하고, 이는 노출된 타겟 그룹의 전환율에 증분 성과를 차감한 후 나누어진다.

Description

광고 성과 측정

본 발명은 일반적으로 광고 캠페인의 성능의 평가에 관한 것이다.

광고 캠페인의 성능의 평가에 있어서 가장 중요한 메트릭은 광고 성과 메트릭(lift metric)이다. 성과 메트릭은 광고 캠페인으로 인한 것일 수 있는 전환의 증가를 측정함으로써 주어진 광고의 효율성을 평가한다. 이 메트릭은 광고주가 광고 컨텐츠가 제시되는 광고 플랫폼의 효율성 및/또는 주어진 광고 컨텐츠의 효율성을 결정하도록 허용한다.

광고 캠페인의 성과 메트릭을 측정하는 것은 오로지 실험 그룹만이 광고가 제시되도록 사용자들의 그룹을 실험 그룹과 대조 그룹으로 나누는 것을 수반한다. 2개의 그룹 사이의 전환의 차이가 성과 메트릭의 측정을 제공한다. 전형적인 성과 메트릭 측정의 구현은 어떻게 사용자들의 그룹이 실험 그룹과 대조 그룹으로 나뉘는지 및 언제 광고 선택 프로세스가 광고가 대조 그룹에 대해 제시하는 것이 보류하는지를 고려하지 않는다. 이는 2개의 그룹 사이의 전체 소비자 경험 사이의 궁극적인 불일치로 인해 부정확하고 편향된 결과를 발생시킨다. 예컨대, 광고 노출 바로 전에 대조 그룹이 광고를 수신하는 것을 보류하는 것은 테스트와 대조 그룹에 영향을 줄 수 있고, 그럼으로써 성과 연구를 편향시킨다.

광고 시스템은 광고에 대한 성과 또는 성과 메트릭의 척도를 계산한다. 지능적인 사용자 개별 클릭 예측을 갖는 복잡한 광고 시스템에서, 노출 직전(예컨대, 광고가 사용자에게 디스플레이되는 광고를 최종적으로 선택한 광고 선택 프로세스를 거친 이후) 광고를 대조 그룹의 사용자들로부터 보류하는 것은 테스트 및 대조 그룹에 영향을 줄 수 있다. 이는 이후 대조 그룹 사용자들이 실험 그룹 사용자들보다 덜 자주 타겟팅되기 때문에 연구를 편향시킬 수 있다. 추가로, 정보가 광고를 수신하고 상호작용한 실험 그룹 사용자들에 관해 학습될 수 있고, 이 정보는 이후 이러한 실험 그룹 사용자들을 위한 미래의 광고 선택에서 사용될 수 있지만, 이 동일한 정보는 광고와 상호작용할 기회를 전혀 갖지 않은 대조 그룹에 대해서는 학습되지 않는다.

이러한 편향을 제한하기 위해 광고 시스템은 광고 스택 또는 광고 선택 프로세스에서 더 높은 레벨로 광고를 대조 그룹 사용자들로부터 보류한다. 광고 스택 또는 광고 선택 프로세스는 사용자를 위한 광고의 선택을 궁극적으로 발생시키는 다양한 단계들, 가령 사용자가 충족하는 타게팅 기준을 갖는 후보 광고의 수를 선택하는 단계, 사용자에 대한 관련성 및 다른 요인에 기반하여 후보 광고를 순위화하는 단계, 광고에 대한 입찰이 선택에서 고려되는 광고 경매로 광고를 전달하는 단계, 및 후보들 중에서 디스플레이될 광고를 최종적으로 선택하는 단계를 포함하는 광고 흐름이다. 노출 직전에 또는 최종 선택이 발생한 후에 광고를 대조 그룹으로부터 보류하는 대신에 광고는 광고 선택 프로세스에서 사전에 (예컨대, 순위화 또는 광고 경매 전에) 보류될 수 있어서 대조 그룹 사용자를 위해 다른 광고를 선택하는 것이 여전히 가능하도록 할 수 있다.

추가로, 사용자들은 연구 전에 테스트 및 대조 그룹으로 나눠지지 않고 그 대신에 광고 선택 프로세스 시에 결정된다. 사용자에 대한 노출 기회가 있기 때문에 계산은 사용자를 테스트 또는 대조 그룹으로 랜덤하게 할당하기 위해 (예컨대, 해시 알고리즘을 사용하여) 수행된다. 이후 사용자는 광고 선택 프로세스를 완료하는 것이 허용된다. 하지만, 대조 그룹 사용자들에 대해서 성과 연구의 광고는 프로세스에서 임의의 시점에 보류된다. 실험 그룹 사용자의 경우 광고가 보류되지 않는다. 실험 그룹 사용자들은 아직 광고 선택 프로세스를 완료하지 않았기 때문에 성과 연구의 광고는 일부 실험 그룹 사용자들에 대해서는 최종적으로 선택되지 않을 수 있다. 따라서, 실험 그룹으로 로그인된 일부 사용자들은 성과 연구에서 광고를 수신하지 않는다. 광고를 수신하는 실험 그룹 사용자들은 테스트 사용자들의 서브세트 또는 노출된 타겟 그룹을 구성한다. 성과는, 실험 그룹과 대조 그룹 사이의 유일한 차이점이 일부 실험 그룹이 노출을 받았다는 것인 가정을 사용하여 실험 그룹의 모든 사용자들을 사용하여 계산될 수 있다. 시스템은 전체 (노출 및 비노출) 실험 그룹과 대조 그룹 사이의 전환율의 차이를 측정한다. 예컨대, 성과 메트릭은 (1) 실험 그룹에서 전환자로부터 대조 그룹에서의 전환자를 차감함으로써 결정되는 전환자의 증분수(광고로 직접 기인하는 전환자의 수)를 결정함으로써, (2) 노출된 타겟 그룹의 전환자로부터 증분 전환자를 차감함으로써 결정되는 암시된 전환자의 베이스라인 수(광고를 수신하지 않더라도 전환했을 사람들)를 결정함으로써, 및 (3) 암시된 전환자의 베이스라인 수로 증분 전환자의 수를 나눔으로써 계산될 수 있다.

본 발명의 내용 중에 포함되어 있다.

도 1은 본 발명의 실시예에 따른 광고 시스템이 동작하는 시스템 환경의 블록도이다.
도 2는 본 발명의 실시예에 따른 광고 시스템의 블록도이다.
도 3a는 본 발명의 실시예에 따른 소셜 네트워킹 시스템의 블록도이다.
도 3b는 본 발명의 실시예에 따른 광고 시스템의 블록도이다.
도 4a는 본 발명의 실시예에 따른 주어진 광고 캠페인에 대한 광고 성과 연구를 실행하는 단계를 도시하는 다이어그램이다.
도 4b는 본 발명의 실시예에 따른 주어진 광고 캠페인에 대한 광고 성과 연구를 위해 선택된 테스트 및 대조 그룹을 도시하는 다이어그램이다.
도 5는 본 발명의 실시예에 따른 주어진 사용자를 위해 성과 연구를 실행하기 위한 광고 요청부 및 광고 선택부 사이의 상호작용을 도시하는 상호작용 다이어그램이다.
도 6은 본 발명의 실시예에 따른 광고 캠페인과 연관된 성과 메트릭을 계산하기 위한 프로세스의 흐름도이다.
도면은 본 발명의 다양한 실시예를 설명의 목적으로만 도시한다. 통상의 기술자는 후술할 설명으로부터 본 명세서에 설명되는 구조 및 방법의 대안적인 실시예가 본 명세서에 설명되는 발명의 원리로부터 벗어나지 않고 채용될 수 있음을 용이하게 인식할 것이다.

시스템 구조

도 1은 광고 시스템(140)을 위한 시스템 환경(100)의 블록도이다. 도 1에 도시되는 시스템 환경(100)은 하나 이상의 클라이언트 장치(110), 네트워크(120), 하나 이상의 제3자 시스템(130) 및 광고 시스템(140)을 포함한다. 대안적 구성으로, 다른 구성요소 및/또는 추가 구성요소가 시스템 환경(100)에 포함될 수 있다. 예컨대, 일부 실시예로, 광고 시스템(140)은 소셜 네트워킹 시스템이거나 도 2에 도시되는 바와 같은 소셜 네트워킹 시스템의 컴포넌트를 포함한다. 다른 실시예로, 소셜 네트워킹 시스템은 광고 시스템(140)과 상호작용하는 시스템 환경의 분리된 컴포넌트이다. 도 3a 및 3b는 소셜 네트워킹 시스템(150)이 광고 시스템(160)으로부터 분리된 시스템인 실시예를 도시한다. 또 다른 실시예로, 소셜 네트워킹 시스템이 없고 광고 시스템(160)은 독자적으로 동작한다. 본 명세서에 서술되는 실시예는 또한, 소셜 네트워킹 시스템 또는 광고 시스템이 아닌 온라인 시스템에 적용될 수 있다.

클라이언트 장치(110)는 사용자 입력을 수신할 수 있고 네트워크(120)를 통해 데이터를 전송 및/또는 수신할 수 있는 하나 이상의 컴퓨팅 장치이다. 일실시예에서, 클라이언트 장치(110)는 데스크탑이나 랩탑 컴퓨터와 같은 종래의 컴퓨터 시스템이다. 대안적으로, 클라이언트 장치(110)는 가령 개인용 정보단말기(PDA), 모바일 전화, 스마트폰 또는 다른 적절한 장치와 같이, 컴퓨팅 기능을 갖는 장치일 수 있다. 클라이언트 장치(110)는 네트워크(120)를 통해 통신하도록 구성된다. 일실시예로, 클라이언트 장치(110)는 클라이언트 장치(110)의 사용자가 광고 시스템(140)과 상호작용하도록 허용하는 애플리케이션을 실행한다. 예컨대, 클라이언트 장치(110)는 네트워크(120)를 통해 클라이언트 장치(110)와 광고 시스템(140) 사이의 상호작용을 가능하게 하는 브라우저 애플리케이션을 실행한다. 또 다른 실시예로, 클라이언트 장치(110)는, 가령 iOS® 및 ANDROIDTM와 같이, 클라이언트 장치(110)의 네이티브 운영 시스템에서 실행하는 응용 프로그래밍 인터페이스(API)를 통해 광고 시스템(140)과 상호작용한다.

클라이언트 장치(110)는 유선 및/또는 무선 통신 시스템 모두를 사용하여 근거리 네트워크 및/또는 광역 네트워크의 임의의 조합을 포함할 수 있는 네트워크(120)를 통해 통신하도록 구성된다. 일실시예로, 네트워크(120)는 표준 통신 기술 및/또는 프로토콜을 사용한다. 예컨대, 네트워크(120)는 가령 이더넷, 802.11, WiMAX(worldwide interoperability for microwave access), 3G, 4G, CDMA(code division multipleaccess), DSL(digital subscriberline) 등과 같은 기술을 사용하는 통신 링크를 포함한다. 네트워크(120)를 통한 통신을 위해 사용되는 네트워킹 프로토콜의 예는 MPLS(multiprotocol label switching), TCP/IP(transmission control protocol/Internet protocol), HTTP(hypertext transport protocol), SMTP(simple mail transfer protocol) 및 FTP(file transfer protocol)를 포함한다. 네트워크(120)에서 교환되는 데이터는 하이퍼텍스트 마크업 언어(HTML) 또는 확장형 마크업 언어(XML)와 같은 임의의 적절한 포맷을 사용하여 표현될 수 있다. 일부 실시예로, 네트워크(120)의 통신 링크의 전부 또는 일부는 임의의 적절한 기술 또는 기법을 사용하여 암호화될 수 있다.

하나 이상의 제3자 시스템(130)은 도 2와 함께 아래에서 더 기술되는, 광고 시스템(140)과 통신하기 위해 네트워크(120)에 결합될 수 있다. 일실시예에서, 제3자 시스템(130)은 클라이언트 장치에서 실행되는 애플리케이션에서 사용되기 위하여 클라이언트 장치(110)에서 실행되기 위한 애플리케이션을 설명하는 정보를 통신하거나 데이터를 클라이언트 장치(110)로 통신하는 애플리케이션 제공자이다. 다른 실시예에서, 제3자 시스템(130)은 클라이언트 장치(110)를 통해 표시되기 위한 컨텐츠 또는 다른 정보를 제공한다. 또한, 제3자 웹사이트(130)는 가령, 제3자 웹사이트(130)에서 제공하는 애플리케이션에 대한 광고, 컨텐츠 또는 정보와 같은 정보를 광고 시스템(140)으로 정보를 전달할 수 있다.

도 2는 광고 시스템(140)의 구조의 블록도이다. 도 2에 도시된 광고 시스템(140)은 사용자 프로필 스토어(205), 컨텐츠 스토어(210), 행위 로거(215), 행위 로그(220), 에지 스토어(225), 광고 요청부(230), 웹 서버(235), 광고 스토어(305), 광고 선택부(310), 광고주 연구 스토어(315), 광고 노출 로거(320), 광고 노출 로그(325), 전환 스토어(335), 성과 계산기(330) 및 성과 메트릭 스토어(340)를 포함한다. 다른 실시예로, 광고 시스템(140)은 다양한 애플리케이션용 추가 구성요소, 더 적은 구성요소 또는 다른 구성요소를 포함할 수 있다. 예컨대, 광고 시스템(140)은 특정 소셜 네트워킹 컴포넌트를 포함하지 않을 수 있다. 도 3b는 광고 시스템의 이러한 실시예의 일례를 도시한다. 가령 네트워크 인터페이스, 보안 기능, 부하 균형기, 장애복구 서버, 관리와 네트워크 동작 콘솔 등과 같은 종래의 구성요소들은 시스템 구조의 세부사항을 모호하게 하지 않도록 도시되지 않는다.

광고 시스템(140)의 각 사용자는 사용자 프로필 스토어(205)에 저장되는 사용자 프로필과 연관된다. 사용자 프로필은 사용자에 의해 명시적으로 공유되었던 사용자에 대한 선언형 정보를 포함하고, 광고 시스템(140)에 의해 추론된 프로필 정보를 또한, 포함할 수 있다. 일실시예로, 사용자 프로필은 다수의 데이터 필드를 포함하고, 이들 각각은 광고 시스템(140)의 대응하는 사용자의 하나 이상의 속성을 기술한다. 사용자 프로필에 저장된 정보의 예는 가령 경력, 학력, 성별, 취미나 기호, 위치 등과 같은 인명정보, 인구학적 정보 및 다른 타입의 설명적 정보를 포함한다. 또한, 사용자 프로필은 예컨대 이미지나 비디오와 같이 사용자에 의해 제공되는 다른 정보를 저장할 수 있다. 특정 실시예로, 사용자의 이미지는 이미지에 디스플레이되는 광고 시스템(140)의 사용자의 식별 정보와 함께 태그될 수 있다. 또한, 사용자 프로필 스토어(205) 내 사용자 프로필은 행위 로그(220)에 저장되고 컨텐츠 스토어(210) 내 컨텐츠 아이템에 대해 수행되었던 해당 사용자에 의한 행위에 대한 언급을 관리할 수 있다.

사용자 프로필 스토어(205) 내 사용자 프로필은 개인들이 광고 시스템(140)을 통해 서로 상호작용할 수 있게 해주는 개인들과 빈번히 관련되면서, 사용자 프로필은 가령 비즈니스 또는 단체와 같은 엔티티에 대하여 또한 저장될 수 있다. 이는 엔티티가 컨텐츠를 다른 온라인 시스템 사용자들과 연결하고 교환하기 위해 광고 시스템(140)에서 존재(presence)를 확립할 수 있게 해준다. 엔티티는 그 자체, 그 제품에 대한 정보를 게시할 수 있거나, 엔티티의 사용자 프로필과 관련된 브랜드 페이지를 사용하여 광고 시스템의 사용자들에게 다른 정보를 제공할 수 있다. 광고 시스템의 다른 사용자들은 브랜드 페이지에 게시된 정보를 수신하거나 브랜드 페이지로부터 정보를 수신하도록 브랜드 페이지와 연결할 수 있다. 브랜드 페이지와 관련된 사용자 프로필은 사용자에게 배경이나 엔티티에 대한 정보형 데이터를 제공하는 엔티티 그 자체에 대한 정보를 포함할 수 있다.

컨텐츠 스토어(210)는 다양한 타입의 컨텐츠를 표현하는 각 객체를 저장한다. 객체로 표현되는 컨텐츠의 예는 페이지 게시물, 상태 업데이트, 사진, 비디오, 링크, 공유된 컨텐츠 아이템, 게임 애플리케이션 성취, 로컬 비즈니스에서의 체크인 이벤트, 브랜드 페이지 또는 임의의 다른 타입의 컨텐츠를 포함한다. 온라인 시스템 사용자는 컨텐츠 스토어(210)에 의해 저장되는 객체, 가령 상태 업데이트, 시스템에서 다른 객체와 관련되는 사용자가 태그한 사진, 이벤트, 그룹 또는 애플리케이션을 생성할 수 있다. 일부 실시예에서, 객체는 광고 시스템(140)과 분리된 제3자 애플리케이션이나 제3자 애플리케이션으로부터 수신된다. 일실시예로, 컨텐츠 스토어(210)에서 객체는 컨텐츠의 단일 부분들(pieces) 또는 컨텐츠 "아이템들"을 표현한다. 따라서, 광고 시스템(140)의 사용자는 다양한 통신 채널을 통해 텍스트와 다양한 유형의 매체의 컨텐츠 아이템을 게시하여 서로 통신하도록 촉진된다. 이것은 사용자들 서로 간의 상호작용의 양을 증가시키고 사용자가 광고 시스템(140) 내에서 상호작용하는 빈도를 증가시킨다.

행위 로거(215)는 광고 시스템(140)의 내부 및/또는 외부에서 사용자 행위에 대한 통신을 수신하며, 사용자 행위에 대한 정보로 행위 로그(220)를 채운다. 행위의 예시는 다른 사용자와의 연결관계를 추가하기, 메시지를 다른 사용자에게 송신하기, 이미지를 업로드하기, 다른 사용자로부터의 메시지를 읽기, 다른 사용자와 관련된 컨텐츠를 열람하기, 다른 사용자가 게시한 이벤트에 참여하기, 그 외 다른 것을 포함한다. 또한, 다수의 행위가 객체 및 하나 이상의 특정 사용자와 연관되며, 그래서 이런 행위들은 또한 그 사용자와 관련되고 이런 행위는 행위 로그(220)에 저장된다.

행위 로그(220)는 광고 시스템(140)뿐 아니라 광고 시스템(140)과 정보를 통신하는 제3자 시스템(130)에서의 사용자 행위를 추적하기 위해 광고 시스템(140)에 의해 사용될 수 있다. 사용자는 광고 시스템(140)에서 다양한 객체와 상호작용할 수 있고, 이들 상호작용을 설명하는 정보는 행위 로그(210)에 저장된다. 객체와의 상호작용의 예시는: 게시물에 대해 코멘트하기, 링크를 공유하기, 및 모바일 장치를 통해 물리적 위치로 체크인하기, 컨텐츠 아이템에 액세스하기 및 임의의 다른 상호작용을 포함한다. 행위 로그(220)에 포함되는 광고 시스템(140)상의 객체와의 상호작용의 추가적인 예는: 사진 앨범에 대해 코멘트하기, 사용자와 통신하기, 객체와 연결을 확립하기, 캘린더의 이벤트에 참가하기, 그룹에 가입하기, 이벤트를 생성하기, 애플리케이션을 승인하기, 애플리케이션을 사용하기, 객체에 호감을 표현하기(객체를 "좋아요"하기) 및 거래를 체결하기를 포함한다. 추가로, 행위 로그(220)는 광고 시스템(140)뿐 아니라 광고 시스템(140)에서 동작하는 다른 애플리케이션에서 광고와 사용자의 상호작용을 기록할 수 있다. 일부의 실시예로, 행위 로그(220)로부터의 데이터는 사용자의 관심사나 기호를 추론하는데 사용되며, 사용자의 사용자 프로필에 포함된 관심사를 증가시키고 사용자 기호의 더 완전한 이해를 가능하게 한다.

또한, 행위 로그(220)는 가령 외부 웹사이트와 같은 제3자 시스템(130)에서 행해지고 광고 시스템(140)으로 통신된 사용자 행위를 저장할 수 있다. 예컨대, 주로 스포츠 장비를 할인가로 판매하는 전자상거래 웹사이트는 전자상거래 웹사이트가 광고 시스템(140)의 사용자를 식별할 수 있게 하는 소셜 플러그-인을 통해 광고 시스템(140)의 사용자를 인식할 수 있다. 광고 시스템(140)의 사용자는 고유하게 식별가능하기 때문에, 가령 이런 스포츠 장비 소매상과 같은 전자상거래 웹사이트는 사용자와 연관을 위해 광고 시스템(140) 외부의 사용자 행위에 대한 정보를 광고 시스템(140)과 통신할 수 있다. 따라서, 행위 로그(220)는 웹페이지 열람 이력, 참여하였던 광고, 이루어진 구매 및 쇼핑과 구입의 다른 패턴을 포함하는 사용자가 제3자 시스템(130)에서 수행한 행위에 대한 정보를 기록할 수 있다.

일실시예로, 에지 스토어(225)는 사용자와 광고 시스템(140)상의 다른 객체 사이의 연결을 설명하는 정보를 에지로 저장한다. 일부 에지는 사용자에 의해 정의될 수 있고, 사용자가 다른 사용자들과의 관계를 명시할 수 있게 해준다. 예컨대, 사용자는 가령 친구, 직장동료, 파트너 등과 같은 사용자의 실생활 관계에 상응하는 다른 사용자들과의 에지를 생성할 수 있다. 다른 에지는 사용자가 가령 광고 시스템(140)상의 페이지에 대한 관심을 표현하고, 광고 시스템(140)의 다른 사용자들과 링크를 공유하며, 광고 시스템(140)의 다른 사용자들에 의해 행해진 게시물에 코멘트하는 것과 같이 광고 시스템(140)에서 객체와 상호작용할 때 생성된다.

일실시예로, 에지는 각각이 사용자 간 상호작용, 사용자와 객체 간 상호작용 또는 객체 간 상호작용의 특징을 나타내는 다양한 특성을 포함할 수 있다. 예를 들어, 에지에 포함된 특성은 두 사용자 간 상호작용의 비율, 두 사용자가 서로와 얼마나 최근에 상호작용했는지, 한 사용자에 의해 객체에 대해 검색된 정보의 비율 또는 양 또는 한 사용자에 의해 객체에 대해 게시된 코멘트의 수 및 타입을 설명한다. 또한, 특성은 특정 객체 또는 사용자를 설명하는 정보를 나타낼 수 있다. 예를 들어, 특성은 사용자가 특정 주제에 대해 가지는 흥미의 정도, 사용자가 광고 시스템(140)에 로그인하는 비율 또는 사용자에 대한 인구통계학적 정보를 설명하는 정보를 나타낼 수 있다. 각 특성은 원 객체 또는 사용자, 대상 객체 또는 사용자 및 특성값과 연관될 수 있다. 특성은 원 객체 또는 사용자, 대상 객체 또는 사용자 또는 소스 객체 또는 사용자와 대상 객체 또는 사용자간의 상호작용을 설명하는 값에 기반한 표현으로 명시될 수 있다; 따라서, 에지는 하나 이상의 특성 표현으로 표현될 수 있다.

에지 스토어(225)는 또한 가령 객체, 관심사 및 다른 사용자들에 대한 친밀성 점수와 같이 에지에 관한 정보를 저장한다. 친밀성 점수 또는 "친밀도"는 사용자에 의해 수행된 행위에 기초하여 사용자의 객체, 관심사 및 광고 시스템(140)의 다른 사용자에 대한 친밀도를 근사화하여 시간에 따라 광고 시스템(140)에 의해 계산될 수 있다. 사용자의 친밀도는 사용자에 의해 수행된 행위에 기초하여 사용자의 객체, 관심사 및 광고 시스템(140)의 다른 사용자에 대한 친밀도를 근사화하여 시간에 따라 광고 시스템(140)에 의해 계산될 수 있다. 일실시예로, 사용자와 특정 객체 사이의 다수의 상호작용은 에지 스토어(225) 내 하나의 에지로 저장될 수 있다. 대안적으로, 사용자와 특정 객체간 각 상호작용은 분리된 에지로 저장될 수 있다. 일부의 실시예로, 사용자 사이의 연결은 사용자 프로필 스토어(205)에 저장될 수 있거나, 사용자 프로필 스토어(205)는 사용자 사이의 연결을 결정하도록 에지 스토어(225)에 접근할 수 있다.

일부의 경우, 별개의 소셜 네트워킹 시스템이 있는 경우(도 3a 및 3b 참조), 사용자가 소셜 네트워킹 시스템(150)에서 동작 및/또는 컨텐츠를 소비함에 따라 광고 요청부(230)는 사용자에게 광고 컨텐츠를 제시하기 위해 광고 시스템(160)과 함께 동작하고 이는 도 3a 및 3b에 더 상세히 기술된다. 특히, 사용자가 광고의 제시를 위해 선택되면, 광고 요청부(230)는 사용자에게 제시될 수 있는 하나 이상의 광고에 대한 요청을 광고 시스템(160)으로 송신한다. 요청에 응답하여, 광고 요청부(230)는 광고 시스템(160)으로부터 하나 이상의 광고와 연관된 컨텐츠를 수신하고 광고 컨텐츠를 사용자에게 제시한다. 일부 실시예로, 광고 요청부(230)는 광고 시스템(160)으로부터 수신된 모든 광고를 사용자에게 제시하지 않을 수 있다. 사용자에게 제시되는 각 광고에 대해, 광고 요청부(230)는 광고가 사실 사용자에게 제시되었다고 표시하는 노출 이벤트를 행위 로그(220)에 저장한다. 광고 시스템(140)은 사용자에게 광고 컨텐츠를 제시하기 위해 동일한 방식으로 동작할 수 있다.

웹 서버(235)는 네트워크(120)를 통해 광고 시스템(140)을 하나 이상의 클라이언트 장치(110)뿐 아니라 하나 이상의 제3자 시스템(130)으로 링크한다. 웹 서버(140)는 웹페이지뿐만 아니라 가령 JAVA®, FLASH®, XML 등과 같이 다른 웹-관련 컨텐츠를 제공한다. 웹 서버(235)는, 예컨대 인스턴트 메시지, 큐잉된 메시지(예컨대, 이메일), 텍스트 메시지, SMS(단문 메시지 서비스) 메시지 또는 임의의 다른 적절한 메시징 기술을 사용하여 송신되는 메시지와 같은, 광고 시스템(140)과 클라이언트 장치(110) 사이의 메시지를 수신하고 라우팅할 수 있다. 사용자는 웹 서버(235)로의 요청을 송신하여, 예컨대 컨텐츠 스토어(210)에 저장된 (이미지나 비디오)와 같은 정보를 업로드할 수 있다. 추가로, 웹 서버(235)는 가령 IOS®, ANDROID^TM, WEBOS® 또는 RIM®과 같은 네이티브 클라이언트 장치 운영 시스템으로 직접 데이터를 송신하는 API 기능을 제공할 수 있다.

광고 시스템(140)의 나머지 컴포넌트는, 별개의 소셜 네트워킹 시스템과 광고 시스템이 있는 실시예를 도시하는 도 3a 및 3b를 참조하여 아래에 기술된다. 이들 컴포넌트는, 광고 시스템(160)과 소셜 네트워킹 시스템(150)이 분리될 때 기능하는 것과 동일하게 광고 시스템(140)에서 일반적으로 기능한다.

도 3a 및 3b는 각각 소셜 네트워킹 시스템(150) 및 광고 시스템(160)의 블록도이다. 도 3a의 소셜 네트워킹 시스템(150)은 사용자 프로필 스토어(205), 컨텐츠 스토어(210), 행위 로거(215), 행위 로그(220), 에지 스토어(225), 광고 요청부(230), 웹 서버(235)를 포함하고, 이들은 일반적으로 도 2에 대해 위에서 기술된 것과 동일한 방식으로 동작한다. 도 3b에 도시된 광고 시스템(160)은 광고 시스템(140)에 대해 도 2에 도시된 것과 유사한 광고 스토어(305), 광고 선택부(310), 광고주 연구 스토어(315), 광고 노출 로거(320), 광고 노출 로그(325), 전환 스토어(335), 성과 계산기(330), 성과 메트릭 스토어(340)를 포함한다. 다른 실시예로, 소셜 네트워킹 시스템(150)과 광고 시스템(160)은 다양한 애플리케이션용 추가 구성요소, 더 적은 구성요소 또는 다른 구성요소를 포함할 수 있다. 가령 네트워크 인터페이스, 보안 기능, 부하 균형기, 장애복구 서버, 관리와 네트워크 동작 콘솔 등과 같은 종래의 구성요소들은 시스템 구조의 세부사항을 모호하게 하지 않도록 도시되지 않는다.

광고 스토어(305)는 다양한 광고주에 의해 제공되는 하나 이상의 광고 캠페인("광고 캠페인")을 저장한다. 광고 캠페인 또는 단일 광고는 고유한 광고 식별자("광고 ID")와 연관될 수 있고 광고 컨텐츠 및 입찰 액수를 포함한다. 광고 컨텐츠는 사용자에게 제시되는 텍스트, 이미지, 오디오, 비디오, 또는 임의의 다른 적절한 데이터이다. 다양한 실시예로, 광고 컨텐츠는 또한, 광고가 액세스될 때 사용자가 향하는 네트워크 주소를 특정하는 랜딩 페이지를 포함한다. 입찰 금액은 광고자에 의해 광고와 연관되고 만약 광고가 사용자에게 표시되거나, 만약 광고가 사용자 상호작용을 수신하거나, 다른 임의의 적절한 조건에 기반하여 광고자에 의해 광고 시스템(140, 160)에게 제공되는 금전적 보상과 같은 기대값을 결정하는데 사용된다. 예를 들어, 입찰 금액은 만약 광고가 디스플레이되면 광고 시스템(150)이 광고자로부터 받는 금액을 명시하고 기대값은 입찰 금액에 광고가 접근될 확률을 곱함으로써 결정된다.

추가로, 광고 캠페인은 광고주에 의해 명시되는 하나 이상의 타겟팅 기준을 포함할 수 있다. 광고 캠페인에 포함된 타겟팅 기준은 광고 캠페인에서 컨텐츠가 제시될 자격이 있는 사용자들의 하나 이상의 특성을 명시한다. 예를 들어, 광고 기준은 적어도 하나의 타게팅 기준을 만족하는 사용자 프로필 정보, 에지 또는 행위를 가지는 사용자를 식별하기 위하여 사용자와 연관된 사용자 프로필, 에지 및/또는 행위의 필드에 적용되는 필터이다. 따라서, 타겟팅 기준은 광고주가 특정한 타겟팅 기준과 일치하는 사용자의 그룹을 식별하여, 사용자의 그룹에게 컨텐츠의 다음 분배를 단순화할 수 있게 한다. 타겟팅 기준은 광고 또는 광고 캠페인에 대한 타겟 모집단(target population)을 정의하는데 사용될 수 있다. 예컨대, 광고에 대한 타겟 모집단은 미국에 거주하고 요리를 좋아하는 18세에서 34세 사이의 남성일 수 있다.

일실시예에서, 타게팅 기준은 행위 또는 사용자와 광고 시스템(140, 160)의 다른 사용자나 객체 간의 연결의 타입을 명시할 수 있다. 타겟팅 기준은 사용자와 객체 간에 광고 시스템(140, 160) 외부, 예컨대 제3자 시스템(130)에서 수행된 상호작용을 또한, 특정할 수 있다. 예를 들어, 타겟팅 기준은 특정 행위, 예컨대 다른 사용자에게 메시지 전송, 애플리케이션 사용, 그룹 가입, 그룹 탈퇴, 이벤트 참가, 이벤트 설명 생성, 온라인 마켓플레이스를 사용한 제품 또는 서비스의 구매 또는 리뷰, 제3자 시스템(130)으로부터의 정보 요청 또는 다른 임의의 적절한 행위를 취한 사용자를 식별한다. 타겟팅 기준 내에 행위를 포함시키는 것은 광고자가 광고 캠페인으로부터의 컨텐츠가 표시될 수 있는 사용자를 더 걸러낼 수 있게 한다. 다른 예로서, 타겟팅 기준은 다른 사용자 또는 객체와 연결을 가지거나 다른 사용자 또는 객체와 특정한 타입의 연결을 가지는 사용자를 식별할 수 있다.

광고 선택부(310)는 광고 시스템(140 또는 160)에 액세스하는 사용자에게 제시될 광고에 대한 요청을 수신한다. 분리된 소셜 네트워킹 시스템(150)이 있는 실시예에서, 요청은 그 시스템(150)으로부터 수신될 수 있다. 수신된 각각의 요청은 광고가 제시되는 사용자와 연관된 적어도 하나의 고유한 사용자 식별자("사용자 ID")를 포함한다. 예컨대, 노출 기회가 주어진 사용자에 대해 이용가능하게 되면, 광고 선택부(310)는 그 사용자에 대한 사용자 ID를 수신할 수 있다. 이러한 요청에 응답하여, 광고 선택부(310)는 노출 기회가 있는 사용자를 위해 광고를 선택하도록 광고 선택 프로세스를 수행 또는 구현한다. 광고 선택부(310)는 광고가 제시될 사용자와 연관된 정보에 의해 충족되는 타겟팅 기준을 갖는 광고 스토어(305) 내의 후보 광고 캠페인을 선택한다. 일부 실시예로, 광고 선택부(310)는 소셜 네트워킹 시스템(150)으로부터 사용자와 연관된 정보를 요청한다. 이러한 정보는 사용자 프로필 스토어(205)에 저장된 사용자의 사용자 프로필로부터의 정보 또는 소셜 네트워킹 시스템(150) 내에서 사용자에 의해 행해지고 행위 로그(220)에 저장된 행위를 포함할 수 있다.

후보 광고 캠페인으로부터 광고 선택부(310)는 광고 선택 프로세스를 통해 광고 캠페인을 선택한다. 후보 광고는 다른 요인들 사이에서 사용자에 대한 광고 컨텐츠의 관련성, 광고 컨텐츠 또는 상품이나 브랜드에 대한 사용자의 친밀도, 사용자의 선호도, 사용자의 프로필, 사용자가 광고 시스템 내에서 또는 이 시스템 외부에서 행한 사전 행위(예컨대, 광고에 클릭하거나 클릭하지 않는 것, 광고를 숨기는 것 등), 사용자에 의한 전환의 가능성을 포함하는 다양한 요인들에 기반하여 순위화될 수 있다. 추가로, 후보 광고 또는 잠재적으로 순위화된 후보 광고는 광고 경매로 참여될 수 있다. 예컨대, 광고 선택부(310)는 후보 광고 캠페인의 입찰 가격에 기반하여 광고 프로세스를 수행할 수 있다. 경매 프로세스로부터 사용자에 대해 선택된 하나 이상의 광고가 나올 수 있다. 일단 광고 또는 광고 캠페인이 최종적으로 선택되면, 광고 선택부(310)는 사용자에게 제시하기 위해 광고 컨텐츠를 광고 요청부(230)로 송신한다. 광고 선택 프로세스 내에서 하나 이상의 후보 광고는, 성과 연구의 구현과 관련되는 그 광고에 대해 수행되는 특정 행위를 야기하고 광고가 취급되는 방식에 영향을 주는 성과 연구로 태그되는 광고일 수 있다. 이는 이하의 섹션에서 더 상세히 설명된다.

광고 성과의 측정

광고 캠페인의 목표는 광고 컨텐츠가 제시되는 사용자에 의한 전환을 증가시키는 것일 수 있다. 주어진 광고 캠페인에 대한 광고 성과 메트릭은 광고 캠페인으로 기인할 수 있는 전환의 실제 증가를 수량화한다. 광고 성과를 측정하는 것은 광고주 및 광고 플랫폼 모두에게 도움이 된다. 구체적으로, 측정은 어떻게 광고가 수행하고 어떻게 상이한 광고 플랫폼들에 걸쳐 광고 예산을 분배하는지에 관한 통찰력을 제공한다. 추가로, 전환 이전에 전환하는 사용자에게 동일한 플랫폼 또는 상이한 플랫폼에서 다수의 광고가 제시되었다면, 광고의 성과 측정은 얼마나 많은 전환 (및 그에 따라 광고 지출)이 그 광고로 기인되어야 하는지를 결정하는데 사용될 수 있다.

제시를 위한 광고 컨텐츠의 선택과 함께 광고 시스템(150)은 또한, 광고 캠페인에 대한 광고 성과 메트릭을 측정한다. 구체적으로, 광고 선택부(310)가 사용자를 위한 후보로서 광고 선택 프로세스에 포함시키기 위해 광고 캠페인의 광고 컨텐츠를 선택할 때, 광고 선택부(310)는 광고 선택의 임의의 시점에서 또한, 임의의 후보가 현재 성과 연구의 일부인지 여부를 결정한다. 성과 연구는 "성과", 즉 하나 이상의 광고 캠페인으로 기인될 수 있는 전환의 증가를 결정하기 위해 광고주 또는 광고 시스템에 의해 설정된다. 시스템은 광고를 성과 연구에 포함하라는 표시를 수신한다. 광고주 연구 스토어(315)는 광고주에 의해 설정된 성과 연구를 저장한다. 광고주 연구 스토어(315)에 저장된 각 성과 연구는 (i) 연구에 포함될 광고 ID, (ii) 연구에 참여해야 하는 사용자들의 수 또는 타겟 모집단, 및 (iii) 실험 그룹에 대하여 대조 그룹을 형성해야 하는 참여 사용자들의 퍼센티지를 포함하는 하나 이상의 파라미터에 의해 정의된다. 광고주는 또한, 가령 광고에 있는 상품의 구매, 계정 가입, 이벤트에 참석 등과 같은 관심이 있는 전환 타입을 표시할 수 있다. 대조 그룹은 연구되고 있는 광고 캠페인(들)과 연관되는 광고가 보여지지 않은 사용자들을 포함한다. 비록 광고는 실험 그룹의 모든 사용자들에게 보여지지는 않지만, 실험 그룹은 연구되고 있는 광고 캠페인(들)과 연관된 광고가 보여지도록 선택된 사용자들을 포함한다. 일부 실시예로, 광고주는 연구 내에 광고 캠페인의 다수의 광고를 포함할 수 있어서 대조 그룹이 그 캠페인에 대해 광고를 전혀 수신하지 않도록 할 것이다.

광고 캠페인이 성과 연구의 일부일 때, 광고 선택부(310)는 사용자가 성과 연구의 참여자인지 여부를 결정하거나 또는 타게팅 기준을 충족하는 모든 사용자가 포함될 것이라면, 사용자는 타겟팅 기준과의 매치가 일단 결정되면 자동으로 포함될 수 있다. 광고 선택부(310)는 또한, 사용자가 연구에서 대조 그룹 또는 실험 그룹에 참여할 것인지 여부를 결정한다. 광고 선택부(310)는, 사용자에 대한 노출 기회가 있을 때 실시간으로 이를 결정 또는 계산하고, 따라서 결정은 광고 선택 프로세스 동안에 또는 바로 직전에 발생한다. 일실시예로, 광고 선택부(310)는 해시 알고리즘, MD5 체크섬, 또는 다른 메커니즘을 사용하여 사용자를 테스트 또는 컨트롤로 랜덤하게 할당한다. 예컨대, 시스템은 사용자에 대해 사용자 ID의 해시를 사용할 수 있다. 광고주 또는 광고 시스템은 미리 어떤 퍼센티지의 사용자들이 대조 그룹 대 실험 그룹 내에 포함될지를 설정했을 수 있기 때문에 테스트 및 대조 그룹으로 사용자들을 할당하는데 사용되는 방법은 이러한 퍼센티지를 고려하여 일반적으로 정확한 퍼센티지의 사용자들이 각 그룹에 할당되도록 보장한다. 테스트 또는 대조 그룹에 관한 계산의 결과가 광고 노출 로거(320)에 의해 광고 노출 로그(325)로 로그인된다. 이러한 방식으로, 로거(320)는 실험 그룹 및 대조 그룹 둘 모두에 대해 실시간으로 사용자들의 모집단을 구축하기 시작한다. 광고 노출 로그(325)는 각 사용자에 대해, 사용자 ID, 성과 연구에서의 광고에 대한 연관된 광고 ID, 및 사용자가 테스트 또는 대조 그룹으로 투입되었는지 여부를 포함할 수 있다.

대조 그룹으로 넣어진 사용자들에 대해서, 성과 연구 광고는 광고 선택 프로세스 내의 임의의 시점에서 보류(예컨대, 광고 선택 프로세스에서 후보 광고로서의 고려에서 배제)되어서 광고가 사용자를 위해 절대로 최종 선택되지 않도록 하고, 이는 사용자를 위해 광고가 선택되고 이후 디스플레이로부터 마지막 순간에 끌어내지는 문제를 피하는 것을 돕는다. 광고는 광고의 순위가 생기는 동안 또는 그 후, 광고 경매 프로세스 직전에 또는 그 동안에, 광고 스택의 다른 레벨들 사이에서 다양한 다른 광고 중에서 후보로서 처음에 선택된 후에 보류될 수 있다. 일부 실시예로, 시스템은 사용자가 대조 그룹 사용자라고 결정되자마자 광고를 보류한다. 대조 그룹에 사용자를 할당하는 것은 또한, 최종 광고 선택이 사용자를 위해 이루어지기 전에 광고 선택 프로세스에서 임의의 시점에서 발생할 수 있다. 일부 실시예로, 시스템은 연구가 편향되지 않고 테스트 및 대조 그룹이 실제로 랜덤하게 선택되는 것을 여전히 보장하는 동안에 가능한 늦게 광고 스택에서 광고를 보류한다. 시스템은 또한, 랜덤화를 여전히 유지하는 한편 광고가 보류될 수 있는 광고 스택 내의 가장 낮은 레벨이 무엇인지 테스트하기 위해 오프라인 연구를 실시할 수 있다. 예컨대, 광고 스택에서 특정 레벨로 광고를 보류함으로써 시스템이 어떤 그룹에 주어진 사용자가 넣어질 수 있는지를 예측할 수 있다면, 사용자 할당은 랜덤한 것으로 간주되지 않고 광고 스택 내의 보류 레벨이 (예컨대, 광고의 최종 선택에 근접하기에는) 너무 낮을 수 있다.

실험 그룹으로 넣어진 사용자들의 경우, 성과 연구 광고는 광고 선택 프로세스에 걸쳐 계속되도록 허용될 것이어서 성과 연구 광고가 최종적으로 선택되고 실험 그룹 사용자에게 보여지거나 또는 그렇지 않을 수 있다. 따라서, 실험 그룹 사용자라고 선언되고 실험 그룹 내에 있는 것으로 시스템에 의해 로그된 일부 사용자는 광고에 실제로는 노출되지 않을 것이다. 노출된 실험 그룹 내의 사용자들은 노출된 타겟 그룹이라 지칭되는 실험 그룹의 서브세트를 형성한다. 광고를 수신하지 않는 잔존하는 실험 그룹 사용자들은 광고를 또한, 수신하지 않은 대조 그룹 사용자들과 함께 노출되지 않은 타겟 그룹 내에 있다.

성과 연구에서 광고에 대한 노출에 관한 정보는 광고 노출 로그(325)에 저장된다. 구체적으로, 연구의 일부인 각 광고 캠페인에 대해, 광고 노출 로거(320)는 결국 광고에 노출되는 실험 그룹의 사용자들의 리스트를 관리한다(예컨대, 광고 선택 프로세스가 계속되고 성과 연구에서의 광고가 최종 선택되어 사용자에게 보여진 광고이다). 광고 노출 로거(320)는 또한, 노출되지 않은 사용자들, 가령 성과 연구에서의 광고가 최종적으로 선택되지 않은 실험 그룹 사용자들 및 성과 연구에서의 광고가 보류되었던 대조 그룹 사용자들을 로그할 수 있다.

성과 연구의 이러한 설계는 사용자들을 컨트롤 또는 실험 그룹으로 기-할당하는 것 또는 광고가 사용자를 위해 최종 선택된 후 광고를 대조 그룹으로부터 보류하는 것으로부터 올 수 있는 연구에서의 편향의 문제를 회피하는 것을 돕는다. 마지막 순간에 광고를 보류하는 것은 대조 그룹이 오픈된 광고 슬롯을 갖거나 덜 자주 타겟팅되는 결과를 발생시킬 수 있고, 이는 대조 그룹 사용자들 대 실험 그룹 사용자들의 경험을 변화시킬 수 있으며, 두 그룹이 연구 목적을 위해 통계적으로 동일하지 않도록 만든다. 이들이 통계적으로 동일하지 않다면, 이는 사용자가 상품을 구매하도록 야기한 사용자에게 보여진 광고로 인해 성과가 발생한 것인지 아니면 임의의 다른 관련되지 않은 요인인 것인지가 불명확하기 때문에 성과 계산에서의 문제를 발생시킨다. 예컨대, 실험 그룹의 사용자가 1일째에 성과 연구 광고를 수신하고 이를 클릭한다면, 시스템은 사용자가 광고에 관심이 있다고 학습할 수 있고, 따라서 이는 시스템이 2일째에 그 사용자를 위해 동일한 광고를 더 높게 순위화하고 선택할 가능성이 높게 만들 수 있다. 하지만, 그 사용자가 그 대신 대조 그룹에 넣어졌다면, 시스템은 1일째에 이러한 사용자에 관한 정보를 전혀 학습하지 않을 것이고, 따라서 2일째에 그 광고의 순위는 이 사용자에 대해 다를 것이다. 따라서, 사용자를 대조 그룹에 넣음으로써, 성과 연구는 편향될 수 있고, 이러한 편향은 당신이 대조 그룹을 위해 광고를 보류하기 위해 대기하는 광고 스택 내에서 더 아래로 갈 수록 커질 수 있고, 따라서 본 명세서에 기술되는 광고 시스템은 광고를 광고 스택 내에서 더 높게 보류함으로써 이러한 문제를 제한한다.

광고 시스템(140 또는 160)의 사용자들이 전환, 즉 광고주에 의해 명시된 소정의 행위를 수행할 때, 광고주 또는 광고주와 연관된 시스템/웹사이트는 사용자가 (예컨대, 광고주의 웹사이트의 하나 이상의 페이지 상의 추적 픽셀을 통해) 전환했다고 표시하는 알림을 광고 시스템으로 송신한다. 알림은 전환한 사용자들의 사용자 ID를 포함한다. 알림은 또한, 전환한 각 사용자에 대해 전환에 관한 구체적인 세부사항을 포함할 수 있다. 예컨대, 알림은 사용자가 광고주의 웹사이트에서 쇼핑에 소비한 금전 액수를 포함할 수 있다. 광고 시스템(150)은 전환 스토어(335)에서 광고주로부터 수신한 전환의 알림을 저장한다.

성과 연구에서 각 광고 캠페인에 대해, 성과 계산기(330)는 광고 노출 로그(325)에 저장된 연구 참여자에 관한 정보 및 전환 스토어(335)에 저장된 전환 알림에 기반하여 캠페인에 대한 성과 메트릭을 생성한다. 성과 계산기(330)는 성과 메트릭 스토어(340)에 생성된 메트릭을 저장하고, 일부의 경우 캠페인과 연관된 광고주에게 성과 메트릭과 관련된 하나 이상의 리포트를 제공한다. 성과 메트릭은 다양한 방식으로 계산될 수 있다. 일실시예로, 성과 계산기(330)는 실험 그룹 내의 전환자들의 수와 대조 그룹 내의 전환자들의 수 간의 차이에 기반하여 성과 메트릭을 계산한다. 아래에 논의되는 것처럼, 실험 그룹의 일부가 테스트 연구 광고에 최종적으로 노출되지 않음에도 불구하고, 전제 테스트 및 대조 그룹에 기반하여 성과 메트릭을 계산하는 것은 각 그룹의 사용자들이 광고 선택 프로세스의 동일한 단계에서 식별되기 때문에 더 정확한 성과 메트릭을 발생시킨다.

나머지 논의는 주어진 광고 캠페인, 광고 스토어(305)에 저장된 캠페인 ABC에 대한 광고 성과를 측정하는 세부사항에 관한 것이다. 논의의 목적상, 캠페인 ABC는 광고 스토어(305)에 정의된 타겟 모집단과 연관되고, 또한, 연구 스토어(315)에 저장된 성과 연구의 일부라고 가정한다. 성과 연구는 연구에 참여해야 하는 사용자들의 수를 식별하고 실험 그룹에 대한 대조 그룹을 형성해야 하는 참여 사용자들의 퍼센티지를 식별한다.

도 4a는 캠페인 ABC에 대한 광고 성과 연구를 실행하는 단계들을 도시하는 다이어그램이다. 단계(405)는 타겟 모집단 캠페인 ABC을 도시한다. 타겟 모집단은 광고주에 의해 제공된 캠페인 ABC에 대한 타겟팅 기준(예컨대, 요리를 좋아하는 미국에 거주한 18-24세 남성)을 충족하는 광고 시스템의 모든 사용자들을 포함한다. 타겟팅 기준은 광고 캠페인에서 컨텐츠가 제시될 자격이 있는 사용자들의 하나 이상의 특성을 명시한다. 도 4의 예시에서, 전체 타겟 모집단은 성과 연구의 실행의 상이한 단계들에 걸쳐 유입(funnel)되는 것으로 도시된다. 동작 시 광고 선택부(310)는 광고 컨텐츠에 대한 광고 요청부(230)로부터의 요청을 수신함에 따라 사용자를 테스트 또는 컨트롤 연구 참여자로서 선택한다.

단계(410)는 캠페인 ABC가 진행되었던 성과 연구의 기간 동안 광고 노출을 위해 시스템 상에서 이용가능하게 되거나 광고 시스템에 액세스하고, 광고 선택부(310)가 캠페인 ABC와 매칭한 단계(405)의 타겟 모집단의 서브세트를 도시한다.

단계(415)는 광고 선택 프로세스에 진입했거나 또는 그렇지 않다면 광고에 대해 자격이 있는 것으로 결정되었거나 또는 광고에 대한 합리적인 후보자인 단계(410)에서의 모집단의 서브세트를 도시한다. 이 그룹(415)은 410의 멤버들 전원을 포함하거나 (또는 단계(410)가 없을 수 있고), 혹은 410의 서브세트일 수 있다. 예컨대, 그룹(410) 내에서 광고 시스템에 액세스하지만, 임의의 이유로 인해 광고를 수신할 자격이 없는 임의의 사람들이 있을 수 있다. 일단 사용자들이 서브세트(415)로 들어가고 광고 선택 프로세스에 들어오면, 광고 시스템은 임의의 시점에서 그들이 테스트 또는 대조 그룹에 포함되어야 하는지 여부를 결정할 것이고, 이러한 데이터를 로그할 것이다. 테스트 사용자들의 경우, 성과 연구 광고는 광고 선택 프로세스를 통해 계속되고 사용자를 위해 선택될 수 있다. 컨트롤 사용자들의 경우, 성과 연구 광고는 광고 선택 프로세스에서 임의의 시점에 보류된다. 이 단계에서 참여자를 선택하는 것은, 대조 그룹과 실험 그룹 모두에 대한 컨텐츠 소비 경험이 거의 동일하고 성과 연구에 의해 영향을 받지 않기 때문에 더 정확한 성과 계산을 제공한다. 구체적으로, 이 단계에서, 광고 시스템(150)은 대조 그룹에 상이한 광고 컨텐츠 또는 일부 다른 컨텐츠를 제시함으로써 광고 컨텐츠를 수신하는 것으로부터 보류되는 대조 그룹에 대해 보정을 할 수 있다. 대조 그룹이 광고 선택 및 제시 프로세스에서 더 이후 선택된다면, 이후 임의의 경우에 대조 그룹은 실험 그룹에 대하여 상이한 경험을 받을 수 있다. 이러한 경험의 차이는 단계(415)에서 도시되는 선택 프로세스에 의해 회피되는 성과 계산에 대해 영향을 가질 수 있다.

단계(420)는 성과 연구에서 광고에 노출되었던 실험 그룹 및 대조 그룹의 서브세트를 도시한다. 광고가 대조 그룹 사용자들에 대해 보류되었기 때문에 이들 사용자들 누구도 광고에 노출되지 않는다. 실험 그룹 사용자들의 경우, 광고가 광고 선택 프로세스에서 그들을 위해 최종적으로 선택되거나 선택되지 않을 수 있기 때문에 이들 중 오로지 일부만 광고를 수신한다.

단계(425)는 전환한 415의 대조 그룹의 서브세트 및 전환한 실험 그룹의 노출된 타겟 서브세트(420)의 서브세트를 도시한다. 실험 그룹과 대조 그룹 사이의 전환 차이는 실험 그룹과 대조 그룹의 전환율의 차이를 나타낸다. 따라서, 전환율 차이는 캠페인 ABC에 의해 제공되는 성과로 기인할 수 있다.

도 4b는 캠페인 ABC에 대한 광고 성과 연구를 위해 선택된 테스트 및 대조 그룹들을 도시하는 다이어그램이다. 모집단(430)은 광고주에 의해 제공되는 캠페인 ABC에 대한 타겟팅 기준을 충족하는 광고 시스템의 사용자들을 포함한다. 대조 그룹(440)은 캠페인 ABC에 대한 성과 연구에 참여하도록 선택되고 성과 연구 광고가 광고 선택 프로세스에서의 임의의 시점에서 보류되는 사용자들을 포함한다. 실험 그룹(435)은 캠페인 ABC에 대한 성과 연구에 참여하도록 선택되고 성과 연구 광고가 광고 선택을 통해 계속되는 사용자들을 포함한다. 테스트 노출 그룹(445)은 성과 연구 광고에 최종적으로 노출된 실험 그룹(435) 내의 사용자를 포함한다. 테스트 노출된 전환자(450)는 노출의 결과로서 전환한 그룹(445)의 사용자들을 포함한다. 테스트 노출되지 않은 전환자(455)는 광고에 노출되지 않았지만 여전히 전환한 그룹(435) 내의 사용자를 포함한다. 컨트롤 전환자(460)는 전환한 그룹(440) 내의 사용자를 포함한다.

캠페인 ABC에 대한 성과 메트릭을 계산하기 위해, 성과 계산기(330)는 전환한 실험 그룹(435)내의 사용자들의 수(450, 455)와 전환한 대조 그룹(440) 내의 사용자들의 수(460)를 결정한다. 일반적으로 실험 그룹과 대조 그룹의 총 사용자 수는 같거나 서로에 대한 오류 마진 내에 있다(예컨대, +/- 50명의 사용자). 실험 그룹 내의 사용자들의 수가 대조 그룹 내의 사용자들의 수보다 훨씬 큰 경우(예컨대, 2배 큰 경우), 성과 계산기(330)는 대조 그룹 내의 사용자들의 수를 스케일링하여 스케일링된 수가 실험 그룹 내의 사용자들의 수와 같도록 한다. 이러한 시나리오에서는 전환한 대조 그룹의 사용자의 수가 또한, 스케일링되어야 한다. 이러한 스케일링을 위해, 성과 계산기(330)는 우선 스케일링에 앞서 대조 그룹에 대한 전환율을 결정한다. 성과 계산기(330)는 이후 계산된 전환율에 대조 그룹 내의 사용자들의 스케일링된 수를 곱함으로써 전환한 사용자들의 스케일링된 수를 계산한다.

스케일링이 이로울 수 있는 시나리오를 설명하기 위해, 실험 그룹이 220명의 사용자가 전환한 1000명의 사용자를 가지고 대조 그룹은 40명의 사용자가 전환한 500명의 사용자를 가진다고 가정한다. 성과 메트릭 계산 동안에 성과 계산기는 대조 그룹에 대한 전환율을 8퍼센트(40을 500으로 나눔)로 결정한다. 성과 계산기(330)는 또한, 대조 그룹 내의 사용자들의 수를 2의 인자로 스케일링하여 실험 그룹 내의 사용자들의 수에 매칭시킨다. 성과 계산기(330)는 이후 1000의 8퍼센트인 대조 그룹에 대한 전환율에 기반하여 스케일링된 대조 그룹 내에서 전환한 사용자들의 수를 결정하며, 이는 80과 같다.

성과 메트릭 계산으로 돌아오면, 일단 실험 그룹(435)과 대조 그룹(440) 각각 내에서 전환한 사용자들의 수가 결정되면, 성과 계산기(330)는 증분 성과를 2개의 수들 간의 차이로 계산한다. 증분 성과는 광고 캠페인으로 기인될 수 있는 전환의 수에 대한 정확한 측정이다. 성과 계산기(330)는 또한, 전환자의 베이스라인 수, 즉 사용자가 성과 연구 광고에 노출되지 않았어도 전환했을 사용자의 수를 계산한다. 베이스라인 수를 계산하기 위해, 성과 계산기(330)는 테스트 노출 전환 그룹(445) 내에 포함된 사용자들의 수로부터 증분 성과를 차감한다. 이 발생되는 수는 성과 연구 광고에 노출되지 않고 전환했을 사용자들의 수를 수량화한다. 베이스라인 수는 실험 그룹과 대조 그룹 사이의 전환의 임의의 측정가능한 성과는 사용자들에게 노출되는 성과 연구 광고로 신뢰성 있게 기인될 수 있다는 가정에 기반하여 실험 그룹(435)이 아닌 테스트 노출 전환 그룹(445)을 사용하여 계산된다.

성과 계산기(330)는 이후 전환자의 베이스라인 수에 상대적인 성과 연구 광고에 의해 야기되는 전환의 퍼센티지 증가로서 성과 메트릭을 계산한다. 구체적으로, 성과 계산기는 전환의 퍼센티지 증가를 수량화하기 위해 전환자의 베이스라인 수로 증분 성과를 나눈다. 이러한 성과 메트릭은 성과 메트릭 스토어(340)에 저장된다.

표 1은 테스트와 컨트롤 모집단을 만드는 다른 예시를 제공한다.

	실험군	대조군
타겟 대상	260k	40k
광고 스택 레벨에서의 사용자	80k	80k
성과 연구 광고를 수신한 사용자	67k	0k
전환한 사용자	8k	1.8k
% 전환	10%(12%가 노출됨)	2.25%
판매	$800k	150k
사용자당 액수	$100/각 사용자	$75/각 사용자

이 예시에서, 타겟 대상(audience)은 총 300k의 사용자를 포함하고, 광고 선택 프로세스까지 도달한 사용자들은 약 160k이다. 이 광고 스택 레벨의 임의의 시점에서, 160k 사용자들은 80k의 실험 그룹과 80k의 대조 그룹으로 나눠진다. 이 레벨에서 임의의 시점에 성과 연구 광고는 80k 사용자들로부터 보류된다. 80k 실험 그룹의 경우, 성과 연구 광고는 광고 선택에 걸쳐 계속되고, 80k의 67k에 최종적으로 노출되어서 실험 그룹의 13k가 노출되지 않은 채로 잔존한다. 80k의 테스트 사용자들 중 전환 이벤트가 발생한 사용자들은 8k이고 80k의 컨트롤 사용자들 중 전환이 발생한 사용자들은 1.8k이다. 전환율은 실험 그룹에서 전환한 사람을 실험 그룹의 사람들로 나누어서 계산되고, 이는 대조 그룹에 대해서도 동일하다. 실험 그룹 사용자들에 대해 10%의 전환과 대조 그룹 사용자들에 대한 2.25% 전환이 있었고, 따라서 광고는 7.75 추가 퍼센티지 포인트("증분 성과")와 상당히 많은 금전($800k 대 $150k)의 가치가 있었다.

모든 테스트 사용자가 본 명세서에 기술되는 성과 연구 설계를 사용하여 노출되는 것이 아니기 때문에 시스템은 전환한 노출된 타겟 그룹과 전체 전환율 사이의 차이에 기반하여 베이스라인 전환율을 계산한다. 구체적으로, 전환한 8k 실험 그룹 사람들 중, 일부는 67k의 노출된 자들에 속했고 일부는 13k의 노출되지 않은 자들 중에 있었다. 시스템이 테스트 및 대조 그룹이 균형상 동일하다고 확신한다면 테스트 또는 대조 그룹 간의 유일한 차이점은 실험 그룹이 광고를 보았을 수도 있다는 점뿐이어야 한다. 따라서, 시스템은 노출되지 않은 13k 테스트 사용자 들이 아닌 노출된 67k 테스트 사용자들에게 오는 성과 연구 광고에 의한 전환에 대한 임의의 영향을 가정할 수 있다. 따라서, 베이스라인 전환율, 즉 사용자들이 광고에 노출되지 않고 전환하는 비율은 노출된 타겟 그룹의 전환율과 증분 성과 사이의 차이로 계산된다. 이 예시에서, 베이스라인 전환율은 12%(노출된 타겟 그룹의 전환율)로부터 7.75%(증분 성과)가 차감된 것이며, 4.25%와 같다. 성과 메트릭, 즉 광고로 기인되는 전환의 퍼센티지 증가는 이후 베이스라인 전환율로 증분 성과를 나눔으로써 계산된다. 따라서, 이 예시에서 성과 메트릭 퍼센티지는 7.75%를 4.25%로 나눈 값으로 182 %의 전환 퍼센티지 증가를 만들어낸다.

도 5는 주어진 사용자를 위해 성과 연구를 실행하기 위한 광고 요청부(230) 및 광고 선택부(310) 사이의 상호작용을 도시하는 상호작용 다이어그램이다. 사용자가 광고 시스템 상에서 동작하거나 및/또는 컨텐츠를 소비함에 따라 광고 요청부(230)는 사용자를 광고를 수신하기 위한 후보로 선택할 수 있다. 광고 요청부(230)는 사용자에게 제시될 수 있는 후보 광고를 위해 광고 시스템(150) 내에서 광고 선택부(310)로 요청을 송신한다(505). 사용자가 타겟팅 기준에 매칭되고 자격이 있는 수백 개 또는 수천 개의 광고가 있을 수 있다. 이에 응답하여, 광고 선택부(310)는 시청하는 사용자를 위해 광고 선택 프로세스에서의 고려를 위해 광고 스토어(350)로부터 주어진 광고 캠페인, 캠페인 ABC를 포함하는 사용자가 자격이 있을 수 있는 광고를 선택한다(510). 광고 선택 프로세스는 다양한 요인에 기반하는 후보 광고의 순위를 포함하여서 사용자를 위한 최상의 광고(예컨대, 다른 요인들 중에서도 관련성, 사용자가 광고를 클릭할 가능성 또는 광고에 기반한 전환 가능성과 관련하여 최상의 매치)가 가장 높게 순위화된다. 후보 광고는 또한, 광고주가 특정 사용자가 광고 선택에 있어서 고려되기 전에 광고를 배치하기 위해 입찰하는 광고 경매를 거칠 수 있다. 광고 캠페인에서 이용가능한 예산이 또한, 고려될 수 있다. 광고 선택 프로세스는 시청 사용자에게 보여주기 위한 광고의 선택을 최종적으로 발생시킨다.

광고 선택 프로세스의 일부로서, 광고 선택부(310)는 또한, 현재 광고주 연구 스토어(315)에 저장된 성과 연구의 일부인 캠페인 ABC와 같이 임의의 광고가 성과 연구에 있는지 여부를 결정한다(515). 다시, 광고주 연구 스토어(315)에 저장된 각 성과 연구는 (i) 연구에 포함될 광고 ID(들), (ii) 연구에 참여해야 하는 사용자들의 수 (또는 모든 사용자가 참여하도록 선택될 수 있음), 및 (iii) 실험 그룹에 대하여 대조 그룹을 형성해야 하는 참여 사용자들의 퍼센티지와 같은 하나 이상의 파라미터에 의해 정의된다.

광고 선택부(310)는 테스트 또는 대조 그룹에 시청하는 사용자를 포함할지 여부를 성과 연구 파라미터에 기반하여 계산한다(520). 일실시예로, 광고 선택부(310)는, 시청하는 사용자가 실험 그룹 또는 대조 그룹 내에 성과 연구의 참여자가 되어야 하는지 여부를 결정하기 위해 시청하는 사용자와 연관된 사용자 ID를 프로세싱하는 함수, 가령 해시 함수로 구성된다. 광고 선택부(310)는 광고 노출 로그(325)에서의 결정을 저장한다. 사용자가 대조 그룹에서 연구에 참여할 때, 광고 컨텐츠는 사용자로부터 보류된다(525). 반대로, 사용자가 실험 그룹에서 연구에 참여한다면, 광고 컨텐츠는 사용자로부터 보류되지 않지만, 광고 선택 프로세스를 거쳐 계속되도록 허용된다(525).

광고가 실험 그룹 사용자를 위해 선택될 때, 그것이 캠페인 ABC 광고라면, 광고 선택부(310)는 광고 노출 로그(325)에 광고 노출을 로그하고(530), 광고 컨텐츠를 사용자에게 제시하기 위해 광고 요청부(230)로 송신한다(535). 로깅과 전송은 동시에 일어날 수 있거나 또는 로깅은 전송 전 또는 후에 발생할 수 있다.

도 6은 광고 캠페인과 연관된 성과 메트릭을 계산하기 위한 프로세스의 흐름도이다. 성과 연구에서 주어진 광고 캠페인에 대해 성과 계산기(330)는 광고 캠페인과 연관된 전환 데이터를 광고주로부터 수신한다(605). 전환 데이터는 전환, 즉 광고주에 의해 명시된 소정의 행위를 수행한 사용자들의 사용자 ID들 또는 다른 식별 정보를 포함할 수 있다. 전환 데이터는 또한, 전환한 각 사용자에 대해 전환에 관한 구체적인 세부사항을 포함할 수 있다. 예컨대, 알림은 사용자가 광고주의 웹사이트에서 쇼핑에 소비한 금전 액수를 포함할 수 있다. 성과 계산기(330)는 전환 스토어(335)에 전환 데이터를 저장한다.

성과 계산기(330)는 또한, 광고 노출 로그(335)에 저장되고 광고 캠페인과 연관된 노출 로그를 검색한다. 전술한 바와 같이 광고 노출 로그(335)는 광고 캠페인과 연관된 성과 연구의 참여자들의 리스트를 관리하고, 또한, 주어진 참여자가 연구의 대조 그룹 또는 실험 그룹에 있었는지 여부, 및 실험 그룹 멤버가 광고에 노출되었는지 여부를 나타낸다. 광고주로부터의 전환 데이터 및 로그(355) 내의 사용자들의 사용자 ID들은 어떤 사용자들이 전환했는지 (및 그들이 광고에 노출되었는지 여부와 함께 그들이 어떤 그룹에 있었는지)를 구체적으로 결정하기 위해 매칭될 수 있다.

전환 데이터 및 노출 로그에 기반하여, 성과 계산기(330)는 대조 그룹의 연구 참여자의 전환율을 결정한다(615). 이 컨트롤 전환율은 대조 그룹 내의 참여자들의 전체 수에 상대적인 전환한 대조 그룹 내의 참여자들의 수를 나타낸다. 성과 계산기(330)는 또한, 실험 그룹내의 연구 참여자의 전환율을 결정하지만(620), 노출된 타겟 그룹에 구체적으로 초점을 맞출 수 있다. 이러한 테스트 전환율은 실험 그룹에서 참여자들의 전체 수에 상대적인 전환한 실험 그룹 내의 참여자들의 수를 나타낸다.

성과 계산기(330)는 광고 캠페인에 대한 컨트롤 및 실험 그룹 사이의 차이에 기반하여 광고 캠페인에 대한 성과 메트릭을 계산한다(625). 성과 메트릭은 주어진 광고 캠페인이 전환에 미친 영향을 나타낸다. 구체적으로, 성과 메트릭은 광고 캠페인과 관련된 광고가 실험 그룹(광고가 제시를 위해 선택되었던 사용자들)으로 하여금 대조 그룹(광고가 제시를 위해 선택되지 않은 사용자들)에 비하여 더 높은 비율로 전환하도록 야기했는지 여부를 나타낸다. 성과 계산기(330)는 성과 메트릭 스토어(340)에 생성된 메트릭을 저장하고, 일부의 경우 캠페인과 연관된 광고주에게 성과 메트릭과 관련된 하나 이상의 리포트를 제공한다.

결론

본 발명의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로, 배타적이거나 개시된 정확한 형태들로 본 발명을 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.

본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 발명의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.

본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

본 발명에 기술된 실시예들은 또한 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.

또한, 본 발명의 실시예들은 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생산된 제품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 발명의 범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 본 출원이 기초로 하는 제출되는 청구범위에 의해 정의되는 것으로 의도되었다. 따라서, 본 발명의 실시예들의 개시는 설명을 위한 것이며, 본 발명의 범위를 제한하고자 하는 것이 아니다. 본 발명의 범위는 이하의 청구범위에 개시된다.

Claims

사용자들의 타겟 모집단과 연관된 광고를 성과 연구(lift study)에 포함시키는 표시를 수신하는 단계;
노출 기회가 사용자들에 대해 이용가능해짐에 따라 타겟 모집단의 사용자들을 위한 광고를 선택하는 광고 선택 프로세스를 수행하는 단계;
광고 선택 프로세스가 수행되는 사용자들 각각에 대해:
성과 연구에서의 광고가 사용자를 위한 후보 광고라고 결정하는 단계;
사용자를 성과 연구에 대한 실험 그룹 또는 대조 그룹에 포함할지를 계산하는 단계;
사용자가 대조 그룹에 있다고 나타내는 계산에 기반하여, 사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하여 다른 광고가 사용자를 위해 선택되도록 하는 단계; 및
사용자가 실험 그룹에 있다고 나타내는 계산에 기반하여, 광고가 광고 선택 프로세스를 계속 통과하도록 허용하여 사용자가 성과 연구에서의 광고 또는 다른 광고를 수신하도록 하는 단계; 및
실험 그룹의 사용자들과 대조 그룹의 사용자들 사이의 전환율의 차이에 기반하여 광고에 대한 성과를 계산하는 단계를 포함하는 방법.
제 1 항에 있어서,
광고를 수신한 실험 그룹의 사용자들을 실험 그룹의 서브세트인 노출된 타겟 그룹으로 로그하는 단계를 더 포함하고,
성과를 계산하는 단계는:
실험 및 대조 그룹의 전환자의 수 사이의 차이인 전환자의 증분수(incremental number)를 결정하는 단계;
노출된 타겟 그룹의 전환자의 수에서 전환자의 증분수를 차감한 것인 전환자의 베이스라인 수를 결정하는 단계;
전환자의 증분수를 전환자의 베이스라인 수로 나누는 단계를 더 포함하는 방법.
제 1 항에 있어서,
사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하는 것은 최종 광고가 선택되기 전에 광고를 보류하여 광고가 광고 경매를 완료하지 않도록 하는 것을 포함하는 방법.
제 1 항에 있어서,
사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하는 것은 광고를 광고 경매에 제공하기 전에 광고를 보류하는 것을 포함하는 방법.
제 1 항에 있어서,
사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하는 것은 사용자를 위한 다른 후보 광고와 함께 광고를 순위화하기 전에 광고를 보류하는 것을 포함하는 방법.
제 1 항에 있어서,
사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하는 것은 랜덤하게 선택된 실험 그룹과 대조 그룹을 여전히 제공하면서 광고 선택 프로세스에서 가능한 늦게까지 광고를 보류하는 것을 포함하는 방법.
제 1 항에 있어서,
광고가 광고 선택 프로세스에 포함되는 사용자들에 대한 사용자 식별자를 로그하고 사용자가 실험 그룹 또는 대조 그룹에 있는 것으로 계산되는지를 로그하고, 그럼으로써 사용자들의 실험 모집단과 사용자들의 대조 모집단을 구축하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
전환한 사용자들의 리스트를 광고와 연관된 광고주로부터 수신하고 광고에 대한 성과를 계산하기 위해 실험 그룹의 사용자들 및 대조 그룹의 사용자들에 대해 리스트를 매칭시키는 단계를 더 포함하는 방법.
제 1 항에 있어서,
사용자를 성과 연구에 대한 실험 그룹 또는 대조 그룹에 포함할지를 계산하는 단계는 광고 선택 프로세스가 발생함에 따라 실시간으로 사용자들을 실험 그룹 또는 대조 그룹에 랜덤하게 할당하도록 해시 알고리즘을 적용하는 단계를 포함하는 방법.
사용자들의 타겟 모집단과 연관된 광고를 성과 연구(lift study)에 포함시키는 표시를 수신하고;
노출 기회가 사용자들에 대해 이용가능해짐에 따라 타겟 모집단의 사용자들을 위한 광고를 선택하는 광고 선택 프로세스를 수행하고;
광고 선택 프로세스가 수행되는 사용자들 각각에 대해:
성과 연구에서의 광고가 사용자를 위한 후보 광고라고 결정하고;
사용자를 성과 연구의 실험 그룹 또는 대조 그룹에 포함할지를 계산하고;
사용자가 대조 그룹에 있다고 나타내는 계산에 기반하여, 사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하여 다른 광고가 사용자를 위해 선택되도록 하고; 및
사용자가 실험 그룹에 있다고 나타내는 계산에 기반하여, 광고가 광고 선택 프로세스를 계속 통과하도록 허용하여 사용자가 성과 연구에서의 광고 또는 다른 광고를 수신하도록 하고; 및
타겟 그룹의 사용자들과 대조 그룹의 사용자들 사이의 전환율의 차이에 기반하여 광고에 대한 성과를 계산하기 위한 컴퓨터 프로그램 코드를 포함하는 비-일시적 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품.
제 10 항에 있어서,
사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하는 것은 최종 광고가 선택되기 전에 광고를 보류하여 광고가 광고 경매를 완료하지 않도록 하는 것을 포함하는 컴퓨터 프로그램 제품.
제 10 항에 있어서,
광고가 광고 선택 프로세스에 포함되는 사용자들에 대한 사용자 식별자를 로그하고 사용자가 실험 그룹 또는 대조 그룹에 있는 것으로 계산되는지를 로그하고, 그럼으로써 사용자의 실험 모집단과 사용자들의 대조 모집단을 구축하는 것을 더 포함하는 컴퓨터 프로그램 제품.
제 10 항에 있어서,
광고를 수신한 실험 그룹의 사용자들을 실험 그룹의 서브세트인 노출된 타겟 그룹으로 로그하는 것을 더 포함하는 컴퓨터 프로그램 제품.
제 13 항에 있어서,
성과를 계산하는 것은:
실험 그룹의 사용자들의 전체수 중 전환한 실험 그룹의 사용자들의 수로 실험 그룹의 전환율을 계산하고;
대조 그룹의 사용자들의 전체수 중 전환한 대조 그룹의 사용자들의 수로 대조 그룹의 전환율을 계산하고;
실험 그룹의 전환율과 대조 그룹의 전환율 사이의 차이로 증분 성과를 계산하고;
노출된 타겟 그룹의 전환율과 증분 성과 사이의 차이로 베이스라인 전환율을 계산하고; 및
증분 성과를 베이스라인 전환율로 나눈 것으로 성과를 계산하는 것을 더 포함하는 컴퓨터 프로그램 제품.
제 10 항에 있어서,
광고를 성과 연구(lift study)에 포함시키는 표시를 수신하는 것은 광고주로부터 광고, 광고에 대한 타겟팅 기준, 대조 그룹 대 실험 그룹 내에 있어야 하는 타겟 모집단의 퍼센티지, 및 전환에 관한 광고의 목적을 수신하는 것을 포함하는 컴퓨터 프로그램 제품.
프로세서;
사용자들의 타겟 모집단과 연관된 광고를 성과 연구(lift study)에 포함시키는 표시를 수신하는 단계;
노출 기회가 사용자들에 대해 이용가능해짐에 따라 타겟 모집단의 사용자들을 위한 광고를 선택하는 광고 선택 프로세스를 수행하는 단계;
광고 선택 프로세스가 수행되는 사용자들 각각에 대해:
성과 연구에서의 광고가 사용자를 위한 후보 광고라고 결정하는 단계;
사용자를 성과 연구에 대한 실험 그룹 또는 대조 그룹에 포함할지를 계산하는 단계;
사용자가 대조 그룹에 있다고 나타내는 계산에 기반하여, 사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하여 다른 광고가 사용자를 위해 선택되도록 하는 단계; 및
사용자가 실험 그룹에 있다고 나타내는 계산에 기반하여, 광고가 광고 선택 프로세스를 계속 통과하도록 허용하여 사용자가 성과 연구에서의 광고 또는 다른 광고를 수신하도록 하는 단계; 및
타겟 그룹의 사용자들과 대조 그룹의 사용자들 사이의 전환율의 차이에 기반하여 광고에 대한 성과를 계산하는 단계를 수행하도록 프로세서에 의해 실행가능한 소프트웨어 모듈을 저장하는 비-일시적 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 시스템.
제 16 항에 있어서,
사용자를 위한 광고 선택 프로세스가 완료되는 것으로부터 광고를 보류하는 것은 최종 광고가 선택되기 전에 광고를 보류하여 광고가 광고 경매를 완료하지 않도록 하는 것을 포함하는 컴퓨터 시스템.
제 16 항에 있어서,
광고가 광고 선택 프로세스에 포함되는 사용자들에 대한 사용자 식별자를 로그하고 사용자가 실험 그룹에 있는 것으로 또는 대조 그룹에 있는 것으로 계산되는지를 로그하고, 그럼으로써 사용자들의 실험 모집단과 사용자들의 대조 모집단을 구축하는 단계를 더 포함하는 컴퓨터 시스템.
제 16 항에 있어서,
전환한 사용자들의 리스트를 광고와 연관된 광고주로부터 수신하고 광고에 대한 성과를 계산하기 위해 실험 그룹의 사용자들 및 대조 그룹의 사용자들에 대해 리스트를 매칭시키는 단계를 더 포함하는 컴퓨터 시스템.
제 16 항에 있어서,
사용자가 대조 그룹 또는 실험 그룹에 할당될지를 예측하는 것이 가능한지 여부를 결정하기 위해 성과 연구에 대한 오프라인 연구를 실시하는 단계를 더 포함하고, 부정의 결과는 사용자들이 실험 그룹과 대조 그룹에 실질적으로 랜덤하게 할당되고 있음을 나타내는 컴퓨터 시스템.