KR20160028477A - 온라인 컨텐츠 경매에서 입찰자에게 콜-아웃을 전송할지 결정하기 - Google Patents
온라인 컨텐츠 경매에서 입찰자에게 콜-아웃을 전송할지 결정하기 Download PDFInfo
- Publication number
- KR20160028477A KR20160028477A KR1020167003257A KR20167003257A KR20160028477A KR 20160028477 A KR20160028477 A KR 20160028477A KR 1020167003257 A KR1020167003257 A KR 1020167003257A KR 20167003257 A KR20167003257 A KR 20167003257A KR 20160028477 A KR20160028477 A KR 20160028477A
- Authority
- KR
- South Korea
- Prior art keywords
- outs
- bidder
- call
- content
- configurations
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0273—Determination of fees for advertising
- G06Q30/0275—Auctions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0255—Targeted advertisements based on user history
- G06Q30/0256—User search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/08—Auctions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Abstract
예시적 프로세스는 온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 콜-아웃들(call-outs)에 관한 정보를 획득하는 단계, 상기 정보는 기간(time period) 동안 지속되며(spanning), 상기 정보는 상기 기간 내에 어떤 콜-아웃들이 응답을 받지 못했는지 식별하며; 상기 정보에 기초하여, 상기 적어도 한 명의 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는 단계; 상기 적어도 한 명의 입찰자가 상기 하나 이상의 구성들에 연관된 콜-아웃에 응답할 것인지 예측하는 상기 적어도 한 명의 입찰자에 대한 모델을 생성하는 단계; 상기 적어도 한 명의 입찰자에게 전송하기 위한 상기 하나 이상의 구성들을 가지는 추가적인 콜-아웃들의 퍼센티지(percentage)를 결정하기 위해 상기 모델을 사용하는 단계; 그리고 상기 추가적인 콜-아웃들의 퍼센티지를 상기 적어도 한 명의 입찰자에게 전송하는 단계를 포함한다.
Description
이 발명은 온라인 컨텐츠 경매에서 입찰자에게 콜-아웃을 전송할지 결정하는 것에 일반적으로 관련된다.
인터넷은 넓고 다양한 리소스들에의 엑세스를 제공한다. 예를 들면, 비디오, 오디오 및 웹 페이지들은 인터넷을 통해 엑세스할 수 있다. 이들 리소스들은 상기 리소스들과 함께 제공될 다른 컨텐츠(예를 들면, 오디오, 비디오 또는 이와 유사한 것과 같은 광고 또는 비-광고 컨텐츠)에 대한 기회들을 제시한다. 예를 들면, 웹 페이지는 컨텐츠가 제시될 수 있는 슬롯들을 포함한다. 유사하게, 상기 슬롯들은 텔레비전 프로그램의 일부일 수 있다.
슬롯들은 컨텐츠 제공자들(예를 들면, 광고주들)에게 할당된다. 일부 시스템들에서, 네트워크가 예를 들면, 제시될 컨텐츠와 컨텍스트(context)에 관련된 다양한 팩터들에 기초하여 컨텐츠를 슬롯들에 할당하는데 사용된다. 예를 들면, 컨텐츠는 검색 엔진과 같은 시스템으로의 키워드들 입력 또는 컨텍스트적으로 도출된 키워드들에 부분적으로 기초하여 할당된다. 온라인 컨텐츠 경매는 슬롯에 광고를 제시할 권리에 대해 수행된다. 경매에서, 컨텐츠 스폰서들은 컨텐츠 스폰서들이 그들의 컨텐츠의 제시를 위해 지불할 의향이 있는 금액들을 특정하는 입찰들을 제공한다. 일반적으로, 한 명 이상의 낙찰자들에게 컨텐츠를 제시할 권리가 주어진다.
온라인 컨텐츠 경매의 브로커들인 엔티티(entity)는 콜-아웃들을 알려진 입찰자들에게 제공한다. 콜-아웃은 만약 입찰자가 경매에서 이긴 경우 어떻게 컨텐츠를 제시할 지에 관한 정보에 따라 경매를 위한 슬롯을 식별한다. 콜-아웃에 응답하여, 입찰자는 컨텐츠(예를 들면, 광고) 및 슬롯에 대한 입찰로 응답한다. 대안적으로, 입찰자는 콜-아웃에 응답하지 않을 것을 선택할 수 있다.
온라인 컨텐츠 경매에서 입찰자에게 콜-아웃을 전송할지 결정하기 위한 예시적 프로세스는: 온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 콜-아웃들(call-outs)에 관한 정보를 획득하는 단계, 상기 정보는 일정 기간 동안(time period) 지속되며(spanning), 상기 정보는 상기 기간 내에 어떤 콜-아웃들이 응답을 받지 못했는지 식별하며; 상기 정보에 기초하여, 상기 적어도 한 명의 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하기 위해 상기 하나 이상의 프로세싱 디바이스들을 사용하는 단계; 상기 적어도 한 명의 입찰자가 상기 하나 이상의 구성들에 연관된 콜-아웃에 응답할 것인지 예측하는 상기 적어도 한 명의 입찰자에 대한 모델을 생성하는 단계와 적어도 한 개의 서버의 메모리에 저장하는 단계; 상기 적어도 한 명의 입찰자에게 전송하기 위한 상기 하나 이상의 구성들을 가지는 추가적인 콜-아웃들의 퍼센티지(percentage)를 결정하기 위해 상기 모델을 사용하는 단계; 그리고 상기 추가적인 콜-아웃들의 퍼센티지를 상기 적어도 한 명의 입찰자에게 전송하는 단계를 포함한다. 예시적 프로세스는 단독으로 또는 다른 구성들과 조합으로 다음 구성들 중 하나 이상을 포함한다.
예시적 프로세스는 상기 추가적인 콜-아웃들에 관한 정보를 획득하는 단계, 상기 정보는 어떤 추가적인 콜-아웃들이 적어도 한 개의 응답을 받았는지 식별하며; 상기 추가적인 콜-아웃들에 관한 정보에 기초하여, 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하기 위해 상기 하나 이상의 프로세싱 디바이스들을 사용하는 단계; 그리고 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 고려하기 위해 상기 모델을 수정하는 단계를 포함한다. 상기 모델을 수정하는 단계는 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 상기 모델로부터 제거하는 단계를 포함한다.
상기 모델은 지리적 지역에 걸쳐서 다수의 서버들에 상주한다. 상기 적어도 한 개의 서버는 상기 지리적 지역 내의 상기 적어도 한 명의 입찰자의 특정 지리적 근처(specified geographic proximity) 내에 있다. 상기 예시적 프로세스는 적어도 한 개의 서버에 저장된 상기 모델을 수정하는 단계와, 상기 수정하는 단계에 후속하는 상기 기간의 경과 후에, 상기 다수의 서버들 중 나머지 서버들에 저장된 모델들을 수정하는 단계를 포함한다.
상기 임계수의 응답들은 적어도 한 개의 응답이며, 상기 추가적인 콜-아웃들의 퍼센티지는 0이 아니다. 상기 적어도 한 명의 입찰자는 단일의 입찰자이다. 상기 적어도 한 명의 입찰자는 공통된 하나 이상 속성들을 가지는 다수의 입찰자들을 포함한다.
상기 하나 이상의 구성들은: 컨텐츠가 제시될 국가, 컨텐츠가 제시될 지리적 지역, 컨텐츠가 제시될 슬롯의 사이즈, 컨텐츠가 제시될 페이지, 컨텐츠가 제시될 상기 페이지의 언어, 컨텐츠가 제시될 디바이스의 타입, 컨텐츠가 제시될 슬롯의 미디어 타입, 상기 컨텐츠를 제시하는 게시자에 관한 정보, 상기 컨텐츠가 제시될 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되는 네트워크 캐리어(network carrier) 중 하나 이상을 포함한다.
상기 하나 이상의 구성들을 식별하는 단계는 어떤 상기 하나 이상의 구성들의 조합들이 상기 적어도 한 명의 입찰자로부터 임계수의 응답들을 받지 못한 콜-아웃들에 대응하는지 식별하기 위해 상기 하나 이상의 구성들의 서로 다른 조합들에 대한 상기 정보를 시험하는 단계를 포함한다.
본 발명의 내용 부분을 포함하여, 본 명세서에 기술된 둘 이상의 구성들은 본 명세서에서 구체적으로 기술되지 않은 구현예들을 형성하기 위해 조합될 수 있다.
본 명세서에 기술된 시스템들 및 기법들 또는 그것의 부분들은 명령들을 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 명령들은 하나 이상의 비-일시적인 기계-판독가능 저장 매체에 저장되고, 명령들은 하나 이상의 프로세싱 디바이스들에서 실행할 수 있다. 본 명세서에 기술된 시스템들 및 기법들 또는 그것의 부분들은 장치, 방법 또는 하나 이상의 프로세싱 디바이스들 및 언급된 동작들을 구현하기 위해 실행가능한 명령들을 저장하기 위한 메모리를 포함하는 전자적 시스템으로서 구현될 수 있다.
하나 이상의 구현예들의 세부사항들이 첨부 도면들 및 설명과 함께 후술된다. 다른 구성들 및 이점들은 설명 및 도면들로부터 그리고 청구항들로부터 분명해질 것이다.
도 1은 본 명세서에 기술된 예시적 프로세스들이 구현될 수 있는 예시적 네트워크 환경의 블록 다이어그램이다.
도 2는 온라인 컨텐츠 경매에서 콜-아웃을 입찰자에게 전송할 지 결정하기 위한 프로세스의 예시이다.
도 3은 본 명세서에 기술된 프로세스들이 구현될 수 있는 컴퓨터 시스템의 예시이다.
다양한 도면들에서 동일한 참조 기호들은 동일한 구성요소들을 표시한다.
광고와 같은 컨텐츠는 다양한 팩터들 예를 들면, 인구통계학(demographics), 키워들, 언어 및 관심들에 기초하여 네트워크 사용자들에게 제공된다. 예를 들면, 광고는 광고에 따라 메타데이터로서 저장된 하나 이상의 키워드들에 연관된다. 네트워크에서 동작하는 검색 엔진은 사용자로부터 입력을 수신한다. 입력은 키워드들 중 하나 이상을 포함한다. 광고들을 서비스하는 컨텐츠 관리 시스템은 검색 엔진으로부터 키워드들을 수신하고, 키워드들 중 하나 이상과 연관되는 광고를 식별하고 사용자에게 초기의 검색 요청에 충족하는 컨텐츠와 함께 광고를 출력한다. 컨텐츠와 광고는 컴퓨팅 디바이스에 디스플레이된다. 디스플레이될 때, 광고는 결과 페이지 상의 적절한 슬롯에 통합된다. 사용자는 광고를 클릭함으로써 광고를 선택한다. 선택에 응답하여, 일반적으로 광고와 연관된 하이퍼링크가 사용자를 다른 웹 페이지로 안내(direct)한다. 예를 들면, 만약 광고가 ABC 여행사에 대한 것이면, 사용자가 안내 받는 웹 페이지는 ABC 여행사의 홈페이지이다. 이 활동은 클릭-쓰루(click-through)로 알려져 있다. 이 맥락에서, “클릭”은 마우스 클릭에 국한되지 않고, 오히려 터치, 프로그램적 선택 또는 임의의 기타 인터렉션을 포함하며, 그에 의하여 광고가 선택된다.
컨텐츠 경매는 어떤 컨텐츠가 입력에 응답하여 출력될 지 결정하기 위해 실행된다. 경매에서, 컨텐츠 제공자들은 특정 슬롯들 또는 키워드들과 같은 이들 슬롯들과 연관된 정보에 입찰한다. 컨텐츠 제공자는 컨텐츠 경매에서 예를 들면, CPC(클릭당 과금, cost-per-click)를 기반 또는 CPM(1000회 노출당 과금, cost per thousand impressions)을 기반으로 입찰한다. 컨텐츠 제공자의 입찰은 제공자가 그들의 컨텐츠에 사용자들의 클릭하기에 대해 또는 그들의 컨텐츠를 사용자들에게 디스플레이하기 위해 지불할 금액(예를 들면, 최대 금액)이다. 그래서, 예를 들면, 경매의 타입에 따라, 만약 컨텐츠 제공자가 클릭당 5 센트를 입찰하면, 컨텐츠 제공자는 그들의 컨텐츠가 사용자에 의해 클릭될 때 마다 5 센트를 지불한다. 다른 예시에서, 입찰자는 그것의 컨텐츠가 디스플레이되는 1000회 노출들 마다 지불한다. 다른 예시들에서, 지불은 다른 액션들에 기초한다(예를 들면, 랜딩 페이지(landing page)에서 보낸 시간의 양, 구매, 등).
컨텐츠 경매에서 입찰하기는 일반적으로 다른 컨텐츠 제공자들에 대해 행해진다. 컨텐츠 경매는 (예를 들면, 컨텐츠 관리 시스템에 의해) 검색 결과들 또는 임의의 기타 요청된 컨텐츠와 함께 어떤 컨텐츠를 서비스할 지 결정하기 위해 실행된다. 일반적으로, 컨텐츠 경매의 한 명 이상의 낙찰자들 및 그들의 상대적 순위는 입찰 가격 또는 다른 팩터들에 기초하여 결정된다. 이 맥락에서, 페이지는 웹 페이지와 같이 임의의 디스플레이 영역, 연속적으로 스크롤할 수 있는 화면, 등을 포함한다. 일부 예시에서, 경매의 최고 순위 낙찰자들에게는 페이지에서 가장 선호되는 슬롯(들)이 부여될 것이고, 다른 입찰자들에게는 보다 덜 선호되는 슬롯들이 부여될 것이다.
온라인 컨텐츠 경매의 일부 구현예들에서, 경매 브로커(예를 들면, 연관된 하드웨어 및/또는 컴퓨터 프로그램들을 포함하는 컨텐츠 관리 시스템)는 콜-아웃들을 알려진 입찰자들에게 제공한다. 이 예시에서, 입찰자는 실제 컨텐츠 제공자 또는 많은 컨텐츠 제공자들 편에서 행동하는 대리인이다. 콜-아웃들은 과거 입찰 활동에 관한 정보에 기초하여, 슬롯에의 입찰에 또는 경매에서 다른 구성에 관심 있는 입찰자들로서 식별된 입찰자들에게 전송된다. 예를 들면, 콜-아웃은 만약 입찰자가 경매에서 이긴 경우 어떻게 컨텐츠가 제시될 지에 관한 정보에 따라 경매를 위한 슬롯을 식별한다. 또한 콜-아웃은 예를 들면, 컨텐츠가 제시될 웹페이지의 식별(identity), 웹페이지의 주제, 슬롯에 대한 최소 CPM 또는 CPC, 컨텐츠가 제시될 웹페이지의 게시자의 식별 등을 포함하나, 그에 제한되지 않는, 슬롯에서 컨텐츠의 배포에 관한 다른 정보를 구체화한다. 일부 구현예들에서, 콜-아웃들은 키워드들 또는 경매의 다른 구성들에의 입찰을 위한 것이다.
콜-아웃을 수신한 입찰자는 컨텐츠(예를 들면, 광고)와 함께 응답하고 슬롯에 대해 입찰한다. 대안적으로, 입찰자는 콜-아웃에 응답하지 않을 것을 선택한다. 경매 브로커는 기간(예를 들면, 일, 주, 월, 년 또는 임의의 적절한 기간)동안 입찰자에게 전송된 콜-아웃들, 그 콜-아웃들에 연관된 정보 및 콜-아웃들이 응답을 받았는지 또는 받지 못했는지의 기록을 유지한다. 예시적 구현예에서, 콜-아웃이 응답을 받지 못한 경우, 경매 브로커는 상기 정보에 기초하여, 아무런 응답도 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별한다. 다른 예시적 구현예에서, 경매 브로커는 상기 정보에 기초하여, 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별한다.
하나 이상의 구성들의 예시들은 콜-아웃에 대한 컨텐츠가 제시되었던 국가, 컨텐츠가 제시되었던 지리적 지역, 컨텐츠가 제시되었던 슬롯의 사이즈, 컨텐츠가 제시되었던 리소스(예를 들면, 웹페이지), 컨텐츠가 제시되었던 리소스 또는 페이지의 언어, 컨텐츠가 제시되었던 디바이스의 타입, 컨텐츠가 제시되었던 슬롯의 미디어 타입, 컨텐츠를 제시했던 게시자(리소스 또는 웹페이지 소유자)에 관한 정보, 상기 리소스 또는 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되었던 네트워크 캐리어(network carrier) 등 중 하나 이상을 포함하나, 그에 제한되지 않는다.
경매 브로커는 입찰자가 장래의 콜-아웃에 응답할 것인지 예측하기 위한 모델을 생성하기 위해 상기 정보 중 적어도 일부를 사용한다. 예를 들면, 기계-학습 프로세스는 어떤 하나 이상의 구성들의 조합(들)이 이전에 콜-아웃에 대한 응답을 받았는지 식별함으로써 모델을 생성하는데 사용된다. 그 후 모델은 장래의 콜-아웃이 응답을 받을 것인지 예측하는데 사용된다. 예시적 구현예에서, 경매 브로커는 장래의 콜-아웃 및/또는 장래의 콜-아웃에 대한 컨텐츠 배포와 연관된 엘리먼트들(하드웨어 및/또는 소프트웨어)이 위에서 말한 구성들 중 하나 이상과 연관되는지 결정한다. 만약 연관된다면, 장래의 콜-아웃은 후술될 바와 같이, 입찰자에게 전송되거나 전송되지 않는다.
더 구체적으로, 일부 구현예들에서, 경매 브로커는 입찰자들에게 콜-아웃들의 퍼센티지를 전송한다. 퍼센티지는 모델에서 특정 입찰자에 대해 설정된다. 일부 구현예들에서, 퍼센티지는 입찰자의 전반적 활동, 응답을 수신하지 못한 콜-아웃들의 수, 입찰자가 제공하는 가격들 등 입찰자들 또는 콜-아웃들에 관한 다른 팩터들에 기초한다. 모델에 의해 응답을 생성하지 않을 것으로 예측된 콜-아웃들의 퍼센티지는 만약 입찰자가 그들의 입찰 전략을 변경했는지 측정하기 위해 전송된다. 예를 들면, 만약 입찰자로부터 응답을 생성하지 않을 것으로 예측된 콜-아웃들의 퍼센티지가 실제로는 응답을 생성하였다면, 이전에 생성된 모델은 이 정보를 고려하기 위해 수정된다. 예를 들면, 그 콜-아웃에 연관된 구성(들)은 모델로부터 제거되며, 따라서 모델은 더 이상 그러한 구성들을 입찰자로부터 응답을 얻어내지 못할 콜-아웃 구성들로 식별하지 않는다.
일부 구현예들에서, 모델은 하나 이상의 서버들에 저장되며, 서버들은 입찰자들과 동일한 지리적 지역에 위치한다. 입찰자 및 하나 이상의 서버들의 위치는 예를 들면, 그들의 인터넷 서브넷 주소들에 의해 또는 다른 메커니즘들에 의해 식별된다. 일부 구현예들에서, 로컬 서버(들) 내의 모델들만 초기적으로 수정된다. 로컬 지리적 지역 밖에서 유지되는 모델들은 일정 기간 동안 새로운 데이터가 입찰자에 관하여 획득될 때까지 업데이트되지 않는다(예를 들면, 다음 날까지 업데이트되지 않는다). 이 구성은 비-로컬 서버들 사이에 모델을 동기화할 필요를 감소시키기 때문에 이점이 있으며, 따라서 로컬 서버들로부터 더 신속한 피드백을 제공하게 한다.
본 명세서에 기술된 예시적 프로세스는 임의의 적절한 디바이스들 및 컴퓨팅 장비와 함께 임의의 적절한 네트워크 환경에서 구현된다. 상기 환경의 예시는 후술된다.
도 1은 본 명세서에 기술된 바와 같이 사용자 디바이스의 사용자에게 컨텐츠를 제공하기 위한 그리고 콜-아웃들을 통제(regulating)하기 위한 예시적 환경(100)의 블록 다이어그램이다. 예시적 환경(100)은 네트워크(102)를 포함한다.
네트워크(102)는 사용자 디바이스(106a)와 같은 디바이스들이 통신 인터페이스(도시되지 않음)를 통해 네트워크에서 엔터티들과 통신하게 하는 통신 네트워크를 나타내며, 디지털 신호 프로세싱 회로를 포함할 수 있다. 네트워크(102)는 하나 이상의 네트워크들을 포함한다. 네트워크(들)은 다른 것들 중에서도 특히, GSM(Global System for Mobile communication) 음성 전화들, SMS(Short Message Service), EMS(Enhanced Messaging Service), MMS(Multimedia Messaging Service) 메시지, CDMA(code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), CDMA2000, GPRS(General Packet Radio System) 또는 하나 이상의 텔레비젼 또는 케이블 네트워크들과 같은, 다양한 모드들 또는 프로토콜들 하에서 통신을 제공한다. 예를 들면, 통신은 라디오 주파수 트랜스시버를 통해 발생할 수 있다. 추가로, 단거리 통신은 블루투스, WiFi 또는 다른 트랜스시버를 통해 발생할 수 있다.
네트워크(102)는 웹사이트들(104), 사용자 디바이스들(106), 컨텐츠 제공자들(예를 들면, 광고주들(108)), 온라인 게시자들(109) 및 컨텐츠 관리 시스템(110)과 같은 다양한 엔터티들을 연결한다. 이 점에서, 예시적 환경(100)은 많은 수천개의 웹사이트들(104), 사용자 디바이스들(106) 및 컨텐츠 제공자들(예를 들면, 광고주들(108))를 포함한다. 네트워크(102)에 연결된 엔터티들은 하나 이상의 서버들을 포함하고 및/또는 하나 이상의 서버들을 통해 연결된다. 각 상기 서버는 웹 서버, 어플리케이션 서버, 프록시 서버, 네트워크 서버 또는 서버 팜(server farm)과 같은 하나 이상의 다양한 형태들의 서버들이다. 각 서버는 하나 이상의 프로세싱 디바이스들, 메모리 및 저장 시스템을 포함한다.
도 1에서, 웹 사이트들(104)은 도메인 네임과 연관된 그리고 하나 이상의 서버들에 의해 호스팅되는 하나 이상의 리소스들(105)을 포함한다. 예시적 웹 사이트(104a)는 텍스트, 이미지들, 멀티미디어 컨텐츠 및 스크립트들과 같은 프로그래밍 엘리먼트들을 포함할 수 있는 HTML(Hypertext Markup Language) 포맷의 웹 페이지들의 모음이다. 각 웹 사이트(104)는 게시자(109)에 의해 유지되며, 게시자(109)는 웹 사이트(104)를 제어하고 관리하고 및/또는 소유하는 엔터티이다.
리소스(105)는 네트워크(102)를 통해 제공되는 임의의 적절한 데이터이다. 리소스(105)는 리소스(105)와 연관된 리소스 주소에 의해 식별된다. 리소스들(105)는 몇 가지만 들자면, HTML페이지들, 워드 프로세싱 문서들, PDF(Portable Document Format) 문서들, 이미지들, 비디오 및 뉴스 피드 리소스들을 포함한다. 리소스들(105)는 단어들, 구절들, 이미지들 및 소리들과 같은 컨텐츠를 포함하며, 컨텐츠는 내장된 정보(메타-정보 하이퍼링크들과 같이) 및/또는 내장된 명령들(JavaScript 스크립트와 같이)이다.
리소스들(105)의 검색을 용이하게 하기 위해, 환경(100)은 검색 시스템(112)을 포함하며, 검색 시스템(112)은 웹 사이트(104)에서 컨텐츠 게시자들에 의해 제공된 리소스(105)를 크롤링(crawling) 및 색인(indexing)함으로써 리소스들(105)을 식별한다. 리소스들(105)에 관한 데이터는 데이터에 대응하는 리소스(105)에 기초하여 색인된다. 리소스들(105)의 색인된 그리고, 선택적으로, 캐쉬된(cached) 사본들은 색인된 캐쉬(indexed cache)(114)에 저장된다.
예시적 사용자 디바이스(106a)는 사용자의 제어 하에 있으며, 네트워크(102)를 통해 리소스들을 요청하고 수신할 수 있는 전자적 디바이스이다. 사용자 디바이스는 하나 이상의 프로세싱 디바이스들을 포함하며, 모바일 전자기(예를 들면, 스마트폰), 랩톱 컴퓨터, 핸드헬드 컴퓨터, 인터렉티브 또는 “스마트”라 불리는 텔레비전 또는 셋톱 박스, 타블렛 컴퓨터, 네트워크 장치, 카메라, EGPRS(enhanced general packet radio service) 모바일 폰, 미디어 플레이어, 네비게이션 디바이스, 이메일 디바이스, 게임 콘솔 또는 이들 데이터 프로세싱 디바이스들의 임의의 둘 이상의 조합 또는 다른 데이터 프로세싱 디바이스들이거나, 이들을 포함한다. 일부 구현예들에서, 사용자 디바이스는 차량의 일부로서 포함된다(예를 들면, 자동차, 응급 차량(예를 들면, 소방차, 앰뷸런스), 버스).
사용자 디바이스(106a)는 네트워크(102)를 통해 데이터의 전송 및 수신을 용이하게 하기 위해 웹 브라우저와 같은 하나 이상의 사용자 어플리케이션들을 일반적으로 저장한다. 사용자 디바이스(106a)는 스마트폰 또는 타블렛 컴퓨터와 같은 모바일(또는 간단히 “모바일 디바이스”)은 사용자가 네트워크(예를 들면 웹) 검색을 수행하게 하는 어플리케이션(“앱”)(107)을 포함한다. 또한 사용자 디바이스들(106)은 GPS 시스템과 통신하기 위한 소프트웨어를 갖추고 있으며, 그에 의하여 GPS 시스템이 모바일 디바이스의 위치를 찾을 수 있게 한다.
사용자 디바이스(106a)는 웹 사이트(104a)로부터 리소스들(105)를 요청한다. 차례로, 리소스(105)를 나타내는 데이터는 사용자 디바이스(106a)에 의한 제시를 위해 사용자 디바이스(106a)에 제공된다. 또한 사용자 디바이스들(106)은 검색 쿼리들(116)을 네트워크(102)를 통해 검색 시스템(112)에 제출한다. 리소스(105)에 대한 요청 또는 사용자 디바이스(106)으로부터 전송되는 검색 쿼리(116)는 사용자 디바이스의 사용자를 식별하는, 쿠키와 같은 식별자를 포함한다.
검색 쿼리(116)에 응답하여, 검색 시스템(112)는 검색 쿼리(116)과 관련 있는 리소스들(105)를 식별하기 위해 색인된 캐쉬(114)에 엑세스한다. 검색 시스템(112)은 검색 결과들(118)의 형태로 리소스들(105)를 식별하고, 검색 결과 페이지들에서 검색 결과들(118)을 사용자 디바이스(106)에 반환한다. 검색 결과(118)는 특정 검색 쿼리(116)에 응답하는 리소스(105)를 식별하는 검색 시스템(112)에 의해 생성된 데이터를 포함하고, 리소스(105)에 대한 링크를 포함한다. 예시적 검색 결과(118)는 웹 페이지 제목, 텍스트의 스니펫 또는 웹 페이지로부터 획득한 이미지의 부분 및 웹 페이지의 URL(Unified Resource Location)을 포함한다.
컨텐츠 관리 시스템(110)은 컨텐츠에 대한 요청들에 응답하여 컨텐츠를 선택하고 제공하기 위해 사용된다. 또한 컨텐츠 관리 시스템(110)은 적절한 사용자 허락(permission)과 함께 사용자의 활동에 기초하여 데이터베이스(124)를 업데이트한다. 사용자는 상기 정보의 저장을 활성화하고 및/또는 비활성화한다. 이 점에서, 적절한 사용자 허락과 함께, 데이터베이스(124)는 예를 들면, 장소 또는 이벤트에의 방문들과 같은 과거 사용자 활동들에 관한 정보, 리소스들(105)에 대한 과거 요청들, 과거 검색 쿼리들(116), 컨텐츠에 대한 다른 요청들, 방문한 웹 사이트들 또는 컨텐츠와의 인터렉션들을 포함하는 사용자에 대한 프로필을 저장한다. 또한 사용자 관심들은 프로필에 저장되고, 일부 예시들에서, 과거 사용자 활동들에 관한 정보로부터 결정된다. 일부 구현예들에서, 데이터베이스(124)에서 정보는 예를 들면, 쿼리 로그, 광고 로그 또는 컨텐츠에 대한 요청들 중 하나 이상으로부터 도출된다. 데이터베이스(124)는 각 엔트리마다, 사용자를 식별하는 쿠키, 타임스탬프, 요청하는 사용자 디바이스(106)와 연관된 IP(Internet Protocol) 주소, 사용의 타입, 사용과 연관된 세부사항들을 포함한다.
컨텐츠 관리 시스템(110)은 쿼리 키워드들을 컨텐츠 키워드들과 비교하기 위해 그리고 쿼리 키워드들이 컨텐츠 키워드들에 얼마나 잘 매칭되는지 표시하는 키워드 매칭 점수를 생성하기 위해 키워드 매칭 엔진(140)을 포함한다. 예시에서, 키워드 매칭 점수는 컨텐츠에 연관된 단어들에 대한 입력 쿼리에서 단어들의 매칭의 수의 총합과 동일하거나 그에 비례한다. 컨텐츠 관리 시스템(110)은 입력 쿼리들에서의 단어들로부터 획득된 지리적 정보(예를 들면, 장소명들에 대한 숫자적 값들)를 컨텐츠와 연관된 지리적 정보와 비교하기 위해 지리적(또는 “지리”) 매칭 엔진(141)을 포함한다. 또한, 컨텐츠 관리 시스템(110)은 입력 인구통계를 광고 캠페인의 원하는 인구통계와 매칭하기 위한, 컨텐츠에 기초하여 웹 페이지들 또는 다른 배포 메커니즘들을 식별하기 위한 등의, 다른 엔진들(도시되지 않음)을 포함한다.
리소스(105) 또는 검색 결과들(118)이 사용자 디바이스(106)에 의해 요청된 때, 컨텐츠 관리 시스템(110)은 리소스(105) 또는 검색 결과들(118)과 함께 제공될 컨텐츠에 대한 요청을 수신한다. 컨텐츠에 대한 요청은 요청된 리스스(105) 또는 검색 결과들 페이지에 대해 정의된 하나 이상의 “슬롯들”의 특징들을 포함한다. 예를 들면, 리소스(105)를 나타내는 데이터는 컨텐츠가 제시될 수 있는 팝업창의 제시 위치 또는 서드-파티 컨텐츠 사이트 또는 웹 페이지의 슬롯과 같은, 리소스(105)의 부분 또는 사용자 디스플레이의 부분을 특정하는 데이터를 포함한다. 예시적 슬롯은 광고 슬롯이다. 또한 검색 결과들 페이지들은 다른 컨텐츠 아이템들(예를 들면, 광고들)이 제시될 수 있는 하나 이상의 슬롯들을 포함한다.
슬롯들에 관한 정보는 컨텐츠 관리 시스템(110)에 제공된다. 예를 들면, 슬롯이 정의되기 위한 리소스에 대한 참조(예를 들면, URL), 슬롯의 사이즈 및/또는 슬롯에서 제시하기 위해 사용 가능한 미디어 타입들은 컨텐츠 관리 시스템(110)에 제공된다. 유사하게, 또한 요청된 리소스 또는 검색 결과들이 요청되기 위한 검색 쿼리(116)에 연관된 키워드들이 리소스 또는 검색 쿼리(116)와 관련 있는 컨텐츠의 식별을 용이하게 하기 위해 컨텐츠 관리 시스템(110)에 제공된다.
요청으로부터 생성된 및/또는 요청에 포함된 데이터에 적어도 부분적으로 기초하여, 컨텐츠 관리 시스템(110)은 요청에 응답하여 제공되기에 적당한 컨텐츠(“적당한 컨텐츠 아이템들”)를 선택한다. 컨텐츠 관리 시스템(110)은 제2 가격 경매와 같은 경매의 결과들에 적어도 부분적으로 기초하여 리소스(105) 또는 검색 결과들 페이지(118)의 슬롯들에서 제시하기 위해 제공될 적당한 컨텐츠 아이템들을 선택한다. 예를 들면, 적당한 컨텐츠 아이템들을 위해, 컨텐츠 관리 시스템(110)은 컨텐츠 제공자들(예를 들면, 광고주들(108))로부터 입찰들을 수신하고, 수신된 입찰들에 적어도 부분적으로 기초하여(예를 들면, 경매 결과에서 최고가 입찰자들에 기초하여) 컨텐츠를 슬롯들에 할당한다. 입찰들은 컨텐츠 제공자들이 리소스(105) 또는 검색 결과들 페이지(118)와 함께 그들의 컨텐츠의 제시(또는 선택)을 위해 지불할 의향이 있는 금액들이다. 예를 들면, 입찰은 컨텐츠 제공자가 CPM 입찰로 지칭되는, 컨텐츠 아이템의 매 1000회 노출들(즉, 제시들)마다 지불할 의향이 있는 금액을 특정한다. 대안적으로, 입찰은 컨텐츠 제공자가 컨텐츠 아이템의 선택(즉, 클릭-쓰루) 또는 컨텐츠 아이템의 선택이 이어지는 대화에 대해 지불할 의향이 있는 금액을 특정한다. 이는 CPC(클릭당 과금, cost-per-click)으로 지칭된다. 선택된 컨텐츠 아이템은 입찰들에 단독으로 기초하거나 또는 컨텐츠 퍼포먼스로부터 도출된 품질 점수들(quality scores), 랜딩 페이지 점수들 및/또는 다른 팩터들과 같은 하나 이상의 팩터들에 의해 다양화되는 각 입찰자의 입찰들에 기초하여 결정된다.
일부 구현예들에서, TV(텔레비전) 방송국들(134)은 텔레비전 컨텐츠를 생산하고 TV 사용자 디바이스들(136)에 제시하며, 텔레비전 컨텐츠는 하나 이상의 채널들에 편성된다. TV 방송국들(134)은 텔레비전 컨텐츠에 따라 다른 컨텐츠(예를 들면, 광고들)이 제시될 수 있는 하나 이상의 컨텐츠 슬롯들을 포함한다. 예를 들면, TV 네트워크는 그들이 방송하는 텔레비전 프로그램들에서 광고의 슬롯들을 광고주들에게 판매한다. 컨텐츠 슬롯들의 전부 또는 일부는 각 컨텐츠 슬롯에 연관되는 컨텐츠를 시청하는 일반적 사용자들을 나타내는 시청자들에 관하여 기술된다. 컨텐츠 제공자들은 경매에서(상기 기술된 바와 같이), 특정 텔레비전 컨텐츠에 대한 키워드들에 연관된 컨텐츠 슬롯에 입찰한다.
컨텐츠 관리 시스템(110)은 예측 엔진(142)을 포함한다. 예측 엔진(142)은 온라인 컨텐츠 경매에서 입찰자들에게 콜-아웃을 전송할 지 결정하기 위한 본 명세서에 기술된 예시적 프로세스들의 전부 또는 일부를 구현한다. 출력하기 위해 선택된 컨텐츠는 컨텐츠 배포 엔진(143)에 의해 배포되며, 또한 이는 컨텐츠 관리 시스템의 부분이다.
도 2는 예시적 프로세스(200)를 도시하는 흐름도이며, 이는 적어도 부분적으로 예측 엔진(142)에 의한 수행을 포함하는 컨텐츠 관리 시스템(110)에 의해 수행된다. 프로세스(200)는 온라인 광고(“광고들”)의 맥락에서 기술되나; 그러나, 프로세스(200)는 임의의 적절한 온라인 컨텐츠 또는 다른 배포가능한 컨텐츠를 수반하는 경매를 위한 콜-아웃을 전송할 지 결정하기 위해 적용할 수 있다.
프로세스(200)에 따르면, 정보는 콜-아웃들에 관하여 온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 획득된다(201). 일부 구현예들에서, 정보는 단일의 입찰자에 대해 획득되고, 프로세스(200)가 적용된다. 다른 구현예들에서, 정보는 공통된 하나 이상의 속성들을 가지는 다수의 입찰자들에 대해 획득되고, 프로세스(200)가 적용된다. 예를 들면, 다수의 입찰자들은 유사한 제품을 판매하는, 유사한 입찰 이력들을 가지는, 유사한 인구통계를 서비스하는 등의 광고주들이다. 임의의 적절한 속성이 프로세스(200)를 위해 입찰자들을 그룹핑하는데 사용된다. 획득된 정보는 일정 기간 동안(time period) 지속되며, 기간에 대해 획득된다. 일부 구현예들에서, 상기 기간은 1일(예를 들면, 전날 만들어진 콜-아웃들에 관한 정보가 획득된다)이나; 그러나, 다른 구현예들에서, 기간은 1일보다 길거나 짧을 수 있다. 획득된 정보는 기간 내에(예를 들면, 전날) 만들어진, 어떤 콜-아웃들이 응답을 받지 못했는지 식별한다.
획득된 정보는 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는데 사용된다(202)(이 예는 프로세스가 단일의 입찰자에 대해 실행된다고 가정한다). 임계치는 미리 정의되며, 입찰자들에게 전송된 콜-아웃들의 전체 수의 특정 퍼센티지이다. 일부 구현예들에서, 임계치는 1이며, 콜-아웃들이 적어도 한 개의 응답 또는 적어도 임계수의 응답들을 받지 못한 것을 의미한다. 다른 구현예들에서, 임계치는 1보다 크다. 상기 언급된 바와 같이, 정보의 부분일 수 있는 하나 이상의 구성들의 예시는 콜-아웃에 대한 컨텐츠가 제시되었던 국가, 컨텐츠가 제시되었던 지리적 지역, 컨텐츠가 제시되었던 슬롯의 사이즈, 컨텐츠가 제시되었던 페이지), 컨텐츠가 제시되었던 페이지의 언어, 컨텐츠가 제시되었던 디바이스의 타입, 컨텐츠가 제시되었던 슬롯의 미디어 타입, 컨텐츠를 제시했던 게시자(웹페이지 소유자)에 관한 정보, 상기 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되었던 네트워크 캐리어(network carrier) 중 하나 이상을 포함하나, 그에 제한되지 않는다.
구성(들)은 개인적 구성들 및/또는 구성들의 조합들 전체를 반복하고 각 구성 또는 조합에 대해, 구성 또는 구성들의 조합에 연관된 콜-아웃에 대한 응답이 수신되었는지 결정하는 기계 학습 프로세스를 사용하여 식별된다(202). 조합들은 2개의 구성들 또는 2이상의 구성들을 포함한다. 전술한 구성들 중 2개를 사용하는 예시에서, 기계 학습 프로세스는 콜-아웃에 대한 컨텐츠가 제시되었던 국가(예를 들면, 미국), 컨텐츠가 제시되었던 지리적 지역(예를 들면, 캘리포니아)을 선택한다. 전날과 같은, 일정 기간에서 입찰자에 대한 각 콜-아웃에 대해, 기계 학습 프로세스는 구성들의 조합이 응답을 받았는지 결정한다. 만약 응답이 임계치 횟수보다 많이 수신되지 않았다면, 구성들의 조합은 입찰의 관심이 아닌 것으로 간주된다. 이 프로세스는 어떤 것이 입찰자의 관심이 아닌 지 결정하기 위해, 개인적 구성들에 대해 구성들의 임의의 적절한 조합들을 통해 반복된다.
입찰자가 구성 또는 구성들의 조합과 연관된 콜-아웃에 대해 응답할지 예측하는 모델이 입찰자에 대해 생성된다(203). 예를 들면, 모델은 입찰자가 5cm x 5cm 슬롯에 대한 콜-아웃에 응답할 것이지만, 컨텐츠가 모바일 디바이스에 제시되고 컨텐츠가 프랑스어 페이지에 제시되는 콜-아웃에 대해서는 응답하지 않을 것이라고 구체화한다.
일부 예시적 구현예들에서, 모델은 입찰자의 특정 지리적 근처(specified geographic proximity) 내에 있는 하나 이상의 서버들에서 생성된다(예를 들면, 트레이닝된다). 예를 들면, 만약 입찰자가 캘리포니아에 있으면, 미국의 서안에 있는 서버들이 이전 날의 콜-아웃 정보에 기초하여 모델을 생성하고 메모리에 모델을 저장하는데 사용된다. 그 후 그 모델은 일상적 서버 동기화 동안에 지리적 근처 밖의 서버들(예를 들면, 미국의 서안 밖의 서버들)에 전파된다. 일부 구현예들에서, 그래서, 입찰자에 대해 “로컬”인 서버들은 입찰자가 콜-아웃에 응답할 지 예측하기 위한 가장 최신의 모델을 저장한다. 다른 구현예들에서, 상기 케이스와 다르게, 생성된 모델은 컨텐츠 관리 시스템을 지원하는 모든 서버들에 즉시 전파될 수 있다.
모델은 입찰자에게 전송될 식별된 구성들 또는 구성들의 조합들과 연관된 추가적인(예를 들면, 장래의) 콜-아웃들의 퍼센티지를 결정하는데 사용된다(204). 더 구체적으로, 모델은 그 콜-아웃들과 연관된 하나 이상의 구성들 또는 조합들에 기초하여 어떤 콜-아웃들이 응답들을 받을 것인지 예측한다. 일부 구현예들에서, 모델은 모델이 응답이 없을 것이라고 예측했더라도 전송될 상기 콜-아웃들의 퍼센티지를 특정한다. 일부 구현예들에서, 그 퍼센티지는 0이고, 그 타입의 콜-아웃들이 전송되지 않은 것을 의미한다. 다른 구현예들에서, 그 퍼센티지는 0이 아니다. 상기 콜-아웃들이 전송된 경우들에서, 콜-아웃들은 입찰자들의 전략에서의 변화를 감지하기 위해 전송된다. 예를 들면, 만약 모델이 응답 받지 못할 것이라고 예측한 구성들 또는 조합들과 연관된 콜-아웃에 대해 입찰자가 응답하였다는 것을 나중에 발견한 경우, 모델은 수정된다. 이 수정은 이하에서 더 상세히 기술된다.
일부 구현예들에서, 모델에 의해 응답을 선택받지 못할 것으로 예측된 콜-아웃들의 0이 아닌 퍼센티지는 그럼에도 불구하고 입찰자에게 전송된다(205). 입찰자는 상기 콜-아웃들에 대해 상기 기술된 방식으로 반응한다. 즉, 입찰자는 컨텐츠 및 입찰과 함께 콜-아웃에 응답하거나 또는 입찰자는 콜-아웃을 무시한다. 이 예시에서, 모델은 콜-아웃이 입찰자의 관심이 아닌 것으로 식별된 하나 이상의 구성들과 연관되었기 때문에 입찰자가 콜-아웃을 무시할 것이라고 예측한다. 그러나, 일부 경우들에서, 입찰자는 콜-아웃에 응답한다. 예를 들면, 입찰자는 그들의 입찰 전략을 변경하여, 아무도 예측하지 못한 때 콜-아웃에 응답한다. 이 경우에서, 모델은 입찰 전략에서의 이 변경을 반영하기 위해 수정된다. 입찰자가 콜-아웃에 대해 응답하는 것이 선택적이라는 것은 도 2에서 동작들(205) 및 (206) 사이의 선에 의해 그래픽적으로 표시된다.
예시로서, 새로 전송된(추가적인) 콜-아웃들에 대해 프로세스(200)는 추가적인 콜-아웃들에 관한 정보를 획득한다(206). 정보는 어떤 추가적인 콜-아웃들이 적어도 한 개의 응답을 받았는지 식별한다. 이 정보를 사용하여, 적어도 한 개의 응답을 받은 추가적인 콜-아웃들에 공통된 하나 이상의 구성들이 식별된다(207). 구성 또는 구성들의 조합은 상기 기술된 것들 중에 있다. 모델은 추가적인 콜-아웃들에 공통된 구성 또는 구성들의 조합이 적어도 한 개 이상의 응답을 받았다는 것을 고려하기 위해 수정된다(208). 예를 들면, 그 구성 또는 구성들의 조합은 모델로부터 제거되거나 또는 응답을 선택받지 못하는 구성들로서 지정되지 않는다.
일부 구현예들에서, 입찰자들에 대해 지리적으로 로컬(예를 들면, 지역 내에)에 있는 서버(들)의 모델들만 초기적으로 수정된다. 로컬 지리적 지역 밖에서 유지되는 모델들은 일정 기간에 대해 새로운 데이터가 입찰자에 관해 획득될 때까지 업데이트되지 않는다(예를 들면, 다음 날까지 업데이트되지 않는다). 수정된 모델은 업데이팅을 수행하기 위해 상기 서버들에게 전파된다. 일부 구현예들에서, 동일한 모델들이 콜-아웃들을 전송하는 데 사용되는 서버들 내에 유지되며, 상기 모델들은 다양한 입찰자들에 대해 상기 서버들의 지리적 근처여부와 관계없이 즉시 업데이트된다.
일부 예시적 구현예들에서, 본 명세서에 기술된 시스템은 과거에 일정 퍼센티지의 횟수가 무시되었던 (및 항상 필수적으로 무시되지는 않는) 콜-아웃들을 전송하지 않을 것을 선택한다. 예를 들면, 만약 콜-아웃이 단지 10%의 입찰에 참여할 가능성(chance of returning a bid)을 갖는다고 예측하며, 시스템은 콜-아웃을 전송하지 않을 것을 선택한다. 이 구성은 입찰에 참여할 충분한 가능성을 가지는 콜-아웃들만 수신하는 것은 (예를 들면, 모든 콜-아웃들을 핸들링할 수 없는) 할당-제한(quota-constrained) 구매자들에게 이익이다.
도 3은 프로세스(200) 및 그것의 다양한 수정들을 포함하는, 본 명세서에 기술된 프로세스들을 수행하는데 사용되는 예시적 컴퓨터 시스템(300)의 블록 다이어그램이다. 시스템(300)은 프로세서(310), 메모리(320), 저장 디바이스(330) 및 입력/출력 디바이스(340)를 포함한다. 각각의 컴포넌트들(310, 320, 330 및 340)은 예를 들면, 시스템 버스(350)를 사용하여 상호연결된다. 프로세서(310)는 시스템(300) 내에서 실행하기 위한 명령들을 프로세싱할 수 있다. 일 구현예에서, 프로세서(310)는 싱글-쓰레드 프로세서(single-threaded processor)이다. 다른 구현예에서, 프로세서(310)는 멀티-쓰레드 프로세서(multi-threaded processor)이다. 프로세서(310)는 메모리(320) 또는 저장 디바이스(330)에 저장된 명령들을 프로세싱할 수 있다.
메모리(320)는 시스템(300) 내에서 정보를 저장한다. 일 구현예들에서, 메모리(320)는 컴퓨터 판독가능 매체이다. 일 구현예에서, 메모리(320)는 휘발성 메모리 유닛이다. 다른 구현예에서, 메모리(320)는 비휘활성 메모리 유닛이다.
저장 디바이스(330)는 시스템(300)을 위해 대형 저장소를 제공할 수 있다. 일 구현예에서, 저장 디바이스(330)는 컴퓨터 판독가능 매체이다. 다양한 서로 다른 구현예들에서, 저장 디바이스(330)는 예를 들면, 하드 디스크 디바이스, 광학 디스크 디바이스 또는 다른 대용량 저장 디바이스를 포함한다.
입력/출력 디바이스(340)는 시스템(300)을 위해 입력/출력 동작들을 제공한다. 일 구현예에서, 입력/출력 디바이스(340)는 네트워크 인터페이스 디바이스들 예를 들면, 이더넷 카드, 시리얼 통신 디바이스 예를 들면, RS-232 포트, 및/또는 무선 인터페이스 디바이스 예를 들면, 802.11 카드 중 하나 이상을 포함한다. 다른 구현예에서, 입력/출력 디바이스는 입력 데이터를 수신하고 다른 입력/출력 디바이스들 예를 들면, 키보드, 프린터 및 디스플레이 디바이스들(360)에 출력 데이터를 전송하도록 구성된 드라이버 디바이스들을 포함한다.
웹 서버, 광고 서버 및 노출 할당 모듈은 실행시 하나 이상의 프로세싱 디바이스들로 하여금 상기 기술된 프로세스들 및 기능들을 수행하게 하는 명령들에 의해 실현된다. 상기 명령들은 예를 들면, 스크립트 명령들 예를 들면 JavaScript 또는 ECMAScript 명령들과 같은 인터프리트 명령들(interpreted instructions) 또는 실행가능 코드 또는 컴퓨터 판독가능 매체에 저장된 다른 명령들을 포함한다. 웹 서버 및 광고 서버는 서버 팜과 같은 네트워크를 통해 배분적으로 구현되거나 또는 단일의 컴퓨터 디바이스에서 구현된다.
예시적 컴퓨터 시스템(300)이 이 예시의 서버(380)에서 랙(rack)으로서 도시된다. 도시된 바와 같이 서버는 다수의 랙들을 포함한다. 본 명세서에 기술된 프로세스들을 수행하기 위해 행동을 같이하는 다양한 서버들은 도면에 도시된 바와 같이, 서로 다른 지리적 위치들에 있다. 본 명세서에 기술된 프로세스들은 상기 서버 또는 다수의 상기 서버들에서 구현된다. 도시된 바와 같이, 서버들은 단일의 위치에서 제공되거나 또는 지구 도처에 걸쳐서 다양한 장소들에 위치된다. 서버들은 프로세스들을 구현하기 위한 능력들을 제공하기 위해 그들의 동작을 조정한다.
비록 예시적 프로세싱 시스템에 도 3에 기술되었지만, 이 명세서에 기술된 본 발명의 구현예들 및 기능적 동작들은 이 명세서에 기술된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는, 다른 타입들의 디지털 전자 회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 이 명세서에 기술된 본 발명의 구현예들은 프로세싱 시스템에 의한 실행을 위해 또는 프로세싱 시스템의 동작을 제어하기 위해 하나 이상의 컴퓨터 프로그램 제품들 예를 들면, 유형적 프로그램 캐리어 예를 들면, 컴퓨터 판독가능 매체에 인코딩된 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다. 컴퓨터 판독가능 매체는 기계 판독가능 저장 디바이스, 기계 판독가능 저장 기판, 메모리 디바이스 또는 그들의 하나 이상의 조합일 수 있다.
이 점에서, 본 명세서에 기술된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 회로, 집적 회로, 특별히 디자인된 ASICs(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 그들의 조합들로 실현된다. 이들 다양한 구현예들은 적어도 한 개의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행가능하고 및/또는 해석가능한 하나 이상의 컴퓨터 프로그램들로의 구현을 포함하며, 프로그래머블 프로세서는 전용 또는 범용이고, 저장 시스템으로부터 데이터 및 명령들을 수신하고 저장 시스템에 데이터 및 명령들을 전송하기 위해 적어도 한 개의 입력 디바이스 및 적어도 한 개의 출력 디바이스에 연결된다.
이들 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 어플리케이션들 또는 코드로 또한 알려진)은 프로그래머블 프로세서에 대한 기계 명령들을 포함하고, 하이-레벨 절차적 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현된다. 본 명세서에 사용된 바와 같이, 용어 “기계 판독가능 매체” “컴퓨터 판독가능 매체”는 기계 명령들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들면, 자기 디스크, 광학 디스크들, 메모리, PLDs(Programmable Logic Devices))를 지칭하며, 기계 판독가능 신호로서의 기계 명령들을 수신하는 기계 판독가능 매체를 포함한다. 용어 “기계 판독가능 신호”는 기계 명령들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 신호를 지칭한다.
사용자와의 인터렉션을 제공하기 위해, 본 명세서에 기술된 시스템들 및 기법들은 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들면, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터), 키보드 및 사용자가 컴퓨터에 입력을 제공할 수 있는 포인팅 디바이스(예를 들면, 마우스 또는 트랙볼)를 가지는 컴퓨터에서 구현된다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다; 예를 들면, 사용자에게 제공되는 피드백은 감각적 피드백(예를 들면, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)의 형태일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각적 입력 형태로 수신될 수 있다.
본 명세서에 기술된 시스템들 및 기법들은 컴퓨팅 시스템으로 구현될 수 있고, 컴퓨팅 시스템은 백엔드 컴포넌트(예를 들면, 데이터 서버로서)를 포함하거나 또는 미들웨어 컴포넌트(예를 들면, 어플리케이션 서버), 또는 프론트엔트 컴포넌트(예를 들면, 사용자가 본 명세서에 기술된 시스템들 및 기법들의 구현과 인터렉션 할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 가지는 클라이언트 컴퓨터)를 포함하거나, 또는 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 조합을 포함한다. 시스템의 컴포넌트들은 디지털 데이터 통신(예를 들면, 통신 네트워크)의 형태 또는 매체에 의해 상호연결된다. 통신 네트워크들의 예시들은 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함한다. 클라이언트 및 서버는 일반적으로 상호 간에 떨어져 있고 일반적으로 통신 네트워크를 통해 인터렉션한다. 클라이언트 및 서버의 관계는 각각의 컴퓨터들에서 실행하는, 그리고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램들에 의해서 성립된다.
광고와 같은 컨텐츠는 컴퓨터와 연관된 컴퓨터 주변장치(예를 들면, 모니터)에 디스플레이된다. 디스플레이는 컴퓨터 주변장치를 물리적으로 변형시킨다. 예를 들면, 만약 컴퓨터 주변장치가 LCD 디스플레이면, 액정들의 방향들은 사용자에 시각적으로 분명한 물리적 변형으로 바이어스 전압들(biasing voltages)의 인가에 의해 변경된다. 다른 예시에서, 만약 컴퓨터 주변장치가 CRT(cathode ray tube)이면, 형광판의 상태가 또한 시각적으로 분명한 물리적 변형으로 전극들의 충돌에 의해 변경된다. 게다가, 컴퓨터 주변장치에서 컨텐츠의 디스플레이는 특정 기계 즉, 컴퓨터 주변장치와 관련 있다.
본 명세서에서 논의되는 시스템들이 사용자들에 관한 개인 정보를 수집하거나 개인 정보를 사용하는 상황들에 대해, 개인 정보(예를 들면, 사용자의 소셜 네트워크에 관한 정보, 소셜 액션들 또는 활동들, 사용자의 선호들 또는 사용자의 현재 위치)를 수집하는 프로그램들 또는 구성들을 제어할 기회 또는 사용자에게 더 관련있는 컨텐츠 서버로부터 컨텐츠를 수신할지 및/또는 어떻게 수신할지 제어할 기회가 사용자에게 제공된다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 방법들로 익명화되며, 따라서 개인적으로 식별가능한 정보는 현금화할 수 있는(monetizable) 파라미터들(예를 들면, 현금화할 수 있는 인구통계적 파라미터들)을 생성할 때 제거된다. 예를 들면, 사용자의 식별은 익명화되며, 따라서 개인적으로 식별가능한 정보는 사용자에 대해 결정되지 않거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(도시, 우편번호 또는 주 레벨과 같이), 사용자의 특정 위치가 결정될 수 없다. 따라서, 사용자는 그 또는 그녀에 관하여 어떻게 정보가 수집되는지 그리고 컨텐츠 서버에 의해 사용되는지에 관한 제어를 가진다.
본 명세서에 기술된 서로 다른 구현예들의 엘리먼트들은 상기에 구체적으로 기재되지 않은 다른 구현예들을 형성하도록 조합될 수 있다. 엘리먼트들은 그들의 동작에 불리하게 영향을 끼치지 않고 본 명세서에 기술된 프로세스들, 컴퓨터 프로그램들, 웹 페이지들 등을 배제할 수 있다. 추가로, 도면들에서 도시된 논리 흐름들은 원하는 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 요구하지 않는다. 다양한 별개의 엘리먼트들이 본 명세서에 기술된 기능들을 수행하기 위한 하나 이상의 개별적 엘리먼트들에 조합될 수 있다.
본 명세서에 구체적으로 기술되지 않은 다른 구현예들 또한 후속하는 청구항들의 범위 내에 있다.
도 2는 온라인 컨텐츠 경매에서 콜-아웃을 입찰자에게 전송할 지 결정하기 위한 프로세스의 예시이다.
도 3은 본 명세서에 기술된 프로세스들이 구현될 수 있는 컴퓨터 시스템의 예시이다.
다양한 도면들에서 동일한 참조 기호들은 동일한 구성요소들을 표시한다.
광고와 같은 컨텐츠는 다양한 팩터들 예를 들면, 인구통계학(demographics), 키워들, 언어 및 관심들에 기초하여 네트워크 사용자들에게 제공된다. 예를 들면, 광고는 광고에 따라 메타데이터로서 저장된 하나 이상의 키워드들에 연관된다. 네트워크에서 동작하는 검색 엔진은 사용자로부터 입력을 수신한다. 입력은 키워드들 중 하나 이상을 포함한다. 광고들을 서비스하는 컨텐츠 관리 시스템은 검색 엔진으로부터 키워드들을 수신하고, 키워드들 중 하나 이상과 연관되는 광고를 식별하고 사용자에게 초기의 검색 요청에 충족하는 컨텐츠와 함께 광고를 출력한다. 컨텐츠와 광고는 컴퓨팅 디바이스에 디스플레이된다. 디스플레이될 때, 광고는 결과 페이지 상의 적절한 슬롯에 통합된다. 사용자는 광고를 클릭함으로써 광고를 선택한다. 선택에 응답하여, 일반적으로 광고와 연관된 하이퍼링크가 사용자를 다른 웹 페이지로 안내(direct)한다. 예를 들면, 만약 광고가 ABC 여행사에 대한 것이면, 사용자가 안내 받는 웹 페이지는 ABC 여행사의 홈페이지이다. 이 활동은 클릭-쓰루(click-through)로 알려져 있다. 이 맥락에서, “클릭”은 마우스 클릭에 국한되지 않고, 오히려 터치, 프로그램적 선택 또는 임의의 기타 인터렉션을 포함하며, 그에 의하여 광고가 선택된다.
컨텐츠 경매는 어떤 컨텐츠가 입력에 응답하여 출력될 지 결정하기 위해 실행된다. 경매에서, 컨텐츠 제공자들은 특정 슬롯들 또는 키워드들과 같은 이들 슬롯들과 연관된 정보에 입찰한다. 컨텐츠 제공자는 컨텐츠 경매에서 예를 들면, CPC(클릭당 과금, cost-per-click)를 기반 또는 CPM(1000회 노출당 과금, cost per thousand impressions)을 기반으로 입찰한다. 컨텐츠 제공자의 입찰은 제공자가 그들의 컨텐츠에 사용자들의 클릭하기에 대해 또는 그들의 컨텐츠를 사용자들에게 디스플레이하기 위해 지불할 금액(예를 들면, 최대 금액)이다. 그래서, 예를 들면, 경매의 타입에 따라, 만약 컨텐츠 제공자가 클릭당 5 센트를 입찰하면, 컨텐츠 제공자는 그들의 컨텐츠가 사용자에 의해 클릭될 때 마다 5 센트를 지불한다. 다른 예시에서, 입찰자는 그것의 컨텐츠가 디스플레이되는 1000회 노출들 마다 지불한다. 다른 예시들에서, 지불은 다른 액션들에 기초한다(예를 들면, 랜딩 페이지(landing page)에서 보낸 시간의 양, 구매, 등).
컨텐츠 경매에서 입찰하기는 일반적으로 다른 컨텐츠 제공자들에 대해 행해진다. 컨텐츠 경매는 (예를 들면, 컨텐츠 관리 시스템에 의해) 검색 결과들 또는 임의의 기타 요청된 컨텐츠와 함께 어떤 컨텐츠를 서비스할 지 결정하기 위해 실행된다. 일반적으로, 컨텐츠 경매의 한 명 이상의 낙찰자들 및 그들의 상대적 순위는 입찰 가격 또는 다른 팩터들에 기초하여 결정된다. 이 맥락에서, 페이지는 웹 페이지와 같이 임의의 디스플레이 영역, 연속적으로 스크롤할 수 있는 화면, 등을 포함한다. 일부 예시에서, 경매의 최고 순위 낙찰자들에게는 페이지에서 가장 선호되는 슬롯(들)이 부여될 것이고, 다른 입찰자들에게는 보다 덜 선호되는 슬롯들이 부여될 것이다.
온라인 컨텐츠 경매의 일부 구현예들에서, 경매 브로커(예를 들면, 연관된 하드웨어 및/또는 컴퓨터 프로그램들을 포함하는 컨텐츠 관리 시스템)는 콜-아웃들을 알려진 입찰자들에게 제공한다. 이 예시에서, 입찰자는 실제 컨텐츠 제공자 또는 많은 컨텐츠 제공자들 편에서 행동하는 대리인이다. 콜-아웃들은 과거 입찰 활동에 관한 정보에 기초하여, 슬롯에의 입찰에 또는 경매에서 다른 구성에 관심 있는 입찰자들로서 식별된 입찰자들에게 전송된다. 예를 들면, 콜-아웃은 만약 입찰자가 경매에서 이긴 경우 어떻게 컨텐츠가 제시될 지에 관한 정보에 따라 경매를 위한 슬롯을 식별한다. 또한 콜-아웃은 예를 들면, 컨텐츠가 제시될 웹페이지의 식별(identity), 웹페이지의 주제, 슬롯에 대한 최소 CPM 또는 CPC, 컨텐츠가 제시될 웹페이지의 게시자의 식별 등을 포함하나, 그에 제한되지 않는, 슬롯에서 컨텐츠의 배포에 관한 다른 정보를 구체화한다. 일부 구현예들에서, 콜-아웃들은 키워드들 또는 경매의 다른 구성들에의 입찰을 위한 것이다.
콜-아웃을 수신한 입찰자는 컨텐츠(예를 들면, 광고)와 함께 응답하고 슬롯에 대해 입찰한다. 대안적으로, 입찰자는 콜-아웃에 응답하지 않을 것을 선택한다. 경매 브로커는 기간(예를 들면, 일, 주, 월, 년 또는 임의의 적절한 기간)동안 입찰자에게 전송된 콜-아웃들, 그 콜-아웃들에 연관된 정보 및 콜-아웃들이 응답을 받았는지 또는 받지 못했는지의 기록을 유지한다. 예시적 구현예에서, 콜-아웃이 응답을 받지 못한 경우, 경매 브로커는 상기 정보에 기초하여, 아무런 응답도 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별한다. 다른 예시적 구현예에서, 경매 브로커는 상기 정보에 기초하여, 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별한다.
하나 이상의 구성들의 예시들은 콜-아웃에 대한 컨텐츠가 제시되었던 국가, 컨텐츠가 제시되었던 지리적 지역, 컨텐츠가 제시되었던 슬롯의 사이즈, 컨텐츠가 제시되었던 리소스(예를 들면, 웹페이지), 컨텐츠가 제시되었던 리소스 또는 페이지의 언어, 컨텐츠가 제시되었던 디바이스의 타입, 컨텐츠가 제시되었던 슬롯의 미디어 타입, 컨텐츠를 제시했던 게시자(리소스 또는 웹페이지 소유자)에 관한 정보, 상기 리소스 또는 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되었던 네트워크 캐리어(network carrier) 등 중 하나 이상을 포함하나, 그에 제한되지 않는다.
경매 브로커는 입찰자가 장래의 콜-아웃에 응답할 것인지 예측하기 위한 모델을 생성하기 위해 상기 정보 중 적어도 일부를 사용한다. 예를 들면, 기계-학습 프로세스는 어떤 하나 이상의 구성들의 조합(들)이 이전에 콜-아웃에 대한 응답을 받았는지 식별함으로써 모델을 생성하는데 사용된다. 그 후 모델은 장래의 콜-아웃이 응답을 받을 것인지 예측하는데 사용된다. 예시적 구현예에서, 경매 브로커는 장래의 콜-아웃 및/또는 장래의 콜-아웃에 대한 컨텐츠 배포와 연관된 엘리먼트들(하드웨어 및/또는 소프트웨어)이 위에서 말한 구성들 중 하나 이상과 연관되는지 결정한다. 만약 연관된다면, 장래의 콜-아웃은 후술될 바와 같이, 입찰자에게 전송되거나 전송되지 않는다.
더 구체적으로, 일부 구현예들에서, 경매 브로커는 입찰자들에게 콜-아웃들의 퍼센티지를 전송한다. 퍼센티지는 모델에서 특정 입찰자에 대해 설정된다. 일부 구현예들에서, 퍼센티지는 입찰자의 전반적 활동, 응답을 수신하지 못한 콜-아웃들의 수, 입찰자가 제공하는 가격들 등 입찰자들 또는 콜-아웃들에 관한 다른 팩터들에 기초한다. 모델에 의해 응답을 생성하지 않을 것으로 예측된 콜-아웃들의 퍼센티지는 만약 입찰자가 그들의 입찰 전략을 변경했는지 측정하기 위해 전송된다. 예를 들면, 만약 입찰자로부터 응답을 생성하지 않을 것으로 예측된 콜-아웃들의 퍼센티지가 실제로는 응답을 생성하였다면, 이전에 생성된 모델은 이 정보를 고려하기 위해 수정된다. 예를 들면, 그 콜-아웃에 연관된 구성(들)은 모델로부터 제거되며, 따라서 모델은 더 이상 그러한 구성들을 입찰자로부터 응답을 얻어내지 못할 콜-아웃 구성들로 식별하지 않는다.
일부 구현예들에서, 모델은 하나 이상의 서버들에 저장되며, 서버들은 입찰자들과 동일한 지리적 지역에 위치한다. 입찰자 및 하나 이상의 서버들의 위치는 예를 들면, 그들의 인터넷 서브넷 주소들에 의해 또는 다른 메커니즘들에 의해 식별된다. 일부 구현예들에서, 로컬 서버(들) 내의 모델들만 초기적으로 수정된다. 로컬 지리적 지역 밖에서 유지되는 모델들은 일정 기간 동안 새로운 데이터가 입찰자에 관하여 획득될 때까지 업데이트되지 않는다(예를 들면, 다음 날까지 업데이트되지 않는다). 이 구성은 비-로컬 서버들 사이에 모델을 동기화할 필요를 감소시키기 때문에 이점이 있으며, 따라서 로컬 서버들로부터 더 신속한 피드백을 제공하게 한다.
본 명세서에 기술된 예시적 프로세스는 임의의 적절한 디바이스들 및 컴퓨팅 장비와 함께 임의의 적절한 네트워크 환경에서 구현된다. 상기 환경의 예시는 후술된다.
도 1은 본 명세서에 기술된 바와 같이 사용자 디바이스의 사용자에게 컨텐츠를 제공하기 위한 그리고 콜-아웃들을 통제(regulating)하기 위한 예시적 환경(100)의 블록 다이어그램이다. 예시적 환경(100)은 네트워크(102)를 포함한다.
네트워크(102)는 사용자 디바이스(106a)와 같은 디바이스들이 통신 인터페이스(도시되지 않음)를 통해 네트워크에서 엔터티들과 통신하게 하는 통신 네트워크를 나타내며, 디지털 신호 프로세싱 회로를 포함할 수 있다. 네트워크(102)는 하나 이상의 네트워크들을 포함한다. 네트워크(들)은 다른 것들 중에서도 특히, GSM(Global System for Mobile communication) 음성 전화들, SMS(Short Message Service), EMS(Enhanced Messaging Service), MMS(Multimedia Messaging Service) 메시지, CDMA(code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), CDMA2000, GPRS(General Packet Radio System) 또는 하나 이상의 텔레비젼 또는 케이블 네트워크들과 같은, 다양한 모드들 또는 프로토콜들 하에서 통신을 제공한다. 예를 들면, 통신은 라디오 주파수 트랜스시버를 통해 발생할 수 있다. 추가로, 단거리 통신은 블루투스, WiFi 또는 다른 트랜스시버를 통해 발생할 수 있다.
네트워크(102)는 웹사이트들(104), 사용자 디바이스들(106), 컨텐츠 제공자들(예를 들면, 광고주들(108)), 온라인 게시자들(109) 및 컨텐츠 관리 시스템(110)과 같은 다양한 엔터티들을 연결한다. 이 점에서, 예시적 환경(100)은 많은 수천개의 웹사이트들(104), 사용자 디바이스들(106) 및 컨텐츠 제공자들(예를 들면, 광고주들(108))를 포함한다. 네트워크(102)에 연결된 엔터티들은 하나 이상의 서버들을 포함하고 및/또는 하나 이상의 서버들을 통해 연결된다. 각 상기 서버는 웹 서버, 어플리케이션 서버, 프록시 서버, 네트워크 서버 또는 서버 팜(server farm)과 같은 하나 이상의 다양한 형태들의 서버들이다. 각 서버는 하나 이상의 프로세싱 디바이스들, 메모리 및 저장 시스템을 포함한다.
도 1에서, 웹 사이트들(104)은 도메인 네임과 연관된 그리고 하나 이상의 서버들에 의해 호스팅되는 하나 이상의 리소스들(105)을 포함한다. 예시적 웹 사이트(104a)는 텍스트, 이미지들, 멀티미디어 컨텐츠 및 스크립트들과 같은 프로그래밍 엘리먼트들을 포함할 수 있는 HTML(Hypertext Markup Language) 포맷의 웹 페이지들의 모음이다. 각 웹 사이트(104)는 게시자(109)에 의해 유지되며, 게시자(109)는 웹 사이트(104)를 제어하고 관리하고 및/또는 소유하는 엔터티이다.
리소스(105)는 네트워크(102)를 통해 제공되는 임의의 적절한 데이터이다. 리소스(105)는 리소스(105)와 연관된 리소스 주소에 의해 식별된다. 리소스들(105)는 몇 가지만 들자면, HTML페이지들, 워드 프로세싱 문서들, PDF(Portable Document Format) 문서들, 이미지들, 비디오 및 뉴스 피드 리소스들을 포함한다. 리소스들(105)는 단어들, 구절들, 이미지들 및 소리들과 같은 컨텐츠를 포함하며, 컨텐츠는 내장된 정보(메타-정보 하이퍼링크들과 같이) 및/또는 내장된 명령들(JavaScript 스크립트와 같이)이다.
리소스들(105)의 검색을 용이하게 하기 위해, 환경(100)은 검색 시스템(112)을 포함하며, 검색 시스템(112)은 웹 사이트(104)에서 컨텐츠 게시자들에 의해 제공된 리소스(105)를 크롤링(crawling) 및 색인(indexing)함으로써 리소스들(105)을 식별한다. 리소스들(105)에 관한 데이터는 데이터에 대응하는 리소스(105)에 기초하여 색인된다. 리소스들(105)의 색인된 그리고, 선택적으로, 캐쉬된(cached) 사본들은 색인된 캐쉬(indexed cache)(114)에 저장된다.
예시적 사용자 디바이스(106a)는 사용자의 제어 하에 있으며, 네트워크(102)를 통해 리소스들을 요청하고 수신할 수 있는 전자적 디바이스이다. 사용자 디바이스는 하나 이상의 프로세싱 디바이스들을 포함하며, 모바일 전자기(예를 들면, 스마트폰), 랩톱 컴퓨터, 핸드헬드 컴퓨터, 인터렉티브 또는 “스마트”라 불리는 텔레비전 또는 셋톱 박스, 타블렛 컴퓨터, 네트워크 장치, 카메라, EGPRS(enhanced general packet radio service) 모바일 폰, 미디어 플레이어, 네비게이션 디바이스, 이메일 디바이스, 게임 콘솔 또는 이들 데이터 프로세싱 디바이스들의 임의의 둘 이상의 조합 또는 다른 데이터 프로세싱 디바이스들이거나, 이들을 포함한다. 일부 구현예들에서, 사용자 디바이스는 차량의 일부로서 포함된다(예를 들면, 자동차, 응급 차량(예를 들면, 소방차, 앰뷸런스), 버스).
사용자 디바이스(106a)는 네트워크(102)를 통해 데이터의 전송 및 수신을 용이하게 하기 위해 웹 브라우저와 같은 하나 이상의 사용자 어플리케이션들을 일반적으로 저장한다. 사용자 디바이스(106a)는 스마트폰 또는 타블렛 컴퓨터와 같은 모바일(또는 간단히 “모바일 디바이스”)은 사용자가 네트워크(예를 들면 웹) 검색을 수행하게 하는 어플리케이션(“앱”)(107)을 포함한다. 또한 사용자 디바이스들(106)은 GPS 시스템과 통신하기 위한 소프트웨어를 갖추고 있으며, 그에 의하여 GPS 시스템이 모바일 디바이스의 위치를 찾을 수 있게 한다.
사용자 디바이스(106a)는 웹 사이트(104a)로부터 리소스들(105)를 요청한다. 차례로, 리소스(105)를 나타내는 데이터는 사용자 디바이스(106a)에 의한 제시를 위해 사용자 디바이스(106a)에 제공된다. 또한 사용자 디바이스들(106)은 검색 쿼리들(116)을 네트워크(102)를 통해 검색 시스템(112)에 제출한다. 리소스(105)에 대한 요청 또는 사용자 디바이스(106)으로부터 전송되는 검색 쿼리(116)는 사용자 디바이스의 사용자를 식별하는, 쿠키와 같은 식별자를 포함한다.
검색 쿼리(116)에 응답하여, 검색 시스템(112)는 검색 쿼리(116)과 관련 있는 리소스들(105)를 식별하기 위해 색인된 캐쉬(114)에 엑세스한다. 검색 시스템(112)은 검색 결과들(118)의 형태로 리소스들(105)를 식별하고, 검색 결과 페이지들에서 검색 결과들(118)을 사용자 디바이스(106)에 반환한다. 검색 결과(118)는 특정 검색 쿼리(116)에 응답하는 리소스(105)를 식별하는 검색 시스템(112)에 의해 생성된 데이터를 포함하고, 리소스(105)에 대한 링크를 포함한다. 예시적 검색 결과(118)는 웹 페이지 제목, 텍스트의 스니펫 또는 웹 페이지로부터 획득한 이미지의 부분 및 웹 페이지의 URL(Unified Resource Location)을 포함한다.
컨텐츠 관리 시스템(110)은 컨텐츠에 대한 요청들에 응답하여 컨텐츠를 선택하고 제공하기 위해 사용된다. 또한 컨텐츠 관리 시스템(110)은 적절한 사용자 허락(permission)과 함께 사용자의 활동에 기초하여 데이터베이스(124)를 업데이트한다. 사용자는 상기 정보의 저장을 활성화하고 및/또는 비활성화한다. 이 점에서, 적절한 사용자 허락과 함께, 데이터베이스(124)는 예를 들면, 장소 또는 이벤트에의 방문들과 같은 과거 사용자 활동들에 관한 정보, 리소스들(105)에 대한 과거 요청들, 과거 검색 쿼리들(116), 컨텐츠에 대한 다른 요청들, 방문한 웹 사이트들 또는 컨텐츠와의 인터렉션들을 포함하는 사용자에 대한 프로필을 저장한다. 또한 사용자 관심들은 프로필에 저장되고, 일부 예시들에서, 과거 사용자 활동들에 관한 정보로부터 결정된다. 일부 구현예들에서, 데이터베이스(124)에서 정보는 예를 들면, 쿼리 로그, 광고 로그 또는 컨텐츠에 대한 요청들 중 하나 이상으로부터 도출된다. 데이터베이스(124)는 각 엔트리마다, 사용자를 식별하는 쿠키, 타임스탬프, 요청하는 사용자 디바이스(106)와 연관된 IP(Internet Protocol) 주소, 사용의 타입, 사용과 연관된 세부사항들을 포함한다.
컨텐츠 관리 시스템(110)은 쿼리 키워드들을 컨텐츠 키워드들과 비교하기 위해 그리고 쿼리 키워드들이 컨텐츠 키워드들에 얼마나 잘 매칭되는지 표시하는 키워드 매칭 점수를 생성하기 위해 키워드 매칭 엔진(140)을 포함한다. 예시에서, 키워드 매칭 점수는 컨텐츠에 연관된 단어들에 대한 입력 쿼리에서 단어들의 매칭의 수의 총합과 동일하거나 그에 비례한다. 컨텐츠 관리 시스템(110)은 입력 쿼리들에서의 단어들로부터 획득된 지리적 정보(예를 들면, 장소명들에 대한 숫자적 값들)를 컨텐츠와 연관된 지리적 정보와 비교하기 위해 지리적(또는 “지리”) 매칭 엔진(141)을 포함한다. 또한, 컨텐츠 관리 시스템(110)은 입력 인구통계를 광고 캠페인의 원하는 인구통계와 매칭하기 위한, 컨텐츠에 기초하여 웹 페이지들 또는 다른 배포 메커니즘들을 식별하기 위한 등의, 다른 엔진들(도시되지 않음)을 포함한다.
리소스(105) 또는 검색 결과들(118)이 사용자 디바이스(106)에 의해 요청된 때, 컨텐츠 관리 시스템(110)은 리소스(105) 또는 검색 결과들(118)과 함께 제공될 컨텐츠에 대한 요청을 수신한다. 컨텐츠에 대한 요청은 요청된 리스스(105) 또는 검색 결과들 페이지에 대해 정의된 하나 이상의 “슬롯들”의 특징들을 포함한다. 예를 들면, 리소스(105)를 나타내는 데이터는 컨텐츠가 제시될 수 있는 팝업창의 제시 위치 또는 서드-파티 컨텐츠 사이트 또는 웹 페이지의 슬롯과 같은, 리소스(105)의 부분 또는 사용자 디스플레이의 부분을 특정하는 데이터를 포함한다. 예시적 슬롯은 광고 슬롯이다. 또한 검색 결과들 페이지들은 다른 컨텐츠 아이템들(예를 들면, 광고들)이 제시될 수 있는 하나 이상의 슬롯들을 포함한다.
슬롯들에 관한 정보는 컨텐츠 관리 시스템(110)에 제공된다. 예를 들면, 슬롯이 정의되기 위한 리소스에 대한 참조(예를 들면, URL), 슬롯의 사이즈 및/또는 슬롯에서 제시하기 위해 사용 가능한 미디어 타입들은 컨텐츠 관리 시스템(110)에 제공된다. 유사하게, 또한 요청된 리소스 또는 검색 결과들이 요청되기 위한 검색 쿼리(116)에 연관된 키워드들이 리소스 또는 검색 쿼리(116)와 관련 있는 컨텐츠의 식별을 용이하게 하기 위해 컨텐츠 관리 시스템(110)에 제공된다.
요청으로부터 생성된 및/또는 요청에 포함된 데이터에 적어도 부분적으로 기초하여, 컨텐츠 관리 시스템(110)은 요청에 응답하여 제공되기에 적당한 컨텐츠(“적당한 컨텐츠 아이템들”)를 선택한다. 컨텐츠 관리 시스템(110)은 제2 가격 경매와 같은 경매의 결과들에 적어도 부분적으로 기초하여 리소스(105) 또는 검색 결과들 페이지(118)의 슬롯들에서 제시하기 위해 제공될 적당한 컨텐츠 아이템들을 선택한다. 예를 들면, 적당한 컨텐츠 아이템들을 위해, 컨텐츠 관리 시스템(110)은 컨텐츠 제공자들(예를 들면, 광고주들(108))로부터 입찰들을 수신하고, 수신된 입찰들에 적어도 부분적으로 기초하여(예를 들면, 경매 결과에서 최고가 입찰자들에 기초하여) 컨텐츠를 슬롯들에 할당한다. 입찰들은 컨텐츠 제공자들이 리소스(105) 또는 검색 결과들 페이지(118)와 함께 그들의 컨텐츠의 제시(또는 선택)을 위해 지불할 의향이 있는 금액들이다. 예를 들면, 입찰은 컨텐츠 제공자가 CPM 입찰로 지칭되는, 컨텐츠 아이템의 매 1000회 노출들(즉, 제시들)마다 지불할 의향이 있는 금액을 특정한다. 대안적으로, 입찰은 컨텐츠 제공자가 컨텐츠 아이템의 선택(즉, 클릭-쓰루) 또는 컨텐츠 아이템의 선택이 이어지는 대화에 대해 지불할 의향이 있는 금액을 특정한다. 이는 CPC(클릭당 과금, cost-per-click)으로 지칭된다. 선택된 컨텐츠 아이템은 입찰들에 단독으로 기초하거나 또는 컨텐츠 퍼포먼스로부터 도출된 품질 점수들(quality scores), 랜딩 페이지 점수들 및/또는 다른 팩터들과 같은 하나 이상의 팩터들에 의해 다양화되는 각 입찰자의 입찰들에 기초하여 결정된다.
일부 구현예들에서, TV(텔레비전) 방송국들(134)은 텔레비전 컨텐츠를 생산하고 TV 사용자 디바이스들(136)에 제시하며, 텔레비전 컨텐츠는 하나 이상의 채널들에 편성된다. TV 방송국들(134)은 텔레비전 컨텐츠에 따라 다른 컨텐츠(예를 들면, 광고들)이 제시될 수 있는 하나 이상의 컨텐츠 슬롯들을 포함한다. 예를 들면, TV 네트워크는 그들이 방송하는 텔레비전 프로그램들에서 광고의 슬롯들을 광고주들에게 판매한다. 컨텐츠 슬롯들의 전부 또는 일부는 각 컨텐츠 슬롯에 연관되는 컨텐츠를 시청하는 일반적 사용자들을 나타내는 시청자들에 관하여 기술된다. 컨텐츠 제공자들은 경매에서(상기 기술된 바와 같이), 특정 텔레비전 컨텐츠에 대한 키워드들에 연관된 컨텐츠 슬롯에 입찰한다.
컨텐츠 관리 시스템(110)은 예측 엔진(142)을 포함한다. 예측 엔진(142)은 온라인 컨텐츠 경매에서 입찰자들에게 콜-아웃을 전송할 지 결정하기 위한 본 명세서에 기술된 예시적 프로세스들의 전부 또는 일부를 구현한다. 출력하기 위해 선택된 컨텐츠는 컨텐츠 배포 엔진(143)에 의해 배포되며, 또한 이는 컨텐츠 관리 시스템의 부분이다.
도 2는 예시적 프로세스(200)를 도시하는 흐름도이며, 이는 적어도 부분적으로 예측 엔진(142)에 의한 수행을 포함하는 컨텐츠 관리 시스템(110)에 의해 수행된다. 프로세스(200)는 온라인 광고(“광고들”)의 맥락에서 기술되나; 그러나, 프로세스(200)는 임의의 적절한 온라인 컨텐츠 또는 다른 배포가능한 컨텐츠를 수반하는 경매를 위한 콜-아웃을 전송할 지 결정하기 위해 적용할 수 있다.
프로세스(200)에 따르면, 정보는 콜-아웃들에 관하여 온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 획득된다(201). 일부 구현예들에서, 정보는 단일의 입찰자에 대해 획득되고, 프로세스(200)가 적용된다. 다른 구현예들에서, 정보는 공통된 하나 이상의 속성들을 가지는 다수의 입찰자들에 대해 획득되고, 프로세스(200)가 적용된다. 예를 들면, 다수의 입찰자들은 유사한 제품을 판매하는, 유사한 입찰 이력들을 가지는, 유사한 인구통계를 서비스하는 등의 광고주들이다. 임의의 적절한 속성이 프로세스(200)를 위해 입찰자들을 그룹핑하는데 사용된다. 획득된 정보는 일정 기간 동안(time period) 지속되며, 기간에 대해 획득된다. 일부 구현예들에서, 상기 기간은 1일(예를 들면, 전날 만들어진 콜-아웃들에 관한 정보가 획득된다)이나; 그러나, 다른 구현예들에서, 기간은 1일보다 길거나 짧을 수 있다. 획득된 정보는 기간 내에(예를 들면, 전날) 만들어진, 어떤 콜-아웃들이 응답을 받지 못했는지 식별한다.
획득된 정보는 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는데 사용된다(202)(이 예는 프로세스가 단일의 입찰자에 대해 실행된다고 가정한다). 임계치는 미리 정의되며, 입찰자들에게 전송된 콜-아웃들의 전체 수의 특정 퍼센티지이다. 일부 구현예들에서, 임계치는 1이며, 콜-아웃들이 적어도 한 개의 응답 또는 적어도 임계수의 응답들을 받지 못한 것을 의미한다. 다른 구현예들에서, 임계치는 1보다 크다. 상기 언급된 바와 같이, 정보의 부분일 수 있는 하나 이상의 구성들의 예시는 콜-아웃에 대한 컨텐츠가 제시되었던 국가, 컨텐츠가 제시되었던 지리적 지역, 컨텐츠가 제시되었던 슬롯의 사이즈, 컨텐츠가 제시되었던 페이지), 컨텐츠가 제시되었던 페이지의 언어, 컨텐츠가 제시되었던 디바이스의 타입, 컨텐츠가 제시되었던 슬롯의 미디어 타입, 컨텐츠를 제시했던 게시자(웹페이지 소유자)에 관한 정보, 상기 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되었던 네트워크 캐리어(network carrier) 중 하나 이상을 포함하나, 그에 제한되지 않는다.
구성(들)은 개인적 구성들 및/또는 구성들의 조합들 전체를 반복하고 각 구성 또는 조합에 대해, 구성 또는 구성들의 조합에 연관된 콜-아웃에 대한 응답이 수신되었는지 결정하는 기계 학습 프로세스를 사용하여 식별된다(202). 조합들은 2개의 구성들 또는 2이상의 구성들을 포함한다. 전술한 구성들 중 2개를 사용하는 예시에서, 기계 학습 프로세스는 콜-아웃에 대한 컨텐츠가 제시되었던 국가(예를 들면, 미국), 컨텐츠가 제시되었던 지리적 지역(예를 들면, 캘리포니아)을 선택한다. 전날과 같은, 일정 기간에서 입찰자에 대한 각 콜-아웃에 대해, 기계 학습 프로세스는 구성들의 조합이 응답을 받았는지 결정한다. 만약 응답이 임계치 횟수보다 많이 수신되지 않았다면, 구성들의 조합은 입찰의 관심이 아닌 것으로 간주된다. 이 프로세스는 어떤 것이 입찰자의 관심이 아닌 지 결정하기 위해, 개인적 구성들에 대해 구성들의 임의의 적절한 조합들을 통해 반복된다.
입찰자가 구성 또는 구성들의 조합과 연관된 콜-아웃에 대해 응답할지 예측하는 모델이 입찰자에 대해 생성된다(203). 예를 들면, 모델은 입찰자가 5cm x 5cm 슬롯에 대한 콜-아웃에 응답할 것이지만, 컨텐츠가 모바일 디바이스에 제시되고 컨텐츠가 프랑스어 페이지에 제시되는 콜-아웃에 대해서는 응답하지 않을 것이라고 구체화한다.
일부 예시적 구현예들에서, 모델은 입찰자의 특정 지리적 근처(specified geographic proximity) 내에 있는 하나 이상의 서버들에서 생성된다(예를 들면, 트레이닝된다). 예를 들면, 만약 입찰자가 캘리포니아에 있으면, 미국의 서안에 있는 서버들이 이전 날의 콜-아웃 정보에 기초하여 모델을 생성하고 메모리에 모델을 저장하는데 사용된다. 그 후 그 모델은 일상적 서버 동기화 동안에 지리적 근처 밖의 서버들(예를 들면, 미국의 서안 밖의 서버들)에 전파된다. 일부 구현예들에서, 그래서, 입찰자에 대해 “로컬”인 서버들은 입찰자가 콜-아웃에 응답할 지 예측하기 위한 가장 최신의 모델을 저장한다. 다른 구현예들에서, 상기 케이스와 다르게, 생성된 모델은 컨텐츠 관리 시스템을 지원하는 모든 서버들에 즉시 전파될 수 있다.
모델은 입찰자에게 전송될 식별된 구성들 또는 구성들의 조합들과 연관된 추가적인(예를 들면, 장래의) 콜-아웃들의 퍼센티지를 결정하는데 사용된다(204). 더 구체적으로, 모델은 그 콜-아웃들과 연관된 하나 이상의 구성들 또는 조합들에 기초하여 어떤 콜-아웃들이 응답들을 받을 것인지 예측한다. 일부 구현예들에서, 모델은 모델이 응답이 없을 것이라고 예측했더라도 전송될 상기 콜-아웃들의 퍼센티지를 특정한다. 일부 구현예들에서, 그 퍼센티지는 0이고, 그 타입의 콜-아웃들이 전송되지 않은 것을 의미한다. 다른 구현예들에서, 그 퍼센티지는 0이 아니다. 상기 콜-아웃들이 전송된 경우들에서, 콜-아웃들은 입찰자들의 전략에서의 변화를 감지하기 위해 전송된다. 예를 들면, 만약 모델이 응답 받지 못할 것이라고 예측한 구성들 또는 조합들과 연관된 콜-아웃에 대해 입찰자가 응답하였다는 것을 나중에 발견한 경우, 모델은 수정된다. 이 수정은 이하에서 더 상세히 기술된다.
일부 구현예들에서, 모델에 의해 응답을 선택받지 못할 것으로 예측된 콜-아웃들의 0이 아닌 퍼센티지는 그럼에도 불구하고 입찰자에게 전송된다(205). 입찰자는 상기 콜-아웃들에 대해 상기 기술된 방식으로 반응한다. 즉, 입찰자는 컨텐츠 및 입찰과 함께 콜-아웃에 응답하거나 또는 입찰자는 콜-아웃을 무시한다. 이 예시에서, 모델은 콜-아웃이 입찰자의 관심이 아닌 것으로 식별된 하나 이상의 구성들과 연관되었기 때문에 입찰자가 콜-아웃을 무시할 것이라고 예측한다. 그러나, 일부 경우들에서, 입찰자는 콜-아웃에 응답한다. 예를 들면, 입찰자는 그들의 입찰 전략을 변경하여, 아무도 예측하지 못한 때 콜-아웃에 응답한다. 이 경우에서, 모델은 입찰 전략에서의 이 변경을 반영하기 위해 수정된다. 입찰자가 콜-아웃에 대해 응답하는 것이 선택적이라는 것은 도 2에서 동작들(205) 및 (206) 사이의 선에 의해 그래픽적으로 표시된다.
예시로서, 새로 전송된(추가적인) 콜-아웃들에 대해 프로세스(200)는 추가적인 콜-아웃들에 관한 정보를 획득한다(206). 정보는 어떤 추가적인 콜-아웃들이 적어도 한 개의 응답을 받았는지 식별한다. 이 정보를 사용하여, 적어도 한 개의 응답을 받은 추가적인 콜-아웃들에 공통된 하나 이상의 구성들이 식별된다(207). 구성 또는 구성들의 조합은 상기 기술된 것들 중에 있다. 모델은 추가적인 콜-아웃들에 공통된 구성 또는 구성들의 조합이 적어도 한 개 이상의 응답을 받았다는 것을 고려하기 위해 수정된다(208). 예를 들면, 그 구성 또는 구성들의 조합은 모델로부터 제거되거나 또는 응답을 선택받지 못하는 구성들로서 지정되지 않는다.
일부 구현예들에서, 입찰자들에 대해 지리적으로 로컬(예를 들면, 지역 내에)에 있는 서버(들)의 모델들만 초기적으로 수정된다. 로컬 지리적 지역 밖에서 유지되는 모델들은 일정 기간에 대해 새로운 데이터가 입찰자에 관해 획득될 때까지 업데이트되지 않는다(예를 들면, 다음 날까지 업데이트되지 않는다). 수정된 모델은 업데이팅을 수행하기 위해 상기 서버들에게 전파된다. 일부 구현예들에서, 동일한 모델들이 콜-아웃들을 전송하는 데 사용되는 서버들 내에 유지되며, 상기 모델들은 다양한 입찰자들에 대해 상기 서버들의 지리적 근처여부와 관계없이 즉시 업데이트된다.
일부 예시적 구현예들에서, 본 명세서에 기술된 시스템은 과거에 일정 퍼센티지의 횟수가 무시되었던 (및 항상 필수적으로 무시되지는 않는) 콜-아웃들을 전송하지 않을 것을 선택한다. 예를 들면, 만약 콜-아웃이 단지 10%의 입찰에 참여할 가능성(chance of returning a bid)을 갖는다고 예측하며, 시스템은 콜-아웃을 전송하지 않을 것을 선택한다. 이 구성은 입찰에 참여할 충분한 가능성을 가지는 콜-아웃들만 수신하는 것은 (예를 들면, 모든 콜-아웃들을 핸들링할 수 없는) 할당-제한(quota-constrained) 구매자들에게 이익이다.
도 3은 프로세스(200) 및 그것의 다양한 수정들을 포함하는, 본 명세서에 기술된 프로세스들을 수행하는데 사용되는 예시적 컴퓨터 시스템(300)의 블록 다이어그램이다. 시스템(300)은 프로세서(310), 메모리(320), 저장 디바이스(330) 및 입력/출력 디바이스(340)를 포함한다. 각각의 컴포넌트들(310, 320, 330 및 340)은 예를 들면, 시스템 버스(350)를 사용하여 상호연결된다. 프로세서(310)는 시스템(300) 내에서 실행하기 위한 명령들을 프로세싱할 수 있다. 일 구현예에서, 프로세서(310)는 싱글-쓰레드 프로세서(single-threaded processor)이다. 다른 구현예에서, 프로세서(310)는 멀티-쓰레드 프로세서(multi-threaded processor)이다. 프로세서(310)는 메모리(320) 또는 저장 디바이스(330)에 저장된 명령들을 프로세싱할 수 있다.
메모리(320)는 시스템(300) 내에서 정보를 저장한다. 일 구현예들에서, 메모리(320)는 컴퓨터 판독가능 매체이다. 일 구현예에서, 메모리(320)는 휘발성 메모리 유닛이다. 다른 구현예에서, 메모리(320)는 비휘활성 메모리 유닛이다.
저장 디바이스(330)는 시스템(300)을 위해 대형 저장소를 제공할 수 있다. 일 구현예에서, 저장 디바이스(330)는 컴퓨터 판독가능 매체이다. 다양한 서로 다른 구현예들에서, 저장 디바이스(330)는 예를 들면, 하드 디스크 디바이스, 광학 디스크 디바이스 또는 다른 대용량 저장 디바이스를 포함한다.
입력/출력 디바이스(340)는 시스템(300)을 위해 입력/출력 동작들을 제공한다. 일 구현예에서, 입력/출력 디바이스(340)는 네트워크 인터페이스 디바이스들 예를 들면, 이더넷 카드, 시리얼 통신 디바이스 예를 들면, RS-232 포트, 및/또는 무선 인터페이스 디바이스 예를 들면, 802.11 카드 중 하나 이상을 포함한다. 다른 구현예에서, 입력/출력 디바이스는 입력 데이터를 수신하고 다른 입력/출력 디바이스들 예를 들면, 키보드, 프린터 및 디스플레이 디바이스들(360)에 출력 데이터를 전송하도록 구성된 드라이버 디바이스들을 포함한다.
웹 서버, 광고 서버 및 노출 할당 모듈은 실행시 하나 이상의 프로세싱 디바이스들로 하여금 상기 기술된 프로세스들 및 기능들을 수행하게 하는 명령들에 의해 실현된다. 상기 명령들은 예를 들면, 스크립트 명령들 예를 들면 JavaScript 또는 ECMAScript 명령들과 같은 인터프리트 명령들(interpreted instructions) 또는 실행가능 코드 또는 컴퓨터 판독가능 매체에 저장된 다른 명령들을 포함한다. 웹 서버 및 광고 서버는 서버 팜과 같은 네트워크를 통해 배분적으로 구현되거나 또는 단일의 컴퓨터 디바이스에서 구현된다.
예시적 컴퓨터 시스템(300)이 이 예시의 서버(380)에서 랙(rack)으로서 도시된다. 도시된 바와 같이 서버는 다수의 랙들을 포함한다. 본 명세서에 기술된 프로세스들을 수행하기 위해 행동을 같이하는 다양한 서버들은 도면에 도시된 바와 같이, 서로 다른 지리적 위치들에 있다. 본 명세서에 기술된 프로세스들은 상기 서버 또는 다수의 상기 서버들에서 구현된다. 도시된 바와 같이, 서버들은 단일의 위치에서 제공되거나 또는 지구 도처에 걸쳐서 다양한 장소들에 위치된다. 서버들은 프로세스들을 구현하기 위한 능력들을 제공하기 위해 그들의 동작을 조정한다.
비록 예시적 프로세싱 시스템에 도 3에 기술되었지만, 이 명세서에 기술된 본 발명의 구현예들 및 기능적 동작들은 이 명세서에 기술된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는, 다른 타입들의 디지털 전자 회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 이 명세서에 기술된 본 발명의 구현예들은 프로세싱 시스템에 의한 실행을 위해 또는 프로세싱 시스템의 동작을 제어하기 위해 하나 이상의 컴퓨터 프로그램 제품들 예를 들면, 유형적 프로그램 캐리어 예를 들면, 컴퓨터 판독가능 매체에 인코딩된 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다. 컴퓨터 판독가능 매체는 기계 판독가능 저장 디바이스, 기계 판독가능 저장 기판, 메모리 디바이스 또는 그들의 하나 이상의 조합일 수 있다.
이 점에서, 본 명세서에 기술된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 회로, 집적 회로, 특별히 디자인된 ASICs(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 그들의 조합들로 실현된다. 이들 다양한 구현예들은 적어도 한 개의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행가능하고 및/또는 해석가능한 하나 이상의 컴퓨터 프로그램들로의 구현을 포함하며, 프로그래머블 프로세서는 전용 또는 범용이고, 저장 시스템으로부터 데이터 및 명령들을 수신하고 저장 시스템에 데이터 및 명령들을 전송하기 위해 적어도 한 개의 입력 디바이스 및 적어도 한 개의 출력 디바이스에 연결된다.
이들 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 어플리케이션들 또는 코드로 또한 알려진)은 프로그래머블 프로세서에 대한 기계 명령들을 포함하고, 하이-레벨 절차적 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현된다. 본 명세서에 사용된 바와 같이, 용어 “기계 판독가능 매체” “컴퓨터 판독가능 매체”는 기계 명령들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들면, 자기 디스크, 광학 디스크들, 메모리, PLDs(Programmable Logic Devices))를 지칭하며, 기계 판독가능 신호로서의 기계 명령들을 수신하는 기계 판독가능 매체를 포함한다. 용어 “기계 판독가능 신호”는 기계 명령들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 신호를 지칭한다.
사용자와의 인터렉션을 제공하기 위해, 본 명세서에 기술된 시스템들 및 기법들은 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들면, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터), 키보드 및 사용자가 컴퓨터에 입력을 제공할 수 있는 포인팅 디바이스(예를 들면, 마우스 또는 트랙볼)를 가지는 컴퓨터에서 구현된다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다; 예를 들면, 사용자에게 제공되는 피드백은 감각적 피드백(예를 들면, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)의 형태일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각적 입력 형태로 수신될 수 있다.
본 명세서에 기술된 시스템들 및 기법들은 컴퓨팅 시스템으로 구현될 수 있고, 컴퓨팅 시스템은 백엔드 컴포넌트(예를 들면, 데이터 서버로서)를 포함하거나 또는 미들웨어 컴포넌트(예를 들면, 어플리케이션 서버), 또는 프론트엔트 컴포넌트(예를 들면, 사용자가 본 명세서에 기술된 시스템들 및 기법들의 구현과 인터렉션 할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 가지는 클라이언트 컴퓨터)를 포함하거나, 또는 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 조합을 포함한다. 시스템의 컴포넌트들은 디지털 데이터 통신(예를 들면, 통신 네트워크)의 형태 또는 매체에 의해 상호연결된다. 통신 네트워크들의 예시들은 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함한다. 클라이언트 및 서버는 일반적으로 상호 간에 떨어져 있고 일반적으로 통신 네트워크를 통해 인터렉션한다. 클라이언트 및 서버의 관계는 각각의 컴퓨터들에서 실행하는, 그리고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램들에 의해서 성립된다.
광고와 같은 컨텐츠는 컴퓨터와 연관된 컴퓨터 주변장치(예를 들면, 모니터)에 디스플레이된다. 디스플레이는 컴퓨터 주변장치를 물리적으로 변형시킨다. 예를 들면, 만약 컴퓨터 주변장치가 LCD 디스플레이면, 액정들의 방향들은 사용자에 시각적으로 분명한 물리적 변형으로 바이어스 전압들(biasing voltages)의 인가에 의해 변경된다. 다른 예시에서, 만약 컴퓨터 주변장치가 CRT(cathode ray tube)이면, 형광판의 상태가 또한 시각적으로 분명한 물리적 변형으로 전극들의 충돌에 의해 변경된다. 게다가, 컴퓨터 주변장치에서 컨텐츠의 디스플레이는 특정 기계 즉, 컴퓨터 주변장치와 관련 있다.
본 명세서에서 논의되는 시스템들이 사용자들에 관한 개인 정보를 수집하거나 개인 정보를 사용하는 상황들에 대해, 개인 정보(예를 들면, 사용자의 소셜 네트워크에 관한 정보, 소셜 액션들 또는 활동들, 사용자의 선호들 또는 사용자의 현재 위치)를 수집하는 프로그램들 또는 구성들을 제어할 기회 또는 사용자에게 더 관련있는 컨텐츠 서버로부터 컨텐츠를 수신할지 및/또는 어떻게 수신할지 제어할 기회가 사용자에게 제공된다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 방법들로 익명화되며, 따라서 개인적으로 식별가능한 정보는 현금화할 수 있는(monetizable) 파라미터들(예를 들면, 현금화할 수 있는 인구통계적 파라미터들)을 생성할 때 제거된다. 예를 들면, 사용자의 식별은 익명화되며, 따라서 개인적으로 식별가능한 정보는 사용자에 대해 결정되지 않거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(도시, 우편번호 또는 주 레벨과 같이), 사용자의 특정 위치가 결정될 수 없다. 따라서, 사용자는 그 또는 그녀에 관하여 어떻게 정보가 수집되는지 그리고 컨텐츠 서버에 의해 사용되는지에 관한 제어를 가진다.
본 명세서에 기술된 서로 다른 구현예들의 엘리먼트들은 상기에 구체적으로 기재되지 않은 다른 구현예들을 형성하도록 조합될 수 있다. 엘리먼트들은 그들의 동작에 불리하게 영향을 끼치지 않고 본 명세서에 기술된 프로세스들, 컴퓨터 프로그램들, 웹 페이지들 등을 배제할 수 있다. 추가로, 도면들에서 도시된 논리 흐름들은 원하는 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 요구하지 않는다. 다양한 별개의 엘리먼트들이 본 명세서에 기술된 기능들을 수행하기 위한 하나 이상의 개별적 엘리먼트들에 조합될 수 있다.
본 명세서에 구체적으로 기술되지 않은 다른 구현예들 또한 후속하는 청구항들의 범위 내에 있다.
Claims (20)
- 하나 이상의 프로세싱 디바이스들에 의해 수행되는 방법으로서,
온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 콜-아웃들(call-outs)에 관한 정보를 획득하는 단계, 상기 정보는 일정 기간 동안(time period) 지속되며(spanning), 상기 정보는 상기 기간 내에 어떤 콜-아웃들이 응답을 받지 못했는지 식별하며;
상기 정보에 기초하여, 상기 적어도 한 명의 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하기 위해 상기 하나 이상의 프로세싱 디바이스들을 사용하는 단계;
상기 적어도 한 명의 입찰자가 상기 하나 이상의 구성들에 연관된 콜-아웃에 응답할 것인지 예측하는 상기 적어도 한 명의 입찰자에 대한 모델을 생성하는 단계와 적어도 한 개의 서버의 메모리에 저장하는 단계;
상기 적어도 한 명의 입찰자에게 전송하기 위한 상기 하나 이상의 구성들을 가지는 추가적인 콜-아웃들의 퍼센티지(percentage)를 결정하기 위해 상기 모델을 사용하는 단계; 그리고
상기 추가적인 콜-아웃들의 퍼센티지를 상기 적어도 한 명의 입찰자에게 전송하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 임계수의 응답들은 적어도 한 개의 응답이며, 상기 추가적인 콜-아웃들의 퍼센티지는 0이 아닌 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 추가적인 콜-아웃들에 관한 정보를 획득하는 단계, 상기 정보는 어떤 추가적인 콜-아웃들이 적어도 한 개의 응답을 받았는지 식별하며;
상기 추가적인 콜-아웃들에 관한 정보에 기초하여, 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하기 위해 상기 하나 이상의 프로세싱 디바이스들을 사용하는 단계; 그리고
적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 고려하기 위해 상기 모델을 수정하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 3에 있어서,
상기 모델을 수정하는 단계는 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 상기 모델로부터 제거하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 모델은 지리적 지역에 걸쳐서 다수의 서버들에 상주하며; 그리고
상기 적어도 한 개의 서버는 상기 지리적 지역 내의 상기 적어도 한 명의 입찰자의 특정 지리적 근처(specified geographic proximity) 내에 있으며; 그리고
상기 방법은 적어도 한 개의 서버에 저장된 상기 모델을 수정하는 단계와, 상기 수정하는 단계에 후속하는 상기 기간의 경과 후에, 상기 다수의 서버들 중 나머지 서버들에 저장된 모델들을 수정하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 적어도 한 명의 입찰자는 단일의 입찰자인 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 적어도 한 명의 입찰자는 공통된 하나 이상 속성들을 가지는 다수의 입찰자들을 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 하나 이상의 구성들은:
컨텐츠가 제시될 국가, 컨텐츠가 제시될 지리적 지역, 컨텐츠가 제시될 슬롯의 사이즈, 컨텐츠가 제시될 페이지, 컨텐츠가 제시될 상기 페이지의 언어, 컨텐츠가 제시될 디바이스의 타입, 컨텐츠가 제시될 슬롯의 미디어 타입, 상기 컨텐츠를 제시하는 게시자에 관한 정보, 상기 컨텐츠가 제시될 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되는 네트워크 캐리어(network carrier) 중 하나 이상을 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
상기 하나 이상의 구성들을 식별하는 단계는 어떤 상기 하나 이상의 구성들의 조합들이 상기 적어도 한 명의 입찰자로부터 임계수의 응답들을 받지 못한 콜-아웃들에 대응하는지 식별하기 위해, 상기 하나 이상의 구성들의 서로 다른 조합들에 대한 상기 정보를 시험하는 단계를 포함하는 것을 특징으로 하는 방법. - 동작들을 수행하기 위해 하나 이상의 프로세싱 디바이스들에 의해 실행가능한 명령들을 저장하는 하나 이상의 기계-판독가능 저장 디바이스들로서, 상기 동작들은:
온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 콜-아웃들(call-outs)에 관한 정보를 획득하는 동작, 상기 정보는 일정 기간 동안(time period) 지속되며(spanning), 상기 정보는 상기 기간 내에 어떤 콜-아웃들이 응답을 받지 못했는지 식별하며;
상기 정보에 기초하여, 상기 적어도 한 명의 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는 동작;
상기 적어도 한 명의 입찰자가 상기 하나 이상의 구성들에 연관된 콜-아웃에 응답할 것인지 예측하는 상기 적어도 한 명의 입찰자에 대한 모델을 생성하는 동작과 적어도 한 개의 서버의 메모리에 저장하는 동작;
상기 적어도 한 명의 입찰자에게 전송하기 위한 상기 하나 이상의 구성들을 가지는 추가적인 콜-아웃들의 퍼센티지(percentage)를 결정하기 위해 상기 모델을 사용하는 동작; 그리고
상기 추가적인 콜-아웃들의 퍼센티지를 상기 적어도 한 명의 입찰자에게 전송하는 동작을 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서,
상기 임계수의 응답들은 적어도 한 개의 응답이며, 상기 추가적인 콜-아웃들의 퍼센티지는 0이 아닌 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서, 상기 동작들은:
상기 추가적인 콜-아웃들에 관한 정보를 획득하는 동작, 상기 정보는 어떤 추가적인 콜-아웃들이 적어도 한 개의 응답을 받았는지 식별하며;
상기 추가적인 콜-아웃들에 관한 정보에 기초하여, 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는 동작; 그리고
적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 고려하기 위해 상기 모델을 수정하는 동작을 더 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 12에 있어서,
상기 모델을 수정하는 동작은 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 상기 모델로부터 제거하는 동작을 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서,
상기 모델은 지리적 지역에 걸쳐서 다수의 서버들에 상주하며; 그리고
상기 적어도 한 개의 서버는 상기 지리적 지역 내의 상기 적어도 한 명의 입찰자의 특정 지리적 근처 내에 있으며; 그리고
상기 동작들은 적어도 한 개의 서버에 저장된 상기 모델을 수정하는 동작과, 상기 수정하는 동작에 후속하는 상기 기간의 경과 후에, 상기 다수의 서버들 중 나머지 서버들에 저장된 모델들을 수정하는 동작을 더 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서,
상기 적어도 한 명의 입찰자는 단일의 입찰자인 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서,
상기 적어도 한 명의 입찰자는 공통된 하나 이상 속성들을 가지는 다수의 입찰자들을 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서,
상기 하나 이상의 구성들은:
컨텐츠가 제시될 국가, 컨텐츠가 제시될 지리적 지역, 컨텐츠가 제시될 슬롯의 사이즈, 컨텐츠가 제시될 페이지, 컨텐츠가 제시될 상기 페이지의 언어, 컨텐츠가 제시될 디바이스의 타입, 컨텐츠가 제시될 슬롯의 미디어 타입, 상기 컨텐츠를 제시하는 게시자에 관한 정보, 상기 컨텐츠가 제시될 페이지와 관련된 제품 카테고리, 상기 컨텐츠와 연관된 브랜딩 타입(branding type) 및 상기 컨텐츠가 제시되는 네트워크 캐리어(network carrier) 중 하나 이상을 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 청구항 10에 있어서,
상기 하나 이상의 구성들을 식별하는 동작은 어떤 상기 하나 이상의 구성들의 조합들이 상기 적어도 한 명의 입찰자로부터 임계수의 응답들을 받지 못한 콜-아웃들에 대응하는지 식별하기 위해 상기 하나 이상의 구성들의 서로 다른 조합들에 대한 상기 정보를 시험하는 동작을 포함하는 것을 특징으로 하는 하나 이상의 기계-판독가능 저장 디바이스들. - 시스템으로서,
실행가능한 명령들을 저장하는 메모리; 및
동작들을 수행하기 위해 상기 명령들을 실행하는 하나 이상의 프로세싱 디바이스들을 포함하며, 상기 동작들은:
온라인 컨텐츠 경매의 적어도 한 명의 입찰자로부터 콜-아웃들(call-outs)에 관한 정보를 획득하는 동작, 상기 정보는 일정 기간 동안(time period) 지속되며(spanning), 상기 정보는 상기 기간 내에 어떤 콜-아웃들이 응답을 받지 못했는지 식별하며;
상기 정보에 기초하여, 상기 적어도 한 명의 입찰자로부터 적어도 임계수의 응답들을 받지 못한 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는 동작;
상기 적어도 한 명의 입찰자가 상기 하나 이상의 구성들에 연관된 콜-아웃에 응답할 것인지 예측하는 상기 적어도 한 명의 입찰자에 대한 모델을 생성하는 동작과 적어도 한 개의 서버의 메모리에 저장하는 동작;
상기 적어도 한 명의 입찰자에게 전송하기 위한 상기 하나 이상의 구성들을 가지는 추가적인 콜-아웃들의 퍼센티지(percentage)를 결정하기 위해 상기 모델을 사용하는 동작; 그리고
상기 추가적인 콜-아웃들의 퍼센티지를 상기 적어도 한 명의 입찰자에게 전송하는 동작을 포함하는 것을 특징으로 하는 시스템. - 청구항 19에 있어서, 상기 동작들은:
상기 추가적인 콜-아웃들에 관한 정보를 획득하는 동작, 상기 정보는 어떤 추가적인 콜-아웃들이 적어도 한 개의 응답을 받았는지 식별하며;
상기 추가적인 콜-아웃들에 관한 정보에 기초하여, 적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 하나 이상의 구성들을 식별하는 동작; 그리고
적어도 한 개의 응답을 받은 상기 추가적인 콜-아웃들에 공통되는 상기 하나 이상의 구성들을 고려하기 위해 상기 모델을 수정하는 동작을 더 포함하는 것을 특징으로 하는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/937,454 | 2013-07-09 | ||
| US13/937,454 US20150019348A1 (en) | 2013-07-09 | 2013-07-09 | Determining whether to send a call-out to a bidder in an online content auction |
| PCT/US2014/010432 WO2015005950A1 (en) | 2013-07-09 | 2014-01-07 | Determining whether to send a call-out to a bidder in an online content auction |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160028477A true KR20160028477A (ko) | 2016-03-11 |
| KR101960872B1 KR101960872B1 (ko) | 2019-03-21 |
Family
ID=52277889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167003257A KR101960872B1 (ko) | 2013-07-09 | 2014-01-07 | 온라인 컨텐츠 경매에서 입찰자에게 콜-아웃을 전송할지 결정하기 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US20150019348A1 (ko) |
| JP (2) | JP6271726B2 (ko) |
| KR (1) | KR101960872B1 (ko) |
| WO (1) | WO2015005950A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10459641B2 (en) * | 2014-03-24 | 2019-10-29 | International Business Machines Corporation | Efficient serialization of journal data |
| US10282745B2 (en) * | 2015-05-14 | 2019-05-07 | Google Llc | System and method for isolated simulations for accurate predictions of counterfactual events |
| US20160335292A1 (en) * | 2015-05-15 | 2016-11-17 | John P. Tobin | Hierarchical heat map for fast item access |
| US10714081B1 (en) * | 2016-03-07 | 2020-07-14 | Amazon Technologies, Inc. | Dynamic voice assistant interaction |
| US10531157B1 (en) | 2017-09-21 | 2020-01-07 | Amazon Technologies, Inc. | Presentation and management of audio and visual content across devices |
| US11423434B2 (en) * | 2019-05-31 | 2022-08-23 | Mastercard International Incorporated | Methods and systems for optimizing configuration of a recommendation platform |
| CN111292722B (zh) * | 2019-12-13 | 2023-08-15 | 中国科学院深圳先进技术研究院 | 异步联合架构的模型训练方法、终端、服务器及存储装置 |
| US11270335B2 (en) | 2020-06-17 | 2022-03-08 | Coupang Corp. | Systems and methods for maximizing budget utilization through management of limited resources in an online environment |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063474A (ja) * | 2000-08-22 | 2002-02-28 | Sony Corp | 広告提供システム、コンテンツ供給端末、広告提供装置、広告主端末、コンテンツ視聴装置、広告提供方法及び記録媒体 |
| US20040267612A1 (en) * | 2003-06-30 | 2004-12-30 | Eric Veach | Using enhanced ad features to increase competition in online advertising |
| KR20050038629A (ko) * | 2002-08-22 | 2005-04-27 | 오버처 서비시스, 인코포레이티드 | 컴퓨터 네트워크 상에서 검색 결과의 경매-기반 순위화를수행하는 시스템 및 방법 |
| US20070179846A1 (en) * | 2006-02-02 | 2007-08-02 | Microsoft Corporation | Ad targeting and/or pricing based on customer behavior |
| US20120036023A1 (en) * | 2010-08-04 | 2012-02-09 | Yahoo! Inc. | System for conducting demand-side, real-time bidding in an advertising exchange |
| KR20130051654A (ko) * | 2011-11-10 | 2013-05-21 | 주식회사 유승코퍼레이션 | 스마트폰을 이용한 역경매 방식의 쌍방향 광고 처리방법 및 이를 수행하기 위한 시스템 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060253319A1 (en) * | 2005-05-04 | 2006-11-09 | Microsoft Corporation | Mechanism for allocating advertisements of varying intervals |
| US20080071594A1 (en) * | 2006-08-15 | 2008-03-20 | Joseph Morin | System and method for auctioning product placement opportunities |
| US20080249855A1 (en) * | 2007-04-04 | 2008-10-09 | Yahoo! Inc. | System for generating advertising creatives |
| KR100849041B1 (ko) * | 2007-12-26 | 2008-07-29 | 박연호 | 인터넷상의 광고영역의 점유를 위한 경매시스템 및운영방법 |
| JP4621793B2 (ja) * | 2009-07-21 | 2011-01-26 | 株式会社デジタライズ | 広告配信サーバ |
| US20120303463A1 (en) * | 2011-05-26 | 2012-11-29 | Qualcomm Incorporated | Adcache space auctions based on differential context |
| US10181130B2 (en) * | 2013-06-24 | 2019-01-15 | Adobe Systems Inc. | Real-time updates to digital marketing forecast models |
-
2013
- 2013-07-09 US US13/937,454 patent/US20150019348A1/en not_active Abandoned
-
2014
- 2014-01-07 JP JP2016525338A patent/JP6271726B2/ja active Active
- 2014-01-07 WO PCT/US2014/010432 patent/WO2015005950A1/en active Application Filing
- 2014-01-07 KR KR1020167003257A patent/KR101960872B1/ko active IP Right Grant
-
2017
- 2017-03-24 US US15/469,014 patent/US20170193564A1/en not_active Abandoned
- 2017-12-27 JP JP2017251390A patent/JP6514314B2/ja active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063474A (ja) * | 2000-08-22 | 2002-02-28 | Sony Corp | 広告提供システム、コンテンツ供給端末、広告提供装置、広告主端末、コンテンツ視聴装置、広告提供方法及び記録媒体 |
| KR20050038629A (ko) * | 2002-08-22 | 2005-04-27 | 오버처 서비시스, 인코포레이티드 | 컴퓨터 네트워크 상에서 검색 결과의 경매-기반 순위화를수행하는 시스템 및 방법 |
| KR20060116864A (ko) * | 2002-08-22 | 2006-11-15 | 오버처 서비시스, 인코포레이티드 | 컴퓨터 네트워크 상에서 검색 결과의 경매-기반 순위화를수행하는 시스템 및 방법 |
| US20040267612A1 (en) * | 2003-06-30 | 2004-12-30 | Eric Veach | Using enhanced ad features to increase competition in online advertising |
| KR20060026452A (ko) * | 2003-06-30 | 2006-03-23 | 구글 잉크. | 온라인 광고에서 경쟁을 증가시키기 위한 개선된 ａｄ특성들의 사용 |
| KR100883535B1 (ko) * | 2003-06-30 | 2009-02-13 | 구글 잉크. | 온라인 광고에서 경쟁을 증가시키기 위한 개선된 ａｄ 특성들의 사용 |
| US20070179846A1 (en) * | 2006-02-02 | 2007-08-02 | Microsoft Corporation | Ad targeting and/or pricing based on customer behavior |
| KR20080094782A (ko) * | 2006-02-02 | 2008-10-24 | 마이크로소프트 코포레이션 | 광고 타겟팅 및 가격 결정을 위하여 거래 이력을 사용하는컴퓨터 구현 시스템 및 방법 |
| US20120036023A1 (en) * | 2010-08-04 | 2012-02-09 | Yahoo! Inc. | System for conducting demand-side, real-time bidding in an advertising exchange |
| KR20130051654A (ko) * | 2011-11-10 | 2013-05-21 | 주식회사 유승코퍼레이션 | 스마트폰을 이용한 역경매 방식의 쌍방향 광고 처리방법 및 이를 수행하기 위한 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101960872B1 (ko) | 2019-03-21 |
| WO2015005950A1 (en) | 2015-01-15 |
| JP2016526741A (ja) | 2016-09-05 |
| JP2018077887A (ja) | 2018-05-17 |
| JP6271726B2 (ja) | 2018-01-31 |
| US20170193564A1 (en) | 2017-07-06 |
| US20150019348A1 (en) | 2015-01-15 |
| JP6514314B2 (ja) | 2019-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6600703B2 (ja) | 動的コンテンツアイテム作成 | |
| KR101960872B1 (ko) | 온라인 컨텐츠 경매에서 입찰자에게 콜-아웃을 전송할지 결정하기 | |
| JP6334696B2 (ja) | ハッシュタグおよびコンテンツ提示 | |
| WO2015005946A1 (en) | Packs of inventory | |
| US20110270673A1 (en) | Location-based advertisement conversions | |
| US20140304069A1 (en) | Budget allocation for content distribution | |
| US20180232765A1 (en) | Combining content with a search result | |
| US20180300768A1 (en) | Automatic bid generation | |
| US9626691B2 (en) | Determining a bid modifier value to maximize a return on investment in a hybrid campaign | |
| US20130124301A1 (en) | System and method for dynamic user feedback for display and context advertisements | |
| US20130339333A1 (en) | Providing a modified content item to a user | |
| US11720920B1 (en) | Combining content with a search result | |
| US20140136313A1 (en) | Categorizing content selections | |
| US20150310483A1 (en) | Determining application conversions | |
| US10217132B1 (en) | Content evaluation based on users browsing history | |
| US9830353B1 (en) | Determining match type for query tokens | |
| US20140304063A1 (en) | Determining resource allocation for content distrubution | |
| US20190213636A1 (en) | Distributing content following conversion | |
| US20170249658A1 (en) | Displaying estimation of content viewership | |
| US20160078496A1 (en) | Determining to Provide Content Based on Location of the Content | |
| US20150379566A1 (en) | Throttling content | |
| US9984159B1 (en) | Providing information about content distribution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |