KR101024864B1 - 관측된 사용자 거동을 이용한 광고 품질 추정 - Google Patents

관측된 사용자 거동을 이용한 광고 품질 추정 Download PDF

Info

Publication number
KR101024864B1
KR101024864B1 KR1020087018811A KR20087018811A KR101024864B1 KR 101024864 B1 KR101024864 B1 KR 101024864B1 KR 1020087018811 A KR1020087018811 A KR 1020087018811A KR 20087018811 A KR20087018811 A KR 20087018811A KR 101024864 B1 KR101024864 B1 KR 101024864B1
Authority
KR
South Korea
Prior art keywords
advertisement
user
user actions
selection
given
Prior art date
Application number
KR1020087018811A
Other languages
English (en)
Other versions
KR20080086924A (ko
Inventor
다니엘 라이트
대릴 프리기븐
다이앤 탕
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20080086924A publication Critical patent/KR20080086924A/ko
Application granted granted Critical
Publication of KR101024864B1 publication Critical patent/KR101024864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0257—User requested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

시스템은 하나 이상의 서버에 의해 호스팅되는 제1 광고 세트와 연관된 평점을 취득하며, 상기 평점은 상기 제1 광고 세트의 품질을 나타낸다. 상기 시스템은 상기 제1 광고 세트 중의 광고에 대한 사용자 선택과 연관된 복수의 상이한 제1 사용자 행위를 관측하고, 상기 관측된 제1 사용자 행위 및 상기 취득된 평점을 사용하여 통계 모델을 생성한다. 상기 시스템은 또한, 상기 하나 이상의 서버에 의해 호스팅되는 제2 광고에 대한 사용자 선택과 연관된 제2 사용자 행위를 관측하고, 상기 통계 모델 및 상기 제2 사용자 행위를 이용하여 상기 제2 광고에 대한 품질을 추정한다.

Description

관측된 사용자 거동을 이용한 광고 품질 추정 {ESTIMATING AD QUALITY FROM OBSERVED USER BEHAVIOR}
본 명세서에 기재된 실시예들은 일반적으로 온라인 광고에 관한 것이고, 더욱 구체적으로는 관측된 사용자 거동을 이용하여 온라인 광고의 품질을 추정하는 것에 관한 것이다.
온라인 광고 시스템 호스트 광고는 각종 서비스 및/또는 제품을 광고할 수 있다. 이러한 광고는 광고 시스템에 의해 호스팅되는 문서를 액세스하는 사용자에게 제공될 수 있다. 광고는, 광고되는 서비스 및/또는 제품과 연관된 텍스트, 그래픽 및/또는 이미지를 포함하는 "크리에이티브(creative")를 포함할 수 있다. 광고는 또한 광고되는 서비스(들) 및/또는 제품(들)에 관한 더욱 상세한 정보를 포함 있는 광고 "랜딩 문서(landing document)"로의 링크를 포함할 수 있다. 사용자에게 흥미있는 특정한 크리에이티브가 나타나면, 사용자는 그 크리에이티브를 선택(또는 클릭)할 수 있고, 관련 링크는 사용자의 웹브라우저가 그 크리에이티브 및 링크와 연관된 "랜딩 문서"를 방문하게 한다. 사용자에 의한 이 광고 크리에이티브 및 관련 링크의 선택을 이하 "클릭(click)"이라고 한다.
온라인 광고 시스템은 대개 과금(billing) 및 다른 목적을 위해 광고 클릭을 트래킹한다. 과금을 목적으로 하지 않는 광고 클릭 트래킹의 하나는 광고 품질의 확인을 시도하는 것이다. 클릭률(click through rate, CTR)은 광고 품질을 결정하는데 사용되는 척도(measure)이다. 클릭률은 광고 크리에이티브가 사용자에게 제공된 때에 대해 주어진 광고가 "클릭된" 횟수를 분수로 나타낸 것이다. 하지만 광고의 클릭률은, 랜딩 문서인 광고의 대상(object)이 아니라 광고 크리에이티브에 초점을 맞추기 때문에, 광고 품질에 대해서는 불완전한 척도가다. 광고가 좋은지 나쁜지를 결정하기 위해서는 사용자가 광고를 클릭해야 하고, 때문에 클릭의 발생/미발생은 광고의 품질을 결정하기에 불충분하다. 일부 광고는 우수한 크리에이티브로 인해 많이 클릭되지만, 랜딩 문서는 사용자에게 있어 완전히 불만족스럽거나 무관한 것이다. 다른 광고는 매우 적은 클릭을 받았지만(광고 크리에이티브가 형편없기 때문에), 모든 클릭이 사용자를 만족시켰다. 따라서, 온라인 광고와 연관된 클릭률을 결정하는 기존의 방법은 광고 품질에 대한 불완전한 척도를 제공한다.
본 발명의 일 측면에 따른 방법은, 하나 이상의 서버에 의해 호스팅되는 제1 광고 세트와 연관된 평점(rating)을 취득하는 단계를 포함할 수 있고, 상기 평점은 상기 제1 광고 세트의 품질을 나타낸다. 상기 방법은 또한 상기 제1 광고 세트 중의 광고에 대한 사용자 선택과 연관된 복수의 상이한 제1 사용자 행위를 관측하는 단계와, 상기 관측된 제1 사용자 행위 및 상기 취득된 평점을 사용하여 통계 모델을 생성하는 단계를 포함할 수 있다. 상기 방법 또한 상기 하나 이상의 서버에 의해 호스팅되는 제2 광고에 대한 사용자 선택과 연관된 제2 사용자 행위를 관측하는 단계와, 상기 통계 모델 및 상기 제2 사용자 행위를 이용하여 상기 제2 광고에 대한 품질을 추정하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따른 방법은, 서버에 의해 호스팅되는 제1 광고에 대한 사용자 선택과 연관된 제1 사용자 행위를 관측하는 단계를 포함할 수 있으며, 상기 관측된 제1 사용자 행위는 클릭률(CTR) 이외의 사용자 행위 또는 클릭률(CTR)에 더한 사용자 행위를 포함한다. 상기 방법은 또한 상기 관측된 제1사용자 행위에 기초하여 상기 제1 광고의 품질을 추정하는 단계를 포함할 수 있다.
본 발명의 또 다른 측면에 따른 방법은, 하나 이상의 서버에 의해 호스팅되는 제1 광고에 대한 사용자 선택과 연관된 복수의 측정 가능한 사용자 행위를 관측하는 단계와, 상기 제1 광고와 연관된 알려진 품질을 상기 복수의 측정 가능한 사용자 행위 중 일정한 행위와 관련시키는 단계를 포함할 수 있다. 상기 방법은 또한 제2 광고에 대한 사용자 선택과 연관된 복수의 측정 가능한 사용자 행위 중 일정한 행위의 존재를 관측하는 단계와 상기 복수의 측정 가능한 사용자 행위 중 상기 일정한 행위의 존재에 기초하여 상기 제2 광고의 품질을 추정하는 단계를 포함할 수 있다.
본 발명의 부가적인 측면에 따른 방법은, 광고 그룹에 대한 사용자 선택과 연관된 사용자 행위를 로깅하는(logging) 단계를 포함할 수 있으며, 상기 광고 그룹은 품질 평점과 연관되어 있고, 상기 사용자 행위는 클릭률(CTR) 이외의 사용자 행위 또는 클릭률(CTR)에 더한 사용자 행위를 포함한다. 상기 방법은 또한 상기 기록된 사용자 행위 및 상기 품질 평점을 사용하여 통계 모델을 생성하는 단계와 상기통계 모델을 사용하여 상기 광고 그룹에 포함되지 않은 광고의 품질을 추정하는 단계를 포함할 수 있다.
본 명세서의 포함되어 본 명세서의 일부를 구성하는 첨부도면은 본 발명의 하나 이상의 실시예를 예시하며, 실시예에 대한 상세한 설명과 함께 본 발명을 설명한다.
도 1은 광고 세트와 연관된 알려진 품질 평점 및 관측된 사용자 거동을 이용하여 광고 품질을 추정하기 위해 사용될 수 있는 통계 모델을 구축하는 실시예의 예시적인 개요를 나타낸 도면이다.
도 2는 본 발명의 원리와 일치하는 시스템 및 방법이 구현될 수 있는 네트워크의 예시적인 도면이다.
도 3은 본 발명의 원리와 일치하는 실시예에 따른, 도 2의 클라이언트 또는 서버의 예시적인 도면이다.
도 4는 본 발명의 원리와 일치하는 실시예에 따른 다수의 온라인 광고의 선택과 연관된 사용자 행위에 대한 모델을 구축하는 예시적인 프로세스의 흐름도이다.
도 5 ∼ 도 12는 광고 품질을 추정하는 통계 모델을 구축하는데 사용될 수 있는, 관측된 사용자 거동에 대응하는 각종 예시적인 세션 특징(session feature)을 나타낸 도면이다.
도 13은 본 발명의 원리와 일치하는 실시예에 따른, 사용자에 의해 선택된 광고의 품질을 추정하기 위한 예시적인 프로세스의 흐름도이다.
도 14는 본 발명의 측면과 일치하는 도 13의 예시적인 프로세스를 그래픽으로 나타낸 도면이다.
이하, 첨부도면을 참조하여 본 발명에 대해 상세하게 설명한다. 상이한 도면들에서의 동일한 도면부호는 동일 또는 유사한 구성요소로 취급할 수 있다. 또한 이하의 상세한 설명은 본 발명을 한정하는 것은 아니다.
본 발명의 측면들과 일치하는 시스템 및 방법은, 오직 클릭률(CTR)에만 기초한 종래의 품질 결정 방법에 비해 광고 품질을 더욱 정확하게 추정하기 위해, 온라인 광고에 대한 사용자 선택과 연관된 사용자 거동에 대한 복수의 관측 정보(observation)(예컨대, 실시간 관측 정보 또는 기록된 사용자 로그로부터의 관측 정보)를 사용할 수 있다. 평점이 알려진(known rated) 광고와 연관된 품질 평점, 및 그러한 평점이 알려진 광고의 선택(예컨대, "클릭")과 연관된 대응하는 측정되고 관측된 사용자 거동을 사용하여 통계 모델을 구축할 수 있다. 이 통계 모델은 다음에, 평점이 부여되지 않은(unrated) 광고의 선택과 연관된 관측된 사용자 거동에 기초하여, 평점이 부여되지 않은 광고와 연관된 품질을 추정하는데 사용될 수 있다. 따라서, 이 통계 모델은, 광고 선택과 연관된 사용자 거동에 대한 관측 정보의 세트가 주어지면, 사용자가 선택한 광고에 만족할 가능성을 추정할 수 있다.
"문서(document)"라는 용어는 여기에서 사용되는 경우, 임의의 기계로 판독 가능하고(machine_readable) 기계에 저장 가능한 작업 결과물(machine-storable work product)을 포함하는 것으로 광의로 해석되어야 한다. 문서는, 예를 들면 이메일, 웹 페이지나 사이트, 비지니스 리스팅(business listing), 파일, 파일들의 조합, 다른 파일에 대한 링크가 삽입된(embedded) 하나 이상의 파일, 뉴스 그룹 포스팅, 블로그, 온라인 광고 등을 포함할 수 있다. 문서는 흔히 텍스트 정보를 포함하고, 삽입된 정보(메타 정보, 이미지, 하이퍼링크 등) 및/또는 삽입된 명령어(자바스크립트 등)를 포함할 수 있다. "링크(link)"라는 용어가 여기에서 사용되는 경우, 다른 문서나 동일한 문서의 다른 부분으로부터의 어떤 문서에 대한 임의의 참조 및 어떤 문서로부터의 다른 문서나 동일한 문서의 다른 부분에 대한 임의의 참조를 포함하는 것으로 광의로 해석되어야 한다.
개요
도 1은 관측된 사용자 행위를 이용하여 온라인 광고의 품질을 추정하는 실시예에 대한 예시적인 개요를 나타낸다. 도 1에 도시된 바와 같이, 다수의 평점이 부여된 광고(100-1 ∼ 100-N)(집합적으로 광고(100)라 한다) 각각은 대응하는 문서(105-1 ∼ 105-N)(집합적으로 문서(105)라고 한다)에 연관될 수 있다. 각각의 문서(105)는, 사용자에 의해 제공된 검색 질의에 기초하여 검색 엔진이 실행한 검색에 의한 검색 결과 세트를 포함할 수 있고, 또한 평점이 부여된 광고(100)에 더해 하나 이상의 광고를 포함할 수 있다. 각각의 광고(100)는, 평점이 부여된 광고(100) 각각에 대해 평점을 부여한 평점 부여자(human rater)에 의해 제공된 평점 데이터(120)와 연관될 수 있다. 각각의 문서(105)는 네트워크 내의 서버에 의해 호스팅될 수 있으며, 각각의 문서(105)가 사용자에 의해 액세스될 때, 관련된 공 고(100)가 사용자에게 자동으로 제공될 수 있거나(예컨대, 팝업 광고), 또는 액세스된 문서(105) 내에 광고가 포함될 수 있다. 각각의 광고(100)는 각종 제품이나 서비스를 광고할 수 있다.
광고의 수신에 응답하여, 광고를 수신하는 사용자는 광고 상에 디스플레이된 "크리에이티브"에 기초하여, 광고를 선택(110)한다.(예컨대, 마우스를 사용하여 디스플레이된 광고를 "클릭"한다). 광고 선택(110) 후에, 광고(100) 내에 삽입된 링크를 사용하여 광고를 호스팅하는 서버에 의해, 선택한 사용자에게 광고 랜딩 문서(115)가 제공될 수 있다. 광고 랜딩 문서(115)는 대응하는 광고(110)에서 광고되는 제품(들) 및/또는 서비스(들)에 대한 상세 정보를 제공할 수 있다.
사용자에 의한 각각의 광고 선택(110) 이전에, 중에 및/또는 이후에, "세션" 동안에 각각의 광고 선택(110)과 연관된 세션 특징(125)은 실시간으로 측정되거나 또는 메모리에 로깅될 수 있다. 세션은 특정한 기간보다 긴 중단(break) 없이 발생하는 사용자 행위의 그룹(예컨대, 3시간보다 긴 중단 없이 발생하는 사용자 행위의 그룹)을 포함할 수 있다.
측정된 세션 특징(125)은 임의의 타입의 관측된 사용자의 거동 또는 행위(behavior or action)를 포함할 수 있다. 예를 들면, 세션 특징(125)은 광고 선택(100)의 지속기간(duration)(예컨대, 광고(100)에 대한 "클릭" 지속기간); 주어진 광고 선택 이전 및/또는 이후에, 다른 광고를 선택한 횟수; 주어진 광고 선택 이전 및/또는 이후에, 검색 결과를 선택한 횟수; 주어진 광고 선택 이전 및/또는 이후에, 다른 타입(예컨대, 이미지, 뉴스, 제품 등)의 결과를 선택한 횟수; 주어진 광고 선택(예컨대, 광고 선택 이전 및/또는 이후의 검색 결과)의 이전 및/또는 이후의 문서뷰(document view)(예컨대, 페이지뷰) 횟수; 주어진 광고 선택 이전 및/또는 이후의, 검색 질의의 수; 광고를 보여주는 사용자 세션과 연관된 질의의 수; 동일한 주어진 광고를 반복 선택한 횟수; 또는 주어진 광고 선택이 세션에서의 최후의 선택, 세션에서의 최후의 광고 선택, 주어진 검색 질의에 대한 최후의 선택, 또는 주어진 검색 질의에 대한 최후의 광고 선택이었는지에 대한 표시(indication)를 포함할 수 있다. 위에서 언급하지 않은, 본 발명의 측면과 일치하는, 광고 선택과 연관된 다른 타입의 관측된 사용자 거동도 사용될 수 있다.
대응하는 평점이 부여된 광고(100)에 대한 각각의 광고 선택(110)과 연관된 측정된 세션 특징(125) 및 광고 평점 데이터(120)를 사용하여, 통계 모델(130)을 구축할 수 있다(자세한 것은 후술한다). 통계 모델(130)은 기존의 통계 기술을 사용하여 생성한 확률 모델(probability model)을 포함할 수 있다. 이러한 기술은, 예를 들면 로지스틱 회귀(logistic regression), 회귀 트리(regression tree), 부스티드 스텀프(boosted stump), 또는 기타 기존의 통계 모델링 기술을 포함할 수 있다. 통계 모델(130)은 광고(100)에 대한 사용 선택과 연관된 측정된 세션 특징이 주어지면, 주어진 광고(100)가 우수한지 나쁜지에 대한 가능성을 결정할 수 있다(예컨대, P(good ad│ ad selection) = f (session features)).
통계 모델(130)의 구축에 이어서, 사용자에 의해 선택된 평점이 부여되지 않은 광고의 품질을 추정할 수 있다. 문서(140)와 연관된, 평점이 부여되지 않은 광고(135)는 네트워크 내의 서버에 의해 호스팅될 수 있고, 액세스하는 사용자에게 제공될 수 있다. 평점이 부여되지 않은 광고(135)에 대한 사용자 선택(145)과 연관된 세션 특징(155)은 측정될 수 있으며, 측정 정보(measurement)는 통계 모델(130)에 입력으로서 제공될 수 있다. 통계 모델(130)은 측정된 세션 특징이 주어지면, 평점이 부여되지 않은 광고(135)가 우수한 광고일 가능성을 결정할 수 있으며, 평점이 부여되지 않은 광고(135)의 추정된 품질(160)을 얻을 수 있다. 평점이 부여되지 않은 광고(135)의 추정된 품질(160)은, 예를 들면 다수의 광고들 사이의 순위부여(ranking), 어느 광고를 제공 또는 장려(promote)할 것인지의 결정(예컨대, 주어진 문서에 대한 광고 배치를 다르게 변경) 등과 같은, 각종 목적으로 사용될 수 있다.
예시적인 네트워크 구성
도 2는 본 발명의 원리와 일치하는 시스템 및 방법이 구현될 수 있는 네트워크(200)의 예시적인 도면이다. 네트워크(200)는 네트워크(240)를 통해 다수의 서버(220, 230)와 연결되는 다수의 클라이언트(210)를 포함할 수 있다. 간결하게, 두 개의 클라이언트(210)와 두 개의 서버(220, 230)가 네트워크(240)에 연결되어 있는 것으로 예시하였다. 실제로, 클라언트와 서버는 더 많거나 더 적을 수 있다. 또, 어떤 경우에는 클라이언트가 서버의 기능을 수행할 수 있고, 서버가 클라이언트의 기능을 수행할 수도 있다.
클라이언트(210)는 클라이언트 엔티티들을 포함할 수 있다. 엔티티는, 개인용 컴퓨터, 무선 전화, 개인용 휴대 정보 단말기(personal digital assistant, PDA), 랩톱 컴퓨터, 또는 다른 타입의 계산 또는 통신 디바이스와 같은, 디바이스; 이들 디바이스 중 어느 하나에서 실행되는 스레드(thread)나 프로세스(process); 및/또는 이들 디바이스 중 어느 하나에 의해 실행 가능한 객체(object)로서 규정될 수 있다. 하나 이상의 사용자는 각각의 클라이언트(210)와 연관될 수 있다. 서버(220, 230)는 본 발명의 원리와 일치하는 방식으로 문서를 액세스, 페치(fetch), 수집(aggregate), 처리, 검색, 및/또는 유지하는 서버 엔티티들을 포함할 수 있다. 클라이언트(210) 및 서버(220, 230)는 유선, 무선, 및/또는 광학적 연결을 통해 네트워크(240)에 연결될 수 있다.
본 발명의 원리와 일치하는 실시예에서, 서버(220)는 클라이언트(210)에서 사용자 의해 사용 가능한 검색 엔진 시스템(225)을 포함할 수 있다. 서버(220)는 문서의 코퍼스(corpus)(예컨대, 웹 문서들)를 크롤링(crawling)하고, 문서를 색인화하며, 문서 저장소(repository)에 문서와 연관된 정보를 저장함으로써 데이터 수집 서비스를 구현할 수 있다. 문서 수집 서비스는, 데이터 서버(들)(230)의 운영자와 협정에 의해, 데이터 수집 서비스를 통해 그들의 호스팅된 문서를 배급(distribute)하는 것과 같은, 다른 방법으로 구현될 수 있다. 몇몇 실시예에서, 서버(220)는 클라이언트(210)에서 사용자에게 제공될 수 있는 호스트 광고(예컨대, 크리에이티브, 광고 랜딩 문서)일 수 있다. 검색 엔진 시스템(225)은 클라이언트(210)에서 사용자로부터 수신된, 문서 저장소에 저장된 문서의 코퍼스에 대한 질의를 실행할 수 있으며, 실행된 질의에 관련된 검색 결과의 세트를 사용자에게 제공할 수 있다. 검색 결과의 세트에 더해, 서버(220)는 실행된 검색의 결과와 연관된 하나 이상의 광고 크리에이티브를 클라이언트(210)에서의 사용자에게 제공할 수 있다.
서버(230)는 서버(220)에 의해 크롤링될 수 있는 문서들을 저장하거나 유지할 수 있다. 이러한 문서들은 출판된 뉴스 기사(news story), 제품, 이미지, 사용자 그룹, 지역(geographic area)와 연관된 데이터, 또는 임의의 타입의 데이터를 포함할 수 있다. 예를 들면 서버(230)는, 예를 들면 워싱턴 포스트(Washington Post), 뉴욕 타임즈( New York Times), 타임 매거진(Time magazine), 또는 뉴스위크( Newsweek)와 같은, 임의의 타입의 뉴스 공급원으로부터의 뉴스 기사를 저장하거나 유지할 수 있다. 다른 예로서, 서버(230)는 하나 이상의 제품 제조사에 의해 제공된 제품 데이터와 같은, 특정한 제품과 관련된 데이터를 저장하거나 유지할 수 있다. 또 다른 예로서, 서버(230)는 또한 웹사이트의 페이지와 같은, 다른타입의 웹문서에 관련된 데이터를 저장하거나 유지할 수 있다.
네트워크(240)는 근거리 통신망(Local Area Network, LAN), 광역 통신망(Wide Area Network, WAN), 도시 지역 통신망(Metropolitan Area Network, MAN), 공중 전화 교환망(Pubic Switched Telephone Network, PSTN) 또는 공중 육상 이동 통신망(Public Land Mobile Network, PLMN)과 같은 전화망, 인트라넷, 인터넷, 메모리 다비아스, 또는 네트워크들의 조합을 포함하는, 임의의 타입의 하나 이상의 네트워크를 포함할 수 있다. 공중 육상 이동 통신망(PLMN)는 또한, 예를 들면 일반 패킷 무선 서비스(General Packet Radio Service, GPRS), 셀룰러 디지털 패킷 데이터(Cellular Digital Packet Data , CDPD) 또는 모바일 IP 서브 네트워크(Mobile IP sub-network.)과 같은, 패킷 교환 서브 네트워크(packet-switched sub-network)을 포함할 수 있다.
서버(220, 230)는 별개의 엔티티로 도시되어 있지만, 서버(220, 230) 중 하나가 서버(220, 230) 중 다른 하나가 갖는 기능 중 하나 이상을 수행하는 것이 가능할 수 있다. 예를 들면, 서버(220, 230)는 단일(single) 서버로서 구현될 수도 있다. 또한, 서버(220, 230) 중 단 하나의 서버가 둘 이상의 별개의 (그리고 아마도 분산형의) 디바이스로서 구현될 수도 있다.
예시적인 클라이언트/서버 아키텍처
도 3은 본 발명의 원리와 일치하는 실시예에 따른, 클라이언트(210) 및/또는 서버(220, 230) 중 하나 이상에 대응할 수 있는, 클라이언트 또는 서버 엔티티(이하, "클라이언트/서버 엔티티"라고 한다)의 예시적인 도면이다. 이 클라이언트/서버 엔티티는 버스(310), 프로세서(320), 주 메모리(330), ROM(Read Only Memory)(340), 스토리지 디바이스(350), 입력 디바이스(360), 출력 디바이스(370), 및 통신 인터페이스(380)를 포함할 수 있다. 버스(310)는 클라이언트/서버 엔티티의 구성요소들 사이의 통신을 가능하게 하는 경로를 포함할 수 있다.
프로세서(320)는 명령어를 해석하고 실행할 수 있는, 프로세서, 마이크로프로세서, 또는 처리 로직(processing logic)을 포함할 수 있다. 주 메모리(330)는 프로세서(320)에 의한 실행을 위한 정보 및 명령어를 저장할 수 있는 RAM(Random Access Memory) 또는 다른 타입의 동적 스토리지 디바이스(dynamic storage device)를 포함할 수 있다. ROM(340)은 프로세서(320)가 사용하는 정적인 정보 및 명령어를 저장하는 ROM 디바이스 또는 다른 타입의 정적 스토리지 디바이스(static storage device)를 포함할 수 있다. 스토리지 디바이스(350)는 자기 기록 매체 및/또는 광학 기록 매체와 그에 대응하는 드라이브를 포함할 수 있다.
입력 디바이스(360)는 키보드, 마우스, 펜, 음성 인식(voice recognition) 장치 및/또는 바이오메트릭(biometric) 장치 등과 같은, 조작자가 클라이언트/서버 엔티티에 정보를 입력할 수 있도록 해주는 장치를 포함할 수 있다. 출력 디바이스(370)는 디스플레이, 프린터, 스피커 등을 포함하는, 조작자에게 정보를 출력하는 장치를 포함할 수 있다. 통신 인터페이스(380)는, 클라이언트/서버 엔티티가 다른 디바이스 및/또는 시스템과 통신할 수 있도록 해주는 임의의 송수신기형(transceiver-like) 장치를 포함할 수 있다. 예를 들면, 통신 인터페이스(380)는 네트워크(240)와 같은, 네트워크를 통해 다른 디바이스나 시스템과 통신하는 장치를 포함할 수 있다.
이하에 상세하게 설명하는 바와 같이, 본 발명의 원리와 일치하는 클라이언트/서버 엔티티는 일정한 작업(operation) 또는 프로세스를 수행할 수 있다. 클라이언트/서버 엔티티는 주 메모리(330)와 같은, 컴퓨터로 판독 가능한 매체 내에 저장된 소프트웨어 명령어를 실행하는 프로세서(320)에 응답하여, 이러한 작업들을 수행할 수 있다. 컴퓨터로 판독 가능한 매체는 물리 또는 논리 메모리 디바이스 및/또는 반송파(carrier wave, 搬送波)로서 규정될 수 있다.
소프트웨어 명령어는 데이터 스토리지 디바이스(350)와 같은, 다른 컴퓨터로 판독 가능한 매체로부터, 또는 통신 인터페이스(380)를 통해 다른 디바이스로부터 주 메모리(330) 내로 판독될 수 있다. 주 메모리(330)에 저장된 소프트웨어 명령 어는 프로세서(320)로 하여금 후술하는 작업들 또는 프로세스들을 수행하게 할 수 있다. 다르게는, 소프트웨어 명령어 대신에 또는 소프트웨어 명령어와 결합하여 하드와이어링된 회로(hardwired circuitry)를 사용하여 본 발명의 원리와 일치하는 프로세스들을 실행할 수 있다. 따라서, 본 발명의 원리와 일치하는 실시예들은 하드웨어 회로와 소프트웨어의 어떤 특정 조합으로 한정되는 것은 아니다.
광고 선택과 연관된 사용자 거동에 대한 통계 모델을 구축하기 위한
예시적인 프로세스
도 4는 본 발명의 원리와 일치하는 실시예에 따른 다수의 온라인 광고의 선택과 연관된 사용자 거동에 대한 모델을 구축하는 예시적인 프로세스의 흐름도이다. 해당 기술분야의 당업자라면, 도 4에 예시된 프로세스는 소프트웨어로 구현될 수 있고, 주 메모리(330), ROM(340), 또는 서버(220, 230) 또는 클라이언트(210)의 스토리지 디바이스(350)와 같은 컴퓨터로 판독 가능한 메모리에, 적절히 저장될 수 있다는 것을 알 것이다.
예시적인 프로세스는 평점이 부여된 광고와 연관된 평점 데이터를 취득하는 것으로 개시될 수 있다(블록 400). 평점 데이터는, 각각의 평점이 부여된 광고(예컨대, 제시된 질의에 관련 있는 것)의 품질에 평점을 부여하는 데이터를 생성한 사람을 포함할 수 있다. 그 후, 평점이 부여된 광고에 대한 각각의 선택과 연관된 세션 특징들을 취득할 수 있다(블록 410). 이 세션 특징들은, 각각의 광고 임프레션(impression)을 사용자에게 표시하기 이전에, 표시하는 동안에, 그리고 표시한 후에 일어난, 주어진 사용자 세션 동안에 실제 사용자의 행위를 관측함으로써 실시 간으로 취득될 수 있거나, 또는 각각의 광고 임프레션을 사용자에게 표시하기 이전에, 표시하는 동안에, 및/또는 표시한 후에 데이터베이스에 저장되어 있던 세션 특징(즉, 사용자 거동 및 행위)의 기록된 로그로부터 취득될 수 있다. 취득된 세션 특징(125)은 임의의 타입의 관측된 사용자 거동을 포함할 수 있다. 각각의 세션 특징(125)은 주어진 광고에 대한 사용자 만족의 간접적인 측정에 대응할 수 있다. 세션 특징(125) 중 어떤 것들은 세션 특징(125) 중 다른 것들에 대해 어떻게 상이한 사용자들이 상이한 값을 가지는지를 결정할 때의 인자(fator)일 수 있다(예컨대, 전화접속 연결(dial-up connection) 을 사용하는 사용자는 고속 인터넷 연결을 가지는 사용자보다 광고 선택 지속기간이 더 길 수 있다).
세션 특징(125)은 광고 선택의 지속기간(예컨대, 광고에 대한 "클릭"의 지속기간); 주어진 광고 선택 이전 및/또는 이후에, 다른 광고를 선택한 횟수; 주어진 광고 선택 이전 및/또는 이후에, 검색 결과를 선택한 횟수; 주어진 광고 선택 이전 및/또는 이후에, 다른 결과를 선택한 횟수; 주어진 광고 선택의 이전 및/또는 이후의 문서뷰(예컨대, 페이지뷰) 횟수; 주어진 광고 선택 이전 및/또는 이후의, 검색 질의의 수; 광고를 보여주는 사용자 세션과 연관된 질의의 수; 동일한 주어진 광고를 반복 선택한 횟수; 또는 주어진 광고 선택이 세션에서의 최후의 선택, 세션에서의 최후의 광고 선택, 주어진 검색 질의에 대한 최후의 선택, 또는 주어진 검색 질의에 대한 최후의 광고 선택이었는지에 대한 표시(indication)를 포함할 수 있지만, 이것에 한정되는 것은 아니다. 도 5 ∼ 도 12는, 본 발명의 측면들과 일치하는, 세션 특징으로서 측정될 수 있는 사용자 거동의 여러 예시적인 타입을 나타낸 다.
도 5는 광고 선택에 대한 지속 시간을 세션 특징(500)으로서 측정하는 것을 나타낸다. 도 5에 도시된 바와 같이, 문서(510)과 연관된 광고(505)는 사용자에게 제공될 수 있다. 광고(505)의 수신에 응답하여, 사용자는 광고(505)를 선택할 수 있고, 광고 랜딩 문서(520)가 사용자에게 제공될 수 있다. 광고 선택의 지속기간(525)(예컨대, 광고의 선택에서부터 다음 사용자 행위까지의 기간)이 세션 특징(500)으로서 측정될 수 있다.
도 6은 특정한 광고 선택 이전 및/또는 이후에, 다른 광고를 선택한 횟수를 세션 특징(600)으로서 측정하는 것을 나타낸다. 광고 N(610)에 대한 특정한 선택(605)과, 이 광고 선택(605)에 응답하여 광고 랜딩 문서(615)의 제공이 주어지면, 이전의 광고 랜딩 문서(630)들의 제공에 대응하는, 광고 N-x(625)에 대한 하나 이상의 이전의 광고 선택(620)의 횟수를 측정할 수 있다. 추가적으로, 또는 대안으로, 광고 N(610)에 대한 특정한 선택(605)이 주어지면, 다음의 광고 랜딩 문서(645)에 대응하는, 광고 N+x(640)에 대한 하나 이상의 다음의 광고 선택(635)의 횟수를 측정할 수 있다. 특정한 광고 선택 이전 및/또는 이후에, 다른 광고 선택의 횟수를 세션 특징(600)으로서 측정할 수 있다.
도 7은 특정한 광고 선택 이전 및/또는 이후에, 검색 결과를 선택한 횟수를 세션 특징(700)으로서 측정하는 것을 나타낸다. 광고 N(710)에 대한 특정한 선택(705)과, 이 광고 선택(705)에 응답하여 광고 랜딩 문서(715)의 제공이 주어지면, 광고 선택(705) 이전에 사용자가 본 검색 결과 문서(720)의 수를 세션 특 징(700)으로서 측정할 수 있다. 사용자에 의해 제시된(issued) 검색 질의를 사용한 검색 실행에 기초한 검색 결과 문서를 사용자에게 제공할 수 있다. 추가적으로 또는 대안으로, 광고 선택(705) 이후에 사용자가 본 검색 결과 문서(725)의 수를 세션 특징(700)으로서 측정할 수도 있다.
도 8은 특정한 선택 이전 및/또는 이후에, 사용자가 본 문서의 수를 세션 특징(800)으로서 측정하는 것을 나타낸다. 광고 N(810)에 대한 특정한 선택(805)과, 이 광고 선택(805)에 응답하여 광고 랜딩 문서(815)의 제공이 주어지면, 광고 선택(805) 이전에 사용자가 본 검색 문서(820)(예컨대, 페이지뷰)의 수를 세션 특징(800)으로서 측정할 수 있다. 추가적으로 또는 대안으로, 광고 선택(805) 이후에 사용자가 본 문서(825)(예컨대 페이지뷰)의 수를 세션 특징(800)으로서 측정할 수도 있다.
도 9는 특정한 광고 선택 이전 및/또는 이후에, 사용자에 의해 제시된 검색 질의의 수를 세션 특징(900)으로서 측정하는 것을 나타낸다. 광고(910)에 대한 특정한 선택(905)과, 이 광고 선택(905)에 응답하여 광고 랜딩 문서(915)의 제공이 주어지면, 광고 선택(905) 이전에 사용자에 의해 제시된 검색 질의(925)의 수를 세션 특징(900)으로서 측정할 수 있다. 추가적으로 또는 대안으로, 광고 선택(905) 이후에 사용자에 의해 제시된 검색 질의(925)의 수를 세션 특징(900)으로서 측정할 수도 있다.
도 10은 광고를 디스플레이하는 특정한 광고 선택을 포함하는 세션 중의, 검색 질의 수를 세션 특징(1000)으로서 측정하는 것을 나타낸다. 특정한 선택에 대 한 세션이 주어지면, 대응하는 광고(1010-1 ∼ 1010-N)의 디스플레이를 결과로서 얻는 검색 질의(1005)의 수를 측정할 수 있다. 검색 결과의 수는 세션 특징(1000)으로서 측정될 수 있다. 광고의 디스플레이를 결과로서 얻는 검색 질의(1005)의 수는 주어진 사용자 세션의 영리적 성질(commercial nature)을 나타낼 수 있다.
도 11은 사용자에 의한 동일 광고의 반복 선택 횟수를 세션 특징(1100)으로서 측정하는 것을 나타낸다. 도 11에 나타낸 바와 같이, 다수의 문서(1110-1 ∼ 1110-N)과 연관될 수 있는 광고(1105)는 사용자에게 한 번 이상 제공될 수 있다. 광고(1105) 각각의 수신에 응답하여, 사용자는 광고(1105)를 선택(1115)할 수 있고, 광고 랜딩 문서(1120)는 반복되는 사용자 선택 때마다 사용자에게 제공될 수 있다.
도 12는 광고 선택이 주어진 검색 질의에 대한 최후의 광고 선택이었는지, 또는 광고 선택이 사용자 세션에 대한 최후의 광고 선택이었는지를 세션 특징(1200)으로서 결정하는 것을 나타낸다. 도 12에 도시된 바와 같이, 주어진 세션(1210) 동안에 사용자는 검색 질의(1205)를 제시할 수 있고, 검색 질의(1205)의 제시에 이어서 하나 이상의 광고(1215)가 사용자에게 제공될 수 있다. 광고 선택(1220)이 검색 질의(1205)에 대한 최후의 광고 선택인지를 결정할 수 있다. 따라서, 검색 질의(1205)를 제시하였던 사용자에 의해 다수의 광고가 선택되었다면, 검색 질의(1205)에 대한 최후의 광고 선택만이 식별될 수 있다. 또한 광고 선택(1220)이 세션(1210) 동안의 최후의 광고 선택이었는지도 결정할 수 있다. 그러므로, 만약 주어진 세션 동안에 다수의 광고 선택이 사용자에 의해 이루어졌다면, 세션 동안의 최종 광고 선택만이 식별될 수 있다.
도 5 ∼ 도 12에 도시되지 않은, 본 발명의 원리와 일치하는, 다른 타입의 사용자 거동도 세션 특징으로서 사용될 수 있다. 아래의 리스트는 다른 예시적인 세션 특징들에 대한 다수의 예이다.
1) 광고 선택 지속기간 대신에, 주어진 사용자의 평균 광고 지속기간에 대한 주어진 광고 선택 지속기간의 비(ratio)를 세션 특징으로서 사용할 수 있다. 주어진 사용자는 다른 사용자들보다 더 빨리 읽을 수 있고, 따라서 다른 사용자와는 다른 시간량으로 주어진 광고에 머무를 수 있다.
2) 평균 광고 선택 지속기간에 대한 주어진 광고 선택 지속기간의 비는 특정한 사용자가 보통 이상으로 오래 머문 어떤 광고를 식별할 수 있도록 해준다.
3) 사용자에 의한 모든 선택(예컨대, 검색 결과 선택 또는 광고 선택)에 대한 주어진 광고 선택 지속기간의 비.
4) 주어진 세션 중에 사용자가 선택한 횟수. 사용자는 주어진 광고를 방문할 수 있고, 흥미있는 것을 발견할 수 있으며, 다른 광고 및/또는 검색 결과를 방문할 수 있으며, 그런 후 주어진 광고가 가장 흥미있었기 때문에 다시 주어진 광고로 돌아올 수 있다.
5) 광고 결과 선택에서부터 사용자가 다른 검색 질의를 제시할 때까지의 시간의 지속. 이 시간의 지속이 짧을수록 선택에 의해 도달한 광고 결과에 덜 만족하였을 가능성이 높다(즉, 사용자는 질의를 세밀하게 할 필요를 이내 느낀다).
6) 광고 결과 선택에서부터 사용자가 다른 검색 질의를 제시할 때까지의 다 른 모든 시간과 비교해서,주어진 광고 결과 선택에서부터 사용자가 다른 검색 질의를 제시할 때까지의 시간의 비.
7) 주어진 광고 결과에 대해서가 아닌, 검색 질의에 대한 다른 결과 보기에 대해, 주어진 광고 결과 선택에 소비한 시간. 이 세션 특징은 이 질의에 대해 전반적으로 얼마나 우수한 결과이었는지에 대한 표시(indication)를 제공한다.
8) 다른 모든 광고 선택 지속기간에 대한 주어진 광고 선택 지속기간의 비. 사용자가 다른 광고에 대해 평균적으로 소비한 시간에 비해 주어진 광고에 더 오랜 시간을 소비하면, 사용자는 이 광고에 더 많이 만족할 것이다.
9) 주어진 검색 결과 또는 광고 선택 이전에 주어진 세션 중에 발생하는 검색(즉, 고유의 제시된 검색 질의)의 횟수.
10) 주어진 검색 결과 또는 광고 선택 이후에 주어진 세션 중에 발생하는 검색의 횟수. 검색이 많을수록, 주어진 검색 이후에 주어진 선택의 결과에 대해 사용자가 만족할 가능성이 작다.
11) 검색보다는, 주어진 선택 이전에 주어진 검색 질의에 대해 발생하는 결과 페이지뷰의 수. 이것은 질의(즉, 고유의 질의에 대해서만) 내에서, 또는 전체 세션 동안에 계산될 수 있다.
12) 검색보다는, 이 선택 이후에 주어진 검색 질의에 대해 발생하는 검색 결과 페이지뷰의 수. 이것은 질의(즉, 고유한 질의에 대해서만) 내에서, 또는 전체 세션 동안에 계산될 수 있다. 선택 이후의 더 많은 페이지뷰는 만족의 부족을 나타낼 수 있다.
13) 세션 중에 발생하는 페이지뷰의 총수.
14) 세션 중에 광고를 보여주는 페이지뷰의 수. 이것은 그 세션의 영리성(commerciality)에 관한 몇 가지 개념(notion)을 제공한다. 더욱 영리적인 세션일수록, 사용자가 광고 결과에 만족할 가능성이 높다.
15) 세션 중에 발생하는 페이지뷰의 총수에 대한 세션 중에 광고를 보여주는 페이지뷰의 수의 비. 높은 비는 사용자가 제출한 질의가 매우 영리적이라는 것을 의미한다.
16) 세션 중에 보여준 광고 임프레션의 총수. 이것은 세션의 영리성에 대한 다른 척도(measure)이다.
17) 광고를 보여주는 질의마다의 광고를 보여준 평균 횟수, 세션의 영리성에 대한 다른 측도이다.
18) 질의 스캔 시간 - 사용자가 질의에 대한 결과를 본 때부터 무언가 다른 일(광고, 검색 결과, 다음 페이지, 새로운 질의 등을 클릭) 한 때까지의 시간. 시간의 길이는 그 페이지가 전체로서 얼마나 우수한지를 나타낼 수 있을 것이다. 시간이 길수록 덜 우수한 페이지이다(사용자는 클릭할 만한 가치있는 뭔가를 찾기 위해 해당 페이지를 더 많이 읽어야 한다).
19) 주어진 질의 스캔 시간과 모든 다른 질의 스캔들 사이의 비.
20) 주어진 검색에 대해 발생된 선택(예컨대, 클릭)의 총수. 이들 선택은 단지 광고 선택이 아니라 모든 타입의 선택(예컨대, 검색, 원박스(onebox), 광고)을 포함한다.
21) 주어진 광고 선택 이전에 검색에 대해 발생한 선택의 총 횟수.
22) 주어진 광고 선택 이후에 검색에 대해 발생한 선택의 총 횟수.
23) 검색에 대해 발생한 광고 선택의 총 수. 페이지에 대한 광고의 수와 상관될 필요가 있다.
24) 주어진 광고 선택 이전에 검색에 대해 발생한 광고 선택의 총 횟수.
25) 주어진 광고 선택 이후에 검색에 대해 발생한 광고 선택의 총 횟수.
26) 문서상의 광고 위치가 문서상의 주어진 광고의 위치 위에 배치되어 있었던, 검색에 대해 발생한 광고 선택의 총 횟수.
27) 문서상의 광고 위치가 문서상의 주어진 광고의 위치 아래에 배치되어 있었던, 검색에 대해 발생한 광고 선택의 총 횟수.
28) 주어진 광에 없는 검색에 대해 발생한 광고 선택의 총 횟수.
29) 검색에 대해 발생한 검색 결과 선택의 총 횟수.
30) 주어진 광고 선택 이전에 검색에 대해 발생한 검색 선택의 총 횟수.
31) 주어진 광고 선택 이후에 검색에 대해 발생한 검색 결과 선택의 총 횟수.
32) 세션 중에 발생한 긴 지속기간의 검색 결과 선택의 총 횟수.
33) 세션 중에 발생한 짧은 지속기간의 검색 결과 선택의 총 횟수.
34) 세션 중에 최후에 발생한 검색 결과 선택의 총 횟수. 주어진 사용자는 다음 행위 없이, 검색 결과를 클릭함으로써 세션을 종료할 수 있거나, 또는 다른 방식(예컨대, 광고 결과 클릭; 질의를 제시하고 클릭 않음 등)으로 세션을 종료할 수도 있다.
35) 검색에 대해 발생한 비검색(non-search) 결과 및 비광고(non-ad) 선택의 총 횟수.
36) 이 광고 선택으로부터의 전환(;conversion)이 있었는지에 대한 표시.
37) 사용자의 연결 속도에 대한 표시(예컨대, 전화접속, 케이블, DSL)
38) 사용자가 어느 국가(country)에 위치하고 있는지에 대한 표시. 문화가 다르면 동일한 광고에 대해 사용자가 다르게 반응하거나, 다른 문화적 반응을 하거나, 또는 사이트에 머무는 시간이 다를 수 있다.
39) 사용자가 세계의 어느 지역(예컨대, APAC = 아시아 태평양)에 위치하고 있는지에 대한 표시.
40) 주어진 광고에 대한 키워드(keyword)가 검색 질의와 정확히 일치하는지(즉, 질의와 동일한 용어를 모두 가지는지), 또는 한 단어 누락되어 있는지, 한 단어 더 많은지, 또는 고쳐쓴 용어를 가지는지. 대개, 광고의 품질은 변할 수 있고(더 정확하게 일치할수록, 품질이 더 높다), 키워드 대조(keyword matching)는 광고를 분할하고, 다른 일치하는 타입과 별개로 광고가 우수한지 나쁜지를 예측할 수 있다.
41) 주어진 광고에 대해 계산된 클릭률(CTR)의 표시.
42) 주어진 광고 선택에 대해 광고자가 지불하는 클릭당 비용(cost per click)은 얼마인가? 광고가 우수할 가능성은 광고주가 얼마나 많이 지불하는가에 달려있다(많이 지불할수록 품질이 더 높다).
43) 광고주가 지불하려는 클릭당 비용은 얼마이었나? 경매 시에, 광고자 입찰은 광고 순위를 설정하는데 사용될 수 있으며, 주어진 광고/광고자보다 순위가 낮은 광고/광고자는, 다음으로 순위가 높은 광고/광고자가 실제로 지불하는 가격을 설정한다.
44) 유효(effective) CPC * 예측(predicted) CTR. 또는
45) 경매(bid) CPC * 예측(predicted) CTR.
세션 특징들에 대해 전술한 많은 예는 통계 모델에 사용될 수 있다. 하지만, 해당 기술분야의 당업자는 다른 세션 특징들을 대안으로 또는 전술한 세션 특징들 중 어느 것과 함께 사용할 수 있다는 것을 알 것이다.
도 4로 돌아가서, 광고 선택과 연관된 측정된 세션 특성이 주어지면, 선택된 광고 각각이 우수한 품질의 광고일 확률(probabilty)을 결정하는 통계 모델을 생성할 수 있다(블록 420). 예를 들면, 로지스틱 회귀(logistic regression)와 같은, 기존의 통계 기술이 본 발명의 원리에 합치하는 통계 모델을 생성하기 위해 사용될 수 있다. 회귀(regression)는 결과 변수(종속 변수 y)를 하나 이상의 예측자(predictor)(독립 변수 x1, x2 등)에 관련시키는 함수를 찾아내는 것을 포함한다. 단순한 선형 회귀은 아래와 같은 형태의 함수를 가정하고,
Figure 112008055064990-pct00001
c0, c1, c2 등의 값을 구한다(c0는 "절편(intercept)" 또는"상수항"이라고 한다). 본 발명의 측면에서 볼 때, 각각의 예측자 변수(predictor variable) x1, x2, x3 등은 광고를 선택하는 동안에 측정된 상이한 세션 특징에 대응한다. 로지스틱 회귀은 통상의 회귀의 변형이며, 본 발명의 측면에서 볼 때 우수한 광고 또는 나쁜 광고와 같이, 관측된 결과가, 보통 어떤 결과 이벤트의 발생 또는 미발생(occurrence or non-occurrence)을 나타내는 두 개의 값(보통 각각 0 또는 1로 부호화된다)으로 한정될 때 유용하다.
로지스틱 회귀는 발생 확률을 독립 예측 변수들의 함수로서 예측하는 식을 얻는다. 로지스틱 회귀는, 음의 무한대에서 양의 무한대 사이의 임의의 y값을 얻을 수 있는 선형 회귀(linear regression)(위의 식 (1))를 취하고, 그것을 0(y가 음의 무한대에 접근할 때)과 1(y가 양의 무한대에 접근할 때) 사이의 P값을 얻는 아래의 함수를 사용하여 변환함으로써 특수한 s자형 곡선에 적합하다:
Figure 112008055064990-pct00002
식 (1)을 식(2)에 대입하면, 우수한 광고의 확률은 다음과 같이 된다:
Figure 112008055064990-pct00003
위 식에서, Cg0는 방정식의 상수이고, Cgn은 세션 특징 예측자 변수 xn의 계수이다. 유사하게, 나쁜 광고의 확률은 다음에 의해 결정된다:
Figure 112008055064990-pct00004
위 식에서, Cb0는 방정식의 상수이고, Cbn은 세션 특징 예측자 변수 xn의 계수 이다.
어떤 세션 특징들이 우수 또는 나쁜 품질의 광고와 상관되어 있는지를 결정하기 위해, 통계 모델이 적합(fit)한지를 테스트할 수 있다. 만약 로지스틱 회귀 기술이 통계 모델을 결정하는데 사용된다면, 로지스틱 회귀의 목적은 가장 경제적인 모델(parsimonious model)을 사용하여 각각의 경우에 대한 결과를 정확하게 예측하는 것이다. 이 목적을 달성하기 위해, 종속 y 변수의 예측에 유용한 모든 예측자 변수(예컨대, 세션 특징들)를 포함하도록 생성된다. 통계 모델을 구축하기 위해, 로지스틱 회귀은 각 계수(cn)를 가산하거나 제거하고, 단계별 회귀(stepwise regression)을 호출한 후에 그 모델이 적합한지를 테스트할 수 있다. 예를 들면, 모델 구축이 완전하거나(full) 포화된(saturated) 모델 및 예측자 변수들을 사용하여 개시되고, 그들의 계수가 반복 프로세스(iterative process) 시에 모델로부터 제거되는 경우에, 단계적 후진 회귀(backward stepwise regression)을 사용할 수 있다.
모델이 여전히 데이터에 충분히 적합하도록 보장하기 위해, 각 변수를 제거한 후에 모델이 적합한지를 테스트한다. 모델에서 더 이상 제거할 예측자 변수가 없으면, 모델 구축은 완료된다. 측정된 세션 특징에 각각 대응하는 모델 내에 남아 있는 예측자 변수들은 우수한 광고나 나쁜 광고와 서로 관련되어 있는 세션 특징을 식별한다. 따라서, 로지스틱 회귀은 상이한 예측자 변수들 사이의 관계 및 강도에 대한 정보(knowledge)를 제공할 수 있다. 모델에 포함 또는 모델로부터의 제거하기 위해, 계수들 및 그들의 대응하는 예측자 변수들의 중요성을 테스트하는 프로세스는, 몇몇 다른 공지의 기술을 포함한다. 이러한 기술은 왈드 테스트(Wald test), 우도비 테스트(Likelihood-Ratio test), 또는 호스머 렘쇼 적합도 테스트(Hosmer-Lemshow Goodness of Fit test)를 포함할 수 있다. 계수 테스트 기술은 해당 기술분야에 공지되어 있으므로, 여기서는 자세하게 설명하지 않는다. 다른 실시예에서, 기존의 교차 검증(cross validation) 및 독립 트레이닝(independent training) 기술을 종래의 추정 기술 대신에 사용하여, 전술한 바와 같은 회귀 계수를 테스트할 수 있다.
로지스틱 회귀에 대신하거나 이에 더해, 다른 기존의 통계 기술을 사용하여 본 발명의 원리와 일치하는 통계 모델을 생성할 수 있다. 예를 들면, "부스팅(boosting)" 기술을 사용한 "스텀프(stump)"를 사용하여 통계 모델을 생성할 수있다. 해당 기술분야의 당업자라면, "부스팅"은 다른 약한 통계 모델(weak statistical model)을 계속하여 개선함으로써 통계 모델을 구축하는 기계 학습 기술(machine learning technique)이라는 것을 알 것이다. 기본 개념은 동일한 알고리즘을 전체 트레이닝 데이터 세트에 반복하여 적용하는 것이지만, 각 스테이지마다 트레이닝 데이터에 가중치(weight)를 다르게 부여한다. 가중치가, 스테이지 k까지 모델에 의해 잘 맞는(well-fit) 경우에 스테이지 k+1에는 상대적으로 작은 가중치를 주고, 스테이지 k까지 모델에 의해 잘 맞지 않은(ill-fit) 경우에 스테이지 k+1에는 상대적으로 큰 가중치를 준다.
스텀프는 각 스테이지에 적용될 수 있는 약한 통계 모델이다. 스텀프는 루 트 노드(root node)와 케이스(case)들을 두 개의 상호 배타적인 서브세트(subset)(즉, 리프 노드(leaf node)로 분리하는 이진 규칙(binary rule)으로 구성되는 2 리프 분류 트리(2-leaf classification tree )이다. 규칙은 "ClickDuration(클릭 지속기간) < 120sec"과 같은 형태를 취할 수 있고, 이 규칙을 충족시키는 ClickDuration을 가지는 모든 케이스는 하나의 리프 노드에 들어가고, 규칙을 충족시키지 못하는 케이스들은 다른 리프 노드에 들어간다. 다른 규칙은 "AdSelection was the last ad selection(광고 선택이 최후의 광고 선택이었다)"와 같은 형태를 취할 수 있으며, 이 규칙을 충족시키는 AdsSelection을 가지는 모든 케이스는 하나의 리프 노드에 들어가고, 이 규칙을 충족시키지 못하는 케이스들은 다른 리프 노드에 들어간다.
각종 알고리즘을 사용하여, 예를 들면 기울기 기반 방법(gradient-based method)을 포함하는 "부스티드 스텀프" 모델을 적응시킬 수 있다. 이러한 알고리즘들은 다음과 같이 진행될 수 있다: 가중치의 세트가 주어지면, 케이스들을 두 개의 리프로 분할하는 세션 특징들로부터 생성된 가능한 모든 이진 의사결정 규칙 중에서 알고리즘과 연관된 (가중치가 부여된) 손실 함수를 최소화하는 규칙을 선택한다. 손실 함수의 몇몇 예는 최우법(maximum likelihood method)에 대응하는 "베르누이 손실(Bernoulli loss)"과, 잘 알려진 ADA부스트법(ADABoost method)에 대응하는 "지수 손실(exponential loss)"이다. 이 스테이지에서의 최선의 이진 의사결정 규칙을 선택한 후에, 가중치를 다시 계산하고, 프로세스를 반복하여, 새로운 (가중치가 부여된) 손실 함수를 최소화하는 최선의 이진 규칙을 선택할 수 있다. 이 프로세스는 여러 번(예컨대, 수백 번 내지 수천 번) 반복될 수 있으며, 과적합(over fitting)을 방지하기 위해 (교차 검증과 같은) 리샘플링(resampling) 기술을 사용하여 중단 규칙(stop rule)을 규정할 수 있다.
부스티드 스텀프는 부가적인 로지스틱 회귀 모델을 근사시키기 위해 나타났고, 그에 따라 각각의 특징은 적합한 모델(fitted model)에 대한 부가적인 비선형 기여분(nonlinear contribution)(로지스틱 스케일)을 만든다. 스텀프들의 순서(sequence)는 세션 특징들과 광고가 "우수" 평점을 부여받을 확률 사이의 관계를 규정한다. 순서는 통계 모델에 의해 아래와 같이 표현될 수 있다:
Figure 112008055064990-pct00005
위 식에서, 세션 특징 x가 k 번째 이진 규칙을 충족시키면 Bk(x) = 1이다. 또는 세션 특징 x가 k 번째 이진 규칙을 충족시키지 않으면 Bk(x) = 0이다. 계수 ck, k = 1, ..., 은 알고리즘의 부산물(by-product)이고, k 번째 이진 규칙에서의 우수한 광고의 오즈(odds)와 관계가 있다. 실제로, 세션 특징 x가 주어지면, 각각의 이진 규칙이 추정될 수 있고, 우수한 광고의 예측 확률(predicted probability)을 구하기 위해 대응하는 계수들이 축적되었다.
이상에서 통계 모델을 구축하기 위한 예시적인 기술로서 로지스틱 회귀 및 부스트드 스텀프를 설명하였지만, 해당 기술분야의 당업자는, 예를 들면 회귀 트리와 같은 기존의 다른 통계 기술을 사용하여 본 발명의 원리와 일치하는 통계 모델을 생성할 수도 있다는 것을 알 것이다.
예시적인 광고 품질 추정 프로세스
도 13은 본 발명의 원리와 일치하는 실시예에 따른, 사용자에 의해 선택된 광고의 품질을 추정하기 위한 예시적인 프로세스의 흐름도이다. 해당 기술분야의 당업자라면, 도 13에 예시된 프로세스는 소프트웨어로 구현될 수 있으며, 주 메모리(330), ROM(340), 서버(220 또는 230) 또는 클라이언트(210)의 스토리지 디바이스(350)와 같은 컴퓨터로 판독 가능한 메모리에 적절히 저장될 수 있다는 것을 알 것이다.
예시적은 프로세스는 평점이 부여되지 않은 광고의 선택과 연관된 세션 특징을 취득하는 것으로 개시될 수 있다(블록 1300). 세션 특징은 사용자가 광고를 선택하는 동하는 동안에 실시간으로 측정될 수 있거나, 광고 선택과 연관된 사용자 거동에 대한 로그로부터 취득될 수 있다. 평점이 부여되지 않은 광고는, 도 4에 사용된 광고 평점과 같은, 사람이 생성한 그들과 연관된 어떠한 품질 평점도 가지지 않을 수 있다. 도 14에 도시된 바와 같이, 사용자는 문서(1410)(예컨대, 검색 결과 문서)와 연관된 평점이 부여되지 않은 광고(1405)를 선택(1400)할 수 있다. 평점이 부여되지 않은 광고(1405)의 선택에 응답하여 광고 랜딩 문서(1415)를 사용자에게 제공할 수 있다. 취득된 세션 특징들은 블록 410에 대하여 전술한 바와 같이, 광고의 선택과 연관된 임의의 타입의 사용자 거동을 포함할 수 있다. 도 14에 도시된 바와 같이, 평점이 부여되지 않은 광고(1405)의 선택(1400)과 연관된 세션 특징(1420)들이 측정될 수 있다. 전술한 블록 420에서 생성된 통계 모델, 및 측정된 세션 특징을 사용하여 평점이 부여되지 않은 광고의 스코어(score)를 결정할 수있다(블록 1310). 전술한 블록 410 및 블록 420에서 생성된 통계 모델은, 해당 광고의 사용자 선택과 연관된 측정된 세션 특징이 주어지면, 우수한 광고의 확률을 나타내는 확률 함수(예컨대, 식 (3) 또는 식(5))를 제공할 수 있다. 그러므로, 측정된 세션 특징의 값들을 식(3) 또는 식 (5)에 입력하여 선택된 광고가 우수할 확률값을 얻을 수 있다. 예를 들면, 세션 특징들의 값 x1, x2, x3 및 x4를 식(3) 또는 식(5)에 대입하여 확률값 P(good ad│session features x1, x2, x3,x4) = 0.4를 얻을 수 있다. 그 후 확률값 P는 품질 스코어와 동등하게 생각될 수 있다. 예를 들면, 확률값은 확률값의 선형 함수를 사용하여 품질 스코어와 동등하게 생각될 수 있다. 일례로서, 품질 스코어는 확률값과 같게 설정될 수 있거나, 또는 확률값 P의 몇배(예컨대, 확률값 P의 10배)로 설정될 수 있다. 하지만 해당 기술분야의 당업자는, 다른 함수관계를 사용하여 확률값을 선택된 광고와 연관된 품질 스코어로 변환할 수 있음을 인지할 것이다. 도 14에 도시한 바와, 측정된 세션 특징(1420)들을 통계 모델(1425)에 입력할 수 있으며, 통계 모델(1425)은 평점이 부여되지 않은 광고(1425)에 대한 품질 스코어(1430)를 출력할 수 있다.
그 후, 결정된 스코어에 기초하여 선택된 광고의 품질을 추정할 수 있다(블록 1320). 예를 들면, 값 0 내지 X까지의 품질 스코어는 낮은 품질 스코어를 나타낼 수 있고, 값 X 내지 X+Y 까지의 품질 스코어는 높은 품질 스코어를 나타낼 수 있는 것과 같이, 품질 스코어의 범위를 사용하여 선택된 광고의 품질을 추정할 수 있다. 결정된 품질 스코어에 기초하여 선택된 광고의 품질을 추정하기 위해, 본 발명의 원리와 일치하는 다른 방법들을 사용할 수도 있다.
다수의 사용자에 의한 다수의 광고 선택에 대해, 블록 1310에서 결정된 품질 스코어는, "광고 품질 예측(Predicting Ad Quality)"이라는 명칭으로, 본 출원과 동일자로 함께 출원되어 동시 계류중인, 미국 특허출원 제11/321,046호(대리인 변리사의 사건 관리번호 제0026-0515호)에 개시된 바와 같은, 데이터 구조 내에 집계(aggregate)될 수 있으며, 상기한 특허문헌의 내용 전부는 참조에 의해 본 명세서에 포함된다.
집계된 품질 스코어로부터 얻는 품질 예측은, 그 후에 예를 들면, "추정된 광고 품질을 이용한 광고의 필터링, 순위부여 및 장려("Using Estimated Ad Qualities for Ad Filtering, Ranking and Promotion")라는 명칭으로, 본 출원과 동일자로 출원되어 동시 계류중인, 미국 특허출원 제11/321,064호(대리인 변리사의 사건 관리번호 제0026-0518)에 개시된 바와 같이, 광고의 필터링, 순위부여 및/또는 장려에 사용될 수 있으며, 상기한 특허문헌의 내용 전부는 참조에 의해 본 명세서에 포함된다.
결론
본 발명의 바람직한 실시예들에 대한 이상의 설명은, 본 발명에 대한 설명과 예시를 제공하지만, 본 발명을 총망라하거나 개시된 바로 그 형태로 한정하려는 의도는 아니다. 이상의 교시에 비추어 여러 변경예 및 변형예가 가능하거나, 또는 본 발명의 실시로부터 여러 변경예 및 변형예를 습득할 수 있다. 예를 들면, 도 4 및 도 13과 관련하여 일련의 동작(act)을 설명하였지만, 본 발명의 원리와 일치하 는 다른 실시예에서는 이 동작들의 순서가 변경될 수 있다. 또, 비종속적인(non-dependent) 동작들은 병렬로 실행될 수 있다.
전술한 세션 특징들 외에도, 몇몇 실시예에서는 예측값(predictive)과 사용자의 만족(user satisfaction) 사이를 직접 교정(calibration)하기 위해 전환 트래킹(conversion tracking)을 선택적으로 사용할 수 있다. 광고 선택이 광고자가 가치있는 것으로 생각하는 사용자의 행위(예컨대, 사용자의 구매)로 이끌 때, 전환이 발생한다. 광고자, 또는 광고자의 광고를 호스팅하는 서비스는 각각의 광고 선택에 대해 전환이 발생하는지를 트래킹할 수 있다. 예를 들면, 사용자가 광고자의 광고를 선택하면, 광고의 선택에 응답하여 사용자에게 제공되는 광고 랜딩 문서상에 보이는 제품의 온라인 구매가 이루어진 후에, 광고 또는 해당 광고를 호스팅하는 서비스는 해당 광고 선택에 대한 전환을 기록할 수 있다. 전환 트래킹 데이터는 식별된 광고 선택과 연관될 수 있다. 예를 들면, 로지스틱 회귀, 회귀 트리, 부스트 스텀프 등과 같은 통계 기술이 예측값과 전환에 의해 측정된 사용자의 만족 사이를 직접 교정하기 위해 사용될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 측면들이 도면에 예시된 실시예에서 여러 상이한 형태의 소프트웨어, 펌웨어, 및 하드웨어로 구현될 수 있다는 것은 해당 기술분야의 당업자에게 명백할 것이다. 본 발명의 원리와 일치하는 측면들을 구현하는데 이용되는 실제의 소프트웨어 코드 또는 특화된(specialized) 제어 하드웨어는 본 발명을 제한하고 있지 않다. 따라서, 본 발명의 측면들에 대한 동작(operation) 및 작용(behavior)을 특정한 소프트웨어 코드에 대한 언급 없이 설 명하였으며, 해당 기술분야의 당업자라면 본 명세서의 상세한 설명에 기초하여 본 발명의 측면들을 구현하기 위한 소프트웨어 및 제어 하드웨어를 설계할 수 있다는 것을 알 것이다.
본 출원의 설명에서 사용된 요소(element), 동작(act), 명령어(instruction)는 결정적이거나 필수적인 것으로 명백히 기술되지 않는 한, 본 발명에서 그러한 것으로 해석되어서는 안 된다. 오직 하나의 아이템이 의도되는 경우, 용어 "하나(one)" 또는 유사한 표현을 사용한다. 또, 구 "...에 기초하여(based on)"는 명백히 다르게 나타내지 않는 한 "적어도 일부는 ...에 기초하여"를 의미하는 것으로 의도된다.

Claims (25)

  1. 서버 디바이스의 하나 이상의 프로세서가 하나 이상의 서버에 의해 호스팅되는 광고들로 구성되는 제1 광고 세트의 평점(rating)을 취득하는 단계로서, 상기 평점은 상기 제1 광고 세트를 구성하는 광고들의 품질을 나타내고, 상기 평점은 평점 부여자(human rater)에 의해 수동으로 입력되는, 상기 제1 광고 세트의 평점(rating)을 취득하는 단계;
    상기 서버 디바이스의 하나 이상의 프로세서가 복수의 상이한 제1 사용자 행위를 관찰하는 단계로서, 상기 복수의 상이한 제1 사용자 행위는 상기 제1 광고 세트 중의 광고를 사용자가 선택하는 것과 연관된 행위인, 상기 복수의 상이한 제1 사용자 행위를 관찰하는 단계;
    상기 서버 디바이스의 하나 이상의 프로세서가 상기 관찰된 제1 사용자 행위 및 상기 취득된 평점을 사용하여 확률 모델(probability model)을 생성하는 단계로서, 상기 확률 모델은, 미평가된 광고들을 포함하는 제2 광고 세트 중의 광고가 특정의 품질을 가질 확률을 복수의 상이한 타입의 사용자 행위의 함수로서 나타낸 확률 함수를 포함하는, 상기 확률 모델을 생성하는 단계;
    상기 서버 디바이스의 하나 이상의 프로세서가 복수의 상이한 제2 사용자 행위를 관찰하는 단계로서, 상기 복수의 상이한 제2 사용자 행위는, 상기 하나 이상의 서버에 의해 호스팅되고 미평가 광고들을 포함하는 제2 광고 세트 중의 특정의 광고를 사용자가 선택하는 것과 연관된 행위인, 상기 복수의 상이한 제2 사용자 행위를 관찰하는 단계; 및
    상기 서버 디바이스의 하나 이상의 프로세서가 상기 확률 함수를 상기 복수의 상이한 제2 사용자 행위의 함수로서 사용하여, 상기 특정 광고가 특정의 품질을 가질 확률을 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 복수의 상이한 제1 사용자 행위를 관찰하는 단계는 상기 복수의 상이한 제1 사용자 행위를 로깅하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 복수의 상이한 제1 사용자 행위는, 광고가 사용자에 의해 클릭되는 비율을 나타내는 클릭률(click through rate, CTR)을 포함하는, 방법.
  4. 제1항에 있어서,
    상기 확률 모델을 생성하는 단계는, 로지스틱 회귀(logistic regression), 회귀 트리(regression tree), 또는 부스티드 스텀프(boosted stump) 중 하나 이상을 사용하여 상기 확률 모델을 생성하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 확률 모델을 생성하는 단계는, 상기 관찰된 제1 사용자 행위와 상기 취득된 평점의 관계를 결정하기 위해, 상기 확률 모델의 적합성을 테스트하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 서버 디바이스의 하나 이상의 프로세서가 결정된 상기 특정 광고가 특정의 품질일 확률에 기초하여 상기 특정 광고의 품질의 수준(measure)을 추정하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 서버 디바이스의 하나 이상의 프로세서가 상기 결정된 확률을 사용하여 상기 특정 광고의 스코어(score)를 결정하는 단계; 및
    상기 서버 디바이스의 하나 이상의 프로세서가 상기 결정된 스코어에 기초하여 상기 특정 광고의 품질을 추정하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 특정 광고의 스코어를 결정하는 단계는, 상기 결정된 확률에 함수를 적용하여 상기 스코어를 결정하는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 복수의 상이한 제1 사용자 행위는,
    광고 선택의 지속기간;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 다른 광고를 선택한 횟수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 검색 결과를 선택한 횟수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 상기 검색 결과가 아닌 다른 타입의 결과를 선택한 횟수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 문서뷰(document view)의 수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 검색 질의의 수;
    광고를 보여주는 사용자 세션과 연관된 검색 질의의 수;
    동일한 주어진 광고를 반복하여 선택한 횟수; 또는
    주어진 광고 선택이 주어진 질의에 대한 최후의 광고 선택이었는지 또는 사용자 세션 중의 최후의 선택이었는지에 대한 표시
    중 하나 이상을 포함하는, 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 컴퓨터 시스템의 하나 이상의 프로세서가, 하나 이상의 서버에 의해 호스팅되는 제1 광고를 사용자가 선택하는 행위와 연관된 복수의 사용자 행위를 관찰하는 단계;
    상기 컴퓨터 시스템의 하나 이상의 프로세서가, 상기 제1 광고의 기지의 품질과 상기 복수의 사용자 행위 중 하나 이상의 사용자 행위 사이의 관계를 결정하는 단계;
    상기 컴퓨터 시스템의 하나 이상의 프로세서가, 미평가된 제2 광고를 사용자가 선택하는 행위와 연관된 복수의 사용자 행위 중에서 상기 하나 이상의 사용자 행위가 존재하는지 관찰하는 단계; 및
    상기 컴퓨터 시스템의 하나 이상의 프로세서가, 상기 미평가된 제2 광고를 사용자가 선택하는 행위와 연관된 복수의 사용자 행위 중에서 상기 하나 이상의 사용자 행위가 존재하는 것으로 관찰된 경우, 상기 관찰된 하나 이상의 사용자 행위의 존재에 기초하여 상기 제2 광고의 품질 평점을 추정하는 단계
    를 포함하고,
    상기 제1 광고의 기지의 품질과 상기 복수의 사용자 행위 중 하나 이상의 사용자 행위 사이의 관계를 결정하는 단계는,
    로지스틱 회귀, 회귀 트리, 또는 부스티드 스텀프 중 하나 이상을 사용하여 상기 관계를 결정하는 단계를 포함하는,
    방법.
  18. 제17항에 있어서,
    상기 관찰된 복수의 사용자 행위 중 하나 이상의 사용자 행위는, 광고가 사용자에 의해 클릭되는 비율을 나타내는 클릭률(CTR)을 포함하는, 방법.
  19. 제17항에 있어서,
    상기 복수의 사용자 행위 중 상기 하나 이상의 사용자 행위가 존재하는지 관찰하는 단계는, 하나 이상의 서버에 의해 호스팅되는 상기 제1 광고를 사용자가 선택하는 행위와 연관된 상기 복수의 사용자 행위 중 하나 이상의 사용자 행위를 로깅하는 단계를 포함하는, 방법.
  20. 제17항에 있어서,
    상기 복수의 사용자 행위 중 상기 하나 이상의 사용자 행위는,
    광고 선택의 지속기간;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 다른 광고를 선택한 횟수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 검색 결과를 선택한 횟수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 상기 검색 결과가 아닌 다른 타입의 결과를 선택한 횟수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 문서뷰의 수;
    주어진 광고 선택 이전 및 이후 중 하나 이상의 시기에 검색 질의의 수;
    광고를 보여주는 사용자 세션과 연관된 검색 질의의 수;
    동일한 주어진 광고를 반복하여 선택한 횟수; 또는
    주어진 광고 선택이 주어진 질의에 대한 최후의 광고 선택이었는지 또는 사용자 세션 중의 최후의 선택이었는지에 대한 표시
    중 하나 이상을 포함하는, 방법.
  21. 삭제
  22. 제17항에 있어서,
    상기 제1 광고의 기지의 품질과 상기 복수의 사용자 행위 중 하나 이상의 사용자 행위 사이의 관계를 결정하는 단계는,
    상기 복수의 사용자 행위 중 상기 하나 이상의 사용자 행위에 기초하여 광고가 적어도 특정한 품질 레벨일 확률을 결정하는 통계 모델을 구축하는 단계를 포함하고,
    상기 제2 광고의 품질 평점을 추정하는 단계는,
    상기 통계 모델 및 상기 관찰된 복수의 사용자 행위 중 상기 하나 이상의 사용자 행위를 사용하여 상기 제2 광고의 품질 평점을 추정하는 단계
    를 포함하는, 방법.
  23. 제22항에 있어서,
    상기 제1 광고의 기지의 품질과 상기 복수의 사용자 행위 중 하나 이상의 사용자 행위 사이의 관계를 결정하는 단계는,
    상기 복수의 사용자 행위 중 상기 하나 이상의 사용자 행위와 상기 품질 평점 사이의 관계를 결정하기 위해, 상기 통계 모델의 적합성을 테스트하는 단계를 포함하는 방법.
  24. 하나 이상의 서버에 의해 호스팅되는 광고들로 구성되는 제1 광고 세트의 평점을 취득하기 위한 수단으로서, 상기 평점은 상기 제1 광고 세트를 구성하는 광고들의 품질을 나타내고, 상기 평점은 평점 부여자(human rater)에 의해 수동으로 입력되는, 상기 제1 광고 세트와 연관된 평점을 취득하기 위한 수단;
    상기 제1 광고 세트 중의 광고를 사용자가 선택하는 행위와 연관된 복수의 상이한 제1 사용자 행위를 식별하기 위한 수단;
    상기 제1 사용자 행위 및 상기 취득된 평점에 기초한 통계 모델을 생성하기 위한 수단으로서, 상기 통계 모델은, 미평가된 광고들을 포함하는 제2 광고 세트 중의 광고가 특정의 품질을 가질 확률을 복수의 상이한 타입의 사용자 행위의 함수로서 나타낸 확률 함수를 포함하는, 상기 통계 모델을 생성하기 위한 수단;
    상기 하나 이상의 서버에 의해 호스팅되고, 상기 미평가된 광고들을 포함하는 제2 광고 세트 중의 특정 광고를 사용자가 선택하는 행위와 연관된 복수의 상이한 제2 사용자 행위를 식별하기 위한 수단; 및
    상기 복수의 상이한 제2 사용자 행위의 함수로서 상기 통계 모델을 사용하여, 상기 특정 광고가 특정 품질일 확률을 결정하기 위한 수단;
    상기 결정된 확률에 기초하여 상기 특정 광고에 대한 스코어를 계산하는 수단; 및
    상기 특정 광고에 대한 스코어에 기초하여 상기 특정 광고를 프로모션(promotion) 하거나, 순위를 정하거나, 필터링하는 수단
    을 포함하는 하나 이상의 서버
    를 포함하는 시스템.
  25. 삭제
KR1020087018811A 2005-12-30 2006-12-29 관측된 사용자 거동을 이용한 광고 품질 추정 KR101024864B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/321,076 2005-12-30
US11/321,076 US8065184B2 (en) 2005-12-30 2005-12-30 Estimating ad quality from observed user behavior

Publications (2)

Publication Number Publication Date
KR20080086924A KR20080086924A (ko) 2008-09-26
KR101024864B1 true KR101024864B1 (ko) 2011-03-31

Family

ID=38225720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087018811A KR101024864B1 (ko) 2005-12-30 2006-12-29 관측된 사용자 거동을 이용한 광고 품질 추정

Country Status (9)

Country Link
US (1) US8065184B2 (ko)
EP (1) EP1966749A4 (ko)
JP (1) JP5078910B2 (ko)
KR (1) KR101024864B1 (ko)
CN (1) CN101390119A (ko)
AU (2) AU2006332532B2 (ko)
BR (1) BRPI0620826A2 (ko)
CA (1) CA2635884A1 (ko)
WO (1) WO2007079403A2 (ko)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818208B1 (en) 2005-06-28 2010-10-19 Google Inc. Accurately estimating advertisement performance
US10600090B2 (en) * 2005-12-30 2020-03-24 Google Llc Query feature based data structure retrieval of predicted values
US20070157228A1 (en) 2005-12-30 2007-07-05 Jason Bayer Advertising with video ad creatives
US20070156887A1 (en) * 2005-12-30 2007-07-05 Daniel Wright Predicting ad quality
US7827060B2 (en) * 2005-12-30 2010-11-02 Google Inc. Using estimated ad qualities for ad filtering, ranking and promotion
US20070265918A1 (en) * 2006-03-02 2007-11-15 Mcmahon Michael B System and method for tracking, auditing, and valuing online advertising
US20070266305A1 (en) * 2006-05-10 2007-11-15 David Cong System and method for monitoring user behavior with regard to interactive rich-media content
US20080300971A1 (en) * 2007-05-30 2008-12-04 Microsoft Corporation Advertisement approval based on training data
US8660895B1 (en) * 2007-06-14 2014-02-25 Videomining Corporation Method and system for rating of out-of-home digital media network based on automatic measurement
US8126881B1 (en) 2007-12-12 2012-02-28 Vast.com, Inc. Predictive conversion systems and methods
US8182346B2 (en) * 2007-12-26 2012-05-22 Scientific Games Holdings Limited System and method for collecting and using player information
US8296177B2 (en) * 2008-02-20 2012-10-23 Yahoo! Inc. Method for generating forecasting landscapes
US8965786B1 (en) * 2008-04-18 2015-02-24 Google Inc. User-based ad ranking
US20090265290A1 (en) * 2008-04-18 2009-10-22 Yahoo! Inc. Optimizing ranking functions using click data
US20090327329A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Price estimation of overlapping keywords
US8224698B2 (en) * 2008-07-03 2012-07-17 The Search Agency, Inc. System and method for determining weighted average success probabilities of internet advertisements
US8108330B2 (en) * 2008-10-24 2012-01-31 International Business Machines Corporation Generating composite trust value scores, and atomic metadata values and associated composite trust value scores using a plurality of algorithms
US20100106558A1 (en) * 2008-10-24 2010-04-29 International Business Machines Corporation Trust Index Framework for Providing Data and Associated Trust Metadata
US8290960B2 (en) * 2008-10-24 2012-10-16 International Business Machines Corporation Configurable trust context assignable to facts and associated trust metadata
US8443189B2 (en) * 2008-10-24 2013-05-14 International Business Machines Corporation Trust event notification and actions based on thresholds and associated trust metadata scores
US20100198685A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predicting web advertisement click success by using head-to-head ratings
US20100208984A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Evaluating related phrases
US8812362B2 (en) * 2009-02-20 2014-08-19 Yahoo! Inc. Method and system for quantifying user interactions with web advertisements
US8719298B2 (en) * 2009-05-21 2014-05-06 Microsoft Corporation Click-through prediction for news queries
US8386601B1 (en) * 2009-07-10 2013-02-26 Quantcast Corporation Detecting and reporting on consumption rate changes
US8276157B2 (en) 2009-10-23 2012-09-25 International Business Machines Corporation Monitoring information assets and information asset topologies
CA2791568C (en) * 2010-03-23 2018-10-16 Google Inc. Conversion path performance measures and reports
WO2011119186A1 (en) * 2010-03-23 2011-09-29 Google Inc. Conversion path performance measures and reports
US20110270686A1 (en) * 2010-04-28 2011-11-03 Microsoft Corporation Online platform for web advertisement partnerships
US8583483B2 (en) 2010-05-21 2013-11-12 Microsoft Corporation Online platform for web advertisement competition
US9449282B2 (en) * 2010-07-01 2016-09-20 Match.Com, L.L.C. System for determining and optimizing for relevance in match-making systems
US8521774B1 (en) 2010-08-20 2013-08-27 Google Inc. Dynamically generating pre-aggregated datasets
US20120179544A1 (en) * 2011-01-12 2012-07-12 Everingham James R System and Method for Computer-Implemented Advertising Based on Search Query
US9384408B2 (en) 2011-01-12 2016-07-05 Yahoo! Inc. Image analysis system and method using image recognition and text search
US20120260185A1 (en) * 2011-04-11 2012-10-11 Google Inc. Path length selector
US20120303443A1 (en) * 2011-05-27 2012-11-29 Microsoft Corporation Ad impact testing
US8655907B2 (en) 2011-07-18 2014-02-18 Google Inc. Multi-channel conversion path position reporting
US8959450B2 (en) 2011-08-22 2015-02-17 Google Inc. Path explorer visualization
US8635519B2 (en) 2011-08-26 2014-01-21 Luminate, Inc. System and method for sharing content based on positional tagging
US20130086112A1 (en) 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
US8737678B2 (en) 2011-10-05 2014-05-27 Luminate, Inc. Platform for providing interactive applications on a digital content platform
USD736224S1 (en) 2011-10-10 2015-08-11 Yahoo! Inc. Portion of a display screen with a graphical user interface
USD737290S1 (en) 2011-10-10 2015-08-25 Yahoo! Inc. Portion of a display screen with a graphical user interface
US10325297B2 (en) * 2011-11-28 2019-06-18 Dell Products, Lp Method for comparing sales performance of web sites and a system therefor
US8255495B1 (en) 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
CN103578010A (zh) * 2012-07-26 2014-02-12 阿里巴巴集团控股有限公司 生成流量质量比较参数的方法和装置、广告计费方法
US10311468B2 (en) * 2012-12-28 2019-06-04 International Business Machines Corporation Statistical marketing attribution correlation
US9465873B1 (en) 2013-03-07 2016-10-11 Vast.com, Inc. Systems, methods, and devices for identifying and presenting identifications of significant attributes of unique items
US10007946B1 (en) 2013-03-07 2018-06-26 Vast.com, Inc. Systems, methods, and devices for measuring similarity of and generating recommendations for unique items
US9104718B1 (en) 2013-03-07 2015-08-11 Vast.com, Inc. Systems, methods, and devices for measuring similarity of and generating recommendations for unique items
US9830635B1 (en) 2013-03-13 2017-11-28 Vast.com, Inc. Systems, methods, and devices for determining and displaying market relative position of unique items
US9588675B2 (en) 2013-03-15 2017-03-07 Google Inc. Document scale and position optimization
US8788338B1 (en) * 2013-07-01 2014-07-22 Yahoo! Inc. Unified marketplace for advertisements and content in an online system
US9460451B2 (en) * 2013-07-01 2016-10-04 Yahoo! Inc. Quality scoring system for advertisements and content in an online system
US10134053B2 (en) 2013-11-19 2018-11-20 Excalibur Ip, Llc User engagement-based contextually-dependent automated pricing for non-guaranteed delivery
US10127596B1 (en) 2013-12-10 2018-11-13 Vast.com, Inc. Systems, methods, and devices for generating recommendations of unique items
CN104834641B (zh) * 2014-02-11 2019-03-15 腾讯科技（北京）有限公司 网络媒介信息的处理方法和相关系统
US20150332309A1 (en) * 2014-05-13 2015-11-19 Ispot.Tv, Inc. Advertisement scoring system and method
US11164211B2 (en) * 2014-10-07 2021-11-02 Grandpad, Inc. System and method for enabling efficient digital marketing on portable wireless devices for parties with low capabilities
KR102076807B1 (ko) * 2015-05-18 2020-02-13 전자부품연구원 공간행동 의미분석 시스템
US10755303B2 (en) 2015-11-30 2020-08-25 Oath Inc. Generating actionable suggestions for improving user engagement with online advertisements
US11113714B2 (en) * 2015-12-30 2021-09-07 Verizon Media Inc. Filtering machine for sponsored content
CN107491999B (zh) * 2016-06-13 2020-12-22 北京京东尚科信息技术有限公司 一种活动页引入订单量的统计方法、装置及系统
US10685070B2 (en) 2016-06-30 2020-06-16 Facebook, Inc. Dynamic creative optimization for effectively delivering content
US10810627B2 (en) * 2016-08-10 2020-10-20 Facebook, Inc. Informative advertisements on hobby and strong interests feature space
US10832279B2 (en) 2016-08-17 2020-11-10 International Business Machines Corporation Aggregation of unique user invocations in an online environment
US10572908B2 (en) 2017-01-03 2020-02-25 Facebook, Inc. Preview of content items for dynamic creative optimization
US10922713B2 (en) * 2017-01-03 2021-02-16 Facebook, Inc. Dynamic creative optimization rule engine for effective content delivery
US11106682B2 (en) 2017-10-12 2021-08-31 Target Brands, Inc. Decision platform for directed information delivery
US10268704B1 (en) 2017-10-12 2019-04-23 Vast.com, Inc. Partitioned distributed database systems, devices, and methods
US11010123B2 (en) * 2018-11-30 2021-05-18 Poductivity Ltd. Computer system providing enhanced audio playback control for audio files associated with really simple syndication (RSS) feeds and related methods
US12106358B1 (en) 2020-07-24 2024-10-01 Vast.com, Inc. Systems, methods, and devices for unified e-commerce platforms for unique items
US20220245446A1 (en) * 2021-02-01 2022-08-04 Adobe Inc. Optimizing send time for electronic communications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010109402A (ko) * 2000-05-31 2001-12-10 전하진 인터넷 상에서의 고객 행동 가치 산출 시스템 및 방법
US20050021397A1 (en) 2003-07-22 2005-01-27 Cui Yingwei Claire Content-targeted advertising using collected user behavior data

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3813210B2 (ja) * 1995-09-14 2006-08-23 富士通株式会社 オンライン広告システムおよび方法
US5760995A (en) * 1995-10-27 1998-06-02 Quantum Corporation Multi-drive, multi-magazine mass storage and retrieval unit for tape cartridges
US5794210A (en) * 1995-12-11 1998-08-11 Cybergold, Inc. Attention brokerage
WO1997026729A2 (en) * 1995-12-27 1997-07-24 Robinson Gary B Automated collaborative filtering in world wide web advertising
US5848396A (en) * 1996-04-26 1998-12-08 Freedom Of Information, Inc. Method and apparatus for determining behavioral profile of a computer user
US5948061A (en) * 1996-10-29 1999-09-07 Double Click, Inc. Method of delivery, targeting, and measuring advertising over networks
US6285999B1 (en) * 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
US6009409A (en) * 1997-04-02 1999-12-28 Lucent Technologies, Inc. System and method for scheduling and controlling delivery of advertising in a communications network
US6078901A (en) * 1997-04-03 2000-06-20 Ching; Hugh Quantitative supply and demand model based on infinite spreadsheet
US6006222A (en) * 1997-04-25 1999-12-21 Culliss; Gary Method for organizing information
US5937392A (en) * 1997-07-28 1999-08-10 Switchboard Incorporated Banner advertising display system and method with frequency of advertisement control
US6078916A (en) * 1997-08-01 2000-06-20 Culliss; Gary Method for organizing information
US6182068B1 (en) * 1997-08-01 2001-01-30 Ask Jeeves, Inc. Personalized search methods
US6014665A (en) * 1997-08-01 2000-01-11 Culliss; Gary Method for organizing information
US6006197A (en) * 1998-04-20 1999-12-21 Straightup Software, Inc. System and method for assessing effectiveness of internet marketing campaign
US6338066B1 (en) * 1998-09-25 2002-01-08 International Business Machines Corporation Surfaid predictor: web-based system for predicting surfer behavior
US6356879B2 (en) * 1998-10-09 2002-03-12 International Business Machines Corporation Content based method for product-peer filtering
JP3389948B2 (ja) * 1998-11-27 2003-03-24 日本電気株式会社 表示広告選択システム
US6260064B1 (en) * 1999-01-08 2001-07-10 Paul J. Kurzrok Web site with automatic rating system
US6334110B1 (en) * 1999-03-10 2001-12-25 Ncr Corporation System and method for analyzing customer transactions and interactions
US6907566B1 (en) * 1999-04-02 2005-06-14 Overture Services, Inc. Method and system for optimum placement of advertisements on a webpage
US6430539B1 (en) * 1999-05-06 2002-08-06 Hnc Software Predictive modeling of consumer financial behavior
AU6239000A (en) 1999-07-30 2001-02-19 Tmp Worldwide Method and apparatus for tracking and analyzing online usage
WO2001015053A2 (en) 1999-08-26 2001-03-01 Spinway, Inc. System and method for providing computer network access to a user
US6567786B1 (en) * 1999-09-16 2003-05-20 International Business Machines Corporation System and method for increasing the effectiveness of customer contact strategies
US7031932B1 (en) * 1999-11-22 2006-04-18 Aquantive, Inc. Dynamically optimizing the presentation of advertising messages
US6763334B1 (en) * 1999-12-09 2004-07-13 Action Click Co., Ltd. System and method of arranging delivery of advertisements over a network such as the internet
US7130808B1 (en) * 1999-12-29 2006-10-31 The Product Engine, Inc. Method, algorithm, and computer program for optimizing the performance of messages including advertisements in an interactive measurable medium
JP3348067B2 (ja) 2000-02-29 2002-11-20 株式会社電通 広告の再生を制御する方法および装置
US6963848B1 (en) * 2000-03-02 2005-11-08 Amazon.Com, Inc. Methods and system of obtaining consumer reviews
US20020059712A1 (en) * 2000-04-28 2002-05-23 Hong-Line Chern Combination mobile computer shell and its fabrication method
US6785421B1 (en) * 2000-05-22 2004-08-31 Eastman Kodak Company Analyzing images to determine if one or more sets of materials correspond to the analyzed images
AU2001264947B2 (en) * 2000-05-24 2005-02-24 Excalibur Ip, Llc Online media exchange
US6829780B2 (en) * 2000-07-17 2004-12-07 International Business Machines Corporation System and method for dynamically optimizing a banner advertisement to counter competing advertisements
US6647269B2 (en) * 2000-08-07 2003-11-11 Telcontar Method and system for analyzing advertisements delivered to a mobile unit
US20020103698A1 (en) * 2000-10-31 2002-08-01 Christian Cantrell System and method for enabling user control of online advertising campaigns
KR20020038141A (ko) 2000-11-16 2002-05-23 윤종용 인터넷 광고 방법 및 장치
US7406434B1 (en) * 2000-12-15 2008-07-29 Carl Meyer System and method for improving the performance of electronic media advertising campaigns through multi-attribute analysis and optimization
JP2002245336A (ja) 2001-02-19 2002-08-30 Nippon Seiki Co Ltd 情報通信システム
JP2002245339A (ja) * 2001-02-20 2002-08-30 Mitsubishi Electric Corp インターネット広告の対価決定システム及び不正防止システム
WO2002076077A1 (en) * 2001-03-16 2002-09-26 Leap Wireless International, Inc. Method and system for distributing content over a wireless communications system
WO2002101587A1 (en) * 2001-06-06 2002-12-19 Sony Corporation Advertisement selection apparatus, advertisement selection method, and storage medium
JP2002366838A (ja) 2001-06-06 2002-12-20 Toshiba Corp リコメンデーション方法及びサーバ・システム並びにプログラム
US20030023598A1 (en) * 2001-07-26 2003-01-30 International Business Machines Corporation Dynamic composite advertisements for distribution via computer networks
US6772129B2 (en) * 2001-09-04 2004-08-03 Planning Power Service, Inc. System and method for determining the effectiveness and efficiency of advertising media
US7778872B2 (en) * 2001-09-06 2010-08-17 Google, Inc. Methods and apparatus for ordering advertisements based on performance information and price information
US7007074B2 (en) 2001-09-10 2006-02-28 Yahoo! Inc. Targeted advertisements using time-dependent key search terms
JP2003141410A (ja) 2001-10-30 2003-05-16 Hitachi Ltd インターネットサイトでの広告管理システム及び方法
US6866271B2 (en) * 2002-02-05 2005-03-15 Duramax Marine, Llc Marine shaft seal with lip seal, bearing and gasket
US20050114198A1 (en) 2003-11-24 2005-05-26 Ross Koningstein Using concepts for ad targeting
US7346606B2 (en) * 2003-06-30 2008-03-18 Google, Inc. Rendering advertisements with documents having one or more topics using user topic interest
US7136875B2 (en) * 2002-09-24 2006-11-14 Google, Inc. Serving advertisements based on content
US7716161B2 (en) * 2002-09-24 2010-05-11 Google, Inc, Methods and apparatus for serving relevant advertisements
US7370002B2 (en) * 2002-06-05 2008-05-06 Microsoft Corporation Modifying advertisement scores based on advertisement response probabilities
US20040059712A1 (en) 2002-09-24 2004-03-25 Dean Jeffrey A. Serving advertisements using information associated with e-mail
US7383258B2 (en) * 2002-10-03 2008-06-03 Google, Inc. Method and apparatus for characterizing documents based on clusters of related words
US8595071B2 (en) 2003-06-30 2013-11-26 Google Inc. Using enhanced ad features to increase competition in online advertising
US8041601B2 (en) 2003-09-30 2011-10-18 Google, Inc. System and method for automatically targeting web-based advertisements
US7930206B2 (en) 2003-11-03 2011-04-19 Google Inc. System and method for enabling an advertisement to follow the user to additional web pages
US20050144069A1 (en) 2003-12-23 2005-06-30 Wiseman Leora R. Method and system for providing targeted graphical advertisements
JP4936636B2 (ja) 2003-12-26 2012-05-23 ヤフー株式会社 広告管理プログラム、広告管理方法および広告管理装置
US20050154717A1 (en) 2004-01-09 2005-07-14 Microsoft Corporation System and method for optimizing paid listing yield
US20050251444A1 (en) * 2004-05-10 2005-11-10 Hal Varian Facilitating the serving of ads having different treatments and/or characteristics, such as text ads and image ads
US20060173744A1 (en) 2005-02-01 2006-08-03 Kandasamy David R Method and apparatus for generating, optimizing, and managing granular advertising campaigns
US20060288100A1 (en) * 2005-05-31 2006-12-21 Carson Mark A System and method for managing internet based sponsored search campaigns
US7818208B1 (en) * 2005-06-28 2010-10-19 Google Inc. Accurately estimating advertisement performance
US7840438B2 (en) * 2005-07-29 2010-11-23 Yahoo! Inc. System and method for discounting of historical click through data for multiple versions of an advertisement
US8326689B2 (en) * 2005-09-16 2012-12-04 Google Inc. Flexible advertising system which allows advertisers with different value propositions to express such value propositions to the advertising system
US8370197B2 (en) * 2005-09-30 2013-02-05 Google Inc. Controlling the serving of advertisements, such as cost per impression advertisements for example, to improve the value of such serves
US20070156887A1 (en) * 2005-12-30 2007-07-05 Daniel Wright Predicting ad quality
US7827060B2 (en) * 2005-12-30 2010-11-02 Google Inc. Using estimated ad qualities for ad filtering, ranking and promotion
JP4072865B2 (ja) * 2006-03-02 2008-04-09 株式会社カワサキプレシジョンマシナリ 弁装置
US20110000864A1 (en) * 2009-07-06 2011-01-06 Moore Lela K Cookware Holder and Method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010109402A (ko) * 2000-05-31 2001-12-10 전하진 인터넷 상에서의 고객 행동 가치 산출 시스템 및 방법
US20050021397A1 (en) 2003-07-22 2005-01-27 Cui Yingwei Claire Content-targeted advertising using collected user behavior data

Also Published As

Publication number Publication date
WO2007079403A2 (en) 2007-07-12
EP1966749A4 (en) 2011-05-18
EP1966749A2 (en) 2008-09-10
CA2635884A1 (en) 2007-07-12
US20070156514A1 (en) 2007-07-05
US8065184B2 (en) 2011-11-22
JP2009522667A (ja) 2009-06-11
AU2006332532A1 (en) 2007-07-12
AU2011200208A1 (en) 2011-02-10
WO2007079403A3 (en) 2007-11-22
BRPI0620826A2 (pt) 2012-05-02
CN101390119A (zh) 2009-03-18
KR20080086924A (ko) 2008-09-26
AU2006332532B2 (en) 2010-10-28
JP5078910B2 (ja) 2012-11-21

Similar Documents

Publication Publication Date Title
KR101024864B1 (ko) 관측된 사용자 거동을 이용한 광고 품질 추정
KR101315926B1 (ko) 추정된 광고 품질을 사용한 광고의 필터링, 순위부여, 및장려
KR101044683B1 (ko) 광고 품질을 예측하는 방법 및 시스템
US7818208B1 (en) Accurately estimating advertisement performance
JP5450051B2 (ja) 行動ターゲティングシステム
US10600090B2 (en) Query feature based data structure retrieval of predicted values
US8589209B2 (en) System and method for assessing viability and marketability of assets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140310

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160308

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170314

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180307

Year of fee payment: 8