KR100832729B1 - 수집된 사용자 행동 데이터를 사용한 콘텐츠-타겟화된 광고개선 - Google Patents

Abstract

콘텐츠-타겟팅 광고 시스템에는 사용자 행동(예를 들어, 선택(예를 들어, 클릭), 대화 등) 피드백 메커니즘이 제공된다. 개인 광고들 또는 광고들의 그룹들의 성능은 문서마다(예를 들어, URL 마다) 및/또는 호스트마다(예를 들어, 웹사이트 마다) 기반으로 추적될 수 있다. 광고 타겟팅 함수들의 성능은 또한 문서마다 및/또는 호스트마다 기반으로 추적될 수 있다. 이와 같은 사용자 행동 피드백 데이터는 유용한 데이터 구조들로 처리될(예를 들어, 모을) 수 있다. 그 후, (처리되지 않거나 처리된) 이와 같은 사용자 행동 피드백 데이터는 콘텐츠-타겟팅 광고 시스템에 사용되어 광고 품질을 개선시키며, 사용자 경험을 개선시키며 및/또는 수입을 최대화한다.

문서 식별자, 호스트 식별자, 문서 관련 정보, 광고 정보, 광고 서버

Description

수집된 사용자 행동 데이터를 사용한 콘텐츠-타겟화된 광고 개선{Improving content-targeted advertising using collected user behavior data}

관련 출원

본 출원은 발명자들로서 Alex Carobus, Clarie Cui, Deepak Jindal, Steve Lawrence and Narayanan Shivakumar가 등재되어 있고 2003년 7월 22일에 출원된 발명의 명칭이 "클릭 데이터와 같은 사용자 행위 데이터 수집, 사용자 행위 데이터 표시 발생 및 콘테트 기반 광고 타겟팅에 대한 개념 강화를 위한 사용자 행위 사용{COLLECTING USER BEHAVIOR DATA SUCH AS CLICK DATA, GENERATING USER BEHAVIOR DATA REPRESENTATIONS, AND USING USER BEHAVIOR DATA FOR CONCEPT REINFORCEMENT FOR CONTENT-BASED AD TARGETING}"인 미국 가출원 번호 60/489,322(본원에 참조)의 이점을 청구한 것이다.

본 발명은 이 가출원에 서술된 임의의 특정 실시예들로 제한되지 않는다.

본 발명은 광고에 관한 것이다. 특히, 본 발명은 콘텐츠-타겟화된 광고를 개선한 것에 관한 것이다.

전통적인 광고

텔레비젼, 라디오, 신문 및 잡지와 같은 전통적인 매체를 사용하는 광고가 널리 공지되어 있다. 불행하게도, 인구통계학 연구들 및 각종 매체 아웃렛들의 전형적인 청중에 대한 전체적으로 합당한 추정들로 중무장한 경우조차도, 광고주들은 자신들의 광고 예산의 대부분이 낭비되고 있다라고 인식한다. 게다가, 이와 같은 낭비를 식별하여 제거하는 것은 대단히 어렵다.

온라인 광고

최근, 대화식 매체를 통한 광고가 대중화되고 있다. 예를 들어, 인터넷을 사용하는 사람들의 수가 폭발적으로 증가함에 따라서, 광고주들은 광고하는데 잠재적으로 강력한 방법으로 인터넷을 통해서 제공되는 매체 및 서비스들을 인식하게 되었다.

광고주들은 이와 같은 광고의 가치를 최대화하고자 여러 가지 전략들을 개발하였다. 한 가지 전략에서, 광고주들은 많은 청중들에 도달하는 통로로서 대화식 매체 또는 서비스들(일반성을 상실함이 없이 본 명세서에서 "웹사이트들(Websites)"이라 칭함)을 제공하는 수단 또는 대중적인 프레젠스들(presences)을 사용한다. 이 제 1 방법을 사용하면, 광고주는 예를 들어 뉴욕 타임즈 웹사이트 또는 USA 투데이 웹사이트의 홈 페이지 상에 광고들을 게재할 수 있다. 또 다른 전략에서, 광고주는 자신의 광고들을 좁은 특정시장의 청중들에 자신의 광고를 타겟화함으로써, 청중에 의한 긍정적인 반응을 얻을 가능성을 증가시킨다. 예를 들어, 코스타리카 열대림의 여행을 판촉하는 에이전시는 야후 웹사이트의 에코투어리즘-트래블 서브디렉토리에 광고들을 게재할 수 있다. 광고주는 통상 이와 같은 타겟팅을 수동으로 결정할 것이다.

전략에 관계없이, 웹사이트-기반 광고들(또한 "웹 광고들(Web ads)"이라 칭함)은 종종 "배너 광고들(banner ads)", 즉 그래픽 요소들을 포함하는 직사각형 박스의 형태로 자신들의 광고 청중에게 제공된다. 광고 청중의 멤버(일반성을 상실함이 없이 본 명세서에서 "시청자(viewer)" 또는 "사용자(user)"라 칭함)가 배너 광고에 대해서 클릭함으로써 배너 광고들 중 하나를 선택할 때, 임베드된 하이퍼텍스트 링크들은 통상적으로 시청자를 광고주의 웹사이트로 향하게 한다. 시청자가 광고를 선택하는 이 공정을 통상 "클릭-쓰루(click-through)"("클릭-쓰루"는 임의의 사용자 선택을 커버하도록 한다)라 칭한다. 클릭-쓰루들의 수 대 광고의 임프레션(impression)들의 수의 비(즉, 광고 횟수가 디스플레이 된다)를 통상 광고의 "클릭-쓰루 레이트(Click Through Rate)", 즉 "CTR"이라 칭한다.

사용자가 사전에 서비스되는 광고와 관련된 트랜잭션을 완성할 때 "컨버젼(conversion)"이 발생된다라고 한다. 컨버젼을 구성하는 것은 경우마다 다를 수 있고 다양한 방법들로 결정될 수 있다. 예를 들어, 광고주의 웹 페이지라 칭하는 광고에 대해 사용자가 클릭할 때 컨버젼이 발생되고 이 웹 페이지를 떠나기 전 이 웹 페이에서 구매를 완료하는 경우가 있을 수 있다. 대안적으로, 컨버젼은 광고가 나타나고 미리결정된 시간(예를 들어, 7일) 내에서 광고주의 웹 페이지 상에서 구매를 행하는 것으로서 사용자로서 규정될 수 있다. 또 다른 대안으로서, 컨버젼은 광고주가 예를 들어, 화이트 페이퍼를 다운로딩하며, 웹사이트의 적어도 소정 깊이(depth)로 네비게이팅, 적어도 특정 수의 웹 페이지들 시청, 웹사이트 또는 웹 페이지 등에 대한 적어도 미리결정된 시간량과 같은 임의의 측정가능하고/관찰가능한 사용자 액션으로 규정할 수 있다. 종종, 사용자 액션들이 완료된 구매를 나타내지 않으면, 이들은 판매 리드(sales lead)를 표시할 수 있지만, 컨버젼을 구성하는 사용자 액션들을 이로 제한되지 않는다. 실제로, 컨버젼을 구성하는 것에 대한 많은 다른 규정들이 가능하다. 컨버젼들의 수 대 광고의 임프레션들의 수의 비(즉, 광고 횟수가 디스플레이된다)는 통상 컨버젼 레이트라 칭한다. 광고의 서비스 이후 컨버젼이 소정 시간 내에서 발생될 수 있도록 규정되면, 컨버젼 레이트의 한 가지 가능한 규정은 과거에 미리결정된 시간 이상 서비스되었던 광고들만을 고려할 수 있다.

웹사이트-기반 광고의 초창기 유망성에도 불구하고, 기존 방법들이 지닌 여러 문제들을 여전히 갖고 있다. 광고주들이 많은 청중과 접촉할 수 있지만, 광고주들은 빈번하게 광고 투자에 대한 댓가면에서 불만족스럽다. 일부 광고주들은 사용자들의 온라인 습관들을 추적함으로써 광고 성능을 개선시켰지만, 이 방법은 프라이버시 문제들을 초래하였다.

온라인 키워드- 타겟화된 광고

유사하게, 광고들이 제공되는 웹사이트들의 호스트들("웹사이트 호스트들(Website hosts)" 또는 "광고 소비자들(ad consumers)"이라 칭함)은 자신들의 사용자의 경험에 손상을 입히지 않고 최대 광고 수입을 올리는 문제에 직면하였다. 일부 웹사이트 호스트들은 사용자들의 관심들을 통해서 광고 수입을 올리도록 선택되었다. 이와 같은 웹사이트의 하나가 "Overture.com"인데, 이는 사용자 질의들에 응답하여 "검색 결과들(search results)"로서 가장하는 광고를 돌려주는 소위 "검색 엔진(search engine)" 서비스를 호스트 한다. Overture.com 웹사이트는 광고주 자신들의 웹사이트(또는 타겟 웹사이트)에 대한 광고를 의도된 검색 결과들의 리스트 상에서 더 높게 위치시키기 위하여 비용을 지불하도록 하였다. 사용자들이 광고를 클릭하는 경우에만 광고주들이 비용을 지불(즉, 클릭당 비용)하도록 하는 이와 같은 방법들이 구현된 경우, 광고주는 자신들의 광고들을 효과적으로 타겟화하도록 하는 동기가 부족하게 되는데, 그 이유는 나쁘게 타겟화된 광고는 클릭되지 않음으로 지불할 필요가 없게 될 것이다. 결국, 광고 클릭 당 높은 비용은 최상부 또는 그 근처에서 나타나고, 광고 퍼블리셔의 실제 수입으로 반드시 전환되지 않는데, 그 이유는 시청자들이 이들을 클릭하지 않기 때문이다. 게다가, 시청자들이 클릭하는 광고들은 리스트 상에 있는 것이 아니라 리스트의 더욱 아래에 있어, 광고들의 관련성이 절충된다.

예를 들어, 구글과 같은 검색 엔진들은 광고주들이 자신들의 광고들을 타겟화하도록 함으로써, 광고들이 아마도 광고에 관련되는 질의에 응답하는 검색 결과 페이지와 관련되도록 할 것이다. 구글 시스템은 광고들 및 키워드들에 대한 클릭-쓰루 통계(성능 파라미터)를 추적한다. 검색 키워드가 제공되면, 나타날 수 있는 키워드 타겟화된 광고들의 제한된 수가 존재하여, 상대적으로 관리가능한 문제 스페이스를 야기한다. 검색 결과 페이지들이 광고주들에게 자신들의 광고들을 더 많은 수신 청중으로 타겟화하도록 하는 큰 기회를 제공하지만, 검색 결과 페이지들은 단지 월드 와이드 웹의 페이지 뷰들의 프랙션이다.

온라인 콘텐츠- 타겟화된 광고

일부 온라인 광고 시스템들은 광고 관련 정보 및 문서 콘텐츠 관련 정보(예 를 들어, 컨셉들 또는 토픽들, 특징 벡터들(feature vectors), 등)을 사용하여 광고들을 예를 들어 웹 페이지와 같은 콘텐츠를 포함한 문서(및/또는 이에 대한 광고들을 스코어)에 "정합(match)"시킨다. 이와 같은 온라인 광고 시스템들의 예들이 다음 문헌에 서술되어 있다:

- 발명자들로서 Jeffrey A. Dean, Georges R. Harik 및 Paul Bucheit가 등재되어 있고 2002년 9월 24일에 출원된 발명의 명칭이 "관련된 광고들을 제공하는 바법 및 장치{METHODS AND APPARATUS FOR SERVING RELEVANT ADVERTISEMENTS}"인 미국 가출원 일련 번호 60/413,536(본원에 참조).

- 발명자들로서 Jeffrey A. Dean, Georges R. Harik 및 Paul Bucheit가 등재되어 있고 2002년 12월 6일에 출원된 발명의 명칭이 "관련된 광고들을 제공하는 바법 및 장치{METHODS AND APPARATUS FOR SERVING RELEVANT ADVERTISEMENTS}"인 미국 출원 일련 번호 10/314,427(본원에 참조).

- 발명자들로서 Darrell Anderson, Paul Bucheit, Alex Carobus, Clarie Cui, Jeffrey A. Dean, Georges R. Harik, Deepak Jindal, and Narayanan Shivakumar가 등재되어 있고 2003년 2월 26일에 출원된 발명의 명칭이 "콘텐츠에 근거한 광고들 제공{SERVING ADVERTISEMENTS BASED ON CONTENT}"인 미국 출원 일련 번호 10/375,900(본원에 참조).

- 발명자들로서 Jeffrey A. Dean, Georges R. Harik 및 Paul Bucheit가 등재되어 있고 2003년 6월 2일에 출원된 발명의 명칭이 "이-메일과 관련된 정보를 사용하는 광고들 제공{SERVING ADVERTISEMENTS USING INFORMATION ASSOCIATED WITH E- MAIL}"인 미국 가출원 일련 번호 10/452,830(본원에 참조).

일반적으로, 이와 같은 온라인 광고 시스템들은 후보 광고들 및 문서 둘 다의 관련 정보를 사용하여 문서에 대한 각 광고의 스코어를 결정한다. 이 스코어는 (적격 결정들로서 언급된) 문서와 관련한 광고를 서비스할지 및/또는 문서와 관련하여 서비스될 하나 이상의 광고들의 상대 속성(예를 들어, 스크린 위치, 크기 등)을 결정하도록 사용될 수 있다. 이 스코어의 결정은 또한 예를 들어 (1) 광고의 하나 이상의 성능 파리미터들(예를 들어, 클릭-쓰루 레이트, 컨버젼 레이트, 사용자 등급들 등), (2) 광고와 관련된 광고주에 대한 품질 정보 및 (3) 광고와 관련된 가격 정보(예를 들어, 결과 당(예를 들어, 클릭당, 컨버젼 당, 임프레션 당, 등) 최대 가격) 중 하나 이상을 사용할 수 있다.

온라인 콘텐츠- 타겟화된 광고를 개선할 필요성

예를 들어 웹 페이지와 같은 소정 문서는 다수의 상이한 컨셉들 또는 토픽들에 관련될 수 있다. 그러나, 이 집합에서 문서를 요청하는 사용자들은 일반적으로 다른 것들보다 하나의 관련성 있는 토픽 또는 개념에 더 많은 관심을 둔다. 그러므로, 광고들을 서비스할 때, 보다 낮은 대중적 토픽 또는 개념보다는 보다 일반적인 관심을 갖는 토픽 또는 개념에 관한 광고들에 대한 선호도를 제공하는 것이 유용하다. 보다 낮은 대중적 토픽 또는 개념은, 사용자의 관심이 그들의 검색 질의로부터 종종 분리될 수 있기 때문에, 검색 결과 페이지들에 의해 서비스되는 키워드-타겟화된 광고들의 컨텍스트에서 문제를 덜 갖게 한다. 특히, 상기 문서가 2개 이상의 관련 토픽들 또는 개념들을 가질 때, 요청된 문서에서 사용자의 관심을 파악하는 것이 더욱 어렵게 된다.

본 발명은 콘텐츠-타켓팅 광고 시스템에 대한 사용자 행동(예를 들어, 선택(예를 들어, 클릭), 컨버젼 등) 피드백 메커니즘을 제공한다. 본 발명은 문서 마다(예를 들어 URL 마다) 및/또는 호스트 마다(예를 들어, 웹사이트 마다) 기반으로 개별 광고들 또는 광고들의 그룹들의 성능을 추적할 수 있다. 본 발명은 그와 같은 사용자 행위 피드백 데이터를 사용자 데이터 구조들로 처리할 수(예를 들어, 모을 수) 있다. 본 발명은 또한 문서 마다 및/또는 호스트 마다 기반으로 광고 타겟팅 함수들의 성능을 추적할 수 있다. 본 발명은 콘텐츠-타겟팅 광고 시스템에서 (처리되지 않은 또는 처리되는) 이와 같은 사용자 행동 피드백 데이터를 사용하여 광고 품질을 개선하며, 사용자 경험을 개선하고 및/또는 수입을 최대화하도록 한다.

도1은 광고 시스템과 상호작용할 수 있는 파티들 또는 엔터티들을 도시한 고레벨도.

도2는 본 발명이 동작되거나 본 발명이 동작될 수 있는 환경을 도시한 도면.

도3a는 본 발명이 사용되거나 본 발명이 사용될 수 있는 콘텐츠-타겟화된 광고 서비스 환경의 버블도.

도3b는 대안적인 광고 서비스 기술의 버블도.

도4는 도3a의 환경과 같은 환경에서 본 발명의 제 1 실시예의 버블도.

도5는 도3b의 환경과 같은 환경에서 본 발명의 제 2 실시예의 버블도.

도6은 본 발명의 사후-광고 스코어링 애플리케이션을 도시한 버블도.

도7은 본 발명의 사전-광고 스코어링 애플리케이션을 도시한 버블도.

도8은 광고 스코어링에 대한 본 발명의 애플리케이션을 도시한 버블도.

도9는 본 발명을 따른 방식으로 데이터를 수집 및 집합하는 전형적인 방법의 순서도.

도10은 본 발명을 따른 방식으로 후보 광고들의 세트를 확장시키는 전형적인 방법의 순서도.

도11은 본 발명을 따른 방식으로 광고 스코어를 조정하는 전형적인 방법의 순서도.

도12는 본 발명을 따른 방식으로 (일시적으로) 광고 성능 정보를 조정하는 전형적인 방법의 순서도.

도13a 및 도13b는 본 발명을 따른 방식으로 광고들의 문서 특정 또는 호스트 특정 스코어링에 대한 전형적인 방법들의 순서도.

도14는 본 발명을 따른 방식으로 광고 성능 정보를 추정 및/또는 조정하는 전형적인 방법의 순서도.

도15는 도14의 방법의 동작 예를 도시한 도면.

도16은 본 발명에 따라서 수행될 수 있는 각종 동작들 중 적어도 일부를 실행시키고 사용 및/또는 발생될 수 있는 정보의 적어도 일부를 저장하도록 사용될 수 있는 장치의 블록도.

§4. 상세한 설명

본 발명은 콘텐츠-타겟화된 광고를 개선시키는 신규한 방법들, 장치, 메시지 포맷들 및/또는 데이터 구조들을 포함할 수 있다. 이하의 설명은 당업자가 본 발명을 행하고 사용하도록 제공되고 특정 애플리케이션들 및 이들의 요건들의 컨텍스트에 제공된다. 서술된 실시예들에 대한 각종 수정들이 당업자에게 명백할 것이고 이하에 서술된 일반적인 원리들은 다른 실시예들 및 애플리케이션들에 적용될 수 있다. 따라서, 본 발명은 도시된 실시예들에 국한되지 않고 본 발명자들은 자신들의 발명이 서술된 특허가능한 요지로서 간주한다.

이하에서, 본 발명이 동작될 수 있는 환경이 §4.1에 서술된다. 그 후, 본 발명의 전형적인 실시예들은 §4.2에 서술된다. 최종적으로 본 발명에 관한 어떤 결론들이 §4.3에 서술된다.

§4. 1 본 발명이 동작될 수 있는 환경들

§4. 1.1 전형적인 광고 환경

도1은 광고 환경의 고 레벨도이다. 이 환경은 광고 엔트리, 유지보수 및 전달 시스템(단지 광고 서버라 칭함)(120)을 포함할 수 있다. 광고주들(110)은 직접적으로 또는 간접적으로 시스템(120)에서 광고 정보를 입력, 유지 및 추적할 수 있다. 광고들은 소위 배너 광고들, 텍스트 전용 광고들, 영상 광고들, 오디오 광고들, 비디오 광고들, 이와 같은 요소들 중 임의의 요소들의 하나 이상 결합된 광고들의 형태일 수 있다. 이 광고들은 또한 링크와 같은 임베드된 정보 및/또는 기계 실행가능한 명령들을 포함할 수 있다. 광고 소비자들(130)은 시스템(120)으로부터 의 자신들의 요청에 응답하여 광고들을 수용하고 이 시스템(120)에 사용 정보를 제공하도록 광고들에 대한 요청을 제출할 수 있다. 광고 소비자(130) 이외의 엔터티는 광고들에 대한 요청을 개시할 수 있다. 도시되지 않았지만, 다른 엔터티들은 사용 정보(예를 들어, 발생된 광고와 관련된 컨버젼 또는 클릭-쓰루인지 여부)를 시스템(120)에 제공할 수 있다. 이 사용 정보는 서비스되는 광고들에 대한 측정되거나 관찰된 사용자 행동을 포함할 수 있다.

광고 서버(120)는 상기 §1.2에 언급된 미국 특허 출원 일련번호 10/375,900의 도2에 서술된 서버와 유사할 수 있다. 광고 프로그램은 계정들, 캠페인들, 크리에이티브들, 타겟팅 등과 관련한 정보를 포함할 수 있다. 용어 "계정(account)"은 소정 광고주를 위한 정보(예를 들어, 특정 이메일 주소, 비밀번호, 과금 정보 등)에 관계한다. "캠페인(campaign)" 또는 "광고 캠페인(ad campaign)"은 하나 이상의 광고들의 하나 이상의 그룹들에 관한 것이고 시작일, 종료일, 예산 정보, 지리-타겟팅 정보, 신디케이션 정보 등을 포함할 수 있다. 예를 들어, Honda는 자신의 자동차 라인에 대한 하나의 광고 캠페인 및 자신의 모터사이클 라인에 대한 별도의 광고 캠페인을 가질 수 있다. 자신의 자동차 라인에 대한 캠페인은 하나 이상의 광고 그룹들을 갖는데, 각 그룹은 하나 이상의 광고들을 포함한다. 각 광고 그룹은 타겟팅 정보(예를 들어, 키워드들의 세트, 하나 이상의 토픽들의 세트, 등) 및 가격 정보(예를 들어, 최대 비용(클릭-쓰루 당 비용, 컨버젼 당 비용 등))을 포함할 수 있다. 대안적으로 또는 부가적으로, 각 광고 그룹은 평균 비용(예를 들어, 클릭-쓰루 당 평균 비용, 컨버젼 당 평균 비용, 등)을 포함할 수 있다. 그러므로, 단일 최대 비용 및/또는 단일 평균 비용은 하나 이상의 키워드들 및/또는 토픽들과 관련될 수 있다. 상술된 바와 같이, 각 광고 그룹은 하나 이상의 광고들 또는 "크리에이티브들(creatives)"(즉, 결국 최종 사용자에게 렌더링되는 광고 콘텐츠)을 가질 수 있다. 각 광고는 또한 URL(예를 들어, 광고주의 홈 페이지 또는 특정 제품 또는 서버와 관련된 웹 페이지와 같은 랜딩 웹 페이지)로의 링크를 포함할 수 있다. 본래, 광고 정보는 다소간의 정보를 포함할 수 있고 다수의 다양한 방법들로 조직될 수 있다.

도2는 본 발명이 사용될 수 있는 환경(200)을 도시한 것이다. 사용자 장치(또한, "클라이언트(client)" 또는 "클라이언트 장치(client device)"라 칭함)(250)는 브라우저 설비(마이크로소프트사의 익스플로러 브라우저, 노르웨이의 오페라 소프트웨어사의 오페라 웹 브라우저, AOL/TIME Warenr사의 내비게이터 브라우저, 등), 이메일 설비(마이크로소프트사의 아웃룩) 등을 포함할 수 있다. 검색 엔진(220)은 사용자 장치들(250)이 문서들의 콜렉션들(예를 들어, 웹 페이지들)을 검색하도록 한다. 콘텐츠 서버(210)는 사용자 장치들(250)을 문서들에 액세스시킨다. 이메일 서버(마이크로소프트 네트워크 사의 핫메일, 야후 메일 등)(240)는 이메일 기능을 사용자 장치들(250)에 제공하는데 사용될 수 있다. 광고 서버(210)는 사용자 장치들(250)에 광고들을 제공하는데 사용될 수 있다. 이 광고들은 검색 엔진(220)에 의해 제공되는 검색 결과들과 관련하여 서비스될 수 있다. 콘텐츠-관련(또한 "콘텐츠-타겟화된"이라 칭함) 광고들은 또한 콘텐츠 서버(230)에 의해 제공되는 콘텐츠, 이메일 서버(240)에 의해 지원되는 이메일 및/또는 사용자 장치 이메일 설비들과 관련하여 서비스될 수 있다.

미국 특허 출원 일련번호 10/375,900(상기 소개됨)에 서술된 바와 같이, 광고들은 콘텐츠 서버들에 의해 서비스되는 문서들로 타겟화될 수 있다. 따라서, 광고 소비자(130)의 한 예는 문서들(예를 들어, 논문들, 디스커션 쓰레드들(discussion threads), 음악, 비디오, 그래픽들, 검색 결과들, 웹 페이지 리스팅들, 등)에 대한 요청을 수신하는 일반적인 콘텐츠 서버(230)이고 요청에 응답하거나 그렇치 않다면 서비스들에 응답하여 요청된 문서를 검색한다. 콘텐츠 서버는 광고 서버(120/210)로 광고들에 대한 요청을 제공한다. 이와 같은 광고 요청은 소망의 다수의 광고들을 포함할 수 있다. 이 광고 요청은 또한 문서 요청 정보를 포함할 수 있다. 이 정보는 문서 자체(예를 들어, 페이지), 문서의 콘텐츠 또는 문서 요청에 대응하는 카테고리 또는 토픽(예를 들어, 아트, 비지니스, 컴퓨터, 아트-무비, 아트-뮤직, 등), 문서 요청의 부분 또는 전부, 콘텐츠 연령(age), 콘텐츠 유형(예를 들어, 텍스트, 그래픽, 비디오, 오디오, 혼합된 매체, 등), 지리-위치 정보, 문서 정보 등을 포함할 수 있다.

이 콘텐츠 서버(230)는 광고 서버(120/210)에 의해 제공되는 광고들 중 하나 이상의 광고와 요청된 문서를 결합시킬 수 있다. 그 후, 문서 콘텐츠 및 광고(들)를 포함하는 이 결합된 정보는 사용자에게 제공하기 위한 문서를 요청하는 최종 사용자 장치(250)를 향하여 전달된다. 최종적으로, 콘텐츠 서버(230)는 광고들에 관한 정보 및 광고들을 렌더링(예를 들어, 위치, 클릭-쓰루 또는 그렇치 않은, 임프레션 시간, 임프레션 날짜, 크기, 컨버젼 또는 그렇치 않은, 등)하는 방법, 때 및/또는 장소에 관한 정보를 광고 서버(120/210)로 다시 전송할 수 있다. 대안적으로 또는 부가적으로, 이와 같은 정보는 어떤 다른 수단에 의해 광고 서버(120/210)로 다시 제공될 수 있다.

광고 소비자(130)의 또 다른 예는 검색 엔진(220)이다. 검색 엔진(220)은 검색 결과들에 대한 질의들을 수신할 수 있다. 응답시, 검색 엔진은 (예를 들어, 웹 페이지들의 인덱스로부터)관련 검색 결과들을 검색할 수 있다. 전형적인 검색 엔진은 S.Brin 및 L.Page가 호주 브리스번에서 개최한 Seventh International World Wide Web Conference 에 발표한 논문 "대규모 하이퍼텍스트 검색 엔진의 분석{The Anatomy of a Large-Scale Hypertextual Search Engine}" 및 미국 특허 6,285,999(본원에 참조)에 서술되어 있다. 이와 같은 검색 결과들은 예를 들어 웹 페이지 타이틀들의 리스트들, 이들 웹 페이지들로부터 추출된 텍스트의 스닙펫들(snippets) 및 이들 웹 페이지들로의 하이퍼텍스트 링크들을 포함할 수 있고 미리 결정된 수의 (예를 들어, 10) 검색 엔진들로 그룹화될 수 있다.

검색 엔진(220)은 광고 서버(120/210)로의 광고들에 대한 요청을 제공할 수 있다. 이 요청은 원하는 다수의 광고들을 포함할 수 있다. 이 수는 검색 결과들, 이 검색 결과들에 의해 점유되는 스크린 또는 페이지 공간 량, 광고들의 크기 및 형상 등에 좌우될 수 있다. 일 실시예에서, 원하는 광고들의 수는 1에서 10까지 이고, 바람직하게는 3에서 5개 까지이다. 광고들에 대한 요청은 또한 (입력되거나 파스된(parsed)) 질의, 이 질의를 토대로 한 정보(가령 지리위치 정보, 질의가 가입으로부터 나왔는지 그리고 이와 같은 가입의 식별자 인지) 및/또는 검색 결과들과 관련되거나 이를 토대로 한 정보를 포함할 수 있다. 이와 같은 정보는 예를 들어 검색 결과들(예를 들어, 문서 식별자들, 또는 "docIDs")과 관련된 식별자들, 검색 결과들에 관련된 스코어들(예를 들어, 질의 및 문서에 대응하는 특징 벡터들의 도트 곱들과 같은 정보 검색("IR(Information Retrival)") 스코어들, 페이지 랭크 스코어들 및/또는 IR 스코어들 및 페이지 랭크 스코어들의 조합), 식별된 문서들(예를 들어, 웹 페이지들)로부터 추출된 텍스트의 스닙펫들, 식별된 문서들의 풀 텍스트, 식별된 문서들의 토픽들, 식별된 문서의 특징 벡터들, 등을 포함할 수 있다.

검색 엔진(220)은 검색 결과들을 광고 서버(120/210)에 의해 제공되는 검색-기반으로 한 광고들 중 하나 이상의 광고와 결합시킬 수 있다. 그 후, 검색 결과들 및 광고(들)를 포함하는 이 결합된 정보는 사용자에게 제공하기 위하여 검색을 제공하는 사용자를 향하여 전달된다. 검색 결과들은 광고들과 별도로 유지되어 지불 광고들 및 가능한 뉴츄럴 검색 결과들 간에서 사용자가 혼동하지 않도록 한다.

최종적으로, 검색 엔진(220)은 광고에 관한 정보 및 렌더링(예를 들어, 위치, 클릭-쓰루 또는 그렇치 않은, 임프레션 시간, 임프레션 날짜, 크기, 컨버젼 또는 그렇치 않은, 등)될 수 있는 때, 장소 및/또는 방법에 관한 정보를 광고 서버(120/210)으로 다시 전송할 수 있다. 대안적으로 또는 부가적으로, 이와 같은 정보는 어떤 다른 수단에 의해 광고 서버(120/210)로 다시 제공될 수 있다.

최종적으로, 이메일 서버(240)는 일반적으로, 서비스되는 문서가 단지 이메일인 콘텐츠 서버로서 간주될 수 있다. 게다가, 이메일 애플리케이션들(예를 들어, 마이크로소프트 아웃룩)은 이메일을 전송 및/또는 수신하도록 사용될 수 있다. 그러므로, 이메일 서버(240) 또는 애플리케이션은 광고 소비자(130)로서 간주될 수 있다. 따라서, 이메일들은 문서들로서 간주될 수 있고, 타겟화된 광고들은 이와 같은 문서들과 관련하여 서비스될 수 있다. 예를 들어, 하나 이상의 광고들은 아래 위로 서비스될 수 있거나, 그렇치 않으면 이메일과 관련하여 서비스될 수 있다.

상기 예들이 (i) 광고들 요청 및 (ii) 이들을 콘텐츠와 결합하는 것으로서 서버들을 설명하였지만, 이들 동작들 중 하나 또는 두 가지는 클라이언트 장치(예를 들어, 최종 사용자 컴퓨터)에 의해 수행될 수 있다.

도3a는 본 발명이 사용될 수 있거나 본 발명을 사용할 수 있는 콘텐츠-타겟화된 광고 서비스 환경(300)의 버블도이다. 광고 스코어링 동작들(340)은 문서(310)의(예를 들어, 이 문서로부터 도출된) 문서 관련 정보(320) 뿐만 아니라 하나 이상의 광고들(332) 각각에 대한 광고 관련 정보(334)를 사용하여 다수의 광고들(또는 광고 식별자들) 및 관련된 광고 스코어들(355)을 결정한다. 광고들(355)은 (절대 및/또는 상대 기반으로) 이들 간주된 관계로 제한될 수 있고 분류(350)될 수 있다. 그 후, 이와 같은 광고 스코어들(355)은 적법성 결정 동작들(360) 및 위치지정/향상된 특징 애플리케이션 동작들(370)에 의해 사용될 수 있다.

광고 스코어링 동작들(340)은 또한 광고 성능 정보(336), 가격 정보(도시되지 않음), 광고주 품질 정보(도시되지 않은) 등과 같은 광고 스코어들의 결정시에 다른 정보를 고려할 수 있다.

본 발명은 물론, 2000년 6월 20일, 2000년 1월 11일 및 1999년 12월 21일에 Culliss에게 허여된 발명의 명칭이 "정보를 조직화하는 방법{Method for Organizing Information}"인 미국 특허 6,078,916, 6,014,655 및 6,006,222와 2001년 1월 30일 및 2003년 3월 25일에 Culliss에게 허여된 발명의 명칭이 "개인화된 검색 방법들{Personalized Search Methods}인 미국 특허 6,182,068 및 6,539,377에 개시되거나 상술된 검색 엔진 환경에서와 같은 다른 환경들에서도 사용될 수 있다.

도3b에 도시된 바와 같이, 스코어링 동작은 다수의 스테이지들을 포함할 수 있다. 예를 들어, 제 1 스코어링 동작(390)은 문서 관련 정보(320) 및 광고 정보(330)를 사용하여 제 1 광고 스코어(391)를 결정한다. 제 1 스코어는 관련 스코어(391)일 수 있다. 이들 스코어들(391)은 필터링 동작(394)에 의해 필터링되어 적법한 광고들(397)을 발생시킨다. 제 2 스코어링 동작(396)은 제 2(예를 들어, 랭킹) 스코어(399)를 하나 이상의 적법한 광고들에 제공할 수 있다.

광고 관련 정보 및 문서 관련 정보는 각종 상이한 표현들의 형태일 수 있다. 예를 들어, 관련 정보는 특징 벡터(예를 들어, 텀 벡터(term vector), 다수의 컨셉들(또는 토픽들 또는 클래스들, 등), 컨셉 벡터, 클러스터(예를 들어, 2002년 10월 3일에 출원되고 정보의 하나 이상의 컨셉들 또는 토픽들("PHL 클러스터들"이라 칭함)을 결정하기 위한 전형적인 방법을 설명하는 발명의 명칭이 "확률적 계층 간섭 리너를 위한 방법 및 장치{Methods and Apparatus for Probabilistic Hierarchical Inferential Learner}"인 미국 가출원 60/416,144(본원에 참조) 참조하라) 등일 수 있다. 본 발명에 의해 사용될 수 있는 콘텐츠-관련 광고들을 결정하는 전형적인 기술들은 상기 소개된 미국 특허 출원 일련번호 10/375,900에 서술되어 있다.

관련 정보를 추출 및/또는 발생시키는 각종 방법은 상기 소개된 미국 특허 출원 일련번호 60/413,536 및 미국 특허 출원 일련번호 10/314,427에 서술되어 있 다. 관련 정보는 광고 또는 문서가 속하는 클러스터 또는 토픽으로서 간주될 수 있다. 관련 광고 서버 애플리케이션들에 서술된 기술들과 같은 각종 유사 기술들은 광고 및 문서 간의 유사도를 결정하는데 사용될 수 있다. 이와 같은 유사한 기술들은 추출 및/또는 발생된 관련 정보를 사용할 수 있다. 그 후, 하나 이상의 콘텐츠 관련 광고들은 유사도 결정들을 토대로 문서와 관계될 수 있다. 예를 들어, 광고는 유사도가 어떤 절대 및/또는 상대 임계값을 초과하는 경우 문서와 관계될 수 있다.

본 발명의 한 가지 전형적인 실시예에서, 문서는 문서 식별자(예를 들어, URL)를 하나 이상의 광고들에 맵핑함으로써 하나 이상의 광고들과 관계될 수 있다. 예를 들어, 문서 정보는 처리되어 클러스터(예를 들어, PHIL 클러스터), 토픽 등과 같은 관련 정보를 발생시킨다. 그 후, 정합 클러스터들은 토픽들(예를 들어, PHIL 클러스터 식별자들)을 정합하는 광고 그룹들의 세트에 맵핑하는 인덱스에 큰 OR 질의에서 질의 항들로서 사용될 수 있다. 그 후, 이 질의 결과들은 후보 타겟팅 기준의 제 1 컷 세트로서 사용될 수 있다. 그 후, 후보 광고 그룹들은 관련 정보 추출 및/또는 발생 동작들(예를 들어 PHIL 서버)로 다시 전송되어 기준 정보 더하기 광고 텍스트 자체가 문서 관련 정보에 얼마나 잘 정합되는지를 요약하는 각 광고 그룹을 위한 실제 정보 검색(IR) 스코어를 결정한다. 광고 그룹을 위한 추정되거나 공지된 성능 파라미터들(예를 들어, 클릭-쓰루 레이트들, 컨버젼 레이트들 등)은 최적의 스코어링 광고 그룹을 결정하도록 지원하는 것으로 간주될 수 있다.

최적의 광고 그룹들의 세트가 선택되면, 하나 이상의 광고들의 최종 세트는 최적의 광고 그룹(들)로부터 기준 리스트를 사용하여 선택될 수 있다. 콘텐츠-관련 광고 서버는 이 리스트를 사용하여 전송된 M 기준의 K가 단일 광고 그룹에 정합한다면 광고를 다시 전송하도록 요청한다. 만일 그렇다면, 광고는 요청자에게 제공된다.

성능 정보(예를 들어, URL 당 또는 도메인 당 컨버젼들 또는 선택들의 히스토리)는 이 시스템에서 피드백되어, 특정한 광고들의 종류들(예를 들어, 특정 클러스터 또는 토픽에 속하는 광고들)에 대한 성능이 더욱 좋게되는 경향이 있는 클러스터들 또는 웹 페이지들이 결정될 수 있다. 이는 서비스되는 광고들이 콘텐츠-관련 및 성능 둘 다의 어떤 기능을 사용하여 결정되도록 콘텐츠-관련 광고들을 다시 랭크하도록 사용될 수 있다. 다수의 성능 최적화들이 사용될 수 있다. 예를 들어, URL로부터 관련되는 광고 그룹들의 세트까지의 맵핑은 빈번하게 관찰된 페이지들에 대한 재계산을 피하도록 캐쉬될 수 있다. 근본적으로, 본 발명은 다른 콘텐츠-관련 광고 서비스 기술들과 함께 사용될 수 있다.

§4.1.2 규정들

도1 및 도2와 관련하여 상술된 전형적인 시스템들 또는 임의의 다른 시스템들에 사용되는 온라인 광고들과 같은 광고들은 각종 고유한 특징들을 가질 수 있다. 이와 같은 특징들은 애플리케이션 및/또는 광고주에 의해 특정될 수 있다. 이들 특징들을 이하에서 "광고 특징들(ad features)"이라 칭한다. 예를 들어, 텍스트광고의 경우에, 광고 특징들은 타이틀 라인, 광고 텍스트, 및 임베드된 링크를 포함할 수 있다. 영상 광고의 경우에, 광고 특징들은 영상들, 실행가능한 코드 및 임베드된 링크를 포함할 수 있다. 온라인 광고 유형에 따라서, 광고 특징들은 다음, 텍스트, 링크, 오디오 파일, 비디오 파일, 영상 파일, 실행가능한 코드, 임베드된 정보, 등 중 하나 이상을 포함할 수 있다.

온라인 광고가 서비스될 때, 하나 이상의 파라미터들은 광고가 서비스되는 방법, 때 및/또는 장소를 설명하기 위하여 사용될 수 있다. 이들 파라미터들을 이하에서 "서비스 파라미터들"이라 칭한다. 서비스 파라미터들은 예를 들어 다음, 광고가 서비스되는 페이지의 특징들(이 페이지에 대한 정보 포함), 광고의 서비스와 관련된 검색 질의 또는 검색 결과들, 사용자 특성(예를 들어, 이들의 지리적 위치, 사용자에 의해 사용되는 언어, 사용되는 브라우저 유형, 이전 페이지 뷰들, 이전 행동), 요청을 개시하는 호스트 또는 가입 사이트(예를 들어, 아메리카 온라인, 구글, 야후), 서비스되는 페이지 상의 광고의 절대 위치, 서비스되는 다른 광고들에 대한 광고의 위치(공간 또는 시간), 광고의 절대 크기, 다른 광고들에 대한 광고의 크기, 광고의 칼러, 서비스되는 다수의 다른 광고들, 서비스되는 다른 광고들의 유형들, 서비스되는 그 날의 시간, 서비스되는 그 주의 시간, 서비스되는 그 해의 시간 등 중 하나 이상을 포함할 수 있다. 근본적으로, 본 발명의 컨텍스트에 사용될 수 있는 다른 서비스 파라미터들이 존재한다.

서비스하는 파라미터들이 광고 특징들과 관계없을 수 있지만, 이들은 서비스하는 조건들 또는 제약들로서 광고와 관련될 수 있다. 서비스 조건들 또는 제약들로서 사용될 때, 이와 같은 서비스 파라미터들을 간단히 "서비스하는 제약들"(또는 "타겟팅 기준")이라 칭한다. 예를 들어, 일부 시스템들에서, 광고주는 주말에만, 특정 위치보다 낮지 않게, 특정 위치의 사용자들에게 만 서비스되도록 규정함으로써 광고의 서비스를 타겟화할 수 있다. 다른 예에서, 일부 시스템들에서, 광고주는 페이지 또는 검색 질의가 특정 키워드들 또는 문구들만을 포함하는 경우에만 서비스되도록 규정될 수 있다. 또 다른 예에서, 일부 시스템들에서, 광고주는 자신의 광고가 서비스되는 문서가 특정 토픽들 또는 컨셉들을 포함하는 경우에만 또는 특정 클러스터 또는 클러스터들 또는 어떤 부류 또는 부류들 하에 있는 경우에만 서비스되도록 규정할 수 있다.

"광고 정보"는 광고 특징들, 광고 서비스 제약들, 광고 특징들 또는 광고 서비스하는 제약들("광고 도출된 정보"라 칭함)로부터 도출될 수 있는 정보 및/또는 광고("광고 관련된 정보"라 칭함)에 관련된 정보뿐만 아니라 이와 같은 정보(예를 들어, 광고 관련된 정보로부터 도출되는 정보)의 확장의 임의의 조합을 포함할 수 있다.

"문서"는 넓게는 임의의 기계-판독가능한 및 기계-저장가능한 작업 제품을 포함하도록 해석되어야 한다. 문서는 파일, 파일들의 조합, 다른 파일들로의 임베드된 링크들을 갖는 하나 이상의 파일들 등일 수 있다. 이 파일들은 텍스트, 오디오, 영상, 비디오 등과 같은 임의 유형일 수 있다. 최종 사용자로 렌더링될 문서의 파트들은 문서의 "콘텐츠"로서 간주될 수 있다. 문서는 콘텐츠(워드들, 픽쳐들, 등) 및 콘텐츠(예를 들어, 이메일 필드들 및 관련된 데이터, HTML 태그들 및 관련된 데이터, 등)의 의미의 어떤 표시를 포함하는 "구조화된 데이터"를 포함할 수 있다. 문서 내의 광고 스폿들(spots)은 임베드된 정보 또는 명령들에 의해 규정될 수 있다. 인터넷의 컨텍스트에서, 공통 문서는 웹 페이지이다. 웹 페이지들은 종종 콘텐츠를 포함하고 임베드된 정보(메타 정보, 하이퍼링크들, 등) 및/또는 임베드된 명령들(자바스크립트, 등)을 포함할 수 있다. 많은 경우들에, 문서는 고유 어드레스가능한 저장 위치를 가짐으로, 이 어드레스가능한 위치에 의해 고유하게 식별될 수 있다. 유니버셜 리소스 로케이터(URL)는 인터넷상에서 정보를 액세스하도록 사용되는 고유 어드레스이다.

"문서 정보"는 문서에 포함되는 임의의 정보, 즉 문서에 포함된 정보로부터 도출가능한 정보('문서 도출된 정보"라 칭함) 및/또는 문서에 관련된 정보('문서 관련 정보'라 칭함) 뿐만 아니라 이와 같은 정보의 확장들(예를 들어, 관련 정보로부터 도출되는 정보)를 포함할 수 있다. 문서 도출된 정보의 예는 문서의 텍스츄얼 콘텐츠를 토대로 한 부류이다. 문서 관련된 정보의 예들로서 인스턴트 문서와의 링크들을 갖는 다른 정보들로부터의 문서 정보뿐만 아니라 인스턴트 문서가 링크되는 다른 문서들로부터의 문서 정보를 들 수 있다.

문서로부터의 콘텐츠는 "콘텐츠 렌더링 애플리케이션 또는 장치(content rendering application or device)"상에서 렌더링될 수 있다. 콘텐츠 렌더링 애플리케이션의 예들은 인터넷 브라우저(예를 들어, 익스플로러 또는 네스케이프), 매체 플레이어(예를 들어, MP3 플레이어, 리얼네트웍스 스트리밍 오디오 파일 플레이어 등), 뷰어(예를 들어, 애도브 아크로바트 pdf 리더) 등을 포함한다.

"콘텐츠 소유자"는 문서 내용의 어떤 소유권을 갖는 사람 또는 엔터티이다. 콘텐츠 소유자는 콘텐츠의 저자일 수 있다. 게다가 또는 대안적으로, 콘텐츠 소유자는 콘텐츠를 재생할 권리들, 콘텐츠의 파생적 작업들을 준비할 권리들, 콘텐츠를 공개적으로 디스플레이 또는 수행할 권리들 및/또는 콘텐츠의 다른 규정된 권리들을 가질 수 있다. 콘텐츠 서버가 서비스되는 문서들의 콘텐츠의 콘텐츠 소유자일 수 있지만, 이는 반드시 필요로되는 것은 아니다.

"사용자 정보"는 사용자 행동 정보 및/또는 사용자 프로파일 정보를 포함할 수 있다.

"이메일 정보"는 이메일에 포함되는 임의의 정보(또한 "내부 이메일 정보"라 칭함), 이메일에 포함되는 정보로부터 도출될 수 있는 정보 및/또는 이메일에 관련된 정보뿐만 아니라 이와 같은 정보의 확장들(예를 들어, 관련된 정보로부터 도출되는 정보)를 포함할 수 있다. 이메일 정보로부터 도출되는 정보의 예는 이메일 서브젝트 라인으로부터 추출되는 항들로 이루어진 검색 질의에 응답하여 리턴되는 검색 결과들로부터 추출되거나 그렇치 않다면 도출되는 정보이다. 이메일 정보와 관련된 정보의 예들은 소정 이메일의 동일한 전송자에 의해 전송된 하나 이상의 다른 이메일들에 대한 이메일 정보 또는 이메일 수신자에 대한 사용자 정보를 포함한다. 이메일 정보로부터 도출되거나 이와 관련된 정보를 "외부 이메일 정보라" 칭할 수 있다.

본 발명의 각종 전형적인 실시예들이 지금부터 §4.2.에 서술된다.

§4.2 전형적인 실시예들

도3a 및 도3b로부터 광고 스코어링 동작들이 광고 성능 정보를 사용할 수 있다는 것을 상기하라. 본 발명자들은 이와 같은 성능 정보(예를 들어, 광고에 대한 클릭-쓰루 레이트)가 종종, 모든 문서들 및 모든 컨셉들에 걸쳐서 추적되어 전체적으로 유지된다는 것을 인지한다. 그러나, 이와 같은 글로벌 성능 정보를 사용하면 어떤 경우들에서 최적의 결과들을 제공하지 못할 수 있다. 본 발명은 문서(예를 들 어, 웹 페이지), 호스트(예를 들어, 웹사이트) 및/또는 컨셉 레벨에 대한 성능 정보를 추적, 집합 및 사용하여 콘텐츠-타겟화된 광고들의 서비스를 개선시키도록 사용될 수 있다.

본 발명은 (1) 사용자 행동(예를 들어, 클릭) 데이터 수집 스테이지, (2) 사용자 행동 데이터 전처리 스테이지 및 (3) 사용자 행동 데이터 기반으로 한 광고 스코어 결정 또는 조정 스테이지 중 하나 이상을 포함할 수 있다. 이들 스테이지들 각각을 수행하는 전형적인 실시예들이 후술된다. 특히, 사용자 행동 데이터를 수집하고 이와 같은 사용자 행동 데이터를 전처리하는 데이터 구조들 및 전형적인 방법들은 §4.2.2에 서술된다. 그 후, 이와 같은 사용자 행동 데이터를 사용하여 광고 스코어들을 결정 또는 조정하는 전형적인 방법은 §4.2.3에 서술된다. 본 발명은 서술된 특정 실시예들로 제한되지 않는다. 그러나, 우선, 도3A 및 도3B의 (300 및 300')와 같은 콘텐츠 타겟화된 광고 서비스 환경들에 본 발명의 각종 양상들의 적용이 §4.2.1에 설명된다.

§4.2.1 콘텐츠 타겟화된 광고 서비스 환경에서 본 발명의 사용

이하의 예로부터 알 수 있는 바와 같이, 문서 특정(및/또는 호스트 특정) 클릭 피드백(또는 어떤 다른 추적된 사용자 행동)은 상기에 리스트되어 참조된 가출원 및 유틸리티 특허 출원들에 서술된 바와 같이 콘텐츠-타겟팅 광고 서비스 시스템을 개선시키는데 사용될 수 있다. 여러 도시들에 대한 날씨 페이지들을 호스트하는 www. wunderground.com 과 같은 전형적인 웹사이트를 고려하자. 위시콘신 주의 Lake Tahoe, Las Vegas 및 Hurley에서 날씨에 관한 세개의(3) 웹 페이지들을 고려하자.

우선, 클릭 피드백은 광고들의 품질을 개선시키는데 유용할 수 있다. 예를 들어, 콘텐츠-타겟화된 광고 시스템은 부울 "OR" 연산, 웹 페이지로부터의 여러 컨셉들을 사용하여 연속을 토대로 한 질의를 발생시킴으로써 광고들을 서비스할 수 있다. 따라서, 질의="Lake Tahoe OR barometer OR Squaw Valley"는 Lake Tahoe의 날시에 관한 웹 페이지로부터 이들 결정된 컨셉들을 사용하여 발생될 수 있다. 이들은 상이한 컨셉들이고 바로미터들, Lake Tahoe 호텔들 및 Squaw Valley 스키 렌탈들에 대한 광고들을 발생시킬 수 있다. 이와 같은 경우들에서, 서비스하기 위한 "정확한" 광고들(또는 광고들의 세트)를 선택하는 것은 어렵다. 또다시, "정확한" 광고들(또는 광고들의 세트)는 웹 페이지 마다 다를 것이다. Las Vegas 관련된 웹 페이지에 대해서, 가장 합리적인 광고(들)은 그곳에서의 호텔들에 대한 것일 수 있다. Hurley, WI 관련된 웹 페이지에 대해선, 날씨를 점검하는데, 그곳을 반드시 방문하지 않음으로 호텔들이 필요로되지 않지만, 날씨 관련된 도구들에 더 많은 관심을 둘 수 있다. Lake Tahoe 관련된 웹 페이지에 대해선, 사용자들은 리프트 티켓들 및 스키 렌탈들을 위한 광고들을 더 많이 선택할 것 같다. 도시된 예처럼, 3개의 유사한 구조의 웹 페이지들은 관련되지 않은 토픽들 또는 컨셉들에 대한 상이한 "클릭 응답들"을 가질 수 있다. 광고 성능 파라미터들(예를 들어, 클릭 쓰루 레이트들(CTRs))은 유용하고 URL 마다 유지될 수 있다. 본 발명은 다른 것들이 클릭되는 정보를 사용하여 그리고 웹 페이지에 따라서 "더욱 양호" 하고 더 많은 관심을 선택하도록 이와 같은 정보를 사용할 수 있다.

클릭 피드백은 또한 광고 스폿들/향상된 광고 특징들이 "정확한" 경매에 유용할 수 있다. 예를 들어, 광고 시스템들은 검색 결과들 웹 페이지 상에서 광고 스폿들을 경매하기 위한 검색 질의 정보(예를 들어, 키워드) CTR('검색 CTR'이라 칭함). 그러나, 이는 특히 콘텐츠 CTR과 관련되지 않는다. 예를 들어, 키워드 "바로미터"에 대한 검색 CTR은 사용자들이 검색하고자 하는 것인 경우 높게될 수 있다. 그러나, 콘텐츠-타겟팅 광고 시스템의 컨텍스트에서, 바로미터 컨셉 타켓팅을 지닌 광고들은 Las Vegas에 대한 날씨가 서비스되는 경우 임의의 클릭들을 발생시키지 않을 것이다. 호텔 컨셉 타겟팅 및/또는 부동산 컨셉 타켓팅을 갖는 광고들은 Las Vegas 날씨 페이지가 서비스되는 경우 클릭들을 더 많이 발생시킬 것이다. 따라서, 검색 결과들 페이지 상에서 광고 스폿들을 경매할 때 유용할 수 있는 검색 CTR 정보는 (예를 들어, 수천 임프레션들 당 추정된 비용(ECPMs) 및 클릭 당 비용(CPCs)을 결정하기 위한) 콘텐츠 웹 페이지 상에서 광고 스폿들을 경매하는 컨텍스트에서 유용하지 않을 수 있다. 본 발명은 URL 당 CTR 통계를 사용하여 각 광고(또는 광고 그룹)에 대한 더욱 양호한 CTR을 결정하도록 사용될 수 있다.

클릭 피드백은 또한 트랜지언트 광고들(또는 광고 그룹들)로부터 성능 정보를 외삽하는데 유용할 수 있다. 광고주들, 광고들 및/또는 광고 그룹들은 자신들의 예산들을 감소시키며, 자신들의 캠페인들을 선택-출력하거나 종료시킬 수 있는 등으로 인해 트랜지언트하게 되는 것으로 간주될 수 있다. 그러나, 라스베가스 내의 발리의 호텔 또는 MGM 그랜드에 대한 웹 페이지가 서비스되는 광고들에 대한 클릭 피드백 정보는 웹 페이지에 의해 이와 같은 광고들을 서비스할 지 여부를 고려할 때 유사한 특성들(예를 들어 유사한 컨셉들 또는 유사한 타겟팅들을 갖는다)을 공유하는 다른 광고들(아마도 낮은 가중치를 가짐)에 적용될 수 있다. 본 발명은 이전 클릭된 광고들로부터 새로운 광고들까지 클릭 피드백 정보를 외삽하도록 사용되고 감소된 광고들 인벤토리(inventory)를 보상하도록 "관련된" 광고들(동일한 개념들을 트리거)을 나타낸다.

도4는 도3a의 환경과 같은 환경에서 본 발명의 제 1 실시예(400)의 버블 도이다. 도3a의 환경(300)의 경우처럼, 광고 스코어링 동작들(440)은 문서(410)의 문서 관련 정보(420)를 사용할 뿐만 아니라 하나 이상의 광고들(432) 각각에 대한 광고 관련 정보(434)를 사용하여 다수의 광고들(또는 광고 식별자들) 및 관련된 광고 스코어(455)를 결정한다. 광고들(455)은 이들 간주된 관련(절대 및 상대를 기반으로)으로 제한되고 분류될 수 있다(450). 그 후, 이와 같은 광고 스코어들(455)은 적법성 결정 동작들(460) 및/또는 광고 위치지정/향상된 특징 애플리케이션 동작들(470)에 의해 사용될 수 있다. 가상 도시된 각종 동작들은 특정 문서에 대한 광고들의 성능 데이터(480)를 사용할 수 있다. 문서 마다, 호스트 마다, 및/또는 컨셉 마다 기반으로 광고 성능 데이터를 수집 및/또는 집합시키는 동작들은 도시되지 않았다. 어쨌든, 테이블(480)로 표시된 바와 같이, 광고 성능 정보(484)(예를 들어, 클릭 쓰루 레이트, 컨버젼 레이트 등) 뿐만 아니라 이와 같은 성능 정보(예를 들어, 임프레션 카운트들, 선택 카운트들, 컨버젼 카운트들 등)(도시되지 않음)의 기초 파트들은 문서 마다 기반으로 다수의 광고들(또는 광고 그룹들)(482) 각각에 대해서 추적될 수 있다. 예를 들어, 도4에 도시된 바와 같이, 문서(410)는 (예를 들어, 문서 식별자(412)를 사용하여) 테이블(480)과 관계될 수 있다. 소정 문서에 대한 모든 광고들(또는 광고 그룹들)(482)에 대한 평균 광고(또는 평균 광고 그룹) 성능(484)이 또한 결정되고 분류될 수 있다.

본 발명은 가상으로 도시된 동작들 중 하나 이상의 동작을 수행할 수 있다. 이들 동작들은 문서-특정 광고(또는 광고 그룹) 성능 정보(480)를 사용할 수 있다. 후보 광고 세트 확장 동작들(490)은 적어도 문서-특정 광고(또는 광고 그룹) 성능 정보를 사용하여 "관련" 또는 "적법한" 광고들의 수를 증가시키는데 사용될 수 있다. 광고 스코어 조정 동작들(491)은 적어도 문서-특정 광고(또는 그룹) 성능 정보(480)를 사용하여 광고들(455)의 이미 결정된 스코어들을 조정하도록 사용될 수 있다. 광고 성능 정보 조정 동작들(493)은 적어도 문서-특정 광고 또는 (광고 그룹) 성능 정보(480)를 사용하여 (일시적으로) 광고 성능 정보(436)(또는 광고 성능 정보(436) 대신 또는 이와 결합하여 사용될 수 있다)를 조정하도록 사용될 수 있다. 최종적으로, 성능 파라미터 추정(외삽) 동작들(496)은 광고(또는 광고 그룹) 성능 정보를 상주, 및/또는 조정 및 보충하도록 사용될 수 있다. 이러한 동작들을 수행하는 예시적인 방법들은 이후에 기술된다.

도5는 도3a의 환경과 같은 환경에서 본 발명의 제 2 실시예(500)의 버블도이다. 도3의 환경(300)의 경우처럼, 광고 스코어링 동작들(540)은 문서(510)의 문서 관련 정보(520)를 사용할 뿐만 아니라 하나 이상의 광고들(532) 각각에 대한 광고 관련 정보(534)를 사용하여 다수의 광고들(또는 광고 식별자들) 및 관련된 광고 스코어들(555)을 결정한다. 광고들(555)은 이들 간주된 관련(절대 및/또는 상대를 기반으로)으로 제한될 수 있고 분류될 수 있다(550). 그 후, 이와 같은 광고 스코어들(555)은 적법성 결정 동작들(560) 및/또는 위치지정/향상된 특징 애플리케이션 동작들(570)에 의해 사용될 수 있다. 가상으로 도시된 각종 동작들은 광고들(또는 광고 그룹들)(582)의 성능 데이터(584) 및/또는 특정 문서 또는 호스트(예를 들어, 웹 사이트)에 대한 타겟팅 함수들(587)의 성능 데이터(588)을 사용할 수 있다.

문서 마다, 호스트 마다, 및/또는 컨셉 마다 기반으로 광고 성능 데이터를 수집 및/또는 집합시키는 동작들은 도시되지 않았다. 어쨌든, 테이블(580)로 표시된 바와 같이, 광고(또는 광고 그룹) 성능 정보(584)(예를 들어, 클릭 쓰루 레이트, 컨버젼 레이트 등) 뿐만 아니라 이와 같은 성능 정보(예를 들어, 임프레션 카운트들, 선택 카운트들,등)(도시되지 않음)의 기초 파트들은 호스트 마다 기반으로 다수의 광고들(또는 광고 그룹들)(582) 각각에 대해서 추적될 수 있다. 유사하게, 테이블(586)로 표시된 바와 같이, 광고(또는 광고 그룹) 성능 정보(588) 뿐만 아니라 이와 같은 성능 정보의 기초 파트들(도시되지 않음)은 호스트 마다 기반으로 다수의 타겟팅 함수들(587) 각각에 대해서 추적될 수 있다. 예를 들어, 도5에 도시된 바와 같이, 문서(510)의 호스트(514)는 테이블들(580 및 586)과 관련될 수 있다. 소정 호스트에 대한 모든 광고들(또는 광고 그룹들)(582, 587)에 대한 평균 광고(또는 광고 그룹) 성능(584, 588)이 또한 결정되고 분류될 수 있다.

본 발명은 가상으로 도시된 동작들 중 하나 이상의 동작을 수행할 수 있다. 이들 동작들은 호스트 특정 광고 성능 정보(580) 및/또는 호스트 특정 타겟팅 함수 광고 성능 정보(586)를 사용할 수 있다. (도면을 간단화하기 위하여, 일부 동작들 에 의한 이 정보(580 및 586)의 사용은 도시되지 않는다). 후보 광고 세트 확장 동작들(590)은 적어도 호스트-특정 광고(또는 광고 그룹) 성능 정보(480)를 사용하여 "관련" 또는 "적법한" 광고들의 수를 증가시키는데 사용될 수 있다. 광고 스코어 조정 동작들(591)은 적어도 호스트-특정 광고(또는 광고 그룹) 성능 정보(580)를 사용하여 광고들(555)의 이미 결정된 스코어들을 조정하도록 사용될 수 있다. 광고 성능 정보 조정 동작들(593)은 적어도 호스트 특정 광고(또는 광고 그룹) 성능 정보(580)을 사용하여 (일시적으로) 광고 성능 정보(536)를 조정하도록 사용될 수 있다(또는 광고 성능 정보(436) 대신에 또는 이와 결합하여 사용될 수 있다). 문서/호스트 특정 광고 스코어링 동작들(594)은 적절한 스코어링 함수를 선택 및/또는 광고 스코어링 동작들(540)에 의해 사용되는 스코어링 함수 요소들 및/또는 파라미터들(595)을 조정하도록 사용될 수 있다. 예를 들어, 상이한 스코어링 함수들은 상이한 광고 타겟팅 기술들(예를 들어, 키워드-기반, 컨셉-기반, 문서 컨셉-기반, 호스트 컨셉-기반, 등)을 사용하거나 각종 가중치들과 상이한 광고 타겟팅 기술들의 조합을 사용할 수 있다. 최종적으로, 성능 파라미터 추정(외삽) 동작들(596)은 광고(또는 광고 그룹) 성능 정보(584)를 상주 및/또는 조정 및 보충하도록 사용될 수 있다. 이들 동작들을 수행하는 전형적인 방법들이 후술된다.

상술된 바로부터 알 수 있는 바와 같이, 본 발명을 따른 각종 동작들은 광고 스코어링 전, 동안 또는 후에 적용되는 특정 성능(예를 들어, 광고, 광고 그룹, 타겟팅 함수, 등)을 고려하여 사용될 수 있다.

예를 들어, 도6은 문서 특정 광고 성능 정보(680)를 사용하여 초기 스코어 (655)로부터 조정된 스코어(699)를 발생시키는 광고 스코어 조정 동작들(691)(예를 들어, 도4 및 도5 각각의 491 및 591을 상기하라)을 도시한다. 초기 스코어(655)는 (일반적인) 광고 성능 정보(636), 문서 정보(620) 및 다른 광고 정보(예를 들어, 타겟팅 정보, 가격 정보, 광고주 품질 정보 등)(632)을 사용하여 광고 스코어링 동작들(640)에 의해 사전에 발생될 수 있다. 따라서, 도6은 광고 스코어링 후 문서 특정 광고 성능 정보의 사용을 도시한 것이다.

도7은 문서 특정 광고 성능 정보(780)를 사용하여 (일반적인) 광고 성능 정보(736)를 조정하여 혼합된(또는 조정된) 광고 성능 정보(798)를 발생시키도록 광고 성능 혼합(조정) 동작들(793)(예를 들어 도4 및 도5 각각의 493 및 593을 상기하라)을 도시한 것이다. 광고 스코어링 동작들(740)은 이와 같은 혼합된 광고 성능 정보(798) 뿐만 아니라 다른 광고 정보(732) 및 문서 정보(720)를 사용하여 광고 스코어(750)를 발생시킨다. 따라서, 도7은 광고 스코어링 전 문서 특정 광고 성능 정보의 사용을 도시한 것이다.

도8은 스코어링 함수를 선택 및/또는 스코어링 함수(895)의 파라미터들을 조정하기 위하여 선택/조정 동작들(894)을 스코어링함으로써 문서 특정(또는 호스트 특정) 타겟팅 함수 성능 정보의 사용을 도시한 것이다. 그 후, 광고 스코어링 동작들(840)은 선택된 스코어링 함수 및/또는 스코어링 함수 파라미터들 뿐만 아니라 광고 정보(832) 및 문서 정보(820)를 사용하여 광고 스코어(850)를 발생시킨다. 따라서, 도8은 광고 스코어링 동안 (예를 들어, 문서, 호스트 등) 특정 타겟팅 함수 성능 정보의 사용을 도시한 것이다.

상기 동작들이 문서 특정 성능 정보와 관련하여 서술되었지만, 성능 정보는 문서들(예를 들어, 호스트 특정, 문서 클러스터 특정, 등)의 일부 그룹화에 특정될 수 있다. 게다가, 상술된 동작들이 광고 성능 정보와 관련하여 설명되었지만, 광고들(예를 들어, 광고 그룹들, 등)의 성능 정보가 사용될 수 있다.

§4.2.2 사용자 행동 데이터 저장 및 집합

도9는 본 발명을 따른 방식으로 데이터를 수집 및 집합시키는 전형적인 방법(900)의 순서도이다. 광고가 문서와 관련하여 서비스될 때마다, 문서(및/또는 호스트) 식별자(예를 들어, URL)는 로깅될 수 있고, 광고(및/또는 광고 그룹) 식별자는 로깅될 수 있으며, 임프레션 정보는 로깅될 수 있다 (블록 910). 각종 사용자 행동 정보는 수용될 수 있다 (블록 920). 예를 들어, 문서 식별자, 광고(또는 광고 그룹) 식별자, 사용자 행동 정보 및 비용 정보(예를 들어, 선택 당 비용, 컨버젼 당 비용)은 수용될 수 있다. 대안적으로 또는 부가적으로, 호스트 식별자, 광고(또는 광고 그룹) 식별자, 사용자 행동 정보 및 비용 정보는 수용될 수 있다. 대안적으로 또는 부가적으로, 호스트 식별자, 타겟팅 함수(또는 타겟화 함수들), 사용자 행동 정보 및 비용 정보는 수용될 수 있다. 이와 같은 사용자 행동 정보는 연속적으로(예를 들어, 발생되는 대로) 또는 증분적으로(예를 들어, 일괄적으로)수용될 수 있다. 그 후, 카운트들 및/또는 통계들은 수용되고 로깅된 정보를 토대로 갱신될 수 있다 (블록 930). 이 정보는 카운트들을 사용하여 임계화될 수 있다 (블록 940). 데이터는 데이터 신뢰도의 어떤 측정을 사용하여 조정(예를 들어, 스무드)될 수 있다 (블록 950). 그 후, 갱신된 카운트들 및/또는 통계들은 저장될 수 있다 (블록 960). 문서 식별자(예를 들어, URL) 또는 호스트 식별자(예를 들어, 홈 페이지 URL)는 저장된 카운트들 및/또는 통계들에 대한 룩업 키로서 사용될 수 있다 (블록 960).

블록(910)을 참조하면, 본 발명은 오프라인 프로세스를 사용하여 (예를 들어, 구글 웹 서버와 같은 프론트 엔드 웹 서버를 사용하여) 사용자 행동의 로그들을 집합시키고 URL 마다, 도메인 정보 마다 기반으로 통계들을 기록한다. 예를 들어, 모든 클릭들 및 광고 임프레션들의 샘플은 (하루에 두번) 수집될 수 있다. 이 데이터를 이하에서 "매일-디코딩된 로그 데이터"라 칭할 수 있다.

블록들(920 및 930)을 참조하면, 상기 데이터 및 ADGroupCreativeId-to-AdGroup 맵핑으로부터 요약 데이터 구조들이 발생될 수 있다. 다음의 데이터 구조들은 AdGroup 그래뉼러티를 워크 오프(work off)하는 콘텐츠 광고 시스템에 유용한데, 이는 집합 단위로서 사용되기 때문이다. 다른 집합 단위들(예를 들어, AdGroupCreativeId, 또는 유사한 단위들)이 가능하고 다음 데이터 구조들이 이에 따라서 수정될 수 있다. 이하에서, "numimprs"는 임프레션들의 수를 의미하며, "numclicks"는 사용자 선택들(예를 들어, 클릭들)의 수를 의미하며, "avgcpc"는 선택(예를 들어, 클릭)당 평균 비용을 의미하고 "avgctr"은 평균 선택(예를 들어 클릭-쓰루) 레이트를 의미한다.

(1) URL:->{ AdGroup , numimprs , numclicks , avgcpc }+ avgctr

(2) Host:-> { AdGroup , numimprs , numclicks , avgcpc }+ avgctr

(3) Host:-> {targeting-feature, numimprs , numclicks , avgcpc }+ avgctr

(4) AdGroup :->{ numimprs , numclicks , avgcpc }+ avgctr

상술한 데이터 구조들을 발생시키기 위하여, 본 발명은 매일-디코딩된-로그 데이터의 최종 K 날들(예를 들어, 2달)을 통해서 집합할 수 있고 numimprs>threshold_num_imprs or numclicks>threshold_num_clicks인 모든 키들에 대한 정보를 유지할 수 있다. 평균 성능 정보는 또한 발생되고 저장될 수 있다. 예를 들어, (a) 문서 당 광고 그룹들; (b) 호스트 당 광고 그룹들; 및 (c) 호스트 당 타겟팅 함수들 모두에 대한 평균 사용자 행동이 결정될 수 있다.

블록(940)을 다시 참조하면, 이 집합은 "카운팅+임계화" 문제의 예인데, 여기서 엔트리들의 긴 테일이 존재한다. 즉, 전형적으로 모든 URLs/AdGroups에 대한 카운터들이 유지되고 집합 시에 임계에 도달하지 않는 카운터들이 폐기될 수 있다. 이는 클래식 "아이스버그(iceberg)" 질의로 간주될 수 있고, 본 발명은 공지된 기술들(예를 들어, M.Fang, N. Shivakumar, H.Garcia-Molina, R. Motwani, J. Ullman이 24^th International Conference on Very Large Databases(1998년 8월 24-27)에 발표한 "효율적으로 아이스버그 질의들을 계산{Computing Iceberg Queries Efficiently}" 논문(본원 참조))을 사용하여 조기에 임계화를 수행한다.

블록(950)을 다시 참조하면, 본 발명의 개정된 실시예는 데이터 스무딩을 사용할 수 있다. 클릭 통계들의 "신뢰도"는 여러 광고들 및 URLs에 대해 크게 가변될 수 있다. 예를 들어, 광고 X는 1000 임프레션들에서 200 클릭들을 얻을 수 있는 한편, 광고 Y는 5임프레션들에서 1 클릭을 얻을 수 있다. 두 개의 광고들이 동일한 CTR을 갖지만, 광고 X를 위한 통계들의 신뢰도 레벨은 광고 Y를 위한 신뢰도 레벨보다 높다. 이와 같은 신뢰도 파라미터를 반영하기 위하여, 본 발명은 다음과 같이 평균 콘텐츠-광고들 CTR을 향하는 CTR 값들을 "스무드" 할 수 있다.

SmoothedCTR=(Clicks+1)/(Impressions+1/BaseCTR)

CTR 값들을 스무드하게 하는 상이한 방법들이 있을 수 있다. 한 가지 대안은 다음을 사용하는 것이다.

SmoothedCTR=CTR*confidence+BaseCTR*(1-confidence)

여기서 신뢰도는 임프레션들의 수를 토대로 설정된다. 신뢰도는 또한 데이터 샘플의 연령과 같은 데이터 다른 특성들의 함수일 수 있다.

상술된 클릭 통계 데이터 구조들을 유지하기 위한 옵션들 이외에도 본 발명을 따른 방식으로 클릭 통계들을 수집하고 저장하는 많은 다양한 방식들이 존재한다. 통계들은 전체 시간 기간 동안 수집될 수 있다. 대안적으로 통계들은 증분적인 방식으로 수집되고 로딩될 수 있다. 통계들은 런타임에서 파일들에 저장되고 메모리에 로딩될 수 있다. 대안적으로 또는 부가적으로, 이들은 런 타임에서 테이버베이스에 저장되고 검색될 수 있다. 피드백을 주기적으로 계산하기 위한 오프라인 메커니즘이 서술되었지만, 이와 같은 피드백 계산은 또한 실시간에서 온라인에서 행해질 수 있다.

도4 및 도5의 (480, 580, 586)과 같은 데이터 구조들을 발생시키기 위하여 사용자 행동 데이터를 로깅하고 집합시키는 전형적인 기술이 서술되었지만, 본 발명을 따른 방식으로 이들 데이터 구조들 중 하나 이상의 구조들을 사용할 수 있는 각종 방법들이 지금부터 §4.2.3에서 설명된다.

§4.2.3 저장된 사용자 행동 데이터를 사용하여 광고 스코어들을 결정 및/또는 조정

§4.2.3.1 후보 광고 세트 확장

도10은 본 발명을 따른 방식으로 후보 광고들(예를 들어, 동작들 490 및 590을 상기하라)의 세트를 확장시키는 전형적인 방법(1000)의 순서도이다. 문서 식별자(예를 들어, URL)가 수용된다 (블록 1010). 최적 수행 광고들(또는 광고 그룹들)의 제 1 미리결정된 수(예를 들어, K 여기서 K는 일 실시예에서 0 내지 500 범위일 수 있다)는 저장된/집합된 사용자 행동 데이터를 사용하여 문서에 대해서 결정된다 (블록 1020). 최종적으로, 최적 수행 광고들(또는 광고 그룹들)의 적어도 제 1 미리결정된 수를 포함하는 후보 광고들의 세트가 결정된다 (블록 1030). 후보 광고들의 세트는 정상 처리 하에서 결정되는 광고들을 포함할 수 있다. 도시되지 않았지만, 광고들의 원래 세트를 확장할 지 여부 및/또는 광고들의 수 K를 확장시킬지 여부는 원래 세트의 광고들의 절대 및/또는 상대 성능을 따를 수 있다.

상술된 바로부터 알 수 있는 바와 같이, 본 발명의 이 양상은 반드시 특히 양호하게 글로벌적으로 수행될 필요가 없는 광고들을 허용하지만, 소정 문서와 관련하여 서비스되도록 적법하게 될 소정 문서(또는 소정 호스트)에 대해선 양호하게 수행한다.

본 발명의 전형적인 실시예에서, 각 URL에 대해서, 최상의 K 최고 CTRs을 갖는 이들 AdGroups은 정상 스코어링 메커니즘들로부터 얻어진 AdGroup 후보들에 첨 부된다. 이는 데이터 구조를 사용하여 행해질 수 있다: URL:->{AdGroup, numimprs, numclicks, avgcpc}+avgctr.

§4.2.3.2 광고 스코어 조정 기술들

§4.2.3.2.1 광고 스코어 조정

도11은 본 발명을 따른 방식으로 광고 스코어(예를 들어, 동작들 491 및 591을 상기하라)를 조정하는 전형적인 방법(110)의 순서도이다. 광고(또는 광고 그룹) 후보들 및 이들의 각 스코어들(예를 들어, 455 및 555를 참조하라)은 수용된다 (블록 1110). 문서 식별자(예를 들어, URL) 및/또는 호스트 식별자(웹사이트 홈 페이지 URL)는 수용될 수 있다(블록 1120). 루프(1130-1160)로 도시된 바와 같이, 다수의 작용들은 각 수용된 광고(또는 광고 그룹) 후보에 대해서 수행된다. 특히, 문서 특정 및/또는 호스트 특정 광고(또는 광고 그룹) 성능 정보가 수용된다(블록 1140). 모든 광고들(또는 광고 그룹들)에 대한 문서 및/또는 호스트에 대한 평균 성능 정보는 또한 수용될 수 있다. 그 후, 광고(또는 광고 그룹) 스코어는 수용된 문서 특정 및/또는 호스트 특정 성능 정보를 사용하여(및 평균 성능 정보를 사용하여) 조정된다(블록 1160). 모든 광고(광고 그룹) 후보들이 처리될 때, 이 방법(1100)은 중단된다(노드 1170).

상술한 바로부터 알 수 있는 바와 같이, 서비스되는 문서와 관계함이 없이 적어도 광고의 성능의 함수일 수 있는 광고의 스코어는 광고에 대한 문서 특정 및/또느 호스트 특정 성능 정보를 사용하여 조정될 수 있다.

본 발명의 한 가지 전형적인 실시예에서, AdGroup 후보들 및 컨셉들(예를 들 어, PHIL 클러스터들)은 소정 웹 페이지 또는 호스트 상의 자신들의 CTR을 사용하여 다시 스코어링 된다. 이는 데이터 구조 URL:->{AdGroup, numimprs, numclicks, avgcpc}+avgctr을 사용하여 행해질 수 있다.

도11의 방법(1100)은 문서(및/또는 호스트) 특정 성능 정보의 후-스코어링 애플리케이션의 예이다(예를 들어, 도6을 상기하라).

§4.2.3.2.2 광고 성능 조정

도12는 본 발명을 따른 방식으로 (일시적으로) 광고 성능 정보(예를 들어, 동작들 493 및 593을 상기하라)을 조정하기 위한 전형적인 방법(1200)의 순서도이다. 적법한 광고(또는 광고 그룹) 후보들 및 광고(또는 광고 그룹) 성능 정보가 수용된다(블록 1210). 문서 식별자(예를 들어, URL) 및/또는 호스트 식별자가 수용된다(블록 1220). 루프(1230-1260)로 도시된 바와 같이, 다수의 작용들은 각 수용된 광고(또는 광고 그룹) 후보에 대해서 수행된다. 특히, 문서 특정 및/또는 호스트 특정 광고(또는 광고 그룹) 성능 정보가 수용된다(블록 1240). 모든 광고들(또는 광고 그룹들)에 대한 문서 및/또는 호스트에 대한 평균 성능 정보는 또한 수용될 수 있다. 그 후, 광고(또는 광고 그룹) 성능 정보는 수용된 문서 특정 및/또는 호스트 특정 성능 정보를 사용하여(및 평균 성능 정보를 사용하여) 조정된다(블록 1250). 모든 광고(광고 그룹) 후보들이 처리될 때, 이 방법(1200)은 중단된다(노드 1270).

상술한 바로부터 알 수 있는 바와 같이, 소정 문서에 대한 광고의 스코어를 결정하기 위하여, 통상적으로 서비스되는 문서를 고려하지 않는 광고의 성능은 광고에 대한 문서 특정 및/또는 호스트 특정 성능 정보를 사용하여 조정될 수 있다. 도12의 방법(1200)은 문서(및/또는 호스트) 특정 정보의 사전-스코어링 애플리케이션의 예이다(예를 들어, 도7을 상기하라).

본 발명의 한 가지 전형적인 실시예에서, 웹 페이지, 웹사이트, 또는 콘텐츠-광고 특정 선택 통계는 광고 서버로 전송되어, 광고 스코어를 결정하는데 이들을 사용할 수 있도록 한다(예를 들어, 광고 위치들/광고 특징들을 할당시에 사용). 이는 다음 데이터 구조들 중 하나 이상의 구조를 사용하여 행해질 수 있다.

URL:->{AdGroup, numimprs, numclicks, avgcpc}+avgctr;

Host:->{AdGroup, numimprs, numclicks, avgcpc}+avgctr; 및

(AdGroup:->{numimprs, numclicks, avgcpc}+avgctr)

본 발명을 따르면, 선택 통계들은 광고 서버에 전송되는 AdGroup 리스트 내의 각 AdGroup에 부착될 수 있다. 본 발명은 URL-레벨 통계들이 존재하는 경우 이들을 사용할 수 있다. 그렇치 않다면, 본 발명은 호스트-레벨(예를 들어, 웹사이트 홈 페이지 URL 레벨) 통계들, 모든 콘텐츠-광고들 속성들에 대한 AdGroup 통계들 또는 다소 덜 바람직한 경우에, 콘텐츠-광고들 평균 AdCTR을 사용할 수 있다.

§4.2.3.2.3 문서/호스트 특정 AD 스코어링 함수 결정

도13a는 본 발명에 따른 방식으로 문서(또는 호스트) 특정 스코어링 함수(예를 들어, 동작들(594)을 상기하라)를 선택하는 전형적인 방법(1300)이다. 문서(또는 호스트) 식별자가 수용된다. (블록 1305) 최상의 성능을 갖는 (문서에 대한 광고들을 서비스하는) 스코어링 함수가 결정된다. (블록 1310) (예를 들어, 도5의 정보(586)를 상기하라). 그리고 나서, 결정된 스코어링 함수가 상기 방법(1300)이 중 단되기 이전에(노드 1320), 하나 이상의 광고들을 스코어링하는데 사용된다(블록 1315).

도13b는 본 발명에 따른 방식으로 광고들의 문서 특정 또는 호스트 특정 스코어링(예를 들어, 동작들(594)을 상기하라)에 대한 전형적인 방법(1350)의 흐름도이다. 광고 스코어는 함수를 사용하여 결정될 수 있다. 함수는 변수들(예를 들어, 컨셉들, 키워드들, 가격 정보, 성능 정보, 유사성 메트릭, 및/또는 광고자 품질 정보, 등), 및 상수들(예를 들어, 변수들에 가중치들을 제공하고, 변수를 거듭제곱(exponential power)으로 상승시키는 숫자들, 등)을 포함한다.

문서 식별자(예를 들어, URL) 및/또는 호스트 식별자가 수용된다(1355). 로프(1360-1375)에 의해 식별되는 바와 같이, 광고 스코어링 함수의 각 요소/파라미터에 대해 다수의 작용들이 수행된다. 특히, 소정 요소/파라미터에 대한 문서 특정 및/또는 호스트 특정 성능 정보가 수용된다. (블록 1365) 모든 파라미터들/요소들에 걸친 문서 및/또는 호스트에 대한 평균 성능 정보가 또한 수용될 수 있다. 그리고 나서, 스코어링 내의 요소/파라미터의 중요도가 이와 같은 수용된 문서 특정 및/또는 호스트 특정 성능 정보(뿐만 아니라, 수용된 평균 성능 정보)를 사용하여 조정된다. (블록 1370) 모든 요소들/파라미터들이 처리된 이후에, 상기 방법(1350)은 중단된다. (노드 1380)

본 발명의 이러한 특성의 전형적인 애플리케이션이 이제 제공된다. 광고들이 특히, 위치 및 시각 둘 다를 사용하여 타겟화될 수 있다고 가정하자. 위치를 사용하여 타겟화된 광고들이 특정 웹 페이지에 의해 서비스될 때, 시각을 사용하여 타 겟화된 광고들보다 더 양호하게 수행한다고 가정하자. 이 경우에, 특정 웹 페이지에 의해 서비스할 광고들을 결정할 때, 타겟화 함수의 위치 요소는 타겟화 함수의 시각 요소보다 더 가중될 수 있다.

도13A 및 13B의 방법들(1300 및 1350)의 다양한 양상들이 각각 결합되어 사용될 수 있다는 것을 주의하라.

상기로부터 인식할 수 있는 바와 같이, 본 발명의 이러한 양상은 스코어링 함수에 관련된 문서 (및/또는 호스트) 특정 성능 및 (소정 광고에 관련된 문서 및/또는 호스트 특정 성능보다 더 일반적일 수 있는) 그 요소가 사용되도록 한다. 따라서, 예를 들어, 카테고리들 "자동차들" 및 "롤스 로이스"에 관한 웹 페이지에 대하여, 카테고리 "고급 부동산"에 관한 광고들이 "자동차들"에 관한 광고들보다 더 양호한 성능을 가질 수 있다. 따라서, 그 문서가 서비스될 때, 카테고리들 "자동차들" 및 "고급 부동산"에 대응하는 가중치들이 이에 따라 조정될 수 있다. 다른 에로서, 호스트 관련성(예를 들어, 컨셉) 타겟화를 사용하여 서비스되는 광고들은 성능 및 가격 정보만을 타겟화한 것보다 더 양호하게 수행할 수 있는 문서 관련성(예를 들어, 컨셉) 타겟화를 사용하여 서비스되는 것보다 양호하게 수행할 수 있다. 이것은 어느 스코어링 함수가 사용되는지, 또는 상이한 스코어링 함수들로부터의 스코어들이 최종 스코어를 결정시 어떻게 가중되는지에 영향을 줄 수 있다.

본 발명의 전형적인 실시예에서, 가능한 공간과 타겟팅 함수들로부터, 그 호스트 및 타겟화 함수에 대한 URL(예를 들어, 디폴트-콘텐츠, 부모-url, url-키워드들) 소정 클릭 통계에 사용하기 위하여 특정 타겟화 함수들이 선택될 수 있다. 이 것은 데이터 구조: Host:->[targeting-function, numimprs, numclicks, avgcpc]+avgct를 사용하여 행해질 수 있다.

도13A 및 13B의 방법들은 스코어링 동안의 문서 (및/또는 호스트) 특정 정보의 예들이다. (예를 들어, 도8을 상기하라)

§4.2.3.3 컨셉에 기초한 광고 성능 추정/ 외삽 (extrapolation)

도14는 본 발명에 따른 방식으로 광고 성능 정보를 추정하고/하거나 조정하는 전형적인 방법(1400)의 흐름도이다. 문서 컨셉들(및/또는 호스트 컨셉들)이 수용되거나 추출된다. (블록 1405) 루프(1410-1465)에 의해 표시된 바와 같이, 수용되거나 추출된 컨셉들 각각에 대해 다수의 작용들이 수행된다. 특히, 제 1 세트의 컨셉-관련 광고들이 결정된다. (블록 1415) 그리고 나서, 루프(1420-1430)에 의해 표시된 바와 같이, 결정된 컨셉 관련 광고들 각각에 대하여, 문서 특정 (및/또는 호스트 특정) 성능 정보가 검색된다. (블록 1425) 그리고 나서, 컨셉-관련되는 것으로 결정되는 것이 아니라, 높은 문서 특정 (및/또는 호스트 특정) 성능을 갖는 임의의 광고들이 존재하는지 아닌지의 여부가 결정된다. (결정 블록 1435) 높은 성능은 관련 또는 절대 성능을 사용하여 결정될 수 있다. 제 2 세트의 광고들이 제 1 세트의 광고들 및 다른, 높은 성능을 포함하는 경우, 광고(들)는 방법(1400)이 블록(1455)에서 계속되기 이전에, 결정된다(블록 1440). 컨셉-관련되는 것이 아니라, 높은 문서 특정 (및/또는 호스트 특정) 성능을 갖는 광고들이 존재하지 않는 경우, 방법(1400)은 블록(1445)에서 계속된다. 컨셉 성능은 컨셉과 관련된 광고들의 성능을 사용하여 결정된다. (블록 1445) 루프(1450-1460)에 의해 표시된 바와 같이, 특정 문서 (및/또는 호스트)에 대한 임의의 성능 정보를 갖지 않는 각각의 결정된 광고들에 대하여(또는 대안으로 또는 부가적으로, 성능 정보의 통계적으로 무효한 양을 갖는 각각의 결정된 광고, 및/또는 심지어 컨셉과 관련된 모든 광고들에 대하여), 각각의 이와 같은 광고의 성능 정보는 추정된 컨셉 성능을 사용하여 갱신된다. (블록 1445) 추정된 컨셉 성능은 컨셉의 부류에 드는 광고들의 문서 (및/또는 호스트) 특정 성능을 사용하여 결정될 수 있다. 일단 모든 광고들 및 컨셉들이 처리되면, 상기 방법(1400)은 중단된다. (노드 1470)

성능 파라미터 추정(외삽) 동작들(496, 596)은 컨셉에 기초할 수 있다. 이러한 동작들은 광고들(또는 광고 그룹들) 및/또는 광고자들이 일시적일 수 있고, 이 경우에, 불가능하지 않은 경우, 소정의 문서에 대한 소정의 광고(또는 광고 그룹)과 관련된 사용자 행동 데이터의 통계적으로 유효한 양을 수집하는 것이 어려울 수 있기 때문에, 매우 유용할 수 있다. (자신들의 URL들에 의해 식별된 바와 같은) 문서들 및 광고들의 수에 비하여 비교적 적은 수의 추적된 사용자 행동(예를 들어, 클릭들)이 존재할 수 있기 때문에, 사용자 행동(클릭) 통계 매트릭스는 다소 부족할 수 있다. 어떤 광고들은 매우 적은 클릭들 및 임프레션들(impression)을 가지며, 대부분의 광고들은 전혀 통계를 가지지 않는다. 제한된 데이터 포인트를 효율적으로 사용하기 위하여, 본 발명은 성능 파라미터 추정 (외삽) 동작들(496, 596)을 사용하여 문서 (또는 호스트)에 대한 사용자 행동 데이터가 존재하지 않는(또는 매우 적게 존재하는) 광고들에 대한 사용자 행동(예를 들어, 클릭) 통계를 파퓰레이팅하도록 할 수 있다. 이러한 동작들(496, 596)은 광고들에서 광고들로 통계를 전파하기 위한 브리지로서 컨셉들을 사용할 수 있다.

도15는 도15의 방법의 동작의 일례를 도시한 도면이다. URL http://www.webshots.com/g/tr.html을 갖는 문서(1510)를 고려하자. 상기 문서(1510)에 대한 컨셉들(C1, C2, 및 C3)(1520)이 추출되었다고 가정하자. 다수의 컨셉-관련 광고들(A1, A2, A9)(1530)은 이러한 추출된 컨셉들(1520)을 사용하여 발생될 수 있다(예를 들어, 도14의 블록(1415)을 상기하자). 본 발명은 문서 특정 클릭-통계 테이블을 검색하기 위하여 문서의 URL을 사용할 수 있다. 이러한 테이블을 사용할 때, 본 발명은 (헤비 라인 서클로 각각 도시된) 광고들(A1, A4, A5 및 A8) 각각에 대하여 클릭 통계를 찾아내는데 사용될 수 있는 반면, 광고들(A2, A3, A6, A7 및 A9)은 최초에 클릭 통계를 갖지 않는다. (예를 들어, 도14의 블록(1425)을 상기하자)

클릭-통계의 테이블로부터, 광고(A10)가 콘텐츠->컨셉들->광고들 정합의 제 1 라운드로 리턴되지 않을지라도, 높은 CTR을 갖는다는 것이 결정되었다. 광고(또는 광고 그룹) 후보들의 세트는 광고(A10)를 포함하도록 확장될 수 있다. (예를 들어, 도14의 블록들(1435 및 1440)을 상기하자)

그리고 나서, 각각의 컨셉(Ci)의 클릭 통계는 적어도, 컨셉 및 광고-컨셉 커넥티비티에 관련된 광고들에 대한 클릭 통계를 사용하여 추정될 수 있다. (예를 들어, 도14의 블록(1445)을 상기하자) 도15에서 짧은 점선들로 표시된 바와 같이, 컨셉(C1)의 클릭 통계는 광고들(A1 및 A5)의 클릭 통계의 함수일 수 있고, 컨셉(C2)의 클릭 통계는 광고들(A4 및 A5)의 클릭 통계의 함수일 수 있고, 컨셉(C3)의 클릭 통계는 광고(A8 및 A10)의 클릭 통계의 함수일 수 있다. 본 발명의 하나의 전형적인 실시예에서, 각각의 컨셉(Ci)에 대한 클릭 통계는 다음과 같이 결정될 수 있고:

여기서, P(Ci｜Aj)는 소정 광고(Aj)에 대한 컨셉(Ci)의 가능성이다. 예를 들어, A8 및 A10 둘 다는 높은 CTR을 가지며, 이들은 (예를 들어, PHIL 클러스터 분석에 따라서) 컨셉(C3)에 매우-관련된다. 따라서, 컨셉(C3)은 높은 추정된 CTR을 얻는다.

그리고 나서, 도15의 긴 점선들에 의해 표시된 바와 같이, 컨셉들로부터의 통계는 유사한 방식으로 광고들(예를 들어, 클릭 데이터가 없거나 클릭 데이터가 통계적으로 무효한 광고들)의 나머지로 다시 아래로 전파될 수 있다. 따라서, 높은 CTR 컨셉들에 관련된 광고들은 높은 추정된 CTR들을 얻을 수 있고, 낮은 CTR 컨셉들에 관련된 광고들은 낮은 추정된 CTR들을 얻을 수 있다. (예를 들어, 도14의 블록(1455)을 상기하자) 따라서, 예를 들어, 광고(A7)는 자신이 관련되는 컨셉들(C2 및 C3)이 비교적 높은 추정된 CTR들을 가지기 때문에, 5%의 비교적 높은 CTR을 제공받는다. 한편, 광고(A3)는 자신이 관련되는 컨셉(C1)이 비교적 낮은 추정된 CTR을 가지기 때문에, 0.008%의 비교적 낮은 CTR을 제공받는다.

본 발명은 소정의 문서 (또는 호스트)에 대해 소정의 컨셉 달성된 높은 (또는 낮은) 성능에 대한 일부 광고들, 그 다음에 그 컨셉에 대한 다른 광고들이 또한 비교적 높은 (또는 낮은) 성능을 가지므로, 소정의 문서 (또는 호스트)로 서비스될 때, 더 많이 클릭될 것이라는 가정에 기초하여 광고들과 자신의 컨셉들 사이의 이와 같은 클릭-통계 전파를 수행할 수 있다. 컨셉에 기초한 보강을 행하는 동안, 다수의 가중 및 감소 팩터가 적용될 수 있다.

본 발명의 일 실시예에서, 컨셉 및 광고 스코어들은 자신의 실제 또는 추정된 CTR을 사용하여 조정될 수 있다. 예를 들어, 조정된 스코어는 다음을 사용하여 결정될 수 있다:

new_score ~ old_score*(CTR/BaseCTR)

따라서, CTR/BaseCTR인 광고들/컨셉들이 촉진될 수 있는 반면, 낮은 CRT 광고들/컨셉들은 강등될 수 있다. 광고 시스템에서 사용된 이러한 공식은 실험적인 결과들에 기초하여 조정될 수 있다.

§4.2.3.4 결합 동작들

본 발명은 문서/호스트 특정 사용자 행동 피드백(예를 들어, 클릭 통계)을 사용하여 콘텐츠-타겟화된 광고 서비스를 개선시키기 위해 상술된 동작들 중 하나 이상을 사용할 수 있다. 예를 들어, 본 발명의 일 실시예는:

1. 하나 이상의 컨셉들을 결정하기 위하여 문서 정보(예를 들어, 문서 식별자)를 사용할 수 있다.(문서->컨셉). 예를 들어, 웹 페이지의 콘텐츠가 PHIL 서버에 제공될 수 있고, 이것은 정합 클러스터들 및 활성화들의 리스트를 다시 송신한다. (일 실시예에서, 광고들은 페이지가 부정적이거나 포르노인 것으로 분류되면 리턴되지 않는다)

2. 컨셉들을 재-스코어링할 수 있다. 예를 들어, 정합 클러스터들의 스코어들은 클릭된 광고들의 클릭 통계로부터 계산되는 자신의 추정된 CTR을 사용하여 조정될 수 있다.

3. 그리고 나서, 컨셉들은 컨셉-관련 광고들을 결정하는데 사용될 수 있다(컨셉->광고들). 예를 들어, 정합 클러스터들은 정합 광고 후보들의 리스크를 검색하는데 사용될 수 있다.

4. 최상부 CTR을 갖는 광고들의 미리결정된 수(K)가 후보 광고들의 최초 세트에 부가될 수 있다.

5. 그리고 나서, 광고 정보(예를 들어, 타겟화 기준, 랜딩 페이지 콘텐츠, 및/또는 광고 텍스트)가 문서(예를 들어, 웹 페이지) 콘텐츠들을 얼마나 잘 정합시키는지의 측정치를 사용하여 후보 광고 그룹들에 대한 중간 스코어가 결정될 수 있다.

6. 그리고 나서, 광고들의 스코어들이 자신의 클러스터의 추정된 클릭 통계로부터 계산되는 자신의 실제/추정된 CTR을 사용하여 조정될 수 있다.

7. 최종적으로, 최상부 스코어링 광고들은 광고들과 문서의 콘텐츠를 결합하기 위한 설비(예를 들어, 광고-믹서)로 송신될 수 있다. 예를 들어, 최상부 스코어들을 갖는 광고 그룹들이 선택되어 광고-믹서로 송신될 수 있다.

본 발명은 경쟁자 광고들로서 기입된 후보 광고들을 필터링할 수 있다. 또한, 가정 보호 광고들(family-safe ads)만이 보여져야 한다면, 포르노 광고들은 방 지될 수 있다.

§4.2.4 전형적인 장치

도16은 상술된 동작을 중 하나 이상에 영향을 줄 수 있는 기계(1600)의 고-레벨 블록도이다. 상기 기계(1600)는 근본적으로 하나 이상의 프로세서들(1610), 하나 이상의 입/출력 인터페이스 유닛들(1630), 하나 이상의 저장 장치들(1620), 및 결합된 요소들 사이의 정보의 통신을 용이하게 하기 위한 하나 이상의 시스템 버스들 및/또는 네트워크들(1640)을 포함한다. 하나 이상의 입력 장치들(1632) 및 하나 이상의 출력 장치들(1634)은 하나 이상의 입/출력 인터페이스들(1630)과 결합될 수 있다.

하나 이상의 프로세서들(1610)은 본 발명의 하나 이상의 양상들에 영향을 주도록 기계로 실행 가능한 명령들(예를 들어, Palo Alto, California의 Sun Microsystems로부터 사용 가능한 Solaris 운영 시스템 또는 Durham, North Carolina의 Red Hat, Inc와 같은 다수의 벤더들(vendor)로부터 광범위하게 사용 가능한 Linux 운영 시스템상에서 실행하는 C 또는 C++)을 실행할 수 있다. 기계로 실행 가능한 명령들의 적어도 일부는 하나 이상의 저장 장치들(1620) 상에 (일시적으로 또는 영구적으로) 저장되고/되거나 하나 이상의 입력 인터페이스 유닛들(1630)을 통하여 외부 소스로부터 수신될 수 있다.

일 실시예에서, 기계(1600)는 하나 이상의 종래의 개인용 컴퓨터일 수 있다. 이 경우에, 처리 유닛(1610)은 하나 이상의 마이크로프로세서들일 수 있다. 버스(1640)는 시스템 버스를 포함할 수 있다. 저장 장치들(1620)은 판독 전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)와 같은 시스템 메모리를 포함할 수 있다. 저장 장치들(1620)은 하드 디스크로부터 판독하고 하드 디스크로 기록하기 위한 하드 디스크 드라이브, (예를 들어, 착탈 가능한) 자기 디스크로부터 판독하거나 자기 디스크에 기록하기 위한 자기 디스크 드라이브, 및 콤팩트 디스크와 같은 착탈 가능한 (자기-) 광 디스크 또는 다른 (자기-) 광 매체로부터 판독하거나 이 광 디스크 또는 이 광 매체에 기록하기 위한 광 디스크 드라이브를 포함할 수 있다.

사용자는 예를 들어 키보드 및 포인팅 장치(가령, 마우스)와 같은 입력 장치들(1632)을 통하여 개인용 컴퓨터 내로 명령들 및 정보를 입력할 수 있다. 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 등과 같은 다른 입력 장치들이 또한 (또는 대안으로) 포함될 수 있다. 이러한 입력 장치들 및 다른 입력 장치들은 종종 시스템 버스(1640)에 결합된 적절한 인터페이스(1630)를 통하여 처리 유닛(들)(1610)에 접속된다. 출력 장치들(1634)은 또한 적절한 인터페이스를 통하여 시스템 버스(1640)에 접속될 수 있는 모니터 또는 다른 유형의 디스플레이 장치를 포함할 수 있다. 모니터 이외에(또는 대신에), 개인용 컴퓨터는 예를 들어, 스피커들 및 프린터들과 같은 다른 (주변) 출력 장치들(도시되지 않음)을 포함할 수 있다.

§4.2.5 대안들

본 발명이 CTR과 같은 클릭 통계들과 관련하여 서술되었을지라도, 다른 사용자 행동(예를 들어, 사용자 레이팅, 컨버젼 등)가 유사한 방식으로 로깅, 저장, 전처리 및/또는 사용될 수 있다.

어떤 데이터 컬렉션 및 처리가 광고 그룹의 레벨 상에서 수행될지라도, 이와 같은 데이터 집합 및/또는 처리는 개개의 광고들, 또는 광고들의 다른 집합에 대해 수행될 수 있다. 예를 들어, 이와 같은 데이터 집합 및/또는 처리는 광고 마다, 타겟화된 컨셉마다, 광고 표현 포맷(예를 들어, 광고 컬러 방식, 광고 텍스트 폰트, 광고 보더)마다 수행될 수 있다. 마찬가지로, 데이터는 문서마다, 호스트마다, 및/또는 다른 문서 그룹화(예를 들어, 클러스팅, 분류 등) 함수에 기초하여 수집되고/되거나 모여질 수 있다. 문서들의 그룹화(즉, 문서 세트)는 웹상의 모든 웹 페이지들의 서브셋과 같은 집합 내의 모든 문서의 서브셋일 것이다.

본 발명은 상술된 실시예들에 국한되지 않으며, 본 발명자들은 자신의 발명들을 임의의 서술된 주요 문제로서 간주한다.

§4.3 결론들

상기 명세서로부터 인식할 수 있는 바와 같이, 본 발명은 콘텐츠-타겟화된 광고 시스템을 개선하는데 사용될 수 있다.

Claims (108)

1. 컴퓨터로 구현되는 방법에 있어서,

   a) 하나 이상의 광고들의 세트 중 각각에 대해서, 문서와 관련된 성능 정보를 수용하는 단계;

   b) 상기 수용된 성능 정보를 사용하여 상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 단계; 및

   c) (A) 상기 문서와의 렌더링을 위해 상기 하나 이상의 광고들 중 적어도 하나를 전송할지 여부, 및 (B) 상기 광고들의 스코어들을 사용하여 상기 하나 이상의 광고들 중 적어도 하나가 상기 문서와 어떻게 렌더링될지 중 적어도 하나를 결정하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
2. 제 1 항에 있어서,

   상기 성능 정보는 사용자 광고 선택 및 광고 임프레션 정보를 포함하는, 컴퓨터로 구현되는 방법.
3. 제 1 항에 있어서,

   상기 문서는 URL에 의해 식별되는 웹 페이지인, 컴퓨터로 구현되는 방법.
4. 제 1 항에 있어서,

   상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 단계는:

   i) 적어도 상기 광고의 일반적인 성능 정보를 사용하여 제 1 스코어를 결정하는 단계; 및

   ii) 상기 문서와 관련된 상기 광고의 상기 수용된 성능 정보를 사용하여 상기 제 1 스코어를 수정하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
5. 제 1 항에 있어서,

   상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 단계는:

   i) 적어도 상기 광고의 일반적인 성능 정보 및 상기 문서와 관련된 상기 광고의 상기 수용된 성능 정보를 사용하여 상기 광고의 혼합된 성능 정보를 결정하는 단계; 및

   ii) 상기 결정된 혼합된 성능 정보를 사용하여 상기 광고를 스코어링하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
6. 제 4 항 또는 제 5 항에 있어서,

   상기 제 1 스코어를 결정하는 단계는 적어도 문서 정보를 더 사용하는, 컴퓨터로 구현되는 방법.
7. 제 4 항 또는 제 5 항에 있어서,

   상기 제 1 스코어를 결정하는 단계는 적어도 광고 타겟팅 정보를 더 사용하는, 컴퓨터로 구현되는 방법.
8. 제 4 항 또는 제 5 항에 있어서,

   상기 제 1 스코어를 결정하는 단계는 적어도 광고 관련 정보를 더 사용하는, 컴퓨터로 구현되는 방법.
9. 제 1 항에 있어서,

   c) 문서와 관련된 타겟팅 함수 성능을 수용하는 단계를 더 포함하고,

   상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 단계는 상기 문서에 관련된 상기 수용된 타겟팅 함수 성능을 더 사용하는, 컴퓨터로 구현되는 방법.
10. 제 9 항에 있어서,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 단계는:

    i) 적어도 상기 문서에 관련된 상기 수용된 타겟팅 함수 성능을 사용하여 스코어링 함수를 선택하는 단계; 및

    ii) 스코어를 발생시키도록 광고 정보 및 문서 정보를 상기 선택된 스코어링 함수에 적용하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
11. 제 9 항에 있어서,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 단계는:

    i) 적어도 상기 문서에 관련된 상기 수용된 타겟팅 함수 성능을 사용하여 스코어링 함수의 하나 이상의 파라미터들을 선택하는 단계; 및

    ii) 스코어를 발생시키도록 광고 정보 및 문서 정보를 상기 선택된 하나 이상의 파라미터들을 지닌 상기 스코어링 함수에 적용하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
12. 제 10 항 또는 제 11 항에 있어서,

    상기 스코어링 함수는 (A) 키워드 타겟팅, (B) 문서 콘텐츠 타겟팅 및 (C) 호스트 콘텐츠 타겟팅을 포함하는 함수들의 세트로부터 선택된 함수인, 컴퓨터로 구현되는 방법.
13. 삭제
14. 장치에 있어서,

    a) 하나 이상의 광고들의 세트 중 각각에 대해서, 문서에 관련된 성능 정보를 수용하는 수단;

    b) 상기 수용된 성능 정보를 사용하여 상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 수단; 및

    c) (A) 상기 문서와의 렌더링을 위해 상기 하나 이상의 광고들 중 적어도 하나를 전송할지 여부, 및 (B) 상기 광고들의 스코어들을 사용하여 상기 하나 이상의 광고들 중 적어도 하나가 상기 문서와 어떻게 렌더링될지 중 적어도 하나를 결정하는 수단을 포함하는, 장치.
15. 제 14 항에 있어서,

    상기 성능 정보는 사용자 광고 선택 및 광고 임프레션 정보를 포함하는, 장치.
16. 제 14 항에 있어서,

    상기 문서는 URL에 의해 식별되는 웹 페이지인, 장치.
17. 제 14 에 있어서,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 수단은:

    i) 적어도 상기 광고의 일반적인 성능 정보를 사용하여 제 1 스코어를 결정하는 수단; 및

    ii) 상기 문서에 관련된 상기 광고의 상기 수용된 성능 정보를 사용하여 상기 제 1 스코어를 수정하는 수단을 포함하는, 장치.
18. 제 14 항에 있어서,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 수단은:

    i) 적어도 상기 광고의 일반적인 성능 정보 및 상기 문서에 관련된 상기 광고의 상기 수용된 성능 정보를 사용하여 상기 광고의 혼합된 성능 정보를 결정하는 수단; 및

    ii) 상기 결정된 혼합된 성능 정보를 사용하여 상기 광고를 스코어링하는 수단을 포함하는, 장치.
19. 제 17 항 또는 제 18 항에 있어서,

    상기 제 1 스코어를 결정하는 수단은 적어도 문서 정보를 더 사용하는, 장치.
20. 제 17 항 또는 제 18 항에 있어서,

    상기 제 1 스코어를 결정하는 수단은 적어도 광고 타겟팅 정보를 더 사용하는, 장치.
21. 제 17 항 또는 제 18 항에 있어서,

    상기 제 1 스코어를 결정하는 수단은 적어도 광고 관련 정보를 더 사용하는, 장치.
22. 제 14 항에 있어서,

    c) 문서에 관련된 타겟팅 함수 성능을 수용하는 수단을 더 포함하고,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 수단은 상기 문서에 관련된 상기 수용된 타겟팅 함수 성능을 더 사용하는, 장치.
23. 제 22 항에 있어서,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 수단은:

    i) 적어도 상기 문서에 관련된 상기 수용된 타겟팅 함수 성능을 사용하여 스코어링 함수를 선택하는 수단; 및

    ii) 스코어를 발생시키도록 광고 정보 및 문서 정보를 상기 선택된 스코어링 함수에 적용하는 수단을 포함하는, 장치.
24. 제 22 항에 있어서,

    상기 하나 이상의 광고들 각각을 스코어링하거나 상기 하나 이상의 광고들 각각의 스코어를 수정하는 수단은:

    i) 적어도 상기 문서에 관련된 상기 수용된 타겟팅 함수 성능을 사용하여 스코어링 함수의 하나 이상의 파라미터들을 선택하는 수단; 및

    ii) 스코어를 발생시키도록 광고 정보 및 문서 정보를 상기 선택된 하나 이상의 파라미터들을 지닌 상기 스코어링 함수에 적용하는 수단을 포함하는, 장치.
25. 제 23 항 또는 제 24 항에 있어서,

    상기 스코어링 함수는 (A) 키워드 타겟팅, (B) 문서 콘텐츠 타겟팅 및 (C) 호스트 콘텐츠 타겟팅을 포함하는 함수들의 세트로부터 선택된 함수인, 장치.
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제
66. 삭제
67. 삭제
68. 삭제
69. 삭제
70. 삭제
71. 삭제
72. 삭제
73. 삭제
74. 삭제
75. 삭제
76. 삭제
77. 삭제
78. 삭제
79. 삭제
80. 삭제
81. 삭제
82. 삭제
83. 삭제
84. 삭제
85. 삭제
86. 삭제
87. 삭제
88. 삭제
89. 삭제
90. 삭제
91. 삭제
92. 삭제
93. 삭제
94. 삭제
95. 삭제
96. 삭제
97. 삭제
98. 삭제
99. 삭제
100. 삭제
101. 삭제
102. 삭제
103. 삭제
104. 삭제
105. 삭제
106. 삭제
107. 삭제
108. 삭제

Images