KR20100122523A

KR20100122523A - 사용자 행동 이력을 이용한 스폰서 검색 광고 레이아웃의 개인화

Info

Publication number: KR20100122523A
Application number: KR1020107023153A
Authority: KR
Inventors: 라제쉬 파레크; 지그네쉬 파마; 파벨 버킨
Original assignee: 야후! 인크.
Priority date: 2008-03-18
Filing date: 2009-02-23
Publication date: 2010-11-22
Also published as: TW200951860A; US20090240677A1; EP2255298A1; US8762364B2; KR101154647B1; TWI456518B; WO2009117216A1; CN107016049A; CN102067105A; EP2255298A4

Abstract

본 발명의 실시예들은 사용자들에게 개인화된 검색 결과 페이지들을 제공하는 방법들, 및 그러한 방법들을 구현하도록 구성된 검색 엔진 시스템들 및 서버들과 관련이 있다. 예를 들면, 검색 엔진의 사용자에게 그러한 페이지를 제공하는 방법은 그 사용자의 상기 검색 엔진과의 상호 작용들의 시간에서의 분포에 기초하여 상기 사용자의 관여 지수를 계산하는 단계, 및 그 후 상기 사용자에 의한 쿼리에 응답하여, 상기 사용자에게 개인화된 검색 결과 페이지를 제공하는 단계를 포함한다.

Description

사용자 행동 이력을 이용한 스폰서 검색 광고 레이아웃의 개인화{PERSONALIZING SPONSORED SEARCH ADVERTISING LAYOUT USING USER BEHAVIOR HISTORY}

본 발명은 검색 엔진들의 결과 페이지들에 디스플레이되는 광고들의 레이아웃을 개인화(personalizing)하는 것에 관한 것이다.

검색 결과 페이지(SRP)들의 금전화(monetization)와 사용자 경험을 밸런싱(balancing)하는 것은 유기적인(organic)[알고리즘(algorithmic) 또는 네이티브(native)라고도 함] 검색 결과들과 나란히 스폰서 리스팅들(sponsored listings)(텍스트 기반 광고들 및 잠재적으로 그래픽 광고들)을 서브(serve)하는 상업 검색 엔진들에서의 활발한 연구 분야이다. 몇몇 선도하는 상업 검색 엔진들은 전형적으로 유기적인 결과들과 함께, 검색 결과 페이지 상의 3개의 물리적 위치들 중 임의의 물리적 위치 상에 스폰서 리스팅들을 디스플레이한다. 그 3개의 위치들은 검색 결과 페이지의 상부, 우측 및 하부에 (각각) 위치하는 노스(North), 이스트(East), 및 사우스(South)로 명명된다.

눈 추적(eye-tracking) 연구들은 사용자들에 대한 초점들 또는 "핫스폿들(hotspots)"로서 검색 결과 페이지들 상의 지리적 영역들을 식별하였다. 이것들은 사용자가 처음에 검색 관련 콘텐츠로 채워진 HTML 페이지를 제공받을 때 통상의 양보다 더 많은 시각 주의(more than an ordinate amount of visual attention)를 받는 영역들이다. 핫스폿들 중 하나는 페이지의 상부-중심에 있고, 그곳은 문서의 나머지를 처리하기 전에 인간의 안구가 집중하는 경향이 있는 곳이다. 이 노스 영역은 통상적으로 광고 배너의 위치이고, 따라서 그것은 그 위치에 어떤 콘텐츠가 배치되어야 하는지에 관하여 특별한 주의를 받을 만하다.

노스 영역은 전형적으로 검색 엔진에 대한 주요 수입원으로, 이는 스폰서 리스팅들이 사용자들로부터 받는 추가의 시각 주의 때문이고, 그 추가의 시각 주의는 바로 이들 광고들에 대한 추가적인 마우스 클릭으로 귀결된다. 대부부의 검색 마케팅 비즈니스 모델들은 CPC(cost-per-click)에 기초하므로, 마우스 클릭들은 바로 수입으로 귀결된다.

그러나, 노스 영역은 또한 부정적인 사용자 경험의 주요 유인(contributor)이다. 노스 스폰서 리스팅들의 수가 많을수록, 특히 그 광고들이 사용자에 의해 무관계하다고 생각될 경우 사용자 경험은 더 부정적일 것 같다. 부정적인 사용자 경험은 명시적으로 사용자들을 조사하여 그들의 만족도를 측정하거나 또는 암시적으로 쿼리 포기 비율들(query abandonment rates), 처음 클릭하는 시간(time-to-first-click), 사용자 반환 비율(user return rate)뿐만 아니라, 몇몇 다른 대리 메트릭들(proxy metrics)을 이용하는 것에 의해 측정될 수 있다.

광고 레이아웃, 각 실행 가능한 위치에서의 리스팅들의 수를 결정하기 위한 현재의 방법들은, 쿼리 내의 단어들, 쿼리에 입찰하는 광고자들의 수, 쿼리 텍스트와 광고 설명 사이의 매칭의 품질 등과 같은, 쿼리 기반 특징들을 이용한다. 쿼리 기반 방법들은 기본적인 문제를 해결하지만, 그것들은 쿼리를 발행한 사용자를 고려하지 않는다.

일 양태에서, 본 발명의 실시예들은 사용자들에게 개인화된 검색 결과 페이지들을 제공하는 방법들과 관련이 있다. 예를 들면, 검색 엔진의 사용자에게 그러한 페이지를 제공하는 방법은 다음의 단계들을 포함한다. 먼저, 그 사용자의 상기 검색 엔진과의 상호 작용들의 시간에서의 분포에 기초하여 상기 사용자의 관여 지수(engagement index)를 계산하는 단계. 그 후, 상기 사용자에 의한 쿼리에 응답하여, 상기 사용자의 관여 지수가 임계치를 만족시키면 상기 사용자에게 개인화된 검색 결과 페이지를 제공하는 단계.

다른 양태에서, 실시예들은 검색 엔진 시스템들과 관련이 있다. 예를 들면, 검색 엔진의 사용자에게 개인화된 검색 결과 페이지를 제공하도록 구성된 시스템은 웹 검색 클라이언트 및 웹 검색 서버를 포함한다. 상기 웹 검색 클라이언트는 상기 사용자로부터 쿼리를 수신하고 상기 쿼리를 상기 웹 검색 서버에 전달하도록 구성된 컴퓨터 판독 가능 매체로 구현된다. 상기 웹 검색 서버는 그 사용자의 상기 검색 엔진과의 알려진 상호 작용들의 시간에서의 분포에 기초하여 상기 사용자의 관여 지수를 계산하고, 상기 쿼리에 응답하여, 검색 결과 페이지를 생성하고 그것을 디스플레이를 위해 상기 웹 검색 클라이언트에 전달하도록 구성된 컴퓨터 판독 가능 매체로 구현되고, 상기 검색 결과 페이지는 상기 사용자의 관여 지수가 임계치를 만족시키면 개인화된다.

다른 양태에서, 본 발명의 실시예들은 웹 검색 서버들과 관련이 있다. 예를 들면, 컴퓨터 판독 가능 매체로 구현되고 검색 엔진의 웹 검색 결과 페이지의 레이아웃을 개인화하도록 구성된 웹 검색 서버는 개인화 모듈을 포함한다. 상기 개인화 모듈은 사용자의 검색 엔진과의 상호 작용들에 관한 사용자 행동 데이터를 수신하고 그 사용자 행동 데이터의 일부에 기초하여 상기 사용자에 대한 관여 지수를 결정하도록 구성된다. 상기 모듈은 상기 사용자에 의한 쿼리에 응답하여, 광고 레이아웃을 갖는 검색 결과 페이지를 생성하도록 더 구성된다. 여기서 상기 광고 레이아웃은 다음의 것 중 하나이다: 1) 상기 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 상기 사용자 행동 데이터에 기초한 것; 및 2) 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시키지 않는 경우 상기 사용자 행동 데이터에 기초하지 않은 것.

다른 양태에서, 본 발명의 일부 실시예들은 검색 결과 페이지 상에 나타나는 광고들의 레이아웃을 개인화하는 컴퓨터 구현된 방법들과 관련이 있다. 예를 들면, 검색 엔진의 결과 페이지의 광고 레이아웃을 개인화하는 방법은 다음의 단계들을 포함한다: 사용자의 검색 엔진과의 상호 작용들에 관한 사용자 행동 데이터를 수집하는 단계, 상기 사용자 행동 데이터의 일부에 기초하여 상기 사용자에 대한 관여 지수를 결정하는 단계, 및 상기 사용자에 의한 쿼리에 응답하여, 광고 레이아웃을 갖는 검색 결과 페이지를 상기 사용자에게 제공하는 단계. 여기서 상기 광고 레이아웃은 다음의 것 중 하나이다: 1) 상기 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 상기 사용자 행동 데이터에 기초한 것; 및 2) 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시키지 않는 경우 상기 사용자 행동 데이터에 기초하지 않은 것. 바람직하게는 사용자 행동 데이터는 상기 검색 엔진에 대한 또는 검색 엔진 제공자에 의해 제어되는 다른 웹 속성들에 대한 사용자 액션들에 관한 데이터를 포함한다.

또 다른 양태에서 검색 엔진의 웹 검색 결과 페이지의 광고 레이아웃을 개인화하는 컴퓨터 구현된 방법은 사용자 관심 데이터(user interest data)를 이용한다. 예를 들면, 방법은 다음의 단계들을 포함한다: 사용자 관심 데이터를 수집하는 단계; 상기 사용자에 대한 관여 지수를 결정하는 단계, 및 상기 사용자에 의한 쿼리에 응답하여, 광고 레이아웃을 갖는 검색 결과 페이지를 상기 사용자에게 제공하는 단계. 여기서 상기 광고 레이아웃은 다음의 것 중 하나이다: 1) 상기 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 상기 사용자 관심 데이터에 기초한 것, 및 2) 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시키지 않는 경우 상기 사용자 관심 데이터에 기초하지 않은 것. 바람직하게는 사용자 관심 데이터는, 1) 조사(surveys) 또는 계정 등록 양식(account-registration forms)과 같은 명시적 소스들, 또는 2) 다양한 웹 속성들 사이의 시간의 할당과 같은 암시적 소스들로부터 얻어진 사용자 관심들에 관한 데이터를 포함한다.

또 다른 양태에서, 검색 엔진의 웹 검색 결과 페이지의 광고 레이아웃을 개인화하는 컴퓨터 구현된 방법은 사용자 특성 데이터(user attribute data)를 이용한다. 예를 들면, 방법은 다음의 단계들을 포함한다: 사용자 특성 데이터를 수집하는 단계; 상기 사용자에 대한 관여 지수를 결정하는 단계; 및 상기 사용자에 의한 쿼리에 응답하여, 광고 레이아웃을 갖는 검색 결과 페이지를 상기 사용자에게 제공하는 단계. 여기서 상기 광고 레이아웃은 다음의 것 중 하나이다: 1) 상기 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 상기 사용자 특성 데이터에 기초한 것; 및 2) 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시키지 않는 경우 상기 사용자 특성 데이터에 기초하지 않은 것. 바람직하게는 사용자 특성 데이터는 다음의 데이터 유형들 중 하나를 포함한다: 인구학적(demographic), 및 사회적(social). 바람직하게는 사용자 특성 데이터는 1) 명시적 선언, 또는 2) 추론으로부터 얻어진 사용자의 특정한 인구학적, 사회 경제적, 및 지리적 특성들에 관한 데이터를 포함한다.

도 1은 사용자가 검색 쿼리를 입력하도록 허용하는 검색 텍스트 박스를 포함하는, 전형적인 상업 검색 엔진의 예시적인 프런트 페이지(front page)이다.
도 2는 페이지의 다양한 위치들에 알고리즘 검색 결과들 및 광고들을 포함하는, 상업 검색 엔진의 예시적인 검색 결과 페이지이다.
도 3은 전형적인 알고리즘 및 광고 영역들로 분해된 검색 결과 페이지의 다이어그램이다.
도 4는 본 발명에 따른 개인화 엔진을 포함하는 검색 결과 페이지를 생성하기 위해 요구되는 백엔드 처리 단계들을 개설하는 다이어그램이다.
도 5는 본 발명에 따른 개인화 엔진 내에서 취해지는 처리 단계들을 개설하는 다이어그램이다.

검색 엔진들

사용자 인터페이스

인터넷의 사용자들은 전형적인 상업 검색 엔진들에 정통하다. 상업 검색 엔진의 전형적인 프런트 페이지인, 도 1에 도시된 바와 같이, 검색 엔진과의 사용자 상호 작용의 시초점(initial point)은 텍스트 입력 박스(text entry box) 및 쿼리 제출 버튼(query submission button)을 포함한다. 도 1에서, 사용자는 텍스트 입력 박스에 "pizza"를 입력하였다. 쿼리 제출 버튼은 "Search"라는 라벨이 붙어 있다.

도 2는 도 1의 쿼리 "Pizza"에 응답하여 상업 검색 엔진에 의해 반환된 예시적인 검색 결과 페이지(SRP)를 예시한다. 페이지의 우측 칼럼은 광고들을 포함한다. 페이지의 좌측 칼럼은 광고들 및 알고리즘 검색 결과들을 포함한다.

도 3은 4개의 영역들로 분해되는, SRP의 전형적인 배열을 예시한다. 이들 영역들은, 도 2를 그대로 흉내내어, 2개의 칼럼들로 배열되어 있다. 좌측 칼럼은 3개의 영역들을 포함한다: 맨 위의 노스(North) 영역, 중앙의 알고리즘(Algorithmic) 영역, 및 하부의 사우스(South) 영역. 우측 칼럼은 하나의 영역인, 이스트(East) 영역을 포함한다.

도 2 및 3에 의해 예시된 전형적인 SRP에서는, 그에 대하여 SRP가 반환된 검색 쿼리와 관련된 광고들이 노스, 이스트 및 사우스 영역들에 디스플레이되는 반면, 쿼리 자체의 결과들은 알고리즘 영역에 디스플레이된다. 그러나, 현재 성공적인 상업 검색 엔진들에서는, 모든 SRP들이 다 노스, 사우스, 및 이스트 영역들 각각에 광고를 포함하는 것은 아니다. 전형적으로 노스 영역에 광고들이 제시되지 않는 경우, 알고리즘 영역은 노스 영역의 구역을 포함한다. 그러나, 이스트 영역에 광고들이 제시되지 않는 경우에, 그 영역은 전형적으로 공백으로 남겨진다.

백엔드

도 4는 검색 쿼리에 응답하여 SRP가 생성되는 전형적인 검색 엔진 작업 흐름을 보여준다. 쿼리는 먼저 전처리되고; 전형적인 전처리 동작들은 필터링, 유해 요소 제거(sanitization), 스테밍(stemming), 스톱-워드 제거(stop-word removal), 및 정규의 포맷 변환을 포함한다. 전처리된 쿼리는 2개의 개별 서브-프로세스 파이프라인들에 제공된다. 제1 파이프라인은 통상적으로 월드 와이어 웹 상의 URL 또는 URI에 의해 참조되는 모든 웹 콘텐츠를 전처리된 쿼리와의 관련성의 순으로 랭킹한다. 이 랭킹은 쿼리에 대한 알고리즘 검색 결과 세트를 형성한다. 제2 파이프라인은 텍스트 기반이든 그래픽이든, 모든 이용 가능한 광고들을, 또한 전처리된 쿼리와의 관련성의 순으로 랭킹한다. 쿼리에 응답하여 전달된 SRP는 광고들의 및 알고리즘 결과들의 양쪽 랭킹들에 의존한다. 전형적으로, SRP 구성은 2개의 랭킹들을 합병하는 것을 수반하고 페이지 상의 광고들의 레이아웃을 결정하기 위한 디폴트 서브-프로세스를 포함한다. 전형적으로 랭킹들은 레이아웃 내의 광고들의 배치를 결정한다. 그러한 광고 레이아웃 알고리즘들은 상이한 방법들로 광고 배치를 공식화할 수 있지만, 그것들은 쿼리 및 개개의 광고 레벨 특징들을 이용하여 배치를 결정한다. 따라서, 동일한 쿼리를 발행하는 모든 사용자는 동일한 SRP 레이아웃을 제공받는다.

개인화

검색 엔진 사용자들은 대개 알고리즘 결과들에 관심이 있고 지불된 광고들은 거의 클릭하지 않는 상식 정보 탐구자들(savvy info seekers)로부터 스폰서 리스팅들에 훨씬 더 관심이 있는 인터넷 쇼핑을 많이 하는 사람들(heavy internet shoppers)에 이르는, 광범위한 클릭 행동에 걸쳐 있다. SRP들을 생성하는 데에 이 다양한 사용자들을 반영하는 것은 유리하다.

이 목적에 따라서, 도 4에 도시된 백엔드는 본 발명에 따른 개인화 엔진(personalization engine)을 포함한다. 예시된 바와 같이, 개인화 엔진은 이력 사용자 행동(historic user behavior)에 대한 데이터를 수신한다. 개인화 엔진은 사용자에 의해 발행된 각 쿼리에 대한 SRP 광고 레이아웃을 개선하기 위해 그 사용자 행동 데이터를 이용한다.

사용자 식별

본 발명의 실시예들은 사용자 식별을 위한 각종의 방식들을 고려한다. 일부 실시예들에서, 사용자는 검색 엔진에 의해 공급된 브라우저 기반 쿠키를 통해 식별된다. 일부 실시예들에서 사용자는 사용자의 검색 엔진 제공자와의 계정과 관련된 쿠키를 통해 식별된다. 일부 실시예들에서 사용자는 검색 엔진 제공자에 의해 제어되는 다른 속성과 관련된 쿠키를 통해 식별된다.

관여

본 발명의 실시예들은 특정한 사용자의 (알려진) 과거 행동이 주어질 때 그 사용자의 검색 엔진에의 관여의 레벨을 측정하기 위한 방법들을 포함한다. 그러한 방법들은 브라우저 쿠키의 일시적인 성질(transient nature) 및 브라우저 메모리 및 디스크에서의 쿠키의 종종 비교적 짧은 수명 때문에 유리하다. 따라서 실시예들은 이력 사용자 데이터에 기초하여 예측된 사용자 행동에 대한 신뢰의 레벨을 계산하는 데 이용되는 관여 지수를 계산한다.

본 발명의 다양한 실시예들은 관여 지수들을 계산하기 위해 각종의 메트릭들을 이용한다. 바람직하게는 관여 지수는 사용자의 검색 엔진과의 상호 작용들의 시간에서의 분포에 기초한다. 가장 바람직하게는 관여 지수는 적어도 다음의 통계들로 형성된다. 사용자가 검색 엔진 웹사이트에 방문하는 빈도(frequency); 사용자 방문들의 최신(recency), 예를 들면, 사용자가 마지막으로 웹사이트를 방문한 것으로 관찰된 때; 검색 엔진 웹사이트에서의 사용자의 활동의 강도(intensity). 상기 통계들은 관여 지수 계산의 함수 형식에 따라서, 임의의 적절한 단위들로 측정될 수 있지만, 바람직하게는 빈도는 고유의 날(unique day)로 측정되고, 최신은 날들(days)로 측정되고, 강도는 페이지 뷰들(page views)로 측정된다. 상기의 것 이외의 통계들이 고려된다. 예를 들면, 시간에서의 사용자 방문들의 분포를 나타내는 통계가 빈도 및 최신 통계들 대신에 이용될 수 있다.

일부 실시예들에서 이용되는 관여 지수(EI)의 공식화는 다음과 같다.

; EI = 빈도*강도/최신. 대안적인 실시예들에서, EI 공식의 변형들은 위에 설명된 강도, 주파수 및 최신 변수들 중 하나 이상이 다른 소스들로부터 수집된 사용자의 행동에 대한 지식과 조합된 것을 포함한다. 예를 들면, 검색 엔진 제공자에 의해 제공되는 다양한 비검색 속성들, 예를 들면, 재정(finance), 자동차(autos), 스포츠(sports)에 대한 관여.

바람직하게는, 높은 EI 스코어는 (a) 미래에 그 웹사이트로 돌아오는 높은 확률, (b) 그 웹사이트에서의 높은 레벨의 미래 활동 또는 (c) 광고들을 클릭하는 확률을 예측하기 위한 계산들의 높은 레벨의 신뢰도를 나타낸다. 반대로, 낮은 EI 스코어는 바람직하게는 (a) 그 웹 사이트로 돌아오는 낮은 확률 또는 (b) 그 웹 사이트에서의 낮은 레벨의 미래 활동 또는 (c) 광고들을 클릭하는 확률을 예측하기 위한 계산들의 낮은 레벨의 신뢰도를 나타낸다.

일부 실시예들에서 EI는 개인화가 효과적으로 수행될 수 있는 사용자들의 서브세트들을 결정하기 위해 이용된다. 바람직하게는 EI는 모든 사용자들에 대하여 계산되고, 그의 EI가 임계치보다 높은 사용자들은 개인화를 수행하기에 충분할 만큼 웹사이트에 관여한 것으로 간주된다.

본 발명의 일부 실시예들에서, 한 사용자가 개인화에 대한 비후보자(non-candidate)로서 식별된다면, 개인화 엔진은 아무것도 하지 않고 단순히 사용자가 파이프라인에 개인화 엔진이 없다면 보았을 검색 결과 페이지들을 사용자에게 게시한다.

SRP 광고 레이아웃의 개인화

개인화 동작들

개인화 엔진은 개인화에 대한 후보자들로 간주되는 사용자들을 위한 개인화 동작들을 수행한다. 광범위한 각종의 가능한 개인화 동작들이 존재한다. 예를 들면, 일부 실시예들에서 레이아웃의 개인화는 광고 영역들(예를 들면, 노스, 사우스, 또는 이스트) 중 하나에서 제시되는 광고들의 수를 증가시키고 다른 광고 영역에서 제시되는 광고들의 수를 감소시키면서 페이지 상의 광고들의 수를 유지하는 것을 포함한다. 일부 실시예들에서 개인화는 하나의 광고 영역에서 제시되는 광고들의 수를 증가시키고 다른 광고 영역에서 제시되는 광고들의 수를 감소시키면서 페이지 상의 광고들의 수를 증가시키는 것을 포함한다. 일부 실시예들에서 개인화는 하나의 광고 영역에서 제시되는 광고들의 수를 증가시키고 다른 광고 영역에서 제시되는 광고들의 수를 감소시키면서 페이지 상에 제시되는 광고들의 수를 감소시키는 것을 포함한다.

바람직하게는 개인화 동작들은, SRP 상의 가장 많은 가치가 있는 광고 영역으로 간주되는, 노스 광고 영역에 집중한다. 예를 들면, 노스 영역에 집중하는 일부 실시예들은 노스 영역에서 제시되는 광고들의 수를 감소시키면서 SRP 상의 광고들의 수를 유지하는 반면, 일부는 노스 영역에서 제시되는 광고들의 수를 증가시킨다. 페이지 상에 제시되는 광고들의 수를 증가시키는 실시예들은 유사하게 노스 영역에서 제시되는 광고들의 수를 증가 또는 감소시킬 수 있다. 페이지 상에 제시되는 광고들의 수를 감소시키는 추가의 실시예들도 노스 영역에서 제시되는 광고들의 수를 증가 또는 감소시킬 수 있다. 물론, 다른 영역들에 집중하는 개인화 동작들도 고려된다.

개인화 작업 흐름

도 5는 일부 실시예들에 따른 개인화 작업 흐름을 예시한다. 먼저, 모든 사용자들에 대하여 관여 지수(EI)가 계산된다. 그 후 사용자들은 EI에 기초하여 관여(engaged) 및 비관여(non-engaged) 사용자들로 구분된다. 그 후, 관여 사용자들은 그룹핑 파라미터들(Grouping Parameters)의 세트에 기초하여 사용자 그룹들(User Groups)로 분류된다. 그 후, 그룹들은, 그룹들을 설명하는 그룹 메타데이터(Group Metadata) 및 그룹핑 파라미터들과 함께, 레이아웃 프로세스(Layout Process)에 공급된다. 레이아웃 프로세스는 또한 랭킹된 광고 세트(Advertisement Ranked Set) 및 랭킹된 알고리즘 세트(Algorithmic Ranked Set)를 수신하고, 그 후 각 그룹에 대한 SRP를 구성한다. 각 SRP 상의 광고 레이아웃은 그룹 메타데이터에 기초한다. 각 레이아웃에서의 광고들 및 결과들은 2개의 랭킹된 세트들로부터 도출된 알고리즘 결과들을 포함한다.

일부 그룹들에 대하여 생성된 개인화된 SRP들은 비관여 사용자에 대하여 생성된 비개인화된 SRP에 상당할 수 있다는 것에 유의해야 한다.

개인화

개인화 목적들

본 발명의 실시예들에 따른 개인화 방법들 내에서 성공을 어떻게 정의할지에 대한 문제는 어려운 것이다. 모든 실시예들이 다 이 문제를 다룰 필요가 있는 것은 아니다. 그러나, 바람직하게는 본 발명의 실시예들은 암시적인 또는 명시적인 성공의 척도들(measures of success)을 포함한다. 예를 들면, 일부 실시예들은 발생된 수입을 최적화하려고 하는 특징들을 포함한다. 다른 보다 애매한(slippery) 메트릭은 사용자 경험이다. 일부 실시예들은 어떤 예상 수입 이익들이 없을 때는 광고에 바쳐지는 구역을 감소시킴으로써 사용자 경험을 개선하려고 한다.

사용자들의 그룹들에 대한 개인화

일부 실시예들에서, 사용자들의 그룹들에 대하여 그들의 집계 사용자 행동들에 기초하여 광고 레이아웃의 개인화가 수행된다. 후보 사용자들은 스폰서 광고 리스팅들에 대한 클릭률(CTR: click-through rates)을 검사하는 것에 의해 '헤비(heavy)', '라이트(light)', 또는 '평균(average)' 클리커들(clickers)로서 분류된다. 사용자의 클릭률은 실제 쿼리에 관계없이 및 스폰서 리스팅의 본질에 관계없이, 스폰서 리스팅에 대해 사용자가 발행할 예상 클릭의 수이다. CTR의 하나의 공식화는 아래에 제시된다. 아래의 공식화에서 변수들은 바람직하게는 충분한 길이의 시간(통상적으로 수주) 동안 집계된다:

;

사용자 CTR = (클릭의 수)/(적어도 하나의 광고가 제시된 검색의 수)

'평균' 클리커로서 식별된 사용자들에 대해서는, 어떤 광고 레이아웃 변경도 이루어지지 않는다. 또한, 개인화에 대한 모든 비후보자들(즉, 특정된 임계치보다 낮은 EI 스코어들을 갖는 사용자들)도 사실상 '평균' 클리커로서 간주되고 그들에 대하여 어떤 광고 레이아읏 변경도 일어나지 않는다.

헤비 및 라이트 클리커들에 대해서는, 광고 레이아웃은 바람직하게는 아래 설명되는 바와 같이 변경된다. 헤비 클리커로서 식별된 사용자들에 대해서는, 광고 레이아웃은 쿼리들의 서브세트에 대하여 노스 영역(또는 다른 주요 위치)에서 상이한 수의 광고들이 제시될 수 있도록 변경된다. 만일 광고 레이아웃 알고리즘이 노스(또는 다른 주요 위치)에서 N개의 광고들이 제시되어야 한다고 결정하고, 만일 개인화 엔진이 추가적인 광고들을 노스에 이동시키는 것의 (이 사용자에 대한) 예상 수입이 소정의 임계치보다 높다고 평가한다면, 그것은 노스에서 N+α개의 광고들이 디스플레이되도록 레이아웃을 변경하고, 여기서 α는 양의 정수이다. 바람직하게는 추가적인 α개의 광고들은, 예상 수입에 관하여, 가장 많은 가치가 있는 것이고, 그것들은 그렇지 않았더라면 이스트(또는 다른 덜 주요한 위치들)에서 제시될 것이다. 만일 광고 레이아웃 알고리즘이 허용되는 최대 수의 광고들이 노스(또는 다른 주요 위치)에서 제시될 것이라고 이미 결정했다면, 개인화 엔진은 아무것도 하지 않을 것이다.

라이트 클리커로서 식별된 사용자들에 대해서는, 광고 레이아웃은 쿼리들의 서브세트에 대하여 노스 영역(또는 다른 주요 위치)에서 상이한 수의 광고들이 제시될 수 있도록 변경된다. 만일 광고 레이아웃 알고리즘이 노스(또는 다른 주요 위치)에서 N개의 광고들이 제시되어야 한다고 결정하고, 만일 개인화 엔진이 추가적인 광고들을 노스 밖으로 이동시키는 것의 (이 사용자에 대한) 예상 수입 효과가 소정의 임계치보다 낮다고 평가한다면, 개인화 엔진은 노스에서 N-β개의 광고들이 디스플레이되도록 레이아읏을 변경하고, 여기서 β는 양의 정수이다. 노스에서 제시되지 않은 β개의 광고들은 덜 주요한 광고 위치로 리다이렉트(redirect)되거나 디스플레이로부터 제거된다. 만일 광고 레이아웃 알고리즘이 허용되는 0개의 광고가 노스(또는 다른 주요 위치)에서 제시될 것이라고 결정했다면, 개인화 엔진은 아무것도 하지 않을 것이다.

위에 설명된 방법들에서, 광고를 노스(또는 다른 주요 위치)로 이동시키기 위한 임계치들은 바람직하게는 임의의 웹사이트 속성을 위해 광고에 바쳐지는 구역을 기술하는 비즈니스 제약들에 의해 결정된다. 쿼리-광고 쌍의 사용자 독립적인(user-independent) 예상 수입의 계산은 전형적으로 다음의 식으로 인수 분해될 수 있다:

;

예상(수입｜쿼리, 광고) = 비용(광고)*확률(광고의 클릭｜쿼리, 광고)

쿼리-광고 쌍이 주어질 때 광고를 클릭하는 확률을 추정하는 문제는, 그것을 달성하는 몇 가지 방법들이 있기 때문에, 이 발명에서 설명되지 않는다. 광고의 비용은 전형적으로 검색 엔진 및 광고자에 의해 합의되는 알려진 값이다.

본 발명의 본 실시예에서, 개인화 엔진은 상기 식에서

; 확률(광고의 클릭｜쿼리, 광고) 항을 조정함으로써 쿼리-광고 쌍에 대한 예상 수입 추정들을 세련(refine)한다. 이 세련은 몇 가지 방법으로 이루어질 수 있다. 아래에는 사용자가 광고를 클릭하는 확률에 대한 그 항을 수정함으로써 예상 수입 계산의 변화를 반영하는 몇몇 예시적인 방법들이 있다.

변경된 확률을 반영하는 하나의 방법은 미리 결정된 실수 값 γ를 더하는 것이다. 예를 들면,

;

예상(수입｜쿼리, 광고) = 비용(광고)*(확률(γ+광고의 클릭｜쿼리, 광고))

변경된 확률을 반영하는 다른 방법은 사용자의 이력 CTR 및 모든 사용자들의 평균 CTR의 적당히 계산된 수학 함수로 곱하는 것이다. 하나의 그러한 함수는

이고, 여기서 δ는 미리 결정된 상수이다. 공식화의 정신을 유지하는 이 함수의 다양한 다른 수정들 및 변경들도 본 발명에 따른다.

또 다른 방법들의 세트는, 바람직하게는 쿼리 및 광고 레벨 특징들로부터 도출된, 사용자 독립적인 클릭의 확률뿐만 아니라, 이력 사용자 CTR 비율을 이용하여, 클릭의 확률을 예측하기 위해 (회귀, 분류 또는 클러스터링을 이용하는) 기계 학습 모델(Machine Learned model)을 개발하는 것이다.

광고를 클릭하는 확률의 수정된 값들(및 따라서 예상 수입)은 위에 설명된 방법들에서 개설된 임계치들을 설정하기 위해 이용될 수 있다.

사용자마다의 개인화

이 발명의 일부 실시예들에서, 예를 들면, 관여 지수에 의해 결정된, 개인화의 타깃이 된 사용자들은, 예를 들면, "평균", "라이트" 또는 "헤비" 클리커들로서, 그룹들로 분류되지 않는다. 오히려, 예를 들면, 쿼리 및 광고 레벨 특징들을 통해 계산되고 위에 설명된 바와 같이 개인화 엔진에 의해 조정된, 광고를 클릭하는 확률, 및 따라서 예상 수입은 바로 주요 위치들에서 제시되는 광고들을 결정하기 위해 이용된다. 예를 들면, 주요 광고 스폿들에는 "가격(Pricing)"이 주어지고, 광고들은 예상 수입이 어떤 최소치보다 높은 경우에만 그 위치에 배치된다. 바람직하게는 가격 임계치들은 광고 위치에 대한 비즈니스 타깃 풋프린트들(business target footprints)가 정확히 만족될 수 있도록 계산된다. 그러한 풋프린트의 일례는 검색 결과 페이지들의 기껏해야 y%가 노드 영역에서 x개의 광고들을 가질 것이라는 규칙이다.

추가적인 상세들 및 개선들

본 발명의 일부 실시예들에서, 개인화 엔진들은 전술한 방법들에 더하여 추가적인 개인화 동작들을 수행한다. 또한, 본 발명의 일부 실시예들은 추가적인 구현 상세들을 수반한다.

개선들

예를 들면, 일부 실시예들은 사용자가 스폰서 리스팅들을 클릭하는 낮은 확률을 갖는다면 페이지 상에 제시되는 광고들의 총수를 감소시킨다. 전체 페이지에 대한 광고 깊이는 가장 적은 가치가 있는 광고들, 전형적으로 눈에 덜 보이는 광고 위치들 상의 최하의 링크들이 검색 결과 페이지 상에 디스플레이되지 않도록 감소될 수 있다. 제시되는(또는 필터링되는) 광소들의 수는 광고를 클릭하는 개인화된 확률에 대한 임계치들을 이용하여 결정될 수 있다. 대안적으로, 사용자가 광고들을 클릭하는 높은 확률을 갖는다면, 충분한 광고 목록(advertising inventory) 및 충분한 가치, 예를 들면, 예상 수입이 있는 것을 전제로 하여, 페이지 상에 제시되는 광고들의 수는 증가될 수 있다.

일부 실시예들은 쿼리의 카테고리가 주어질 때 쿼리에 대한 클릭들의 예상 확률에 기초하여 광고 레이아웃을 수정한다. 예를 들면, 일부 사용자들은 분류의 다양한 카테고리들, 예를 들면, 스포츠, 영화, 자동차의 광고들에 대하여, 상이한 경향들, 예를 들면, 이력 클릭률들을 나타낸다. 만일 그러한 사용자가 분류 상의 특정한 노드에 속하는 것으로 식별되는 쿼리를 발행한다면, 광고들을 클릭하는 확률은 카테고리 레벨 클릭률들을 이용하여 보다 정밀하게 조정될 수 있다. 광고 레이아웃이 수정되는 방식은 정확히 상기 방법들에서 개설된 바와 같을 수 있다.

그러한 카테고리 기반 방법들에서, 특정한 카테고리의 광고들에서의 사용자의 관심 레벨은 검색 엔진 페이지들에서의 사용자의 이력 행동에 제한될 필요가 없다. 이것은 네트워크의 다른 속성들, 예를 들면, 재정, 자동차, 또는 다른 버티컬들(verticals)에 대한 사용자의 행동으로부터 추론될 수 있다. 만일 사용자가 소비된 시간에 의해 특정한 카테고리의 웹사이트들에 높은 레벨의 관심을 갖는다면 그 사이트들에서의 광고 클릭률들 또는 이것에 의해 추론된 카테고리 웹사이트는 검색 광고들에 대한 추정된 클릭 확률을 업데이트하기 위해 이용될 수 있다. 예를 들면, 만일 사용자가 부동산 웹 페이지들을 찾아보는 데에 평균보다 많은 양의 시간을 소비한다면, 그들은 주택 담보 대출(home mortgages)에 관한 스폰서 검색 광고들을 더 많이 클릭할 것 같다. 클릭 확률의 이러한 변화는 또한 이력 사용자 행동을 관찰하는 것에 의해 정량될 수 있다.

또한, 일부 실시예들은, 스폰서 검색 광고를 클릭하는 확률에 의하여, 특정한 카테고리들에 대한 사용자의 관심 레벨을 간접적으로 추론한다. 예를 들면, 사용자가 자동차에 높은 레벨의 관심을 나타낸다면, 그들은 또한 대부(loans)에도 관심이 있을 것 같다. 그들이 데스크톱 컴퓨터를 구입한다면, 그들은 또한 모니터에 대한 광고에도 관심이 있을 수 있다.

또한, 일부 실시예들은 그들의 인구학으로부터 다양한 유형의 광고들을 클릭하는 사용자의 확률을 추론할 수 있다. 사용자가 특정한 카테고리의 광고들을 얼마나 클릭할 것 같은지를 추론하기 위해 나이, 성별 및 다른 메트릭들이 이용될 수 있다. 예를 들면, 십대들은 음악 관련 제품들에 대한 스폰서 검색 광고들을 더 많이 클릭할 것 같고, 또는 남성들은 여성들보다 더 많이 모발 성장 제품들에 대한 광고들을 클릭할 것 같다. 사용자 계정들이 관련된 인구학 정보를 갖는 경우, 그러한 방법들이 가능하다. 그러한 방법들은 위에 개설된 개선들과 조합될 수 있다.

일부 실시예들은 또한 다양한 유형의 광고들을 클릭하는 확률을 추론하기 위해 소셜 네트워크들 및 특정한 커뮤니티들에의 사용자의 멤버십을 이용한다. 소셜 네트워크에의 사용자의 멤버십의 레벨은, 소셜 네트워크 내에 식별된 다음의 구입 패턴들의 확률뿐만 아니라, 몇 가지 방법들로 측정될 수 있다. 예를 들면, 네트워크의 몇몇의 멤버들은 콘서트 티켓들을 구입하고, 네트워크의 나머지 멤버들은 임의의 인터넷 사용자보다 정량적으로 더 많이 콘서트 티켓들을 구입할 것 같다. 일부 실시예들에서 그러한 측정들은 또한 사용자가 특정한 유형의 광고들을 클릭할 확률을 조정하기 위해 이용된다.

또한, 일부 실시예들은 사용자의 지리적 위치(geo-location)에 기초하여 광고 레이아웃을 수정한다. 지리적 위치에 기초한 타깃팅(targeting)은 종종 지역 광고들(local advertisement)로 사용자들을 타깃팅하기 위해 이용된다. 사용자들은 지역 대 전국 레벨 광고들을 클릭하는 서로 다른 확률들을 가질 수 있고, 그것은 검색 광고들에 대한 추정된 클릭 확률을 업데이트하기 위해 측정되고 이용될 수 있다.

추가적인 상세들

일부 실시예들에서 관여 지수는 또한 사용자의 비검색 속성들과의 상호 작용들의 분포로부터 추론된 사용자 관심 데이터에 기초한다. 바람직하게는 비검색 속성들은 다음의 것 중 하나를 포함한다: 자동차, 재정, 및 스포츠.

일부 실시예들에서, 사용자 행동 데이터에 기초한 광고 레이아웃은 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 관하여 추가적인 수입을 생성할 것으로 기대된다. 일부 실시예들에서 사용자 행동 데이터에 기초한 광고 레이아웃은 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 관하여 검색 결과 페이지의 영역에서 제시되는 광고들의 수를 감소시킴으로써 사용자 경험을 개선한다. 가장 바람직하게는, 본 발명의 실시예들은 사용자들에게 그들의 사용자 행동 패턴들에 기초하여 광고 레이아웃을 제공함으로써 평균 수입을 증가시키고 모든 사용자들에 걸쳐서 동시에 평균 사용자 경험을 개선한다.

일부 실시예들에서, 수정되는 광고 레이아읏의 양태는 검색 결과 페이지 상의 가능한 광고 위치들 각각에서 제시되는 광고들의 수이다. 일부 실시예들에서, 수정되는 광고 레이아웃의 양태는 검색 결과 페이지의 주요 광고 위치에서 제시되는 광고들의 수이다. 바람직하게는 주요 광고 위치는 검색 결과 페이지의 노스 광고 부분이다.

일부 실시예들에서 사용자 행동 데이터는 사용자의 브라우저에 반환된 페이지의 수 및 스폰서 리스팅들의 콘텐츠 및 위치와 함께, 상기 스폰서 리스팅들에 대해 상기 사용자가 수행한 클릭의 수를 포함한다.

일부 실시예들에서, 만일 사용자에 대한 관여 지수가 관여 임계치를 만족시킨다면 사용자는 사용자 행동 데이터에 기초하여 다음의 것 중 하나로서 분류된다: 헤비 클리커, 평균 클리커, 및 라이트 클리커. 바람직하게는 동일한 부류 내의 사용자들은 동일한 광고 레이아웃을 제공받는다.

일부 실시예들에서 그의 관여 지수가 관여 임계치를 만족시키는 사용자에게 제공되는 광고 레이아웃은 사용자의 이력 클릭률(CTR)에 기초한다. 예를 들면, 일부 실시예들에서, 이력 사용자 클릭률(CTR)은 쿼리 및 사용자가 주어질 때 광고에 대한 예상 수입을 증가, 감소, 또는 보존하기 위한 스케일링 팩터(scaling factor)로서 이용된다. 또한, 일부 실시예들에서 이력 사용자 클릭률(CTR)은 쿼리 및 사용자가 주어질 때 광고에 대한 예상 수입을 모델링하는 데 하나의 팩터로서 쿼리 및 매칭하는 광고로부터 도출된 다른 팩터들과 함께 이용된다.

일부 실시예들은 사용자 관심 데이터를 수집하는 것을 더 포함하고 여기서 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 광고 레이아웃은 수집된 사용자 관심 데이터에도 기초한다.

일부 실시예들은 사용자 특성 데이터를 수집하는 것을 더 포함하고 여기서 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 광고 레이아웃은 수집된 사용자 특성 데이터에도 기초한다.

일부 실시예들에서 관여 지수는 사용자의 과거의 검색 엔진과의 상호 작용들의 시간에서의 분포에 기초한다. 바람직하게는 관여 지수는 사용자가 검색 엔진을 방문한 최신, 강도, 및 빈도에 기초한다.

본 발명은 특정한 예시적인 실시예들에 관하여 설명되었지만, 본 발명의 정신 및 범위에서 벗어나지 않고 숙련된 당업자들에 의해 다양한 수정들 및 변경들이 이루어질 수 있다는 것을 이해할 것이다. 본 발명의 범위는 설명된 예시적인 실시예들에 제한되지 않고 첨부된 청구항들을 면밀히 살피는 것에 의해 확인되어야 한다.

Claims

검색 엔진의 사용자에게 개인화된(personalized) 검색 결과 페이지들을 제시하는 컴퓨터 구현 방법으로서,
a. 그 사용자의 상기 검색 엔진과의 상호 작용들의 시간상 분포에 기초하여 상기 사용자의 관여 지수(engagement index)를 계산하는 단계;
b. 상기 사용자에 의한 쿼리(query)에 응답하여, 상기 사용자의 관여 지수가 임계치(threshold)를 만족시키면 상기 사용자에게 개인화된 검색 결과 페이지를 제공하는 단계
를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 관여 지수는 상기 사용자의 비검색 속성들(non-search properties)과의 상호 작용들의 분포로부터 추론된 사용자 관심 데이터(user interest data)에 또한 기초하는 컴퓨터 구현 방법.
제2항에 있어서, 상기 비검색 속성들은 다음의 것: 자동차(auto), 재정(finance), 및 스포츠(sports) 중 하나를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 컴퓨터 판독 가능 매체로 구현되고 검색 엔진의 웹 검색 결과 페이지의 레이아웃을 개인화하도록 구성된 웹 검색 서버로서,
a. 사용자의 검색 엔진과의 상호 작용들에 관한 사용자 행동 데이터를 수신하고, 상기 사용자 행동 데이터의 일부에 기초하여 상기 사용자에 대한 관여 지수를 결정하고, 또한 상기 사용자에 의한 쿼리에 응답하여,
ⅰ. 상기 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 상기 사용자 행동 데이터에 기초한; 및
ⅱ. 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시키지 않는 경우 상기 사용자 행동 데이터에 기초하지 않은
광고 레이아웃을 갖는 검색 결과 페이지를 생성하도록 구성된 개인화 모듈
을 포함하는 웹 검색 서버.
제4항에 있어서, 상기 사용자 행동 데이터에 기초한 광고 레이아웃은 상기 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 비해 추가적인 수입(revenue)을 생성할 것으로 기대되는 웹 검색 서버.
제4항에 있어서, 상기 사용자 행동 데이터에 기초한 광고 레이아웃은 상기 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 비해 상기 검색 결과 페이지의 영역에서 보여지는 광고들의 수를 감소시키는 웹 검색 서버.
제4항에 있어서, 제1 사용자 및 제2 사용자를 서브(serve)하도록 구성되고, 제1 사용자 행동 데이터에 기초한 광고 레이아웃은 상기 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 비해 추가적인 수입을 생성할 것으로 기대되고, 제2 사용자 행동 데이터에 기초한 광고 레이아웃은 상기 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 비해 상기 검색 결과 페이지의 영역에서 보여지는 광고들의 수를 감소시키는 웹 검색 서버.
제7항에 있어서, 상기 제1 사용자는 헤비 클리커(heavy clicker)로서 분류되고 상기 제2 사용자는 라이트 클리커(light clicker)로서 분류되는 웹 검색 서버.
제4항에 있어서, 수정되는 상기 광고 레이아읏의 양태는 상기 검색 결과 페이지 상의 가능한 광고 위치들 각각에서 보여지는 광고들의 수인 웹 검색 서버.
검색 엔진의 웹 검색 결과 페이지의 레이아웃을 개인화하는 컴퓨터 구현 방법으로서,
a. 사용자의 검색 엔진과의 상호 작용들에 관한 사용자 행동 데이터를 수집하는 단계;
b. 상기 사용자 행동 데이터의 일부에 기초하여 상기 사용자에 대한 관여 지수를 결정하는 단계; 및
c. 상기 사용자에 의한 쿼리에 응답하여,
ⅰ. 상기 사용자에 대한 관여 지수가 관여 임계치를 만족시키는 경우 상기 사용자 행동 데이터에 기초한; 및
ⅱ. 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시키지 않는 경우 상기 사용자 행동 데이터에 기초하지 않은
광고 레이아웃을 갖는 검색 결과 페이지를 상기 사용자에게 제시하는 단계
를 포함하는 컴퓨터 구현 방법.
제10항에 있어서, 상기 사용자 행동 데이터에 기초한 광고 레이아웃은 상기 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 비해 추가적인 수입을 생성할 것으로 기대되는 컴퓨터 구현 방법.
제10항에 있어서, 상기 사용자 행동 데이터에 기초한 광고 레이아웃은 상기 사용자 행동 데이터에 기초하지 않은 광고 레이아웃에 비해 상기 검색 결과 페이지의 영역에서 보여지는 광고들의 수를 감소시키는 컴퓨터 구현 방법.
제10항에 있어서, 수정되는 상기 광고 레이아읏의 양태는 상기 검색 결과 페이지 상의 가능한 광고 위치들 각각에서 보여지는 광고들의 수인 컴퓨터 구현 방법.
제10항에 있어서, 수정되는 상기 광고 레이아읏의 양태는 상기 검색 결과 페이지의 주요 광고 위치에서 보여지는 광고들의 수인 컴퓨터 구현 방법.
제14항에 있어서, 상기 주요 광고 위치는 상기 검색 결과 페이지의 노스 광고 섹션(north advertising section)인 컴퓨터 구현 방법.
제10항에 있어서, 상기 사용자 행동 데이터는 상기 사용자의 브라우저에 반환된 페이지의 수, 및 스폰서 리스팅들(sponsored listings)에 대해 상기 사용자가 수행한 클릭들로서 스폰서 리스팅들(sponsored listings)의 콘텐츠 및 위치와 조합(combination)을 이룬 클릭들의 수를 포함하는 컴퓨터 구현 방법.
제10항에 있어서, 상기 사용자에 대한 관여 지수가 상기 관여 임계치를 만족시킨다면 상기 사용자는 상기 사용자 행동 데이터에 기초하여 다음의 것: 헤비 클리커, 평균 클리커, 및 라이트 클리커 중 하나로서 분류되는 컴퓨터 구현 방법.
제17항에 있어서, 동일하게 분류된 사용자들은 동일한 광고 레이아웃을 제시받는 컴퓨터 구현 방법.
제10항에 있어서, 그의 관여 지수가 상기 관여 임계치를 만족시키는 사용자에게 제시되는 광고 레이아웃은 상기 사용자의 이력(historical) 클릭률(CTR: click-through rate)에 기초하는 컴퓨터 구현 방법.
제19항에 있어서, 상기 이력 사용자 클릭률(CTR)은 상기 쿼리 및 상기 사용자가 주어질 때 광고에 대한 예상 수입을 증가, 감소, 또는 보존하기 위한 스케일링 팩터(scaling factor)로서 이용되는 컴퓨터 구현 방법.
제19항에 있어서, 상기 이력 사용자 클릭률(CTR)은 쿼리 및 상기 사용자가 주어질 때 광고에 대한 예상 수입을 모델링하는 데 하나의 팩터로서 상기 쿼리 및 상기 광고로부터 도출된 다른 팩터들과 함께 이용되는 컴퓨터 구현 방법.