JP5450051B2 - 行動ターゲティングシステム - Google Patents

行動ターゲティングシステム Download PDF

Info

Publication number
JP5450051B2
JP5450051B2 JP2009502979A JP2009502979A JP5450051B2 JP 5450051 B2 JP5450051 B2 JP 5450051B2 JP 2009502979 A JP2009502979 A JP 2009502979A JP 2009502979 A JP2009502979 A JP 2009502979A JP 5450051 B2 JP5450051 B2 JP 5450051B2
Authority
JP
Japan
Prior art keywords
user
score
event
category
event information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009502979A
Other languages
English (en)
Other versions
JP2009531782A5 (ja
JP2009531782A (ja
Inventor
ジョシュア エム コーラン
クリスティナ イップ チュン
アブヒナヴ グプタ
ジョージ エイチ ジョン
ロン ジ リン
ホンフェン イン
リチャード フランケル
Original Assignee
ヤフー! インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤフー! インコーポレイテッド filed Critical ヤフー! インコーポレイテッド
Publication of JP2009531782A publication Critical patent/JP2009531782A/ja
Publication of JP2009531782A5 publication Critical patent/JP2009531782A5/ja
Application granted granted Critical
Publication of JP5450051B2 publication Critical patent/JP5450051B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • G06F16/337Profile generation, learning or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84Mapping; Conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、行動ターゲティングの分野に関し、更に詳細にはオンライン行動ターゲティングシステムに関する。
インターネットは、販売業者が数多くの製品及びサービスを消費者に提供するための仕組みを提供する。インターネットポータルは、ユーザに対してインターネットの膨大なリソースへの入口及びガイドを提供する。通常、インターネットポータルは、一連の検索、電子メール、ニュース、ショッピング、チャット、地図、金融、娯楽、及び他のインターネットサービス及びコンテンツを提供する。本発明の譲受人であるYahooは、このようなインターネットポータルの実施例である。
ユーザが、インターネット(例えばウェブサイト)上でインターネットポータルを含む幾つかのロケーションを訪れると、ユーザは、オンラインアクティビティの形式で情報を入力する。この情報は、ユーザの行動パターン及び関心を判断するために記録及び分析することができる。次に、これらの行動パターン及び関心事項を利用して、インターネットポータルサイトなどのインターネット上でより有意義で豊かな経験をユーザに提供するためにユーザをターゲティングすることができる。例えば、ユーザのある製品及びサービスへの関心が特定された場合、これらの製品及びサービスに関する広告をユーザに提供することができる。広告を提供する行動ターゲティングシステムは、広告主のメッセージをターゲットオーディエンスに提供する広告主と、ユーザに対する関心分野における広告を受け取るユーザとの両方に利益をもたらす。
行動ターゲティングシステムは、オンラインアクティビティからユーザプロファイルを決定する。本システムは複数のモデルを含む。モデルは、ユーザプロファイルスコアを決定するためのパラメータを定義する。事象情報がエンティティで受け取られる。事象情報は、ユーザのオンラインアクティビティを含む。ユーザプロファイルスコアを生成するために、モデルが選択される。本システムは、モデルからのパラメータをユーザ事象情報に適用することによってカテゴリーにおいてユーザプロファイルスコアを生成する。行動ターゲティングシステムは、オンラインユーザへの広告提供で使用するためのアプリケーションを有する。
行動ターゲティングシステムのアーキテクチャは拡張可能である。例えば、種々の規則及び重みパラメータを包含する付加的なモデルを追加することができる。新しいモデルのデータ及びメタデータに基づいて、行動ターゲティングシステムは、同じフレームワーク全体内で種々の行動モデル及び規則を実行することができる。
1つの実施形態では、モデルは、近時性(recency)、強度、及び頻度次元パラメータを含む。近時性次元パラメータは、ユーザ事象情報がどのくらい最近に発生したかに基づいてプロファイルスコアへの入力を指定する。強度次元パラメータは、カテゴリーにおけるターゲット目標を予測するために、ユーザ事象情報の有効性に基づいてユーザプロファイルスコアへの入力を提供する。また、頻度次元パラメータは、ユーザ事象情報の発生頻度に基づいてユーザプロファイルスコアへの入力を提供する。
1つの実施形態では、行動ターゲティングシステムは、ターゲット目標に対するユーザプロファイルスコアを生成する。例えば、ターゲット目標は、ブランド広告及びダイレクトレスポンス広告を含むことができる。
行動ターゲティングシステムの概要
行動ターゲティングシステムは、1つ又はそれ以上のターゲット目標に対するオンラインユーザの関心及び行動を識別するためのアプリケーションを有する。図1は、一般化された行動ターゲティングシステム100を示すブロック図である。一般に、行動ターゲティングシステム100は、ユーザのオンラインアクティビティに基づいてインターネットユーザの関心及び行動をプロファイルする。図1に示されるように、行動ターゲティング処理(120)によってユーザ入力(110)が取り込まれる。1つの実施形態では、ユーザ入力は、1つ又はそれ以上の「事象」を含む。以下に更に詳細に説明されるように、事象は、ユーザによって開始されたあるタイプの動作である(例えば、ユーザがバナー広告をクリックすること)。図1に概略的に示すように、行動ターゲティング処理(120)は、ターゲット目標に対して固有の複数のユーザプロファイルを生成する。一般に、ユーザ行動プロファイルは、特定のターゲット目標に対するユーザ成功を予測する。例えば、ユーザ行動プロファイルは、ダイレクトマーケティング広告キャンペーンに反応するユーザの傾向を予測できる。1つの実施形態では、ユーザ行動プロファイルは、カテゴリー毎に表される。例えば、ユーザプロファイル出力は、ユーザが、「金融」というトピックに関する目標にとって良い候補であり、「音楽」というトピックに関する目標にとって悪い候補であることを示すことができる。
行動ターゲティング処理120は、種々のターゲット目標に対するユーザ行動プロファイルを生成する。図1に示された1つの実施形態では、行動ターゲティングシステム100は、ダイレクトレスポンス広告(130)、ブランド認知広告(150)、購入意図アクティビティ(180)、及び社内事業単位マーケティングに対するユーザ行動プロファイルを出力する。1つの実施形態では、行動ターゲティング処理120は、マーケティング目標に対するユーザ関心プロファイルを生成する。
図2は、マーケティング目標を識別するマーケティングファンネル(funnel)を示す。ファンネルのトップでは、広告主が、広告主のブランドに対するブランド認知の獲得を望むことができる。通常、このタイプのマーケティングでは、広告主の目的は、1つ又はそれ以上の肯定的なイメージをブランドに関連付けることによって製品に対するブランドを向上させることである。このマーケティング目標は、ブランド広告(150)として図1に示されている。ファンネルの第2段階では、ユーザが、製品検討のための情報の収集を望むことができる。この購入者のサイクルに対処するために、広告主は、ダイレクトレスポンス広告を用いることができる。獲得(acquisition)、引き留め(retention)、エンゲージメント(engagement)、及び現金化(monetization)を含む、ダイレクトレスポンス広告に関連付けられた多くの異なる目標が存在することができる。獲得の目的は、消費者を製品/サービスの顧客又はビジターにすることである。引き留めの目的は、既存の顧客又はビジター(例えばウェブサイトのビジター)を維持することである。エンゲージメントに関連した目的は、既存の顧客から更にアクティビティを引き出すことである。現金化の目的は、抱き合わせ販売などの積極的な購入アクティビティ、並びにバナー広告の消費などの消極的なアクティビティを介して顧客の収益性を高めることである。
ダイレクトレスポンス広告において、全体的な目的は、顧客から行動又は反応を引き出すことである。本発明の行動ターゲティングシステムは、ダイレクトレスポンス広告(130)に対するユーザプロファイルデータを提供する。例えば、ユーザが「クリック」するリンクを含むウェブページ上に表示された広告は、ダイレクトレスポンス広告の実施例である。ファンネルの最後の最も注目される部分は、購入意図の顧客サイクルである。この段階では、ユーザは、積極的にショッピングをしており、購入する意図がある。本発明の行動ターゲティングシステムは、購入意図者アプリケーション(180)にユーザプロファイルデータを提供するアプリケーションを有する。
図1はまた、マーケティング又はターゲット目標としての社内事業ユニットマーケティングアプリケーションを示す。例えば、インターネット会社は、ウェブサイト又はポータルにユーザを惹き付けることを望むことができる。行動ターゲティング処理は、インターネットポータルにユーザを獲得するためにユーザプロファイルを生成することができる。例えば、ポータルの1つの事業ユニットからのユーザをターゲティングし、ユーザのプロファイルに基づいて異なる事業ユニットエリアにおけるユーザを獲得することができる。同様に、ユーザプロファイルは、インターネットポータル又はウェブサイトに約束された(engaging)ユーザを頻繁に訪問させるといたターゲット目標のために生成することができる。更に、行動ターゲティング処理は、インターネットポータル又はウェブサイトに以前訪れたことのあるユーザを引き留めるためにユーザプロファイルを生成することができる。
マーケティングの目的及び目標は、広告主及びマーケティング担当者を支援するためにユーザプロファイルデータを引き出す。本発明の行動ターゲティングシステムはまた、ユーザのオンライン経験を円滑にするためにユーザプロファイル情報を提供するアプリケーションを有する。一般に、目的は、適切なコンテンツを適切なユーザに適切な時間でマッチさせること(すなわち、刺激)である。例えば、行動ターゲティングシステムは、個別化(personalization)アプリケーションのためのユーザプロファイルを生成することができる。一般に、個別化アプリケーションは、ユーザに対してウェブページ又はウェブサイト経験をカスタマイズするために行動ターゲティング情報を使用する。例えば、インターネットポータルは、利用可能な製品及びサービスのカテゴリーを表示することができる。インターネットポータルは、ユーザプロファイル情報に基づいて関心のある1つ又はそれ以上のビューをカスタマイズすることができる。別の実施形態では、行動ターゲティング情報を用いて、ユーザ消費に対するコンテンツ対象を決定することができる。例えば、ユーザによって求められたコンテンツを決定した後、このようなコンテンツへのリンクをインターネットポータル上に表示し、ユーザがコンテンツにアクセスできるようにすることができる。
ユーザのコンピュータ上に表示されるサイドバーアプリケーションは、ユーザによるブラウザの起動を必要とせずに、ユーザの主要宛先へのリンクを提供する。個別化アプリケーションの別の実施形態では、行動ターゲティング情報を用いて、サイドバーアプリケーションをカスタマイズするようにリンクを選択する。個別化アプリケーションに対するターゲット目標は、ユーザ経験(すなわち、ユーザ中心のターゲット目標)を最大化すること、或いはユーザにコンテンツを配信するためにマーケティング担当者の目標を最大化することとすることができる。
本発明の行動ターゲティングシステムのアーキテクチャは、一般化された行動ターゲティングシステムとして機能するためにフレームワークを提供する。モデルは、事象情報の処理をカスタマイズするメタデータ及び規則を包含する。従って、異なるモデル及び規則を選択することによって、メタデータによって指定された異なるプログラムフロー又は実行が実施される。本発明の行動ターゲティングシステムのアーキテクチャは拡張性がある。新しいモデル及び規則が作成された(例えば、新しいデータ及びメタデータ)場合、新しいモデル及び規則は、新しい機能及びフローを行動ターゲティングシステムに提供するために一般アーキテクチャにプラグインされる。従って、本システムは、新しいモデルをサポートすると同時に、新しい事象タイプを処理するよう修正することができる。
一般フレームワークは、同じ入力から或いは入力のサブセットから1つ又はそれ以上の出力を生成するよう構成することができる。例えば、行動ターゲティングシステムは、異なるユーザ又はターゲット(例えばマーケティング)目標に対する複数の出力を生成するよう構成することができる。本発明の行動ターゲティングシステムは、システムの目標に応じて異なるモデルを使用する。従って、単一の行動ターゲティングシステムは、上記で識別され図1に示されたアプリケーションを含む種々の目標をサポートするように実装することができる。
図3は、一般化された行動ターゲティングシステムの1つの実施形態を示すブロック図である。一般化された行動ターゲティングシステムは、1つ又はそれ以上の目標に対するユーザスコアを生成する。このため、モデル&規則340は、異なるマーケティング及びユーザ目標に対する複数のモデルを記憶する。動作時には、ユーザ行動情報が行動処理部310に入力される。また、1つ又はそれ以上のユーザ/マーケティング目標がモデル&規則340に入力され、1つ又はそれ以上のモデルを選択する。次に、モデル&規則340からの1つ又はそれ以上のモデルが行動処理部310に入力される。行動処理部310は、ユーザスコアを生成するために選択されたモデル&規則を使用する。具体的には、ユーザスコアは、1つ又はそれ以上のユーザ/マーケティング目標に対して生成される。
1つの実施形態では、ユーザ行動スコア又はプロファイルは、レポーティングのために使用できる。この実施形態では、システムがユーザプロファイルへの入力を処理する。次にマーケティング担当者は、最も効果的にプロファイルを使用する方法、すなわち、コンテンツ/検索結果のターゲティング、コンテンツ/検索結果の個別化、或いはプロファイルを使用して種々のレポーティング及び分析システムにプロファイルを入力することによって消費者の態度を理解することなどを決定する。
1つの実施形態では、行動ターゲティングシステムはまた、マーケティング担当者に情報を出力し、マーケティング担当者がカテゴリー毎スコアレンジ毎のインベントリ(すなわち、特定のカテゴリーにおける所与のスコアレンジを有する人/クッキーの数、及び/又はこれらの人/クッキーに関連した事象の予測)を理解できるようにする。この情報は、マーケティング担当者中心用途であるターゲティングであるか、或いはビジター中心用途である個別化であるかに関係なく、行動プロファイルの効果的に使用するためにマーケティング担当者に対して大まかなオーディエンスサイズを割り出す。
1つの実施形態では、本発明の行動ターゲティングシステムは、カテゴリー毎のプロファイルスコアを生成し、ターゲット目標に対するカテゴリー内の対象についてのユーザの傾向を予測する。例えば、関心スコアを用いて、カテゴリー内の製品又はサービスを購入することへのユーザの関心の強さをモデル化することができる。図4は、本発明の行動ターゲティングシステムの1つの実施形態を示すブロック図である。この実施形態では、本明細書で「事象」と呼ばれる入力事象が、事象カテゴリー化モジュール410に入力される。事象カテゴリー化モジュール410は、タクソノミー420と連動して動作する。具体的には、事象カテゴリー化モジュール410は、各入力事象をタクソノミー420においてカテゴリーに分類する。一般に、タクソノミー420は、ユーザの関心を分類するための複数のカテゴリーを定義する。タクソノミー420内のカテゴリーは、階層的に配列することができる。例えば、タクソノミー420は、「音楽」に対するハイレベルのカテゴリーと、音楽の異なるジャンルに対する、「音楽」カテゴリーの下に位置付けられる幾つかのサブカテゴリーとを含むことができる。対象を分類するのに使用されるカテゴリーのどのようなタクソノミーも、本発明の精神又は範囲から逸脱することなく行動ターゲティングシステムと協働して使用することができる。
図4に示されるように、分類された事象は、次元処理部450及びモデル&規則部440に入力される。ユーザ/マーケティング目標が、モデル&規則部440に入力される。モデル&規則部440は、種々の目標又は目的(例えば、ダイレクトレスポンス広告(442)、ブランド広告(444)、購入意図(446)、及び個別化(448))に対する複数の種々のモデルを包含する。各モデルは、該モデルに関連付けられた複数の規則を有する。本規則を用いて、次元処理部(450)において事象を処理し、種々の目標又は目的に対するユーザスコアを生成する。1つの実施形態では、モデルに対応する規則は、事象に固有のパラメータ、並びに事象に対して分類されたカテゴリーを包含する。例えば、事象タイプが「金融」に分類された「ページビュー」である場合、モデル及び規則部440は、事象、ページビュー、及びカテゴリー「金融」に基づいてパラメータを選択する。
モデル&規則部440において選択されたパラメータは、次元処理部450に入力される。次元処理部450はまた、入力として分類された事象を受け取る。一般に、次元処理部450は、カテゴリーに対してパラメータを使用してユーザスコアを生成する。以下に更に詳細に説明されるように、次元処理部450は、指定された時間期間にわたって処理するため事象を蓄積する。例えば、1つの実施形態では、次元処理部450は、短期ユーザ関心スコアを生成するために事象を蓄積する。別の実施形態では、次元処理部450は、長期ユーザ関心スコアを構築するためにより長い時間期間にわたって(例えば、1ヶ月にわたって)事象を蓄積する。
図4に示されるように、ユーザ関心スコアは、マッピングモジュール460に入力される。一般に、マッピングモジュールは、未加工のユーザスコアを1つ又はそれ以上の出力メトリクスにマップする。例えば、1つの出力メトリクスは、カテゴリーに分類された広告をユーザがクリックする傾向を決定することができる。パーセンテージで表されたこのメトリクスは、「クリックスルー率」(CTR)と呼ばれる。この実施例では、マッピングモジュール460が、未加工のユーザスコアをCTR値にマップする機能を提供することができる。
図5は、本発明の一般化された行動ターゲティングシステムの1つの実施形態を示すフロー図である。システムがユーザ事象を受け取ったとき、或いは事象蓄積の所定時間量の後、システムは、タクソノミーのカテゴリーに事象を分類する(図5のブロック510及び520)。ユーザ/マーケティング目標に基づいてモデルが選択される(図5のブロック530)。ブロック540、550、及び560で、行動ターゲティングシステムは、1つ又はそれ以上の事象を処理し、カテゴリーに対する未加工のユーザ関心スコアを生成する。この実施形態では、行動ターゲティングシステムは、選択されたモデルに基づいて近時性次元を与える(図5のブロック540)。一般に、近時性次元は、1つ又はそれ以上の事象をその事象がどのくらい最近に起こったかに応じて重み付けする。第2の次元を与えるために、行動ターゲティングシステムは、選択されたモデルに基づいて強度次元を与える(図5のブロック550)。強度次元は、事象が対象カテゴリーにおけるユーザの関心をどのくらい効率的に評価するかを示す値とみなされる重み又は係数を与える。この実施形態では、行動ターゲティングシステムはまた、第3の次元である頻度を与える(図5のブロック560)。一般に、頻度次元は、事象がどのくらいの頻度で発生したかに基づいて対象カテゴリーに対するユーザスコアを修正する。
図5に示されるように、プロセスは、複数の事象を処理するためのループを含む。しかしながら、以下に更に詳細に説明されるように、行動ターゲティングシステムは、時間の経過と共に事象を蓄積することができ、更に遅延状態で事象をバッチ処理して、複数のカテゴリーに対するユーザ関心スコアを取得することができる。別の実施形態では、行動ターゲティングシステムは、リアルタイムで動作することができる。この実施形態では、行動ターゲティングシステムは、1時間などの短い時間期間にわたって事象を蓄積し、次いで、これらの事象を処理し、短期ユーザ関心スコアを与えることができる。
1つの実施形態では、未加工のユーザ関心スコアが、出力メトリクスに変換される(図5の580)。しかしながら、未加工のスコアは、コンテンツをユーザにマッチさせるために変換する必要はない。スコアを生成する目的で適切な重み及び減衰パラメータを決定するために、単一マーケティング目標が使用される(例えば、ダイレクトレスポンスに対するクリックスルー率、及び購入意図者に対する購入事象)。これらの行動ターゲティングアプリケーションからの未加工のスコアは、ターゲット目標に相関付けられる。未加工のスコアをマッピングすることは、相関度を高める一助となる。しかしながら、未加工のスコアがマップされると、カテゴリー全体にわたるユーザの相対的な関心を順序付けする能力が失われる。
事象処理及びカテゴリー化
1つの実施形態では、事象は、広告クリック、検索クエリ、検索クリック、スポンサー付きリスティングクリック、ページビュー、及び広告ビューを含む。しかしながら、本明細書で使用される事象は、オンラインナビゲーション対話又は検索に関係した事象のいずれかのタイプを含むことができる。一般に、ページビュー事象は、ユーザがウェブページを閲覧したときに発生する。例えば、ユーザは、音楽カテゴリーページに対するリンクをクリックすることによって、インターネットポータル内で音楽に関するウェブページに入ることができる。この実施例では、ページビュー事象が、音楽カテゴリーページのユーザの閲覧について記録される。
ユーザが、広告のウェブページを閲覧したときに広告ビュー事象が発生する。例えば、インターネットポータルは、ポータルのホームページ上にバナー広告を表示することができる。ユーザがバナー広告をクリックした場合、ポータルは、対応する広告主へのリンクにユーザをリダイレクトする。ウェブページの表示は、クリックに応じて広告クリック事象を構成する。ユーザは、広告主のウェブサイトで複数のウェブページを訪れることによって、複数ページビュー事象を生成することができる。
広告クリック事象は、ユーザが広告をクリックしたときに発生する。例えば、ウェブページはバナー広告を表示できる。広告クリック事象は、ユーザがバナー広告をクリックしたときに発生する。
検索クエリ事象は、ユーザがウェブベース検索エンジン上で1つ又はそれ以上の検索語をサブミットしたときに発生する。例えば、ユーザは、クエリ「遠洋漁業」をサブミットすることができ、対応する検索クエリ事象が検索語「遠洋漁業」と共に記録される。ユーザクエリに応答して、ウェブベース検索エンジンは、検索クエリ語に関連したウェブページへの複数のリンクを返す。ユーザが、リンクの1つをクリックした場合に、検索クリック事象が発生する。
スポンサー付きリスティング広告は、ユーザの検索基準に応じて表示される広告を意味する。ユーザが該ユーザに表示されたスポンサー付きリスティング広告をクリックすると、スポンサー付きリスティングクリック事象が発生する。
図6は、行動ターゲティングシステムにおける事象カテゴリー化の実施形態を示すブロック図である。図6に示されるように、システム608は、例えば、トークンデータベース610、関心データベース620、及び規則データベース630など、複数のデータベースに結合された事象カテゴリー化プラットフォーム600を含む。
1つの実施形態では、トークンデータベース610が、種々のサーバから、エディタから、及び/又は他のサードパーティエンティティから自動的に或いは人手により集められたトークンとして知られる単一の単語又は複数の単語のキーワードのリストを記憶する。一般に、トークンは単一の概念を表し、トークンが複数の単語ユニットを包含する場合でも単一のキーワードとして扱われる。トークンは更に、起源となるそれぞれの事象との関連性に基づいてデータベース610内の階層タクソノミーに編成される。1つの実施形態では、トークンデータベース610に記憶された階層トークンタクソノミーが、カテゴリー化トークンの階層タクソノミーに人手によりマップされ、これは更に関心データベース620内に記憶される。階層タクソノミーは、事象カテゴリー化プラットフォーム600によって自動的に、或いは代替としてエディタ、及び/又は他のサードパーティエンティティによって人手によりレビュー、編集、及び更新される。
マッピングは、1つ又はそれ以上のカテゴリーを各記憶されたトークンに割り当て、続いて、該割り当てられたカテゴリーは、各対応するトークンに関連付けられたそれぞれのノードにおいて関心データベース620内に記憶される。代替の実施形態では、カテゴリーを階層タクソノミーにマップすることはできないが、代わりに、関心データベース620内のカテゴリーの集合として記憶することができる。
事象カテゴリー化プラットフォーム600は、例えば、ネットワークを通じてユーザによって送信された検索クエリ、ウェブページビュー、検索結果クリック、広告クリック、及び対話型事象の他のタイプなどのフロントエンドウェブサーバからの種々の事象を受け取り、以下に更に詳細に説明されるように、関連付けられたデータベース610、620、及び630内に記憶されたデータに基づいて、受け取られた事象の自動カテゴリー化を可能にする。
1つの実施形態では、事象カテゴリー化プラットフォーム600は更に、例えば検索クエリなどの事象を受け取り、該事象をパーズして、例えばクエリ語などの複数事象ユニットを生成するように構成されたパーサモジュール602を更に含む。事象カテゴリー化プラットフォーム600は更に、トークン分析モジュール604を含み、該モジュールは、パーサモジュール602に結合され、以下に更に詳細に説明されるようにパーサモジュール602から事象ユニットを受け取り且つ該事象ユニットに基づき及び関連データベース610及び620内に記憶されたデータに基づいて事象をカテゴリー化するよう構成される。最後に、事象カテゴリー化プラットフォーム600は、トークン分析モジュール604に結合され、以下に更に詳細に説明されるように各カテゴリー化事象に対応する曖昧値を生成するよう構成された曖昧性処理モジュール606を含む。
図7は、本発明の1つの実施形態によるネットワークにおける事象の自動カテゴリー化を容易にする方法を示すフローチャートである。図7に示されるように、処理ブロック701で、例えば検索クエリなどの事象をユーザから受け取る。1つの実施形態では、ユーザは、クライアントコンピュータ820(図8)のクライアントプログラムに表示されたウェブページにアクセスし、検索クエリをクライアントコンピュータ820及びネットワーク830を介してウェブサーバに送信する。フロントエンドサーバ840は、検索クエリを受け取り、クエリを事象カテゴリー化プラットフォーム600に転送する。
処理ブロック702で、本事象は、パーズされて、1つ又はそれ以上の事象ユニットを生成する。1つの実施形態では、パーサモジュール602が、例えば検索クエリなどの事象をパーズし、1つ又はそれ以上のユニット(例えば、クエリー語)を取得して、該ユニットをトークン分析モジュール604に送信する。
処理ブロック703で、パーズされた事象ユニットにマッチするトークンが、データベースから検索される。1つの実施形態では、トークン分析モジュール604は、関心データベース620にアクセスし、パーズされた事象ユニットにマッチする1つ又はそれ以上のカテゴリー化トークンを検索する。或いは、トークン分析モジュール604は、一般トークンデータベース610にアクセスし、1つ又はそれ以上のマッチングトークンを検索することができる。
1つの実施形態では、トークン分析モジュール604は、各事象ユニットをデータベース620内、又は代替としてデータベース610内に記憶されたトークンと比較し、最長可能トークン(すなわち、最大数のワードを有する、すなわち最長のトークン)を選択する。或いは、トークン分析モジュール604は、登録された事象内に現われる可能性が最も高いトークンを選択する。この選択は、各特定のトークンが事象内に包含される回数を指定する、各トークンに関連付けられたユニット頻度パラメータに基づく。
処理ブロック704で、検索されたトークンに関連付けられた1つ又はそれ以上のカテゴリーが識別される。1つの実施形態では、トークン分析モジュール604は、検索されたカテゴリー化トークンを分析し、検索されたトークンに関連付けられた1つ又はそれ以上のカテゴリーを識別する。或いは、トークンが一般トークンデータベース610から検索された場合には、トークン分析モジュール604は、1つ又はそれ以上のカテゴリーを検索された各トークンにエディタ上又はアルゴリズム上のいずれかで割り当てることができ、この割り当てられたカテゴリーは、対応する階層タクソノミーを形成し、或いは関連カテゴリーのないトークンを廃棄することができる。
処理ブロック705で、曖昧性パラメータ値が検索された各トークンに割り当てられる。1つの実施形態では、曖昧性処理モジュール606は、トークン分析モジュール604からトークンを受け取り、例えば、分析された事象内に特定のトークンが存在すると仮定した場合、事象全体カテゴリーであるトークンカテゴリーの条件付き確率の係数として、各トークンについての対応する曖昧値を計算する。
処理ブロック706で、優勢(dominant)トークンが、関連付けられたトークンカテゴリー、各トークンの割り当てられた曖昧性パラメータ値、及び規則データベース630内に記憶された事象処理規則のセットに基づいて、検索されたトークンから選択される。1つの実施形態では、トークン分析モジュール604は、例えば、1つ又はそれ以上のストップワードを包含するトークンの除去を指定する規則、記憶された事象内のトークン出現の最小頻度を指定する規則、及び検索されたトークンをランク付けするよう設計された他の規則など、予め設定された処理規則を適用し、優勢トークンを選択する。
1つの実施形態では、曖昧性パラメータ値に加えて、トークン分析モジュール604は、優勢トークン選択の精度及び事象カテゴリー化全体の精度の評価を表す信頼性スコアを割り当て、該信頼性スコアを対応する事象全体と共に記憶する。
最後に、処理ブロック707で、事象全体が、優勢トークンに関連付けられた1つ又はそれ以上のトークンカテゴリーに基づいてカテゴリー化され、それぞれのデータベース610、620を更新して、新しくカテゴリー化された事象を含むようにする。
他の実施形態では、割り当てられた信頼性スコアが予め設定されたスレショルドスコアよりも低く、従って、上記で詳細に説明されたカテゴリー化手順が正確であるという信頼度が低く示される場合には、トークン分析モジュール604は事象全体を廃棄することができる。
別の他の実施形態では、割り当てられた信頼性スコアが予め設定されたスレショルドスコアよりも低い場合でも、トークン分析モジュール604は、対応する事象全体と共に信頼性スコアを依然として記憶することができる。この実施形態では、例えばユーザのオンラインアクティビティに基づいてユーザの関心を識別するように構成された行動ターゲティングシステム、又はその構成要素のいずれかのような他の外部モジュール及び/又はシステムは、その関連付けられた信頼性スコアが予め設定されたスレショルドスコアよりも低い場合には、記憶された事象を検索し廃棄することができる。
更に別の他の実施形態では、事象は、各トークンに関連付けられた曖昧性パラメータ値に従って検索されたトークンに対応する複数のカテゴリーの間で部分的に分割することができる。続いて、該事象は、対応する曖昧性パラメータ値に等しい割り当て重みに従って、各トークンカテゴリー内にカテゴリー化することができる。
事象の自動カテゴリー化を容易にする方法の他の実施形態では、1つ又はそれ以上のマッチングトークンの検索の後で、検索された各トークンに対応する複数の統計パラメータを含むベクトル値が集められ、公知のニューラルネットワーク構造(図示せず)に入力される。或いは、ベクトル値は、公知のサポートベクトルマシン(図示せず)、公知の非線形回帰メカニズム(図示せず)、或いはベクトル入力を受け付ける何らかの公知の機械学習ユニットに入力することができる。
1つの実施形態では、ベクトル値は、検索された各トークンに関係付けられたデータを含む。各トークンに対する統計パラメータは、事象ログにおけるトークンの存在頻度、例えば検索クエリなどの特定の事象の内のトークンの存在頻度、トークンの曖昧値、トークンが事象全体を占める確率、トークンが別のトークンを占める確率、トークンに関連付けられたカテゴリーが事象全体を占める確率、カテゴリーが別のトークンに関連付けられたカテゴリーを占める確率、及び/又は事象内の優勢トークンの決定を可能にする他の公知の統計パラメータを含むことができる。
1つの実施形態では、例えばニューラルネットワーク構造などの機械学習ユニット、或いは、代替形態では、サポートベクトル機械又は非線形回帰メカニズムは、ベクトル入力を受け取り、各トークンに関連付けられた出力値を決定するよう構成されており、該出力値は、対応するトークンが事象の優勢トークンである確率を示す。続いて、機械学習ユニットは、計算された出力値を配列し、最も高くランク付けされた出力値を選択して、選択された出力値をトークン分析モジュール604に送信する。
1つの実施形態では、対応するトークンが事象の優勢トークンである確率として各出力値を決定することに加えて、機械学習ユニットは更に、優勢トークン決定の精度及び事象全体カテゴリー化の精度の評価を表す信頼性スコアを計算する。次に信頼性スコアは、トークン分析モジュール604に送信される。他の実施形態では、トークン分析モジュール604は、機械学習ユニットから受け取られた情報を用いて信頼性スコアを計算することができる。
トークン分析モジュール604は、選択された最も高い出力値に対応するトークンを識別し、トークンに関連付けられる1つ又はそれ以上のカテゴリーを検索する。最後に、トークン分析モジュール604は、1つ又はそれ以上の検索されたカテゴリーに基づいて事象をカテゴリー化し、新しくカテゴリー化された事象を含むようにそれぞれのデータベースを更新する。
他の実施形態では、割り当てられた信頼性スコアが予め設定されたスレショルドスコアよりも低い場合、すなわち、上記に詳細に説明されたカテゴリー化手順が正確であるという信頼性が低く示される場合には、トークン分析モジュール604は、事象全体を廃棄することができる。
別の他の実施形態では、割り当てられた信頼性スコアが予め設定されたスレショルドスコアよりも低い場合でも、トークン分析モジュール604は依然として、対応する事象全体と共に信頼性スコアを記憶することができる。この実施形態では、例えば行動ターゲティングシステム或いはその構成要素のいずれかのような他の外部モジュール及び/又はシステムは、その関連付けられた信頼性スコアが予め設定されたスレショルドスコアよりも低い場合には、記憶された事象を検索し廃棄することができる。
更に別の他の実施形態では、ベクトル値は、トークンのペアに関係付けられたデータを含む。機械学習ユニットは、上記に詳細に説明されたように、入力ベクトルを受け取り、優勢トークンを選択する。続いて、機械学習ユニットは、別のトークンに関係付けられたデータを受け取り、別のトークンを選択された優勢トークンと比較し、更に、新しい優勢トークンを選択する。本手順は、全てのデータがなくなり、最終の優勢トークンが選択されるまで、残りのトークンについて繰り返し継続される。
広告アプリケーションのための行動ターゲティングシステム
1つの実施形態では、行動ターゲティングシステムは、広告のカテゴリー又はトピックにおけるユーザの関心に基づいてユーザにオンラインで広告を提供するのに使用される。オンライン広告は、多様な製品及びサービスを販売するのに使用される。一般に、オンライン広告は、潜在顧客の間にブランド認知を構築し、製品及びサービスのオンライン購入を促進するのに使用される。ブランドマーケティングと呼ばれるオンライン広告の1つのタイプは、ブランドをターゲットオーディエンスに売り込むものである。従って、ブランドマーケティングの目的は、顧客への広告主のブランドの認知を高めることである。オンライン広告主の別の目的は、顧客からのアクション又は反応を引き出すことである。広告のこのタイプは、ダイレクトレスポンス広告と呼ばれる。ユーザを広告主のウェブサイトに誘導するリンクを含むウェブページのようなメッセージ上に表示される広告は、ダイレクトレスポンス広告の一実施例である。
バナー広告及びスポンサー付きリスティング広告は、現在使用されているオンライン広告の2つのタイプである。一般に、バナー広告は、ウェブページなどのオンラインメッセージの予め設定された位置に表示される広告のタイプを指す。例えば、バナー広告は、ウェブページの上部において横向き矩形内に表示することができるが、バナー広告は、ウェブページ全体にわたってどの位置にも現われる。バナー広告は、動画又は静止画のグラフィカル画像、及び/又はテキストを含むことができる。通常、バナー広告は、ユーザがリンクをクリックした場合に、ユーザのブラウザがバナー広告に関連付けられた新しいロケーションにリダイレクトされるようにURLリンクを含む。
スポンサー付きリスティング広告とは、ユーザの検索基準、ユーザが訪れているページ、或いはユーザのプロファイルに応じて表示される広告を意味する。例えば、ユーザがウェブベース検索エンジンに検索クエリを入力した場合、検索エンジンは、クエリに応答して検索クエリに関連した広告主のハイパーリンクテキストリスティングを表示できる。スポンサー付きリスティング広告は、テキスト及び/又は画像の形式を取ることができる。本発明の行動ターゲティングシステムは、オンライン広告と連動して説明される。本発明はバナー広告及びスポンサー付きリスティング広告の使用と連動して説明されるが、メッセージに含まれ且つネットワークを通じて配信される広告のいずれのタイプも、本発明の精神又は範囲から逸脱することなく使用することができる。例えば、本発明は、スポンサー付きリスティングをユーザ行動プロファイル及びウェブページコンテンツにマッチさせるアプリケーションを有する。本発明の教示は、限定ではないが、バナー広告、スポンサー付きリスティング広告、インプレッション保証広告、及びパフォーマンスベース広告を含むオンライン広告のいずれのタイプにも応用可能である。広告自体は、テキスト、画像、音声、又はビデオを含むいずれのタイプのメディアも含むことができる。
図8は、行動ターゲティングシステムを使用して広告を提供するための1つの実施形態を示すブロック図である。この例示的な実施形態では、実施例のインフラストラクチャは、ネットワーク830、ウェブサーバ840、広告(ad)サーバ850、並びにユーザ810用のコンピュータ820を含む。ウェブサーバ(840)は、事象などのユーザ行動に基づいた情報を受け取る。ユーザ行動情報は、行動ターゲティング処理部(860)に入力される。図8に示されるように、行動ターゲティング処理部860は、ユーザ行動情報を使用してカテゴリー毎に未加工のユーザスコア(870)を生成する。ユーザスコアは広告サーバ(850)に入力され、該サーバがウェブサーバ840に広告を提供する。この結果、カスタマイズ広告がコンピュータ820上のユーザ810に提供される。
行動ターゲティングシステムにおける次元パラメータ
図9は、行動ターゲティングシステムにおける次元処理のための1つの実施形態を示すブロック図である。この実施形態では、次元処理は、近時性処理(950)、強度処理(955)、及び頻度処理(960)を包含する。モデル及び規則部(970)は、カテゴリー及び事象タイプ情報を受け取り、カテゴリー及び事象タイプに基づいて、近時性、強度、及び頻度処理モジュールに対する重みなどのパラメータを生成する。1つの実施形態では、モデルは線形回帰を使用する。近時性、強度、及び頻度処理を行うための具体的な式を以下に更に詳細に説明する。
1つの実施形態では、モデル及び規則(970)は、各カテゴリーに対するモデルを含む。従って、次元処理のための重みパラメータは、1つのカテゴリーに対するものである。モデルは、減衰パラメータを含む重みパラメータを定義する。重みパラメータはまた、事象タイプに対して固有である。1つの実施形態では、事象に対する重みパラメータは、均等には重み付けされていない。更に、事象タイプ(例えば、ページビュー、検索、その他)内の全ての事象は、均等には重み付けされていない。従って、全ての重み及び減衰パラメータは、種々の事象タイプに対するカテゴリー内で、或いは同じ事象タイプのカテゴリー全体にわたって必ずしも一定とは限らない。
a.長期ユーザ行動プロファイル
1つの実施形態では、本発明の行動ターゲティング処理は、長期ユーザ行動プロファイルを生成する。長期ユーザ行動プロファイルは、比較的長い時間期間にわたって(例えば、少なくとも24時間にわたって)ユーザのアクティビティをコンパイルし、ユーザ行動プロファイルを生成する。1つの実施形態では、長期ユーザ行動プロファイルは、次の日以内のユーザの関心を予測するのに使用される。例えば、長期ユーザ行動プロファイルを用いて、次の日にどの広告をユーザに提供するかを決定することができる。
長期ユーザ行動プロファイルは、ユーザの長期関心につながる広告を提供するのに使用するアプリケーションを有する。例えば、ユーザは、自動車を購入するために数ヶ月の時間期間にわたって関心を示す場合がある。関心スコアは、オンラインで自動車についての情報を取得するユーザ学習によって生成されたユーザのアクティビティ(例えば、自動車サイトのページビュー、自動車広告の広告クリックなど)からコンパイルされる。この実施例では、自動車カテゴリーにおけるユーザの長期ダイレクトレスポンススコアは高く、従って、広告アプリケーションは、自動車の販売についての広告をユーザに提供することができる。
次式により、時間tnにおけるユーザについての長期ユーザ関心スコアを計算する公式が得られる。
Figure 0005450051
上式で、
tnは、ユーザの長期ダイレクトレスポンス(未加工)スコア、すなわち時間間隔tnまで記録された過去の行動データに基づくユーザのクリック傾向を表す;
event,tは、カテゴリーにおけるユーザに対する日tでの事象タイプeventのアクティビティの数である;
event,tnは、ユーザが過去に事象タイプについてのアクティビティを有した最近の日に基づいてユーザに対しての事象タイプeventの近時性情報を表す;
eventは、事象タイプが時間w.r.t予測パワーにわたってどのくらい速く「減衰」するかを定義する事象タイプeventについての近時性情報の重みを表す。例えば、rad_Clickは、ユーザが広告クリックアクティビティを有した最近の日に基づいて広告クリック傾向を予測するのにどの程度強力かを定義する;
eventは、広告クリック傾向の予測のために強度情報を使用するパワーを与える事象タイプeventの重みを表す;
event,tnは、ユーザが過去に事象タイプに対するアクティビティを有した最近の日に基づいて、ユーザについての事象タイプeventの頻度情報を表す;
eventは、事象タイプeventに対する頻度情報の重みを表す。
各カテゴリーにおいて、ユーザスコアstnは、飽和関数Satu()を使用して変換され、減衰関数Decay()を使用し及び過去における事象アクティビティの近時性Revent,tnを使用して集約された事象アクティビティの強度Aevent,tの線形結合である。事象アクティビティの強度及び近時性は、それぞれwevent及びreventによって重み付けされる。
図10は、長期ダイレクトレスポンスユーザ関心スコアを生成するための1つの実施形態を示すフロー図である。この実施形態では、長期行動ターゲティングシステムが、指定された時間間隔でユーザ事象Aevent,tをログ記録する(図10のブロック1020)。1つの実施形態では、長期行動ターゲティングシステムが、24時間の期間にわたって事象をログ記録する。長期行動ターゲティングシステムは、事象をカテゴリー化する(図10のブロック1020)。長期行動ターゲティングシステムは、処理のためにログからカテゴリー化事象を選択する(図10のブロック1025)。長期ダイレクトマーケティングプロファイルに対応するモデルが選択される。一部では、モデルは、次元処理のための複数の重み(例えば、近時性、強度、及び頻度)を含む。
飽和関数を事象に適用する(図10のブロック1035)。1つの実施形態では、飽和関数Satu()は、全ての毎日の事象アクティビティに適用される。これは、単純なアッパーキャップ関数である。Ueventは、事象タイプeventに対するアッパーキャップを示す。これは、最近の7日間のトップ0.5%の最もヘビーなユーザ間で最も低いAevent,tである。
Figure 0005450051
減衰関数が飽和関数の出力に適用される(図10のブロック1040)。1つの実施形態では、減衰関数Decay()が、ユーザの毎日の事象アクティビティを集約するために適用され、これは次式で表される。
Figure 0005450051
αは、全ての事象タイプ及び全てのカテゴリーに対しての定数である。αの値が小さい程、履歴データのフェーズアウトが速くなる。αは、システム制約及びビジネス要件に基づいて選択することができる。αの種々の値の減衰速度の実施例を以下の表1に示す。1つの実施形態では、αは0.95に設定される。
Figure 0005450051
その後、強度重みが減衰関数の出力に加えられる(図10のブロック1050)。1つの実施形態では、飽和した強度特性に対する重みweventは、モデリング(例えば、回帰分析)によってフィットされる。この重みは、標準誤差及び性能メトリクスと共にモデリングシステムによって出力される。
近時性パラメータが、ログ記録された事象に対して生成される(図10のブロック1055)。Revent,tnは、時間tnまでにユーザのアクティビティの中のカテゴリーにおけるタイプeventのアクティビティをユーザが有した最近の日である。例えば、tnまでロードされた全てのページビューアクティビティの中で、自動車カテゴリーにおけるユーザの最後のページビューが2日前に起こった場合、自動車ついてのページビューにおけるユーザの近時性は2である。ページビューアクティビティがユーザに対して記録されていない場合、近時性は、定数RUNKNOWNに設定される。1つの実施形態では、RUNKNOWNは90日に設定される。
Figure 0005450051
次に、事象タイプ及び事象のカテゴリーに基づいた近時性重みreventが、近時性関数に適用される(図10のブロック1060)。1つの実施形態では、飽和された強度特性reventに対する重みは、回帰分析などのモデリングによってフィットされる。この重みは、標準誤差及び性能メトリクスと共にモデリングシステムによって出力される。
図10のループで示されるように、行動ターゲティングシステムは、ブロック1025、1030、1035、1040、1050、1055、及び1060を実行することによって各カテゴリーに対する事象を処理する。
1つの実施形態では、長期ユーザ関心スコアを生成するための式は簡約することができる。Itnが、日t0からtnまでの全ての事象タイプにわたるユーザのアクティビティの強度次元を表すものとする。αが全ての事象タイプにわたって同じである場合、次式が得られる。
Figure 0005450051
次に、tnまで記録されたアクティビティを持つユーザuに対するユーザスコアは、次式で書き換えることができる。
Figure 0005450051
幾つかの実施形態では、特定のカテゴリーに対するユーザの長期スコアは、特定のカテゴリーにおけるユーザの毎日のスコアを記憶することなく、増分的に更新することができる。従って、以前の事象及び計算の全ての再処理を必要としないユーザスコアリングの第1日を用いてオリジナルスコアを計算するので、該スコアは、ユーザの過去のカテゴリー関心を反映させるように経時的に(予め設定された更新間隔で)更新することができる。
kは、ユーザについて事象アクティビティが最後に記録された日を示し、増分更新間隔をd日毎とすると、tn=tk+dである。例えば、毎日の増分更新では、tn=tk+1となる。幾つかの実施形態では、更新されたスコアstnは次に、以下の式を使用して求めることができる。
Figure 0005450051
b.短期ユーザ行動プロファイル
別の実施形態では、行動ターゲティングシステムは、短期ダイレクトレスポンスユーザ行動プロファイルを生成する。1つの実施形態では、短期ユーザ行動プロファイルは、次の1時間以内にユーザに広告を提供するのに用いられる。短期ユーザ行動プロファイルは、ユーザの極めて近い将来の購入意図につながる広告を提供するために使用するアプリケーションを有する。例えば、ユーザは、オンラインで花を買うために最近の数分間にわたって関心を示す可能性がある。通常、花などの小さな購入は、比較的短い時間期間の購入によって行われる。この実施例では、行動ターゲティングシステムは、リアルタイムでユーザクティビティを蓄積し、短い時間期間でユーザに広告を提供する。
以下の式により、時間単位の間隔tnでのユーザに対する短期ダイレクトレスポンススコアの公式を与える。
Figure 0005450051
上式で、
tnは、tnで更新された過去の行動データに基づいてユーザのクリック傾向を測定する時間単位の間隔におけるユーザの短期ダイレクトレスポンス(未加工)スコアを表す;
event,tは、カテゴリーにおけるユーザに対する時間単位の間隔tにおける事象タイプeventのアクティビティの数である;
tnは、広告カテゴリービュー事象タイプを除く、ユーザがアクティビティを有する一日単位の間隔に基づくユーザに対する近時性情報を表す;
R’tnは、広告カテゴリービュー事象タイプを除く、ユーザがアクティビティを有する時間単位の日内パターンに基づくユーザに対する近時性情報を表す;
r,r’は、アクティビティが時間w.r.t予測パワーにわたってどのくらい速く「減衰」するかを定義する近時性情報の重みを表す。例えば、rAd_Clickは、ユーザが過去にクリックアクティビティを持った最新の時間間隔に基づいて将来の広告クリックをどのくらい強力に予測するかを定義する;
eventは、広告クリック傾向に対する予測の強度情報を使用するパワーを与える事象タイプeventの重みを表す。
各カテゴリーにおいて、ユーザスコアstnは、アクティビティAevent,tの強度(飽和関数Satu()を使用して変換され、減衰関数Decay()を使用して集約されたもの)とアクティビティの近時性Rtn、R’tnの線形結合である。アクティビティの強度及び近時性は、それぞれwevent,r,r’によって重み付けされる。
図11は、短期ダイレクトレスポンスユーザ関心スコアを生成するための1つの実施形態を示すフロー図である。この実施形態では、短期行動ターゲティングは、指定された時間間隔におけるユーザ事象、Aevent,tをリアルタイムで受け取る(図11のブロック1110)。短期行動ターゲティングシステムは、事象をカテゴリー化する(図11のブロック1120)。短期ダイレクトマーケティング/ユーザ目標に対応するモデルが選択される(図11のブロック1130)。一部では、モデルは、次元処理のための複数の重み(例えば、近時性、強度、及び頻度)を含む。
飽和関数が事象に適用される(図11のブロック1135)。1つの実施形態では、飽和関数Satu()は、全ての時間単位の事象アクティビティに適用される。これは、単純なアッパーキャップ関数である。Ueventは、事象タイプeventに対するアッパーキャップを示す。これは、時間単位の間隔中でトップ0.5%の最もヘビーなユーザの中で最も低いAevent,tである。
Figure 0005450051
減衰関数が、飽和関数の出力に適用される(図11のブロック1140)。1つの実施形態では、減衰関数Decay()が、時間の経過に従ってユーザの事象アクティビティを集約するために適用され、次式で表される。
Figure 0005450051
αは、全ての事象タイプ及び全てのカテゴリーに対しての定数である。αの値が小さい程、履歴データのフェーズアウトが速くなる。αは、システム制約及びビジネス要件に基づいて選択することができる。αの種々の値の時間単位及び日単位の減衰速度の実施例を以下の表2に示す。1つの実施形態では、αは0.998に設定される。
Figure 0005450051

Figure 0005450051
その後、強度重みが減衰関数の出力に適用される(図11のブロック1150)。1つの実施形態では、飽和強度特性に対する重みweventが、統計的モデリングによってフィットされる。重みは、標準誤差及び性能メトリクスと共にモデリングシステムによって出力される。
近時性パラメータが、事象に対して生成される(図11のブロック1155)。1つの実施形態では、簡単にするために、単一の近時性値が使用される。Rtnは、最後に更新されたユーザのアクティビティの中でカテゴリーにおけるアクティビティをtnでユーザが有する最新の時間単位の間隔である。例えば、ユーザが2時間前に自動車カテゴリーのページビューを持ち、2時間以内に他のアクティビティが存在しない場合、自動車についてのページビューにおけるユーザの近時性は2である。ユーザが最後の更新以来アクティビティを持たない場合、近時性Rtnは、定数RUNKNOWNに設定される。1つの実施形態では、RUNKNOWNは504に設定される。
Figure 0005450051
R’tnは、RtnをV字形日内パターンに変換するRtnから得られる。
Figure 0005450051
次に、事象タイプ及び事象のカテゴリーに基づいた近時性特性r,r’が、近時性関数に適用される(図11のブロック1160)。1つの実施形態では、強度特性r,r’に対する重みがモデリングによってフィットされる。この重みは、標準誤差及び性能メトリクスと共に、モデリングシステムによって出力される。
図11のループで示されるように、行動ターゲティングシステムは、ブロック1130、1135、1140、1150、1160、及び1170を実行することによって各カテゴリーに対する事象を処理する。
特定のカテゴリーについてのユーザの短期スコアはまた、リアルタイムで増分的に更新することができる。スコアのリアルタイム増分更新は、特定のカテゴリーにおけるユーザに対する事象アクティビティAevent,tのカウント(時間単位の間隔tでの事象タイプeventに対するアクティビティの数)を決定又は記憶することなく実行することができる。スコアのリアルタイム増分更新は、オリジナルスコアを計算するのに使用される以前の事象及び計算の全ての再処理を必要とせずに、(事象タイプeventの)最近の事象に基づくスコアの調節を可能にする。
上記に説明されたように、Itnは、スコアの強度成分(すなわち、日t0からtnまでの全ての事象タイプにわたるユーザのアクティビティの強度次元)を示す。
Figure 0005450051
同様に上記に説明されたように、tnまでの記録された全てのアクティビティを持つユーザのスコアは、次式で簡約することができる。
Figure 0005450051
強度成分がゼロに初期化(It0=0)され、最近のユーザクティビティの時間単位の間隔が未知に設定(Rt0=Runknown)された場合、初期ユーザスコアst0は、st0=RUNKNOENとして計算される。stn-1が、時間単位の間隔tn-1で最後に更新されたユーザスコアを示すと仮定する。事象タイプeventの最近のアクティビティが時間単位の間隔tnで受け取られた場合、ユーザスコアstn-1は、特定のカテゴリーでのユーザに対する全ての過去の事象アクティビティAevent,tを再処理することなく、ユーザスコアstnに増分的に更新することができる。幾つかの実施形態では、増分的に更新されたユーザスコアstnは、次式を用いて決定される。
Figure 0005450051
モデリングプロセス
上述のように、モデルは、ユーザプロファイルスコアを生成する重みを加えるための重みパラメータを含む。1つの実施形態では、重みパラメータは、ユーザデータセットから生成される。過去のユーザクティビティからコンパイルされたユーザデータセットは、事象情報をユーザ行動に相関付ける(例えば、ユーザ事象と相関付けられたクリックスルー率)。ユーザデータセットは、ポジティブユーザ(例えば、ユーザクティビティがターゲット目標を満たす)とネガティブユーザ(例えば、ターゲット目標を満たさないユーザ)とを識別するために分析することができる。ユーザデータセットは、ターゲット目標に対する行動を予測する目的でどの動作(例えば事象情報)が最も有用であるかを判断するために、データマイニング技術を使用して分析される。ポジティブユーザに対する事象情報を分析し、ターゲット目標に最も寄与する事象を判断することができる。例えば、ターゲット目標がダイレクトレスポンス広告であり、ユーザデータセットが、「スポーツ」カテゴリーにカテゴリー化された検索クエリをサブミットしてダイレクトレスポンス広告をクリックするユーザに関する傾向を識別した場合、事象タイプの検索に対する重みパラメータは、カテゴリー「スポーツ」に対して比較的高い値が与えられる。この実施形態では、ユーザデータセットは、タクソノミーの各カテゴリーにおける各事象タイプに対する重みを生成するために分析される。
モデルを生成するためのこのアプローチに関する1つの問題は、カテゴリーに関連付けられたデータが不十分であるか或いは全く存在しない可能性があることである。1つの実施形態では、行動ターゲティングシステムは、不十分なデータセットを有するカテゴリーに対してモデル継承技術を利用する。モデル継承技術を用いると、1つのカテゴリーから作成されたモデルが、タクソノミー上で関係カテゴリー又は親カテゴリーについてのモデルとして使用される。例えば、タクソノミーは、タクソノミーにおける親カテゴリー「金融」の下に位置付けられる子カテゴリー「株式_投資」を含むことができる。ユーザデータセットがカテゴリー「株式_投資」に対して不十分である場合、「金融」カテゴリーに対するモデルが、「株式_投資」カテゴリーに対するモデルとして用いることができる。また、モデル継承技術を用いて、幾つかのモデルを生成し次いでこれらのモデルを関係カテゴリーに対して使用することによって、多数のカテゴリーをサポートするシステムにおけるモデル構築プロセスを容易にすることができる。
1つの実施形態では、モデル化プロセスは、モデルの精度を高めるためにユーザの重みを使用する。一般に、ユーザ重みは、モデルを構築するために最高品質の情報を提供するユーザデータセットのユーザを識別する。例示的なユーザデータセットは、以下を含むことができる。
Figure 0005450051
この例示的なデータセットは、クリックの傾向に関して、ジョンとマリーがネガティブユーザであり、ピーターとスーがポジティブユーザであることを示している。しかしながら、マリーは、広告ビューを一度見ただけであるのに対して、ジョンは、広告ビューを100回見ている。従って、データは、ジョンがマリーよりもノンクリッカー(non-clicker)であるという信頼度のより高いレベルを提供する。同様に、スーは広告ビューを一度見ただけでクリックしており、ピーターは、クリックする前に100回の広告ビューを経験している。従って、クリッカーとしてのスーのデータの信頼度は、ピーターがクリッカーであるという信頼度よりも高い。モデルを生成する1つの実施形態では、ユーザ重みは、データの品質を測定するためのユーザデータセットからのデータに帰する。上記の実施例では、モデルを生成するときには、スーに関連付けられたデータは、ピーターに関連付けられるデータよりも高いユーザ重みが割り当てられる。
1つの実施形態では、ユーザ重みは、ターゲット目標に関するユーザの期待動作に基づいてユーザに割り当てられる(例えば、CTR)。データマイニングアルゴリズムで使用されるターゲット変数は、再調整され、ポジティブユーザ及びネガティブユーザの重みの合計が1になるように正規化される。具体的には、ターゲット変数tuは、以下のように1又は0に設定することができる。
Figure 0005450051
である場合、
u=1
そうでない場合、
u=0
である。
1つの実施形態では、
f(adview)=adview+k(ここでkは定数)
である。
他の実施形態では、
f(adview)=adview
f(adview)=(1−e-k*adview
f(adview)=bin(adview)
である。
次にユーザ重み付けは、次式で計算される。
Figure 0005450051
ターゲット変数及びユーザ重みを使用すると、機械学習アルゴリズムは、以下の関係に従って予測の誤差を最小にする。
Figure 0005450051
上式で、tuは予測ターゲット変数、tuは実際のターゲット変数である。
1つの実施形態では、データクレンジング技術が、ユーザデータセットからユーザデータを除外するのに使用される。この実施形態では、「ロボット」事象を除外した後モデリング処理を行い、この事象の行動がモデルをバイアスしないようにする。ロボット事象は、特に他のユーザに対するいずれかのスコアリングが存在する場合にモデリングに狂いを生じさせる。従って、最小アクティビティを持つロボット事象及びクッキーがモデルから除外される。
リアルタイム及びバッチ処理実装
図12は、長期及び短期ユーザ関心スコアを生成する行動ターゲティングシステムの1つの実施形態を示すブロック図である。上述のインフラストラクチャと同様に、例示的なユーザコンピュータ(1220)、ネットワーク1230、ウェブサーバ1240、及び広告サーバ1250が使用される。1つの実施形態では、データベース1255、バッチ行動ターゲティング処理1260、及びウェアハウスプロファイル1280が、長期ユーザ関心スコアを計算するのに使用される。データベース1255は、ウェブサーバ1240に結合されてログ記録された事象を記憶する。次いで、ログ記録された事象は、バッチ行動ターゲティング処理1260において予め設定された間隔で処理される。バッチ行動ターゲティング処理1260の出力は、1つのカテゴリー当たりに複数のユーザ関心スコアを含む。スコアは、ウェアハウスプロファイル1280に記憶される。
行動ターゲティングシステム1200はまた、短期ユーザ関心スコアを生成するためにリアルタイム行動ターゲティング処理1270及びユーザデータストア1290を含む。具体的には、事象は、1時間などの短期時間間隔においてリアルタイム行動ターゲティング処理1270において蓄積される。リアルタイム行動ターゲティング処理1270は、短期ユーザ関心スコアを生成する。上述のように、短期ユーザ関心スコアを用いて、種々のユーザ及びマーケティング目標に対する広告を選択することができる。別の実施形態では、ユーザデータストアは、長期と短期のユーザ関心スコアの両方を含む。この実施形態では、行動ターゲティングシステム1200は、以下に説明されるように合成長期及び短期ユーザ関心スコアを生成する。
ユーザスコアの出力メトリクスへのマッピング
幾つかのアプリケーションでは、或る範囲のユーザプロファイルスコアは、カテゴリー全体にわたる相対スコア(すなわち、種々のカテゴリーにおける他のユーザプロファイルスコアと相対的なもの)に変換される。1つの実施形態では、ユーザプロファイルスコアは、各カテゴリーにおいてランク付けされたパーセンテージである。例えば、金融カテゴリーでの「0.2」のユーザプロファイルスコアは、全ユーザに対してトップ1%以内のユーザプロファイルスコアをもたらすことができ、スポーツカテゴリーでの「0.6」のユーザプロファイルスコアは、全ユーザに対してトップ10%以内のユーザプロファイルスコアをもたらす。この実施例では、スポーツにおける「0.6」のユーザプロファイルスコアは、相対ユーザプロファイルスコア10に変換され、金融における「0.2」のユーザプロファイルスコアは、相対ユーザプロファイルスコア1に変換される。この技術を使用すると、相対ユーザプロファイルスコアは、種々のユーザの他の関心に対して「スポーツ」及び「金融」におけるユーザの関心の比較を可能にする。別の実施形態では、カテゴリーは、クリックスルー率などの出力メトリクスを使用して全てのカテゴリーにわたってユーザのスコアをランク付けすることにより、ユーザに関するROIを最大にするように選択される。
別の実施形態では、ユーザプロファイルを複数の層にセグメント化することができる。例えば、マーケティング担当者は、指定されたカテゴリーでのユーザのトップ10%のみを使用してプログラムを起動することを望むことができる。次に、ユーザの次の10%は、別の目的のためにランク付けすることができる。ユーザのランキングは、何らかの目的に対するユーザデータの何らかのカテゴリー化に基づくことができる。
上述のように、ターゲット目標に対する未加工のスコアが生成される。例えば、ブランディングスコアをブランディングモデル/規則セットによって生成でき、ダイレクトレスポンススコアをダイレクトレスポンスモデル/規則セットによって生成することができる。未加工のスコアは、長期又は短期データを使用して生成することができる。長期データによって生成された未加工のスコアは、長期未加工スコアと呼ばれ、短期データによって生成された未加工スコアは、短期未加工スコアと呼ばれる。例えば、ダイレクトレスポンススコアは、長期データ及び短期データを使用して生成することができる。
未加工のスコアは、ターゲット目標に対するカテゴリーでのユーザの相対的関心尺度を示す。しかしながら、未加工のスコアは、ユーザ動作の傾向を直接測定するものではない。従って、未加工のスコアは、ターゲットを最適化する目的で、本明細書でマップスコアと呼ばれるより有用なスコアに変換又はマップされる。幾つかの実施形態では、マップスコアは、特定の動作に対するユーザの傾向を反映した行動指向スコアである。マップスコアは、関心のあるカテゴリーに対するユーザの動作に関する予測情報を提供するときの、ターゲット最適化目的に有用である。
マップスコアの幾つかの実施例は、パーセンテージで表されるクリック傾向、割合で表されるクリックスルー率及びコンバージョン傾向である。他の実施形態では、他のマップスコアも生成することができる。一般に、カテゴリーに対するユーザのクリックスルー率(CTR)は、カテゴリーに関連したコンテンツ(例えば、広告、リンク、その他)をユーザが選択(「クリック」)する可能性を反映する。一般に、カテゴリーにおけるユーザに対するコンバージョン率は、ユーザがカテゴリーに関連した製品又はサービスを買う/購入する確率を反映する。幾つかの実施形態では、未加工のスコアの特定のタイプに対して、長期及び短期未加工のスコアが、長期及び短期マップスコアに変換される。例えば、長期ダイレクトレスポンススコア(LTDR)を長期CTRスコア(LTCTR)に変換でき、短期ダイレクトレスポンススコア(STDR)を短期CTRスコア(STCTR)に変換できる。
同じユーザ及びカテゴリーに対して、未加工のスコアは通常、マップスコアとの線形関係がない。例えば、複数のユーザから集約された統計的行動データに基づいて、ユーザのダイレクトレスポンススコアは、同じカテゴリーにおけるそのCTRスコアとの線形関係がない。図13は、複数のユーザから集約された統計的データに基づいてダイレクトレスポンススコアの関数としてCTRスコアを示すグラフを表している。図13に示されるように、y軸上に示されるCTRスコアは、x軸上に示されるダイレクトレスポンススコアが増えるにつれて非線形的に増大する。ダイレクトレスポンス及びCTRスコアは、Smin及びCminの低い境界でそれぞれ境界付けられ、ここで、Sminは、その対応するCTRスコアとしてCminを有する非アクティブユーザのダイレクトレスポンススコアを示す。
幾つかの実施形態では、未加工のスコアは、非線形多項マッピング式を使用してマップスコアに変換される。マッピング式は、マップスコアを未加工のスコアと相関付ける複数のユーザから集約された統計的行動データを使用して求めることができる。幾つかの実施形態では、このマッピング式は、以下で表される。
RawScoreToMappedScore(Ss)=cmin+k1(ss−smin)+k2(ss−smin2=cs
上式で、
s=未加工のスコア値;
min=カテゴリーにおいて過去にどのようなアクティビティ(ページビュー、検索、クリック、その他)も示さなかったユーザのスコア;
min=sminに対応するクリックスルー率スコア。過去に行動関心を示していないユーザであってもクリック傾向は非ゼロであり得るので、cmin>0である点に留意されたい;
1及びk2=定数;
s=マップスコア値。
幾つかの実施形態では、マッピング式で使用された定数の値(smin、cmin、k1及びk2)は、マップされる未加工のスコアのタイプに応じて変わる。これらの実施形態では、未加工のスコアを生成するのに使用される特定のモデル/規則セットが、後でマッピング式に使用されるこれらの定数値を計算及び記憶する。例えば、ブランディング(branding)スコアをマップスコアに変換するのに使用される定数値は、ダイレクトレスポンススコアをマップスコアに変換するのに使用される定数値とは異なる可能性がある。ブランディングスコアに対する定数値は、ブランディングモデル/規則セットにおいて計算及び記憶することができ、ダイレクトレスポンススコアに対する定数値は、ブランディングモデル/規則セットにおいて計算及び記憶することができる。幾つかの実施形態では、マッピング式で使用された定数の値(例えば、smin、cmin、k1及びk2)は、マップスコアのタイプに応じて変わる。例えば、CTRを生成するのに使用される定数値は、コンバージョンレートスコアを生成するために使用された定数値とは異なることができる。
上述のように、あるタイプの未加工のスコア(例えば、ダイレクトレスポンススコア)において、長期及び短期未加工のスコア(例えば、LTDR及びSTDR)が存在することができる。この実施形態では、長期未加工のスコア(例えばLTDR)を長期マップスコア(例えばLTCTR)に変換でき、短期未加工のスコア(例えばSTDR)を短期マップスコア(例えばSTCTR)に変換できる。これらの長期及び短期マップスコアは、単一の組み合わせマップスコアに組み合わされる。幾つかの実施形態では、組み合わせマップスコアは、複数のユーザから集約された統計的行動データを使用して決定された組み合わせ式を使用して計算される。幾つかの実施形態では、組み合わせ式は、次式で表される。
組み合わせマップスコア(cst,clt)=(cst*csl)/(EMS)=cc
上式で、
st=短期マップスコア値;
sl=長期マップスコア値;
EMS=複数のユーザにわたる期待されるマップスコア;
c=組み合わせマップスコア値。
EMS値は、複数のユーザから集約された統計的行動データを使用して決定することができる。幾つかの実施形態では、EMS値は、特定のカテゴリー内では一定であるが、異なるカテゴリー間では変わる。一実施例として、長期及び短期マップスコアが長期及び短期CTRスコアである場合、組み合わせ式は次式で表される。
組み合わせCTRスコア(cst,clt)=(cst*csl)/(ECTR)=cc
上式で、
st=短期CTR傾向;
sl=長期CTR傾向;
ECTR=複数のユーザ間の期待されるCTR;
c=組み合わせCTR傾向。
従って、長期及び短期マップスコアが生成されると、組み合わせ式を用いて、長期及び短期マップスコアを反映する単一の組み合わせマップスコアを提供することができる。単一の組み合わせマップは、後でターゲット最適化処理に使用することができる。
長期と短期スコアを組み合わせるプロセスは増分的なものである。この技術により、長期スコアに関連付けられた事象情報を再処理することなく、長期と短期スコアの組み合わせを可能にする。大量の事象情報を処理するのに相当な時間量が必要となる可能性があるので、これは、処理及び時間の両方でかなりの節約をもたらすことになる。従って、長期ユーザプロファイルスコアを短期ユーザプロファイルスコアと組み合わせることによって、長期ユーザプロファイルスコアを生成するためにコンパイルされた事象情報は後で使用することができる。例えば、事象情報は、時間time0での長期ユーザプロファイルスコアとして計算することができる。一日後、すなわちtime0プラス1日で、昨日について短期ユーザプロファイルスコアを計算することができる。time0の後の2日、すなわちtime0プラス2日で、第2短期スコアをリアルタイムで計算することができる。この実施例では、行動ターゲティングシステムは、事象情報を再処理することなく、time0プラス2日における新しい短期スコアと組み合わせるために新しい長期スコアを再計算することができる。
上述のように、1つの実施形態では、強度次元は減衰関数を含む。一般に、強度パラメータは、経過した時間量に基づいて事象情報重み付けを減衰させる。増分長期及び短期スコア組み合わせプロセスの1つの実施形態では、新しい長期スコアは、長期スコアの計算と新しい長期スコアを生成するための現在時間との間で経過した時間の量だけ減衰関数を増大させることによって生成される。近時性次元もまた、増分的に更新することができる。1つの実施形態では、近時性パラメータは、近時性パラメータが時間単位当たりに一定の量だけ増大する(例えば、近時性パラメータは、1日毎に1ポイント増分される)ような時間に関して線形関数である。従って、長期スコアに関連した新しい近時性パラメータは、新しい時間(すなわち、長期スコアの計算と現在時間との間)に一致させるために近時性パラメータを増大することによって生成することができる。
長期及び短期スコアの組み合わせは、より正確な行動ターゲティングシステムを提供する。長期スコアは、包括的な行動データを捉える。しかしながら、長期スコアは、現在の行動関心に関して比較的長いラグタイム(例えば1日)を有する。短期データは、行動データをリアルタイムで捉え、従って、ユーザの現在の行動関心を捉える。しかしながら、長期スコアとは異なり、短期スコアは、ユーザの行動のプロファイル全体を捉えない。従って、長期と短期スコアを組み合わせることによって、ユーザ行動プロファイルは、現在の関心並びに過去の関心の両方を取り込み、ユーザの関心の包括的ビュー(view)を提供する。
行動ターゲティングシステムのためのネットワーク環境
図14は、本発明の行動ターゲティングシステムのオペレーションのためのネットワーク環境1400の1つの実施形態を示す。ネットワーク環境1400は、ネットワーク1430(インターネット、イントラネット、エクストラネット、仮想プライベートネットワーク、非TCP/IPベースネットワーク、何らかのLAN又はWAN、又は同様のものなど)及びサーバシステム14401から1440Nに結合されたクライアントシステム1420を含む。サーバシステムは、単一のサーバコンピュータ又は幾つかのサーバコンピュータを含むことができる。クライアントシステム1420は、例えばベースコンテンツ及び付加的なコンテンツ(例えばウェブページの形式)を要求し受け取るために、サーバシステム14401から1440Nのいずれかと通信するよう構成されている。
クライアントシステム1420は、デスクトップパーソナルコンピュータ、ワークステーション、ラップトップ、PDA、携帯電話、いずれかの無線アプリケーションプロトコル(WAP)対応のデバイス、又はネットワークに直接或いは間接的に通信できる他の何らかのデバイスを含むことができる。クライアントシステム1420は通常、ウェブブラウジングプログラムを実行し、該プログラムは、クライアントシステム1420のユーザがネットワーク1430を通じてサーバシステム14401−1440Nからコンテンツを要求し受け取ることができるようにする。クライアントシステム1420は通常、ディスプレイ(例えば、モニタースクリーン、LCDディスプレイ、その他)上のウェブブラウザのグラフィカルユーザインターフェース(GUI)と対話するための1つ又はそれ以上のユーザインターフェースデバイス22(キーボード、マウス、ローラーボール、タッチスクリーン、ペン、又は同様のものなど)を含む。
幾つかの実施形態では、クライアントシステム1420及び/又はシステムサーバ14401−1440Nは、本明細書に説明される方法を実行するように構成されている。幾つかの実施形態の方法は、ユーザに表示される付加的なコンテンツの選択を最適化するよう構成されたソフトウェア又はハードウェアで実施することができる。
図15は、行動ターゲティングシステム1500の概念図を示す。行動ターゲティングシステム1500は、クライアントシステム1505、ベースコンテンツサーバ1510(ベースコンテンツを包含する)、付加的なコンテンツサーバ1515(付加的なコンテンツを包含する)、ユーザプロファイルのデータベース1520、及び行動ターゲティングサーバ1535を含む。行動ターゲティングサーバ1535は、事象情報を受け取るオプティマイザモジュール1537を含む。行動ターゲティングシステム1500は、ユーザのプロファイルに基づいてユーザに送られる付加的なコンテンツを選択するよう構成されている。クライアントシステム1505は、ベース及び付加的なコンテンツを受け取り、ベース及び付加的なコンテンツをユーザに(例えば公開ウェブページとして)表示するよう構成されている。最適化システムの種々の部分は、1つ又はそれ以上のサーバ(サーバ14401−1440Nなど)及び/又は1つ又はそれ以上のクライアントシステム(クライアントシステム1420など)に在ることができる。
ユーザプロファイルデータベース1520は、複数のユーザ/クライアントシステムのためのユーザプロファイルを記憶し、各ユーザプロファイルは、ユーザによって使用された特定のクライアントシステム1505に対して割り当てられた固有のユーザ識別番号を有する。ユーザ識別番号は、例えばユーザによって使用されるクライアントシステム1505のクッキーに記憶することができる。ユーザがベースコンテンツサーバ1510からベースコンテンツの1つの要素を要求すると、クッキーがクライアントシステム1505からベースコンテンツサーバ1510に、次いで、行動ターゲティングサーバ1535に転送される。次に、行動ターゲティングサーバ1535は、ユーザプロファイルデータベース1520から特定のユーザプロファイルを検索するためにクッキーにあるユーザ識別番号を使用する。
行動ターゲティングシステムは、ハードウェア又はソフトウェアのいずれかに実装することができる。ソフトウェア実装では、行動ターゲティングシステムは、汎用コンピュータシステム上での実装のための複数のコンピュータ実行可能命令を含むソフトウェアである。汎用コンピュータシステムにロードする前に、行動ターゲティングシステムソフトウェアは、磁気フロッピー(登録商標)ディスク、磁気テープ、及びコンパクトディスク読出し専用メモリ(CD−ROM)などのコンピュータ可読媒体上に符号化情報として在ることができる。
本発明を特定の例示的な実施形態に関して説明してきたが、種々の修正及び変更が、本発明の精神及び範囲から逸脱することなく当業者によって行い得ることは理解されるであろう。
一般化された行動ターゲティングシステムを示すブロック図である。 マーケティング目標を識別するマーケティングファンネルを示す図である。 一般化された行動ターゲティングシステムの1つの実施形態を示すブロック図である。 本発明の行動ターゲティングシステムの1つの実施形態を示すブロック図である。 本発明の一般化された行動ターゲティングシステムの1つの実施形態を示すフロー図である。 行動ターゲティングシステムのための事象カテゴリー化の1つの実施形態を示すブロック図である。 本発明の1つの実施形態によるネットワークにおける事象の自動カテゴリー化を容易にするための方法を示すフローチャートである。 行動ターゲティングシステムを使用して広告を提供するための1つの実施形態を示すブロック図である。 行動ターゲティングシステムにおける次元処理のための1つの実施形態を示すブロック図である。 長期ダイレクトレスポンスユーザ関心スコアを生成するための1つの実施形態を示すフロー図である。 短期ダイレクトレスポンスユーザ関心スコアを生成するための1つの実施形態を示すフロー図である。 長期及び短期ユーザ関心スコアを生成する行動ターゲティングシステムの1つの実施形態を示すブロック図である。 複数のユーザから集約された統計的データに基づいてダイレクトレスポンススコアの関数としてCTRスコアを示すグラフである。 本発明の行動ターゲティングシステムのオペレーションのためのネットワーク環境の1つの実施形態を示す図である。 行動ターゲティングシステムを示す概念図である。

Claims (9)

  1. オンラインアクティビティからユーザプロファイルをコンピュータにより決定する方法であって、前記コンピュータが、
    複数のイベントからの複数のタイプをもつユーザイベント情報を含むユーザデータセットを処理する段階であって、前記ユーザデータセットのユーザとエンティティとの間における過去のオンラインアクティビティから編集されている前記ユーザデータセットを処理する当該段階と、
    前記ユーザイベント情報のパフォーマンスのレベルを確認して、それぞれが主題を特定する複数のカテゴリーの各々におけるユーザ関心を予測するために前記ユーザデータセットを解析する段階と、
    複数のカテゴリーに関する複数のモデルを生成する段階であって、複数のカテゴリーの各々について一つのモデルであり、各モデルは、対応するカテゴリーに対するユーザ関心を予測するユーザプロファイルスコアを決定するため複数の重み値を含む当該段階と、
    対応するカテゴリ内のユーザ関心を予測するため、ユーザイベント情報のタイプのパフォーマンスに従い当該ユーザイベント情報の複数のタイプに対する予測値を生じさせることによって前記モデルの重み値を生成する段階と、
    前記カテゴリーに関する前記エンティティでのモデルを記憶する段階と、
    少なくとも1つのユーザイベント情報を受信する段階と、
    前記受信されたユーザイベント情報を前記カテゴリーの一つに分類する段階と、
    前記受信されたユーザイベント情報のタイプを識別する段階と、
    カテゴリーに対するユーザプロファイルスコアを生成するために、前記カテゴリーに基づいてモデルを選択する段階と、
    前記受信されたユーザイベント情報のタイプと、前記受信されたユーザイベント情報に基づいて選択されたモデルからのカテゴリーとに基づき、少なくとも1つの重み値を適用することによって、前記カテゴリーに対する少なくとも1つのユーザプロファイルスコアを生成する段階であって、前記ユーザプロファイルスコアはユーザが前記カテゴリーの主題に関心があることを示している当該段階と、
    実行する方法。
  2. 前記コンピュータが、
    新しいパラメータ及び規則を含む少なくとも1つの新しいモデルを追加して拡張性を提供するようにする段階と、
    前記エンティティにおいてユーザイベント情報を受け取る段階と、
    ユーザプロファイルスコアを生成するために前記新しいモデルを選択する段階と、
    選択された前記新しいモデルからの前記新しいパラメータ及び規則を前記ユーザイベント情報に適用することによって、カテゴリーにおいて少なくとも1つのユーザプロファイルスコアを生成する段階と、
    を更に実行する、請求項1に記載の方法。
  3. 前記ユーザプロファイルスコアに基づいて前記ユーザに広告を提供する段階を更に含む、請求項1に記載の方法。
  4. 前記重み値は、ユーザイベント情報がどのくらい最近に発生したかに基づいて前記ユーザプロファイルスコアに対する入力を提供する近時性次元重み値を含む、請求項1に記載の方法。
  5. 前記重み値は、前記カテゴリーにおけるユーザの関心を予測するためにユーザイベント情報の有効性に基づいて前記ユーザプロファイルスコアに対する入力を提供する強度次元重み値を含む、請求項1に記載の方法。
  6. 前記重み値は、ユーザイベント情報の発生頻度に基づいて前記ユーザプロファイルスコアに対する入力を提供する頻度次元重み値を含む、請求項1に記載の方法。
  7. ユーザプロファイルスコアを生成するためにモデルを前記コンピュータによって選択する前記段階が、ターゲティング目標に基づいてモデルを選択する段階を含み、
    少なくとも1つのユーザプロファイルスコアを前記コンピュータによって生成する前記段階が、前記ターゲティング目標に対するユーザプロファイルスコアを生成する段階を含む、請求項1に記載の方法。
  8. 前記ターゲティング目標がブランド広告を含む、請求項7に記載の方法。
  9. 前記ターゲティング目標がダイレクトレスポンス広告を含む、請求項7に記載の方法。
JP2009502979A 2006-03-29 2007-03-29 行動ターゲティングシステム Active JP5450051B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/394,343 US8504575B2 (en) 2006-03-29 2006-03-29 Behavioral targeting system
US11/394,343 2006-03-29
PCT/US2007/007701 WO2007126903A1 (en) 2006-03-29 2007-03-29 A behavioral targeting system

Publications (3)

Publication Number Publication Date
JP2009531782A JP2009531782A (ja) 2009-09-03
JP2009531782A5 JP2009531782A5 (ja) 2010-05-13
JP5450051B2 true JP5450051B2 (ja) 2014-03-26

Family

ID=38655834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009502979A Active JP5450051B2 (ja) 2006-03-29 2007-03-29 行動ターゲティングシステム

Country Status (6)

Country Link
US (3) US8504575B2 (ja)
EP (1) EP2008230A4 (ja)
JP (1) JP5450051B2 (ja)
KR (1) KR101104539B1 (ja)
CN (1) CN101410864B (ja)
WO (1) WO2007126903A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750239B2 (en) 2016-08-26 2020-08-18 Samsung Electronics Co., Ltd. Server apparatus and method for controlling same

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868448B2 (en) 2000-10-26 2014-10-21 Liveperson, Inc. Systems and methods to facilitate selling of products and services
US9819561B2 (en) 2000-10-26 2017-11-14 Liveperson, Inc. System and methods for facilitating object assignments
US8738732B2 (en) 2005-09-14 2014-05-27 Liveperson, Inc. System and method for performing follow up based on user interactions
US9432468B2 (en) 2005-09-14 2016-08-30 Liveperson, Inc. System and method for design and dynamic generation of a web page
US20080059299A1 (en) * 2006-09-01 2008-03-06 Admob,Inc. Delivering ads to mobile devices
US20080077574A1 (en) 2006-09-22 2008-03-27 John Nicholas Gross Topic Based Recommender System & Methods
US8751418B1 (en) 2011-10-17 2014-06-10 Quantcast Corporation Using proxy behaviors for audience selection
US20080103953A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Tool for optimizing advertising across disparate advertising networks
US8788343B2 (en) * 2006-10-25 2014-07-22 Microsoft Corporation Price determination and inventory allocation based on spot and futures markets in future site channels for online advertising
US8533049B2 (en) 2006-10-25 2013-09-10 Microsoft Corporation Value add broker for federated advertising exchange
US20080103952A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Specifying and normalizing utility functions of participants in an advertising exchange
US20080103898A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Specifying and normalizing utility functions of participants in an advertising exchange
US8589233B2 (en) 2006-10-25 2013-11-19 Microsoft Corporation Arbitrage broker for online advertising exchange
US8661029B1 (en) 2006-11-02 2014-02-25 Google Inc. Modifying search result ranking based on implicit user feedback
US20080195458A1 (en) * 2006-12-15 2008-08-14 Thomas Anschutz Dynamic Selection and Incorporation of Advertisements
US9092510B1 (en) 2007-04-30 2015-07-28 Google Inc. Modifying search result ranking based on a temporal element of user feedback
US20090063266A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Performing of marketing actions while preserving confidentiality
US8909655B1 (en) 2007-10-11 2014-12-09 Google Inc. Time based ranking
US8150791B2 (en) 2007-10-19 2012-04-03 Hartwell Brown Benefits services privacy architecture
US20090132366A1 (en) * 2007-11-15 2009-05-21 Microsoft Corporation Recognizing and crediting offline realization of online behavior
US8751492B1 (en) * 2008-01-17 2014-06-10 Amdocs Software Systems Limited System, method, and computer program product for selecting an event category based on a category score for use in providing content
US8260846B2 (en) 2008-07-25 2012-09-04 Liveperson, Inc. Method and system for providing targeted content to a surfer
US8762313B2 (en) 2008-07-25 2014-06-24 Liveperson, Inc. Method and system for creating a predictive model for targeting web-page to a surfer
US8805844B2 (en) 2008-08-04 2014-08-12 Liveperson, Inc. Expert search
US20100042466A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Resellers
US20100042507A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Sellers
US20100042497A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Data Exchange
US20100042500A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Sellers
US20100042930A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and End Users
US20100042465A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Custom Segments
US20100042419A1 (en) * 2008-08-14 2010-02-18 Adam Pritchard Audience Manager and Data Providers
US8060406B2 (en) * 2008-09-26 2011-11-15 Microsoft Corporation Predictive geo-temporal advertisement targeting
US9892417B2 (en) 2008-10-29 2018-02-13 Liveperson, Inc. System and method for applying tracing tools for network locations
US8396865B1 (en) 2008-12-10 2013-03-12 Google Inc. Sharing search engine relevance data between corpora
US8352319B2 (en) * 2009-03-10 2013-01-08 Google Inc. Generating user profiles
US8458168B2 (en) 2009-03-27 2013-06-04 Microsoft Corporation Anticipating interests of an online user
US9009146B1 (en) 2009-04-08 2015-04-14 Google Inc. Ranking search results based on similar queries
US8448057B1 (en) 2009-07-07 2013-05-21 Quantcast Corporation Audience segment selection
WO2011009101A1 (en) 2009-07-16 2011-01-20 Bluefin Lab, Inc. Estimating and displaying social interest in time-based media
US8447760B1 (en) 2009-07-20 2013-05-21 Google Inc. Generating a related set of documents for an initial set of documents
US8498974B1 (en) 2009-08-31 2013-07-30 Google Inc. Refining search results
US8972391B1 (en) 2009-10-02 2015-03-03 Google Inc. Recent interest based relevance scoring
US8874555B1 (en) 2009-11-20 2014-10-28 Google Inc. Modifying scoring data based on historical changes
US20110208585A1 (en) * 2010-02-19 2011-08-25 Peter Daboll Systems and Methods for Measurement of Engagement
US8924379B1 (en) 2010-03-05 2014-12-30 Google Inc. Temporal-based score adjustments
US8959093B1 (en) 2010-03-15 2015-02-17 Google Inc. Ranking search results based on anchors
EP2556449A1 (en) 2010-04-07 2013-02-13 Liveperson Inc. System and method for dynamically enabling customized web content and applications
US20110258039A1 (en) * 2010-04-14 2011-10-20 Microsoft Corporation Evaluating preferences of users engaging with advertisements
US10467655B1 (en) 2010-04-15 2019-11-05 Quantcast Corporation Protected audience selection
US9990641B2 (en) 2010-04-23 2018-06-05 Excalibur Ip, Llc Finding predictive cross-category search queries for behavioral targeting
US9623119B1 (en) 2010-06-29 2017-04-18 Google Inc. Accentuating search results
US8832083B1 (en) 2010-07-23 2014-09-09 Google Inc. Combining user feedback
US9171311B2 (en) 2010-08-31 2015-10-27 Microsoft Technology Licensing, Llc Maintaining targetable user inventory for digital advertising
US8918465B2 (en) 2010-12-14 2014-12-23 Liveperson, Inc. Authentication of service requests initiated from a social networking site
US9350598B2 (en) 2010-12-14 2016-05-24 Liveperson, Inc. Authentication of service requests using a communications initiation feature
JP5094956B2 (ja) * 2010-12-28 2012-12-12 ヤフー株式会社 広告配信サーバ及び広告配信方法
US9002867B1 (en) 2010-12-30 2015-04-07 Google Inc. Modifying ranking data based on document changes
US10440402B2 (en) 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
US8543454B2 (en) 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
WO2012117420A1 (en) * 2011-02-28 2012-09-07 Flytxt Technology Pvt. Ltd. System and method for user classification and statistics in telecommunication network
JP5496947B2 (ja) * 2011-05-27 2014-05-21 株式会社Nttドコモ 機能提示システム、端末装置及びプログラム
US8510285B1 (en) 2011-08-18 2013-08-13 Google Inc. Using pre-search triggers
US9123055B2 (en) * 2011-08-18 2015-09-01 Sdl Enterprise Technologies Inc. Generating and displaying customer commitment framework data
CN102339448B (zh) * 2011-09-30 2016-03-23 北京奇虎科技有限公司 团购平台信息处理方法及装置
US8943002B2 (en) 2012-02-10 2015-01-27 Liveperson, Inc. Analytics driven engagement
US8805941B2 (en) 2012-03-06 2014-08-12 Liveperson, Inc. Occasionally-connected computing interface
US8880697B1 (en) * 2012-04-09 2014-11-04 Google Inc. Using rules to determine user lists
US9563336B2 (en) 2012-04-26 2017-02-07 Liveperson, Inc. Dynamic user interface customization
US9672196B2 (en) 2012-05-15 2017-06-06 Liveperson, Inc. Methods and systems for presenting specialized content using campaign metrics
US20140006162A1 (en) * 2012-06-30 2014-01-02 Empire Technology Development, Llc Profile construction based on asserted interest and actual participation in associated activities
FR2994358B1 (fr) * 2012-08-01 2015-06-19 Netwave Systeme de traitement de donnees de connexion a une plateforme d'un site internet
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9219668B2 (en) * 2012-10-19 2015-12-22 Facebook, Inc. Predicting the future state of a mobile device user
JP2014115685A (ja) * 2012-12-06 2014-06-26 Nippon Telegr & Teleph Corp <Ntt> プロファイル解析装置及び方法及びプログラム
US10089639B2 (en) 2013-01-23 2018-10-02 [24]7.ai, Inc. Method and apparatus for building a user profile, for personalization using interaction data, and for generating, identifying, and capturing user data across interactions using unique user identification
KR102086041B1 (ko) * 2013-01-24 2020-03-06 에스케이플래닛 주식회사 다중 기간별 사용자 선호도를 이용한 디지털 컨텐츠 추천 방법 및 그 장치
US20140280576A1 (en) * 2013-03-14 2014-09-18 Google Inc. Determining activities relevant to groups of individuals
US20140278976A1 (en) * 2013-03-15 2014-09-18 Comverse Ltd. Matching social media user to marketing campaign
US9706008B2 (en) * 2013-03-15 2017-07-11 Excalibur Ip, Llc Method and system for efficient matching of user profiles with audience segments
US9171000B2 (en) * 2013-03-15 2015-10-27 Yahoo! Inc. Method and system for mapping short term ranking optimization objective to long term engagement
US20140379310A1 (en) * 2013-06-25 2014-12-25 Citigroup Technology, Inc. Methods and Systems for Evaluating Predictive Models
US20150088644A1 (en) 2013-09-23 2015-03-26 Facebook, Inc., a Delaware corporation Predicting User Interactions With Objects Associated With Advertisements On An Online System
US9582836B2 (en) * 2013-10-03 2017-02-28 Linkedin Corporation Identification of a broker-type leader in a social network
US9547877B2 (en) * 2013-10-03 2017-01-17 Linkedin Corporation Identification of a trigger-type leader in a social network
US9576326B2 (en) * 2013-10-03 2017-02-21 Linkedin Corporation Identification of a propagator-type leader in a social network
US20150100423A1 (en) * 2013-10-09 2015-04-09 Google Inc. Delivering and pricing sponsored content items
JP5832502B2 (ja) * 2013-10-15 2015-12-16 Necパーソナルコンピュータ株式会社 情報処理装置、方法及びプログラム
US9449052B1 (en) 2014-01-21 2016-09-20 Google Inc. Trend based distribution parameter suggestion
US20150213026A1 (en) * 2014-01-30 2015-07-30 Sitecore Corporation A/S Method for providing personalized content
US9727818B1 (en) 2014-02-23 2017-08-08 Google Inc. Impression effect modeling for content items
US11386442B2 (en) 2014-03-31 2022-07-12 Liveperson, Inc. Online behavioral predictor
WO2015183322A1 (en) * 2014-05-30 2015-12-03 Hewlett-Packard Development Company, L.P. Evaluating user experience
US20170039200A1 (en) * 2014-06-04 2017-02-09 Hewlett Packard Enterprise Development Lp Evaluating user experience
US10198765B2 (en) * 2014-07-22 2019-02-05 Google Llc Multiple interaction auction
US10163116B2 (en) * 2014-08-01 2018-12-25 Adobe Systems Incorporated Determining brand exclusiveness of users
JP6320258B2 (ja) * 2014-09-18 2018-05-09 ヤフー株式会社 抽出装置、抽出方法及び抽出プログラム
US20160171561A1 (en) * 2014-12-10 2016-06-16 Facebook, Inc. Accounting for features of previously-presented content items when selecting content items for an online system user
US11093950B2 (en) * 2015-02-02 2021-08-17 Opower, Inc. Customer activity score
JP6762963B2 (ja) 2015-06-02 2020-09-30 ライブパーソン, インコーポレイテッド 一貫性重み付けおよびルーティング規則に基づく動的通信ルーティング
US11069001B1 (en) 2016-01-15 2021-07-20 Intuit Inc. Method and system for providing personalized user experiences in compliance with service provider business rules
US11030631B1 (en) 2016-01-29 2021-06-08 Intuit Inc. Method and system for generating user experience analytics models by unbiasing data samples to improve personalization of user experiences in a tax return preparation system
WO2017173422A1 (en) * 2016-04-01 2017-10-05 Vu Hung D Automated direct response advertising system
US10621597B2 (en) * 2016-04-15 2020-04-14 Intuit Inc. Method and system for updating analytics models that are used to dynamically and adaptively provide personalized user experiences in a software system
US10621677B2 (en) 2016-04-25 2020-04-14 Intuit Inc. Method and system for applying dynamic and adaptive testing techniques to a software system to improve selection of predictive models for personalizing user experiences in the software system
US10606847B2 (en) 2016-05-31 2020-03-31 Microsoft Technology Licensing, Llc Generation of training data for ideal candidate search ranking model
US10984385B2 (en) 2016-05-31 2021-04-20 Microsoft Technology Licensing, Llc Query building for search by ideal candidates
US20170344556A1 (en) * 2016-05-31 2017-11-30 Linkedin Corporation Dynamic alteration of weights of ideal candidate search ranking model
US10373075B2 (en) 2016-06-21 2019-08-06 Microsoft Technology Licensing, Llc Smart suggestions for query refinements
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US11477302B2 (en) * 2016-07-06 2022-10-18 Palo Alto Research Center Incorporated Computer-implemented system and method for distributed activity detection
US11093834B2 (en) 2016-07-06 2021-08-17 Palo Alto Research Center Incorporated Computer-implemented system and method for predicting activity outcome based on user attention
US10885478B2 (en) 2016-07-06 2021-01-05 Palo Alto Research Center Incorporated Computer-implemented system and method for providing contextually relevant task recommendations to qualified users
US10475090B2 (en) 2016-07-11 2019-11-12 Micro Focus Llc Calculating user experience scores
CN109643347A (zh) * 2016-08-11 2019-04-16 推特公司 检测与社交媒体平台的脚本化或其他异常交互
CN116528220A (zh) 2016-08-14 2023-08-01 利维帕尔森有限公司 用于移动应用程序的实时远程控制的方法和系统
US11468476B1 (en) 2016-09-28 2022-10-11 Allstate Insurance Company Modulation of advertisement display based on vehicle operation data
US10069886B1 (en) 2016-09-28 2018-09-04 Allstate Insurance Company Systems and methods for modulating advertisement frequencies in streaming signals based on vehicle operation data
US11004011B2 (en) * 2017-02-03 2021-05-11 Adobe Inc. Conservative learning algorithm for safe personalized recommendation
US10943309B1 (en) 2017-03-10 2021-03-09 Intuit Inc. System and method for providing a predicted tax refund range based on probabilistic calculation
US10545996B2 (en) * 2017-04-19 2020-01-28 Microsoft Technology Licensing, Llc Impression tagging system for locations
KR101990862B1 (ko) * 2017-07-14 2019-06-20 안성민 기저속성 분석을 이용한 빅데이터 기반의 유저 취향 정보 처리 방법
US10977670B2 (en) 2018-01-23 2021-04-13 Mass Minority Inc. Method and system for determining and monitoring brand performance based on paid expenditures
JP2018088282A (ja) * 2018-02-23 2018-06-07 ヤフー株式会社 抽出装置、抽出方法及び抽出プログラム
US11379488B2 (en) * 2018-11-07 2022-07-05 Sap Se Energy-efficient decay algorithm for non-volatile memories
US11019379B2 (en) * 2018-12-10 2021-05-25 Verizon Media Inc. Stage-based content item selection and transmission
CN110912794B (zh) * 2019-11-15 2021-07-16 国网安徽省电力有限公司安庆供电公司 基于令牌集的近似匹配策略
US20220101351A1 (en) * 2020-09-30 2022-03-31 Ncr Corporation Crowd Sourced Resource Availability Predictions and Management
JP2023001530A (ja) * 2021-06-21 2023-01-06 株式会社クライド 広告配信方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134532A (en) * 1997-11-14 2000-10-17 Aptex Software, Inc. System and method for optimal adaptive matching of users to most relevant entity and information in real-time
US6430539B1 (en) * 1999-05-06 2002-08-06 Hnc Software Predictive modeling of consumer financial behavior
US6721713B1 (en) 1999-05-27 2004-04-13 Andersen Consulting Llp Business alliance identification in a web architecture framework
AUPQ246899A0 (en) * 1999-08-26 1999-09-16 Memetrics An automated communications management agent
US6453315B1 (en) 1999-09-22 2002-09-17 Applied Semantics, Inc. Meaning-based information organization and retrieval
US6839680B1 (en) * 1999-09-30 2005-01-04 Fujitsu Limited Internet profiling
US7822636B1 (en) * 1999-11-08 2010-10-26 Aol Advertising, Inc. Optimal internet ad placement
JP2001175761A (ja) * 1999-12-21 2001-06-29 Mediaseek Inc 顧客のプロファイル、購買履歴、および情報への関心度に応じた情報・広告、サービス提供方法、および顧客データの管理方法
US6507802B1 (en) * 2000-02-16 2003-01-14 Hrl Laboratories, Llc Mobile user collaborator discovery method and apparatus
AU2000243170A1 (en) * 2000-03-10 2001-09-17 Kiyoshi Hirasawa Information providing device, and information providing method
CA2353027A1 (en) * 2000-07-27 2002-01-27 International Business Machines Corporation System and method for enhancing e-commerce transactions by assessing the users' economic purchase value relative to advertisers
US7249121B1 (en) 2000-10-04 2007-07-24 Google Inc. Identification of semantic units from within a search query
KR20020045343A (ko) 2000-12-08 2002-06-19 오길록 표준화된 문장 구문구조 및 의미구조에 기반한 정보생성/검색 장치 및 그 방법
US20030018659A1 (en) * 2001-03-14 2003-01-23 Lingomotors, Inc. Category-based selections in an information access environment
US7512940B2 (en) 2001-03-29 2009-03-31 Microsoft Corporation Methods and apparatus for downloading and/or distributing information and/or software resources based on expected utility
JP2002329033A (ja) 2001-04-26 2002-11-15 Honda Motor Co Ltd 顧客のニーズを分析するコンピュータ・システム
US6944624B2 (en) 2001-09-05 2005-09-13 International Business Machines Corporation Method and system for creating and implementing personalized training programs and providing training services over an electronic network
WO2003025696A2 (en) 2001-09-19 2003-03-27 Checkm8 Ltd Dynamic web advertisement and content display system
JP2003150844A (ja) * 2001-11-09 2003-05-23 Matsushita Electric Ind Co Ltd 情報提供システム、情報提供方法、及び情報提供サーバ
US20030177054A1 (en) * 2002-03-12 2003-09-18 Russell J. Reinbold Generating marketing information for non-purchased items of a gift registry
US20050021397A1 (en) 2003-07-22 2005-01-27 Cui Yingwei Claire Content-targeted advertising using collected user behavior data
US7346606B2 (en) 2003-06-30 2008-03-18 Google, Inc. Rendering advertisements with documents having one or more topics using user topic interest
US7634423B2 (en) * 2002-03-29 2009-12-15 Sas Institute Inc. Computer-implemented system and method for web activity assessment
US20030220913A1 (en) 2002-05-24 2003-11-27 International Business Machines Corporation Techniques for personalized and adaptive search services
US7373336B2 (en) 2002-06-10 2008-05-13 Koninklijke Philips Electronics N.V. Content augmentation based on personal profiles
US20060026067A1 (en) * 2002-06-14 2006-02-02 Nicholas Frank C Method and system for providing network based target advertising and encapsulation
US7152059B2 (en) 2002-08-30 2006-12-19 Emergency24, Inc. System and method for predicting additional search results of a computerized database search user based on an initial search query
JP2004157827A (ja) * 2002-11-07 2004-06-03 Recruit Co Ltd 広告配信システム及び広告配信方法
US7707059B2 (en) * 2002-11-22 2010-04-27 Accenture Global Services Gmbh Adaptive marketing using insight driven customer interaction
KR100447526B1 (ko) * 2003-03-18 2004-09-08 엔에이치엔(주) 인터넷 사용자의 접속 의도 판단 방법 및 이를 이용한인터넷 상의 광고 방법과 그 시스템
JP2006524009A (ja) * 2003-03-25 2006-10-19 セドナ・パテント・サービシズ・エルエルシー 視聴者分析結果の生成
KR100458460B1 (ko) * 2003-04-22 2004-11-26 엔에이치엔(주) 인터넷 사용자의 접속 의도를 이용한 인터넷 상의 광고유치 및 광고 제공 방법과 그 시스템
US20050033771A1 (en) 2003-04-30 2005-02-10 Schmitter Thomas A. Contextual advertising system
US7730003B2 (en) * 2004-04-16 2010-06-01 Fortelligent, Inc. Predictive model augmentation by variable transformation
WO2007001247A2 (en) 2004-06-02 2007-01-04 Yahoo! Inc. Content-management system for user behavior targeting
WO2006026579A2 (en) * 2004-08-27 2006-03-09 Peng Tao A personal online information management system
US20060080292A1 (en) 2004-10-08 2006-04-13 Alanzi Faisal Saud M Enhanced interface utility for web-based searching
WO2006055983A2 (en) 2004-11-22 2006-05-26 Truveo, Inc. Method and apparatus for a ranking engine
US7272597B2 (en) 2004-12-29 2007-09-18 Aol Llc Domain expert search
WO2006083684A2 (en) 2005-01-28 2006-08-10 Aol Llc Web query classification
US7734632B2 (en) 2005-10-28 2010-06-08 Disney Enterprises, Inc. System and method for targeted ad delivery

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750239B2 (en) 2016-08-26 2020-08-18 Samsung Electronics Co., Ltd. Server apparatus and method for controlling same

Also Published As

Publication number Publication date
US9286569B2 (en) 2016-03-15
US20160180388A1 (en) 2016-06-23
US20070260596A1 (en) 2007-11-08
CN101410864A (zh) 2009-04-15
CN101410864B (zh) 2017-06-09
EP2008230A4 (en) 2011-04-13
EP2008230A1 (en) 2008-12-31
US10007927B2 (en) 2018-06-26
US20130318024A1 (en) 2013-11-28
KR20080114761A (ko) 2008-12-31
WO2007126903A1 (en) 2007-11-08
JP2009531782A (ja) 2009-09-03
KR101104539B1 (ko) 2012-01-11
US8504575B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
JP5450051B2 (ja) 行動ターゲティングシステム
US9817868B2 (en) Behavioral targeting system that generates user profiles for target objectives
US7904448B2 (en) Incremental update of long-term and short-term user profile scores in a behavioral targeting system
US7809740B2 (en) Model for generating user profiles in a behavioral targeting system
US20220114231A1 (en) Using visitor context and web page features to select web pages for display
US20070239517A1 (en) Generating a degree of interest in user profile scores in a behavioral targeting system
US8655695B1 (en) Systems and methods for generating expanded user segments
US9916611B2 (en) System and method for collecting and targeting visitor behavior
US8640032B2 (en) Selection and delivery of invitational content based on prediction of user intent
US9183247B2 (en) Selection and delivery of invitational content based on prediction of user interest
US20120158456A1 (en) Forecasting Ad Traffic Based on Business Metrics in Performance-based Display Advertising
US9990641B2 (en) Finding predictive cross-category search queries for behavioral targeting
US20140278796A1 (en) Identifying Target Audience for a Product or Service
US7814109B2 (en) Automatic categorization of network events
US20080306931A1 (en) Event Weighting Method and System
Gunasundari et al. Improve Accuracy in Advertisement Viewability Prediction using PLC and Logistic Regression
Rajawat et al. New approach to internet advertisement through Personalization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130325

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130625

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5450051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350