TWI793170B - 使用深度神經語言模型於自動出價之系統、裝置與方法 - Google Patents

使用深度神經語言模型於自動出價之系統、裝置與方法 Download PDF

Info

Publication number
TWI793170B
TWI793170B TW107132357A TW107132357A TWI793170B TW I793170 B TWI793170 B TW I793170B TW 107132357 A TW107132357 A TW 107132357A TW 107132357 A TW107132357 A TW 107132357A TW I793170 B TWI793170 B TW I793170B
Authority
TW
Taiwan
Prior art keywords
query
aforementioned
field
cluster
server
Prior art date
Application number
TW107132357A
Other languages
English (en)
Other versions
TW201928724A (zh
Inventor
希亭塔斯 蘇利曼
健 楊
莎莎哈尼 本
Original Assignee
美商雅虎廣告技術有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商雅虎廣告技術有限責任公司 filed Critical 美商雅虎廣告技術有限責任公司
Publication of TW201928724A publication Critical patent/TW201928724A/zh
Application granted granted Critical
Publication of TWI793170B publication Critical patent/TWI793170B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G06Q30/0275—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明揭露一種系統、裝置和方法，其用於預測從不同網頁發佈者接收的查詢觸發之網際網路廣告的潛在有效性，其使用深度學習神經網路語言模型來叢集查詢，並且基於預測之潛在有效性自動調整廣告商對廣告的出價。使用查詢叢集而不是查詢來調整廣告的出價，允許更準確和更一致的出價策略，不論歷史廣告性能數據的稀疏性，廣告商的投資回報率更高並且廣告發佈者之收入更高。

Description

使用深度神經語言模型於自動出價之系統、裝置與方法
在網路系統內，網頁伺服器可託管一網頁，其包括網頁內容的網頁以及連結到搜索引擎以搜索網頁內容的搜索工具，運行網頁瀏覽器應用程式的用戶通訊裝置可直接存取網頁伺服器以在網頁瀏覽器應用程式內呈現網頁，用戶還可通過包括在另一網頁上的連結重新定向到網頁之後存取該網頁。
除了網頁內容和搜索引擎之外，一些網頁被設計為包括專用顯示區域或空間，用於以例如廣告的形式顯示資訊，網際網路廣告為廣告商創造了新的場所、新的環境和新的平台，可向網際網路用戶展示更具針對性和更具成本效益的廣告活動，這些網際網路用戶可能不會在網際網路之外接觸其它形式的廣告。
100:網路系統
110:廣告伺服器
111:處理器
112:記憶體
113:出價處理器
114:廣告選擇器
115:網路介面
116:廣告性能監視器
120:網頁伺服器
121:處理器
122:記憶體
123:搜索引擎
124:網路介面
125:網頁內容儲存庫
130:廣告商伺服器
131:處理器
132:記憶體
133:網路介面
134:廣告內容儲存庫
140:網路
150:用戶裝置
151:處理器
152:記憶體
153:網路介面
160:網頁伺服器
161:處理器
162:記憶體
163:搜索引擎
164:網路介面
165:網頁內容儲存庫
170:深度學習神經網路模型
171:伺服器電腦
172:伺服器電腦
173:伺服器電腦
181:歷史廣告性能資料庫
200:網頁瀏覽器
201:搜索工具
202:第一贊助廣告列表
203:網頁內容結果
204:固定位置廣告
205:第二贊助廣告列表
300:歷史性能記錄
302:記錄
304:記錄
306:記錄
308:記錄
310:記錄
312:記錄
313:記錄
320:性能指標
330:維度資訊
332:搜索查詢
334:裝置屬性
336:發佈者資訊
338:廣告商資訊
400:修改歷史性能記錄
410:查詢叢集資訊
502-516:步驟
600:電腦
602:處理器
604:主記憶體
606:靜態記憶體
610:輸出裝置
612:輸入裝置
614:收發器
616:儲存裝置
620:網路介面裝置
622:電腦可讀取媒體
624:指令
626:網路
第一圖說明範例性廣告網路系統的系統示意圖。
第二圖說明顯示網頁之範例性網頁瀏覽器介面。
第三圖說明網頁廣告之歷史性能記錄的範例。
第四圖說明根據查詢叢集之網際網路廣告的範例性修改歷史性能記錄。
第五圖說明實現對廣告的潛在有效性的預測和提供廣告出價建議的範例性邏輯流程。
第六圖說明第一圖所示之範例性廣告網路系統中包括的一個或多個組件的範例性電腦架構的方塊圖。
在下文中將參照如附圖式更完整說明本發明標的，這些圖式形成部分的、且藉由說明而顯示特定例示具體實施例。然而，本發明標的可具現於各種不同形式，且因此所涵蓋或主張的標的是要被解釋成、而非被限制成本文所提出的任何例示具體實施例；例示具體實施例係僅為說明而提供。同樣地，要涵蓋的是所主張或涵蓋之標的的合理廣泛範圍。除此之外，舉例而言，本發明之標的可具現為方法、裝置、構件或系統。因此，具體實施例可例如具有硬體、軟體、韌體、或其任意組合(除軟體本身以外)。因此，下述詳細說明並不是用於作為限制概念。
在整份說明書與請求項中，用語可具有在上下文中所教示或暗示、超過明確陳述意義的細微差異意義。同樣地，如在本文中所用，用語「在一個具體實施例中」不需要是指相同的具體實施例，而用語「在另一具體實施例中」 並不需要是指不同的具體實施例。舉例而言，希望所主張之標的包括整體或部分之例示具體實施例的組合。
一般而言，至少部分是從上下文中的使用來理解術語。舉例而言，例如本文中所使用之「及」、「或」或「及/或」等用語可至少部分根據使用這些用語的上下文而包括各種意義。一般而言，若使用「或」來關聯一列表，例如A、B或C，則是要表示本文使用之包含性概念A、B和C，以及排他性概念A、B或C。此外，本文中所使用之用語「一或多個」係至少部分根據上下文而用以描述具有單數概念的任意特徵、結構或特性，或用以描述複數概念之特徵、結構、或特性的組合。類似地，例如「一(a或an)」或「該」等用語同樣是要至少部分根據上下文而被理解為傳達單數用法，或傳達複數用法。此外，用語「基於」可被理解為不是必須要傳達一組排他性因子，而是至少部分根據上下文而允許存在未必加以明確描述的其它因子。
預期在此敘述之該等具體實施例的描述係能提供對該等各種具體實施例之結構的一般性瞭解。該等描述並不預期對使用在此敘述之該等結構或方法之裝置或系統之所有元件與特徵提供一完整的敘述。在檢視本發明揭示內容後，許多其它具體實施例對於相關領域技術人員變為明確。多個其它具體實施例係可從本發明揭示內容所運用與推衍，因此在不背離本發明揭示內容之範疇下，可進行結構與邏輯的替換與改變。此外，該等描述僅為代表而不一定以正確比例方式繪製。該等描述之中的某些部分可能被強調，然而其它部分可能被最小化。據此，本發明揭示內容與該等圖式應被視為做為例證而非用於限制。
隨著網際網路和行動電子裝置的日益普及，消費者越來越依賴基於網路的內容來獲取資訊。因此，利用先前不可用的網際網路技術，創建了新的 基於網際網路的廣告網路系統。在基於網際網路的廣告網路系統內，廣告商被理解為生成並以其它方式提供網際網路廣告，該網際網路廣告提供例如待售的商品或服務。例如，網際網路廣告可包含視聽內容，視聽內容包括但不限於文字、靜止圖像、音頻和/或動畫/視頻。廣告商可創建、上傳和管理其廣告內容到廣告內容資料庫，並控制在例如發佈者(或如下所述的資訊發佈者)的網頁上呈現廣告。廣告商可為其商品和服務維護自己的網頁(或者使其網頁被託管)。在發佈者的網頁中顯示的廣告可超鏈結到與廣告相關之廣告商的網頁。
發佈者被理解為除了託管網頁內容外還接收和顯示廣告商的網際網路廣告的網頁。例如，發佈者可在其網頁中顯示網頁內容，同時以網頁上的一個或多個槽區(slot)的形式預留空間，以顯示網路廣告。發佈者還可連結和控制廣告伺服器，基於輸入到發佈者網頁上的搜索引擎的用戶的搜索查詢，該廣告伺服器選擇要顯示在發佈者之網頁的廣告空間上的網際網路廣告。廣告商可同意在發佈者網頁上的發佈的網際網路廣告上每次點擊發生時，支付每點擊付費(cost-per-click，下文簡稱CPC)費率。點擊網際網路廣告可將用戶導引到廣告商的網頁。
發佈者可進一步區分自有及經營的發佈者(下文簡稱OO發佈者)和第三方發佈者。OO發佈者可控制網頁伺服器，該網頁伺服器託管主要網頁內容提供者(例如，Yahoo)和相關聯的網頁伺服器。與OO發佈者相關聯的網頁伺服器可由廣告商專門識別以顯示他們的網際網路廣告。另一方面，第三方發佈者可能與OO發佈者或廣告商沒有直接關聯。相反，第三方發佈者可包括與OO發佈者相關聯的搜索引擎(例如，Yahoo搜索)，並且與OO發佈者簽訂協議以顯示來自OO發佈者可用的相同網際網路廣告資料庫的網際網路廣告，但可能不為OO發 佈者的附屬或控制。即便如此，第三方發佈者網頁可基於輸入到同一搜索引擎中的搜索查詢來選擇與OO發佈者網頁相同的網際網路廣告。然後，OO發佈者可與第三方發佈者分拆CPC收入，以獲得在第三方發佈者的網頁上顯示的網際網路廣告的點擊。
發佈者可更進一步透過在用戶請求時(例如，透過用戶在發佈者的網頁中鍵入搜索查詢)向廣告伺服器或其它方發送電子邀請以允許對其網頁上的廣告空間進行出價。例如，發佈者可控制廣告伺服器管理來自各種廣告商的出價，並從願意支付最高CPC費率的廣告商中選擇廣告，或者可遵循第二價格拍賣模型，因此最高出價廣告商向發佈者支付第二高出價CPC費率以顯示其廣告。
廣告伺服器可相應地託管出價平台。廣告商可預先向廣告伺服器提供關於廣告商願意接受廣告的出價CPC費率的一般準則。下列將更詳細描述，廣告商可進一步一般地或特別地預授權廣告伺服器以基於廣告的潛在有效性來調整用於在發佈者的網頁中顯示廣告的出價。例如，廣告伺服器可基於一組以網際網路為中心的維度資訊來估計廣告的潛在有效性，例如，發佈者的屬性、連結發佈者之用戶裝置的屬性、廣告商的屬性以及用戶裝置經由發佈者之網頁輸入到發佈者的搜索引擎中並且觸發廣告伺服器識別要顯示的廣告之查詢的屬性。廣告伺服器可使用歷史性能記錄來執行這種估計，歷史性能記錄為由各種用戶裝置之各種查詢產生的各種發佈者上的廣告。因此，廣告伺服器可進一步配置為維持這些歷史性能記錄。根據一些實施例，廣告伺服器可以是特定發佈者的網頁伺服器之一部分，並且根據其它實施例，廣告伺服器可以是與網路伺服器通訊的單獨裝置。
廣告的歷史性能可例如通過在用戶點擊之後是否被轉換來決定。特別是，通過點擊廣告商的網際網路廣告，可將用戶引導到促銷廣告商的商品或服務的廣告商自己的網頁。一旦用戶在點擊之後被引導到廣告商的網頁，由廣告商提供之轉換將可由用戶完成。轉換可被理解為用戶點擊網際網路廣告中的一個或多個，用戶瀏覽廣告商的網頁預定的時間長度，用戶通過廣告商網頁上的資訊輸入欄位輸入個人資訊(例如：姓名、郵寄地址、電話號碼或者電子郵件)通過廣告商網頁上的資訊輸入欄位，或者用戶實際購買廣告商在廣告商網頁上提供的商品或服務。這種轉換可由廣告伺服器與其它與廣告相關聯的屬性一起監視和記錄，例如發佈者、廣告商、導致廣告顯示的搜索查詢以及進行查詢之用戶裝置的屬性。可分析具有相同或相似屬性(維度資訊和廣告商資訊)的一組廣告以提供轉換率。轉換率可進一步標準化為類似的基準轉換率以獲得轉換率(conversion rate ratio，下文簡稱為CRR)。具有前述屬性的記錄CRR提供網際網路廣告的歷史性能記錄，並且可保存在歷史性能資料庫中。在同一申請人的美國專利申請案號15/064,310中更詳細地描述了CRR的來源，該申請案透過引用整體併入本文。
然而，由於具有上述相同屬性的歷史廣告記錄的稀疏性，對於特定屬性組合可能沒有足夠數量的記錄來呈現對廣告潛在性能之任何統計上顯著的預測。特別是，搜索查詢屬性是一個巨大的維度(具有大量不同的搜索查詢)，因此對資料稀疏性問題的影響最大。因此，在歷史性能記錄中可能找不到與廣告相關聯的查詢。
本揭露通過至少根據搜索查詢屬性對歷史性能記錄採用資料聚合來解決問題。具體地，搜索查詢可基於深度學習技術將上下文和語義意義叢 集，例如：表示密集向量空間中搜索查詢之深度學習神經網路語言模型。這樣，在密集向量空間中彼此接近的搜索查詢可被分類為相同的搜索查詢叢集(cluster)，並且基本上是相同的搜索。當估計具有包括搜索查詢的屬性之廣告的潛在有效性時，可使用根據相同搜索查詢叢集而不是相同搜索查詢聚合歷史性能記錄。因此，由廣告伺服器處理之明顯更多廣告流量的潛在有效性可以合理的準確度估計，並且可向廣告流量的顯著更大部分提供出價調整。
第一圖說明用於至少基於廣告流量和深度學習技術的維度資訊來提供網際網路廣告的出價調整之網路系統100的範例性系統示意圖。網路系統100包括經由網路140彼此通訊之廣告伺服器110、用戶裝置150、廣告商伺服器130、廣告內容儲存庫134、網頁伺服器120和160、網頁內容儲存庫125和165、歷史廣告性能資料庫181以及深度學習神經網路模型170。
廣告商伺服器130可包括用於存取網路140的處理器131、記憶體132和網路介面133。廣告商伺服器130可生成廣告商的網際網路廣告，廣告商的網際網路廣告包括廣告內容(例如：視聽內容)和用戶點擊網際網路廣告時激活的廣告商網頁之連結(例如：超連結)。網際網路廣告可儲存在與廣告商伺服器130通訊的廣告內容儲存庫134中。廣告商伺服器130還可控制網路介面133以經由網路將網際網路廣告發送到網路系統100內的其它裝置和組件。
網路系統100的網頁伺服器120託管與OO發佈者相關的一個或多個網頁。網頁伺服器120可包括處理器121、記憶體122、搜索引擎123和用於連結網路140的網路介面124。由網頁伺服器120託管之網頁包括的網頁內容可儲存在和網頁伺服器120通訊之網頁內容儲存庫125中。搜索引擎123可接收用戶的搜索查詢並在網頁內容儲存庫125中搜索相關的網頁內容。網頁伺服器120可基於由 搜索引擎123確定的搜索結果從網頁內容儲存庫125中選擇網頁內容以顯示在託管網頁上。網頁伺服器120還可從廣告伺服器110接收網際網路廣告以呈現於託管網頁中。
網路系統100的發佈者網頁伺服器160可包括和第三方發佈者託管之一個或多個網頁相關之第三方網頁伺服器160。第三方網頁伺服器160可包括處理器161、記憶體162、搜索引擎163和用於連結網路140的網路介面164。由第三方網頁伺服器160託管之網頁包括的網頁內容可儲存在和第三方網頁伺服器160通訊之網頁內容儲存庫165中。搜索引擎163可接收用戶的搜索查詢並在網頁內容儲存庫165中搜索相關的網頁內容。第三方網頁伺服器160可基於由搜索引擎163確定的搜索結果，從網頁內容儲存庫165中選擇網頁內容以顯示在託管網頁上。第三方網頁伺服器160還可從廣告伺服器110接收網際網路廣告以呈現於託管網頁中。根據一實施例，搜索引擎163可連結到搜索引擎123，以利用相同邏輯將搜索結果回到輸入到搜索引擎163和搜索引擎123中的搜索查詢。
網路系統100中的通訊裝置150可包括處理器151、記憶體152和用於連結網路140的網路介面153。通訊裝置150可為例如：桌上型電腦、或者如行動電話、智慧型手機、顯示呼叫器、射頻(RF)裝置、紅外(IR)裝置、個人數位助理(PDA)、手持式電腦、平板電腦、筆記型電腦、桌上盒、穿戴式電腦、組合如結合前述裝置之各種特徵的集成裝置等之類的攜帶式裝置。此外，通訊裝置150可包括或可執行各種可能的應用程式，例如傳送一個或多個資訊就能夠與其它裝置通訊的用戶端軟體應用程式，幾個可能的範例可為例如藉由電子郵件、短消息服務(SMS)或者多媒體消息服務(MMS)，包括透過如社交網路之網路，包括例如：Facebook、LinkedIn、Twitter、Flickr或Google+。通訊裝置150還 可包括或執行例如文本內容、多媒體內容等之通訊內容的應用程式。通訊裝置150還可包括或執行各種可能任務的應用程式，例如瀏覽、搜索、播放包括本地儲存或串流視頻之各種形式的內容或遊戲(諸如幻想體育聯盟)。前述內容是為了說明本發明之專利標的可擴充以包括廣泛的可能特徵或能力。
例如，通訊裝置150可運行網頁瀏覽器應用程式，以用於連結由網頁伺服器120或第三方網頁伺服器160託管的網頁，以及在網頁瀏覽器應用程式內呈現與託管網頁相關的網頁內容。第二圖說明在例如通訊裝置150上運行的範例性網頁瀏覽器200，以及呈現由例如網頁伺服器120或第三方網頁伺服器160託管的網頁。由網頁瀏覽器200呈現的網頁包括搜索工具201，其中搜索工具201可分別對應於包括在網頁伺服器120或第三方網頁伺服器160中的搜索引擎123或搜索引擎163。網頁還包括第一贊助廣告列表202、固定位置廣告204和第二贊助廣告列表205，可將每個第一贊助廣告列表202、固定位置廣告204和第二贊助廣告列表205設置成可出價。廣告可由例如下面描述的廣告伺服器110的出價處理器(Bid handler)113和廣告選擇器114基於搜索引擎123或搜索引擎163分析的搜索輸入和/或搜索結果進行出價調整和選擇。由網頁瀏覽器200呈現的網頁還可包括網頁內容結果203，其分別由例如搜索引擎123或搜索引擎163基於用戶在搜索工具201輸入的搜索查詢生成。
回到第一圖，網路系統100的廣告伺服器110可包括處理器111、記憶體112、出價處理器113、廣告選擇器114、廣告性能監視器116和用於連結網路140的網路介面115。當用戶進行搜索時(通過例如出價邀請)，廣告伺服器110可從網頁伺服器120或160獲得維度資訊。廣告伺服器110可從廣告商接收出價廣 告，並基於所接收的維度資訊和出價廣告商的資訊，選擇要在由網頁伺服器120或160託管的網頁上顯示的繞組廣告(winding advertisement)。
具體地，廣告伺服器110的出價處理器113可基於使用歷史廣告性能記錄預測之出價廣告的潛在有效性、從網頁伺服器120或發佈者網頁伺服器160接收的維度資訊以及廣告商資訊確定是否從廣告商調整出價。維度資訊可包括例如搜索查詢資訊(如輸入到搜索引擎123或搜索引擎163之用戶的搜索查詢)、通訊裝置屬性資訊(如識別通訊裝置150之裝置類型的資訊)、和/或發佈者識別資訊(如將網頁伺服器120或第三方網頁伺服器160識別為與OO發佈者或第三方發佈者或特定發佈者相關聯的資訊)。
歷史廣告性能記錄可在與網路140通訊的歷史廣告性能資料庫181中維護並且由廣告伺服器110的出價處理器113連結。為追蹤具有維度資訊和廣告商資訊之特定組合的所顯示廣告性能維護歷史廣告性能記錄。記錄的性能可包括如轉換率(CRR)之性能指標，例如歷史性能記錄可為具有特定維度資訊組合之廣告歷史提供特定CRR，因此，廣告伺服器110可包含廣告性能監視器116以追蹤歷史廣告的記錄。在一些實施例中，歷史廣告性能資料庫181可為廣告伺服器110的一部分。在一些其它實施例中，可用專用伺服器來執行廣告性能監視。
第三圖說明歷史性能記錄300的範例性集合，其包括記錄302、304、306、308、310、312和313，每個記錄包括性能指標CRR 320的資料欄位以及包括搜索查詢332、裝置屬性334、發佈者資訊336和廣告商資訊338的資料欄位之維度資訊330。在一實施例中，當歷史CRR對於如記錄306的特定維度組合的性能記錄不可用或不具有統計顯著性時，CRR欄位可以是可被標記為「N/A」，例如，如果與相關性能記錄有關的歷史廣告點擊的數量小於預定數量如500，則 歷史CRR可被認為是統計上無關緊要的，因此，由於維度資訊的大量組合可能不對應於統計上顯著的CRR，歷史性能記錄300可以是稀疏的。
回到第一圖，廣告伺服器110的出價處理器113藉由從歷史廣告性能資料庫中識別具有與出價廣告相同或相似維度資訊的記錄或者它們當由的一些組合，並使用識別出的歷史廣告記錄之對應性能指標進行預測，以獲得對出價廣告的潛在有效性預測。例如，當出價處理器113準備對由搜索查詢A、從發佈者網頁B接收並從通訊裝置類型C連結到發佈者網頁B之當前點擊流量確定有效性預測時，該出價處理者113可識別具有相同或類似搜索查詢A、發佈者網頁B和通訊裝置類型C的歷史廣告性能資料庫181(例如第三圖中的300)中的記錄。然後，出價處理器113可基於識別出的記錄和對應歷史性能指標來預測出價廣告的潛在有效性。如下將更詳細描述這種預測過程中可能涉及的深度學習神經網路模型170的查詢叢集功能。
根據一些實施例，廣告伺服器110可被包括作為網頁伺服器120的一部分，而在其它實施例中，廣告伺服器110可以是如第一圖所示的獨立計算裝置。廣告伺服器110也可和儲存網際網路廣告之廣告內容資料庫134通訊。儲存在廣告內容資料庫134中的網際網路廣告可能已經由網路140由廣告商伺服器130的網路介面115接收。
網頁伺服器120、第三方網頁伺服器160和廣告伺服器110所描述之網頁內容和網際網路廣告內容在被傳送到由通訊裝置150運行之網頁瀏覽器應用程式之前可先整合在一起。
第一圖的神經網路模型170可由多個伺服器電腦實行，例如神經網路170可由伺服器電腦171-173實行。神經網路170可被配置為應用深度學習技 術(例如：query2vec和/或word2vec)以幫助將由網路搜索引擎(例如：搜索引擎123和/或搜索引擎163)接收的已知查詢結合到查詢叢集中。例如，可利用由電腦171-173提供動力且訓練過後的歷史資料訓練深度神經網路語言模型170來學習用戶搜索查詢的高質量向量表示，並且這些表示可由標準分群技術使用(例如：k-平均、階層分群等)以將類似的用戶搜索查詢分組為預定數量的查詢叢集。由深度學習神經網路語言模型170實施例的分群策略可考慮創建預定數量的查詢叢集，其優化每個查詢叢集內的搜索查詢的穩健性。為了滿足預定數量的查詢叢集的創建，神經網路170可設置用戶搜索查詢相似性敏感度級別以將查詢分組為預定數量的查詢叢集(例如：1000個查詢叢集)。
接著，可根據查詢叢集而不是單獨查詢來看第三圖的歷史性能記錄300。在一實施例中，如第四圖所示，可用查詢叢集資訊410取代第三圖的搜索查詢資訊332，以獲得修改歷史性能記錄400。深度學習神經語言模型170自我學習用戶搜索查詢的高質量向量表示，並且基於一起查詢中的單詞的內容對語義上類似的查詢進行分組，例如，由於「女鞋」和「運動鞋」被認為是指向量表示中的類似項目，且「女鞋」和「香奈兒香水」被認為與女性有關，因此記錄302、306、310和312中的查詢可被分成一群(查詢叢集1)。
深度學習神經網路語言模型170還可用於確定用於出價廣告的查詢叢集。即使在第三圖的歷史性能記錄300相對於與出價廣告相關聯的特定搜索查詢為稀疏時，第一圖之廣告伺服器110的出價處理器113可使用所得到的查詢叢集並結合第四圖中的修改歷史性能記錄400，獲得出價廣告的有效性預測。
第五圖說明廣告伺服器110的出價處理器113和廣告選擇器114可遵循的範例性邏輯流程。廣告伺服器可接收當前廣告的維度資訊和廣告商資訊 (502)。廣告伺服器可連結歷史性能資料庫181以識別具有與當前出價廣告相同或相似的維度資訊和廣告商資訊的歷史性能記錄(504)。若識別出這樣的記錄，廣告伺服器接著確定歷史性能指標是否可用於識別出的歷史性能記錄(506)。如果歷史性能指標可用，廣告伺服器接著可使用該歷史性能指標來調整當前出價廣告的出價(508)。如果歷史性能記錄中沒有記錄被識別為具有與出價廣告相同或相似的維度資訊和廣告商資訊(504的「否」分支)或者識別出這樣的記錄但是相關歷史性能指標不可用(506的「否」分支)，廣告伺服器可使用深度學習神經網路模型170獲得當前出價廣告的查詢叢集(510)，並且從修改歷史性能記錄400而不是從原始性能記錄300中識別記錄以預測當前出價廣告的潛在有效性(512)。在一實施例中，廣告伺服器可在具有相同的查詢叢集、相同或相似的其它維度資訊以及相同的廣告商資訊之修改歷史性能記錄400中識別出一組記錄(512)。廣告伺服器可進一步聚合識別出記錄(在512中)的可用性能指標以獲得聚合歷史性能指標(514)。然後，廣告伺服器基於聚合歷史性能指標來調整對出價廣告的出價(516)。
在廣告伺服器中，可靈活地定義上述用語「相同或相似」，例如，廣告伺服器可另外使用如模糊文本匹配技術來確定查詢是相同或相似。因此，如拼寫錯誤導致的查詢之間的差異可能不會導致查詢被認為是不相同或相似。
在一實施例中，廣告伺服器可不執行504的「是」分支，使得即使存在與當前出價建議完全匹配的歷史性能記錄，也僅只基於查詢叢集進行潛在有效性和出價調整的預測。這種方式使用更多歷史資料進行預測，因此，在某些情況下，可提供較佳的預測準確性。
此外，可利用階層式方式進行對出價廣告(512和514)的潛在有效性預測，例如，可考慮省略維度資訊和廣告商資訊之一。具體來說，在步驟512和514中可省略廣告商資訊、裝置資訊、發佈者資訊或其任意組合。由於根據這些維度進一步聚合歷史性能指標資訊，將使更多歷史資料可參與預測。同樣地，在邏輯流程步驟504中可省略一些維度資訊和廣告商資訊，因此，504的「是」分支可利用類似階層式方式實現。
使用第三圖的歷史性能記錄300和第四圖的修改歷史性能記錄400顯示一個範例。假設當前出價廣告具有以下屬性：搜索查詢「無頸」，裝置「行動電話」、發佈者A、廣告商A，廣告伺服器110在當前出價廣告和歷史性能記錄300之間識別出無確切或類似的匹配。接著，廣告伺服器使用深度學習神經網路語言模型來確定當前出價廣告的搜索查詢「無頸」屬於查詢叢集1。然後，廣告伺服器連結修改歷史性能記錄400，並將記錄302和306識別為與當前出價廣告相同或相似。因此，聚合記錄302和306以獲得1.1的聚合CRR(記錄302的CRR是1.1且記錄306為N/A)。在上述階層式實施方式中，可省略廣告商資訊，因此，在資料聚合中更包括記錄310，且在這種情況下聚合CRR可為1.05(例如，記錄302和310的平均值)。
聚合CRR可用來調整出價，例如，如果聚合CRR為1.3，廣告商最初提出的出價可增加30%。接著，調整後的出價可作為廣告選擇器從其它出價廣告商中選擇廣告的基礎。調整出價的許可可由廣告商預先授權，或者可由廣告商伺服器即時提供，因此，廣告商伺服器可實施自動評估演算法以分析所提議的出價調整並即時允許或拒絕出價調整。針對使用第五圖的邏輯不能進行建議出價 調整(若在504和512中無匹配記錄，或在504和512識別之記錄沒有性能指標)的出價廣告，則廣告伺服器可繼續進行使用廣告客戶提供的原始出價值進行出價。
利用深度學習將查詢分組到查詢叢集中的解決方案有助於為更多的搜索查詢和顯著更高的流量部分生成更準確的出價調整建議。此外，使用深度學習神經網路語言模型而不是其它自然語言處理模型進行查詢叢集有助於擷取複雜的語言、語義和上下文關係，以獲得較佳的查詢叢集、更準確且一致的出價調整。更準確和更高的出價可為廣告客戶帶來更高的轉化率和更高的投資回報率(ROI)，並為發佈者帶來更高的收入。
回到第一圖，網路系統100的網路140可包括長途和存取網路的任意組合，例如，網路140可包括無線網路，其被配置為將通訊裝置150耦接到和該無線網路耦接的其它用戶端裝置。無線網路可應用單機隨意網路(stand-alone ad-hoc networks)、網狀網路、無線LAN(WLAN)網路、蜂巢式網路等。無線網路可進一步包括由無線射頻鏈結等所耦接之終端、閘道、路由器等之系統，因此網路拓樸係可隨時間、甚至是快速改變。無線網路可進一步應用複數種網路存取技術，包括長期演進技術(LTE)、WLAN、無線路由(WR)網、或第二代、第三代或第四代(2G、3G或4G)蜂巢技術等。網路存取技術能為裝置(舉例而言，如具有變化行動力程度的客戶裝置)產生廣大區域覆蓋。舉例而言，網路可經由一或多種網路存取技術而允許RF或無線類型通訊，例如全球行動通訊系統(GSM)、通用移動電信系統(UMTS)、通用封包無線服務(GPRS)、增強數據全球行動通訊系統(EDGE)、3GPP長期演進技術(LTE)、進階LTE、寬頻碼分多重存取(WCDMA)、藍牙、作為藍牙之藍牙核心規格4.0版部分的藍牙低耗能技術(BLE)、802.11b/g/n等。無線網路實質上包括任意類型的無線通訊 機制，訊號係藉其而於例如客戶裝置或計算裝置之裝置之間、在網路140之間或內部等進行傳送。
經由網路140，其包括參與數位通訊網路之網路，而傳送的訊號封包係與一或多種協定相容或相符。所使用之發訊格式或協定包括：例如TCP/IP、UDP、DECnet、NetBEUI、IPX、APPALETALKTM等。網際網路協定(IP)版本可包括IPv4或IPv6。網際網路是指網路的分散式全球網路。網際網路包括區域網路(LANs)、廣域網路(WANs)、無線網路、或長期運輸公共網路，舉例而言，其可使訊號封包於LANs之間傳送。訊號封包係於網路140節點之間傳送，例如傳送至應用區域網路地址的一或多個位址。舉例而言，訊號封包可經由耦接至網際網路的存取節點而從用戶位址於網際網路上傳送。同樣地，舉例而言，訊號封包可經由網路節點而前送至經由網路存取節點而耦接至網路140的目標位址。舉例而言，經由網際網路而傳送的訊號封包係經由閘道、伺服器等的路徑而被路由，其係根據目標地址及對該目標位址之網路路徑的可用性而路由訊號封包。
網路140還可包括「內容遞送網路」或「內容分散網路」(CDN)一般稱為分散式內容遞送系統，其包含用網路連結的電腦或計算裝置之集合。CDN可運用軟體、系統、通訊協定或技術促進許多服務，例如儲存、快取、內容通訊或串流媒體或應用。服務也可利用配套技術，包含但不受限於「雲端計算」、分散式儲存、DNS要求處置、調配、信號監控與回報、內容定向、個性化或商業智慧。CDN也可讓一實體完整或部分操作或管理另一個站台基礎設施。
網路140還可包括點對點(或P2P)網路，其中P2P網路可採用網路參與者的計算能力或帶寬，與可使用例如專用伺服器之專用裝置的網路相反。然而，一些網路可採用這兩種方法以及其它方法。P2P網路通常可用於通過ad hoc 佈置或配置來耦合節點。對等網路可使用能夠作為「用戶端」和「伺服器」操作的一些節點。
關於網路140，網路140可耦合設備以便進行通訊，例如在網頁伺服器120、第三方網頁伺服器160和通訊裝置150之間或者網路系統100內的其它裝置，包括例如藉由無線網路耦合的無線裝置之間。網路140也可包含大量儲存裝置，例如網路附加儲存裝置(NAS)、儲存區域網路(SAN)或電腦或機器可讀取媒體的其他形式。網路140可包含網際網路、一或多個區域網路(LAN)、一或多個廣域網路(WAN)、有線型連線、無線型連線或這些的任意組合。類似地，例如可採用不同架構或可符合或相容於不同通訊協定之子網路在較大型的網路140內交互運作。多種裝置可例如用來提供交互操作能力給不同的架構或協定。針對一個例示範例，路由器可提供個別與獨立LAN之間的連結。通訊連結或通道可包含例如類比電話線，如雙絞線對、同軸纜線、全部或部分數位線，包含T1、T2、T3或T4型線、整體服務數位網路(ISDN)、數位用戶線(DSL)、包含衛星連結的無線連結或其他通訊連結或通道，例如習知技藝人士可能已知的。更進一步，電腦裝置或其他相關電子裝置可遠端耦合至網路140，例如透過電話線或連結。
第六圖說明電腦600的範例性電腦體系結構。電腦600的實施例，包括額外組件的實施例和包括比所描述的更少組件的實施例，可代表包括如第一圖所示之網路系統100的任一個或多個裝置。
電腦600包括網路介面裝置620，其允許經由網路626與其它電腦通訊，其中網路626可表示成第一圖中的網路140。電腦600可包括處理器602、主 記憶體604、靜態記憶體606、網路介面裝置620、輸出裝置610(例如，顯示器或喇叭)、輸入裝置612和儲存裝置616，它們都通過匯流排608連接。
處理器602表示任何類型的體系結構的中央處理單元，例如CISC(複雜指令集計算)、RISC(精簡指令集計算)、VLIW(超長指令字)或混合體系結構，也可使用其它適當的處理器。處理器602執行指令且包括控制整個電腦600操作之電腦600的部分。處理器602還可表示控制器，其在儲存器中組織資料和程式儲存，並在計算機600的各個部分之間傳輸數據和其他信息。
處理器602被配置為從輸入裝置612接收輸入資料和/或用戶命令。輸入裝置612可以是鍵盤、滑鼠或其它指示裝置、軌跡球、滾動、按鈕、觸摸板、觸控式螢幕、鍵盤麥克風、語音辨識裝置、影音辨識裝置或任何其它合適之機制，其用於用戶將資料輸入電腦600並控制電腦600的操作和/或處理步驟的操作以及本文所述的其它特徵。儘管只示出了一個輸入裝置612，但是在另一實施例中，可包括任何數量和類型的輸入裝置，例如，輸入裝置612可包括加速計、陀螺儀和全球定位系統(GPS)收發器。
處理器602還可經由網路626與其它電腦通訊以接收指令624，其中處理器可控制將指令624儲存到如隨機存取儲存器(RAM)之主記憶體604、如唯讀儲存器(ROM)之靜態記憶體606以及儲存裝置616中的任何一個或多個中。接著，處理器602可從主記憶體604、靜態記憶體606或儲存裝置616中的任何一個或多個讀取並執行指令624。指令624還可藉由其它來源儲存在主記憶體604、靜態記憶體606或儲存裝置616中的任何一個或多個上。指令624可對應於例如表示上述出價處理器113的指令。
儘管電腦600只示出包含單個處理器602和單個匯流排608，但是所揭露之實施例同樣適用於可具有多個處理器的電腦以及可具有多個匯流排的電腦，其中一些或全部以不同的方式執行不同的功能
儲存裝置616表示用於儲存資料的一個或多個機制。舉例而言，儲存裝置616可包括電腦可讀取媒體622，如唯讀儲存器(ROM)、RAM、非揮發性儲存媒體、光學儲存媒體、快閃記憶體裝置和/或其它機器可讀取媒體。在其它實施例中，可使用任何適當類型的儲存裝置。儘管只示出了一個儲存裝置616，但是可存在多個儲存裝置和多種類型的儲存裝置。此外，儘管電腦600被示為包含儲存裝置616，但是它可分佈在其它電腦上，舉例而言，在伺服器上。
儲存裝置616可包括控制器(未示出)和電腦可讀取媒體622，電腦可讀取媒體622具有能夠由處理器602執行以執行上述方法的指令624。在另一實施例中，通過硬體代替基於處理器的系統來執行一些或所有功能。在一實施例中，控制器是網頁瀏覽器，但在其它實施例中，控制器可以是資料庫系統、檔案系統、電子郵件系統、媒體管理器、影像管理器或者可包括能連結資料項目的任何其它功能。儲存裝置616還可包含對於理解上述特徵不是必需之額外軟體和資料(未示出)。
輸出裝置610被配置為向用戶呈現資訊，舉例而言，輸出裝置610可為顯示器，例如液晶顯示器(LCD)、基於氣體或等離子體之平板顯示器、或傳統陰極射線管(CRT)顯示器或其它在電腦硬體領域中習知之顯示器類型。因此，在一些實施例中，輸出裝置610顯示用戶介面。在其它實施例中，輸出裝置610可被配置為向用戶輸出可聽資訊的揚聲器。在另外的實施例中，輸出裝置的任意組合可由輸出裝置610表示。
網路介面裝置620經由任何合適之通訊協議提供電腦600連接到網路626。網路介面裝置620經由無線或有線收發器614從網路626發送和/或接收資料。收發器614可以是蜂巢式頻率、射頻(RF)、紅外線(IR)或能經由網路626或經由具有電腦600之一些或所有特徵的其它電腦裝置通訊之許多已知無線或有線傳輸系統中的任何一種。匯流排208可表示一個或多個匯流排，例如，USB、PCI、ISA(工業標準結構)、X-匯流排、EISA(擴展工業標準結構)，或任何其它適當的匯流排和/或橋接器(也稱為匯流排控制器)。
電腦600可使用任何合適的硬體和/或軟體來實施，例如，個人電腦或其它電子計算裝置。除了上述各種類型的穿戴式裝置外，電腦600還可為可攜式電腦、膝上型電腦、平板電腦或筆記型電腦、PDA、口袋電腦、電器、電話或主機電腦。
所公開的方法和系統可以部分地在伺服器、用戶端裝置、雲端計算環境中，部分在伺服器且部分在用戶端裝置中，或者伺服器、雲端計算環境和用戶端裝置的組合中實現。
因此，前述詳細說明應被視為例示性而非限制之用，且要理解下述申請專利範圍(包含所有等效方式)是用以定義本發明的精神與範疇。
100:網路系統
110:廣告伺服器
111:處理器
112:記憶體
113:出價處理器
114:廣告選擇器
115:網路介面
116:廣告性能監視器
120:網頁伺服器
121:處理器
122:記憶體
123:搜索引擎
124:網路介面
125:網頁內容儲存庫
130:廣告商伺服器
131:處理器
132:記憶體
133:網路介面
134:廣告內容儲存庫
140:網路
150:用戶裝置
151:處理器
152:記憶體
153:網路介面
160:網頁伺服器
161:處理器
162:記憶體
163:搜索引擎
164:網路介面
165:網頁內容儲存庫
170:深度學習神經網路模型
171:伺服器電腦
172:伺服器電腦
173:伺服器電腦
181:歷史廣告性能資料庫

Claims (20)

  1. 一種伺服器，包括：一網路介面，配置為：從一資訊發佈伺服器接收一用於廣告空間的一出價邀請，其係根據從一請求者在前述資訊發佈伺服器處所接收的一查詢；及從一廣告商接收一出價以回應前述查詢和前述出價邀請；以及一處理器，與前述網路介面通訊，配置為：使用一訓練查詢叢集神經網路在一組預先定義的查詢叢集中決定一用於前述查詢之查詢叢集，該查詢叢集包含複數個搜索查詢，其中預先定義的查詢叢集包含具有一第一複數個搜索查詢之一第一查詢叢集及包含具有一第二複數個搜索查詢之一第二查詢叢集；根據藉由前述訓練查詢叢集神經網路所決定的包含複數個搜索查詢的查詢叢集，聚合基於查詢之廣告的歷史性能記錄，以獲得聚合後之歷史性能記錄；基於兩個或多個搜索查詢相關的前述聚合後之歷史性能記錄，及根據與廣告空間相關聯的查詢，而決定聚合基於包含複數個搜索查詢的查詢叢集，而獲得的前述聚合後之歷史性能記錄，以預測有關用於前述廣告商的前述查詢之廣告空間的一有效性度量；及 根據前述預測有效性度量，自動地控制對從前述廣告商接收的前述出價的一調整，以獲得一調整後的出價。
  2. 如申請專利範圍第1項所述之伺服器，其中，前述基於查詢之廣告的歷史性能記錄包含：一查詢欄位，其明列與前述基於查詢之廣告相對應的查詢；一裝置類型欄位，其明列與前述基於查詢之廣告相對應的查詢裝置的類型；一發佈者欄位，其識別前述基於查詢的廣告之發佈者；一廣告商欄位，其識別與前述述基於查詢之廣告相對應的廣告商；以及一性能指標欄位，其明列與前述基於查詢之廣告相對應的性能指標。
  3. 如申請專利範圍第2項所述之伺服器，其中，前述基於查詢之廣告的前述性能指標對應於前述基於查詢之廣告的轉換率與基準轉換率之間的轉換率比率。
  4. 如申請專利範圍第3項所述之伺服器，其中，前述轉換係對應於一查詢裝置瀏覽與前述基於查詢之廣告相關聯的一網頁達一預定的時間長度、前述查詢裝置在前述網頁上輸入資訊或者經由前述查詢裝置的一購買被記錄在前述網頁上；以及其中，前述轉換率對應於前述基於查詢之廣告的轉換次數，正規化為前述基於查詢廣告的瀏覽次數。
  5. 如申請專利範圍第2項所述之伺服器，其中，前述處理器被配置為經由以下方式聚合前述歷史性能記錄，以獲得前述聚合後之歷史性能記錄：使用前述訓練查詢叢集神經網路將前述查詢欄位轉換為一查詢叢集欄位；以及聚合具有相同查詢叢集欄位、裝置類型欄位、發佈者欄位和廣告商欄位的一或多個歷史性能記錄之一或多個性能指標，以獲得前述聚合後之歷史性能記錄。
  6. 如申請專利範圍第5項所述之伺服器，其中，前述處理器被配置為經由以下方式預測關於前述廣告商的前述查詢之廣告空間的前述有效性度量：從前述聚合後之歷史性能記錄中識別記錄，前述記錄具有分別匹配前述查詢叢集、前述發佈伺服器、前述廣告商和前述請求者的一裝置類型的一查詢叢集欄位、一發佈者欄位、一廣告商欄位和一裝置類型欄位；以及基於前述識別記錄的前述聚合後之性能指標，預測關於前述廣告商的前述查詢之廣告空間的前述有效性度量。
  7. 如申請專利範圍第2項所述之伺服器，其中，前述處理器被配置為經由以下方式聚合前述歷史性能記錄以獲得前述聚合後之歷史性能記錄：使用前述訓練查詢叢集神經網路將前述查詢欄位轉換為一查詢叢集欄位；以及 不論前述廣告商欄位為何，聚合具有相同查詢叢集欄位、裝置類型欄位和發佈者欄位的一或多個歷史性能記錄之一或多個性能指標，以獲得前述聚合後之歷史性能記錄。
  8. 如申請專利範圍第2項所述之伺服器，其中，前述處理器被配置為經由以下方式聚合前述歷史性能記錄以獲得前述聚合後之歷史性能記錄：使用前述訓練查詢叢集神經網路將前述查詢欄位轉換為一查詢叢集欄位；以及不論前述發佈者欄位為何，聚合具有相同查詢叢集欄位、裝置類型欄位和廣告商欄位的歷史性能記錄之性能指標，以獲得前述聚合後之歷史性能記錄。
  9. 如申請專利範圍第2項所述之伺服器，其中，前述處理器被配置為經由以下方式聚合前述歷史性能記錄以獲得前述聚合後之歷史性能記錄：使用前述訓練查詢叢集神經網路將前述查詢欄位轉換為一查詢叢集欄位；以及不論前述廣告商欄位及前述發佈者欄位為何，聚合具有相同查詢叢集欄位和裝置類型欄位的歷史性能記錄之性能指標，以獲得前述聚合後之歷史性能記錄。
  10. 如申請專利範圍第1項所述之伺服器，其中，前述訓練查詢叢集神經網路被配置為將查詢轉換為向量表示。
  11. 如申請專利範圍第10項所述之伺服器，其中，前述訓練查詢叢集神經網路進一步被配置為基於叢集前述向量表示來叢集前述查詢，其中叢集包含：(i)基於第一查詢與第二查詢之間的相似性在向量表示中，將第一查詢與第二查詢叢集到第一查詢叢集中以及(ii)基於第三查詢與第四查詢之間的相似性在向量表示中，將第三查詢與第四查詢叢集到第二查詢叢集中。
  12. 如申請專利範圍第11項所述之伺服器，其中，前述訓練查詢叢集神經網路被配置為基於與查詢分組至預定數量的查詢叢集相關聯的用戶搜索查詢相似性敏感度級別來執行叢集。
  13. 一種使用深度神經語言模型於自動出價之方法，包括：從一資訊發佈伺服器接收一用於廣告空間的一出價邀請，其係根據從一請求者在前述資訊發佈伺服器處所接收的一查詢；從一廣告商接收一出價以回應前述查詢和前述出價邀請；以及使用一訓練查詢叢集神經網路在一組預先定義的查詢叢集中決定一用於前述查詢之查詢叢集，該查詢叢集包含複數個搜索查詢，其中預先定義的查詢叢集包含具有一第一複數個搜索查詢之一第一查詢叢集及包含具有一第二複數個搜索查詢之一第二查詢叢集；根據藉由前述訓練查詢叢集神經網路所決定的至少查詢叢集，聚合基於查詢之廣告的歷史性能記錄，以獲得聚合後之歷史性能記錄； 基於包含有複數個搜索查詢的前述查詢叢集和前述聚合後之歷史性能記錄，預測有關用於前述廣告商的前述查詢之廣告空間的一有效性度量；以及根據前述預測有效性度量，自動地控制對從前述廣告商接收的；前述出價的一調整，以獲得一調整後的出價。
  14. 如申請專利範圍第13項所述之方法，其中，前述基於查詢之廣告的歷史性能記錄包含：一查詢欄位，其明列與前述基於查詢之廣告相對應的查詢；一裝置類型欄位，其明列與前述基於查詢之廣告相對應的查詢裝置的類型；一發佈者欄位，其識別前述基於查詢的廣告之發佈者；一廣告商欄位，其識別與前述基於查詢之廣告相對應的廣告商；以及一性能指標欄位，其明列與前述基於查詢之廣告相對應的性能指標。
  15. 如申請專利範圍第14項所述之方法，其中，前述基於查詢之廣告的前述性能指標對應於前述基於查詢之廣告的轉換率與基準轉換率之間的轉換率比率。
  16. 如申請專利範圍第15項所述之方法，其中，前述轉換係對應於一查詢裝置瀏覽與前述基於查詢之廣告相關聯的一網頁達一預定的時間長度、前述查詢裝置在前述網頁 上輸入資訊或者經由前述查詢裝置的一購買被記錄在前述網頁上；以及其中，前述轉換率對應於前述基於查詢之廣告的轉換次數，正規化為前述基於查詢廣告的瀏覽次數。
  17. 如申請專利範圍第14項所述之方法，其中，聚合前述歷史性能記錄，以獲得前述聚合後之歷史性能記錄包括：使用前述訓練查詢叢集神經網路將前述查詢欄位轉換為一查詢叢集欄位；以及聚合具有相同查詢叢集欄位、裝置類型欄位、發佈者欄位和廣告商欄位的歷史性能記錄之性能指標，以獲得前述聚合後之歷史性能記錄。
  18. 如申請專利範圍第17項所述之方法，其中，預測關於前述廣告商的前述查詢之廣告空間的前述有效性度量包括：從前述聚合後之歷史性能記錄中識別記錄，前述記錄具有分別匹配前述查詢叢集、前述發佈伺服器、前述廣告商和前述請求者的一裝置類型的一查詢叢集欄位、一發佈者欄位、一廣告商欄位和一裝置類型欄位；以及基於前述識別記錄的前述聚合後之性能指標，預測關於前述廣告商的前述查詢之廣告空間的前述有效性度量。
  19. 一種伺服器，包括：一查詢叢集伺服器，被配置為實行一訓練查詢叢集神經網路；以及 一廣告伺服器，包括：一資料庫，用於儲存基於查詢之廣告的歷史性能記錄；一網路介面，被配置為：從一資訊發佈伺服器接收一用於廣告空間的一出價邀請，其係根據從一請求者在前述資訊發佈伺服器處所接收的一查詢；從一廣告商接收一出價以回應前述查詢和前述出價邀請；將前述查詢發送到前述查詢叢集伺服器，以使用該訓練查詢叢集神經網路決定該查詢的一查詢叢集；及從前述查詢叢集伺服器接收前述查詢的前述查詢叢集，且該查詢叢集包含複數個搜索查詢；以及一處理器，與前述網路介面通訊，被配置為：從前述資料庫中獲取基於查詢之廣告的前述歷史性能記錄；根據前述查詢叢集伺服器的前述訓練查詢叢集神經網路所決定的至少查詢叢集，聚合基於查詢之廣告的前述歷史性能記錄，以獲得聚合後之歷史性能記錄；基於包含有複數個搜索查詢的前述查詢叢集和前述聚合後之歷史性能記錄，預測有關用於前述廣告商的前述查詢之廣告空間的一有效性度量；及 根據前述預測有效性度量，自動地控制對從該廣告商接收的該出價的一調整，以獲得一調整後的出價。
  20. 如申請專利範圍第19項所述之伺服器，其中，前述基於查詢之廣告的歷史性能記錄包含：一查詢欄位，其明列與前述基於查詢之廣告相對應的查詢；一性能指標欄位，其明列與前述基於查詢之廣告相對應的性能指標；及至少一第三欄位；以及其中，前述處理器被配置為經由以下方式聚合前述歷史性能記錄，以獲得前述聚合後之歷史性能記錄：使用前述訓練查詢叢集神經網路將前述查詢欄位轉換為一查詢叢集欄位；及聚合具有相同查詢叢集欄位和第三欄位的歷史性能記錄之性能指標，以獲得前述聚合後之歷史性能記錄。
TW107132357A 2017-10-20 2018-09-14 使用深度神經語言模型於自動出價之系統、裝置與方法 TWI793170B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/789,452 US11436628B2 (en) 2017-10-20 2017-10-20 System and method for automated bidding using deep neural language models
US15/789,452 2017-10-20

Publications (2)

Publication Number Publication Date
TW201928724A TW201928724A (zh) 2019-07-16
TWI793170B true TWI793170B (zh) 2023-02-21

Family

ID=63833841

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107132357A TWI793170B (zh) 2017-10-20 2018-09-14 使用深度神經語言模型於自動出價之系統、裝置與方法

Country Status (4)

Country Link
US (1) US11436628B2 (zh)
EP (1) EP3474214A1 (zh)
CN (1) CN109697627A (zh)
TW (1) TWI793170B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423059B2 (en) * 2019-07-30 2022-08-23 Innoplexus Ag System and method for restrictive clustering of datapoints
CN112446720B (zh) * 2019-08-29 2024-05-14 北京搜狗科技发展有限公司 一种广告显示方法及装置
US11295346B1 (en) * 2020-09-22 2022-04-05 Verizon Media Inc. Pruning for content selection
US12062368B1 (en) * 2020-09-30 2024-08-13 Amazon Technologies, Inc. Programmatic theme detection in contacts analytics service
US11775912B2 (en) * 2020-12-31 2023-10-03 Leadscorz Inc. Systems and methods for real-time lead grading
CN113011921B (zh) * 2021-03-18 2023-09-22 腾讯科技（深圳）有限公司 信息推送方法、装置、电子设备及可读存储介质
US20220391986A1 (en) * 2021-06-08 2022-12-08 Michael Cameron Joyner Fantasy Investment Gaming System and Method of Using Same
CN113837483B (zh) * 2021-09-29 2024-06-21 重庆市易平方科技有限公司 基于无线接收装置的广告流量预估处理方法、装置、终端
CN117689428B (zh) * 2023-12-21 2024-06-11 广州迈量科技有限公司 广告瀑布流询价策略生成方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138291A1 (en) * 2008-12-02 2010-06-03 Google Inc. Adjusting Bids Based on Predicted Performance
CN101980211A (zh) * 2010-11-12 2011-02-23 百度在线网络技术（北京）有限公司 一种机器学习模型及其建立方法
US20120253927A1 (en) * 2011-04-01 2012-10-04 Microsoft Corporation Machine learning approach for determining quality scores
CN105912686A (zh) * 2016-04-18 2016-08-31 上海珍岛信息技术有限公司 一种基于机器学习的搜索引擎营销竞价方法及系统
US20170132510A1 (en) * 2015-11-05 2017-05-11 Facebook, Inc. Identifying Content Items Using a Deep-Learning Model

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204551A1 (en) * 2004-11-08 2009-08-13 International Business Machines Corporation Learning-Based Method for Estimating Costs and Statistics of Complex Operators in Continuous Queries
US20070022005A1 (en) * 2005-07-21 2007-01-25 Hanna Nader G Method for requesting, displaying, and facilitating placement of an advertisement in a computer network
CA2614364C (en) * 2005-08-11 2016-09-27 Contextweb, Inc. Method and system for placement and pricing of internet-based advertisements or services
US8364521B2 (en) * 2005-09-14 2013-01-29 Jumptap, Inc. Rendering targeted advertisement on mobile communication facilities
US8209406B2 (en) 2005-10-28 2012-06-26 Adobe Systems Incorporated Assessment of click or traffic quality
US20070256095A1 (en) * 2006-04-27 2007-11-01 Collins Robert J System and method for the normalization of advertising metrics
US8150734B2 (en) * 2008-06-24 2012-04-03 Microsoft Corporation Estimating advertising prices for an incumbent content provider
US20110040611A1 (en) * 2009-08-14 2011-02-17 Simmons Willard L Using competitive algorithms for the prediction and pricing of online advertisement opportunities
US20110040616A1 (en) 2009-08-14 2011-02-17 Yahoo! Inc. Sponsored search bid adjustment based on predicted conversion rates
US8972397B2 (en) * 2010-03-11 2015-03-03 Microsoft Corporation Auto-detection of historical search context
US20110264519A1 (en) 2010-04-26 2011-10-27 Webjuice, LLC Social behavioral targeting of advertisements in a social networking environment
KR20120022011A (ko) 2010-08-25 2012-03-09 엔에이치엔비즈니스플랫폼 주식회사 트래픽 품질에 기초한 광고 시스템 및 방법
US10740797B2 (en) * 2012-07-30 2020-08-11 Oath Inc. Systems and methods for implementing a mobile application based online advertising system
US10366413B2 (en) * 2013-06-25 2019-07-30 Microsoft Technology Licensing, Llc Sponsored online content management using query clusters
US20160104074A1 (en) 2014-10-10 2016-04-14 Yahoo! Inc. Recommending Bidded Terms
US10157230B2 (en) * 2014-12-29 2018-12-18 Samsung Electronics Co., Ltd. Generating search results based on clustered application states
US20170061502A1 (en) 2015-08-31 2017-03-02 Ebay Inc. Unified cross-channel advertisement platform
US10740789B2 (en) * 2015-12-10 2020-08-11 Facebook, Inc. Modifying advertisement bids using predicted advertisement performance
US10672025B2 (en) 2016-03-08 2020-06-02 Oath Inc. System and method for traffic quality based pricing via deep neural language models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138291A1 (en) * 2008-12-02 2010-06-03 Google Inc. Adjusting Bids Based on Predicted Performance
CN101980211A (zh) * 2010-11-12 2011-02-23 百度在线网络技术（北京）有限公司 一种机器学习模型及其建立方法
US20120253927A1 (en) * 2011-04-01 2012-10-04 Microsoft Corporation Machine learning approach for determining quality scores
US20170132510A1 (en) * 2015-11-05 2017-05-11 Facebook, Inc. Identifying Content Items Using a Deep-Learning Model
CN105912686A (zh) * 2016-04-18 2016-08-31 上海珍岛信息技术有限公司 一种基于机器学习的搜索引擎营销竞价方法及系统

Also Published As

Publication number Publication date
TW201928724A (zh) 2019-07-16
US11436628B2 (en) 2022-09-06
EP3474214A1 (en) 2019-04-24
CN109697627A (zh) 2019-04-30
US20190122252A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
TWI793170B (zh) 使用深度神經語言模型於自動出價之系統、裝置與方法
US10657196B2 (en) System and method for measuring the virality of internet content using indices
US11012753B2 (en) Computerized system and method for determining media based on selected motion video inputs
CN110046299B (zh) 用于自动地执行隐式消息搜索的计算机化系统和方法
US11587143B2 (en) Neural contextual bandit based computational recommendation method and apparatus
KR102104256B1 (ko) 소셜 네트워킹 시스템에서 스폰서 광고의 순위화 및 가격결정
US10664484B2 (en) Computerized system and method for optimizing the display of electronic content card information when providing users digital content
US10482091B2 (en) Computerized system and method for high-quality and high-ranking digital content discovery
US10672025B2 (en) System and method for traffic quality based pricing via deep neural language models
US11263664B2 (en) Computerized system and method for augmenting search terms for increased efficiency and effectiveness in identifying content
US9465881B2 (en) User displays using N-way paginated merge of information from diverse sources
US10713692B2 (en) Systems and methods for user propensity classification and online auction design
TWI724337B (zh) 用於控制電子訊息及其交付後回應之電腦化系統及方法
US10922722B2 (en) System and method for contextual video advertisement serving in guaranteed display advertising
US11107130B1 (en) Content offers based on social influences
US10560408B2 (en) Computerized system and method for selectively communicating HTML content to a user's inbox as a native message
US20130275223A1 (en) Future ad targeting
US20160180382A1 (en) System and method for improved server performance
US20210295410A1 (en) Computerized system and method for applying transfer learning for generating a multi-variable based unified recommendation
US10616161B1 (en) Computerized system and method for digital content extraction and propagation in HTML messages
US20160098773A1 (en) Infusing product popularity insights into search results for product research queries
US11977563B2 (en) Cross-entity categorization of heterogenous data
US20220405268A1 (en) Public content validation and presentation method and apparatus
US20130275218A1 (en) Location-based wish list