TWI795001B

TWI795001B - 內容產生方法、內容提供方法、內容產生程式及內容提供程式

Info

Publication number: TWI795001B
Application number: TW110136411A
Authority: TW
Inventors: 石川真也; 船井正太郎
Original assignee: 日商邦德電子商務股份有限公司
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2023-03-01
Also published as: TW202316330A

Abstract

本發明係於電腦裝置中執行下述內容產生方法，可藉由AI自動產生高轉換率(CVR)的配發用內容：基礎內容產生步驟，藉由訓練完成GPT模型產生基礎內容，該訓練完成GPT模型係已藉由任務學習資料進行過機器學習；推敲(elaboration)步驟，藉由訓練完成BERT模型進行推敲，對基礎將文章中的隨機單詞隱藏並以列舉候補替代，該訓練完成BERT模型係藉由任務學習資料進行過機器學習；反饋步驟，藉由用以預測轉換率的神經網路篩選出可提高內容之CVR的候補，並將其反饋至推敲步驟；及配發用內容產生步驟，反覆進行推敲步驟及反饋步驟，並將CVR提升程度收斂之內容作為配發用內容輸出。

Description

內容產生方法、內容提供方法、內容產生程式及內容提供程式

本發明係關於一種內容產生方法、內容提供方法、內容產生程式及內容提供程式，特別是提供一種符合行銷目的內容產生方法、內容提供方法、內容產生程式及內容提供程式。

資訊爆炸的時代已經到來，由於人們於一天中對各種事物花費的注意力已達極限，有一種說法是在資訊過剩的社會中獲得人們的「關心或注意(獲得關注)」具有相當的經濟價值。如此，當經濟從消費經濟邁入資訊經濟的同時，消費者的關注搖身一變成為寶貴的資源，而關注度成為通貨一樣的存在。對此當製作與商品或服務相關的文章或推播訊息等廣告文案時，相較於資訊內容的好壞，能不能引起消費者注意變得更為重要。

而在巨量的資訊中要抓住消費者的注意力並不容易，特別是傳統文章或推播通知等廣告文案製作時，通常是人類進行提案及執行，因此對於眼花撩亂的資訊環境難以迅速對應。對此，專利文獻1揭示一種技術，應用深層神經網路組件以過去的產品說明資訊、及產品說明資訊的範例內容(文案)加以訓練，以AI產生對應該產品說明資訊的內容。藉此可快速產生目標產品的配發用內容，即使面對激烈改變的資訊環境也能快速提供新的配發用內容。然而，這樣也僅能藉由AI加速產生關於產品的內容。具體來說，即使以過去的產品說明資訊、或產品說明資訊的範例內容來進行深層神經網路組件的訓練，所產生出來的內容往往僅關於產品本身。亦即，雖可產生大量配發用內容，但很有可能產生大量不是消費者想看到的內容，而恐怕會成為CPA(獲得顧客平均單價)無法降低的原因之一。

又，專利文獻2揭示一種可將根據關鍵字及圖像以AI自動製作的配發用圖像上傳至廣告刊載點，並根據該圖像在該廣告刊載點的評價自動選擇配發用圖像的技術。但是，能在廣告刊載節點得到的評價可能較稀疏，藉此進行篩選效率較低，其結果的參考價值亦不穩定。再者，由於這種技術只能說是在收斂配發用圖像的數量，僅僅是從大量發布內容中選出消費者關注度較高者，重複同樣的作用不僅耗工費時，且整體配發用內容的本質並未改變，無法從本質上改善訪客的轉換率。

[專利文獻1]國際公開號WO2019/133545號說明書。

[專利文獻2]中華民國專利公開TW201918960A號說明書

本發明所要解決的技術問題在於，提供一種內容產生方法、內容提供方法及程式產品，可令AI自動製作高轉換率且文章自然流暢的配發用內容，並提供給目標消費者。

為了解決上述的技術問題，本發明所採用的其中一技術方案是，在電腦裝置執行下述內容產生方法，包含：取得步驟，取得訴求資訊；基礎內容產生步驟，基於前述訴求資訊，藉由以任務學習資料實施機器學習之訓練完成GPT模型，產生基礎內容；推敲步驟，藉由以任務學習資料實施機器學習之訓練完成BERT模型，將前述基礎內容中隨機單詞隱藏並列舉用以取代該單詞之後補，進行基礎內容之推敲；反饋步驟，藉由以任務預測學習資料實施機器學習之用以預測轉換率之訓練完成NN模型預測前述推敲步驟中所推敲出之內容的轉換率，篩選出可以提升該文章之轉換率之候補並反饋至前述推敲步驟；以及配發用內容產生步驟，反覆進行前述推敲步驟及前述反饋步驟，並在前述反饋步驟中的轉換率上升程度收斂時將推敲出之內容產生為配發用內容。

為了解決上述的技術問題，本發明所採用的其中一技術方案是，在電腦裝置執行下述內容提供方法，藉由用以預測內容之類型的訓練完成NN模型，分類配發用內容的所屬類型，並於前述配發用內容標記所預測的類型；藉由用以對目標對象預測其容易轉換的內容類型之訓練完成NN模型，分類對任務目標對象而言容易轉換之內容的類型，並於前述任務目標對象標記所預測的類型；依被標記的類型，將前述配發用內容傳送至類型相對應的前述目標對象。

為了解決上述的技術問題，本發明所採用的其中一技術方案是，在提供一種程式產品，可使電腦執行下述處理：取得訴求資訊；基於前述訴求資訊，藉由以任務學習資料實施機器學習之訓練完成GPT模型，產生基礎內容；藉由以任務學習資料實施機器學習之訓練完成BERT模型，將前述基礎內容中隨機單詞隱藏並列舉用以取代該單詞之後補，進行基礎內容之推敲；藉由以任務預測學習資料實施機器學習之訓練完成NN模型預測上述推敲所產生之內容的轉換率，篩選出可以提升該內容之轉換率之候補並反饋至前述BERT模型以供再次推敲；以及反覆進行前述BERT模型之推敲及前述NN模型之反饋，並在前述NN模型所預測之轉換率上升程度收斂時將推敲出之內容產生為配發用內容。

為了解決上述的技術問題，本發明所採用的其中一技術方案是，在提供一種程式產品，可使電腦執行下述處理：藉由用以預測內容之類型的訓練完成NN模型，分類配發用內容的所屬類型，並於前述配發用內容標記所預測的類型；藉由用以對目標對象預測其容易轉換的內容類型之訓練完成NN模型，分類對任務目標對象而言容易轉換之內容的類型，並於前述任務目標對象標記所預測的類型；依被標記的類型，將前述配發用內容傳送至類型相對應的前述目標對象。

藉由上述本案發明，可使AI自動製作高轉換率且文章自然流暢的配發用內容。藉由上述本案發明亦可將上述配發用內容以AI決定之時間點提供至AI決定之容易轉換之對象。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

40:微調完成NN(微調完成神經網路)

401:輸入層

402:隱藏層

403:輸出層

1100:類型預測NN

1101:輸入層

1102:隱藏層

1103:輸出層

1400:通用機器

1401:中央處理裝置

1402:ROM

1403:RAM

1404:匯流排

1405:輸入/輸出介面

1406:輸入部

1407:輸出部

1408:記憶部

1409:通訊部

1410:驅動器

1411:抽取式媒體

圖1為本發明其中一實施型態的內容產生方法的流程圖。

圖2為本發明其中一實施型態的內容產生方法中所使用之GPT模型產生基礎內容的示意圖。

圖3為本發明其中一實施型態的內容產生方法中所使用之BERT模型產生推敲內容的示意圖。

圖4為本發明其中一實施型態的NN模型的構造示意圖。

圖5為舉例說明本發明其中一實施型態的學習資料所包含之過去的場景資料的參考圖。

圖6為舉例說明本發明其中一實施型態的學習資料所包含之過去的場景資料的參考圖。

圖7為舉例說明本發明其中一實施型態的學習資料所包含之提供自顧客的訴求資訊的參考圖。

圖8為舉例說明本發明其中一實施型態的學習資料所包含之使用於神經網路模型的任務預測學習資料的參考圖。

圖9為舉例說明自收到顧客委託，利用本發明的其中一實施型態的內容學習資料提供服務的整個流程的圖。

圖10為本發明其中一實施型態的內容提供方法的流程圖。

圖11為本發明其中一實施型態的內容提供方法中所使用的完成微調類型預測NN模型及完成微調使用者預測NN模型的構造示意圖。

圖12為用以說明本發明其中一實施型態的內容提供方法中所使用的完成微調類型預測NN模型及完成微調使用者預測NN模型中所使用的學習資料，包含文章類型任務預測學習資料及使用者CV類型任務預測學習資料的參考圖。

圖13為舉例說明提供配發用內容服務的流程的圖。

圖14為可實現本發明其中一實施型態的內容產生方法及內容提供方法的硬體構造圖。

以下是通過特定的具體實施例來說明本發明所公開有關“內容產生方法、內容提供方法、內容產生程式及內容提供程式”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

除非另有定義，本說明書中使用的所有技術和科學術語與本發明所屬領域的普通技術人員通常理解的含義相同。另外，除非在數量上另有說明，本說明書所使用的技術術語包含複數。

以下參考附圖，詳細說明本發明最佳實施型態。而本實施型態為一實施例並非用以限制本發明。

本發明的其中一態樣提供一種內容產生方法。以下參考圖1舉例說明本發明的一實施型態的內容產生方法的流程。

圖1為本發明其中一實施型態的內容產生方法的流程圖。如圖1所示，內容產生方法的其中一實施例的流程100可包含以下步驟：

步驟S101：藉由任務學習資料對已經預學習之GPT模型及已經預學習之BERT模型進行微調。

步驟S103：藉由任務預測學習資料對用以預測轉換率且經事前學習之NN(神經網路)模型進行微調。

步驟S105：將自任務學習資料的文章所選出的開頭句匯入微調完成GPT模型使其產生文章。

步驟S107：將步驟S105中所產生的文章輸入至微調完成BERT模型取出分散式表示(distributed expression)，並將餘弦相似度高者選為基礎內容(基礎文章)。

步驟S109：將步驟S107中選出的基礎文章輸入微調完成BERT模型隨機隱藏單詞並列舉替代該單詞的候補藉此產生推敲文章(推敲內容)。

步驟S111：藉由微調完成NN預測步驟S107所產生的推敲文章的轉換率，並篩選出可使轉換率提升之推敲文章的候補並將其回饋至微調完成BERT模型。

步驟S113：判斷步驟S111中推敲文章的提升程度是否已經收斂，若判斷已經收斂則進入步驟S115，若判斷尚未收斂則返回步驟S109。

步驟S115：將推敲文章作為配發用文章(配發用內容)並輸出。

後續將說明此流程100中像是任務學習資料及任務預測學習資料等各個詳細部分，但關於使用學習資料時，要預先將學習資料因應所應用的機器學習模型加以轉換成對應的形式，例如利用任務學習資料及任務預測學習資料於BERT模型時要將其轉換成向量序列等，由於是該技術領域中具有通常知識者可直接應用之常識，其轉換方式可依任意已知方式轉換，因此本說明書中省略關於這部分的說明。

近年來，深度學習中自然語言處理領域的相關研究非常盛行，其中廣泛地使用BERT模型及GPT模型。GPT模型係對於已預學習之模型進行加強訓練，以已知的模型參數進行微調，可在進行精確度高的預測而不用另外構建新的模型。特別是針對長篇文章的產出，GPT模型可製作出可被辨識為像人類寫成的文章這樣自然的文章。但是，GPT模型所產生的文章係基於過去的資訊將單詞排列並製作在文法上有一程度之章法的文章，但在長篇文章產生時可能會產生相同意思的單詞反覆出現，或結論矛盾的文章。另一方面，BERT模型中實現利用Transformer的雙向型的預學習，因此對文脈理解的精確度高。亦即，本發明的內容產生方法為了自動製作配發用文章，是利用了善於書寫下文的GPT模型，並加上善於文章的詞句變換(填空)，而可自動產生如人類寫成之通順自然的文章。

另外，不僅要做成如人類寫成的文章，為了使AI製作的配發用文章可達到與例如CVR增加、CPA減少或者LTV延長等行銷相關的目標，本發明之內容產生方法還運用了可預測轉換率的NN模型。詳言之，於用以預測轉換率之已預學習之NN模型輸入要預測文章的BERT分散式表示，並輸出轉換率(值為0~1之間)。當所輸出轉換率有提升時則將使用於該文章的候補反饋至BERT模型。

如此，可使BERT模型製作轉換率高的文章直到轉換率上升程度收斂為止。而在此所使用的NN模型只要可預測轉換率則不限其種類，例如可使用前饋神經網路(FFNN)、卷積神經網路(CNN)、或遞歸神經網路等已知神經網路。

接著基於圖2~4更具體說明應用於圖1所示方法中的GPT模型、BERT模型及NN模型的微調及使用機制的實例。

首先參考圖2。圖2為圖1所示內容產生方法中所使用之GPT模型產生基礎文章的示意圖。本實施型態中，最初使用的GPT模型是使用上傳至huggingface transformers之ckiplab/gpt2-base-chinese以做為GPT模型的預學習模型，然而預學習模型可依所需語言進行選用，本發明不加以限制。而本實施型態中，已預學習的GPT模型亦可是在實施內容生成方法當時已經進行過微調整的模型。例如亦可使用前個月微調完成GPT模型來進行本次微調。亦即，本發明的內容產生方法中，區別已預學習之GPT模型與微調完成GPT模型的方式，是看此次內容產生方法進行時，該GPT模型是否已經以新任務學習資料進行過微調。

一實施型態中，使用來微調GPT模型的學習資料包含有如後述所說明的：過去的場景資料、顧客提供的訴求資訊、及將訴求資訊在網路上檢索而得到的文章。本發明中所言文章是將包含文字、表情符號或圖像等多個文句加以串連而表達一整體思想的表現。表情符號或圖像可轉換為GPT可處理的形式。例如，表情符號可由事先預備的列表轉換為文字。圖像則可以已知的圖像分析方法轉換為文字。另外，從過去的任務學習資料中選出適當者作為檢測資料(test data)。

將任務學習資料輸入已預學習之GPT模型後進行微調。微調的訓練型樣值(epoch)優選為5次，但本發明對此沒有特別限定。其他的訓練參數為Huggingface transformers之TrainingArguments的預設值。當確認任務學習資料及檢測資料之損失減少則將已完成微調的GPT模型儲存為微調完成GPT模型。本實施型態中，當檢測資料的損失從減少反轉為增加時，則將反轉前一個順次之模型保存為儲存為微調完成GPT模型。

如此，於微調完成GPT模型輸入任務學習資料之文章的開頭句，可自動製作符合期望之基礎文章。

在理解圖2所示之GPT模型的微調過程及使用機制後，接下來基於圖3說明BERT模型的微調過程及使用機制。

首先參考圖3，圖3為圖1所示內容產生方法中所使用之BERT模型產生推敲文章的示意圖。最初使用的BERT模型是使用上傳至Huggingface Transformers之hfl/chinese-bert-wwm-ext來作為BERT模型的預學習模型，然而預學習模型可依所需語言進行選用，本發明不加以限制。而本實施型態中，已預學習的BERT模型亦可是在實施內容生成方法當時已經進行過微調整的模型。例如亦可使用前個月微調完成BERT模型來進行本次微調。亦即，本發明的內容產生方法中，區別已預學習之BERT模型與微調完成BERT模型的方式，是看此次內容產生方法進行時，該BERT模型是否已經以新任務學習資料進行過微調。

本實施型態中，使用於BERT模型之微調所使用的任務學習資料與檢測資料均與前述GPT模型微調時所使用的相同。

將任務學習資料輸入已預學習之BERT模型後進行微調。微調的訓練型樣值(epoch)優選為5次，但本發明對此沒有特別限定。其他的訓練參數為Huggingface transformers之TrainingArguments的預設值。當確認任務學習資料及檢測資料之損失減少則將已完成微調的BERT模型儲存為微調完成BERT模型。本實施型態中，當檢測資料的損失從減少反轉為增加時，則將反轉前一個順次之模型保存為儲存為微調完成BERT模型。

如此對微調完成BERT模型輸入GPT模型所產生之基礎文章，微調完成BERT模型可對基礎文章中的單詞隨機進行隱藏並推敲列舉替代該單詞之候補，最後輸出推敲文章及推敲文章的分散式表示。

理解如圖3所示之BERT模型的微調過程及使用機制後，以下參考圖4說明用以預測轉換率之微調完成NN模型的構造的實例。

參考圖4。圖4為用以說明圖1所示之內容產生方法所使用的NN模型(神經網路模型)的一般架構的示意圖。如圖4所示，圖1所示之實施型態之方法中所使用的NN模型包含NN40。NN40基本包含輸入層401、隱藏層402及輸出層403。輸入層401為供N次元之向量輸入而以N個神經元所構成，隱藏層402具有N/2個神經元，而輸出層403以1個神經元構成。若無特別說明，本發明中N為正整數。又，本實施型態中隱藏層402為1層，N為768，但隱藏層的層數及N值均可依實際需求調整，本案發明不以此為限。又，本實施型態中，隱藏層402的各神經元所使用的激活函數為線性整流函數(ReLU)，輸出層403的神經元所使用的激活函數為S型函數(sigmoid function)，但該等激活函數可視實際情況調整，本發明不以此為限。

又，由於本技術領域中具有通常知識者應可了解一般NN模型之原理、構造及具體細節，以下為便於說明僅簡單說明本發明中對已預學習之NN模型進行微調之實施例。其中一實施型態中，自圖4所示之左側將BERT模型所輸出之推敲文章的分散式表示(768次元向量)輸入至NN40的輸入層401，並由圖4所示的右側輸出轉換率(值為0~1之間)。本實施型態的內容產生方法在NN模型中使用了24個與上述NN40相同構造的神經網路，但本發明不以此為限。

其中一較佳實施例中，自如後述所說明之過去的場景資料取得場景文章及轉換率來做為任務預測學習資料。將任務預測學習資料輸入已預學習之BERT模型。自BERT模型的各層(除了詞嵌入層(Word embedding)外的12層)取出文本開頭[CLS]及文本末端[SEP]的分散式表示，而得到總共24種分散式表示(每一種均包含有768次元之向量)。接著，將該24種分散式表示分別輸入24個已預學習之NN40，得到共計24個輸出。計算與實際轉換率的差，並依此微調NN模型以使24個輸出之絕對值之總和接近零。微調完成後，微調完成NN模型在預測轉換率時則是使用24個輸出值的平均值。

接著就微調完成NN模型之於本實施型態之內容產生方法中的應用實例加以說明。將微調完成BERT模型所製作的推敲文章藉由微調完成NN模型預測轉換率，並篩選出可提升轉換率的候補反饋至微調完成BERT模型。反覆進行微調完成BERT模型所進行的推敲以及可提高轉換率之候補的反饋，可製作預測之轉換率的上升程度收斂的推敲文章。將該等推敲文章作為配發用文章(配發用內容)輸出，並結束本實施型態的內容產生方法的流程。

接著，請參考圖5~7，圖5~7為用來說明使用於BERT模型與GPT模型的任務學習資料的例子的圖。本實施型態中任務學習資料包含過去的場景資料、提供自顧客的訴求資訊、及/或將訴求資訊於網路上檢索得到的文章。

圖5係用以說明本實施型態的任務學習資料所包含之過去的場景資料的一個例子的參考圖。如圖5所示，過去的場景資料是例如公開或商務取向的聊天室中與目標使用者的對話記錄或問卷結果等與使用者互動所得到的資料。該等過去的場景資料的蒐集、分類或儲存，只要在特定期間內可以以特定分類得到特定數量的文章，可使用任何已知的資料收集、處理方法加以進行。

圖6係本實施型態的任務學習資料所包含之顧客提供之訴求資訊的一個例子的參考圖。在此所稱顧客是指委託以本發明之內容產生方法進內容製作服務者。例如，廣告主、行政機關、研究機關等。訴求資訊內容依顧客有所不同，但至少要包含與顧客所欲傳達思想有關之文章、及目標使用者相關的統計上的資訊。例如，圖6是假設顧客為廣告主時的訴求資訊的例子。圖中顧客所欲傳達思想有關之文章像是例如商品介紹、參考網站、優良成果等廣告訴求，而關於目標使用者的統計上的資訊則包含像是使用者的性別、年齡層等目標使用者的詳細資料。訴求資訊的取得可使用問卷由顧客方取得包含上述內容的資訊，然而亦可以其他已知的資料收集、處理方法來取得，本發明不以此為限。

圖7係本實施型態的任務學習資料所包含之將訴求資訊於網路上檢索得到之文章的一個例子的參考圖。為了使本發明的內容產生方法所製作出的文章在內容表現上更加豐富，會從訴求資訊選出幾個關鍵資訊，並於網路上進行檢索，而篩選出例如相關度或瀏覽數排行前十名的文章，作為訴求資訊於網路上檢索得到之文章。在此為了更進一步篩選使訴求資訊於網路上檢索得到之文章，亦可進一步使用已預學習之BERT模型的分散式表示，篩選出餘弦相似度高者，例如可選擇餘弦相似度為特定閥值以上者。本實施型態中，特定之閥值優選為0.9。另外，亦可以與訴求資訊相關的定稿文作為訴求資訊於網路上檢索得到之文章，但這樣可能會無法獲得最流行的文章表現方式，因此並不建議採用。

接著，請參考圖8。圖8為用以說明使用於NN模型之任務預測學習資料的實施型態的說明圖。本實施型態中，任務預測學習資料至少包含過去的場景文章、以及過去的場景文章與轉換值間之關聯性。本實施型態的任務預測學習資料例如於圖8所示的表中，B欄為場景文章、E欄為已經閱讀該場景文章的人數、G欄為購買(轉換)的人數。A欄是場景文章的識別碼，C欄是使用者進入場景文章之前所閱讀過文章的識別碼。例如閱讀過第二列文章的人為593人，其中有購買商品的人(顯示於第3列)的人為38人，因此轉換率為38/593=6.41%。當場景文章為多個文章所構成時，則以多個文章串連成的文章來做為一個場景文章使用。又，只要可取得過去的場景文章、以及過去的場景文章與轉換值之間的關聯性，取得該等資料的手段或資料的表現形式以已知的資訊處理方法進行即可，本發明不加以限定。

以上基於圖1~8說明了本發明之一實施型態的內容產生方法之流程及流程的詳細內容。接著以該實施型態為例參考圖9說明根據本發明之內容產生方法提供服務的一個實例。

圖9為自顧客委託開始整個服務提供的流程。

首先，對顧客以事先設計的問卷進行調查取得訴求資訊；將訴求資訊於網路上檢索並取得閱覽人數加相關度排名前十名的文章，並將其與訴求資訊、一定期間內(例如進行時間點開始至兩個月前的期間)的過去的場景資料彙整一起做為任務學習資料；以任務學習資料對已預學習之GPT模型及已預學習之BERT模型進行微調；以最新的任務預測學習資料對用以預測轉換率之已預學習之NN模型進行微調；對微調完成GPT模型輸入任務學習資料中文章的開頭語(5~10個字)，使其自動產生文章；在微調完成GPT模型所產生的文章中篩選出與訴求文章近似之文章作為基礎文章。該選擇使用微調完成BERT模型的分散式表示選擇餘弦相似度高者；藉由微調完成BERT模型進行基礎文章中單詞的隨機隱藏及列舉候補替換產生推敲文章，將推敲文章以微調完成NN模型預測轉換率並篩選出可提高轉換率之後補反饋至BERT模型並再次產生推敲文章；反覆上述推敲文章的產生與反饋直到預測出的轉換率的上升程度收斂。如此將最後推敲出來的文章輸出作為配發用文章，並結束流程。

藉由以上流程可產生多個配發用文章。

如此，自顧客委託開始可以AI自動產生轉換率高且文章自然流暢的配發用文章，因此不但配發用文章的產生效率極佳，亦可加強配發用文章與讀者(亦即消費者、目標使用者)的關聯性，最終可達到例如使CVR增加、CPA減少或LTV延長等與行銷相關的目標。又，本發明中的配發用文章可列舉例如彈出廣告、聊天機器人的談話材料、或推播通知的訊息等，然而本發明不以上述例子為限。

接著參考圖10，說明將本發明之內容產生方法所產生的配發用內容提供給目標使用者的內容提供方法的一實施型態。圖10係本發明之一實施型態之內容提供方法的一例示流程之流程圖。如圖10所示內容提供方法中例示流程1000可包含以下步驟：步驟S1001：藉由文章類型任務預測學習資料對用以預測內容(文章)之類型的已預學習的類型預測NN模型進行微調；步驟S1003：藉由使用者轉換類型任務預測學習資料對用以預測對目標使用者容易轉換之文章類型的已預學習的使用者預測NN模型進行微調；步驟S1005：對微調完成類型預測NN模型輸入要預測的配發用文章，以預測配發用文章的類型，並對配發用文章標記其類型；步驟S1007：對微調完成使用者預測NN模型輸入目標使用者資料，預測對目標使用者容易轉換的配發用文章類型，並對目標使用者標記其對應文章類型；及步驟S1009：因應標記於各配發用文章的類型對目標使用者提供該類型之配發用文章。

接著基於圖11說明上述所提及用以預測內容之類型的類型預測NN模型、及用以預測對目標使用者容易轉換之文章類型的使用者預測NN模型的構造的實例。

參考圖11。圖11係用以說明圖10所示內容提供方法中類型預測NN模型及使用者預測NN模型的一般結構的說明圖。如圖11所示圖10中使用的類型預測NN模型與使用者預測NN模型都包含有類型預測NN1100。類型預測NN1100基本包含有輸入層1101、隱藏層1102及輸出層1103。輸入層1101具有用以輸入N次元向量之N個神經元，隱藏層1102具有N/2個神經元，而輸出層1103具有4個神經元。沒有特別說明時本發明中N為正整數。又，本實施型態中隱藏層1102為一層，且N為768，輸出層的神經元數為4個，但隱藏層的層數、N值及輸出層的神經元數均可視實際情況調整，本發明不加以限制。又，本實施型態中，隱藏層1102的各神經元所使用的激活函數為線性整流函數，輸出層1103的神經元所使用的激活函數為S型函數，但該等激活函數可視實際情況調整，本發明不以此為限。

又，由於本技術領域中具有通常知識者應可了解一般NN模型之原理、構造及具體細節，以下為便於說明僅簡單說明本發明中對已預學習之類型預測NN模型及使用者預測NN模型進行微調之實施例。其中一實施型態中，已預學習之類型預測NN模型的微調係自圖11所示之左側將BERT模型所輸出文章類型任務預測學習資料中之預測文章的分散式表示(僅使用最深層的文本開頭[SLC]的分散式表示)輸入至類型預測NN1100的輸入層1101，並由文章類型任務預測學習資料中的類型個數(本實施例中為4個)的神經元所構成的輸出層1103分別輸出預測文章是各個類型的機率(值為0~1之間)，並依與實際類型進行微調。同樣地，已預學習之使用者預測NN模型的微調係自圖11所示之左側輸入使用者類型任務預測學習資料，輸入至類型預測NN1100的輸入層1101，並由使用者類型任務預測學習資料中的類型個數(本實施例中為4個)的神經元所構成的輸出層1103分別輸出目標使用者對各個類型的場景轉換(CV)的機率(值為0~1之間)，並依與實際機率進行微調。

接著就於上述圖10的內容提供方法之實施型態中使用微調完成類型預測NN模型及微調完成使用者預測NN模型的實例加以說明。詳言之，一較佳實施例中，將如後所述的待預測配發用文章輸入至已預學習之BERT模型，得到其分散式表示(僅使用最深層的文本開頭[CLS]的分散式表示)。接著，將BERT模型的分散式表示輸入至微調完成類型預測NN模型，將機率最高的類型標記至該預測對象之配發用文章。其中一較佳實施例中，將如後所述之目標使用者資料輸入至微調完成使用者預測NN模型將機率最高的類型標記至該目標使用者。根據配發用文章及目標使用者所標記之類型，對應地將配發用文章提供給目標使用者。

請續請參考圖8及圖12。圖8及圖12為使用在微調完成類型預測NN模型及微調完成使用者預測NN模型中的文章類型任務預測學習資料及使用者類型任務預測學習資料的例子。本實施型態中，學習資料包含過去的場景文章、文章類型及目標使用者資料。

如圖8所示的表中，登錄有文章類型任務預測學習資料。例如表中B欄為場景文章，F欄為文章類型，均可歸類為文章類型任務預測學習資料。本實施型態中文章類型分為價格加強(強調商品的價錢便宜的場景)、效果加強(強調商品效果卓越的場景)、名人加強(強調商品為名人使用的場景)、CV值加強(加強推薦回購客的場景)等四個種類。另一方面，如圖12中，登錄有使用者類型任務預測學習資料。例如A欄為選項一覽，B欄為選擇該選項的使用者數，C欄為其中轉換(例如購買)的使用者數，D欄以後為就各種類型場景轉換的使用者數。進而讀取各個場景文章的類型。將上述資料組合，可計算選擇各選項的使用者會由於哪種類型的文章而被轉換(例如購買)的相關機率。這種呈現使用者資料與容易轉換的場景類型的資料則為使用者類型任務預測學習資料。而該等資料的收集、分類或儲存等可以任意已知的資料收集、處理手段進行，本發明不加以限制。

圖13係用以說明提供配發用內容之整個服務流程的示意圖。

以最新的文章類型任務預測學習資料以及使用者類型任務預測學習資料作為學習資料，對已預學習之類型預測NN模型及已預學習之使用者預測NN模型進行微調，藉此選出提供配發用文章的對象。

使用微調完成類型預測NN模型及微調完成使用者預測NN模型，預測發送用文章的類型、以及對各個目標使用者來說容易轉換的文章類型。

將以上程序所選出，對各個目標使用者來說容易轉換的文章類型的發送用文章相對應地傳送至各個目標使用者。

要別說明的是，傳送之後各使用者閱讀過之場景、在場景中選擇過之選項、及哪種場景可達到轉換的目的等等資料會留存在伺服器中供下次學習使用。又，本實施型態之內容提供方法亦可因應顧客需求提供配發用文章以達成其他目的。例如，本發明另一實施型態中，將提高轉換率的目標改為延伸顧客生涯(LT)時，可在上述實施型態的內容提供方法再加上利用例如預測提供時間點的NN模型，該提供時間點是傳送配發用文章(例如推播通知)而使目標使用者對首頁存取率更高的時間點。如此可應用於實現各種目標。

本發明另一實施型態提供一種資訊處理裝置。資訊處理裝置的處理器可為用以執行上述圖1、10所說明之內容產生方法及內容提供方法、以及其等之各步驟的操作及/或處理，並實現相似效果的構造，而在此省略其說明。又，處理器中使用的NN模型可採用實現並優化如圖4、11所說明之模型的構造的同等構造。

圖14係用以實現本發明之實施型態中內容產生方法、內容提供方法及資訊處理裝置的硬體構造(通用機器)1400的構造圖。

通用機器1400可為例如電腦系統。又，通用機器1400僅唯一範例，不用來限定本案方法及裝置的應用範圍及功能。又，通用機器1400不被上述方法或裝置中任何模型化構造、組件或其組合所限制。

圖14中，中央處理裝置(CPU)1401基於儲存於ROM1402之程式產品或自儲存部1408載入至RAM1403的程式產品(內容產生程式、內容提供程式)進行各種處理。RAM1403可因應需求記憶CPU1401進行各種處理所必須之資料。CPU1401、ROM1402及RAM1403經由匯流排1404相互連接。另外，輸入/輸出介面1405亦與匯流排1404連接。

又，輸入/輸出介面1405進而與下述構件連接，像是包含鍵盤等輸入部1406、包含顯示器及揚聲器等輸出部1407、包含硬碟等儲存部1408、以及包含像是LAN卡等網卡或數據機之通訊部1409等。通訊部1409經由例如網際網路、LAN等網路進行通訊處理。驅動器1410因應需求亦可連接於輸入/輸出介面1405。亦可因應需求於驅動器1410裝設像半導體記憶體等抽取式媒體1411，藉此可將從中讀取之程式產品安裝至記憶部1408。

又，本發明更提供包含機器可讀取指令碼的程式產品。如此之指令碼藉由機器加以讀取執行時，可實施上述本發明實施型態之方法。當然，載置該程式產品的各種記憶媒體，例如磁碟、光碟、光磁碟、及半導體記憶體等均包含於本發明中。

又，上述方法中各操作(處理)亦可以記錄在各機器可讀取媒體中之電腦可執行的程式來加以實現。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

S101~S113:步驟

Claims

一種內容產生方法，係用於自訴求人對目標對象提供配發用內容，且於電腦中執行下述步驟：取得步驟，自前述訴求人取得訴求資訊；基礎內容產生步驟，基於前述訴求資訊，藉由以任務學習資料實施機器學習之訓練完成GPT模型，產生基礎內容；推敲步驟，藉由以任務學習資料實施機器學習之訓練完成BERT模型，將前述基礎內容中隨機單詞隱藏並列舉用以取代前述單詞之候補，進行前述基礎內容之推敲；反饋步驟，藉由以任務預測學習資料進行訓練的訓練完成NN模型預測前述推敲步驟中所推敲出之文章的轉換率，篩選出提升轉換率之前述候補並反饋至前述推敲步驟；以及配發用內容產生步驟，反覆進行前述推敲步驟及前述反饋步驟，並將轉換率上升收斂之內容產生為前述配發用內容。
如請求項1所記載之內容產生方法，其中前述任務學習資料包含過去的場景資料、前述訴求資訊、或者前述訴求資訊在網路上搜尋排名前幾名的內容，前述過去的場景資料包含聊天機器人與前述目標對象的對話內容。
如請求項2所記載之內容產生方法，其中於前述NN模型的訓練係使用已預學習之前述BERT模型所產生之任務預測學習資料的分散式表示，前述任務預測學習資料是以前述過去的場景資料與轉換率間的關聯所構成的資料。
如請求項2所記載之內容產生方法，其中前述任務學習資料包含自網路擷取之內容中與前述過去的場景資料餘弦相似度超過一定閥值的內容。
如請求項4所記載之內容產生方法，其中前述任務學習資料包含自網路擷取之資料、或預先準備於資料庫的資料；與前述過去的場景資料餘弦相似度超過一定閥值的前述內容是透過訓練完成之BERT模型進行內容的餘弦相似度的測定而擷取。
如請求項1至5中任一項所記載之內容產生方法，其中前述訴求資訊係至少包含前述訴求人期望表達思想的內容、以及期望表達之前述目標對象的統計性資料。
如請求項1至5中任一項所記載之內容產生方法，其中前述配發用內容係供聊天機器人對話所使用之訊息、或推播通知用之訊息。
一種內容提供方法，係於電腦中執行下述步驟：藉由用以預測內容之類型的訓練完成NN模型，預測如請求項1至7中任一項所記載的內容產生方法中所產生的配發用內容的類型，並於前述配發用內容標記所預測的類型；藉由用以對不同的目標對象預測各自的容易轉換的內容的類型之訓練完成NN模型，預測對任務目標對象而言容易轉換之內容的類型，並於前述任務目標對象標記所預測的類型；依被標記的類型，將前述配發用內容傳送至類型相對應的前述目標對象。
一種內容產生程式，係用於自訴求人對目標對象提供配發用內容，係使電腦執行下述處理：自前述訴求人取得訴求資訊；基於前述訴求資訊，藉由以任務學習資料實施機器學習之訓練完成GPT模型，產生基礎內容；藉由以任務學習資料實施機器學習之訓練完成BERT 模型，將前述基礎內容中隨機單詞隱藏並列舉用以取代前述單詞之後補，進行前述基礎內容之推敲；藉由以任務預測學習資料實施機器學習之訓練完成NN模型預測由前述BERT模型所推敲之文章的轉換率，篩選出提升該文章之轉換率之前述候補，並反饋至前述BERT模型的推敲；以及反覆進行前述BERT模型之推敲及前述NN模型之反饋，並將轉換率上升收斂之內容產生為配發用內容。
一種內容提供程式，係使電腦執行下述處理：藉由用以預測內容之類型的訓練完成NN模型，預測如請求項9所記載的內容產生程式中所產生的配發用內容的類型，並於前述配發用內容標記所預測的前述類型；藉由用以對不同的目標對象預測其各自的容易轉換的內容的類型之訓練完成NN模型，預測對任務目標對象而言容易轉換之內容的類型，並於前述任務目標對象標記所預測的類型；依被標記的類型，將前述配發用內容傳送至類型相對應的前述目標對象。