TWI599221B - 以電腦視覺基礎實現的自動廣告中插及播放方法 - Google Patents

Description

以電腦視覺基礎實現的自動廣告中插及播放方法

本發明涉及一種廣告的中插與播放方法，尤其涉及一種自動的廣告中插與播放方法。

一直以來，廣告都是吸引消費者進行消費或從事特定活動的最佳方式。鑑於網際網路的發達，除了真實世界以外，現今在網路上的廣告市場亦出現了很大的競爭。並且，隨著網路傳輸技術的成熟，網路廣告也慢慢的從平面網頁中的廣告轉變成網路視頻中的廣告。

目前市場上的視頻廣告主要可分為貼片廣告模式及中插廣告模式兩種。貼片廣告模式是在用戶請求播放一視頻後，先強制性播放一廣告，並於該廣告播放完畢後再播放用戶請求的該視頻。中插廣告模式則是於該視頻播放到一特定段落時直接插入播放一則廣告，並於該廣告播放完畢後再繼續播放該視頻的剩餘片段。

一般來說，一視頻網站無論是採用貼片廣告模式或中插廣告模式，主要皆是播放取得廣告權的廠商所提供的廣告，但該視頻網站無法確保該廣告與該視頻在內容上相關性，因而廣告的效益實難以提昇。

另外，目前的中插廣告模式一般是透過人工方式尋找該視頻中可以被插入該廣告的位置(例如場景切換的畫面)，再經由後製將該廣告插入該位置中，但這樣的做法需耗費相當大的人力成本。再者，對用戶而言，中插廣告是在該視頻的播放過程中突然出現的，故容易因為突兀感而對該廣告感到反感，反而令該廣告產生負面效果。

本發明的主要目的，在於提供一種以電腦視覺基礎實現的自動化廣告中插及播放方法，可確保中插廣告與插入點的前、後兩個分鏡具有關聯性，並且同時提高前分鏡、中插廣告及後分鏡在播放上的畫面流暢度。

為了達成上述之目的，本發明自動對一視頻內容進行分析，以取得該視頻內容中的多個分鏡，並且分別取得各該分鏡中包含的各項標的物的一標的物資訊，以及與視覺畫面相關的一底層資訊。接著，對每一相鄰的前、後兩個分鏡以及候選的廣告內容的該標的物資訊以及該底層資訊進行匹配，以決定該視頻內容中的一或多個中插點，以及與各該中插點相關聯的一或多筆中插廣告。

本發明是同時對每一相鄰的前、後兩個分鏡以及廣告內容三方的資訊進行匹配，以決定一個視頻內容中的中插點的位置及數量，以及與各該中插點有高度相關性而可被插入各該中插點的中插廣告。因此，本發明相對於現有技術所能達到的技術功效在於，通過對標的物資訊的分析，可確保各該中插點的前、後兩個分鏡及中插廣告在內容上具有高度關聯性，藉此提昇用戶對於中插廣告中出現的標的物的注意力，進而強化廣告效果。

並且，通過對底層資訊的分析，可提高各該中插點的前分鏡、中插廣告及後分鏡在播放上的畫面流暢度，進而減少視頻內容與中插廣告在切換播放時的突兀感，進而令用戶不會對於中插廣告產生反感。

1‧‧‧視頻伺服器

11‧‧‧視頻內容

2‧‧‧廣告伺服器

21‧‧‧廣告內容

3‧‧‧用戶終端

4‧‧‧分析後視頻內容

41‧‧‧第一分鏡

42‧‧‧第二分鏡

43‧‧‧第三分鏡

44‧‧‧第四分鏡

45‧‧‧第五分鏡

46‧‧‧第六分鏡

47‧‧‧第七分鏡

51‧‧‧第一中插點

52‧‧‧第二中插點

S10~S18‧‧‧廣告內容分析步驟

S280~S294‧‧‧匹配步驟

S20~S34‧‧‧視頻內容分析步驟

S40~S58‧‧‧播放步驟

S60~S84‧‧‧播放步驟

圖1為本發明的第一具體實施例的廣告中插與播放系統示意圖。

圖2為本發明的第一具體實施例的廣告內容分析流程圖。

圖3為本發明的第一具體實施例的視頻內容分析流程圖。

圖4為本發明的第一具體實施例的分析後視頻內容示意圖。

圖5為本發明的第一具體實施例的匹配流程圖。

圖6為本發明的第一具體實施例的視頻內容播放流程圖。

圖7為本發明的第二具體實施例的視頻內容播放流程圖。

茲就本發明之一較佳實施例，配合圖式，詳細說明如後。

參閱圖1，為本發明的第一具體實施例的廣告中插與播放系統示意圖。本發明揭露了一種以電腦視覺基礎實現的自動廣告中插及播放方法(下面簡稱為該方法)，該方法運用於圖1所示的廣告中插與播放系統(下面簡稱為該系統)。

該系統具有用於存放複數視頻內容11並提供視頻播放服務的一視頻伺服器1，及用於存放複數廣告內容21並提供廣告播放服務的一廣告伺服器2。該系統藉由網路系統開放給用戶通過一用戶終端3來連接使用，藉此，該 用戶終端3可於網路上選擇、存取並播放該些視頻內容11與該些廣告內容21。較佳地，該些廣告內容12是經過處理並分別插入該些視頻內容11中的，當該用戶終端3播放該些視頻內容11時，會於特定條件符合時自動播放該些廣告內容21，並於該些廣告內容21播放完畢後再繼續播放該些視頻內容11。

於一較佳實施例中，該視頻伺服器1與該廣告伺服器2可整合為單一伺服器，而不以完全獨立的兩台伺服器為限。再者，該視頻伺服器1與該廣告伺服器2也可分別以分散式架構來實現，而不以單一台伺服器為限，不加以限定。

請同時參閱圖2，為本發明的第一具體實施例的廣告內容分析流程圖。本發明的主要技術特徵在於，通過一自動分析演算法(圖未標示)自動對該些視頻內容11與該些廣告內容21進行分析，以得出各該視頻內容11與各該廣告內容21的關聯性(本發明中所稱之關聯性，包括與視頻內容成份相關的關聯性及與視覺畫面相關的關聯性)。

具體地，本發明主要是分析各該視頻內容11與各該廣告內容21的一標的物關聯性(即，內容中是否出現相同的標的物)及一畫面關聯性(即，畫面中的色彩、結構是否相同或相似)，藉此，判斷各該視頻內容11中的哪些位置可以被設定為一插入點，同時判斷哪些廣告內容21可以被插入各該插入點中。為達到上述目的，本發明首先需對該廣告伺服器2中的該些廣告內容21分別進行前處理程序。

如圖2所示，首先，該自動分析演算法匯入要分析的一個該廣告內容21(步驟S10)，接著對該廣告內容21執行一內容分析程序，以取出該廣告內容21中的一廣告標的物資訊(步驟S12)。具體地，該廣告標的物資訊至少記錄 該廣告內容21中所包含的各項標的物，並且還可記錄各該標的物於該廣告內容中出現的位置、起始時間及終止時間等資訊，不加以限定。

本實施例中，該標的物可包括人物(Face)、物件(Object)、商標(Logo)、場景(Scene)、動作(Motion)及文字(Text)等至少六種類別，該步驟S12是通過影像辨識手段，分析該廣告內容21中是否有上述六種類別的標的物出現(例如電影明星(人物)、手機(物件)、可口可樂標誌(商標)、辦公室(場景)等標的物)。惟，上述六種類別僅為本發明的一較佳具體實例，但不以此為限。

除了該步驟S12之外，該自動分析演算法同時對該廣告內容21執行一視覺畫面分析程序，以取出該廣告內容21的一廣告底層資訊(步驟S14)。該廣告底層資訊記錄該廣告內容21的一視覺畫面組成。本發明中，該視覺畫面組成指的是該自動分析演算法所能識別的電腦視覺(Computer Vision)，即，該廣告底層資訊主要記錄該廣告內容21中的像素資訊，具體地，藉由該像素資訊識別並記錄該廣告內容21中整體畫面的色彩組成及畫面架構，例如畫面中的藍色天空、灰色水泥地面、白色牆面等。

本發明中，該步驟S12與該步驟S14沒有執行上的順序關係，該自動分析演算法可依據設計先分析該廣告標的物資訊或該廣告底層資訊，或者也可通過多工方式同時分析該廣告標的物資訊與該廣告底層資訊，不加以限定。

該步驟S12與該步驟S14後，該自動分析演算法進一步記錄該廣告標的物資訊及該廣告底層資訊(步驟S16)，以於後續的視頻分析及中插點判斷時使用(容後詳述)。最後，該自動分析演算法判斷該廣告伺服器2中的該些廣告內容21是否已全部分析完成(步驟S18)，若尚未將所有的該廣告內容21皆分析 完成，則再次執行該步驟S10至該步驟S16，以分析下一個該廣告內容21。若該廣告伺服器2中的該些廣告內容21已全部分析完成，則結束本次分析程序。

續請參閱圖3，為本發明的第一具體實施例的視頻內容分析流程圖。本實施例主要僅以分析單一個該視頻內容11為例，進行說明。然而，本發明實可通過相同或相近的分析方法對存放於該視頻伺服器1中的所有該視頻內容11進行分析，並對該視頻伺服器1後續新增的一或多個該視頻內容11進行即時分析。

首先，該自動分析演算法匯入要分析的一個該視頻內容11(步驟S20)，接著，對該視頻內容11進行分析，以取出該視頻內容11中的多個分鏡(步驟S22)。

具體地，本實施例中該自動分析演算法主要是對該視頻內容11中的每一幀畫面進行成份分析(例如分析每一幀畫面中包含的像素資訊)，由成份分析偵測場景變換，並且將每一次場景變換間的多幅幀畫面視為同一個分鏡。

該步驟S22後，該自動分析演算法可以取得該視頻內容中的多個分鏡，並且分別對各該分鏡進行前述該內容分析程序，以分別取出各該分鏡的一視頻標的物資訊(步驟S24)。值得一提的是，該些視頻標的物資訊與前述該廣告標的物資訊相似，是分別記錄各該分鏡中所包含的一標的物，並且還可記錄該標的物於各該分鏡中出現的位置、起始時間及終止時間等資訊。同樣地，該標的物可例如包括人物、物件、商標、場景、動作及文字等類別，但不加以限定。

除了該步驟S24之外，該自動分析演算法還可分別對各該分鏡進行前述該視覺畫面分析程序，以分別取出各該分鏡的一視頻底層資訊(步驟S26)。本實施例中，該些視頻底層資訊與前述該廣告底層資訊相似，是分別記錄各該分 鏡的一視覺畫面組成，即如前文中所述的各該分鏡整體畫面的色彩組成及畫面架構。

值得一提的是，本發明的其中一目的是通過對視覺畫面的分析來找到較佳的中插點以及可被插入的廣告內容，藉此提高該中插點的前、後兩個分鏡以及中插廣告三者在播放上的畫面流暢度(即，由前分鏡切換至該中插廣告，再從該中插廣告切換至後分鏡，但不會令畫面產生突兀感)。有鑑於此，於該步驟S26中，該自動分析演算法可以僅對各該分鏡與其他分鏡的一銜接處的多幅幀畫面進行分析，以取得該些視頻底層資訊，而不需完整分析整個分鏡中的所有幀畫面。如此一來，可大幅加快分析速度，並降低執行該自動分析演算法的電腦(圖未標示)之工作量。

值得一提的是，該步驟S24與該步驟S26沒有執行上的順序關係，該自動分析演算法可依據設計先分析該視頻標的物資訊或該視頻底層資訊，或者也可通過多工方式同時分析該視頻標的物資訊與該視頻底層資訊。

該步驟S24與該步驟S26後，該自動分析演算法分別取得該些廣告內容21的該廣告標的物資訊及該廣告底層資訊，並且對該視頻內容11中每一相鄰的兩個該分鏡的該視頻標的物資訊與該視頻底層資訊，以及各該廣告內容21的該些廣告標的物資訊及該些廣告底層資訊分別進行匹配(步驟S28)。並且，該自動分析演算法依據匹配結果，決定該視頻內容11中適合被用來插入廣告的一或多個中插點，並且於該些廣告內容21中決定與該一或多個中插點相關聯的一或多個中插廣告(步驟S30)。

具體地，於該步驟S28中，該自動分析演算法是依據該些視頻標的物資訊與該些廣告標的物資訊判斷每一相鄰的兩個該分鏡與各該廣告內容21 中是否出現相同的該標的物。並且，於該步驟S28中，該自動分析演算法還依據該些視頻底層資訊與該些廣告底層資訊判斷每一相鄰的兩個該分鏡與各該廣告內容21所包含的每一像素的差值，以確定每一相鄰的兩個該分鏡與各該廣告內容21的關聯性。

更具體地，本實施例中主要是依據下列條件判斷兩個分鏡之間的位置是否適合做為該中插點：(1)相鄰的兩個該分鏡及任一該廣告內容21中是否存在相同的標的物(例如電影明星、汽車、手機、廠牌等)；(2)相鄰的兩個該兩個分鏡及前述廣告內容21的視覺畫面組成是否相近(例如畫面顏色相似、畫面結構相近等)。

舉例來說，若在一個分鏡中男主角把車子開走，而在相鄰的下一個分鏡中男女主角在車上談話，表示相鄰的兩個分鏡具有相同的標的物“車子”。因此，若該些廣告內容21中有任一廣告內容21是車子在街道上奔馳的汽車廣告，則該自動分析演算法會在經過分析後，將上述兩個分鏡之間的位置視為一個中插點，並且將該汽車廣告做為關聯於該中插點的一個中插廣告。於本實施例中，當用戶在觀看該視頻時，會先看到男主角把車子開走的畫面，接著看到車子在街道上奔馳的畫面，最後看到男女主角在車上談話的畫面。由於相鄰的兩個分鏡及該中插廣告具有高度的相關性，因此可以大幅降低該中插廣告在該視頻的中間播放的突兀感。

當該自動分析演算法完成了該視頻內容11的分析後，會記錄在該步驟S28中取得的該一或多個中插點及各該中插點所分別關聯的一或多個該中插廣告(步驟S32)。據此，該視頻伺服器1日後於播放該視頻內容11時，可在播放至各該中插點時播放對應的各該中插廣告(步驟S34)。

值得一提的是，於一實施例中，該自動分析演算法可在該步驟S32後，依據取得的該一或多個中插點及該一或多個中插廣告直接生成一個新視頻內容並儲存於該視頻伺服器1。該新視頻內容為前述該視頻內容11、該些中插點及該些中插廣告的組合。藉此，當用戶通過該視頻伺服器1播放該新視頻內容後，即會在各該中插點自動播放對應的各該中插廣告。

較佳地，若一個中插點同時關聯於多個中插廣告，則該自動分析演算法主要是採用關聯性最高的一個該中插廣告(例如與前、後兩個分鏡具有最多相同的標的物，或是視覺畫面與前、後兩個分鐘最為相近的中插廣告)，以插入該中插點，但不以此為限。

於另一實施例中，該自動分析演算法亦可在分析後，僅將所記錄的各該中插點及各該中插廣告關聯至該視頻內容11(例如通過表格或旗標記錄對應關係)。並且，於用戶要求播放該視頻內容11時，再依據實際情況於適當的中插點播放對應的中插廣告(容後詳述)。

請同時參閱圖4，為本發明的第一具體實施例的分析後視頻內容示意圖。圖4揭露了一分析後視頻內容4。於圖4的實施例中，該自動分析演算法可在分析後得到該分析後視頻內容4中共包含一第一分鏡41、一第二分鏡42、一第三分鏡43、一第四分鏡44、一第五分鏡45、一第六分鏡46及一第七分鏡47等七個分鏡。其中，一第二分鏡42與相鄰的一第三分鏡43之間適合做為一第一中插點51，並且一第五分鏡45與相鄰的一第六分鏡46之間適合做為一第二中插點52。

於圖4的實施例中，該第一分鏡41與相鄰的該第二分鏡42之間、該第三分鏡43與相鄰的該第四分鏡44之間、該第四分鏡44與相鄰的該第五分 鏡45之間及該第六分鏡46與相鄰的該第七分鏡47之間，並不適當做為廣告的中插點。具體地，兩個相鄰的分鏡之間不適合做為該中插點的原因有下列幾個：(1)兩個相鄰的分鏡彼此之間不存在相同的標的物；(2)兩個相鄰的分鏡彼此之間的視覺畫面差異太大；(3)兩個相鄰的分鏡之間有關聯性，但找不到與該二分鏡具有相同標的物的該廣告內容21；(4)兩個相鄰的分鏡之間有關聯性，但找不到與該二分鏡具有相似的視覺畫面組成的該廣告內容21。

值得一提的是，該分析後視頻內容4中可包含一個或一個以上的該中插點，並且每一個該中插點可被關聯至一個或一個以上的該廣告內容21。如圖4所示，該第一中插點51可關聯至四個該廣告內容21，其中一第一廣告內容與該第一中插點51前、後的該第二分鏡42與該第三分鏡43的關聯性為92%、一第二廣告內容與該第二分鏡42與該第三分鏡43的關聯性為89%、一第三廣告內容與該第二分鏡42與該第三分鏡43的關聯性為89%、一第四廣告內容與該第二分鏡42與該第三分鏡43的關聯性為85%。

於一實施例中，該自動分析演算法可僅將關聯性最高的該第一廣告內容設定為要插入該第一中插點51的中插廣告。於另一實施例中，該自動分析演算法可對關聯性高於一門檻值(例如80%)的該第一廣告內容至該第四廣告內容進行如圖4所示的排序動作，並且於播放該分析後視頻內容4時，再依實際狀況選擇在該第一中插點51播放該第一廣告內容至該第四廣告內容的其中之一。

另外，於本實施例中該第二中插點52僅關聯至一個該廣告內容21，具體地，一第五廣告內容與該第二中插點52前、後的該第五分鏡45與該第 六分鏡46的關聯性為90%。因此，當該分析後視頻內容4播放至該第二中插點52時，將只會播放該第五廣告內容，而不會有任何的選擇程序。

續請參閱圖5，為本發明的第一具體實施例的匹配流程圖。圖5是對圖3中的步驟S28做更進一步的說明，以清楚揭示該自動分析演算法如何依據所得的資訊對視頻內容中的各個分鏡與各個廣告內容進行匹配。

如圖5所示，該自動分析演算法在完成了對該視頻內容11與各該廣告內容21的分析後，分別取得每一相鄰的兩個該分鏡的各該視頻標的物資訊以及各該廣告內容21的各該廣告標的物資訊(步驟S280)，並且依據該些視頻標的物資訊與該些廣告標的物資訊分別計算該二分鏡與各該廣告內容21的一標的物相似度(步驟S282)。

具體地，於該步驟S282中，該自動分析演算法是通過影像辨識技術判斷該二分鏡與各該廣告內容21中是否存在相同的標的物，並且再依據判斷結果產生該標的物相似度。於一實施例中，該標的物相似度為一數值，並與該二分鏡及各該廣告內容21的畫面中存在的相同標的物的數量成正比。於另一實施例中，該標的物相似度為布林函數，並且於該二分鏡及各該廣告內容21的畫面中存在任一相同標的物時被設定為1(True)，而於該二分鏡及各該廣告內容21的畫面中不存在任何相同標的物時被設定為0(False)。然而，上述說明僅為本發明的具體實施例，但不應以此為限。

另外，該自動分析演算法還分別取得每一相鄰的兩個該分鏡的各該視頻底層資訊以及各該廣告內容21的各該廣告底層資訊(步驟S284)，並且依據該些視頻底層資訊與該些廣告底層資訊進行該視覺畫面分析程序。

具體地，該自動分析演算法先依據該些視頻底層資訊對該二分鏡中的複數幀畫面進行一奇異值分解(Singular Value Decomposition,SVD)，以取出一視頻特徵向量(步驟S286)，接著，依據各該廣告底層資訊分別對各該廣告內容21中的複數幀畫面進行相同的計算(即，通過該奇異值分解建構相同的模型)，以分別取出各該廣告內容21的一廣告特徵向量(步驟S288)。具體地，於該步驟S286與該步驟S288中，該自動分析演算法主要是採用該二分鏡的一銜接處的複數幀畫面來計算該視頻特徵向量，並分別採用各該廣告內容21與該二分鏡的一銜接處的複數幀畫面來計算該廣告特徵向量，但不以此為限。

該步驟S288後，該自動分析演算法將該視頻特徵向量分別與各該廣告特徵向量進行一向量乘積，以分別為該二分鏡與各該廣告內容21計算一畫面相似度(步驟S290)。值得一提的是，該自動分析演算法可以先執行該步驟S280至該步驟S282以先取得該些標的物相似度，或先執行該步驟S284至該步驟S288以先取得該些畫面相似度。再者，該自動分析演算法亦可通過多工處理，同時計算並取得該些標的物相似度與該些畫面相似度，不加以限定。

最後，該自動分析演算法依據該些標的物相似度及該些畫面相似度分別對該二分鏡及各該廣告內容21進行匹配(步驟S292)。若匹配成功，則該二分鏡之間的位置可以被視為該中插點，並且關聯至匹配成功的一或多個該廣告內容21。如此一來，視頻業者或廣告業者不需再以人工方式於該視頻內容21中尋找可利用的中插點，並且再以人工方式選擇適當的廣告來插入該中插點。因此，人力成本可以被有效地節省。

該步驟S292後，該自動分析演算法判斷是否所有相鄰的兩個分鏡皆已被分析完成(步驟S294)，若尚有未被分析完成的分鏡，則再次執行該步驟 S280至該步驟S292，以持續於該視頻內容11中尋找可利用的該中插點。若所有相鄰的分鏡皆已被分析完成，則該自動分析演算法完成本次的匹配動作，並且接續執行圖3所示的該步驟S30，以記錄所取得的一或多個該中插點，以及各該中插點所關聯的一或多個該中插廣告。

如前文中所述，本發明中，該自動分析演算法主要可辨識各該分鏡與各該廣告內容21中是否有人物、物件、商標、場景、動作及文字等六個種類的標的物出現，因此於該步驟S282中，該自動分析演算法可依據上述六種類別分別計算相鄰的兩個分鏡與各該廣告內容21的六項標的物相似度。

承上所述，本發明中，該自動分析演算法可以針對相鄰的兩個分鏡與各該廣告內容21分別計算產生六項標的物相似度及一項畫面相似度，並且於該步驟S292中，該自動分析演算法可以依據該六項標的物相似度及該畫面相似度等七項相似度來進行加權計算，並且再依據加權結果對相鄰的兩個分鏡與各該廣告內容21分別進行匹配。惟，上述僅為本發明的一個具體實施例，但不以此為限。

參閱圖6，為本發明的第一具體實施例的視頻內容播放流程圖。圖6是對圖3中的步驟S34做更進一步的說明，以清楚揭示在該些視頻內容11已被分析完成後，該視頻伺服器1如何播放該些視頻內容11。

首先，該視頻伺服器1接受該用戶終端3通過網路的登入動作(步驟S40)，並且接受該用戶終端3的一用戶操作，以於該些視頻內容11中選擇其一並據以播放(步驟S42)。於該視頻內容11的播放期間，該視頻伺服器1判斷是否播放至該視頻內容11中的一中插點(步驟S44)，同時判斷該視頻內容11是否播放完畢(步驟S46)。於該視頻內容11尚未播放至任一該中插點，且該視頻內容 11尚未播放完畢時，該視頻伺服器1回到該步驟S44以繼續判斷。於該視頻內容11播放完畢時，該視頻伺服器1結束本次的播放動作。

於該視頻內容11播放至任一該中插點時，該視頻伺服器1暫停播放該視頻內容11(步驟S48)，並且於該視頻內容11暫停播放後，播放與該中插點相關聯的該中插廣告(步驟S54)。

具體地，如前文中所述，一個該中插點可能同時關聯於一個以上的該中插廣告。本實施例中，該視頻伺服器1於該步驟S48後，可進一步判斷該中插點是否具有多個相關聯的該中插廣告(步驟S50)，並且於該中插點確實有多個相關聯的該中插廣告時，於其中選擇與該中插點前、後兩個分鏡的關聯性最高的中插廣告做為一最佳中插廣告(步驟S52)。並且，該視頻伺服器1於該步驟S54中播放該最佳中插廣告。

該視頻伺服器1於該中插廣告(該最佳中插廣告)的播放過程中持續判斷該中插廣告是否播放完畢，並且於該中插廣告播放完畢後恢復該視頻內容11的播放動作(步驟S56)。接著，該視頻伺服器1判斷該視頻內容11是否播放完畢(步驟S58)，並且於該視頻內容11播放完畢之前重覆執行該步驟S44至該步驟S56，以持續播放該視頻內容11，並於該視頻內容11中的各該中插點分別播放相關聯的各該中插廣告。

參閱圖7，為本發明的第二具體實施例的視頻內容播放流程圖。圖7是對圖3中的步驟S34做更進一步的說明，以清楚揭示在該些視頻內容11已被分析完成後，該視頻伺服器1如何依據用戶的身份來播放該些視頻內容11。

首先，該視頻伺服器1接受該用戶終端3通過網路的登入動作(步驟S60)，並且同時由該用戶終端3取得該用戶的一用戶資訊(步驟S62)。本實施 例中，該用戶資訊指的是從該用戶終端3的一瀏覽器所取得的記錄標記(Cookie)，或是從一資料管理系統(Data Management Platform,DMP)所取得的資料，用以指出該用戶可能的性別、年齡、使用習慣及興趣的至少其中之一。上述該記錄標記與DMP為本技術領域的通常知識，於此不再贅述。

該步驟S60與該步驟S62後，該視頻伺服器1可接受該用戶終端3的一用戶操作，以於該些視頻內容11中選擇其一並據以播放(步驟S64)。於該視頻內容11的播放期間，該視頻伺服器1判斷是否播放至該視頻內容11中的一中插點(步驟S66)，同時判斷該視頻內容11是否播放完畢(步驟S68)。於該視頻內容11尚未播放至任一該中插點，且該視頻內容11尚未播放完畢時，該視頻伺服器1回到該步驟S66以繼續判斷。於該視頻內容11播放完畢時，該視頻伺服器1結束本次的播放動作。

若該視頻內容11播放至任一該中插點，則該視頻伺服器1進一步判斷該中插點與該用戶資訊是否匹配(步驟S70)。具體地，該視頻伺服器1於該步驟S70中，是判斷該中插點的前、後兩個分鏡中共同存在的該標的物是否符合該用戶資訊所指出的該用戶的性別、年齡、使用習慣或興趣等資料的至少其中之一，藉此判斷該中插點與該用戶資訊是否匹配。

若該中插點與該用戶資訊不匹配，則該視頻伺服器1不暫停該視頻內容11的播放，而是繼續播放該視頻內容11(步驟S72)，並且回到該步驟S66，以等待下一個該中插點，或直到該視頻內容11播放完畢。

若該中插點與該用戶資訊相匹配，則該視頻伺服器1暫停播放該視頻內容11(步驟S74)，並且於暫停播放該視頻內容11時播放與該中插點相關聯的該中插廣告(步驟S80)。

舉例來說，若與一第一中插點相關聯的該中插廣告為一遊戲廣告，而該用戶資訊指出該用戶的年齡大於60歲，且沒有玩遊戲的習慣，則該視頻伺服器1可經過匹配後放棄該第一中插點，而不於該第一中插點播放該中插廣告。如此一來，本方法可以避免該視頻伺服器1播放用戶不感興趣的廣告，以降低用戶的排斥感，同時節省廣告商的廣告成本。

如前文中所述，一個該中插點可能同時關聯於一個以上的該中插廣告。因此，該視頻伺服器1於該步驟S74後，可進一步判斷該中插點是否具有多個相關聯的該中插廣告(步驟S76)，並且於該中插點確實有多個相關聯的該中插廣告時，於其中選擇與該用戶資訊的關聯性最高的中插廣告做為一最佳中插廣告(步驟S78)。並且，該視頻伺服器1於該步驟S80中播放該最佳中插廣告。

具體地，於該步驟S78中，該視頻伺服器1是於該多個中插廣告中選擇與該用戶資訊所指出的該用戶的性別、年齡、使用習慣與興趣的關聯性最高的一個該中插廣告，以做為該最佳中插廣告。

舉例來說，若該視頻內容11中的一第二中插點的前、後兩個分鏡分別為女主角在操作手機與在車上使用手機通話的畫面，而該用戶資訊指出該用戶為一20歲至30歲之間的女性，則該視頻伺服器1可於該多個中插廣告中取出該位女主角所拍攝的化妝品廣告並於該第二中插點播放。再例如，若該用戶資訊指出該用戶為一30歲至40歲之間的男性，則該視頻伺服器1可於該多個中插廣告中取出視覺畫面最相近的手機廣告或汽車廣告並於該第二中插點播放。

如上所述，本方法通過該用戶資訊來選擇要於該中插點播放的該中插廣告，可以有效地達到廣告客製化的目的，以提昇用戶對於該中插廣告的注意力，並降低用戶對於該中插廣告的排斥感。

回到圖7，該視頻伺服器1於該中插廣告(該最佳中插廣告)的播放過程中持續判斷該中插廣告是否播放完畢，並且於該中插廣告播放完畢後恢復該視頻內容11的播放動作(步驟S82)。接著，該視頻伺服器1判斷該視頻內容11是否播放完畢(步驟S84)，並且於該視頻內容11播放完畢之前重覆執行該步驟S66至該步驟S82，以持續播放該視頻內容11，以及於該視頻內容11中的各該中插點分別播放相關聯的各該中插廣告。

本發明通過該自動分析演算法對每一個視頻內容及每一個廣告內容進行自動分析，可以有效取得具有商業價值(例如前、後兩個分鏡中存在相同的特定標的物)且不會令用戶感到反感(例如前、後兩個分鏡的視覺畫面組成相當近似)的中插點，以及與該中插點具有高度關聯性的中插廣告(例如存在相同的該特定標的物，並且視覺畫面組成相當近似)，藉此大幅降低傳統中插廣告模式所需耗費的人力成本，同時中插廣告模式的廣告成效。

另外，本發明通過對相鄰的前、後兩個分鏡以及廣告內容的標的物資訊進行匹配，可確保前、後兩個分鏡及中插廣告具有高度的關聯性，提昇用戶對於中插廣告中出現的標的物的注意力，進而強化廣告效果。並且，本發明通過對相鄰的前、後兩個分鏡以及廣告內容的底層資訊進行匹配，可提高前分鏡、中插廣告及後分鏡在播放上的畫面流暢度，進而減少視頻內容與中插廣告在切換播放時的突兀感，進而令用戶不會對於中插廣告產生反感。

以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。

S20~S34‧‧‧視頻內容分析步驟

Claims (14)

1. 一種以電腦視覺基礎實現的自動廣告中插及播放方法，包括：a)對一視頻內容進行分析以取出該視頻內容的多個分鏡；b)分析各該分鏡以分別取出各該分鏡的一視頻標的物資訊及一視頻底層資訊，其中各該視頻標的物資訊分別記錄各該分鏡中包含的一標的物，各該視頻底層資訊分別記錄各該分鏡中整體畫面的色彩組成及畫面架構；c)分別取得複數廣告內容的一廣告標的物資訊及一廣告底層資訊，其中各該廣告標的物資訊分別記錄各該廣告內容中包含的一標的物，各該廣告底層資訊分別記錄各該廣告內容中整體畫面的色彩組成及畫面架構；d)對每一相鄰的兩個該分鏡的各該視頻標的物資訊與各該視頻底層資訊以及各該廣告內容的各該廣告標的物資訊及各該廣告底層資訊進行匹配；e)依據匹配結果決定該視頻內容中的一或多個中插點，並於該複數廣告內容中決定與該中插點相關聯的一或多個中插廣告；f)記錄該中插點及該中插廣告；及g)於該視頻內容播放至該中插點時播放該中插廣告。
2. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟a之前更包括下列步驟：a01)分別對該複數廣告內容進行內容分析，以取出各該廣告標的物資訊；a02)分別對該複數廣告內容進行視覺畫面分析，以取出各該廣告底層資訊；及a03)分別記錄各該廣告標的物資訊及各該廣告底層資訊。
3. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中各該視頻標的物資訊與各該廣告標的物資訊還記錄該標的物於各該分鏡與各該廣告內容中出現的位置、起始時間及終止時間。
4. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟b是分析各該分鏡的一銜接處的多幅幀畫面以取得各該視頻底層資訊。
5. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟d是依據各該視頻標的物資訊及各該廣告標的物資訊判斷每一相鄰的兩個該分鏡與各該廣告內容中是否出現相同的該標的物，並依據各該視頻底層資訊及各該廣告底層資訊比較每一相鄰的兩個該分鏡與各該廣告內容所包含的每一像素的差值，以確定每一相鄰的兩個該分鏡與各該廣告內容的視覺畫面關聯性。
6. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟d包括下列步驟：d1)取得相鄰的兩個該分鏡的各該視頻標的物資訊及各該廣告內容的各該廣告標的物資訊；d2)分別計算該二分鏡與各該廣告內容的一標的物相似度；d3)取得該二分鏡的各該視頻底層資訊及各該廣告內容的各該廣告底層資訊；d4)依據各該視頻底層資訊對該二分鏡中的多個幀畫面進行奇異值分解，以取出一視頻特徵向量； d5)依據各該廣告底層資訊分別對各該廣告內容中的多個幀畫面進行奇異值分解，以分別取出複數廣告特徵向量；d6)分別對該視頻特徵向量與各該廣告特徵向量進行向量乘積以計算一畫面相似度；及d7)依據該些標的物相似度及該些畫面相似度對該二分鏡及各該廣告內容進行匹配。
7. 如請求項6所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟d2是通過影像辨識技術判斷該二分鏡與各該廣告內容中是否具有相同的該標的物，並依判斷結果產生該標的物相似度。
8. 如請求項7所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該標的物包括人物、物件、商標、場景、動作及文字，該步驟d2是依據該六項標的物分別計算該二分鏡與各該廣告內容的六項標的物相似度，並且該步驟d7是依據該六項標的物相似度及該畫面相似度進行加權計算，並依據加權結果對該二分鏡及各該廣告內容進行匹配。
9. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟g包括下列步驟：g11)接受一用戶終端的操作以選擇並播放該視頻內容；g12)於該視頻內容播放至任一該中插點時暫停播放該視頻內容；g13)於該視頻內容暫停播放後，播放與該中插點相關聯的該中插廣告；g14)於該中插廣告播放完畢後恢復播放該視頻內容；及g15)於該視頻內容播放完畢前重覆執行該步驟g12至該步驟g14。
10. 如請求項9所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中更包括下列步驟：g121)該步驟g12後，判斷該中插點是否具有多個相關聯的該中插廣告；g122)若該中插點具有多個相關聯的該中插廣告，於該多個中插廣告中選擇關聯性最高的一最佳中插廣告；其中，該步驟g13是播放最佳中插廣告。
11. 如請求項1所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟g包括下列步驟：g21)接受一用戶終端的操作以選擇並播放該視頻內容；g22)由該用戶終端取得一用戶資訊；g23)於該視頻內容播放至任一該中插點時判斷該中插點與該用戶資訊是否匹配；g24)於該中插點與該用戶資訊不匹配時繼續播放該視頻內容；g25)於該中插點與該用戶資訊匹配時暫停播放該視頻內容；g26)於暫停播放該視頻內容時，播放與該中插點相關聯的該中插廣告；g27)於該中插廣告播放完畢後恢復播放該視頻內容；及g28)於該視頻內容播放完畢前重覆執行該步驟g23至該步驟g27。
12. 如請求項11所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中更包括下列步驟：g251)該步驟g25後，判斷該中插點是否具有多個相關聯的該中插廣告；g252)若該中插點具有多個相關聯的該中插廣告，於該多個中插廣告中選擇與該用戶資訊的關聯性最高的一最佳中插廣告； 其中，該步驟g26是播放最佳中插廣告。
13. 如請求項12所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該用戶資訊包括性別、年齡、使用習慣及興趣的至少其中之一。
14. 如請求項13所述的以電腦視覺基礎實現的自動廣告中插及播放方法，其中該步驟g23是判斷該中插點的前、後兩個分鏡中出現的該標的物是否符合該用戶資訊的性別、年齡、使用習慣或興趣的至少其中之一；該步驟g252是於該多個中插廣告中選擇與該用戶資訊的性別、年齡、使用習慣與興趣的關聯性最高的一個該中插廣告做為該最佳中插廣告。