TW201401852A - 編輯與儲存串流的方法、裝置、系統 - Google Patents

Abstract

本發明係為一種串流的編輯與儲存方法、裝置、系統。串流的編輯方法包含以下步驟：自一來源多媒體串流擷取一第一原始影像；對該第一原始影像進行變異化處理並據此而得出複數個轉換畫面；根據該等轉換畫面間之比較結果而進行特徵擷取後，據此而得出複數個候選像素；根據該等後選像素而於一廣告串流資料庫搜尋出一第一廣告串流；以及將該第一廣告串流加入至該來源多媒體串流。

Description

編輯與儲存串流的方法、裝置、系統

本發明是有關於一種編輯、儲存與提供串流的方法、裝置、系統，且特別是有關於一種透過特徵像素比對而編輯、儲存與提供串流的方法、裝置、系統。

廣告收益對於電視台的經營是相當重要的一環。現行的廣告播出方式以時段來決定價格，廣告業主必須在廣告播出前先選擇價位與時段，而非廣告播出時所搭配的節目內容。當廣告業主支付大筆金額給電視台時，均期待廣告的效益越大越好。然而，習用技術之廣告播送方式卻不一定能刺激、提升消費者的消費欲望。

為了便於說明節目內容與廣告內容間的關係，以下圖式採用長條形狀來代表串流資料的內容。其中，白底的部分代表來源多媒體串流，也就是電視節目的實際內容；具有網底的部分則代表廣告內容。

請參照第1A圖，其係代表未經編輯前的來源多媒體串流、廣告串流之示意圖。其中來源多媒體串流10代表尚未加入廣告內容前的原始電視節目的內容，而第一廣告串流13a與第二廣告串流13b則分別代表兩支廣告的內容。

請參照第1B圖，其係代表將第1A圖的廣告串流資料 內容加入來源多媒體串流之示意圖。根據此圖式可以看出，來源多媒體串流的全部內容不會被連貫的播放，而是在中新增了第一廣告串流13a與第二廣告串流13b，因而產生了編輯後多媒體串流15。

當電視台播送編輯後多媒體串流15時，使用者所收看的順序為：第一部分的節目內容10a、第一廣告串流13a的廣告內容、第二部分的節目內容10b、第二廣告串流13b的廣告內容，以及第三部分的節目內容10c。

然而，利用習用技術編輯串流時，可能產生的問題是：當來源多媒體串流10的內容是一部關於賽車的電影時，第一廣告串流13a與第二廣告串流13b的廣告內容可能是保健食品、家具販售的廣告。也就是說，節目內容與廣告之間不具相關性，此種播放方式難以引起觀眾的共鳴。

為了讓節目與廣告之間具有較強的關聯性，習用技術所採用的另外一種作法則採用置入性行銷的方式。也就是說，在拍攝節目的同時，便讓節目畫面中出現所欲廣告的物件。

以007系列電影為例，電影中的主角使用了許多功能新奇的電腦、跑車或其他科技產品等。若是電影在剛推出時，當時的觀眾確實可能因為看到電影裡的科技產品而此感到躍躍欲試，進而刺激該些產品的銷售。然而，隨著科技的發展，電影裡的產品也相對顯得落伍。電視台在播放電影時，距離電影上市的時間已經距離相當時日了，此時，這些在片中以量身打造方式進行置入性行銷的產品， 可能在電影被重播的時候早已成為過時甚至停產的產品。

例如，當使用者在觀看一部十年前拍攝的電影，並對電影中的顯示器有深刻的印象，卻不可能在十年後的現在購買與當年電影中相同型號的顯示器。甚至，螢幕的主流技術早已經改朝換代而由陰極射線管(Cathode ray tube，簡稱為CRT)螢幕演變為液晶顯示器(Liquid crystal display，簡稱為LCD)了。由此可知，即便置入性行銷可以搭配節目內容而進行廣告宣傳，但是這種廣告方式會隨著時間的經過而使產品顯得過時。

根據前述說明可以得知，如何在播放節目的過程中加入適當的廣告內容，並使廣告的效益獲得提升，仍是一個待解決的議題。

本發明之一方面係為一種多媒體串流的編輯方法，包含以下步驟：自一來源多媒體串流擷取一第一原始影像；對該第一原始影像進行變異化處理並據此而得出複數個轉換畫面；根據該等轉換畫面間之比較結果而進行特徵擷取後，據此而得出複數個候選像素；根據該等後選像素而於一廣告串流資料庫搜尋出一第一廣告串流；以及將該第一廣告串流加入至該來源多媒體串流。

本發明之另一方面係為一種多媒體串流的編輯系統，包含：一多媒體串流資料庫，其係提供一來源多媒體 串流；一廣告串流資料庫，其係具有一搜尋引擎並提供提供複數個廣告串流；以及一串流編輯裝置，包含：一傳送接收單元，信號連結於該多媒體串流資料庫與該廣告串流資料庫，其係接收該來源多媒體串流與該等廣告串流；以及一編輯單元，電連接於該傳送接收單元，其係自該來源多媒體串流擷取一第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素，其中，該廣告串流資料庫係根據該等後選像素而搜尋出一第一廣告串流，而該編輯單元在透過該傳送接收單元接收該第一廣告串流後，進而將該第一廣告串流加入至該來源多媒體串流。

本發明之再一方面係為一種串流編輯裝置，包含：一傳送接收單元，其係自一多媒體串流資料庫接收一來源多媒體串流；以及一編輯單元，電連接於該傳送接收單元，其係自該來源多媒體串流擷取一第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素，而該等候選像素在透過該傳送接收單元而被傳送至一廣告串流資料庫後，由該廣告資料庫根據該等後選像素而搜尋出一第一廣告串流，在該傳送接收單元接收該第一廣告串流後，該編輯單元將該第一廣告串流加入至該來源多媒體串流。

本發明之一方面係為一種廣告串流的儲存方法，包含以下步驟：對一第一參考圖樣進行特徵擷取並得出一第一 特徵點組合，其中該第一參考圖樣係對應於一第一廣告串流；以及儲存該第一特徵點組合與該第一廣告串流間之對應關係。

本發明之再一方面係為一種廣告串流的儲存系統，包含：一特徵擷取伺服器，對一第一參考圖樣進行特徵擷取並得出一第一特徵點組合；以及一儲存伺服器，信號連接於該特徵擷取伺服器，其係儲存該第一特徵點組合與該第一廣告串流間之對應關係，其中該第一參考圖樣係對應於一第一廣告串流。

本發明之又一方面係為一種提供多媒體串流的系統，包含：一串流資料庫，包含：一儲存伺服器，其係儲存一來源多媒體串流、與複數個參考圖樣相對應之複數個廣告串流；以及一特徵擷取伺服器，信號連接於該儲存伺服器，其係對該等參考圖樣分別進行特徵擷取而得出複數個特徵點組合，其中該儲存伺服器係據此而儲存各該特徵點組合與各該廣告串流間的對應關係；以及一串流編輯裝置，包含：一傳送接收單元，信號連結於該串流資料庫，其係接收該來源多媒體串流；以及一編輯單元，電連接於該傳送接收單元，其係自該來源多媒體串流擷取一第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素，其中，於該傳送接收單元將該等候選像素傳送至該串流資料庫後，該串流資料庫根據該等後選像素而搜尋出一第一廣告串流，其中該編輯單元係將該傳送接收單元所接收之該第一廣告串流加入 至該來源多媒體串流。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

為了避免所播放的廣告內容與節目內容毫無關係，本發明提供了一種能夠因應來源多媒體串流Bs的內容，而動態選擇所加入的廣告串流的作法。此種做法動態且彈性的提供與節目內容相對應的廣告內容，故能避免置入性行銷方式所導致的時效問題。

在根據本發明構想的較佳實施例中，提供了一種應用於串流編輯裝置與儲存串流的資料庫間，編輯串流的方法。其中，在資料庫端預先儲存了多個廣告串流，這些廣告串流提供給串流編輯裝置編輯來源多媒體串流使用。串流編輯裝置首先對來源多媒體串流進行原始影像的擷取，接著根據這些原始影像的內容而自資料庫中搜尋出與與原始影像的內容相對應的廣告串流後，再將搜尋得出的廣告串流加入來源多媒體串流中。

以下先以第2A、2B、2C圖說明串流編輯裝置如何根據本發明的構想，而對來源多媒體串流與搜尋得出的廣告串流進行編輯，接著再詳細說明其實現方式。

請參見第2A圖，其係根據本發明構想之較佳實施例中，串流編輯裝置在來源多媒體串流取得原始影像之示意圖。首先，串流編輯裝置先自來源多媒體串流Bs擷取第 一原始影像IMGs1。

假設第一原始影像IMGs1具有第一尺度，則如圖式所示，進一步放大的第一原始影像相當於由複數個第一尺度像素所組成的陣列。當然，此處的第一尺度像素僅是為了說明而繪式，。

一旦擷取出第一原始影像後，便判斷第一原始影像IMGs1中是否存在代表商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣的複數個候選像素組合。若是，便根據這些候選像素組合而自廣告串流資料庫中搜尋得出與候選像素組合相對應的廣告串流。

請參見第2B圖，其係根據第一原始影像內的候選像素組合，而自廣告串流資料庫中得出與候選像素組合相對應的第一廣告串流之示意圖。

關於串流編輯裝置如何根據第一原始影像而得出候選像素組合，以及串流資料庫如何根據這些候選像素組合而於所儲存的廣告串流中找出第一廣告串流的過程，均將在後續的段落中說明。第2B圖代表的是串流資料庫將搜尋得出而與第一候選像素組合相對應的第一廣告傳流Ba1回傳給串流編輯裝置。

請參見第2C圖，其係將第一廣告串流加入至來源多媒體串流而產生第一編輯後多媒體串流之示意圖。在此圖式中，由左向右的箭頭方向代表第一編輯後多媒體串流的播放方向與時間順序。由此圖式可以看出，一旦串流編輯裝置擷取出第一原始影像IMGs1後，若能據此而在廣告串流資料庫中搜尋出第一廣告串流Ba1時，便將第一廣告串 流Ba加入至第一原始影像IMGs1的下一個廣告時段中。

亦即，當原始影像存在足以識別的各類商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣，且在串流資料庫中儲存了與這些圖樣相對應的廣告內容時，便將與其對應的廣告內容安插在原始影像後續播出。

例如：若節目內容(原始影像)出現賽車場面時，辨識出原始影像中的賽車影像上具有車商的商標圖樣時，便在緊接賽車場面後的廣告時段中，播放該車商的新車廣告；或者在節目內容出現新奇的手機時，在具有手機的原始影像後將接續播放手機廠商的廣告內容。

更進一步來說，串流編輯裝置能針對來源多媒體串流的不同時點擷取多個原始影像，並因應這些原始影像所具有的候選像素組合，而於串流資料庫中選擇與這些候選像素相對應的廣告串流。

如此一來，當電視台在播放多媒體串流時，使用者所看到的廣告串流內容便與先前的原始影像高度相關的廣告。例如：透過對第一原始影像的特徵擷取，判斷在第一原始影像中出現了A車商的商標。因此，便將A車商的廣告(第一廣告串流)加入在緊接著的廣告時段。

對使用者而言，先於電影節目中看到令人感到功能酷炫的A車商的車款，然後又在隨即而來的廣告時段中看到A車商的廣告。由於廣告內容與節目內容彼此呼應，此種廣告播放方式可讓觀眾留下更為深刻的印象。

請參見第2D圖，其係根據本發明構想之較佳實施例所採用的提供多媒體串流的系統之示意圖。在此處，提供 多媒體串流的系統包含：串流資料庫23與串流編輯裝置21。以下簡要說明串流資料庫23與串流編輯裝置21的用途與功能。

根據此圖式可以看出，串流資料庫提供了來源多媒體串流，以及複數個廣告串流(Ba1、Ba2、Ba3...)；而串流編輯裝置則信號連接於串流資料庫23。

串流資料庫包含了彼此信號連結的儲存伺服器與特徵擷取伺服器。其中儲存伺服器用於提供來源多媒體串流Bs、複數個廣告串流、複數個參考圖樣，以及複數個特徵點組合。

根據本發明的構想，參考圖樣係可為商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣等足具特徵而可辨識出廠商或產品之圖樣。此外，特徵點組合則是由特徵擷取伺服器233對這些參考圖樣進行特徵擷取後，所得出與各個參考圖樣(P1、P2、P3...)的特徵點描述。

再者，儲存伺服器還進一步提供了搜尋引擎。因此，當串流資料庫接收到由原始影像中得出的候選像素組合時，便能藉由搜尋引擎而在儲存伺服器中找出與這些候選像素組合相對應的廣告串流。

在第2D圖的例子中，儲存伺服器235所儲存的廣告串流包含了第一廣告串流Ba1、第二廣告串流Ba2、第三廣告串流Ba3。儲存伺服器所儲存的參考圖樣包含了第一參考圖樣P1、第二參考圖樣P2、第三參考圖樣P3，以及第四參考圖樣P4。須注意的是，廣告串流與參考圖樣之間的關係可能是一對一的對應關係，也可能是一對多、多對 一的對應關係。

例如：第一廣告串流Ba1同時對應於第一參考圖樣P1與第二參考圖樣P2。舉例來說，第一廣告串流Ba1的內容是針對A車商的A1車款所拍攝的，則A車商本身的商標可被當作是第一參考圖樣P1；而A1車款本身的車系識別圖案則可被當作是第二參考圖樣P2。因此，第一廣告串流Ba1便同時對應於第一參考圖樣P1與第二參考圖樣P2。

在第2D圖中，第二廣告串流Ba2與第三廣告串流Ba3均對應於第三參考圖樣P3，而第三廣告串流Ba3亦同時對應於第四參考圖樣P4。

此種廣告串流與參考圖樣之間的對應關係可能的例子如：第三參考圖樣P3代表B廠商的商標，而第二廣告串流Ba2是B手機廠商的全系列產品的廣告內容。因此，第二廣告串流Ba2與第三參考圖樣P3彼此相對應。

此外，第四參考圖樣為B手機廠商的B1系列手機的識別圖樣，而第三廣告串流Ba3是B1系列手機的廣告。由於B手機廠商的商標圖樣可能同時對應於全系列產品的廣告內容，也可能對應於B1系列手機的廣告，因此，第三參考圖樣P3同時對應於第二廣告串流Ba2與第三廣告串流Ba3。

關於相同參考圖樣對應於複數個廣告串流的情況時，其播放方式可以根據應用不同而選用不同的播放方式。舉例來說：若後續進行廣告串流搜尋時，是以第三參考圖樣P3作為比較的依據時，則可設定播放的廣告串流 為第二廣告串流Ba2或第三廣告串流Ba3的何者。當然，另一種可能的播放方式則將優先播放第二廣告串流Ba2，之後再接續播放第三廣告串流Ba3。

由於搜尋引擎在搜尋廣告串流時，是根據候選像素組合與特徵點組合之間的比對，因此，特徵擷取伺服器233會先對這些參考圖樣進行特徵擷取，進而將擷取出的特徵點組合提供給搜尋印引擎使用。

也就是說，特徵擷取伺服器233對第一參考圖樣P1進行特徵擷取而得出第一特徵點組合S1、特徵擷取伺服器233對第二參考圖樣P2進行特徵擷取而得出第二特徵點組合S2，其餘類推。在得出與各個參考圖樣相對應的特徵點組合後，特徵擷取伺服器233再進一步將特徵點組合與廣告串流之間的對應關係記錄在儲存伺服器235，作為搜尋引擎231後續使用的參考。

例如：在第2D圖中，以實線的雙箭頭圖案標示出第一廣告串流Ba1與第一參考圖樣P1之間的第一組對應關係；並以另一個實線的雙箭頭圖案標示第一特徵點組合S1與第一參考圖樣P1之間的第二組對應關係；接著，再以一個虛線的雙箭頭圖案標示第一特徵點組合S1可以根據前述兩組對應關係而對應於第一廣告串流Ba1。同樣的，針對其他的廣告串流、參考圖樣與特徵點組合，此處皆以箭頭圖案來標示。當然，在實際應用中，儲存伺服器235內的廣告串流、參考圖樣、特徵點組合之間的對應關係可能以索引查詢、指標等方式來實現，此為本領域習用技術之人所能理解而因應系統需求而替換的。

此外，搜尋引擎在取得由串流編輯裝置根據第一原始影像所得出的第一候選像素組合後，利用第一後選像素組合而與廣告串流資料庫所包含之複數個特徵點組合進行比對。透過比對的過程，找出在這些特徵點組合中，符合一預設條件者。將候選像素與儲存伺服器內的多個特徵點組合進行比較後，在找出符合的特徵點組合後，搜尋引擎便能根據先前儲存的對應關係而找出與特徵點組合相對應的廣告串流。其後，再將搜尋得出的廣告串流傳送至串流編輯裝置。

舉例來說，倘若搜尋引擎231的搜尋結果為第一特徵點組合S1與第一候選像素組合具有較高的相似度時，便輸出與第一特徵點組合S1相對應的第一廣告串流Ba1至串流編輯裝置21；倘若搜尋引擎231的搜尋結果為第四特徵點組合S4與第一候選像素組合具有較高的相似度時，便輸出與第四特徵點組合S4相對應的第三廣告串流Ba3至串流編輯裝置21。

第2D圖說明了串流編輯裝置21包含彼此電連接的傳送接收單元211與編輯單元213，其中傳送接收單元211信號連結於串流資料庫23。

接著，將進一步說明串流編輯裝置21如何根據所擷取的原始影像取得參考圖樣的作法。

首先，在串流編輯裝置21自來源多媒體串流擷取第一原始影像後，串流編輯裝置21會對第一原始影像進行變異化處理並據此而得出複數個轉換畫面。

接著，串流編輯裝置21將根據該等轉換畫面間之比 較結果而進行特徵擷取。若第一原始影像存在商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣時，則進行特徵擷取時，將得出複數個候選像素。而這些後選像素可進一步得出候選像素組合，作為串流資料庫搜尋廣告串流使用。

假設串流編輯裝置21可以根據第一原始影像而得出複數個候選像素，並進而根據這些候選像素得出第一候選像素組合。一旦搜尋引擎231根第一候選像素組合而於串流資料庫23搜尋出相對應的廣告串流(假設為第一廣告串流Ba1)後，再將第一廣告串流Ba1回傳給串流編輯裝置21。

串流編輯裝置21先藉由傳送接收單元211接收第一廣告串流Ba1後，接著由編輯單元213將第一廣告串流Ba1加入至來源多媒體串流Bs。

綜上所述，第2A~2D圖大致說明當串流編輯裝置採用了本發明的主要構想後，可以讓使用者在觀看了前一段節目後，接著觀賞與節目內容最為相關的廣告內容，進而提升廣告的效益。

此處僅簡單舉例說明廣告串流與參考圖樣之間的對應關係，以及如何根據參考圖樣而得出相對應的特徵點組合後，再將特徵點組合對應至廣告串流，進而在後續提供給串流編輯裝置使用。

須注意的是，串流資料庫與串流編輯裝置的實現方式與功能配置並不以前述圖式為限。同樣的，廣告串流與參考圖樣的數量，以及彼此間的對應關係等，僅是為了說明 使用。

根據前述說明可以得知，串流資料庫被用於儲存廣告串流與特徵點組合之間的對應關係。在已知廣告串流與參考圖樣之間的對應關係之前提下，特徵擷取伺服器233會對複數個參考圖樣分別進行變異化處理、特徵擷取等步驟，進而得出複數個特徵組合。

另一方面，串流編輯裝置211同樣會對在來源多媒體串流Bs中截取的第一原始影像進行變異化處理、特徵擷取等步驟。倘若第一原始影像中存在可供識別的參考圖樣時，藉由串流編輯裝置對第一原始影像進行變異化處理與特徵擷取的過程，將可得出複數個候選像素。更進一步的，還可對針對候選像素得出與其相對應的像素描述，據此而得出第一候選像素組合。

根據本發明的構想，當串流編輯裝置得出第一候選像素組合後，便透過傳送接收單元將其傳送置串流資料庫。而串流資料庫便以第一候選像素組合為基礎，將第一候選像素組合用來與儲存伺服器中的複數個特徵點組合相比較。

根據第一候選像素組合與特徵點組合相比較的結果，找出符合預設相似程度的其中一個特徵點組合(如：第一特徵點組合)。由於第一特徵點組合與第一廣告串流之間的對應關係為已知，串流資料庫因而將第一廣告串流回傳至串流編輯裝置211。

由此可知，串流編輯裝置與串流資料庫均需提供變異化處理與特徵擷取的流程。兩者的差別在於，串流編輯裝 置是針對遊來源多媒體串流所擷取出的原始影像進行處理；但是串流資料庫是針對不同的參考圖樣進行處理。

請參見第3A圖，其係串流資料庫以參考圖樣作為特徵擷取的來源之示意圖。在一般的情況下，參考圖樣代表的商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣等，均具有較明確的輪廓與特徵點。因此，對參考圖樣進行變異化處理與特徵擷取而得出的特徵點組合較為明確。也因此，串流資料庫所提供的複數個特徵點組合可用於比對原始影像的內容。

請參見第3B圖，其係串流編輯單元以第一原始影像作為特徵擷取的來源之示意圖。當商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣出現在原始影像時，並不會像3A圖般清晰。相反的，這些商標圖案、標誌圖樣、符號圖樣、文字圖樣、識別圖樣往往只佔了原始影像中的一角。除了圖樣較不清晰外，其尺寸與角度也可能產生變化。

根據第3A、3B圖的說明可以得知，當廣告串流資料庫端對參考圖樣進行特徵點擷取時，由於參考圖樣的外觀為獨立的來源，因而較不受雜訊或外在的影響。另一方面，儘管原始影像存在與參考圖樣相似的圖樣，但是參考圖樣的外觀卻已經產生改變。因此，串流資料庫與串流編輯裝置在比對參考圖樣與原始影像是否存在相似的圖樣時，不能單就參考圖樣中像素點的位置來判斷，而必須利用特徵點比較的方式來進行，才能判斷在3A、3B圖中是否存在相似的圖樣。

更進一步來說，本發明根據參考圖樣建立相對應之特徵點組合，以及在原始影像找出後選像素的方式，是希望藉由特徵點比對的方法，比較參考圖樣與原始影像中相似的內容(圖樣)。此種利用特徵點比對的方式，能夠克服當參考圖樣出現在原始影像時，所產生的位移、旋轉、縮放、亮度差異以及雜訊等情形。

進行特徵點擷取的過程可進一步區分為四個階段：其一為轉換畫面的取得；其二是進行尺度空間的像素極值偵測；其三是選取較佳的候選像素；其四則是判斷個別之特徵點的方向性，並得出特徵點描述。

無論是串流資料庫或串流編輯裝置均須要進行變異化運算與特徵點擷取，兩者的差別是進行變異化運算與特徵點擷取的對象並不相同。在串流資料庫中，變異化運算與特徵點擷取的對象是參考圖樣；在串流編輯裝置中，變異化運算與特徵點擷取的對象是原始影像。藉由變異化運算與特徵點擷取的流程，根據個別取出的特徵點描述進行比對，進而判斷是否能在原始影像中找到與預存的複數個參考圖樣相似的部分。

由於對原始影像與參考圖樣進行變異化處理與特徵點擷取的過程大致相同，下述的說明主要以第一原始影像作為對象，利用第4圖說明如何取得轉換畫面(第一階段)、第5A、5B圖說明如何根據相鄰像素區塊而偵測具有區域極值的極值像素(第二階段)；以及，根據第6A、6B、6C、6D圖而說明如何得出特徵點描述(第四階段)。

請參見第4圖，其係對第一原始影像進行變異化運算 並得出轉換畫面之示意圖。須注意的是，這裡繪式的原始影像係為說明而舉例，實際包含的像素點並不以此為限。例如：原始影像所採用的解析度可能為640*480或是其他。

在第4圖中，假設第一原始影像具有第一尺度，針對第一原始影像分別使用了五個不同的標準差值(2.5 σ、2 σ、1.5 σ、σ、0.5 σ)，對其進行變異化運算，進而得出了對應於這五個標準差值(2.5 σ、2 σ、1.5 σ、σ、0.5 σ)的五個轉換畫面。當然，在進行變異化運算時所選用的標準差值並不以此處五個標準差值為限。

須注意的是，在進行變異化運算時，並不會影響畫面的尺度，因此，根據第一原始影像轉換而得出的轉換畫面同樣具有第一尺度。亦即，在進行變異化運算時，是針對在第一原始影像中全部的第一尺度像素進行，所以轉換畫面所包含的第一尺度像素的數量與第一原始影像所包含的第一尺度像素的數量相同。

換言之，對第一原始影像進行變異化處理，並據此而得出複數個轉換畫面之步驟指：分別根據複數個標準差值而對第一原始影像進行變異化運算後，得出同樣具有第一尺度之複數個轉換畫面。在這個較佳實施例中，選擇高斯濾波運算作為變異化運算，變異化運算也可採用其他類型的運算方式。

例如：根據第一標準差值2.5 σ而對原始影像進行高斯濾波運算，進而得出第一轉換畫面G(2.5 σ)；根據第二標準差值2 σ而對原始影像進行高斯濾波運算，進而得出第二轉換畫面G(2 σ)；根據第三標準差值1.5 σ而對原始 影像進行高斯濾波運算，進而得出第三轉換畫面G(1.5 σ)；根據第四標準差值σ而對原始影像進行高斯濾波運算，進而得出第四轉換畫面G(σ)；根據第五標準差值0.5 σ而對原始影像進行高斯濾波運算，進而得出第五轉換畫面G(0.5 σ)。

由第4圖的右側可以看出，在得出轉換畫面後，接著對每個轉換影像進行兩兩相減，也就是進行高斯差值(difference-of-Gaussian，簡稱為DOG)的運算。為了便於說明，以下以DOG代表剩餘畫面，並以括號代表是根據哪些標準差值計算得出。

其中，第一剩餘畫面DOG(2.5 σ,2 σ)代表由第一轉換畫面G(2.5 σ)，以及根據第二轉換畫面G(2 σ)相減後得出的剩餘畫面。由於第二剩餘畫面DOG(2 σ,1.5 σ)、第三剩餘畫面DOG(1.5 σ,σ)、第四剩餘畫面DOG(σ,0.5 σ)的表示方式亦類似，便不再詳細說明。

藉由高斯差值的運算而得出轉換畫面與轉換畫面之間的剩餘畫面後，之後則是進入根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素的第二階段。

請參見第5A圖，其係根據中心剩餘畫面而選擇中心剩餘像素之示意圖。在不同的剩餘畫面中，逐一選取在不同的(x,y)位置的像素點，並以其作為中心剩餘畫面的中心點。

以第5A圖為例，其中選擇第四列第四行的像素作為中心剩餘像素61，此處以具有網底的圓圈代表中心剩餘畫 面的中心點，而其相鄰的白底圓圈圖樣則代表在同一個剩餘畫面中，位於中心剩餘像素周邊的相鄰剩餘像素63。也就是說，相鄰剩餘像素代表與中心剩餘像素位於同一個剩餘畫面中，相對於中心剩餘像素的左上方、上方、右上方、右側、右下方、下方、左下方、左側的八個剩餘像素。

須注意的是，在判斷中心剩餘像素是否具有區域極值時，除了將其與中心剩餘像素位在與同一個剩餘畫面中的相鄰剩餘像素進行比較外外，還需要進一步跟其他的剩餘畫面中的相鄰剩餘像素進行比較，此部分請進一步參閱第5B圖。

此處所指的相鄰剩餘畫面指的是，用於得出中心剩餘畫面的兩個標準差值與前、後各一個標準差值所得出的剩餘畫面。

例如：若中心剩餘畫面為根據標準差值(1.5 σ,σ)得出的第三剩餘畫面，則根據標準差值(2 σ,1.5 σ)所得出的第二剩餘畫面，以及根據標準差值DOG(σ,0.5 σ)所得出的第四剩餘畫面便稱為是第三剩餘畫面的相鄰剩餘畫面。

請參見第5B圖，其係以所選擇之中心剩餘像素作為相鄰像素區塊的中心，判斷其值是否具有區域極值之示意圖。其中，相鄰剩餘像素係指在該中心剩餘畫面中，以該中心剩餘像素為中心之一相鄰像素區塊所包含的複數個剩餘像素；以及，在與中心剩餘畫面相鄰之剩餘畫面(上方、下方)中，與相鄰像素區塊相對應位置之像素區塊所包含的複數個剩餘像素。

換言之，若是在一個中心剩餘畫面中，位於(x,y)的中心剩餘像素所具有之值，與其26個相鄰剩餘像素(上、下剩餘畫面中各九個相鄰剩餘像素與本身所屬的剩餘畫面中的八個相鄰剩餘像素)所具有的值相較時，相對具有極大值或極小值時，則選擇此中心剩餘像素作為極值像素之一。

歸結選取在各該剩餘畫面中具有區域極值者的像素作為該等候選像素的作法為：

選取該等剩餘畫面之一者作為中心剩餘畫面；自中心剩餘畫面所包含之複數個剩餘像素中選擇中心剩餘像素；分別比較中心剩餘像素所具有之值、中心剩餘像素之複數個相鄰剩餘像素所具有之值；以及，當中心剩餘像素所具有之值與中心剩餘像素之該等相鄰剩餘像素所具有之值相較而具有區域極值時，選擇以中心剩餘像素作為該等極值像素之一者。

須注意的是，根據極值比較找出的極值像素，並非全部都是穩定(stable)，所以要刪去一些識別特性較不穩定的極值像素。因此，第三階段便是就極值像素中，進一步選出具有較佳穩定性的極值像素。

舉例來說：若極值像素在畫面中位於同一個線條時，其實不需要取得所有在相同線條上的像素作為極值像素，因此刪除該等候選像素中不具高反差特性者；以及刪除該等極值像素中屬於邊界像素者。

判斷極值像素具有低反差的方法為，根據如下之公 式，以泰勒展開式決定。其中，D是剩餘畫面的結果，x代表極值像素、T為轉置矩陣。根據x與D，可以計算出一個偏移量(offset)。

偏移量可被視為是區域極值實際上的位置，接著將把偏移量代入泰勒展開式中。如果計算得出的絕對值小於一個預設門檻值時，便判斷該像素點具有低反差特性，此時便排除此極值像素。預設門檻值可以設為0.03或其他數值，此為本領域習用技術之人可能根據應用的需要而選擇的數值。

請參見第6A圖，其係以一彩帶圖樣的商標圖樣作為參考圖樣之示意圖。此處繪式了十六個特徵點31，而這十六個特徵點均方正的存在於參考圖樣中。

請參見第6B圖，其係在原始影像中出現如第6A圖之商標圖樣之示意圖。根據第6A、6B圖的比較可以看出，當商標圖樣出現在在原始影像時，儘管特徵點41的個數相同，但是原始影像中的商標圖樣鮮少會像參考圖樣一樣端正的出現。因此，除了判斷特徵像素外，還必須讓特徵點41具有旋轉不變性的特性。

在定義特徵像素的主方向時，首先計算特徵點位置周圍區塊像素的影像梯度(gradient)後，求出其方向性。再以特徵點的方向為基準，將以特徵點為中心的區塊旋轉到 以特徵點方向為北，這樣一來，特徵點就可以達到旋轉不變性。其後，再就已經定義出主方向的候選像素得出其特徵點描述，即，計算出後選像素的向量方向和大小。

請參見第7A圖，其係以一個候選像素為例，說明如何以候選像素為中心，取得一個預選描述區塊的示意圖。首先，假設預選描述區塊70的大小為8*8，因此，預選描述區塊的每一個側邊各自包含九個像素，而其中第五行、第五列的像素便是預選描述區塊內的中心像素71。當然，預選描述區塊70的大小並不需要被限定為8*8。

請參見第7B圖，其係將第7A圖之預選描述區塊區分為四個子區塊之示意圖。也就是將8×8範圍的預選描述區塊切割為4個4×4的子區塊(sub-block)。這四個子區塊分別是位於中心像素71相對左上方的第一子區塊70a、位於中心像素71相對右上方的第二子區塊70b、位於中心像素71相對右下方的第四子區塊70d、位於中心像素71相對左下方的第三子區塊70c。

請參見第7C圖，其係對第7A圖之預選描述區塊內各個像素相對於中心的候選像素而計算像素描述向量之示意圖。

根據此圖式可以看出，每一個子區塊均各自包含多個方向不盡相同的單向箭頭。這些單向箭頭代表位於中心的候選像素與子區塊內的其他像素相較時的分布方向性。

請參見第7D圖，其係分別就四個子區塊計算算像素描述向量之示意圖。

在此圖式中，針對每一個每個子區塊均以八個方向進 行統計。也就是說，每一個候選像素將對應於四個子區塊所對應之各八個方向的向量。

因此，由於第一原始影像包含了多個候選像素，且各個候選像素均具有類似的描述向量(像素描述)，因此，這些候選像素描述形成的組合便稱為第一候選像素組合。

同理，對參考圖樣而言，由於各個參考圖樣均各自包含了多個特徵點，且各個特徵點均具有類似的描述向量(特徵點描述)，因此，這些特徵點描述所形成的組合便稱為特徵點組合。

承上所述，在將不具高反差的像素點，以及邊界像素點排除後所保留的候選像素與其描述向量所形成的組合便用來作為後續進行比對時使用。

為了達到更為精確的特徵擷取判斷，針對原始影像/參考圖樣進行變異化運算的過程可進一步搭配將原始影像/參考圖樣轉換為不同尺度來使用。也就是說，除了針對原本得第一尺度之原始影像/參考圖樣外，還進一步將其轉換為第二尺度，然後針對已經轉換為第二尺度的原始影像/參考圖樣進行類似的變異化運算，此部分的說明請參閱以下的第8A、8B圖。

請參見第8A圖，其係將具有第一尺度之第一原始影像轉換為具有第二尺度之第一原始影像之示意圖。

請參見第8B圖，其係以類似第4圖之作法，針對具有第二尺度之第一原始影像進行變異化運算而得出轉換畫面、剩餘畫面之示意圖。

首先，根據第8A圖的說明而對第一參考圖樣進行尺 度轉換後，得出具有第二尺度之第一原始影像。例如，將原始影像縮小一半後，得出長、寬均為第一尺度之一半的，具有第二尺度之原始影像。

亦即，若第一尺度為640*480時，經由尺度轉換後，具有第二尺度的第一參考圖樣則是320*240。同理，若是第一原始影像的第一尺度為其他格式時，或者將原始影像由第一尺度轉換至第三尺度時，也可循類似方式計算得出。

接著，在第8B圖中，分別根據該等標準差值而對具有第二尺度之第一原始影像進行該變異化運算後，得出具有第二尺度之複數個轉換畫面。同樣的，再根據具有第二尺度之轉換畫面計算得出候選像素。此部分的流程與第5A、5B、7A~7D圖相似，因而不再詳述。

根據前述的變異化運算與特徵點擷取的流程，針對原始影像與參考圖樣的處理方式可分別整理如下。

對第一原始影像而言，串流編輯裝置對其進行變異化運算與特徵點擷取的流程為：

分別根據複數個標準差值而對第一原始影像進行變異化運算後，得出具有第一尺度之複數個轉換畫面；根據該等轉換畫面間的比較而得出具有該第一尺度之複數個剩餘畫面，其中各該剩餘畫面均各自包含複數個剩餘像素；根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素；以及選擇在該等極值像素中具有較佳識別特性者作為該等候選像素。

其中根據該等剩餘像素間的比較而選取其中具有區 域極值者的複數個極值像素之步驟係包含以下步驟：選取該等剩餘畫面之一者作為中心剩餘畫面；自中心剩餘畫面所包含之複數個剩餘像素中選擇中心剩餘像素；分別比較中心剩餘像素所具有之值、中心剩餘像素之複數個相鄰剩餘像素所具有之值；以及，當中心剩餘像素所具有之值與其相鄰剩餘像素所具有之像素值相較而具有區域極值時，選擇以中心剩餘像素作為該等極值像素之一者。

再者，自該等極值像素中選取具有較佳識別特性者作為該等候選像素之步驟係包含以下步驟：刪除該等極值像素中不具高反差特性者；以及刪除該等極值像素中位於邊界者。

對第一參考圖樣而言，串流資料庫對其進行變異化運算與特徵點擷取的流程為：分別根據複數個標準差值而對第一參考圖樣進行變異化運算後，得出複數個第一參考轉換畫面；根據該等第一參考轉換圖樣間之比較結果而進行特徵擷取後，據此而得出複數個候選特徵像素；以及根據該等後選特徵像素而得出該第一特徵點組合。

其中根據該等第一參考轉換圖樣間之比較結果而進行特徵擷取後，據此而得出該等候選特徵像素之步驟係包含以下步驟：根據該等第一參考轉換畫面間的比較而得出複數個第一參考剩餘畫面；根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素；以及選擇在該等極值像素中具有較佳識別特性者作為該等候選特徵像素。

另一方面，根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素之步驟可進一步包含以下步驟：選取該等第一參考剩餘畫面之一者作為中心剩餘畫面；自中心剩餘畫面所包含之複數個剩餘像素中選擇中心剩餘像素；分別比較中心剩餘像素所具有之值、中心剩餘像素之複數個相鄰剩餘像素所具有之值；以及，當中心剩餘像素所具有之值與中心剩餘像素之該等相鄰剩餘像素所具有之值相較而具有區域極值時，選擇以中心剩餘像素作為該等極值像素之一者。

再者，選擇在該等極值像素中具有較佳識別特性者作為該等候選特徵像素之步驟係包含以下步驟：刪除該等極值像素中不具高反差特性者；以及刪除該等極值像素中位於邊界者。

也就是說，藉由變異化運算與特徵擷取流程，串流編輯單元將根據第一原始影像而得出候選像素，並進而得出第一候選像素組合；另一方面，串流資料庫則依據類似的流程而得出複數個參考圖樣與其相對應之複數個特徵點組合。

當串流編輯單元根據該等候選像素而得出第一候選像素組合，且第一候選像素組合記錄與各該候選像素相對應之像素描述時，第一候選像素組合便被用來與廣告串流資料庫所儲存的特徵點組合進行比對。

請參見第9A圖，其係根據本發明構想之較佳實施例，實現提供多媒體串流的系統之第一種態樣示意圖。此圖式用以說明串流編輯裝置與串流資料庫之間以信號連 接，以及各自的內部構造。

串流編輯裝置91包含彼此電連接的傳送接收單元911與編輯單元。另一方面，串流資料庫93是一個整合性的資料庫，用來提供串流資料(包含多媒體串流、廣告串流)，以及參考圖樣。串流資料庫93透過特徵擷取伺服器933取得與個別之參考圖樣相對應的特徵點組合後，將其對應關係儲存在儲存伺服器935。

請參見第9B圖，其係根據本發明構想之較佳實施例，實現提供多媒體串流的系統之第二種態樣示意圖。此圖式代表提供多媒體串流與提供廣告串流為不同來源的情形。亦即，由多媒體串流資料庫93a提供來源多媒體串流；而廣告串流資料庫93b提供提供複數個廣告串流。

另一方面，串流編輯裝置91包含了彼此電連接的傳送接收單元911與編輯單元913。其中，傳送接收單元911分別信號連接於多媒體串流資料庫93a與廣告串流資料庫93b。

同樣的，串流編輯裝置91透過傳送接收單元911先自多媒體串流資料庫93接收來源多媒體串流後，由編輯單元913就來源多媒體串流擷取出的原始影像進行變異化處理與特徵擷取等流程均與第9A圖相似。差別在於傳送接收單元911係將候選像素傳送至廣告串流資料庫93b，並由廣告串流資料庫93b接收搜尋得出的廣告串流。

根據第9A、9B圖可以得知，無論多媒體串流與廣告串流的提供來源是否相同，均可搭配本發明的構想。

請參見第10A圖，其係實現第9B圖中的廣告串流資 料庫之第一種態樣示意圖。廣告串流的儲存系統包含：特徵擷取伺服器101與儲存伺服器103a，這兩個伺服器彼此信號連接。

特徵擷取伺服器101對參考圖樣進行特徵擷取並得出特徵點組合；另一方面，儲存伺服器103則用來儲存特徵點組合與廣告串流間之對應關係。

儲存伺服器103可進一步包含：搜尋引擎103a、第一子伺服器103b與第二子伺服器103c。其中搜尋引擎103a提供串流編輯裝置進行特徵點組合的搜尋使用。第一子伺服器信103b號連接於特徵擷取伺服器101，用以儲存參考圖樣、特徵點組合與彼此間的對應關係；第二子伺服器103c信號連結於搜尋引擎103a，第二子伺服器103c用於係儲存特徵點組合與廣告串流間的對應關係。

在實際應用時，搜尋引擎可以根據特徵點組合的產生順序，依序分配相對應的索引值給各個特徵點組合。例如：將第一索引分配給第一特徵點組合、將第二索引分配給第二特徵點組合，其餘類推。因此，第一子伺服器103a將儲存第一索引與第一特徵點組合間的對應關係；而第二子伺服器103c將儲存第一索引與第一廣告串流間的對應關係。

當搜尋引擎進行廣告串流搜尋時，首先根據第一特徵點組合與第一索引間的對應關係，而自第一子伺服器103a得出第一索引。之後，再利用第一索引與第一廣告串流間的對應關係，而自第二子伺服器103c得出第一廣告串流。

請參見第10B圖，其係實現第9B圖中的廣告串流資 料庫之第二種態樣示意圖。此圖式係以單一的伺服裝置作為廣告串流資料庫，其中伺服裝置105包含了彼此電連接的特徵擷取單元951與儲存單元953。特徵擷取單元951與儲存單元953分別用於對參考圖樣進行特徵點擷取，以及儲存廣告串流與特徵點組合間的對應關係。

根據前述的說明，本發明的構想是在播放串流的節目內容(如影片、數位電視節目)時，針對節目內容中出現某品牌的產品提供即時且最新的廣告。此種作法可以針對影片內容出現的品牌產品，提供最新可播出之廣告，大幅的提升廣告的效益。

請參見第11A圖，其係根據本發明構想而提供之廣告串流的儲存方法之流程圖。被應用於串流資料庫中，包含以下步驟：對對應於第一廣告串流的第一參考圖樣進行特徵擷取並得出第一特徵點組合(步驟S11)；以及儲存該第一特徵點組合與該第一廣告串流間之對應關係(步驟S13)。

請參見第11B圖，其係在第11A圖中的步驟S11之進一步說明的流程圖。即，對第一參考圖樣進行特徵擷取並得出該第一特徵點組合之步驟可進一步包含以下步驟：對第一參考圖樣進行變異化處理並據此而得出複數個第一參考轉換圖樣(步驟S11a)；根據等第一參考轉換圖樣間之比較結果而進行特徵擷取後，據此而得出複數個候選特徵像素(步驟S11b)；以及根據該等後選特徵像素而得出第一特徵點組合(步驟S11c)。

參看第4圖的說明可以得知，第一參考圖樣具有第一 尺度，而步驟S11a指的是分別根據複數個標準差值而對第一參考圖樣進行變異化運算後，得出該等第一參考轉換畫面。須注意的是，儘管第4圖所採用的標準差值為0.5 σ、σ、1.5 σ、2 σ、2.5 σ，但是這些標準差值的選擇與個數同樣可以根據應用的需要而調整。

再者，若是擷取後選特徵像素時，能夠根據不同尺度的轉換畫面時，以變異化運算為基礎所得出的轉換畫面，將能提供後續進行特徵像素擷取時，產生較佳的判斷結果。因此，步驟S11a可進一步包含以下步驟：

對具有第一尺度的第一參考圖樣進行尺度轉換後，得出具有第二尺度之第一參考圖樣；以及分別根據該等標準差值而對具有第二尺度之第一參考圖樣進行該變異化運算後，得出具有第二尺度之複數個參考轉換畫面。

須留意的是，參考圖樣的第一尺度與原始影像的第一尺度係分別代表其取得來源之狀態下的尺度。因此，參考圖樣的第一尺度原始影像的第一尺度不必然相同。再者，針對具有第一尺度的第一參考圖樣，以及針對具有第二尺度的第一參考圖樣進行變異化運算所採用的標準差值也不限定必須相同。

其中具有第二尺度之第一參考圖樣的尺寸，係小於具有第一尺度之第一參考圖樣的尺寸。當然，為了達到更加的圖樣特徵擷取效果，類似的作法也可進一步被用於將第一參考圖樣進行尺度轉換而得出第三尺度之第一參考圖樣。同樣的，將第三尺度之第一參考圖樣用來根據標準差值而進行變異化計算，此部分的流程因與前述說明相似， 此處便不再詳述。

請參見第11C圖，其係在第11A圖中的步驟S13之進一步說明的流程圖。即，儲存第一特徵點組合與第一廣告串流間之對應關係的步驟係包含以下步驟：依照特徵點組合的順序，分配第一索引給第一特徵點組合(步驟S13a)；儲存第一索引與第一特徵點組合間的對應關係(步驟S13b)；以及儲存第一索引與第一廣告串流間的對應關係(步驟S13c)。

請參見第12圖，其係串流資料庫所儲存之廣告串流與參考圖樣、特徵點組合、索引間之對應關係之示意圖。在此圖式中，第一個欄位為廠商編號、第二個欄位為廣告串流的內容、第三個欄位為預定播出廣告的期間。

第四個欄位代表與廣告串流相對應之參考圖樣/特徵點組合。由於根據參考圖樣所得出的特徵點組合具有一對一的關係，此處將參考圖樣與特徵點組合列在同一個欄位中。第五個欄位為與參考圖樣相對應之索引。

根據第12圖可以看出，除了以不同的參考圖樣來表示廠商外，相同的廠商也可能對應於不同的參考圖樣。再者，廣告串流與參考圖樣的對應關係也可能不同。此外，在選取廣告串流時，也可參考第三個欄位中的播放期間，確認該廣告串流確實處於應播放的期間。

在此圖式中，假設廠商編號A提供了A1廣告串流，而A1廣告串流對應於a1參考圖樣，此外，還分配了索引1給a1參考圖樣。此為廠商、廣告串流、參考圖樣均為一對一的情形。

假設廠商編號B提供了B1廣告串流與B2廣告串流，其中B1廣告串流對應於b1參考圖樣、b2參考圖樣；而B2廣告串流對應於b3參考圖樣。根據b1參考圖樣與b2參考圖樣所得出的特徵點組合b1、特徵點組合b2，再進一步分配索引2、索引3給特徵點組合b1、特徵點組合b2。根據b3參考圖樣而得出特徵點組合b3，再進一步分配索引4給特徵點組合b3。此為廠商提供多個廣告串流，且各個廣告串流所對應之參考圖樣的數量分別為多個或一個的情形。

假設廠商編號C提供了C1廣告串流與C2廣告串流，而C1廣告串流對應於c1參考圖樣、C2廣告串流對應於c2參考圖樣。分配索引給根據由c1參考圖樣得出的特徵點組合，即，分配索引5給特徵點組合c1；以及，分配索引給根據由c2參考圖樣得出的特徵點組合，即，分配索引6給特徵點組合c2。此為廠商提供多個廣告串流，且各個廣告串流均對應於一個參考圖樣的情形。

請參見第13圖，其係根據本發明構想，應用於串流編輯裝置上的多媒體串流的編輯方法之流程圖。此流程圖包含以下步驟：自來源多媒體串流擷取第一原始影像(步驟S21)；對第一原始影像進行變異化處理並據此而得出複數個轉換畫面(步驟S22)；根據該等轉換畫面間之比較結果而進行特徵擷取後，據此而得出複數個候選像素(步驟S23)；根據該等後選像素而於廣告串流資料庫搜尋出第一廣告串流(步驟S24)；以及將第一廣告串流加入至來源多媒體串 流(步驟S25)。

由於來源多媒體串流可能會搭配多個廣告播放時段，因此，第13圖的流程也可重覆進行。也就是在來源多媒體串流中擷取其他的原始影像，並針對這些原始影像中進行候選像素的擷取，進而搭配逛告串流資料庫得出與其相對應的廣告串流。其後再根據原始影像在來源多媒體串流中的播放時點，而將這些廣告串流加入至來源多媒體串流中。

例如：先根據第一原始影像而得出第一廣告串流，並將第一廣告串流加入來源多媒體串流，進而得出第一編輯後多媒體串流。接著，在來源多媒體串流中，與第一原始影像間隔一段播放時間差的時點，再另外擷取第二原始影像；根據該第二原始影像而於該串流資料庫搜尋出與其相對應之廣告串流；以及將與第二原始影像相對應之廣告串流加入至第一編輯後多媒體串流。

須注意的是，由於相同的原始影像可能包含不同廠商的商標，因此，由原始影像所得出的候選像素可能包含了複數個候選像素組合。

也就是說，在第一原始影像的候選像素中，可能同時包含第一候選像素組合、第二候選像素組合、第三候選像素組合等。因此，實際由串流資料庫搜尋廣告串流時，除了須對針對第一候選像素組合而找出符合預設條件之特徵點組合，進而得出與其相對應的廣告串流外，也需要針對第二候選像素組合而找出與其符合預設條件之特徵點組合所對應的廣告串流。

也就是說，利用第二後選像素組合而與廣告串流資料庫所包含之複數個特徵點組合進行比對，進而自該等特徵點組合中得出符合預設條件之特徵點組合；選擇與該特徵點組合相對應之廣告串流作為第二廣告串流；以及將第二廣告串流加入至來源多媒體串流。

當然，若為候選像素提供了複數個候選像素組合的情況，則可能搜尋得出複數個廣告串流，導致廣告串流的播放時間過長，此時則可選擇性的僅播放其中的一部分的廣告內容。

上述的較佳實施例說明了一種提供多媒體串流的系統，包含了串流資料庫與串流編輯裝置。其中串流資料庫包含儲存伺服器與特徵擷取伺服器，而串流編輯單元包含了傳送接收單元與編輯單元。

在串流資料庫中，儲存伺服器被用於儲存來源多媒體串流、與複數個參考圖樣相對應之複數個廣告串流；另一方面，特徵擷取伺服器係對參考圖樣分別進行特徵擷取而得出複數個特徵點組合。此外，儲存伺服器將根據特徵擷取伺服器所得出的特徵點組合，進而儲存各個特徵點組合與各個廣告串流間的對應關係。

在串流編輯裝置中，傳送接收單元用於接收來源多媒體串流；另一方面，編輯單元係自來源多媒體串流擷取第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素。

於傳送接收單元將該等候選像素傳送至串流資料庫 後，串流資料庫將根據該等後選像素而搜尋出第一廣告串流。接著，編輯單元再將由傳送接收單元所接收之第一廣告串流加入至來源多媒體串流。

如前所述，根據本發明構想之較佳實施例可以讓電視台在安排廣告內容時，能夠更為彈性且呼應電視節目的內容，進而提升消費者的購買慾望，使廣告的效果更為顯著。在更進一步的應用中，本發明還可以被應用於網路電視或他種格式之多媒體串流。舉例來說，網路電視的串流提供者也可以根據不同的多媒體串流內容而選擇適合使用者觀看屬性的廣告內容。

例如：同樣一個畫面中擷取到餐桌上的電腦與廚具，但是使用者分別為偏向觀看科技片的觀眾時，則選擇電腦品牌相關的廣告。若使用者的上網習慣是偏好看居家用品時，則選擇加入廚具的廣告。此部分屬於實際應用時的參數判斷與調整，而可由本領域習用技術之人彈性的因應系統的需要而調整。此處便不再詳述。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10‧‧‧來源多媒體串流

13a‧‧‧第一廣告串流

13b‧‧‧第二廣告串流

15‧‧‧編輯後多媒體串流

10a‧‧‧第一部分的節目內容

10b‧‧‧第二部分的節目內容

10c‧‧‧第三部分的節目內容

21、91‧‧‧串流編輯裝置

211、911‧‧‧傳送接收單元

213、913‧‧‧編輯單元

23、93‧‧‧串流資料庫

231、103a‧‧‧搜尋引擎

233、933、101‧‧‧特徵擷取伺服器

235、935、103‧‧‧儲存伺服器

61‧‧‧中心剩餘像素

63‧‧‧相鄰剩餘像素

31、41‧‧‧特徵點

71‧‧‧中心像素

70‧‧‧預選描述區塊

70a‧‧‧第一子區塊

70b‧‧‧第二子區塊

70c‧‧‧第三子區塊

70d‧‧‧第四子區塊

93a‧‧‧多媒體串流資料庫

93b‧‧‧廣告串流資料庫

103b‧‧‧第一子伺服器

103c‧‧‧第二子伺服器

105‧‧‧伺服裝置

951‧‧‧特徵擷取單元

953‧‧‧儲存單元

第1A圖，其係代表未經編輯前的來源多媒體串流、廣告串流之示意圖。

第1B圖，其係代表將第1A圖的廣告串流資料內容加入來源多媒體串流之示意圖。

第2A圖，其係根據本發明構想之較佳實施例中，串流編輯裝置在來源多媒體串流取得原始影像之示意圖。

第2B圖，其係根據第一原始影像內的候選像素組合，而自廣告串流資料庫中得出與候選像素組合相對應的第一廣告串流之示意圖。

第2C圖，其係將第一廣告串流加入至來源多媒體串流而產生第一編輯後多媒體串流之示意圖。

第2D圖，其係根據本發明構想之較佳實施例所採用的提供多媒體串流的系統之示意圖。

第3A圖，其係串流資料庫以參考圖樣作為特徵擷取的來源之示意圖。

第3B圖，其係串流編輯單元以第一原始影像作為特徵擷取的來源之示意圖。

第4圖，其係對第一原始影像進行變異化運算並得出轉換畫面之示意圖。

第5A圖，其係根據中心剩餘畫面而選擇中心剩餘像素之示意圖。

第5B圖，其係以所選擇之中心剩餘像素作為相鄰像素區塊的中心，判斷其值是否具有區域極值之示意圖。

第6A圖，其係以一彩帶圖樣的商標圖樣作為參考圖樣之示意圖。

第6B圖，其係在原始影像中出現如第6A圖之商標圖樣之示意圖。

第7A圖，其係以一個候選像素為例，說明如何以候選像素為中心，取得一個預選描述區塊的示意圖。

第7B圖，其係將第7A圖之預選描述區塊區分為四個子區塊之示意圖。

第7C圖，其係對第7A圖之預選描述區塊內各個像素相對於中心的候選像素而計算像素描述向量之示意圖。

第7D圖，其係分別就四個子區塊計算算像素描述向量之示意圖。

第8A圖，其係將具有第一尺度之第一原始影像轉換為具有第二尺度之第一原始影像之示意圖。

第8B圖，其係以類似第4圖之作法，針對具有第二尺度之第一原始影像進行變異化運算而得出轉換畫面、剩餘畫面之示意圖。

第9A圖，其係根據本發明構想之較佳實施例，實現提供多媒體串流的系統之第一種態樣示意圖。

第9B圖，其係根據本發明構想之較佳實施例，實現提供多媒體串流的系統之第二種態樣示意圖。

第10A圖，其係實現第9B圖中的廣告串流資料庫之第一種態樣示意圖。

第10B圖，其係實現第9B圖中的廣告串流資料庫之第二種態樣示意圖。

第11A圖，其係根據本發明構想而提供之廣告串流的儲存方法之流程圖。

第11B圖，其係在第11A圖中的步驟S11之進一步說明的流程圖。

第11C圖，其係在第11A圖中的步驟S13之進一步說明的流程圖。

第12圖，其係串流資料庫所儲存之廣告串流與參考圖樣、特徵點組合、索引間之對應關係之示意圖。

第13圖，其係根據本發明構想，應用於串流編輯裝置上的多媒體串流的編輯方法之流程圖。

21‧‧‧串流編輯裝置

211‧‧‧傳送接收單元

213‧‧‧編輯單元

23‧‧‧串流資料庫

231‧‧‧搜尋引擎

233‧‧‧特徵擷取伺服器

235‧‧‧儲存伺服器

Claims (33)

1. 一種多媒體串流的編輯方法，包含以下步驟：自一來源多媒體串流擷取一第一原始影像；對該第一原始影像進行變異化處理並據此而得出複數個轉換畫面；根據該等轉換畫面間之比較結果而進行特徵擷取後，據此而得出複數個候選像素；根據該等後選像素而於一廣告串流資料庫搜尋出一第一廣告串流；以及將該第一廣告串流加入至該來源多媒體串流。
2. 如申請專利範圍第1項所述之編輯方法，其中該第一原始影像具有一第一尺度，而對該第一原始影像進行變異化處理並據此而得出該等轉換畫面之步驟指：分別根據複數個標準差值而對該第一原始影像進行一變異化運算後，得出具有該第一尺度之複數個轉換畫面。
3. 如申請專利範圍第2項所述之編輯方法，其中該變異化運算係為一高斯濾波運算。
4. 如申請專利範圍第2項所述之編輯方法，其中對該第一原始影像進行變異化處理並據此而得出該等轉換畫面之步驟更包含以下步驟：對該第一原始影像進行尺度轉換後，得出具有一第二尺度之該第一原始影像；分別根據該等標準差值而對具有該第二尺度之該第一原始影像進行該變異化運算後，得出具有該第二尺度之 複數個轉換畫面。
5. 如申請專利範圍第4項所述之編輯方法，其中具有該第二尺度之該第一原始影像的尺寸，係小於具有該第一尺度之該第一原始影像的尺寸。
6. 如申請專利範圍第2項所述之編輯方法，其中根據該等轉換畫面間之比較結果而進行特徵擷取後，據此而得出該等候選像素的步驟係包含以下步驟：根據該等轉換畫面間的比較而得出具有該第一尺度之複數個剩餘畫面，其中各該剩餘畫面均各自包含複數個剩餘像素；根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素；以及選擇在該等極值像素中具有較佳識別特性者作為該等候選像素。
7. 如申請專利範圍第6項所述之編輯方法，其中根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素之步驟係包含以下步驟：選取該等剩餘畫面之一者作為一中心剩餘畫面；自該中心剩餘畫面所包含之複數個剩餘像素中選擇一中心剩餘像素；分別比較該中心剩餘像素所具有之值、該中心剩餘像素之複數個相鄰剩餘像素所具有之值；以及，當該中心剩餘像素所具有之值與該中心剩餘像素之該等相鄰剩餘像素所具有之值相較而具有區域極值時，選擇以該中心剩餘像素作為該等極值像素之一者。
8. 如申請專利範圍第7項所述之編輯方法，其中該等相鄰剩餘像素係包含：在該中心剩餘畫面中，以該中心剩餘像素為中心之一相鄰像素區塊所包含的複數個剩餘像素；以及在與該中心剩餘畫面相鄰之剩餘畫面中，與該相鄰像素區塊相對應位置之像素區塊所包含的複數個剩餘像素。
9. 如申請專利範圍第6項所述之編輯方法，其中自該等極值像素中選取具有較佳識別特性者作為該等候選像素之步驟係包含以下步驟：刪除該等極值像素中不具高反差特性者；以及刪除該等極值像素中位於邊界者。
10. 如申請專利範圍第1項所述之編輯方法，其中根據該等後選像素而於一廣告串流資料庫搜尋出一第一廣告串流之步驟係包含以下步驟：根據該等候選像素而得出一第一候選像素組合，其中該第一候選像素組合係記錄與各該候選像素相對應之像素描述；利用該第一後選像素組合而與該廣告串流資料庫所包含之複數個特徵點組合進行比對，進而自該等特徵點組合中選取符合一預設條件者；以及根據符合該預設條件之特徵點組合，而於該廣告串流資料庫中選擇與其相對應之廣告串流作為該第一廣告串流。
11. 如申請專利範圍第10項所述之編輯方法，其中該廣告串流資料庫所包含之各該特徵點組合係對應於一 商標圖案、一標誌圖樣、一符號圖樣、一文字圖樣、一識別圖樣。
12. 如申請專利範圍第10項所述之編輯方法，其中與各該候選像素相對應之像素描述指：根據以各該候選像素為中心之一預選描述區塊所得出的像素描述向量。
13. 如申請專利範圍第10項所述之編輯方法，其中該預設條件係指：該第一後選像素組合與該特徵點組合間符合一預設相似程度。
14. 如申請專利範圍第1項所述之編輯方法，其中該等後選像素之一第一部分係對應於一第一候選像素組合，而該等候選像素之一第二部分係對應於一第二候選像素組合，而該編輯方法更包含以下步驟：利用該第二後選像素組合而與該廣告串流資料庫所包含之複數個特徵點組合進行比對，進而自該等特徵點組合中得出符合一預設條件之一特徵點組合；選擇與該特徵點組合相對應之廣告串流作為一第二廣告串流；以及將該第二廣告串流加入至該來源多媒體串流。
15. 如申請專利範圍第1項所述之編輯方法，其中將該第一廣告串流加入至該來源多媒體串流之步驟係指：將該第一廣告串流加入至該第一原始影像在該來源多媒體串流之位置的後段，進而得出一第一編輯後多媒體串流。
16. 如申請專利範圍第15項所述之編輯方法，其中更包含以下步驟：自該來源多媒體串流擷取一第二原始影像； 根據該第二原始影像而於該串流資料庫搜尋出與其相對應之廣告串流；以及將與該第二原始影像相對應之廣告串流加入至該第一編輯後多媒體串流。
17. 如申請專利範圍第16項所述之編輯方法，其中該第一原始影像與該第二原始影像在該來源多媒體串流中的位置係間隔一播放時間差。
18. 一種多媒體串流的編輯系統，包含：一多媒體串流資料庫，其係提供一來源多媒體串流；一廣告串流資料庫，其係具有一搜尋引擎並提供提供複數個廣告串流；以及一串流編輯裝置，包含：一傳送接收單元，信號連結於該多媒體串流資料庫與該廣告串流資料庫，其係接收該來源多媒體串流與該等廣告串流；以及一編輯單元，電連接於該傳送接收單元，其係自該來源多媒體串流擷取一第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素，其中，該廣告串流資料庫係根據該等後選像素而搜尋出一第一廣告串流，而該編輯單元在透過該傳送接收單元接收該第一廣告串流後，進而將該第一廣告串流加入至該來源多媒體串流。
19. 一種串流編輯裝置，包含： 一傳送接收單元，其係自一多媒體串流資料庫接收一來源多媒體串流；以及一編輯單元，電連接於該傳送接收單元，其係自該來源多媒體串流擷取一第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素，而該等候選像素在透過該傳送接收單元而被傳送至一廣告串流資料庫後，由該廣告資料庫根據該等後選像素而搜尋出一第一廣告串流，在該傳送接收單元接收該第一廣告串流後，該編輯單元將該第一廣告串流加入至該來源多媒體串流。
20. 一種廣告串流的儲存方法，包含以下步驟：對一第一參考圖樣進行特徵擷取並得出一第一特徵點組合，其中該第一參考圖樣係對應於一第一廣告串流；以及儲存該第一特徵點組合與該第一廣告串流間之對應關係。
21. 如申請專利範圍第20項所述之儲存方法，其中該第一廣告串流係對應於複數個參考圖樣，而各該參考圖樣分別對應於一特徵點組合。
22. 如申請專利範圍第20項所述之儲存方法，其中對該第一參考圖樣進行特徵擷取並得出該第一特徵點組合之步驟係包含以下步驟：對該第一參考圖樣進行變異化處理並據此而得出複數個第一參考轉換圖樣； 根據該等第一參考轉換圖樣間之比較結果而進行特徵擷取後，據此而得出複數個候選特徵像素；以及根據該等後選特徵像素而得出該第一特徵點組合。
23. 如申請專利範圍第22項所述之儲存方法，其中對該第一參考圖樣進行變異化處理並據此而得出該等第一參考轉換圖樣之步驟指：分別根據複數個標準差值而對該第一參考圖樣進行一變異化運算後，得出該等第一參考轉換畫面。
24. 如申請專利範圍第23項所述之儲存方法，其中該變異化運算係為一高斯濾波運算。
25. 如申請專利範圍第22項所述之儲存方法，其中根據該等第一參考轉換圖樣間之比較結果而進行特徵擷取後，據此而得出該等候選特徵像素之步驟係包含以下步驟：根據該等第一參考轉換畫面間的比較而得出複數個第一參考剩餘畫面，其中各該第一參考剩餘畫面均各自包含複數個剩餘像素；根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素；以及選擇在該等極值像素中具有較佳識別特性者作為該等候選特徵像素。
26. 如申請專利範圍第25項所述之儲存方法，其中根據該等剩餘像素間的比較而選取其中具有區域極值者的複數個極值像素之步驟係包含以下步驟：選取該等第一參考剩餘畫面之一者作為一中心剩餘 畫面；自該中心剩餘畫面所包含之複數個剩餘像素中選擇一中心剩餘像素；分別比較該中心剩餘像素所具有之值、該中心剩餘像素之複數個相鄰剩餘像素所具有之值；以及，當該中心剩餘像素所具有之值與該中心剩餘像素之該等相鄰剩餘像素所具有之值相較而具有區域極值時，選擇以該中心剩餘像素作為該等極值像素之一者。
27. 如申請專利範圍第26項所述之儲存方法，其中該等相鄰剩餘像素係包含：在該中心剩餘畫面中，以該中心剩餘像素為中心之一相鄰像素區塊所包含的複數個剩餘像素；以及在與該中心剩餘畫面相鄰之剩餘畫面中，與該相鄰像素區塊相對應位置之像素區塊所包含的複數個剩餘像素。
28. 如申請專利範圍第25項所述之儲存方法，其中選擇在該等極值像素中具有較佳識別特性者作為該等候選特徵像素之步驟係包含以下步驟：刪除該等極值像素中不具高反差特性者；以及刪除該等極值像素中位於邊界者。
29. 如申請專利範圍第22項所述之儲存方法，其中儲存該第一特徵點組合與該第一廣告串流間之對應關係的步驟係包含以下步驟：分配一第一索引予該第一特徵點組合；儲存該第一索引與該第一特徵點組合間的對應關係；以及 儲存該第一索引與該第一廣告串流間的對應關係。
30. 如申請專利範圍第20項所述之儲存方法，其中該第一參考圖樣係可為一商標圖案、一標誌圖樣、一符號圖樣、一文字圖樣、一識別圖樣。
31. 一種廣告串流的儲存系統，包含：一特徵擷取伺服器，對一第一參考圖樣進行特徵擷取並得出一第一特徵點組合；以及一儲存伺服器，信號連接於該特徵擷取伺服器，其係儲存該第一特徵點組合與該第一廣告串流間之對應關係，其中該第一參考圖樣係對應於一第一廣告串流。
32. 如申請專利範圍第31項所述之儲存系統，其中該儲存伺服器係包含：一搜尋引擎，其係分配一第一索引予該第一特徵點組合；一第一子伺服器，信號連接於該特徵擷取伺服器，其係儲存該第一索引與該第一特徵點組合間的對應關係；以及一第二子伺服器，信號連結於該第一子伺服器，其係儲存該第一索引與該第一廣告串流間的對應關係。
33. 一種提供多媒體串流的系統，包含：一串流資料庫，包含：一儲存伺服器，其係儲存一來源多媒體串流、與複數個參考圖樣相對應之複數個廣告串流；以及一特徵擷取伺服器，信號連接於該儲存伺服器，其係對該等參考圖樣分別進行特徵擷取而得出複數個 特徵點組合，其中該儲存伺服器係據此而儲存各該特徵點組合與各該廣告串流間的對應關係；以及一串流編輯裝置，包含：一傳送接收單元，信號連結於該串流資料庫，其係接收該來源多媒體串流；以及一編輯單元，電連接於該傳送接收單元，其係自該來源多媒體串流擷取一第一原始影像後，對其進行變異化處理並據此而得出複數個轉換畫面，接著根據該等轉換畫面間之比較結果而進行特徵擷取後，進而得出複數個候選像素，其中，於該傳送接收單元將該等候選像素傳送至該串流資料庫後，該串流資料庫根據該等後選像素而搜尋出一第一廣告串流，其中該編輯單元係將該傳送接收單元所接收之該第一廣告串流加入至該來源多媒體串流。