TWI554090B

TWI554090B - 產生多媒體影音摘要的系統與方法

Info

Publication number: TWI554090B
Application number: TW103146045A
Authority: TW
Inventors: 葉怡鎭
Original assignee: 財團法人工業技術研究院
Priority date: 2014-12-29
Filing date: 2014-12-29
Publication date: 2016-10-11
Also published as: TW201625009A; US20160189751A1; US10141023B2

Description

產生多媒體影音摘要的系統與方法

本發明是有關於一種產生多媒體影音摘要的系統與方法，特別是關於一種利用使用者擷取影音圖片或影音片段於產生多媒體影音摘要的系統與方法。

通常電視節目內容或是影音內容都會播放一段區間，如一部電影多半耗時2個小時、一部影集30分鐘到1個小時、一場棒球實況轉播可能需要3小時，內容提供者為了吸引消費者觀看，或是要讓消費者能快速了解電視節目或是影音內容的精采處，多半會主動剪輯精彩畫面供消費者觀賞。但為了幾則精彩畫面，工作人員針對電視節目內容或是影音內容，以自身的價值觀判斷精采處，並進行篩選與擷取，不但耗費時間，且個人主觀的判斷，亦不一定符合消費者大眾需求或愛好。此外，並非所有電視節目或影音內容提供者，會提供影音摘要。

隨著網際網路線上影音資訊技術的發達，有越多越多消費者因個人喜好，主動擷取電視節目內容或是影音內容的圖片或片段，並分享至網路上供大眾觀賞。藉由引入網際網路上消費大眾的喜好，自發性地進行電視節目或是影音內容精采處的擷取，加以收集與整理後產生該多媒體影音的摘要，供其他消費大眾存取與觀賞，不但可以藉由眾人之力節省剪輯節目內容的成本，也因為集眾人之行為投消費大眾之喜好。

在擷取電視節目或影音內容之圖片與片段的同時，若是能附加上節目名稱、時戳以及其他相關資訊，提供消費者以各類條件為依據，取得相關多媒體影音摘要，可加速取得與了解影音內容的重點。

從上述問題可以得知，有必要提供一種產生多媒體影音摘要的系統與方法，使得多媒體影音節目能依使用者的興趣，產生適切於多媒體內容的影音摘要。

本發明是有關於一種產生多媒體影音摘要的系統與方法，特別是關於一種利用使用者擷取影音圖片或影音片段於產生多媒體影音摘要的系統與方法，主要是讓使用者在多媒體影音播出時，以擷取方式擷取下個人有興趣的影音資訊，至少包括影音片段或圖像，經收集與整理多人的擷取影音資訊結果後產生多媒體影音的摘要。此外，亦可以藉由所擷取之影音資訊，進一步影音資訊附加的名稱、時戳以及其他相關資訊，連結於相關的電視節目、影音內容，提供各項條件下的多媒體影音摘要功能。本系統的應用主要是當多媒體影音，例如電視節目內容或影音內容播放時，提供大眾有興趣之影音圖片與片段摘要，以快速便利的了解該多媒體影音之重點內容。

本發明是有關於一種產生多媒體影音摘要的方法，適用於一多媒體影音系統，該方法包括下列步驟：由一多媒體影音擷取一影音資訊，該影音資訊至少包括一影音片段或一圖像；處理該影音資訊，依一預設條件處理該影音資訊中之該影音片段與該圖像，產生一影音摘要候選，其中該預設處理條件至少包括系統設定值、重疊的時間、最大影音片段長度、最小影音片段長度、擷取人數的比例或其組合，以決定該影音片段之起始點與結束點；產生一影音摘要序列，檢視是否設有一預設門檻，若無，則將該影音摘要候選輸出，加入該影音摘要序列；若有，則檢視該影音因摘要候選是否符合該預設門檻；若符合該預設門檻，則加入該影音摘要序列；若不符合該預設門檻，則跳過該影音摘要候選；以及組合該影音摘要序列產生一影音摘要。

本發明是有關於一種產生多媒體影音摘要系統，該系統包括：一傳送接收模組，用以傳送接收資料；一多媒體影音擷取模組，用以由該多媒體影音擷取一影音資訊，該影音資訊至少包括一影音片段或一圖像；一多媒體影音處理模組，耦接於該多媒體影音擷取模組，用以接收該多媒體影音擷取模組所擷取之影音資訊並加以處理該影音資訊，依一預設條件處理該影音資訊中之該影音片段與該圖像，產生一影音摘要候選，其中該預設處理條件至少包括系統設定值、重疊的時間、最大影音片段長度、最小影音片段長度、擷取人數的比例或其組合，以決定該影音片段之起始點與結束點；一多媒體影音摘要產生模組，耦接於該多媒體影音處理模組，用以接收該影音摘要候選產生一影音摘要序列，並檢視是否設有一預設門檻，若無，則將該影音摘要候選輸出，加入該影音摘要序列；若有，則檢視該影音因摘要候選是否符合該預設門檻；若符合該預設門檻，則加入該影音摘要序列；若不符合該預設門檻，則跳過該影音摘要候選，最後組合該影音摘要序列產生一影音摘要。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

200‧‧‧多媒體影音系統

201‧‧‧顯示裝置

202‧‧‧多媒體影音

2031~2035‧‧‧影音資訊

2041~2045‧‧‧影音資訊擷取次數

205‧‧‧時間軸

206‧‧‧使用者裝置

207‧‧‧使用者指令

301‧‧‧多媒體影音擷取模組

302‧‧‧多媒體影音處理模組

303‧‧‧多媒體影音摘要產生模組

304‧‧‧傳送接收模組

305‧‧‧儲存裝置

S110~S160、S207~S209‧‧‧步驟

第1圖是依照本揭露之一範例實施例所繪示之影音摘要產生流程圖。

第2a圖是依照本揭露之一範例實施例所繪示之多媒體影音系統示意圖。

第2b圖是依照本揭露之一範例實施例所繪示之多媒體影音示意圖。

第2c圖是依照本本揭露之一範例實施例所繪示之影音資訊整理流程圖。

第3圖是依照本揭露之一範例實施例所繪示之多媒體影音系統模組示意圖。

為使本發明之目的、技術特徵及優點，能更為相關技術領域人員所了解，並得以實施本發明，在此配合所附之圖式，具體闡明本發明之技術特徵與實施方式，並列舉較佳實施例進一步說明。以下文中所對照之圖式，係表達與本發明特徵有關之示意，並未亦不需要依據實際情形完整繪製；而關於本案實施方式之說明中涉及本領域技術人員所熟知之技術內容，亦不再加以贅述，合先敘明。

第1圖所示為本發明實施例之流程圖。在一多媒體影音系統中產生多媒體影音摘要的方法，在步驟S110，當多媒體影音，例如電視節目或隨選影片在播放的時，步驟S120由該多媒體影音擷取一影音資訊，這個影音資訊可以是一個節目的影音片段或一圖像；如果是擷取一張目前圖像，則在收到擷取指令時，便擷取當下電視節目或影音內容的畫面存放在伺服器或對應的儲存裝置上。若是擷取一個影音片段，則會接受擷取該影音片段的起始點指令與結束點指令，系統便會依據收到的擷取區間指令，對當下電視節目或影音內容的畫面進行影音片段的擷取，並存放在伺服器或對應的儲存裝置上。除此之外，多媒體影音資訊可進一步包括自行輸入之資訊或擷取來自網際網路之相關內容。更進一步，系統在擷取多媒體影音資訊的當下，同步藉由內容供應者提供的對應資訊，將該影音資訊的對應資訊同步紀錄，相關對應資訊包括，例如：即時紀錄相關資訊，如頻道名稱、節目名稱、擷取時戳、演員姓名、特殊事件名稱等。

步驟S130，在完成影音資訊擷取後，系統會針對擷取影音資訊的結果依一預設條件進行處理，以產生一影音摘要候選。其中預設處理條件至少包括但不限於系統設定值、重疊的時間、最大影音片段長度、最小影音片段長度、擷取人數的比例或其組合，以決定該影音片段之起始點與結束點。其中系統設定值可以為，例如，若擷取影音資訊為一影音片段，則指定擷取指令起始點後的一固定時間區段，為影音資訊區段。若擷取影音片段若有重疊的時間，但起始點與結束點不同，可依據系統設定值，取最大影音片段長度，或是最小影音片段長度，抑或是依照擷取人數的比例決定影音片段的起始點與結束點。若該影音資訊為一圖像，其中該預設處理條件至少包括但不限於系統設定值、擷取人數的比例、擷取次數或其組合等。經過步驟S130處理後，產生多個影音摘要候選。

步驟S130中，更可以利用依群聚演算法進行篩選，例如：K-means演算法，將影音摘要候選進行群聚演算，經過群聚演算後將相似的影音摘要候選組成影應候選序列，並輸出成影音摘要。

由步驟S130處理後產生的多個影音摘要候選，該些影音選會組成一影音摘要序列。步驟S140中，由於由使用者擷取的結果可能因多媒體影音的熱門程度，而有數量上的差距，若一多媒體影音只有一個使用者擷取其片段，可能因數量太少而不具有代表性，是故系統可設定基本門檻值，篩選掉擷取數量小於基本門檻值的影音摘要確認系統是否有設定影音摘要的基本門檻值，該門檻值用來進行第一階段的篩選。

步驟S140中，檢視是否設有一影音序列篩選預設門檻，該門檻可以是例如，若影音摘要候選唯一影音片段，則計算相同時間區間影音摘要候選的數量，若超過一預設數量則保留該影音摘要候選於影音摘要序列中，若未到達門檻則跳過該影音摘要候選。若影音摘要候選唯一圖像，則利用影像處理方式，比對相似圖像之數量，若相似圖像到達門檻值，則保留該影音摘要候選，否則跳過該影音摘要候選。

步驟S140中，若系統並無預設門檻值，則進入步驟160，直接將該影音摘要候選序列輸出，產生一影音摘要。在影音摘要輸出前，可將該影音候選序列，依一排序準則進行輸出，該排序準則可以為依影音資訊時間、影音摘要時間或擷取人數等條件進行排序。

步驟S140中，若系統設有一預設門檻值，則進入步驟S150，系統計算擷取下的影音摘要候選的數量，檢查是否有達到門檻值，若已達到門檻值，即代表期達到一定的代表性，則進入步驟S160，輸出成該多媒體影音摘要的一部分。若未達到門檻值則繼續等待後續使用者的擷取結果，直到多媒體影音播放完成。

同時參考第2a圖及第2c圖，在步驟S120系統擷取多媒體影音之影音資訊，步驟S207還進一步包括整理影音資訊擷取結果，將會搜尋播出節目的電子節目表(Electronic Program Guide,EPG)，找出相同的電視節目或影音名稱的節目時段。步驟S208，將相關的影音資訊，包括影音片段或圖像連結至該多媒體影音，例如電視節目或隨選視訊。步驟S209，在其他觀眾在觀看相同的多媒體影音202時，即會在顯示器201中顯示經大眾擷取下來的影音資訊2031至2035。，以多媒體影音202之時戳為依據，依序將影音資訊2031至2035表列於畫面下方，供觀眾快速瀏覽該些影音資訊，以快速了解該節目或影音內容的精采處。同時該影音資訊被截取的次數2041-2045，已可同步顯示於顯示器202中。

同時參考第2a圖及第2c圖，更近一步，步驟S207中，多媒體影音內容提供商，可根據影音資訊及影音資訊截取次數，安排相關的節目、商品資訊，以增加廣告的效應。更近一步，若該多媒體影音為一電視頻道，觀眾在開啟某一頻道後，可啟動頻道之精華片段功能，可以該頻道名稱為索引值，將當日該頻道所擷取之影音資訊，包括影音片段或圖像，依序表列於畫面下方，供消費者快速取得該頻道精華。同樣的功能亦可以其他條件進行節目精華的萃取，例如，取得一特定演員的戲劇精華，或是取得某一特定事件的新聞精華等。

根據本發明的另一範例實施例，同時參考第2b圖及第2c圖，當使用者正在觀看202美食節目，看到自己感興趣的影音片段2032-2034時，可以透過使用者端裝置206，例如手持裝置、筆記型電腦或個人電腦等，選擇自己感興趣的影音片段，可將欲擷取的影片在時間軸205上之起始時間2051即結束時間2052，將這些擷取的影音資訊片段訊息送到多媒體影音系統，在系統進行該影音片段的剪輯，並在步驟S208，進一步產生一網路散佈網址，供使用者透過網路進行存取。同時，在節目重播、相同電視節目或影音名稱的節目時段、相同電視節目或影音名稱的網路影音，可藉由步驟S208所產生的資訊擷取結果連結，將擷取下來的結果連結至該節目時段中。其他使用者在觀看重播、網路影音服務或是該節目續集時，可以透過手持裝置、聯網電視、PC等，亦可透過該些資訊擷取結果連結快速瀏覽其他使用者感興趣的片段。電視內容提供商也可以針對該些資訊擷取結果連結，去額外安插相關的節目資訊或是商品廣告，像是如何找到該美食商家等資訊。

根據本發明的另一範例實施例，同時參考第2b圖及第2c圖，舉例來說，若使用者在觀看棒球比賽時，因為棒球實況轉播可能需要3小時，在使用本系統觀看時，使用者可以在聯網電視或是網路影片中，可藉由步驟S208所產生的資訊擷取結果連結，找到在該場實況轉播中其他使用者們感興趣的精彩片段，並透過智慧型聯網電視進行觀看。此外，使用者還可以由系統所收集的影音資訊擷取次數，知道有多少使用者在一定的時間範圍內也進行了擷取該片段，用以判斷該片段的精采程度。所有擷取影片的使用者，可藉由206使用者裝置，針對擷取下的影片下傳送使用者指令210，包括標記、評論或搜尋。觀眾觀看重播或是透過網路觀看該影片時，可以透過使用者裝置包括遙控器或手持式裝置等，透過使者指令210輸入想搜尋的關鍵字，顯示器201就會撥放所有含有該關鍵字的影音資訊供觀眾瀏覽。

根據本發明的另一範例實施例，請參考第3圖，本發明所揭露之多媒體影音系統200，至少包括一傳送接收模組304、一多媒體影音擷取模組301、一多媒體影音處理模組302，以及一多媒體影音摘要產生模組303。其中，該傳送接收模組304，用以傳送接收資料使用者端裝置或其他來源，例如如網際網路之資料。多媒體影音擷取模組301，用以由該撥放中的多媒體影音擷取其影音資訊，該影音資訊至少包括一影音片段或一圖像。雖然於第3圖中並未示出，但多媒體影音系統200更包括處理器、記憶體等其他元件。

多媒體影音處理模組302，耦接於該多媒體影音擷取模組301，用以接收該多媒體影音擷取模組所擷取之影音資訊並加以處理該影音資訊，可依一預設條件處理該影音資訊中之該影音片段與該圖像，以產生一影音摘要候選。若是該影音資訊為一影音片段，其中該預設處理條件至少包括但不限於系統設定值、重疊的時間、最大影音片段長度、最小影音片段長度、擷取人數的比例或其組合等，以決定該影音片段之起始點與結束點。若該影音資訊為一圖像，其中該預設處理條件至少包括但不限於系統設定值、擷取人數的比例、擷取次數或其組合等。

多媒體影音摘要產生模組303，耦接於該多媒體影音處理模組302，用以接收該影音摘要候選產生一影音摘要序列，並檢視是否設有一預設門檻。若系統並無預設門檻值，直接將該影音摘要候選序列輸出，以產生一影音摘要。在影音摘要輸出前，可將該影音候選序列，依一排序準則進行輸出，該排序準則可以為依影音資訊時間、影音摘要時間或擷取人數等條件進行排序。若系統設有一預設門檻值，多媒體影音摘要產生模組303計算擷取下的影音摘要候選的數量，檢查是否有達到門檻值，若已達到門檻值，即代表期達到一定的代表性，輸出成該多媒體影音摘要的一部分。若未達到門檻值則繼續等待後續使用者的擷取結果，直到多媒體影音播放完成。

根據本發明的實施例，請參考第3圖，本發明所揭露之多媒體影音系統200，其中該多媒體影音可以為一影音串流(Video streaming)、隨選視訊(Video on Demand)、數位電視節目、影音光碟(DVD or VCD)等多媒體影音來源。多媒體影音系統200可進一步包括一顯示裝置201，用以顯示該多媒體影音、多媒體資訊及影音摘要等。多媒體影音系統200可進一步包括一儲存裝置305，用以存取多媒體影音擷取模組301、一多媒體影音處理模組302，以及一多媒體影音摘要產生模組303所生成之資料，或儲存或暫存撥放中或待撥放之多媒體影音。

根據本發明的另一實施例，請參考第3圖、第2b圖及第2c圖，本發明所揭露之多媒體影音系統200，可更進一步包含一使用者端裝置206，例如手持裝置、筆記型電腦或個人電腦等，使用者可操做該使用者端裝置206與傳送接受模組304進行通訊，並對進行多媒體影音系統進行操作。舉例來說，當使用者正在觀看202美食節目，看到自己感興趣的影音片段2032-2034時，可以透過使用者端裝置206，例如手持裝置、筆記型電腦或個人電腦等，選擇自己感興趣的影音片段，可將欲擷取的影片在時間軸205上之起始時間2051即結束時間2052，將這些擷取的影音資訊片段訊息送到多媒體影音系統，在系統進行該影音片段的剪輯，並在步驟S208，進一步產生一網路散佈網址，供使用者透過網路進行存取。同時，在節目重播、相同電視節目或影音名稱的節目時段、相同電視節目或影音名稱的網路影音，可藉由步驟S208所產生的資訊擷取結果連結，將擷取下來的結果連結至該節目時段中。其他使用者在觀看重播、網路影音服務或是該節目續集時，可以透過手持裝置、聯網電視、PC等，亦可透過該些資訊擷取結果連結快速瀏覽其他使用者感興趣的片段。電視內容提供商也可以針對該些資訊擷取結果連結，去額外安插相關的節目資訊或是商品廣告，像是如何找到該美食商家等資訊。

根據本發明的另一實施例，請參考第3圖、第2a圖及第2c圖，本發明所揭露之多媒體影音系統200，在使用本系統觀看多媒體影音時，可藉由步驟S208所產生的資訊擷取結果連結，找到在播放中之多媒體影音其他使用者們感興趣的精彩片段，並透過顯示裝置進行觀看。此外，使用者還可以由系統所收集的影音資訊擷取次數，知道有多少使用者在一定的時間範圍內也進行了擷取該片段，用以判斷該片段的精采程度。所有擷取影片的使用者，可藉由206使用者裝置，針對擷取下的影片下傳送使用者指令210，包括標記、評論或搜尋。觀眾觀看重播或是透過網路觀看該影片時，可以透過使用者裝置包括遙控器或手持式裝置等，透過使者指令210輸入想搜尋的關鍵字，顯示裝置201就會撥放所有含有該關鍵字的影音資訊供觀眾瀏覽。

綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。

S110~160‧‧‧步驟

Claims

一種產生多媒體影音摘要的方法，適用於一多媒體影音系統，該方法包括下列步驟：由一多媒體影音擷取一影音資訊，該影音資訊至少包括一影音片段或一圖像；處理該影音資訊，依一預設條件處理該影音資訊中之該影音片段與該圖像，產生一影音摘要候選，其中該預設處理條件至少包括系統設定值、重疊的時間、最大影音片段長度、最小影音片段長度、擷取人數的比例或其組合，以決定該影音片段之起始點與結束點；產生一影音摘要序列，檢視是否設有一預設門檻，若無，則將該影音摘要候選輸出，加入該影音摘要序列；若有，則檢視該影音因摘要候選是否符合該預設門檻；若符合該預設門檻，則加入該影音摘要序列；若不符合該預設門檻，則跳過該影音摘要候選；以及組合該影音摘要序列產生一影音摘要；其中該預設門檻可以至少是選取該影音摘要候選的使用者人數、選取該影音摘要候選的使用者人數比例或其組合；其中該預設處理條件可進一步包括利用一群聚演算法，篩選出該影音資訊中之相似的該影音片段與該圖像，形成一影音摘要候選群組。
如申請專利範圍第1項所述的方法，其中該影音摘要候選可以為處理後之該影音片段與該圖像。
如申請專利範圍第1項所述的方法，其中該影音資訊進一步包括擷取該影音片段與該圖像之一對應資訊，該對應資訊至少包含頻道名稱、節目名稱、擷取時戳、演員姓名、特定事件或其組合。
如申請專利範圍第3項所述的方法，其中該對應資訊可以為使用者自行輸入之內容或擷取來自網際網路之相關內容。
如申請專利範圍第1項所述的方法，進一步包括影音資訊整理步驟，包括：由該影音資訊搜尋一相關之多媒體影音；建立該影音資訊與搜尋出之該相關多媒體影音一連結關係；以及播放該影音資訊。
如申請專利範圍第5項所述的方法，其中該連結關係至少包含該影音資訊與該多媒體之一對應關係、該影音資訊之一網際網路存取位址及其組合。
如申請專利範圍第5項所述的方法，其中該影音資訊進一步至少包含接收一使用者端之標記、評論、關鍵字及其組合。
一種產生多媒體影音摘要的多媒體影音系統，該系統包括：一傳送接收模組，用以傳送接收資料；一多媒體影音擷取模組，用以由該多媒體影音擷取一影音資訊，該影音資訊至少包括一影音片段或一圖像；一多媒體影音處理模組，耦接於該多媒體影音擷取模組，用以接收該多媒體影音擷取模組所擷取之影音資訊並加以處理該影音資訊，依一預設條件處理該影音資訊中之該影音片段與該圖像，產生一影音摘要候選，其中該預設處理條件至少包括系統設定值、重疊的時間、最大影音片段長度、最小影音片段長度、擷取人數的比例或其組合，以決定該影音片段之起始點與結束點；一多媒體影音摘要產生模組，耦接於該多媒體影音處理模組，用以接收該影音摘要候選產生一影音摘要序列，並檢視是否設有一預設門檻，若無，則將該影音摘要候選輸出，加入該影音摘要序列；若有，則檢視該影音因摘要候選是否符合該預設門檻；若符合該預設門檻，則加入該影音摘要序列；若不符合該預設門檻，則跳過該影音摘要候選，組合該影音摘要序列產生一影音摘要；其中該多媒體影音處理模組中，該預設處理條件可進一步包括利用一群聚演算法，篩選出該影音資訊中之相似的該影音片段與該圖像，形成一影音摘要候選群組。
如申請專利範圍第8項所述的系統，其中該多媒體影音處理模組產生之影音摘要候選，為依據該預設條件處理後之該影音片段與該圖像。
如申請專利範圍第8項所述的系統，其中該多媒體影音擷取模組所擷取之該影音資訊，進一步包括擷取該影音片段與該圖像之一對應資訊，該對應資訊至少包含頻道名稱、節目名稱、擷取時戳、演員姓名、特定事件或其組合。
如申請專利範圍第8項所述的系統，其中該多媒體影音擷取模組所擷取之該影音資訊，進一步包括自行輸入之資訊或擷取來自網際網路之相關內容。
如申請專利範圍第8項所述的系統，，該多媒體影音處理模組中，進一步包括執行一影音資訊整理步驟，包括：由該影音資訊搜尋一相關之多媒體影音；建立該影音資訊與搜尋出知該相關多媒體影音一連結關係；以及播放該影音資訊。
如申請專利範圍第12項所述的系統，其中該連結關係至少包含該影音資訊與該多媒體之一對應關係、該影音資訊之一網際網路存取位址及其組合。
如申請專利範圍第8項所述的系統，其中該多媒體影音摘要產生模組中，該預設門檻可以至少是選取該影音摘要候選的使用者人數、選取該影音摘要候選的使用者人數比例或其組合。
如申請專利範圍第8項所述的系統，進一步包含一使用者端裝置，用以傳送該影音資訊至該傳送接收模組，其中，該影音資訊至少包含該使用者端傳送之標記、評論、關鍵字及其組合。