TW202209255A - 智慧型影片編輯方法及系統 - Google Patents

智慧型影片編輯方法及系統 Download PDF

Info

Publication number
TW202209255A
TW202209255A TW109128267A TW109128267A TW202209255A TW 202209255 A TW202209255 A TW 202209255A TW 109128267 A TW109128267 A TW 109128267A TW 109128267 A TW109128267 A TW 109128267A TW 202209255 A TW202209255 A TW 202209255A
Authority
TW
Taiwan
Prior art keywords
image frames
score
target image
video editing
neural network
Prior art date
Application number
TW109128267A
Other languages
English (en)
Other versions
TWI764240B (zh
Inventor
段棊逢
程永欣
曾婉茹
Original Assignee
威聯通科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威聯通科技股份有限公司 filed Critical 威聯通科技股份有限公司
Priority to TW109128267A priority Critical patent/TWI764240B/zh
Priority to US17/148,299 priority patent/US11355154B2/en
Publication of TW202209255A publication Critical patent/TW202209255A/zh
Application granted granted Critical
Publication of TWI764240B publication Critical patent/TWI764240B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一種智慧型影片編輯方法，包含：自一母源儲存裝置接收並解碼一串流以產生包含複數個影像框之一影像串列；依一預定間隔時間對該影像串列進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數；選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框；以及對該些目標影像框進行一AI評估運算以對各該目標影像框進行分類及/或評分。

Description

智慧型影片編輯方法及系統
本發明係關於影片編輯方法，尤指一種可自動篩選一影片之特定畫面之智慧型影片編輯方法。
一般的影片編輯軟體會提供影像框(image frame)的顯示時間調整功能，以讓使用者能夠藉由按壓鍵盤上的箭頭鍵使一影片的各個影像框逐框顯示，從而對該影片進行一編輯作業。
然而，對每天須編輯大量影片的工作人員而言，即使一般的影片編輯軟體已提供了上述的顯示時間調整功能，其工作負擔仍然相當大。
因此，本領域亟需一種更有效率的影片編輯方法。
本發明之一目的在於提供一種智慧型影片編輯方法，其可藉由間隔一預定時間對一影像串列進行一畫面擷取操作以減少資料處理量。
本發明之另一目的在於提供一種智慧型影片編輯方法，其可藉由對時間相鄰的任兩個擷取的影像框進行一比較運算以定義出隸屬於同一場景的複數個影像框，並自其中擇一作為一目標影像框以進一步減少資料處理量。
本發明之另一目的在於提供一種智慧型影片編輯方法，其可藉由至少一類神經網路對該些目標影像框進行至少一評估運算以將各該目標影像框分類及/或評分，並在將各該目標影像框分類及/或評分後依分數高、低排列及/或依一分數門檻篩選該些目標影像框並予以儲存。
本發明之另一目的在於提供一種智慧型影片編輯方法，其可藉由一使用者操作介面供使用者選擇一分類或一分數門檻以自一記憶體中讀取所需的目標影像框。
本發明之另一目的在於提供一種智慧型影片編輯方法，其可藉由一使用者操作介面供使用者輸入所述類神經網路所產生之一錯誤的分類或評分結果，以供優化所述的類神經網路。
本發明之另一目的在於提供一種智慧型影片編輯方法，其可藉由一喜好追蹤模組及/或一厭惡追蹤模組儲存使用者之選擇紀錄。
本發明之另一目的在於提供一種智慧型影片編輯方法，其可藉由一廣告提供模組依該喜好追蹤模組及/或該厭惡追蹤模組所儲存之選擇紀錄提供使用者至少一廣告訊息。
本發明之又一目的在於提供一種智慧型影片編輯方法，其可藉由一過濾模組依該厭惡追蹤模組所儲存之選擇紀錄過濾提供給使用者之訊息。
為達成上述目的，一種智慧型影片編輯方法乃被提出，其係利用一資訊處理裝置實現，該方法包含：
自一母源儲存裝置接收並解碼一串流以產生包含複數個影像框之一影像串列；
依一預定間隔時間對該影像串列進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數；
選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框；以及
利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一；或利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；或利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一，且利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；其中，該第一類神經網路內之複數個權重係數係利用複數組(輸入資料，輸出資料)對該第一類神經網路進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由所述複數個預設分類提供，且該第二類神經網路內之複數個權重係數係利用複數組(輸入資料，輸出資料)對該第二類神經網路進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由複數個預設實數提供。
在一實施例中，該比較運算係用以將時序相鄰的任兩個所述候選影像框之兩個動量向量之差值與一閾值進行比較，並在該差值小於該閾值時將兩個所述候選影像框定義為隸屬於同一所述場景，其中，該差值可為一均方根差或一餘弦距離(Cosine distance)，且所述動量向量的產生方式為：將一所述候選影像框依一色彩空間切分為n個子區域，n為正整數；對每一所述子區域進行m次不同的動量估計(moment estimation)運算以各產生m個不同階次的動量值，m為正整數，其中，所述m個動量值係由一階動量值(平均值)、二階動量值(方差值)、三階動量值(偏態值)、四階動量值(峰度值)、…及k階動量值所組成群組中選出的m個選項，k為大於或等於m的正整數；以及依n個所述子區域   總共所產生的nxm個所述動量值形成所述的動量向量。
在一實施例中，所述之智慧型影片編輯方法進一步包括：在利用該第一類神經網路及/或該第二類神經網路進行該分類及/或該分數評估運算時，將產生之至少一該分類及/或該分數儲存於一記憶單元中。
在一實施例中，所述之智慧型影片編輯方法進一步包括：在利用該第一類神經網路及/或該第二類神經網路進行該分類及/或該分數評估運算時，將產生之至少一該分類及/或該分數高於一預設分數者儲存於一記憶單元中。
在一實施例中，所述之智慧型影片編輯方法進一步包括：在利用該第一類神經網路及/或該第二類神經網路進行該分類及/或該分數評估運算時，將產生之至少一該分類及/或該分數進行一排序處理並將其結果儲存於一記憶單元中。
在一實施例中，該母源儲存裝置係一雲端儲存裝置或該資訊處理裝置之一本地儲存裝置。
在一實施例中，當所述之智慧型影片編輯方法利用該第一類神經網路進行該分類評估運算時，該資訊處理裝置進一步包含一使用者操作介面，俾以供一使用者選擇一該預設分類及/或預設分數以自一記憶單元中讀取所需的至少一該目標影像框。
在一實施例中，該資訊處理裝置進一步包含一類別辨識錯誤記錄模組，用以將該使用者經由該使用者操作介面輸入之該分類評估運算之至少一錯誤結果儲存在該記憶單元中，以供優化該第一類神經網路。
在一實施例中，該資訊處理裝置進一步包含一喜好追蹤模組，用以將該使用者對該些預設分類之選擇紀錄儲存在該記憶單元中。
在一實施例中，該資訊處理裝置進一步包含一厭惡追蹤模組，用以將該使用者經由該使用者操作介面輸入之至少一該預設分類之一厭惡反饋紀錄儲存在該記憶單元中。
在一實施例中，該資訊處理裝置進一步包含一廣告提供模組，用以依該喜好追蹤模組所儲存之該些選擇紀錄及/或該厭惡追蹤模組所儲存之該些厭惡反饋紀錄決定提供給該使用者之至少一廣告訊息。
在一實施例中，該資訊處理裝置進一步包含一過濾模組，用以依該厭惡追蹤模組所儲存之該些厭惡反饋紀錄過濾提供給使用者之訊息。
在一實施例中，當所述之智慧型影片編輯方法利用該第二類神經網路進行該分數評估運算時，該資訊處理裝置進一步包含一使用者操作介面，俾以供一使用者設定該預設分數及選擇自該記憶單元中讀取該分數高於該預設分數的至少一該目標影像框。
在一實施例中，該資訊處理裝置進一步包含一分數錯誤記錄模組，用以將該使用者經由該使用者操作介面輸入之該分數評估運算之至少一錯誤結果儲存在該記憶單元中，以供優化該第二類神經網路。
為達成上述目的，本發明進一步提出一種智慧型影片編輯系統，其具有如前述之資訊處理裝置以實現所述之智慧型影片編輯方法。
在可能的實施例中，該資訊處理裝置可為一桌上型電腦、一攜帶型電腦、一智慧型手機或一NAS(network attached storage；網路附接儲存)裝置。
為使  貴審查委員能進一步瞭解本發明之結構、特徵、目的、與其優點，茲附以圖式及較佳具體實施例之詳細說明如後。
本發明的原理在於：
(1)依一預定間隔時間對一影像串列進行一畫面擷取操作以減少資料處理量；
(2)對時間相鄰的任兩個擷取的影像框進行一比較運算以定義出隸屬於同一場景的複數個影像框，並自其中擇一作為一目標影像框以進一步減少資料處理量；以及
(3)利用至少一類神經網路對該些目標影像框進行至少一評估運算以將各該目標影像框分類儲存及/或評分，並在將各該目標影像框分類及/或評分後依分數高、低排列及/或依一分數門檻篩選該些目標影像框並予以儲存；
(4)利用一使用者操作介面供一使用者選擇一分類或一分數門檻以自一記憶體中讀取所需的目標影像框；
(5)利用該使用者操作介面供一使用者輸入所述類神經網路所產生之一錯誤的分類或評分結果，以供優化所述的類神經網路；
(6)利用一喜好追蹤模組及/或一厭惡追蹤模組儲存使用者之選擇紀錄；
(7)利用一廣告提供模組以依該喜好追蹤模組及/或該厭惡追蹤模組所儲存之選擇紀錄提供使用者至少一廣告訊息；以及
(8)利用一過濾模組依該厭惡追蹤模組所儲存之選擇紀錄過濾提供給使用者之訊息。
請一併參照圖1至圖8，其中，圖1繪示本發明之智慧型影片編輯方法之一實施例的流程圖，其中該方法係利用一資訊處理裝置實現；圖2為應用圖1之方法之一系統之方塊圖；圖3為圖2所示之系統之一操作示意圖；圖4a為圖2所示之系統之另一操作示意圖；圖4b為圖2所示之系統之另一操作示意圖；圖5為圖2所示之系統之另一操作示意圖；圖6為圖2所示之系統之另一操作示意圖；圖7為圖2所示之系統之另一操作示意圖；以及圖8為圖2所示之系統之又一操作示意圖。
如圖1所示，該方法包含以下步驟：自一母源儲存裝置接收並解碼一串流以產生包含複數個影像框之一影像串列(步驟a)；依一預定間隔時間對該影像串列進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數(步驟b)；選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框(步驟c)；以及利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一；或利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；或利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一，且利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數(步驟d)。
在步驟a中，該母源儲存裝置可為一雲端儲存裝置或該資訊處理裝置之一本地儲存裝置。
在步驟b中，該預定間隔時間可依影像串列的內容特性加以調整。例如，當該影像串列的內容是有關一動作片場景時，該預定間隔時間可予以縮短，而當該影像串列的內容是有關一靜物場景時，該預定間隔時間可予以延長。另外，一該張影像可具有一個或一個以上的所述影像框(image frame)。
在步驟c中，該比較運算係用以將時序相鄰的任兩個所述候選影像框之兩個動量向量之差值與一閾值進行比較，並在該差值小於該閾值時將兩個所述候選影像框定義為隸屬於同一所述場景，其中，該差值可為一均方根差或一餘弦距離(Cosine distance)，且所述動量向量的產生方式為：將一所述候選影像框依一色彩空間切分為n個子區域，n為正整數；對每一所述子區域進行m次不同的動量估計(moment estimation)運算以各產生m個不同階次的動量值，m為正整數，其中，所述m個動量值係由一階動量值(平均值)、二階動量值(方差值)、三階動量值(偏態值)、四階動量值(峰度值)、…及k階動量值所組成群組中選出的m個選項，k為大於或等於m的正整數；以及依n個所述子區域總共所產生的nxm個所述動量值形成所述的動量向量。依此，本發明可藉由在隸屬於同一場景的多個影像框中擇一以降低資料處理負擔。
在步驟d中，該第一類神經網路內之複數個權重係數係利用複數組(輸入資料，輸出資料)對該第一類神經網路進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由所述複數個預設分類提供，且該第二類神經網路內之複數個權重係數係利用複數組(輸入資料，輸出資料)對該第二類神經網路進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由複數個預設實數提供。
另外，當本發明之智慧型影片編輯方法利用該第一類神經網路進行該分類評估運算時，該資訊處理裝置可進一步包含一使用者操作介面，俾以供一使用者選擇一該預設分類以自一記憶單元中讀取所需的至少一該目標影像框。
另外，當本發明之智慧型影片編輯方法利用該第二類神經網路進行該分數評估運算時，可將產生之至少一該分數儲存於一記憶單元中；或將產生之至少一該分數高於一預設分數者儲存於一記憶單元中；或將產生之至少一該分進行一排序處理並將其結果儲存於一記憶單元中。另外，當本發明之智慧型影片編輯方法利用該第二類神經網路進行該分數評估運算時，該資訊處理裝置可進一步包含一使用者操作介面，俾以供一使用者設定該預設分數及選擇自該記憶單元中讀取分數高於該預設分數的至少一該目標影像框。例如，使用者可將該預設分數設為8，並選擇自該記憶單元中讀取分數高於8的至少一該目標影像框。
另外，該資訊處理裝置可進一步包含一類別辨識錯誤記錄模組，用以將使用者經由該使用者操作介面輸入之該分類評估運算之至少一錯誤結果儲存在該記憶單元中，以供優化該第一類神經網路。
另外，該資訊處理裝置可進一步包含一喜好追蹤模組，用以將使用者對該些預設分類之選擇紀錄儲存在該記憶單元中。
另外，該資訊處理裝置可進一步包含一厭惡追蹤模組，用以將使用者經由該使用者操作介面輸入之至少一該預設分類之一厭惡反饋紀錄儲存在該記憶單元中。
另外，該資訊處理裝置可進一步包含一廣告提供模組，用以依該喜好追蹤模組所儲存之該些選擇紀錄及/或該厭惡追蹤模組所儲存之該些厭惡反饋紀錄決定提供給該使用者之至少一廣告訊息。
另外，該資訊處理裝置可進一步包含一過濾模組，用以依該厭惡追蹤模組所儲存之該些厭惡反饋紀錄過濾提供給使用者之訊息。例如，可將與該些厭惡反饋紀錄對應之該些目標影像框予以不顯示處理，以使使用者不會看到不想看的影像。
另外，該資訊處理裝置可進一步包含一分數錯誤記錄模組，用以將使用者經由該使用者操作介面輸入之該分數評估運算之至少一錯誤結果儲存在該記憶單元中，以供優化該第二類神經網路。
如圖2所示，本發明的系統具有一資訊處理裝置100，可為一桌上型電腦、一攜帶型電腦、一智慧型手機或一NAS(network attached storage；網路附接儲存)裝置，其包括一記憶單元110、一解碼單元120、一畫面擷取單元130、一第一類神經網路140、一第二類神經網路150、一編輯單元160及一使用者操作介面170，其中，編輯單元160包含一類別辨識錯誤記錄模組161、一喜好追蹤模組162、一厭惡追蹤模組163a、一過濾模組163b、一廣告提供模組164及一分數錯誤記錄模組165。
於操作時，資訊處理裝置100會執行以下步驟：
(一)解碼單元120自一母源儲存裝置接收並解碼一串流DSTREAM 以產生包含複數個影像框之一影像串列DVIDEO ，其中該母源儲存裝置可為一雲端儲存裝置或該資訊處理裝置之一本地儲存裝置；
(二)畫面擷取單元130依一預定間隔時間對該影像串列DVIDEO 進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數；選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框；其中，該比較運算係用以將時序相鄰的任兩個所述候選影像框之兩個動量向量之差值與一閾值進行比較，並在該差值小於該閾值時將兩個所述候選影像框定義為隸屬於同一所述場景，其中，該差值可為一均方根差或一餘弦距離(Cosine distance)，且所述動量向量的產生方式為：將一所述候選影像框依一色彩空間切分為n個子區域，n為正整數；對每一所述子區域進行m次不同的動量估計(moment estimation)運算以各產生m個不同階次的動量值，m為正整數，其中，所述m個動量值係由一階動量值(平均值)、二階動量值(方差值)、三階動量值(偏態值)、四階動量值(峰度值)、…及k階動量值所組成群組中選出的m個選項，k為大於或等於m的正整數；以及依n個所述子區域   總共所產生的nxm個所述動量值形成所述的動量向量；以及
(三)利用第一類神經網路140對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一；或利用第二類神經網路150對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；或利用第一類神經網路140對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一，且利用第二類神經網路150對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；其中，第一類神經網路140內之複數個權重係數係利用複數組(輸入資料，輸出資料)對第一類神經網路140進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由所述複數個預設分類提供，且第二類神經網路150內之複數個權重係數係利用複數組(輸入資料，輸出資料)對第二類神經網路150進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由複數個預設實數提供。
另外，當第一類神經網路140進行該分類評估運算時，可將各該目標影像框依與其對應的一該預設分類儲存於記憶單元110中，且使用者操作介面170可供一使用者選擇一該預設分類以自記憶單元110中讀取所需的至少一該目標影像框。
另外，當第二類神經網路150進行該分數評估運算時，可將產生之至少一該分數儲存於記憶單元110中；或將產生之至少一該分數高於一預設分數者儲存於記憶單元110中；或將產生之至少一該分進行一排序處理並將其結果儲存於記憶單元110中。另外，當第二類神經網路150進行該分數評估運算時，使用者操作介面170可供一使用者設定該預設分數及選擇自記憶單元110中讀取分數高於該預設分數的至少一該目標影像框。例如，使用者可將該預設分數設為8，並選擇自記憶單元110中讀取分數高於8的至少一該目標影像框。
另外，類別辨識錯誤記錄模組161係用以將使用者經由該使用者操作介面170輸入之該分類評估運算之至少一錯誤結果儲存在記憶單元110中，以供優化第一類神經網路140。
另外，喜好追蹤模組162係用以將使用者對該些預設分類之選擇紀錄儲存在記憶單元110中。
另外，厭惡追蹤模組163a係用以將使用者經由使用者操作介面170輸入之至少一該預設分類之一厭惡反饋紀錄儲存在記憶單元110中。
另外，過濾模組163b係用以依該厭惡追蹤模組163a所儲存之厭惡反饋紀錄過濾提供給使用者之訊息。例如，可將與該些厭惡反饋紀錄對應之該些目標影像框予以不顯示處理，以使使用者不會看到不想看的影像。
另外，廣告提供模組164係用以依喜好追蹤模組162所儲存之該些選擇紀錄及/或厭惡追蹤模組163a所儲存之該些厭惡反饋紀錄決定提供給該使用者之至少一廣告訊息，且所述至少一廣告訊息係資訊處理裝置100經由一網路由至少一廣告提供者獲得。
另外，分數錯誤記錄模組165係用以將使用者經由使用者操作介面170輸入之該分數評估運算之至少一錯誤結果儲存在記憶單元110中，以供優化第二類神經網路150。
請參照圖3，其為圖2所示之系統之一操作示意圖。如圖3所示，使用者操作介面170具有一分類預設圖框170b1供使用者設定至少一所述預設分類，以及一分類篩選圖框170c1以顯示與使用者在分類預設圖框170b1所設定之所述預設分類相對應之至少一該目標影像框。例如，若使用者在分類預設圖框170b1設定動物的預設分類，則分類篩選圖框170c1將顯示與動物分類相對應的至少一該目標影像框。
請參照圖4a，其為圖2所示之系統之另一操作示意圖。如圖4a所示，使用者操作介面170具有一分數預設圖框170b2供使用者設定該預設分數，以及一分數篩選圖框170c2以顯示分數高於該預設分數的至少一該目標影像框。例如，使用者可將該預設分數設為8，則分數篩選圖框170c2將自記憶單元110中讀取分數高於8的至少一該目標影像框並予以顯示。
請參照圖4b，其為圖2所示之系統之另一操作示意圖。如圖4b所示，使用者操作介面170具有一分類預設圖框170b1供使用者設定至少一所述預設分類，一分數預設圖框170b2供使用者設定該預設分數，以及一分類及分數篩選圖框170c3以顯示符合所述預設分類且符合該預設分數之限制條件的至少一該目標影像框，例如，顯示動物分類中分數高於8的至少一該目標影像框。
請參照圖5，其為圖2所示之系統之另一操作示意圖。如圖5所示，使用者操作介面170具有一類別辨識錯誤輸入圖框170d供使用者輸入該分類評估運算之至少一錯誤結果，以供資訊處理裝置100優化第一類神經網路140。
請參照圖6，其為圖2所示之系統之另一操作示意圖。如圖6所示，使用者操作介面170具有一廣告訊息顯示區170e，用以顯示廣告提供模組164所提供之至少一廣告訊息。
請參照圖7，其為圖2所示之系統之另一操作示意圖。如圖7所示，使用者操作介面170具有一厭惡反饋輸入圖框170f，用以供使用者輸入將至少一該預設分類標示為厭惡。
請參照圖8，其為圖2所示之系統之又一操作示意圖。如圖8所示，使用者操作介面170具有一分數錯誤輸入圖框170g供使用者輸入該分數評估運算之至少一錯誤結果，以供資訊處理裝置100優化第二類神經網路150。
由上述的說明可知本發明具有下列優點：
(1)本發明的智慧型影片編輯方法可藉由間隔一預定時間對一影像串列進行一畫面擷取操作以減少資料處理量。
(2)本發明的智慧型影片編輯方法可藉由對時間相鄰的任兩個擷取的影像框進行一比較運算以定義出隸屬於同一場景的複數個影像框，並自其中擇一作為一目標影像框以進一步減少資料處理量。
(3)本發明的智慧型影片編輯方法可藉由至少一類神經網路對該些目標影像框進行至少一評估運算以將各該目標影像框分類儲存及/或評分，並在將各該目標影像框分類及/或評分後依分數高、低排列及/或依一分數門檻篩選該些目標影像框並予以儲存。
(4)本發明的智慧型影片編輯方法可藉由一使用者操作介面供使用者選擇一分類或一分數門檻以自一記憶體中讀取所需的目標影像框。
(5)本發明的智慧型影片編輯方法可藉由一使用者操作介面供使用者輸入所述類神經網路所產生之一錯誤的分類或評分結果，以供優化所述的類神經網路。
(6)本發明的智慧型影片編輯方法可藉由一喜好追蹤模組及/或一厭惡追蹤模組儲存使用者之選擇紀錄。
(7)本發明的智慧型影片編輯方法可藉由一廣告提供模組依該喜好追蹤模組及/或該厭惡追蹤模組所儲存之選擇紀錄提供使用者至少一廣告訊息。
(8)本發明的智慧型影片編輯方法可藉由一過濾模組依該厭惡追蹤模組所儲存之選擇紀錄過濾提供給使用者之訊息，俾以使使用者不會看到不想看的影像。
必須加以強調的是，前述本案所揭示者乃為較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。
綜上所陳，本案無論目的、手段與功效，皆顯示其迥異於習知技術，且其首先發明合於實用，確實符合發明之專利要件，懇請  貴審查委員明察，並早日賜予專利俾嘉惠社會，是為至禱。
步驟a:自一母源儲存裝置接收並解碼一串流以產生包含複數個影像框之一影像串列 步驟b:依一預定間隔時間對該影像串列進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數 步驟c:選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框 步驟d:利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一；或利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；或利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一，且利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數 100:資訊處理裝置 110:記憶單元 120:解碼單元 130:畫面擷取單元 140:第一類神經網路 150:第二類神經網路 160:編輯單元 161:類別辨識錯誤記錄模組 162:喜好追蹤模組 163a:厭惡追蹤模組 163b:過濾模組 164:廣告提供模組 165:分數錯誤記錄模組 170:使用者操作介面 170b1:分類預設圖框 170b2:分數預設圖框 170c1:分類篩選圖框 170c2:分數篩選圖框 170c3:分類及分數篩選圖框 170d:類別辨識錯誤輸入圖框 170e:廣告訊息顯示區 170f:厭惡反饋輸入圖框 170g:分數錯誤輸入圖框
圖1繪示本發明之智慧型影片編輯方法之一實施例的流程圖，其中該方法係利用一資訊處理裝置實現； 圖2為應用圖1之方法之一系統之方塊圖； 圖3為圖2所示之系統之一操作示意圖； 圖4a為圖2所示之系統之另一操作示意圖； 圖4b為圖2所示之系統之另一操作示意圖； 圖5為圖2所示之系統之另一操作示意圖； 圖6為圖2所示之系統之另一操作示意圖； 圖7為圖2所示之系統之另一操作示意圖；以及 圖8為圖2所示之系統之又一操作示意圖。
步驟a:自一母源儲存裝置接收並解碼一串流以產生包含複數個影像框之一影像串列
步驟b:依一預定間隔時間對該影像串列進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數
步驟c:選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框
步驟d:利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一；或利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；或利用一第一類神經網路對該些目標影像框進行一分類評估運算以 將各該目標影像框各對應至複數個預設分類中之一，且利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數

Claims (16)

  1. 一種智慧型影片編輯方法， 係利用一資訊處理裝置實現，該方法包含： 自一母源儲存裝置接收並解碼一串流以產生包含複數個影像框之一影像串列； 依一預定間隔時間對該影像串列進行一畫面擷取操作以在每一該畫面擷取操作後均獲得一張影像，其中各該張影像均具有n個所述影像框，n為大於或等於1的整數； 選定各該張影像中的第i個所述影像框為一候選影像框，i為大於或等於1且小於或等於n之整數，及對時間相鄰的任兩個所述候選影像框進行一比較運算以定義出隸屬於同一場景的複數個所述候選影像框，並自其中擇一作為一目標影像框；以及 利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一；或利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；或利用一第一類神經網路對該些目標影像框進行一分類評估運算以將各該目標影像框各對應至複數個預設分類中之一，且利用一第二類神經網路對該些目標影像框進行一分數評估運算以將各該目標影像框各對應至一分數，該分數為實數；其中，該第一類神經網路內之複數個權重係數係利用複數組(輸入資料，輸出資料)對該第一類神經網路進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由所述複數個預設分類提供，且該第二類神經網路內之複數個權重係數係利用複數組(輸入資料，輸出資料)對該第二類神經網路進行一訓練程序後而得，該輸入資料係由預先準備的複數個該影像框提供，該輸出資料係由複數個預設實數提供。
  2. 如申請專利範圍第1項所述之智慧型影片編輯方法，其中，該比較運算係用以將時序相鄰的任兩個所述候選影像框之兩個動量向量之差值與一閾值進行比較，並在該差值小於該閾值時將兩個所述候選影像框定義為隸屬於同一所述場景，其中，該差值可為一均方根差或一餘弦距離。
  3. 如申請專利範圍第1項所述之智慧型影片編輯方法，其進一步包括：在利用該第二類神經網路進行該分數評估運算時，將產生之至少一該分數儲存於一記憶單元中。
  4. 如申請專利範圍第1項所述之智慧型影片編輯方法，其進一步包括：在利用該第二類神經網路進行該分數評估運算時，將產生之至少一該分數高於一預設分數者儲存於一記憶單元中。
  5. 如申請專利範圍第1項所述之智慧型影片編輯方法，其進一步包括：在利用該第二類神經網路進行該分數評估運算時，將產生之至少一該分進行一排序處理並將其結果儲存於一記憶單元中。
  6. 如申請專利範圍第1項所述之智慧型影片編輯方法，其中，該母源儲存裝置係一雲端儲存裝置或該資訊處理裝置之一本地儲存裝置。
  7. 如申請專利範圍第1項所述之智慧型影片編輯方法，其中，當所述之智慧型影片編輯方法利用該第一類神經網路進行該分類評估運算時，該資訊處理裝置進一步包含一使用者操作介面，俾以供一使用者選擇一該預設分類以自一記憶單元中讀取所需的至少一該目標影像框。
  8. 如申請專利範圍第7項所述之智慧型影片編輯方法，其中，該資訊處理裝置進一步包含一類別辨識錯誤記錄模組，用以將該使用者經由該使用者操作介面輸入之該分類評估運算之至少一錯誤結果儲存在該記憶單元中，以供優化該第一類神經網路。
  9. 如申請專利範圍第7項所述之智慧型影片編輯方法，其中，該資訊處理裝置進一步包含一喜好追蹤模組，用以將該使用者對該些預設分類之選擇紀錄儲存在該記憶單元中。
  10. 如申請專利範圍第9項所述之智慧型影片編輯方法，其中，該資訊處理裝置進一步包含一厭惡追蹤模組，用以將該使用者經由該使用者操作介面輸入之至少一該預設分類之一厭惡反饋紀錄儲存在該記憶單元中。
  11. 如申請專利範圍第10項所述之智慧型影片編輯方法，其中，該資訊處理裝置進一步包含一廣告提供模組，用以依該喜好追蹤模組所儲存之該些選擇紀錄及/或該厭惡追蹤模組所儲存之該些厭惡反饋紀錄決定提供給該使用者之至少一廣告訊息。
  12. 如申請專利範圍第10項所述之智慧型影片編輯方法，其中，該資訊處理裝置進一步包含一過濾模組，用以依該厭惡追蹤模組所儲存之該些厭惡反饋紀錄過濾提供給使用者之訊息，以使該使用者不會看到不想看的影像。
  13. 如申請專利範圍第3項所述之智慧型影片編輯方法，其中，當所述之智慧型影片編輯方法利用該第二類神經網路進行該分數評估運算時，該資訊處理裝置進一步包含一使用者操作介面，俾以供一使用者設定該預設分數及選擇自該記憶單元中讀取該分數高於該預設分數的至少一該目標影像框。
  14. 如申請專利範圍第13項所述之智慧型影片編輯方法，其中，該資訊處理裝置進一步包含一分數錯誤記錄模組，用以將該使用者經由該使用者操作介面輸入之該分數評估運算之至少一錯誤結果儲存在該記憶單元中，以供優化該第二類神經網路。
  15. 一種智慧型影片編輯系統，其具有如申請專利範圍第1至14項中任一項所述之資訊處理裝置以實現所述之智慧型影片編輯方法。
  16. 如申請專利範圍第15項所述之智慧型影片編輯系統，其中，該資訊處理裝置係由一桌上型電腦、一攜帶型電腦、一智慧型手機和一NAS裝置所組成群組所選擇的一種裝置。
TW109128267A 2020-08-19 2020-08-19 智慧型影片編輯方法及系統 TWI764240B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109128267A TWI764240B (zh) 2020-08-19 2020-08-19 智慧型影片編輯方法及系統
US17/148,299 US11355154B2 (en) 2020-08-19 2021-01-13 Intelligent video editing method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109128267A TWI764240B (zh) 2020-08-19 2020-08-19 智慧型影片編輯方法及系統

Publications (2)

Publication Number Publication Date
TW202209255A true TW202209255A (zh) 2022-03-01
TWI764240B TWI764240B (zh) 2022-05-11

Family

ID=80269026

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109128267A TWI764240B (zh) 2020-08-19 2020-08-19 智慧型影片編輯方法及系統

Country Status (2)

Country Link
US (1) US11355154B2 (zh)
TW (1) TWI764240B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825806B (zh) * 2022-06-27 2023-12-11 國立虎尾科技大學 雲端影片編輯系統及其生產方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220182618A1 (en) * 2020-12-08 2022-06-09 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using filtering
US11776261B2 (en) * 2021-04-30 2023-10-03 Spherex, Inc. Context-aware event based annotation system for media asset
CN116862946A (zh) * 2022-03-25 2023-10-10 影石创新科技股份有限公司 运动视频生成方法、装置、终端设备以及存储介质
CN114866839B (zh) * 2022-07-11 2022-10-25 深圳市鼎合丰科技有限公司 基于重复分帧图像归并的视频编辑软件系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US8311344B2 (en) * 2008-02-15 2012-11-13 Digitalsmiths, Inc. Systems and methods for semantically classifying shots in video
US20110124324A9 (en) * 2008-10-09 2011-05-26 411 Web Directory Systems and Methods for Providing Wireless Targeted Advertising
US8665345B2 (en) * 2011-05-18 2014-03-04 Intellectual Ventures Fund 83 Llc Video summary including a feature of interest
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
US10522186B2 (en) * 2017-07-28 2019-12-31 Adobe Inc. Apparatus, systems, and methods for integrating digital media content
CN107566907B (zh) * 2017-09-20 2019-08-30 Oppo广东移动通信有限公司 视频剪辑方法、装置、存储介质及终端
US10740654B2 (en) * 2018-01-22 2020-08-11 Qualcomm Incorporated Failure detection for a neural network object tracker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825806B (zh) * 2022-06-27 2023-12-11 國立虎尾科技大學 雲端影片編輯系統及其生產方法

Also Published As

Publication number Publication date
US11355154B2 (en) 2022-06-07
US20220059133A1 (en) 2022-02-24
TWI764240B (zh) 2022-05-11

Similar Documents

Publication Publication Date Title
TWI764240B (zh) 智慧型影片編輯方法及系統
US10939165B2 (en) Facilitating television based interaction with social networking tools
US10275683B2 (en) Clustering-based person re-identification
CN110263215B (zh) 一种视频情感定位方法及系统
JP6807389B2 (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
CN111581435B (zh) 一种视频封面图像生成方法、装置、电子设备及存储介质
US20230023164A1 (en) Systems and methods for rapid development of object detector models
Heng et al. How to assess the quality of compressed surveillance videos using face recognition
JP5214679B2 (ja) 学習装置、方法及びプログラム
CN112084812A (zh) 图像处理方法、装置、计算机设备及存储介质
US8270731B2 (en) Image classification using range information
US20100169292A1 (en) Slideshow video file detection
CN116261009B (zh) 智能转化影视受众的视频检测方法、装置、设备及介质
Ben-Ahmed et al. Eurecom@ mediaeval 2017: Media genre inference for predicting media interestingnes
CN114584804A (zh) 虚拟现实视频流数据处理系统
Yang et al. Learning the synthesizability of dynamic texture samples
CN103842992A (zh) 促进与社交联网工具的基于电视的交互
CN117156078B (zh) 一种视频数据处理方法、装置、电子设备及存储介质
JP7429016B2 (ja) 画像処理方法、コンピュータプログラム及び画像処理装置
CN117176983B (zh) 一种基于全景图像合成的视频生成评价系统
CN112019923B (zh) 视频剪切处理方法
CN111626409B (zh) 一种图像质量检测的数据生成方法
Patil et al. Key-frame extraction in Spacio-Temporal Neural Networks for Human-Action Classification
Barbarash et al. Artificial intelligence systems for automated site analytics and design performance evaluation