TWI700597B - 分段方法、分段系統及非暫態電腦可讀取媒體 - Google Patents

分段方法、分段系統及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI700597B
TWI700597B TW108104105A TW108104105A TWI700597B TW I700597 B TWI700597 B TW I700597B TW 108104105 A TW108104105 A TW 108104105A TW 108104105 A TW108104105 A TW 108104105A TW I700597 B TWI700597 B TW I700597B
Authority
TW
Taiwan
Prior art keywords
image
content
mark
segment
audio
Prior art date
Application number
TW108104105A
Other languages
English (en)
Other versions
TW202011221A (zh
Inventor
詹詩涵
柯兆軒
Original Assignee
台達電子工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台達電子工業股份有限公司 filed Critical 台達電子工業股份有限公司
Publication of TW202011221A publication Critical patent/TW202011221A/zh
Application granted granted Critical
Publication of TWI700597B publication Critical patent/TWI700597B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本揭示內容係關於一種分段方法、分段系統及非暫態電腦可讀取媒體。分段方法包含下列步驟：接收影片內容；其中，影片內容包含影像訊號以及聲音訊號；針對影像資料進行分段處理，以產生至少一影像段落標記；針對該聲音資料進行分段處理，以產生至少一聲音段落標記；以及比較該至少一影像段落標記的一影像標記時間與該至少一聲音段落標記的一聲音標記時間之間的差異，以產生至少一影片內容標記。

Description

分段方法、分段系統及非暫態電腦可讀取媒體
本揭示內容關於一種分段方法、分段系統及非暫態電腦可讀取媒體，且特別是有關於一種針對視訊源的分段方法、分段系統及非暫態電腦可讀取媒體。
線上學習平台是指一種將眾多學習資料儲存於伺服器中，讓使用者能透過網際網路連線至伺服器，以隨時瀏覽學習資料的網路服務。在現行的各類線上學習平台中，提供的學習資料類型包含影片、音訊、簡報、文件或論壇。
由於線上學習平台中儲存的學習資料數量龐大，為了能夠方便使用者的使用，需要針對學習資料的影音內容進行自動分段。因此，如何根據學習影片的聲音內容以及影像內容之間的關聯性進行處理，達到將學習影片自動分段是本領域待解決的問題。
本揭示內容之第一態樣是在提供一種分段方法。分段方法包含下列步驟：接收影片內容；其中，影片內容包含影像資料以及聲音資料；針對影像資料進行分段處理，以產生至少一影像段落標記；針對該聲音資料進行分段處理，以產生至少一聲音段落標記；以及比較該至少一影像段落標記的一影像標記時間與該至少一聲音段落標記的一聲音標記時間之間的差異，以產生至少一影片內容標記。
本揭示內容之第二態樣是在提供一種分段系統，其包含儲存單元以及處理器。儲存單元用以儲存視訊源以及至少一影片內容標記。處理器與儲存單元電性連接，用以接收影片內容；其中，影片內容包含影像資料以及聲音資料，處理器包含：影像分段單元、聲音分段單元以及段落標記產生單元。影像分段單元用以針對影像資料進行分段處理，以產生至少一影像段落標記。聲音分段單元與影像分段單元電性連接，用以針對聲音資料進行分段處理，以產生至少一聲音段落標記。段落標記產生單元與影像分段單元以及聲音分段單元電性連接，用以比較至少一影像段落標記的影像標記時間與至少一聲音段落標記的聲音標記時間之間的差異，以產生至少一影片內容標記。
本案之第三態樣是在提供一種非暫態電腦可讀取媒體包含至少一指令程序，由處理器執行至少一指令程序以實行分段方法，其包含以下步驟：接收影片內容；其中，影片內容包含影像資料以及聲音資料；針對影像資料進行分段處理，以產生至少一影像段落標記；針對該聲音資料進行分段處理，以產生至少一聲音段落標記；以及比較該至少一影像段落標記的一影像標記時間與該至少一聲音段落標記的一聲音標記時間之間的差異，以產生至少一影片內容標記。
本揭露之分段方法、分段系統及非暫態電腦可讀取媒體，其主要係改進以往係利用人工方式進行影片段落標記，耗費大量人力以及時間的問題。分別針對影像訊號以及聲音訊號進行段落標記，再根據影像訊號的段落標記以及聲音訊號的段落標記產生影片內容標記，達到將學習影片自動分段的功能。
以下將以圖式揭露本案之複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本案。也就是說，在本揭示內容部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。
於本文中，當一元件被稱為「連接」或「耦接」時，可指「電性連接」或「電性耦接」。「連接」或「耦接」亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用「第一」、「第二」、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本發明。
請參閱第1圖。第1圖係根據本案之一些實施例所繪示之分段系統100的示意圖。如第1圖所繪示，分段系統100包含儲存單元110以及處理器130。儲存單元110電性連接至處理器130，儲存單元110用以儲存視訊源、至少一影片內容標記以及課程資料庫DB。
承上述，處理器130包含影像分段單元131、聲音分段單元132以及段落標記產生單元133。聲音分段單元132與影像分段單元131以及段落標記產生單元133電性連接。於本發明各實施例中，儲存裝置110可以實施為記憶體、硬碟、隨身碟、記憶卡等。處理器130可以實施為積體電路如微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)、邏輯電路或其他類似元件或上述元件的組合。
請參閱第2圖。第2圖係根據本案之一些實施例所繪示之分段方法200的流程圖。於一實施例中，第2圖所示之分段方法200可以應用於第1圖的分段系統100上，處理器130用以根據下列分段方法200所描述之步驟，針對影像資料以及聲音訊號進行段落標記以產生影片內容標記。如第2圖所示，分段方法200首先執行步驟S210接收影片內容。於一實施例中，影片內容包含影像資料以及聲音資料。處理器130會分別針對影像資料以及聲音資料進行處理，在接下來的步驟中會先針對影像資料進行計算，再針對聲音資料進行計算，但本揭露不限於此，也可以先針對聲音資料進行計算，再針對影像資料進行計算。
接著，分段方法200執行步驟S220針對影像資料進行分段處理，以產生至少一影像段落標記。於一實施例中，步驟S220更包含步驟S221~S223，請一併參考第3圖，第3圖係根據本案之一些實施例所繪示之步驟S220的流程圖。如第3圖所示，分段方法200進一步執行步驟S221選取M個單位的影像資料，並將被選取的影像資料分為當前影像段落。於一實施例中，M個單位以M秒來說明，M個單位也可以實施為M個幀，本揭露不以此為限。M秒可以根據影片內容的時間長度進行調整，在此M秒以30秒為例，因此在此步驟中將第0秒的影像資料~第30秒的影像資料作為當前影像段落。
接著，分段方法200執行步驟S222針對當前影像段落的內容進行判斷，以產生影像內容結果。其中影像內容結果包含動態內容以及靜態內容。於一實施例中，步驟S222更包含步驟S2221~S2223，請一併參考第4圖，第4圖係根據本案之一些實施例所繪示之步驟S222的流程圖。如第4圖所示，分段方法200進一步執行步驟S2221於當前影像段落中選取T個單位，計算T個單位內的影像的相似度，產生影像差異結果。於一實施例中，T個單位以T秒來說明，T個單位也可以實施為T個幀，本揭露不以此為限。舉例而言，T秒在此以3秒為例，並假設每秒有60幀，差異計算可以是第1秒的第30幀的影像的灰階值與第0秒的第30幀的影像的灰階值相減可以產生第1秒的影像差異值，並可以僅利用第1秒的影像差異值作為影像差異結果以判斷影像的內容。於另一實施例中，除了利用第1秒的影像差異值之外，可以再利用第2秒的影像差異值以及第3秒的影像差異值作為影像差異結果以判斷影像的內容，由上述可知，利用的影像差異值越多可以更精準的判斷影像的內容。
接著，分段方法200執行步驟S2222如果影像差異結果大於第一影像門檻值，將當前影像段落的內容判定為動態內容。接續上方實施例，如果影像差異值大於第一影像門檻值，表示前後兩秒的畫面差異很大，因此當前影像段落的內容有可能是動態內容。接著，分段方法200執行步驟S2223如果影像差異結果不大於該第一影像門檻值，將當前影像段落的內容判定為靜態內容。於一實施例中，如果影像差異值小於或等於第一影像門檻值，表示前後兩秒的畫面是屬於類似的畫面，因此當前影像段落的內容有可能是靜態內容，表示畫面不太有改變。
接著，分段方法200執行步驟S223基於影像內容結果針對影像資料偵測變化內容，並在變化內容的時間位置產生至少一影像段落標記。於一實施例中，步驟S223更包含步驟S2231a~S2233a，請一併參考第5A圖，第5A圖係根據本案之一些實施例所繪示之步驟S223的流程圖。如第5A圖所示，分段方法200進一步執行步驟S2231a如果當前影像段落的內容為動態內容，計算第M個單位的影像與第M+1個單位的影像之間的相似度，以產生影像差異值。接續上述實施例，M秒以30秒為例，當前影像段落是從第0秒的影像資料~第30秒的影像資料，第M秒的影像資料即為第30秒的影像資料，第M+1秒的影像資料即為第31秒的影像資料。在此情況下可以選擇第31秒的第30幀的影像的灰階值與第30秒的第30幀的影像的灰階值相減，以產生影像差異值，也可以選擇其他幀的影像以計算影像差異值。
承上述，分段方法200進一步執行步驟S2232a如果影像差異值大於第二影像門檻值，將第M+1個單位的影像與當前影像段落合併。接續上方實施例，如果前述的影像差異值大於第二影像門檻值，表示當前影像段落的下一秒的影像仍然是屬於動態影像，因此可以將第31秒的影像資料合併進入當前影像段落。接著，分段方法200進一步執行步驟S2233a如果影像差異值不大於第二影像門檻值，在第M+1個單位的影像的時間位置產生至少一影像段落標記，並選取M個單位的該影像資料，將被選取的影像資料分為下一影像段落。承上述，如果前述的影像差異值小於或等於第二影像門檻值，表示當前影像段落的下一秒的影像可能是屬於靜態影像，因此需要在將影像資料第31秒的時間位置，產生影像段落標記，如此一來當前執行段落變成第31秒的影像資料~第60秒的影像資料。
承上述，步驟S223更包含步驟S2231b ~S2233b，請一併參考第5B圖，第5B圖係根據本案之一些實施例所繪示之步驟S223的流程圖。如第5B圖所示，分段方法200進一步執行步驟S2231b如果當前影像段落的內容為靜態內容，計算第M個單位的影像與第M+1個單位的影像之間的相似度，以產生影像差異值。步驟S2231b的操作與步驟S2231a的操作相同，在此不在贅述。
承上述，分段方法200進一步執行步驟S2232b如果影像差異值不大於第二影像門檻值，將第M+1個單位的影像與當前影像段落合併。接續上方實施例，如果前述的影像差異值小於或等於第二影像門檻值，表示當前影像段落的下一秒的影像仍然是屬於靜態影像，因此可以將第31秒的影像資料合併進入當前影像段落。接著，分段方法200進一步執行步驟S2233b如果影像差異值大於第二影像門檻值，在第M+1個單位的影像的時間位置產生至少一影像段落標記，並選取M個單位的該影像資料，將被選取的影像資料分為下一影像段落。承上述，如果前述的影像差異值大於第二影像門檻值，表示當前影像段落的下一秒的影像可能是屬於動態影像，因此需要在將影像資料第31秒的時間位置，產生影像段落標記，如此一來當前執行段落變成第31秒的影像資料~第60秒的影像資料。
於另一實施例中，可以利用峰值信噪比(Peak signal-to-noise ratio，PSNR)、結構相似性指標(Structural similarity index，SSIM)、影像的紋理或色澤、或是特定的形狀(pattern)等方式，來比較影像之間的相似度，本揭露不限於此。
接著，分段方法200進一步執行步驟S230針對聲音資料進行分段處理，以產生至少一聲音段落標記。其中，步驟S230更包含步驟S231~S233，請進一步參考6圖，第6圖係根據本案之一些實施例所繪示之步驟S230的流程圖。如第6圖所示，分段方法200進一步執行步驟S231將聲音資料分別轉換成聲音時域訊號以及聲音頻域訊號。於一實施例中，可以利用傅立葉轉換將聲音資料轉換成頻域訊號，但不限於此。經過傅立葉轉換過的訊號是不連續的訊號，因此可以用來偵測音色與音調的差異，作為判斷聲音段落標記的依據。
承上述，分段方法200進一步執行步驟S232從聲音時域訊號中選取時域區段，並判斷時域區段的振幅是否小於第一門檻值，如果時域區段的振幅小於第一門檻值，產生至少一聲音段落標記。於此實施例中，利用視窗(window)從聲音時域訊號中選取時域區段，舉例而言，可以將視窗的大小設定為5秒鐘，因此時域區段即為5秒鐘的聲音時域訊號。接著，判斷5秒鐘的聲音時域訊號(時域區段)的振幅是否小於第一門檻值，如果小於第一門檻值，表示被視窗框選到的5秒鐘的聲音時域訊號，可能是無聲的區段，表示聲音時域訊號可能有中斷情況發生。因此可以在時域區段的振幅小於門檻值時，產生聲音段落標記。
承上述，分段方法200進一步執行步驟S233從聲音頻域訊號中選取第一頻域區段以及第二頻域區段，計算第一頻域區段與第二頻域區段的頻譜強度差異值(相位大小) 是否大於第二門檻值，若超過第二門檻值，產生至少一聲音段落標記。於此實施例中，利用視窗從聲音頻域訊號中選取頻域區段。舉例而言，可以將視窗的大小設定為m秒鐘，因此第一頻域區段以及第二頻域區段即為m秒鐘的聲音頻域訊號(兩者選取的聲音頻域訊號不同)。聲音時域訊號以及聲音頻域訊號所利用的視窗大小(長度)可以不同，也可以相同，本揭露不限於此。接著，判斷第一頻域區段以及第二頻域區段的頻譜強度差異值是否超過第二門檻值。如果大於第二門檻值，表示被視窗框選到的m秒鐘的聲音頻域訊號，可能有不同的音色或是音高，表示可能有不同人聲出現。因此可以在頻域區段的振幅小於門檻值時，產生聲音段落標記。
接著，分段方法200進一步執行步驟S240比較至少一影像段落標記的影像標記時間與至少一聲音段落標記的聲音標記時間之間的差異，以產生至少一影片內容標記。於一實施例中，步驟S220以及步驟S230分別針對影像資料以及聲音資料進行段落標記，在此步驟中需要將影像段落標記與聲音段落標記整合以產生影片內容標記。舉例而言，如果影像資料總共分成五個段落，並且影像段落標記分別是段落一的(00:45)、段落二的(01:56)、段落三的(03:25)、段落四的(05:10)以及段落五的(05:55)，而聲音資料總共分成四個段落，聲音段落標記分別是段落一的(02:02)、段落二的(03:12)、段落三的(04:30)以及段落四的(05:00)。假設門檻值是為15秒，如此一來，在段落二的影像段落標記01:56與段落一的聲音段落標記02:02之間的差異在門檻值內，可以根據兩者的時間差異的平均值作為影片內容標記，因此視訊源具有段落一的影片內容標記(01:59)。接著可以繼續找到段落三的影像段落標記03:25與段落二的聲音段落標記03:12之間的差異在門檻值內，段落四的影像段落標記05:10與段落四的聲音段落標記05:00之間的差異在門檻值內，因此可以分別產生段落二的影片內容標記(03:18)以及段落三的影片內容標記(05:05)。由上述可知，段落一的影像段落標記00:45、段落五的影像段落標記05:55以及段落三的聲音段落標記04:30與其他標記之間的時間差異大於門檻值，因此是屬於被忽略的段落標記。最後，將分好的影片內容標記儲存至儲存單元110的課程資料庫DB中。
由上述本案之實施方式可知，主要係改進以往係利用工方式進行影片段落標記，耗費大量人力以及時間的問題。分別針對影像資料以及聲音資料進行段落標記，再根據影像資料的段落標記以及聲音資料的段落標記產生影片內容標記，達到將學習影片自動分段的功能。
另外，上述例示包含依序的示範步驟，但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內，可視情況增加、取代、變更順序及/或省略該些步驟。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本發明內容，任何熟習此技藝者，在不脫離本發明內容之精神和範圍內，當可作各種更動與潤飾，因此本發明內容之保護範圍當視後附之申請專利範圍所界定者為準。
100:分段系統110:儲存單元130:處理器DB:課程資料庫131:影像分段單元132:聲音分段單元133:段落標記產生單元200:分段方法S210～S240、S221~S223、S2221~S2223、S2231a~S2233a、S2231b~S2233b、S231~S233:步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係根據本案之一些實施例所繪示之分段系統的示意圖；第2圖係根據本案之一些實施例所繪示之分段方法的流程圖；第3圖係根據本案之一些實施例所繪示之步驟S220的流程圖；第4圖係根據本案之一些實施例所繪示之步驟S222的流程圖；第5A圖係根據本案之一些實施例所繪示之步驟S223的流程圖； 第5B圖係根據本案之一些實施例所繪示之步驟S223的流程圖；以及 第6圖係根據本案之一些實施例所繪示之步驟S230的流程圖。
200:分段方法
S210~S240:步驟

Claims (13)

  1. 一種分段方法，包含：接收一影片內容；其中，該影片內容包含一影像資料以及一聲音資料；針對該影像資料進行分段處理，以產生至少一影像段落標記；針對該聲音資料進行分段處理，以產生至少一聲音段落標記；以及比較該至少一影像段落標記的一影像標記時間與該至少一聲音段落標記的一聲音標記時間之間的差異，以產生至少一影片內容標記。
  2. 如請求項1所述之分段方法，其中，針對該影像資料進行分段處理，以產生該至少一影像段落標記，更包含：選取M個單位的該影像資料，並將被選取的影像資料分為一第一影像段落；針對該第一影像段落的內容進行判斷，以產生一影像內容結果；其中該影像內容結果包含一動態內容以及一靜態內容；以及基於該影像內容結果針對該影像資料偵測一變化內容，並根據該變化內容的時間位置產生該至少一影像段落標記。
  3. 如請求項2所述之分段方法，其中，針對該第 一影像段落的內容進行判斷，以產生該影像內容結果，更包含：於該第一影像段落中選取T個單位，計算T個單位內的影像的相似度，產生一影像差異結果；如果該影像差異結果大於一第一影像門檻值，將該第一影像段落的內容判定為該動態內容；以及如果該影像差異結果不大於該第一影像門檻值，將該第一影像段落的內容判定為該靜態內容。
  4. 如請求項2所述之分段方法，其中，基於該影像內容結果針對該影像資料偵測該變化內容，並根據該變化內容的時間位置產生該至少一影像段落標記，更包含：如果該第一影像段落的內容為該動態內容，計算一第M個單位的影像與一第M+1個單位的影像之間的相似度，以產生一影像差異值；如果該影像差異值大於一第二影像門檻值，將該第M+1個單位的影像與該第一影像段落合併；以及如果該影像差異值不大於該第二影像門檻值，在該第M+1個單位的影像的時間位置產生該至少一影像段落標記，並選取M個單位的該影像資料，將被選取的影像資料分為一第二影像段落。
  5. 如請求項2所述之分段方法，其中，基於該影像內容結果針對該影像資料偵測該變化內容，並在該變化內 容的時間位置產生該至少一影像段落標記，更包含：如果該第一影像段落的內容為該靜態內容，計算一第M個單位的影像與一第M+1個單位的影像之間的相似度，以產生一影像差異值；如果該影像差異值不大於一第二影像門檻值，將該第M+1個單位的影像與該第一影像段落合併；以及如果該影像差異值大於該第二影像門檻值，在該第M+1個單位的影像的時間位置產生該至少一影像段落標記，並選取M個單位的該影像資料，將被選取的影像資料分為一第二影像段落。
  6. 如請求項1所述之分段方法，其中，針對該聲音資料進行分段處理，以產生該至少一聲音段落標記，更包含：將該聲音資料分別轉換成一聲音時域訊號以及一聲音頻域訊號；從該聲音時域訊號中選取一時域區段，並判斷該時域區段的振幅是否小於一第一門檻值，如果該時域區段的振幅小於該第一門檻值，產生該至少一聲音段落標記；以及從該聲音頻域訊號中選取一第一頻域區段以及一第二頻域區段，並判斷該第一頻域區段與該第二頻域區段的頻譜強度差異值是否大於一第二門檻值，如果該第一頻域區段與該第二頻域區段的頻譜強度差異值大於該第二門檻值，產生該至少一聲音段落標記。
  7. 一種分段系統，包含：一儲存單元，用以儲存一影片內容以及至少一影片內容標記；以及一處理器，與該儲存單元電性連接，用以接收該影片內容；其中，該影片內容包含一影像資料以及一聲音資料，該處理器包含：一影像分段單元，用以針對該影像資料進行分段處理，以產生至少一影像段落標記；一聲音分段單元，與該影像分段單元電性連接，用以針對該聲音資料資料進行分段處理，以產生至少一聲音段落標記；以及一段落標記產生單元，與該影像分段單元以及該聲音分段單元電性連接，用以比較該至少一影像段落標記的一影像標記時間與該至少一聲音段落標記的一聲音標記時間之間的差異，以產生該至少一影片內容標記。
  8. 如請求項7所述之分段系統，其中，該影像分段單元更用以選取M個單位的該影像資料，並將被選取的影像資料分為一第一影像段落，接著針對該第一影像段落的內容進行判斷，以產生一影像內容結果；其中該影像內容結果包含一動態內容以及一靜態內容；以及基於該影像內容結果針對該影像資料偵測一變化內容，並根據該變化資料的時間位置產生該至少一影像段落標記。
  9. 如請求項8所述之分段系統，其中，該影像分段單元更用以於該第一影像段落中選取T個單位，計算T個單位內的影像的相似度，產生一影像差異結果；如果該影像差異結果大於一第一影像門檻值，將該第一影像段落的內容判定為該動態內容；以及如果該影像差異結果不大於該第一影像門檻值，將該第一影像段落的內容判定為該靜態內容。
  10. 如請求項8所述之分段系統，其中，該影像分段單元更用以如果該第一影像段落的內容為該動態內容，計算一第M個單位的影像與一第M+1個單位之間的相似度，以產生一影像差異值；如果該影像差異值大於一第二影像門檻值，將該第M+1個單位的影像與該第一影像段落合併；以及如果該影像差異值不大於該第二影像門檻值，在該第M+1個單位的影像的時間位置產生該至少一影像段落標記，並選取M秒的該影像資料，將被選取的影像資料分為一第二影像段落。
  11. 如請求項8所述之分段系統，其中，該影像分段單元更用以如果該第一影像段落的內容為該靜態內容，計算該第M個單位的影像與該第M+1個單位的影像之間的相似度，以產生一影像差異值；如果該影像差異值不大於該第二影像門檻值，將該第M+1個單位的影像與該第一影像段落合併；以及如果該影像差異值大於該第二影像門檻值，在該 第M+1個單位的影像的時間位置產生該至少一影像段落標記，並選取M個單位的該影像資料，將被選取的影像資料分為一第二影像段落。
  12. 如請求項7所述之分段系統，其中，該聲音分段單元更用以將該聲音資料分別轉換成一聲音時域訊號以及一聲音頻域訊號，從該聲音時域訊號中選取一時域區段，並判斷該時域區段的振幅是否小於一第一門檻值，如果該時域區段的振幅小於該第一門檻值，產生該至少一聲音段落標記；以及從該聲音頻域訊號中選取一第一頻域區段以及一第二頻域區段，並判斷該第一頻域區段與該第二頻域區段的頻譜強度差異值是否大於一第二門檻值，如果該第一頻域區段與該第二頻域區段的頻譜強度差異值大於該第二門檻值，產生該至少一聲音段落標記。
  13. 一種非暫態電腦可讀取媒體，包含至少一指令程序，由一處理器執行該至少一指令程序以實行一分段方法，其包含：接收一影片內容；其中，該影片內容包含一影像資料以及一聲音資料；針對該影像資料進行分段處理，以產生至少一影像段落標記；針對該第一聲音資料進行分段處理，以產生至少一聲音段落標記；以及 比較該至少一影像段落標記的一影像標記時間與該至少一聲音段落標記的一聲音標記時間之間的差異，以產生至少一影片內容標記。
TW108104105A 2018-09-07 2019-02-01 分段方法、分段系統及非暫態電腦可讀取媒體 TWI700597B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862728082P 2018-09-07 2018-09-07
US62/728,082 2018-09-07

Publications (2)

Publication Number Publication Date
TW202011221A TW202011221A (zh) 2020-03-16
TWI700597B true TWI700597B (zh) 2020-08-01

Family

ID=69745778

Family Applications (5)

Application Number Title Priority Date Filing Date
TW108104107A TWI725375B (zh) 2018-09-07 2019-02-01 資料搜尋方法及其資料搜尋系統
TW108104065A TWI709905B (zh) 2018-09-07 2019-02-01 資料分析方法及資料分析系統
TW108104097A TWI699663B (zh) 2018-09-07 2019-02-01 分段方法、分段系統及非暫態電腦可讀取媒體
TW108104105A TWI700597B (zh) 2018-09-07 2019-02-01 分段方法、分段系統及非暫態電腦可讀取媒體
TW108111842A TWI696386B (zh) 2018-09-07 2019-04-03 多媒體資料推薦系統及多媒體資料推薦方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW108104107A TWI725375B (zh) 2018-09-07 2019-02-01 資料搜尋方法及其資料搜尋系統
TW108104065A TWI709905B (zh) 2018-09-07 2019-02-01 資料分析方法及資料分析系統
TW108104097A TWI699663B (zh) 2018-09-07 2019-02-01 分段方法、分段系統及非暫態電腦可讀取媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108111842A TWI696386B (zh) 2018-09-07 2019-04-03 多媒體資料推薦系統及多媒體資料推薦方法

Country Status (4)

Country Link
JP (3) JP6829740B2 (zh)
CN (4) CN110889034A (zh)
SG (5) SG10201905236WA (zh)
TW (5) TWI725375B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756703B (zh) * 2020-06-03 2022-03-01 南開科技大學 數位學習系統及其方法
CN117351794B (zh) * 2023-10-13 2024-06-04 浙江上国教育科技有限公司 基于云平台的在线课程管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222227A (zh) * 2011-04-25 2011-10-19 中国华录集团有限公司 基于视频识别与提取影片图像的系统
CN103730111A (zh) * 2013-08-15 2014-04-16 中华电信股份有限公司 利用语者识别的切割音视讯片段的方法
US8839110B2 (en) * 2011-02-16 2014-09-16 Apple Inc. Rate conform operation for a media-editing application
TWI549498B (zh) * 2013-06-24 2016-09-11 wu-xiong Chen Variable audio and video playback method

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311539A (ja) * 1994-05-17 1995-11-28 Hitachi Ltd 教材編集支援システム
JP2002041823A (ja) * 2000-07-27 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> 情報配信装置、情報受信装置及び情報配信システム
JP3685733B2 (ja) * 2001-04-11 2005-08-24 株式会社ジェイ・フィット マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム
JP2002341735A (ja) * 2001-05-16 2002-11-29 Alice Factory:Kk ブロードバンド・ディジタル・ラーニング・システム
CN1432932A (zh) * 2002-01-16 2003-07-30 陈雯瑄 英文测验及成绩评估方法及系统
TW200411462A (en) * 2002-12-20 2004-07-01 Hsiao-Lien Wang A method for matching information exchange on network
US7599554B2 (en) * 2003-04-14 2009-10-06 Koninklijke Philips Electronics N.V. Method and apparatus for summarizing a music video using content analysis
JP4471737B2 (ja) * 2003-10-06 2010-06-02 日本電信電話株式会社 グループ化条件決定装置と方法およびそれを用いたキーワード拡張装置と方法ならびにコンテンツ検索システムおよびコンテンツ情報提供システムと方法ならびにプログラム
JP4426894B2 (ja) * 2004-04-15 2010-03-03 株式会社日立製作所 文書検索方法、文書検索プログラムおよびこれを実行する文書検索装置
JP2005321662A (ja) * 2004-05-10 2005-11-17 Fuji Xerox Co Ltd 学習支援装置および方法
JP2006003670A (ja) * 2004-06-18 2006-01-05 Hitachi Ltd 教育コンテンツ提供システム
JP2008535017A (ja) * 2005-03-31 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 以前の試験に基づき講義を増補させる方法
US9058406B2 (en) * 2005-09-14 2015-06-16 Millennial Media, Inc. Management of multiple advertising inventories using a monetization platform
WO2008023470A1 (fr) * 2006-08-21 2008-02-28 Kyoto University Procédé de recherche de phrase, moteur de recherche de phrase, programme informatique, support d'enregistrement et stockage de document
TW200825900A (en) * 2006-12-13 2008-06-16 Inst Information Industry System and method for generating wiki by sectional time of handout and recording medium thereof
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
JP5158766B2 (ja) * 2007-10-23 2013-03-06 シャープ株式会社 コンテンツ選択装置、テレビジョン、コンテンツ選択プログラム及び記憶媒体
TW200923860A (en) * 2007-11-19 2009-06-01 Univ Nat Taiwan Science Tech Interactive learning system
CN101382937B (zh) * 2008-07-01 2011-03-30 深圳先进技术研究院 基于语音识别的多媒体资源处理方法及其在线教学系统
US8140544B2 (en) * 2008-09-03 2012-03-20 International Business Machines Corporation Interactive digital video library
CN101453649B (zh) * 2008-12-30 2011-01-05 浙江大学 压缩域视频流的关键帧提取方法
JP5366632B2 (ja) * 2009-04-21 2013-12-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 検索サポートキーワード提示装置、方法及びプログラム
JP5493515B2 (ja) * 2009-07-03 2014-05-14 富士通株式会社 携帯端末装置、情報検索方法および情報検索プログラム
US20110177480A1 (en) * 2010-01-15 2011-07-21 Satish Menon Dynamically recommending learning content
JP2012038239A (ja) * 2010-08-11 2012-02-23 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
CN102348049B (zh) * 2011-09-16 2013-09-18 央视国际网络有限公司 检测视频片断切点位置的方法及装置
CN102509007A (zh) * 2011-11-01 2012-06-20 北京瑞信在线系统技术有限公司 多媒体教学评估方法及系统、装置以及多媒体教学系统
JP5216922B1 (ja) * 2012-01-06 2013-06-19 Ｆｌｅｎｓ株式会社 学習支援サーバ、学習支援システム、及び学習支援プログラム
US9846696B2 (en) * 2012-02-29 2017-12-19 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods for indexing multimedia content
US20130263166A1 (en) * 2012-03-27 2013-10-03 Bluefin Labs, Inc. Social Networking System Targeted Message Synchronization
US9058385B2 (en) * 2012-06-26 2015-06-16 Aol Inc. Systems and methods for identifying electronic content using video graphs
TWI513286B (zh) * 2012-08-28 2015-12-11 Ind Tech Res Inst 影片續播方法及系統
WO2014100893A1 (en) * 2012-12-28 2014-07-03 Jérémie Salvatore De Villiers System and method for the automated customization of audio and video media
JP6205767B2 (ja) * 2013-03-13 2017-10-04 カシオ計算機株式会社 学習支援装置、学習支援方法、学習支援プログラム、学習支援システム、およびサーバ装置
CN104572716A (zh) * 2013-10-18 2015-04-29 英业达科技有限公司 影音文件播放的系统及其方法
KR101537370B1 (ko) * 2013-11-06 2015-07-16 주식회사 시스트란인터내셔널 녹취된 음성 데이터에 대한 핵심어 추출 기반 발화 내용 파악 시스템과, 이 시스템을 이용한 인덱싱 방법 및 발화 내용 파악 방법
US20150206441A1 (en) * 2014-01-18 2015-07-23 Invent.ly LLC Personalized online learning management system and method
CN104123332B (zh) * 2014-01-24 2018-11-09 腾讯科技（深圳）有限公司 搜索结果的显示方法及装置
US9892194B2 (en) * 2014-04-04 2018-02-13 Fujitsu Limited Topic identification in lecture videos
US9253511B2 (en) * 2014-04-14 2016-02-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing multi-modal video datastream segmentation
JP6334431B2 (ja) * 2015-02-18 2018-05-30 株式会社日立製作所 データ分析装置、データ分析方法、およびデータ分析プログラム
US20160239155A1 (en) * 2015-02-18 2016-08-18 Google Inc. Adaptive media
CN104978961B (zh) * 2015-05-25 2019-10-15 广州酷狗计算机科技有限公司 一种音频处理方法、装置及终端
TWI571756B (zh) * 2015-12-11 2017-02-21 財團法人工業技術研究院 用以分析瀏覽記錄及其文件之方法及其系統
CN105978800A (zh) * 2016-07-04 2016-09-28 广东小天才科技有限公司 一种向移动终端推送题目的方法、系统和服务器
CN106202453B (zh) * 2016-07-13 2020-08-04 网易（杭州）网络有限公司 一种多媒体资源推荐方法和装置
CN106231399A (zh) * 2016-08-01 2016-12-14 乐视控股（北京）有限公司 视频分割方法、设备以及系统
CN108122437A (zh) * 2016-11-28 2018-06-05 北大方正集团有限公司 自适应学习方法及装置
CN107256262B (zh) * 2017-06-13 2020-04-14 西安电子科技大学 一种基于物体检测的图像检索方法
CN107623860A (zh) * 2017-08-09 2018-01-23 北京奇艺世纪科技有限公司 多媒体数据分割方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839110B2 (en) * 2011-02-16 2014-09-16 Apple Inc. Rate conform operation for a media-editing application
CN102222227A (zh) * 2011-04-25 2011-10-19 中国华录集团有限公司 基于视频识别与提取影片图像的系统
TWI549498B (zh) * 2013-06-24 2016-09-11 wu-xiong Chen Variable audio and video playback method
CN103730111A (zh) * 2013-08-15 2014-04-16 中华电信股份有限公司 利用语者识别的切割音视讯片段的方法

Also Published As

Publication number Publication date
CN110891202A (zh) 2020-03-17
TW202011232A (zh) 2020-03-16
CN110889034A (zh) 2020-03-17
CN110888896A (zh) 2020-03-17
TW202011749A (zh) 2020-03-16
SG10201906347QA (en) 2020-04-29
CN110895654A (zh) 2020-03-20
JP2020042771A (ja) 2020-03-19
TWI696386B (zh) 2020-06-11
JP2020042770A (ja) 2020-03-19
TW202011222A (zh) 2020-03-16
SG10201905236WA (en) 2020-04-29
JP2020042777A (ja) 2020-03-19
SG10201905523TA (en) 2020-04-29
TWI709905B (zh) 2020-11-11
CN110888994A (zh) 2020-03-17
TW202011231A (zh) 2020-03-16
TW202011221A (zh) 2020-03-16
TWI725375B (zh) 2021-04-21
SG10201905532QA (en) 2020-04-29
SG10201907250TA (en) 2020-04-29
CN110891202B (zh) 2022-03-25
TWI699663B (zh) 2020-07-21
JP6829740B2 (ja) 2021-02-10
CN110888896B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
US8965127B2 (en) Method for segmenting text words in document images
WO2021082918A1 (zh) 屏幕外观瑕疵检测方法及设备
WO2019057067A1 (zh) 图像质量评估方法及装置
US8244044B2 (en) Feature selection and extraction
Poignant et al. From text detection in videos to person identification
CN108460098B (zh) 信息推荐方法、装置和计算机设备
US20140064558A1 (en) Object tracking apparatus and method and camera
US20210295096A1 (en) System and method for machine learning based video quality assessment
JP2006260401A (ja) 画像処理装置、方法、およびプログラム
TWI700597B (zh) 分段方法、分段系統及非暫態電腦可讀取媒體
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
CN110827249A (zh) 电子设备背板外观瑕疵检测方法及设备
CN107392221B (zh) 分类模型的训练方法、分类ocr识别结果的方法及装置
CN109246446A (zh) 比较视频内容相似性的方法、装置和设备
CN110708568B (zh) 一种视频内容突变检测方法及装置
CN114638777A (zh) 图像瑕疵检测方法、装置、电子设备及介质
CN108140251B (zh) 视频循环生成
WO2023284609A1 (zh) 图形码识别方法、装置、计算机设备和存储介质
US11282179B2 (en) System and method for machine learning based video quality assessment
CN111031359B (zh) 视频播放方法、装置、电子设备和计算机可读存储介质
WO2017028565A1 (zh) 一种3d视频的字幕播放方法及装置
EP2536123A1 (en) Image processing method and image processing apparatus
US11645579B2 (en) Automated machine learning tagging and optimization of review procedures
US11935300B2 (en) Techniques for generating candidate match cuts