TWI510064B - 視訊推薦系統及其方法 - Google Patents

視訊推薦系統及其方法 Download PDF

Info

Publication number
TWI510064B
TWI510064B TW101111273A TW101111273A TWI510064B TW I510064 B TWI510064 B TW I510064B TW 101111273 A TW101111273 A TW 101111273A TW 101111273 A TW101111273 A TW 101111273A TW I510064 B TWI510064 B TW I510064B
Authority
TW
Taiwan
Prior art keywords
video
movie
feature
segment
segments
Prior art date
Application number
TW101111273A
Other languages
English (en)
Other versions
TW201340690A (zh
Inventor
Cheng Yuan Ho
I Heng Meng
Chi Hung Tsai
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW101111273A priority Critical patent/TWI510064B/zh
Priority to CN2012101622084A priority patent/CN103365936A/zh
Priority to US13/494,049 priority patent/US8804999B2/en
Publication of TW201340690A publication Critical patent/TW201340690A/zh
Application granted granted Critical
Publication of TWI510064B publication Critical patent/TWI510064B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Description

視訊推薦系統及其方法
本發明係有關於資料分析，特別是有關於分析影片之物件特徵並推薦影片片段之視訊推薦系統及方法。
在市面上有許多視訊推薦系統，例如Youtube、Dailymotion等網站，但這些網站對於視訊影片之評估方式係透過使用者對整部視訊影片的評價，因此這些視訊推薦系統僅能做大範圍的統計及預測，無法對影片內容做更進一步的分析。意即，當使用者觀賞一視訊影片時，這些傳統的視訊推薦系統並無法針對使用者在不同情境或影片中之場景的感受加以分析，因此無法進一步推薦使用者所喜愛之場景相關的影片片段給使用者。
有鑑於此，本發明係提供一種視訊推薦系統。該系統包括：一互動裝置，用以接收來自一使用者對一視訊影片之一回饋資訊，其中該視訊影片包括複數個影片片段；一特徵計算模組，用以計算影片片段中對應於回饋資訊之至少一第一影片片段的複數個物件特徵；以及一分析模組，用以依據物件特徵及回饋資訊，由影片片段中推薦至少一推薦視訊片段至該使用者。
本發明更提供一種視訊推薦方法，用於一視訊推薦系統。該方法包括下列步驟：接收來自一使用者對一視訊影片之一回饋資訊，其中該視訊影片包括複數個影片片段；計算影片片段中對應於回饋資訊之至少一第一影片片段的複數個物件特徵；以及依據該等物件特徵及該回饋資訊，由該等影片片段中推薦至少一推薦視訊片段至該使用者。
本發明更提供一種視訊推薦系統，包括：一互動裝置，用以接收來自複數使用者對複數個視訊影片之回饋資訊，其中該等視訊影片包括複數個影片片段；一特徵計算模組，用以計算對應於該回饋資訊之該等影片片段的至少一物件特徵的熱門程度；以及一分析模組，用以計算該等影片片段之該至少一物件特徵的熱門程度，並依據該至少一物件特徵的該熱門程度，由該等影片片段中推薦至少一推薦視訊片段。
本發明更提供一種視訊推薦方法，用於一視訊推薦系統。該方法包括下列步驟：接收來自複數使用者對複數個視訊影片之回饋資訊，其中該等視訊影片包括複數個影片片段；計算對應於該回饋資訊之該等影片片段的至少一物件特徵；用以計算該等影片片段之該至少一物件特徵的熱門程度；以及依據該至少一物件特徵的該熱門程度，由該等影片片段中推薦至少一推薦視訊片段。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式第1～2圖，作詳細說明如下。
第1圖係顯示依據本發明一實施例之互動系統的方塊圖。在一實施例中，視訊推薦系統100係包括一互動裝置110、一特徵計算模組120、一分析模組130以及一資料庫140。當使用者在觀賞一視訊影片(例如串流視訊)時，互動裝置110係用以讓使用者即時輸入其觀賞視訊影片時的回饋資訊(例如喜愛(like)或不喜愛(dislike))，藉以產生一回饋資訊，其中該視訊影片係包括複數個影片片段。特徵計算模組120係用以分析使用者所觀賞的視訊影片，並計算該視訊影片中對應於該回饋資訊之影片片段的物件特徵。特徵計算模組120所計算的物件特徵係包括該影片的高階特徵(high level features)及低階特徵(low level features)。舉例來說，場景分類(shot classification)、語意概念偵測(semantic concept detection)及延伸應用(extended application)等特徵均可視為高階特徵，而顏色長方圖、顏色分布或邊緣統計、材質分析等特徵均可視為低階特徵。簡單來說，高階特徵係較為接近人為解釋的物件特性，低階特徵係較為接近物件本質上的特性，而低階特徵與高階語音之間的落差係稱為語音鴻溝(semantic gap)。更進一步，特徵計算模組120更接收來自互動裝置110的回饋資訊，並在回饋資訊所對應的影片片段上標示使用者的回饋資訊(例如喜愛或不喜愛)，並將已標示的視訊影片儲存於資料庫140中，其細節將詳述於後。需注意的是，儲存於資料庫140中的視訊影片往往為視訊壓縮檔，例如MPEG2、H.264等格式之視訊壓縮檔，故在標示部分影片片段之回饋資訊後，係將影片片段所對應的整個視訊影片儲存回資料庫140中。本發明亦可僅將已標示回饋資訊之影片片段儲存回資料庫140中。
分析模組130係依據使用者之回饋資訊，藉以分析使用者的之觀賞愛好，再由資料庫140所儲存的複數個視訊影片中推薦最符合使用者愛好之視訊影片或推薦視訊片段，或是由一視訊影片中推薦一推薦視訊片段給使用者。資料庫140係儲存複數個影片及對應的物件特徵，且儲存於資料庫140中之影片係包括已標示回饋資訊的影片及尚未標示回饋資訊的影片。
更詳細而言，分析模組130係先由資料庫140取得使用者之回饋資訊或是直接由互動裝置110取得回饋資訊，再分析使用者之回饋資訊，藉以取得使用者所愛好的影片類型、場景分類、語意概念或延伸應用等使用者資訊，並將使用者資訊儲存於資料庫140，此過程係可視為一訓練階段。待使用者再度使用視訊推薦系統100觀賞影片時，分析模組130即可即時由資料庫140取得對應的使用者資訊，並推薦使用者可能喜愛的影片片段，同時也大幅縮短了推薦影片片段所花費的時間。
需注意的是，互動裝置110更可接收並整合多個使用者關於不同影片的回饋資訊，且分析模組130更可據以推薦視訊影片或影片片段給使用者。舉例來說，在一實施例中，分析模組130係可依據來自多個使用者的回饋資訊，計算儲存於資料庫140中之各視訊影片及各影片片段之熱門程度(popularity)，並依據各視訊影片及各影片片段之熱門程度，由該等視訊影片及該等影片片段中推薦至少一視訊影片或至少一推薦視訊片段給使用者。
在另一實施例中，互動裝置110更可接收並整合多個使用者關於不同影片的回饋資訊，其中該等影片包括複數個影片片段。特徵計算模組120係計算對應於該回饋資訊之該等影片片段的至少一物件特徵。分析模組130係計算上述回饋資訊所對應視訊影片及/或影片片段之物件特徵之熱門程度，藉以由該等影片中推薦至少一推薦視訊影片或至少一推薦視訊片段給使用者。舉例來說，當分析模組130依據來自該等使用者之回饋資訊，得知多個使用者係喜愛觀賞全壘打之影片片段，其中全壘打之影片片段即表示對應的一高階物件特徵，若一使用者在觀賞視訊影片A(例如一棒球比賽)時，分析模組130係可進一步推薦視訊影片A中關於全壘打的影片片段或是其他視訊影片中關於全壘打的影片片段給使用者，但本發明不限於此。
在另一實施例中，特徵計算模組120係可使用例如區域二元圖樣(local binary patterns)、顏色長方圖(color histogram)、似Harr特徵(Haar-like features)、方向性邊緣圖(directional edge maps)以計算各影片之低階特徵，例如顏色、邊緣、角落(corner)、形狀、材質(texture)等影像的低階特徵。特徵計算模組120亦可使用語音基礎式偵測方法(speech-based detection)，分析影片中之音量(volume)、音高(pitch)或音色(timbre)等聲音的低階特徵。在又一實施例中，特徵計算模組120係可使用支持向量機(support vector machine)、類神經網路(neural network)、Adaboost演算法等計算各視訊影片(及影片片段)之高階特徵，例如人臉、物件、場景、語意概念等影像的高階特徵。特徵計算模組120亦可分析關鍵字(keyword)、旋律(rhythm)等聲音的高階特徵。
更進一步，特徵計算模組120係使用所計算出之視訊影片的低階特徵，據以進一步分析視訊影片的高階特徵。舉例來說，以分析棒球賽之視訊影片為例，特徵計算模組120係可使用顏色及邊緣資訊進行場景分類，並可偵測影片中球的軌跡(ball trajectory)與人物移動，藉以分析比賽持續或暫停。另外，特徵計算模組120係可利用影片中之字幕或特定畫面(例如球場縮圖及比賽概況)、關鍵字詞(keyword phrase)或語音，藉以分析棒球影片中之不同棒球概念，例如一壘安打(single,1B)、二壘安打(double,2B)、三壘安打(triple,3B)、全壘打(home run,HR)、盜壘(stolenbase,SB)、盜壘阻殺(caught stealing,CS)、內外野飛球接殺(fly out,AO)、三振(strikeout,SO)、四壞球(base on ball,Walk,BB)、犧牲觸擊(sacrifice bunt,SAC)、犧牲高飛(sacrifice fly,SF)、雙殺(double play,DP)、以及三殺(triple play,TP)等概念，但本發明不限於此。
在一實施例中，分析模組130係可針對單一使用者推薦影片，例如分析模組130係使用一協同過濾演算法(collaborative filtering algorithm)、內容式過濾演算法(content-based filtering algorithm)或混合式過濾演算法(hybrid-based filtering algorithm)，由資料庫140載入該使用者曾標記過之多個視訊影片的相關物件特徵，並探查該使用者最常標記的物件特徵，再由資料庫140中取得最符合使用者需求之物件特徵所對應的視訊影片或影片片段。換句話說，分析模組130所使用的協同過濾演算法係將視訊影片的各種物件特徵及使用者資訊進行連結，並判斷各種連結關係的相似度(例如一評比分數)，藉以取得相似度最高的連結關係，再推薦相似度最高之連結關係所對應的影片片段給使用者。需注意的是，在眾多的視訊片段中，往往會有評比分數相同的推薦結果，此時分析模組130係可依據使用者之偏好(例如一使用者設定)，藉以由推薦結果中選擇最符合使用者需求的視訊片段並推薦給使用者。
在一實施例中，當使用者在視訊推薦系統100上觀賞視訊影片時，其係透過互動裝置110以傳送回饋資訊至特徵計算模組120，其中回饋資訊係具有一時間資訊。換句話說，當特徵計算模組120接收到來自互動裝置110的回饋資訊，特徵計算模組120係可同時得知該回饋資訊在該影片中所對應的影片片段。舉例來說，若依據一固定時間間隔(例如1分鐘)將視訊影片切割為複數個影片片段，則上述對應的影片片段係可為該時間資訊所在的影片片段中(影片片段長度固定)，或是在回饋資訊所對應之時間點的前後30秒(共一分鐘)之影片片段(動態取得固定長度的影片片段)，亦或是一場景所對應的影片片段(影片片段長度不定)，但本發明不限於此。舉例來說，分析模組130係可針對單一視訊影片做精彩視訊片段推薦。更詳細而言，分析模組130係由資料庫140中取得該視訊影片中之各影片片段相關的所有標記(回饋資訊)及物件特徵，並探查各種標記之分群，再篩選這些分群所對應的影片片段。需注意的是，本發明之視訊推薦系統100係可使用於傳統的影片資料庫，意即利用特徵計算模組120進一對影片資料庫中的各視訊影片中之影片片段進行標記及分析其物件特徵，分析模組130係可依據各視訊影片及影片片段之標記及其物件特徵，藉以由複數個視訊影片中推薦使用者其喜愛的影片片段，或是由一視訊影片中推薦精彩的視訊片段。
需注意的是，特徵計算模組120標示在影片片段的回饋資訊係可以資料欄位之形式所記錄，亦可在對應的影片片段中以標籤(tag)之形式標示在影片片段中。另外，本發明之互動裝置110係可視為一客戶端，且通常需置於一使用者觀賞影片之處。在本發明中，亦不侷限於一個互動裝置110，互動裝置110可分別安置於多個使用者之處，因此分析模組130亦可接收並整合來自多個使用者的回饋資訊。又，本發明之特徵計算模組120及分析模組130係可置於一遠端伺服器中，且每當有新影片加入資料庫140時，特徵計算模組120及分析模組130係可計算新影片之物件特徵(包括高階特徵及低階特徵)，並將所計算出的物件特徵對應地標示在新影片中，並儲存於資料庫140。
第2圖係顯示依據本發明一實施例之視訊推薦方法的流程圖。在步驟S200，互動裝置110係接收來自一使用者對一視訊影片之一回饋資訊，其中該視訊影片包括複數個影片片段。在步驟S210，特徵計算模組120係計算該等影片片段中對應於該回饋資訊之至少一第一影片片段的複數個物件特徵(包括高階特徵及低階特徵)。在步驟S220，分析模組130係依據物件特徵及回饋資訊，由影片片段中推薦至少一推薦視訊片段至使用者。
第3圖係顯示依據本發明另一實施例之視訊推薦方法的流程圖。在步驟S300，互動裝置110係接收來自複數使用者對複數個視訊影片之回饋資訊，其中該等視訊影片包括複數個影片片段。在步驟S310，特徵計算模組120係計算對應於該回饋資訊之該等影片片段的至少一物件特徵。在步驟S320，分析模組130係計算該等影片片段的該至少一物件特徵的熱門程度，並依據該至少一物件特徵的該熱門程度，由該等影片片段中推薦至少一推薦視訊片段。值得注意的是，第2圖之流程係依據單一使用者之回饋資訊推薦至少一視訊影片片段至該單一使用者，亦即第2圖之視訊推薦方法係基於單人回饋。而第3圖之流程係依據複數使用者對於不同影片的回饋資訊，藉以推薦至少一視訊影片或視訊影片片段，亦即第3圖之視訊推薦方法係基於多人回饋。
本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．視訊推薦系統
110．．．互動裝置
120．．．特徵計算模組
130．．．分析模組
140．．．資料庫
第1圖係顯示依據本發明一實施例之視訊推薦系統的方塊圖。
第2圖係顯示依據本發明一實施例之視訊推薦方法的流程圖。
第3圖係顯示依據本發明另一實施例之視訊推薦方法的流程圖。
100．．．視訊推薦系統
110．．．互動裝置
120．．．特徵計算模組
130．．．分析模組
140．．．資料庫

Claims (10)

  1. 一種視訊推薦系統，包括：一互動裝置，用以接收來自一使用者對一視訊影片之一回饋資訊，其中該視訊影片包括複數個影片片段；一特徵計算模組，用以計算該等影片片段中對應於該回饋資訊之至少一第一影片片段的複數個物件特徵，其中該等物件特徵係包括該至少一第一影片片段之至少一高階特徵及至少一低階特徵，且該至少一高階特徵為人為解釋的物件特徵，該至少一低階特徵為接近物件本質的特性；以及一分析模組，用以依據該高階特徵及該低階特徵計算該等影片片段之該等物件特徵的一熱門程度，並依據該等物件特徵之該熱門程度及該回饋資訊，由該等影片片段中推薦至少一第一推薦視訊片段至該使用者；其中該至少一高階特徵係包括各該至少一第一影片片段中之一人臉、一物件、一場景、及/或一語意概念；其中該至少一低階特徵係包括各該至少一第一影片片段所對應之一顏色長方圖、一顏色分布、一邊緣統計、及/或一材質。
  2. 如申請專利範圍第1項所述之視訊推薦系統，其中該回饋資訊係包括至少一時間資訊，且該特徵計算模組更依據該時間資訊由該視訊影片中取得該至少一第一影片片段，並標示該回饋資訊至該至少一第一影片片段，再將該等影片片段儲存於一資料庫。
  3. 如申請專利範圍第1項所述之視訊推薦系統，其中該資料庫係儲存複數個第二視訊影片，該等第二視訊影片包括複數個第二影片片段、對應於該等第二影片片段的複數個第二物件特徵及一使用者資訊，且該分析模組更依據該等第二物件特徵及該使用者資訊，由該等第二影片片段中推薦一第二推薦視訊片段至該使用者。
  4. 如申請專利範圍第1項所述之視訊推薦系統，其中該分析模組更分析該回饋資訊，藉以取得該使用者之一使用者資訊，並依據該使用者資訊由該等影片片段中推薦至少一第三推薦視訊片段至該使用者。
  5. 一種視訊推薦方法，用於一視訊推薦系統，包括：接收來自一使用者對一視訊影片之一回饋資訊，其中該視訊影片包括複數個影片片段；計算該等影片片段中該回饋資訊所對應之至少一第一影片片段之複數個物件特徵，其中該等物件特徵係包括該至少一第一影片片段之至少一高階特徵及至少一低階特徵，且該至少一高階特徵為人為解釋的物件特徵，該至少一低階特徵為接近物件本質的特性；以及依據該高階特徵及該低階特徵計算該等影片片段之該等物件特徵的一熱門程度；依據該等物件特徵之該熱門程度及該回饋資訊，由該等影片片段中推薦至少一第一推薦視訊片段至該使用者；其中該至少一高階特徵係包括各該至少一第一影片片段中之一人臉、一物件、一場景、及/或一語意概念；其中該至少一低階特徵係包括各該至少一第一影片片 段所對應之一顏色長方圖、一顏色分布、一邊緣統計、及/或一材質。
  6. 如申請專利範圍第5項所述之視訊推薦方法，其中該回饋資訊係包括至少一時間資訊，且該方法更包括：依據該時間資訊由該視訊影片中取得該至少一第一影片片段，並標示該回饋資訊至該至少一第一影片片段，再將該等影片片段儲存於一資料庫。
  7. 如申請專利範圍第6項所述之視訊推薦方法，其中該資料庫係儲存複數個第二視訊影片，該等第二視訊影片包括複數個第二影片片段、對應於該等第二影片片段的複數個第二物件特徵及一使用者資訊，且該方法更包括：依據該等第二物件特徵及該使用者資訊，由該等第二影片片段中推薦一第二推薦視訊片段至該使用者。
  8. 如申請專利範圍第5項所述之視訊推薦方法，更包括：分析該回饋資訊，藉以取得該使用者之一使用者資訊；以及依據該使用者資訊由該等影片片段中推薦至少一第三推薦視訊片段至該使用者。
  9. 一種視訊推薦系統，包括：一互動裝置，用以接收來自複數使用者對複數個視訊影片之回饋資訊，其中該等視訊影片包括複數個影片片段；一特徵計算模組，用以計算對應於該回饋資訊之該等影片片段的至少一物件特徵的熱門程度，其中該等物件特徵係包括該至少一第一影片片段之至少一高階特徵及至少 一低階特徵；以及一分析模組，用以計算該等影片片段之該至少一物件特徵的熱門程度，並依據該至少一物件特徵的該熱門程度，由該等影片片段中推薦至少一推薦視訊片段；其中該至少一高階特徵係包括各該至少一第一影片片段中之一人臉、一物件、一場景、及/或一語意概念；其中該至少一低階特徵係包括各該至少一第一影片片段所對應之一顏色長方圖、一顏色分布、一邊緣統計、及/或一材質。
  10. 一種視訊推薦方法，用於一視訊推薦系統，包括：接收來自複數使用者對複數個視訊影片之回饋資訊，其中該等視訊影片包括複數個影片片段；計算對應於該回饋資訊之該等影片片段的至少一物件特徵，其中該等物件特徵係包括該至少一第一影片片段之至少一高階特徵及至少一低階特徵；計算該等影片片段之該至少一物件特徵的熱門程度；以及依據該至少一物件特徵的該熱門程度，由該等影片片段中推薦至少一推薦視訊片段；其中該至少一高階特徵係包括各該至少一第一影片片段中之一人臉、一物件、一場景、及/或一語意概念；其中該至少一低階特徵係包括各該至少一第一影片片段所對應之一顏色長方圖、一顏色分布、一邊緣統計、及/或一材質。
TW101111273A 2012-03-30 2012-03-30 視訊推薦系統及其方法 TWI510064B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101111273A TWI510064B (zh) 2012-03-30 2012-03-30 視訊推薦系統及其方法
CN2012101622084A CN103365936A (zh) 2012-03-30 2012-05-23 视频推荐系统及其方法
US13/494,049 US8804999B2 (en) 2012-03-30 2012-06-12 Video recommendation system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101111273A TWI510064B (zh) 2012-03-30 2012-03-30 視訊推薦系統及其方法

Publications (2)

Publication Number Publication Date
TW201340690A TW201340690A (zh) 2013-10-01
TWI510064B true TWI510064B (zh) 2015-11-21

Family

ID=49235133

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101111273A TWI510064B (zh) 2012-03-30 2012-03-30 視訊推薦系統及其方法

Country Status (3)

Country Link
US (1) US8804999B2 (zh)
CN (1) CN103365936A (zh)
TW (1) TWI510064B (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013023063A1 (en) 2011-08-09 2013-02-14 Path 36 Llc Digital media editing
KR101716646B1 (ko) * 2013-01-10 2017-03-15 한국전자통신연구원 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
US9678637B1 (en) * 2013-06-11 2017-06-13 Audible, Inc. Providing context-based portions of content
US20140379710A1 (en) * 2013-06-19 2014-12-25 International Business Machines Corporation Pattern based video frame navigation aid
US11042274B2 (en) * 2013-12-04 2021-06-22 Autodesk, Inc. Extracting demonstrations from in-situ video content
US9760768B2 (en) 2014-03-04 2017-09-12 Gopro, Inc. Generation of video from spherical content using edit maps
CN104951479A (zh) * 2014-03-31 2015-09-30 小米科技有限责任公司 视频内容探测方法及装置
CN103957433A (zh) * 2014-03-31 2014-07-30 深圳市同洲电子股份有限公司 一种视频数据的处理方法、相关设备及系统
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
CN105491456A (zh) * 2014-10-11 2016-04-13 中兴通讯股份有限公司 视频内容的推荐、评价方法及装置
US10318575B2 (en) * 2014-11-14 2019-06-11 Zorroa Corporation Systems and methods of building and using an image catalog
CN104506535A (zh) * 2014-12-25 2015-04-08 深圳中兴网信科技有限公司 数据推送方法与数据推送系统
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
US10186012B2 (en) 2015-05-20 2019-01-22 Gopro, Inc. Virtual lens simulation for video and photo cropping
US9894393B2 (en) 2015-08-31 2018-02-13 Gopro, Inc. Video encoding for reduced streaming latency
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US10204273B2 (en) * 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US10095696B1 (en) 2016-01-04 2018-10-09 Gopro, Inc. Systems and methods for generating recommendations of post-capture users to edit digital media content field
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
CN105760443B (zh) * 2016-02-03 2017-11-21 广州市动景计算机科技有限公司 项目推荐系统、项目推荐装置以及项目推荐方法
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US10075556B2 (en) * 2016-04-20 2018-09-11 Disney Enterprises, Inc. Systems and methods for selecting a portion of a content segment to distribute via on online platform
CN107483970B (zh) 2016-06-08 2020-09-18 华为技术有限公司 一种确定热门直播视频的方法及设备
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US10250894B1 (en) 2016-06-15 2019-04-02 Gopro, Inc. Systems and methods for providing transcoded portions of a video
US9998769B1 (en) 2016-06-15 2018-06-12 Gopro, Inc. Systems and methods for transcoding media files
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US10469909B1 (en) 2016-07-14 2019-11-05 Gopro, Inc. Systems and methods for providing access to still images derived from a video
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
CN107547922B (zh) * 2016-10-28 2019-12-17 腾讯科技（深圳）有限公司 信息处理方法、装置、系统及计算机可读存储介质
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
GB201621768D0 (en) * 2016-12-20 2017-02-01 Really Neural Ltd A method and system for digital linear media retrieval
CN106649733B (zh) * 2016-12-23 2020-04-10 中山大学 一种基于无线接入点情境分类与感知的在线视频推荐方法
JPWO2018128097A1 (ja) * 2017-01-06 2019-11-07 ソニー株式会社 情報処理装置および情報処理方法
CN106802946B (zh) * 2017-01-12 2020-03-27 合一网络技术(北京)有限公司 视频分析方法及装置
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
CN108509457A (zh) * 2017-02-28 2018-09-07 阿里巴巴集团控股有限公司 一种视频数据的推荐方法和装置
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
TWI615728B (zh) * 2017-06-13 2018-02-21 崑山科技大學 智慧型教學影片檢驗系統以及智慧型教學影片檢驗方法
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
US10402656B1 (en) 2017-07-13 2019-09-03 Gopro, Inc. Systems and methods for accelerating video analysis
CN107563500B (zh) * 2017-09-14 2021-04-13 北京奇艺世纪科技有限公司 一种基于用户头像的视频推荐方法及系统
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
US11363352B2 (en) 2017-09-29 2022-06-14 International Business Machines Corporation Video content relationship mapping
CN109218801B (zh) * 2018-08-15 2021-12-03 咪咕视讯科技有限公司 一种信息处理方法、装置及存储介质
EP3620936A1 (en) * 2018-09-07 2020-03-11 Delta Electronics, Inc. System and method for recommending multimedia data
CN109151500A (zh) * 2018-09-29 2019-01-04 北京数美时代科技有限公司 一种针对视频直播的主播推荐方法、系统及计算机设备
US10701416B2 (en) * 2018-10-12 2020-06-30 Disney Enterprises, Inc. Content promotion through automated curation of content clips
CN109857498A (zh) * 2019-01-09 2019-06-07 明基智能科技（上海）有限公司 智能内容模板推荐系统及其方法
CN110012356B (zh) * 2019-04-16 2020-07-10 腾讯科技（深圳）有限公司 视频推荐方法、装置和设备及计算机存储介质
WO2021108707A1 (en) * 2019-11-27 2021-06-03 Rovi Guides, Inc. Systems and methods for deep recommendations using signature analysis
US11109103B2 (en) 2019-11-27 2021-08-31 Rovi Guides, Inc. Systems and methods for deep recommendations using signature analysis
US11297388B2 (en) 2019-11-27 2022-04-05 Rovi Guides, Inc. Systems and methods for deep recommendations using signature analysis
CN111343507A (zh) * 2020-02-29 2020-06-26 北京大米未来科技有限公司 在线授课方法、装置、存储介质和电子设备
CN111694986A (zh) * 2020-06-12 2020-09-22 北京奇艺世纪科技有限公司 一种视频推荐方法、装置、电子设备及存储介质
CN113271478B (zh) * 2021-05-17 2023-01-10 北京大米科技有限公司 学习视频推荐方法、信息交互方法和装置
CN114205653A (zh) * 2021-12-06 2022-03-18 广东飞翔云计算有限公司 一种基于大数据的预览视频推送方法、装置、设备及存储介质
CN115022654B (zh) * 2022-05-18 2024-01-19 北京达佳互联信息技术有限公司 一种直播场景下的视频编辑方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551825A (zh) * 2009-05-15 2009-10-07 中国科学技术大学 基于属性描述的个性化影片推荐系统及方法
CN101901450A (zh) * 2010-07-14 2010-12-01 中兴通讯股份有限公司 媒体内容推荐方法和媒体内容推荐系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001284628A1 (en) * 2001-08-31 2003-03-10 Kent Ridge Digital Labs Time-based media navigation system
KR20050085287A (ko) * 2002-12-04 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 유사한 시청 습관을 갖고 있는 사용자의 사용자 프로파일에기초한 비디오 콘텐트의 추천 방법
CN1799262A (zh) * 2003-06-02 2006-07-05 皇家飞利浦电子股份有限公司 经由动态类别创建的节目推荐
EP1484693A1 (en) * 2003-06-04 2004-12-08 Sony NetServices GmbH Content recommendation device with an arrangement engine
CN1601524A (zh) * 2003-09-25 2005-03-30 鸿富锦精密工业（深圳）有限公司 模糊查询系统及方法
US8010523B2 (en) * 2005-12-30 2011-08-30 Google Inc. Dynamic search box for web browser
KR101316743B1 (ko) * 2007-03-13 2013-10-08 삼성전자주식회사 컨텐츠 비디오 영상 중 일부분에 관한 메타데이터를제공하는 방법, 상기 제공된 메타데이터를 관리하는 방법및 이들 방법을 이용하는 장치
US8230458B2 (en) * 2007-06-29 2012-07-24 At&T Intellectual Property I, L.P. System and method of providing video content commentary
US9535988B2 (en) * 2007-12-21 2017-01-03 Yahoo! Inc. Blog-based video summarization
CN101625682A (zh) * 2008-07-09 2010-01-13 联想(北京)有限公司 搜索输入装置、搜索输入方法及搜索引擎装置
JP5322550B2 (ja) * 2008-09-18 2013-10-23 三菱電機株式会社 番組推奨装置
NO331287B1 (no) * 2008-12-15 2011-11-14 Cisco Systems Int Sarl Fremgangsmate og anordning for gjenkjenning av ansikter i en videostrom
US8200602B2 (en) * 2009-02-02 2012-06-12 Napo Enterprises, Llc System and method for creating thematic listening experiences in a networked peer media recommendation environment
US20110153663A1 (en) * 2009-12-21 2011-06-23 At&T Intellectual Property I, L.P. Recommendation engine using implicit feedback observations
US8688706B2 (en) * 2010-12-01 2014-04-01 Google Inc. Topic based user profiles
US8467611B2 (en) * 2010-12-10 2013-06-18 Eastman Kodak Company Video key-frame extraction using bi-level sparsity
US8825679B2 (en) * 2011-02-15 2014-09-02 Microsoft Corporation Aggregated view of content with presentation according to content type
US20120232977A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Real-time video image analysis for providing targeted offers
WO2012166880A1 (en) * 2011-05-31 2012-12-06 Idea Health & Fitness, Inc. Feedback system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551825A (zh) * 2009-05-15 2009-10-07 中国科学技术大学 基于属性描述的个性化影片推荐系统及方法
CN101901450A (zh) * 2010-07-14 2010-12-01 中兴通讯股份有限公司 媒体内容推荐方法和媒体内容推荐系统

Also Published As

Publication number Publication date
US20130259399A1 (en) 2013-10-03
TW201340690A (zh) 2013-10-01
CN103365936A (zh) 2013-10-23
US8804999B2 (en) 2014-08-12

Similar Documents

Publication Publication Date Title
TWI510064B (zh) 視訊推薦系統及其方法
US11663827B2 (en) Generating a video segment of an action from a video
US10528821B2 (en) Video segmentation techniques
US11126853B2 (en) Video to data
US20210201349A1 (en) Media and marketing optimization with cross platform consumer and content intelligence
KR101944469B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US8942542B1 (en) Video segment identification and organization based on dynamic characterizations
US9098807B1 (en) Video content claiming classifier
WO2022184117A1 (zh) 基于深度学习的视频剪辑方法、相关设备及存储介质
JP5312352B2 (ja) ビデオフレーム特徴に基づくビデオ推薦のためのシステム及び方法
US20170347151A1 (en) Facilitating Television Based Interaction with Social Networking Tools
Awad et al. Content-based video copy detection benchmarking at TRECVID
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
CN112507163A (zh) 时长预测模型训练方法、推荐方法、装置、设备及介质
JP5880558B2 (ja) 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム
Acar et al. Detecting violent content in hollywood movies and user-generated videos
Darabi et al. Personalized video summarization using sift
US20220189076A1 (en) Method for generating a multimedia element when reading a medium, terminal, and system
US20140189769A1 (en) Information management device, server, and control method
Jiang Video Content Analysis Using the Video Time Density Function and Statistical Models

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees