TW201918851A - 基於用戶情緒的視頻推送系統及方法 - Google Patents

基於用戶情緒的視頻推送系統及方法 Download PDF

Info

Publication number
TW201918851A
TW201918851A TW107128671A TW107128671A TW201918851A TW 201918851 A TW201918851 A TW 201918851A TW 107128671 A TW107128671 A TW 107128671A TW 107128671 A TW107128671 A TW 107128671A TW 201918851 A TW201918851 A TW 201918851A
Authority
TW
Taiwan
Prior art keywords
user
video
texture
module
electronic device
Prior art date
Application number
TW107128671A
Other languages
English (en)
Inventor
邱冠榮
李學文
林瑞芳
蔡錫奇
徐懿
蘇家漢
陳祐誠
黃英雄
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201918851A publication Critical patent/TW201918851A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種基於用戶情緒的視頻推送系統及方法，所述系統包括偵測模組，當電子裝置播放視頻時控制攝像單元即時偵測用戶的手勢動作及臉部表情；確定模組，根據用戶的手勢動作及臉部表情確定用戶的情緒；選擇模組，從記憶體存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在顯示單元上；上傳模組，用於將所述貼圖及所述貼圖的相關資訊上傳至一伺服器；及推送模組，用於從所述伺服器獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至顯示單元。

Description

基於用戶情緒的視頻推送系統及方法
本發明涉及人機交互技術領域，尤其涉及一種基於用戶情緒的視頻推送系統及方法。
隨著科學技術的進步，智慧電子設備如智慧電視的發展越來越迅速。現如今，智慧電視提供的節目趨於多樣化，不但能提供電視臺的節目，還能提供視頻網站的視頻。然而，雖然節目類型和數量都增多了，但用戶與智慧電視之間的互動仍然比較單一，通常只是智慧電視提供節目，然後用戶選擇節目進行觀看，用戶無法及時回饋自己對節目的喜好以及觀看節目過程中的情緒感受，也無法進行用戶之間的互動。
有鑒於此，有必要提供一種基於用戶情緒的視頻推送系統及方法，以解決上述技術問題。
一種基於用戶情緒的視頻推送系統，運行於一電子裝置中，所述電子裝置包括記憶體、顯示單元及攝像單元，所述記憶體用於存儲多個貼圖，所述系統包括：
偵測模組，用於當所述電子裝置播放視頻時控制所述攝像單元即時偵測用戶的手勢動作及臉部表情；
確定模組，用於根據用戶的手勢動作及臉部表情確定用戶的情緒；
選擇模組，用於從所述記憶體存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在所述顯示單元上；
上傳模組，用於將所述貼圖及所述貼圖的相關資訊上傳至一伺服器；及
推送模組，用於從所述伺服器獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至所述顯示單元。
一種基於用戶情緒的視頻推送方法，應用於一電子裝置中，所述電子裝置包括記憶體、顯示單元及攝像單元，所述記憶體用於存儲多個貼圖，所述方法包括以下步驟：
當所述電子裝置播放視頻時，控制所述攝像單元即時偵測用戶的手勢動作及臉部表情；
根據用戶的手勢動作及臉部表情確定用戶的情緒；
從所述記憶體存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在所述顯示單元上；
將所述貼圖及所述貼圖的相關資訊上傳至一伺服器；及
從所述伺服器獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至所述顯示單元。
上述基於用戶情緒的視頻推送系統及方法可以在視頻推送的過程中接收觀看用戶回饋的情緒，並將反映所有觀看用戶的情緒的貼圖隨視頻一起推送，從而增強觀看用戶與電子設備以及其他用戶之間的互動性，有效提升了用戶體驗。
請參考圖1，為本發明所提供的基於用戶情緒的視頻推送系統100。所述視頻推送系統100運行於一電子裝置1中。在本實施方式中，所述電子裝置1可以為智慧電視、智慧手機或個人電腦。所述視頻推送系統100可以在用戶使用所述電子裝置1觀看視頻時基於用戶的情緒生成或選擇表情貼圖，並在所述電子裝置1播放視頻時一併推送觀看此視頻的用戶上傳的表情貼圖，提高用戶觀看視頻的交互性。
所述電子裝置1至少包括處理器10、記憶體20、顯示單元30、攝像單元40及語音採集單元50。所述記憶體20用於存儲多個貼圖。在本實施方式中，所述貼圖用於反映用戶的情緒或心情。例如，當用戶的情緒高興時，可以發送一個內容是大笑的卡通人物的貼圖，所述貼圖可隨所述電子裝置1播放的視頻一併推送給其他用戶的電子裝置1。其中，所述貼圖可以是靜態圖片或動態圖片。
在本實施方式中，所述顯示單元30為LCD（Liquid Crystal Display）顯示幕，用於顯示所述電子裝置1播放的視頻。當所述電子裝置1為智慧手機或平板電腦時，所述顯示單元30可以是觸控顯示幕。
在本實施方式中，所述攝像單元40為CCD攝像頭或CMOS攝像頭。所述攝像單元40用於拍攝用戶的手勢動作影像及/或臉部影像。其中，所述影像可以是靜態或動態。在本實施方式中，所述語音採集單元50為話筒，用於採集用戶的語音。
如圖1所示，所述處理器10至少包括偵測模組101、確定模組102、選擇模組103、獲取模組104、上傳模組105、推送模組106、語音採集模組107、轉換模組108及搜尋模組109。在本實施方式中，上述模組為存儲於所述記憶體20中且可被所述處理器10調用執行的可程式化軟體指令。可以理解的是，在其他實施方式中，上述模組也可為固化於所述處理器10中的程式指令或固件（firmware）。
所述偵測模組101用於當所述電子裝置1播放視頻時控制所述攝像單元40即時偵測用戶的手勢動作及臉部表情。
在本實施方式中，所述攝像單元40裝設於所述電子裝置1的本體上。所述電子裝置1播放的視頻可以是電視劇、娛樂綜藝、紀錄片、音樂視頻或新聞等。當所述電子裝置1播放視頻時，所述攝像單元40開始拍攝預設範圍內用戶的手勢動作及臉部表情。其中，所述預設範圍為所述攝像單元40前方五米的範圍。
在本實施方式中，所述電子裝置1的記憶體20內預先存儲有用戶的臉部特徵及手部特徵，當所述攝像單元40拍攝到用戶時，可根據預先存儲的臉部特徵及手部特徵識別用戶的臉部及手部，從而即時偵測用戶的手勢動作及臉部表情。
在其他實施方式中，所述攝像單元40也可以裝設於用戶的移動終端2上。當所述電子裝置1為智慧電視時，所述攝像單元40也可以設置于智慧電視的機上盒上。
所述確定模組102用於根據用戶的手勢動作及臉部表情確定用戶的情緒。
在本實施方式中，所述記憶體20還預先存儲有多個手勢動作影像及臉部表情影像，以及手勢動作影像及臉部表情影像與用戶情緒的對應關係。其中，所述手勢動作影像及臉部表情影像由用戶根據自己的習慣使用所述攝像單元40拍攝，並存儲至所述記憶體20中。
在所述電子裝置1播放視頻的過程中，當所述攝像單元40拍攝到用戶的手勢動作影像或臉部表情影像時，所述確定模組102判斷所述記憶體20中是否預先存儲有與拍攝到的手勢動作影像或臉部表情影像相同或相似的影像，當判斷結果為是時，所述確定模組102進一步根據用戶手勢動作影像及臉部表情影像與用戶情緒的對應關係確定所述用戶的情緒。在本實施方式中，所述確定模組102採用影像特徵對比的方式將所述攝像單元40拍攝到的手勢動作影像或臉部表情影像與所述記憶體20中預先存儲的手勢動作影像或臉部表情影像進行比對，並根據比對得到的特徵匹配度判斷是否預先存儲有與拍攝到的手勢動作影像或臉部表情影像相同或相似的影像。
在本實施方式中，所述用戶的情緒至少包括喜歡、憤怒、悲傷、快樂、活躍及低調。例如，當用戶觀看視頻時的手勢動作影像及/或臉部表情影像與所述記憶體20存儲的憤怒情緒下的手勢動作影像及/或臉部表情影像相同或相似時，所述確定模組102可確定用戶的情緒為憤怒。
所述選擇模組103用於從所述記憶體20存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在所述顯示單元30上。
在本實施方式中，所述記憶體20中存儲有每種情緒對應的多個貼圖。當所述確定模組102確定用戶的情緒時，所述選擇模組103從所述情緒對應的多個貼圖中任選一個貼圖，並將選擇的貼圖顯示在所述顯示單元30上。例如，當所述確定模組102確定用戶的情緒為憤怒時，所述選擇模組103從與憤怒情緒相對應的多個貼圖（即能夠反映用戶憤怒情緒的貼圖）中任選一貼圖。
在另一實施方式中，所述電子裝置1也可在視頻播放介面設置一貼圖管理選項（圖未示），當所述貼圖管理選項被點選時提供一貼圖管理介面110（如圖2所示），用於顯示與用戶的每種情緒對應的貼圖。當用戶觀看視頻時，可以手動點選所述貼圖管理選項以訪問所述貼圖管理介面110，然後用戶可以手動選擇所述貼圖管理介面110上的貼圖以顯示在所述顯示單元30上，用戶選擇的貼圖所對應的情緒即為所述用戶當前的情緒。其中，用戶可以採用遙控器控制的方式或觸控的方式執行上述操作。需要說明的是，在此實施方式中，所述偵測模組101和確定模組102可以省略。
所述獲取模組104用於當所述選擇模組103選擇的貼圖顯示於所述顯示單元30上時，獲取所述貼圖的相關資訊。
在本實施方式中，所述貼圖的相關資訊至少包括所述貼圖在所述顯示單元30上的顯示位置、顯示所述貼圖時所述視頻的播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置1的IP位址。
在本實施方式中，當所述選擇模組103選擇與用戶情緒相匹配的貼圖後，所述貼圖隨機顯示在所述顯示單元30上，然後所述獲取模組104獲取所述貼圖在所述顯示單元30上的顯示位置。
在另一實施方式中，當所述貼圖隨機顯示在所述顯示單元30上時，用戶可以調整所述貼圖的顯示位置，然後所述獲取模組104獲取所述貼圖在所述顯示單元30上調整後的顯示位置。例如，當所述電子裝置1為智慧電視時，用戶可通過電視遙控器或與智慧電視通信的移動終端2調整貼圖顯示在顯示單元30上的位置。當所述電子裝置1為智慧手機時，用戶也可以通過觸控操作調整所述貼圖的顯示位置。
所述獲取模組104根據視頻的播放進度獲取顯示所述貼圖時所述視頻的播放時間，根據所述電子裝置1的系統資訊獲取當地日期、時間及電子裝置1的IP位址，根據用戶的登錄資訊獲取用戶帳戶名。
所述上傳模組105用於將所述貼圖及所述貼圖的相關資訊上傳至一伺服器3。
在本實施方式中，當所述電子裝置1播放視頻時，與視頻提供方的伺服器3通信連接，從而進行視頻的傳輸。其中，所述視頻提供方可以是電視臺或視頻網站。具體的，所述上傳模組105在將所述貼圖上傳至所述伺服器3時，還將所述貼圖在所述顯示單元30上的顯示位置、顯示貼圖時所述視頻的播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置1的IP位址傳送至所述伺服器3，因此，所述貼圖記錄有所述視頻顯示所述貼圖的位置及播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置1的IP位址。
所述推送模組106用於從所述伺服器3獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至所述顯示單元30。
在本實施方式中，所述推送模組106根據所述相關資訊將觀看所述視頻的用戶上傳的貼圖推送至所述顯示單元30。請參考圖3，具體的，當所述電子裝置1播放所述視頻時，所述推送模組106從所述伺服器3獲取預設時間段內觀看過所述視頻的所有用戶上傳的貼圖，並將獲取的貼圖根據貼圖的相關資訊中顯示每個貼圖時視頻的播放時間，以時間軸的順序依次滾動顯示在所述顯示單元30上。同時，每一貼圖顯示在所述顯示單元30的位置與所述貼圖的相關資訊中的顯示位置一致或相對應。在本實施方式中，所述預設時間段為一年，即所述推送模組106僅推送開啟所述視頻時前一年內用戶上傳的貼圖。需要說明的是，為避免隱私洩露，推送的貼圖不記錄上傳用戶的帳戶名與對應電子裝置1的IP位址。
優選的，當所述電子裝置1播放視頻時，提供正常播放模式及貼圖播放模式供用戶選擇。當用戶選擇正常播放模式時，所述推送模組106不會將獲取的貼圖推送至所述顯示單元30。當用戶選擇貼圖播放模式時，所述推送模組106才將獲取的貼圖推送至所述顯示單元30。
所述語音採集模組107用於當所述電子裝置1播放視頻時，回應用戶的語音採集指令控制所述語音採集單元50採集用戶語音。
在本實施方式中，所述語音採集單元50設置於所述電子裝置1的本體上，為避免採集到不需要的語音，所述語音採集單元50預設處於關閉狀態。當用戶需要輸入語音時，可手動開啟所述語音採集單元50以發送語音採集指令，所述語音採集單元50回應用戶的語音採集指令開始採集用戶的語音，其中，採集到的語音包括語音內容、語音音調及語音音量。
所述轉換模組108用於將所述語音採集單元50採集到的語音轉換為文字，並將轉換得到的文字隨貼圖一併顯示在所述顯示單元30上。其中，將語音轉換為文字的技術為現有技術，在此不作贅述。
所述獲取模組104獲取所述貼圖及文字的相關資訊以及用戶的情緒參數。在本實施方式中，所述相關資訊至少包括所述貼圖及文字在所述顯示單元30上的顯示位置、所述視頻顯示所述貼圖及文字時的播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置1的IP位址。所述用戶的情緒參數至少包括所述攝像單元40拍攝到的用戶臉部表情、所述語音採集單元50採集到的用戶語音音調及語音音量。
所述上傳模組105還將所述貼圖及文字、所述貼圖及文字的相關資訊及所述用戶的情緒參數上傳至所述伺服器3。所述推送模組106還將獲取的觀看所述視頻的用戶上傳的貼圖及文字隨所述視頻一併推送至所述顯示單元30。
在本實施方式中，所述推送模組106根據所述獲取的相關資訊以及用戶的情緒參數將所述貼圖及文字推送至所述顯示單元30。具體的，所述推送模組106當所述電子裝置1播放所述視頻時，所述推送模組106從所述伺服器3獲取所述預設時間段內觀看過所述視頻的所有用戶上傳的貼圖及文字，並將獲取的貼圖及文字根據相關資訊中顯示每個貼圖及文字時視頻的播放時間，以時間軸的方式依次顯示在所述顯示單元30上。每一貼圖及文字在所述顯示單元30上的顯示位置與所述貼圖及文字的相關資訊中的顯示位置一致或相對應。同時，當所述顯示單元30顯示所述貼圖及文字時，所述電子裝置1還可以根據用戶情緒參數中的語音音調及語音音量還原播放所述文字對應的語音。
進一步地，所述記憶體20還存儲有多個廣告視頻，每一廣告視頻的播放時機與用戶的情緒相關聯。所述搜尋模組109用於在所述記憶體20中搜尋播放時機與所述用戶當前情緒相關聯的廣告視頻。
具體的，當用戶的情緒為悲傷時，所述搜尋模組109搜尋具有安慰作用的廣告視頻，例如安全防護產品廣告或保險類廣告等。當用戶的情緒為快樂時，所述搜尋模組109搜尋具有助興作用的廣告視頻，例如啤酒廣告等。
所述推送模組106還當所述選擇的貼圖顯示結束後，將所述搜尋模組109搜尋到的廣告視頻推送至所述顯示單元30。在本實施方式中，所述選擇模組103選擇的反映用戶當前情緒的貼圖在所述顯示單元30上滾動顯示完成後，所述推送模組106將搜尋到的廣告視頻推送至所述顯示單元30進行播放。
在本實施方式中，當所述電子裝置1推送所述廣告視頻時，暫停播放當前的視頻節目，並控制所述廣告視頻全屏播放。請參考圖4，例如，當上傳的貼圖所對應的用戶情緒為快樂時，所述推送模組106控制所述電子裝置1暫停播放當前視頻，將搜尋到的啤酒廣告推送至所述顯示單元30上進行全屏播放，當所述啤酒廣告播放完畢，再控制所述電子裝置1繼續播放當前視頻。
在其他實施方式中，當所述電子裝置1推送所述廣告視頻時，也可無需暫停當前的視頻，而控制所述廣告視頻以小窗形式進行播放。
請參考圖5，為本發明較佳實施方式中基於用戶情緒的視頻推送方法的流程示意圖。
步驟S101，當所述電子裝置1播放視頻時，即時偵測用戶的手勢動作及臉部表情。
步驟S102，根據用戶的手勢動作及臉部表情確定用戶的情緒。
在所述電子裝置1播放視頻的過程中，當所述攝像單元40拍攝到用戶的手勢動作影像或臉部表情影像時，判斷所述記憶體20中是否預先存儲有與拍攝到的手勢動作影像或臉部表情影像相同或相似的影像，當判斷結果為是時，進一步根據用戶手勢動作影像及臉部表情影像與用戶情緒的對應關係確定所述用戶的情緒。
步驟S103，從所述記憶體20存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在所述顯示單元30上。
在本實施方式中，所述記憶體20中存儲有每種情緒對應的多個貼圖。當確定用戶的情緒類型時，所述步驟S103從所述情緒對應的多個貼圖中任選一個貼圖。
步驟S104，當所述選擇的貼圖顯示於所述顯示單元30上時，獲取所述貼圖的相關資訊。
在本實施方式中，所述貼圖的相關資訊至少包括所述貼圖在所述顯示單元30上的顯示位置、顯示所述貼圖時所述視頻的播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置1的IP位址。
步驟S105，將所述貼圖及所述貼圖的相關資訊上傳至一伺服器3。
步驟S106，從所述伺服器3獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至所述顯示單元30。
步驟S107，在所述記憶體20中搜尋播放時機與所述用戶當前情緒相關聯的廣告視頻。
步驟S108，當所述選擇的貼圖顯示結束後，將搜尋到的廣告視頻推送至所述顯示單元30。
在本實施方式中，當所述電子裝置1推送所述廣告視頻時，暫停播放當前的視頻，並控制所述廣告視頻全屏播放。在其他實施方式中，當所述電子裝置1推送所述廣告視頻時，也可無需暫停當前的視頻，而控制所述廣告視頻以小窗形式進行播放。
在本實施方式中，所述方法還包括步驟：當所述電子裝置1播放視頻時，回應用戶的語音採集指令採集用戶語音；將採集到的語音轉換為文字，並將轉換得到的文字隨貼圖一併顯示在所述顯示單元30上；將所述貼圖及文字、所述貼圖及文字的相關資訊及所述用戶的情緒參數上傳至所述伺服器3；將獲取的所述貼圖及文字推送至所述顯示單元30。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，於爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。
1‧‧‧電子裝置
10‧‧‧處理器
100‧‧‧視頻推送系統
101‧‧‧偵測模組
102‧‧‧確定模組
103‧‧‧選擇模組
104‧‧‧獲取模組
105‧‧‧上傳模組
106‧‧‧推送模組
107‧‧‧語音採集模組
108‧‧‧轉換模組
109‧‧‧搜尋模組
110‧‧‧貼圖管理介面
20‧‧‧記憶體
30‧‧‧顯示單元
40‧‧‧攝像單元
50‧‧‧語音採集單元
2‧‧‧移動終端
3‧‧‧伺服器
圖1是本發明較佳實施方式中基於用戶情緒的視頻推送系統的應用環境示意圖。 圖2是本發明較佳實施方式中貼圖管理介面的示意圖。 圖3是本發明較佳實施方式中視頻推送系統的貼圖顯示示意圖。 圖4是本發明較佳實施方式中視頻推送系統的廣告視頻推送示意圖。 圖5是本發明較佳實施方式中基於用戶情緒的視頻推送方法的流程示意圖。
無

Claims (11)

  1. 一種基於用戶情緒的視頻推送系統，運行於一電子裝置中，所述電子裝置包括記憶體、顯示單元及攝像單元，其改良在於，所述記憶體用於存儲多個貼圖，所述系統包括： 偵測模組，用於當所述電子裝置播放視頻時控制所述攝像單元即時偵測用戶的手勢動作及臉部表情； 確定模組，用於根據用戶的手勢動作及臉部表情確定用戶的情緒； 選擇模組，用於從所述記憶體存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在所述顯示單元上； 上傳模組，用於將所述貼圖及所述貼圖的相關資訊上傳至一伺服器；及 推送模組，用於從所述伺服器獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至所述顯示單元。
  2. 如申請專利範圍第1項所述之視頻推送系統，其中，所述記憶體預先存儲有多個手勢動作影像及臉部表情影像以及手勢動作影像及臉部表情影像與用戶情緒的對應關係，所述確定模組根據所述攝像單元拍攝的用戶手勢動作影像及臉部表情影像與所述對應關係確定所述用戶的情緒。
  3. 如申請專利範圍第2項所述之視頻推送系統，其中，所述用戶的情緒至少包括喜歡、憤怒、悲傷、快樂、活躍及低調。
  4. 如申請專利範圍第1項所述之視頻推送系統，其中，所述記憶體還存儲有多個廣告視頻，所述系統還包括： 搜尋模組，用於在所述記憶體中搜尋與所述用戶當前情緒相關聯的廣告視頻；及 所述推送模組還當所述選擇的貼圖顯示結束後，將搜尋到的廣告視頻推送至所述顯示單元。
  5. 如申請專利範圍第1項所述之視頻推送系統，其中，所述電子裝置還包括語音採集單元，所述系統還包括： 語音採集模組，用於當所述電子裝置播放視頻時，回應用戶的語音採集指令控制所述語音採集單元採集用戶語音； 轉換模組，用於將所述語音採集單元採集到的語音轉換為文字； 所述上傳模組還將所述貼圖及文字、所述貼圖及文字的相關資訊及用戶的情緒參數上傳至所述伺服器；及 所述推送模組還將獲取觀看所述視頻的用戶上傳的所述貼圖及文字推送至所述顯示單元。
  6. 如申請專利範圍第5項所述之視頻推送系統，其中，所述系統還包括： 獲取模組，用於獲取所述貼圖及文字的相關資訊以及用戶的情緒參數，其中，所述貼圖及文字的相關資訊至少包括所述貼圖及文字在所述顯示單元上的顯示位置、所述視頻顯示所述貼圖及文字時的播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置的IP位址，所述用戶的情緒參數至少包括所述攝像單元拍攝到的用戶臉部表情、所述語音採集單元採集到的用戶語音音調及語音音量；及 所述推送模組還當所述電子裝置播放所述視頻時，根據獲取的相關資訊以及用戶的情緒參數將所述貼圖及文字推送至所述顯示單元。
  7. 一種基於用戶情緒的視頻推送方法，應用於一電子裝置中，所述電子裝置包括記憶體、顯示單元及攝像單元，所述記憶體用於存儲多個貼圖，其特改良在於，所述方法包括以下步驟： 當所述電子裝置播放視頻時，控制所述攝像單元即時偵測用戶的手勢動作及臉部表情； 根據用戶的手勢動作及臉部表情確定用戶的情緒； 從所述記憶體存儲的多個貼圖中選擇與所述用戶的情緒相匹配的貼圖，並將選擇的貼圖顯示在所述顯示單元上； 將所述貼圖及所述貼圖的相關資訊上傳至一伺服器；及 從所述伺服器獲取觀看所述視頻的用戶上傳的貼圖，並將獲取的貼圖隨所述視頻一併推送至所述顯示單元。
  8. 如申請專利範圍第7項所述之視頻推送方法，其中，所述記憶體還預先存儲有多個手勢動作影像及臉部表情影像以及手勢動作影像及臉部表情影像與用戶情緒的對應關係，所述方法還包括步驟： 根據所述攝像單元拍攝的用戶手勢動作影像及臉部表情影像與所述對應關係確定所述用戶的情緒。
  9. 如申請專利範圍第7項所述之視頻推送方法，其中，所述記憶體還存儲有多個廣告視頻，所述方法還包括以下步驟： 在所述記憶體中搜尋與所述用戶當前情緒相關聯的廣告視頻；及 當所述上傳的貼圖顯示結束時，將搜尋到的廣告視頻推送至所述顯示單元。
  10. 如申請專利範圍第7項所述之視頻推送方法，其中，所述電子裝置還包括語音採集單元，所述方法還包括以下步驟： 當所述電子裝置播放視頻時，回應用戶的語音採集指令控制所述語音採集單元採集用戶語音； 將所述語音採集單元採集到的語音轉換為文字； 將所述貼圖及文字、所述貼圖及文字的相關資訊及用戶的情緒參數上傳至所述伺服器；及 將獲取觀看所述視頻的用戶上傳的所述貼圖及文字推送至所述顯示單元。
  11. 如申請專利範圍第10項所述之視頻推送方法，其中，所述方法還包括以下步驟： 獲取所述貼圖及文字的相關資訊以及用戶的情緒參數，其中，所述貼圖及文字的相關資訊至少包括所述貼圖及文字在所述顯示單元上的顯示位置、所述視頻顯示所述貼圖及文字時的播放時間、當地日期及時間、用戶帳戶名以及所述電子裝置的IP位址，所述用戶的情緒參數至少包括所述攝像單元拍攝到的用戶臉部表情、所述語音採集單元採集到的用戶語音音調及語音音量；及 當所述電子裝置播放所述視頻時，根據獲取的相關資訊以及用戶的情緒參數將所述貼圖及文字推送至所述顯示單元。
TW107128671A 2017-10-13 2018-08-16 基於用戶情緒的視頻推送系統及方法 TW201918851A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762571802P 2017-10-13 2017-10-13
US62/571802 2017-10-13

Publications (1)

Publication Number Publication Date
TW201918851A true TW201918851A (zh) 2019-05-16

Family

ID=66096284

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107128671A TW201918851A (zh) 2017-10-13 2018-08-16 基於用戶情緒的視頻推送系統及方法

Country Status (3)

Country Link
US (1) US20190116397A1 (zh)
CN (1) CN109672935A (zh)
TW (1) TW201918851A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110142A (zh) * 2019-04-19 2019-08-09 北京大米科技有限公司 视频处理方法、装置、电子设备及介质
CN110473049A (zh) * 2019-05-22 2019-11-19 深圳壹账通智能科技有限公司 理财产品推荐方法、装置、设备及计算机可读存储介质
CN110390048A (zh) * 2019-06-19 2019-10-29 深圳壹账通智能科技有限公司 基于大数据分析的信息推送方法、装置、设备及存储介质
CN112235635B (zh) * 2019-07-15 2023-03-21 腾讯科技（北京）有限公司 动画显示方法、装置、电子设备及存储介质
CN110602516A (zh) * 2019-09-16 2019-12-20 腾讯科技（深圳）有限公司 基于视频直播的信息交互方法、装置及电子设备
CN110868634B (zh) * 2019-11-27 2023-08-22 维沃移动通信有限公司 一种视频处理方法及电子设备
CN111414506B (zh) * 2020-03-13 2023-09-19 腾讯科技（深圳）有限公司 基于人工智能情绪处理方法、装置、电子设备及存储介质
CN113992865B (zh) * 2021-10-29 2023-08-29 北京中联合超高清协同技术中心有限公司 超高清转播现场的氛围烘托方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
US9721010B2 (en) * 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
CN104581360A (zh) * 2014-12-15 2015-04-29 乐视致新电子科技（天津）有限公司 电视终端和播放电视节目的方法
CN106550276A (zh) * 2015-09-22 2017-03-29 阿里巴巴集团控股有限公司 视频播放过程中多媒体信息的提供方法、装置和系统
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置

Also Published As

Publication number Publication date
US20190116397A1 (en) 2019-04-18
CN109672935A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
TW201918851A (zh) 基於用戶情緒的視頻推送系統及方法
JP6935523B2 (ja) メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム
US20230138030A1 (en) Methods and systems for correcting, based on speech, input generated using automatic speech recognition
CN109118290B (zh) 方法、系统和计算机可读非暂时性存储介质
TWI581128B (zh) 基於媒體反應來控制媒體節目的方法、系統及電腦可讀取儲存記憶體
US8737820B2 (en) Systems and methods for recording content within digital video
US9100701B2 (en) Enhanced video systems and methods
JP2021505046A (ja) 会話との関連でコンテンツを推奨する方法およびシステム
JP5906515B2 (ja) ジェスチャーを用いてマルチメディアクリップを取り込むこと
JP2013529408A (ja) ソーシャルネットワーク用メディアフィンガープリント
KR20140121395A (ko) 사회적 메시지를 콘텐츠 타임라인과 동기화하기 위한 방법 및 시스템
US20120233633A1 (en) Using image of video viewer to establish emotion rank of viewed video
US20180014066A1 (en) System and methods for facile, instant, and minimally disruptive playback of media files
EP2934017A1 (en) Display apparatus and control method thereof
JP2013070155A (ja) 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
KR20090121016A (ko) 시청자 반응 측정 방법 및 시스템
JP2021507626A (ja) バイオメトリックデバイスを動的に有効化および無効化するためのシステムおよび方法
US20140003656A1 (en) System of a data transmission and electrical apparatus
TWI475423B (zh) 互動系統及調查方法
KR102524180B1 (ko) 디스플레이장치 및 그 제어방법
US20240086141A1 (en) Systems and methods for leveraging soundmojis to convey emotion during multimedia sessions
US11570523B1 (en) Systems and methods to enhance interactive program watching
JP2014530390A (ja) マルチメディア探索を用いて製品を識別すること
US11729480B2 (en) Systems and methods to enhance interactive program watching
TW202133627A (zh) 線上直播的即時互動方法及應用於線上直播之即時互動的用戶端手持式裝置