TW201837654A - 互動式影音分享方法及系統 - Google Patents

互動式影音分享方法及系統 Download PDF

Info

Publication number
TW201837654A
TW201837654A TW106111479A TW106111479A TW201837654A TW 201837654 A TW201837654 A TW 201837654A TW 106111479 A TW106111479 A TW 106111479A TW 106111479 A TW106111479 A TW 106111479A TW 201837654 A TW201837654 A TW 201837654A
Authority
TW
Taiwan
Prior art keywords
preset
story
character
sentence
sentences
Prior art date
Application number
TW106111479A
Other languages
English (en)
Other versions
TWI658375B (zh
Inventor
俞非凡
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201837654A publication Critical patent/TW201837654A/zh
Application granted granted Critical
Publication of TWI658375B publication Critical patent/TWI658375B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種互動式影音分享方法及系統，所述方法包括步驟：建立故事對應的資料庫，所述故事由複數預設句子組成，每一預設句子包括複數關鍵字，且對應一段預設故事影像，所述關鍵字包括角色和非角色，每一角色分別對應一角色圖像；接收使用者選擇所述故事的操作指令，並設置故事中的複數角色的聲音來源；將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，自所述複數預設句子中取得匹配的預設句子，其中所述語音由所述複數角色的聲音來源獲得；及自所述資料庫中選擇和顯示與所述匹配的預設句子對應的預設故事影像。本發明方法與系統可以提供兼顧親子互動和趣味性的講故事方式。

Description

互動式影音分享方法及系統
本發明涉及影音處理技術，尤其是涉及一種互動式影音分享方法及系統。
目前，講故事的方式包括有聲故事書或故事機，以及家長自己講故事。有聲故事書或故事機的優點是故事角色生動，但是缺乏親子互動。而家長自己講故事可以使親子互動頻繁，但卻缺乏多種角色聲調與音效，容易造成講故事過程單調無聊。
鑒於以上內容，有必要提供一種互動式影音分享方法及系統，可以提供兼顧親子互動和趣味性的講故事方式。
本發明實施方式提供一種互動式影音分享系統，包括：建立模組，用於建立故事對應的資料庫，所述故事由複數預設句子組成，每一所述預設句子包括複數關鍵字，且對應一段預設故事影像，所述關鍵字包括角色和非角色，其中每一角色分別對應一角色圖像；接收模組，用於接收使用者選擇所述故事的操作指令，並設置所述故事中的複數角色的聲音來源；及匹配模組，用於將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，自所述複數預設句子中取得匹配的預設句子，其中所述語音由所述複數角色的聲音來源獲得；自所述資料庫中選擇和顯示與所述匹配的預設句子對應的預設故事影像。
本發明實施方式提供一種互動式影音分享方法，包括步驟：建立故事對應的資料庫，所述故事由複數預設句子組成，每一所述預設句子包括複數關鍵字，且對應一段預設故事影像，所述關鍵字包括角色和非角色，其中每一角色分別對應一角色圖像；接收使用者選擇所述故事的操作指令，並設置所述故事中的複數角色的聲音來源；及將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，自所述複數預設句子中取得匹配的預設句子，其中所述語音由所述複數角色的聲音來源獲得；及自所述資料庫中選擇和顯示與所述匹配的預設句子對應的預設故事影像。
相較於習知技術，所述互動式影音分享方法及系統，能夠預設所述故事中每個角色對應的圖像與聲音，並且可以線上邀請其他使用者一起加入扮演所述角色，或者使用所述角色對應的預設聲音或社群分享的聲音錄音檔案，使講故事不再單調無趣。另外，還可以在使用者講故事時提供對應的故事影像，並提供自訂角色以及角色替換功能，讓使用者有更多的參與感，使講故事的場景變得生動活潑。
參閱圖1所示，係為本發明實施方式之互動式影音分享系統的功能模組圖。在本實施方式中，所述互動式影音分享系統10位於互動式影音分享裝置2中，所述互動式影音分享裝置2中還包括儲存器20及處理器30。所述互動式影音分享裝置2可以是一個或複數電子裝置，例如機上盒與智慧電視、手機、平板電腦其中一個或者任意組合。
所述互動式影音分享系統10包括建立模組100、接收模組200以及匹配模組300。所述模組被配置成由一個或複數處理器（本實施方式為處理器30）執行，以完成本發明。本發明所稱的模組是完成一特定功能的電腦程式段。所述儲存器20用於儲存所述互動式影音分享系統10的程式碼等資料。所述處理器30用於執行所述儲存器20中儲存的程式碼。
所述建立模組100用於建立故事對應的資料庫。
在本實施方式中，所述故事由複數預設句子組成，每一所述預設句子包括複數關鍵字，且每個所述預設句子對應一段預設故事影像。所述關鍵字可以是角色（如“哈利波特”、“赫敏”）或者非角色（如“海格小屋”、“禁忌森林”）。所述故事中包括複數角色，每個角色對應一個角色圖像和預設聲音。所述預設故事影像包括前景圖像、背景圖像、預設聲音和音效等，所述前景圖像為所述角色圖像。
值得注意的是，所述角色除了所述故事中已有的角色之外，還可以包括使用者自訂的角色，以供使用者講故事時替換使用。所述自訂角色對應的角色圖像為使用者上傳的自訂圖像，例如使用者照片。
所述接收模組200用於接收使用者選擇所述故事的操作指令，並設置所述故事中的複數角色的聲音來源。
在本實施方式中，針對所述故事中的每個角色（包括旁白）均可以設置對應的聲音來源。所述聲音來源包括所述使用者自己扮演、線上邀請其他使用者扮演、所述角色對應的預設聲音或社群分享的聲音錄音檔案等。
例如，當選擇的故事為《哈利波特》時，可以由使用者A（父親）扮演“哈利波特”，由使用者B（女兒）扮演“赫敏”，邀請遠端的使用者C（母親）扮演“羅恩”，並將角色“海格”的聲音使用社群分享的聲音錄音檔案，旁白的聲音使用預設聲音。
所述匹配模組300用於將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，顯示匹配的預設句子對應的預設故事影像。
所述語音由所述複數角色的聲音來源獲得，包括所設置的各個聲音來源的語音，例如使用者A、使用者B、使用者C扮演各自角色的語音和社群分享的角色“海格”對應的聲音錄音檔案播放的語音，以及使用預設聲音的旁白的語音。當接收到所述語音後，所述匹配模組300自動將所述語音中的句子與所述故事中的所述預設句子包含的關鍵字進行匹配，自所述複數預設句子中取得複數匹配的預設句子，然後自所述資料庫中選擇和顯示與所述複數匹配的預設句子對應的複數預設故事影像。當所述語音中的句子與所述預設句子中超過一半關鍵字相同時，所述預設句子即設定為已匹配，並顯示所述預設句子對應的所述預設故事影像。
例如，所述預設句子為“哈利波特、赫敏與羅恩一起去海格小屋找海格”，其中關鍵字為“哈利波特”、“赫敏”、“羅恩”、“海格小屋”及“海格”。若所述語音中的句子為“哈利波特、赫敏和羅恩一起去禁忌森林找海格”，其中關鍵字“哈利波特”、“赫敏”、“羅恩”及“海格”與所述預設句子相同，表示所述預設句子已匹配，則顯示所述預設句子對應的預設故事影像。若所述語音為“哈利波特去海邊衝浪”，其中僅有關鍵字“哈利波特”與所述預設句子相同，表示所述預設句子未匹配，則無法顯示所述預設句子對應的預設故事影像。
在本實施方式中，針對每個關鍵字建立對應的相似詞庫，每個相似詞庫中的相似詞按照使用次數進行排序，並將累積使用達到預定次數的非相似詞新增到所述相似詞庫中。若在所述語音中使用者使用的是某個關鍵字的相似詞，也判斷為與所述關鍵字相同。例如，針對關鍵字“禁忌森林”，對應的相似詞包括“魔法森林”和“黑暗森林”。而當非相似詞“黑森林”累積使用達到預定次數時，則將“黑森林”新增到所述關鍵字“禁忌森林”對應的相似詞庫中。在所述相似詞庫中，“魔法森林”、“黑暗森林”和“黑森林”按照使用次數進行排序。
另外，當使用者有替換角色的需求時，所述匹配模組300從所述語音中識別出替換角色，從所述資料庫中找到所述替換角色對應的角色圖像，根據所述替換角色對應的所述角色圖像更新所述預設故事影像中的前景圖像，但背景圖像不變，得到更新後的故事影像，從而將所述故事中的某一角色替換為所述替換角色。所述替換角色可以是所述故事中的其他角色或所述自訂角色。此時，當所述語音中的句子與所述預設句子中超過一半關鍵字相同或可被替換時，所述預設句子即設定為已匹配，並顯示所述預設句子對應的所述更新後的故事影像。
例如，所述預設句子為“哈利波特、赫敏與羅恩一起去海格小屋找海格”，其中關鍵字為“哈利波特”、“赫敏”、“羅恩”、“海格小屋”及“海格”。若所述語音中的句子為“哈利波特、赫敏和羅恩一起去海格小屋找員警”，則關鍵字“哈利波特”、“赫敏”、“羅恩”及“海格小屋”與所述預設句子相同，且識別出替換角色“員警”，所述預設句子已匹配，從所述資料庫中找到所述替換角色“員警”對應的角色圖像，將所述預設故事影像的前景圖像中“海格”的角色圖像更新為“員警”的角色圖像，並顯示更新後的故事影像。
當使用者有錄音的需求時，所述匹配模組300會對所述語音進行錄音。匹配模組300將所述語音中的句子以五句設為預定範圍，當所述預定範圍內的句子所匹配的預設句子出現重複時，選擇與所述重複的預設句子中的關鍵字匹配數量最多的一個句子進行錄音。例如，所述語音中的句子“哈利波特和赫敏一起去找海格”和“哈利波特、赫敏和羅恩去禁忌森林找海格”均可以匹配預設句子“哈利波特、赫敏與羅恩一起去海格小屋找海格”，其中句子“哈利波特、赫敏和羅恩去禁忌森林找海格”與所述預設句子中的關鍵字匹配數量更多，則匹配模組300選擇句子“哈利波特、赫敏和羅恩去禁忌森林找海格”進行錄音。並且，將所述錄音中的句子依據所述故事中的預設句子對應的順序排序，生成聲音錄音檔案。因此，若講述所述故事時出現順序顛倒或重複，可以根據故事原文順序進行修正。在錄音後，匹配模組300還可以將所述預設故事影像中的所述預設聲音更新為所述錄音。例如，將“哈利波特”的預設聲音更新為使用者A扮演“哈利波特”時的錄音。
參閱圖2所示，係為本發明實施方式之互動式影音分享方法的步驟流程圖。所述互動式影音分享方法應用於所述互動式影音分享裝置2中，透過處理器30執行儲存器20中儲存的程式碼實現。
步驟S200，建立故事對應的資料庫。
在本實施方式中，所述故事由複數預設句子組成，每一所述預設句子包括複數關鍵字，且每個所述預設句子對應一段預設故事影像。所述關鍵字可以是角色（如“哈利波特”、“赫敏”）或者非角色（如“海格小屋”、“禁忌森林”）。所述故事中包括複數角色，每個角色對應一個角色圖像和預設聲音。所述預設故事影像包括前景圖像、背景圖像、預設聲音和音效等，所述前景圖像為所述角色圖像。
值得注意的是，所述角色除了所述故事中已有的角色之外，還可以包括使用者自訂的角色，以供使用者講故事時替換使用。所述自訂角色對應的角色圖像為使用者上傳的自訂圖像，例如使用者照片。
步驟S202，接收使用者選擇所述故事的操作指令，並設置所述故事中的複數角色的聲音來源。
在本實施方式中，針對所述故事中的每個角色（包括旁白）均可以設置對應的聲音來源。所述聲音來源包括所述使用者自己扮演、線上邀請其他使用者扮演、所述角色對應的預設聲音或社群分享的聲音錄音檔案等。
例如，當選擇的故事為《哈利波特》時，可以由使用者A（父親）扮演“哈利波特”，由使用者B（女兒）扮演“赫敏”，邀請遠端的使用者C（母親）扮演“羅恩”，並將角色“海格”的聲音使用社群分享的聲音錄音檔案，旁白的聲音使用預設聲音。
步驟S204，將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，顯示匹配的預設句子對應的預設故事影像。
所述語音由所述複數角色的聲音來源獲得，包括所設置的各個聲音來源的語音，例如使用者A、使用者B、使用者C扮演各自角色的語音和社群分享的角色“海格”對應的聲音錄音檔案播放的語音，以及使用預設聲音的旁白的語音。當接收到所述語音後，自動將所述語音中的句子與所述故事中的所述預設句子包含的關鍵字進行匹配，自所述複數預設句子中取得複數匹配的預設句子，然後自所述資料庫中選擇和顯示與所述複數匹配的預設句子對應的複數預設故事影像。當所述語音中的句子與所述預設句子中超過一半關鍵字相同時，所述預設句子即設定為已匹配，並顯示所述預設句子對應的所述預設故事影像。
例如，所述預設句子為“哈利波特、赫敏與羅恩一起去海格小屋找海格”，其中關鍵字為“哈利波特”、“赫敏”、“羅恩”、“海格小屋”及“海格”。若所述語音中的句子為“哈利波特、赫敏和羅恩一起去禁忌森林找海格”，其中關鍵字“哈利波特”、“赫敏”、“羅恩”及“海格”與所述預設句子相同，表示所述預設句子已匹配，則顯示所述預設句子對應的預設故事影像。若所述語音為“哈利波特去海邊衝浪”，其中僅有關鍵字“哈利波特”與所述預設句子相同，表示所述預設句子未匹配，則無法顯示所述預設句子對應的預設故事影像。
在本實施方式中，針對每個關鍵字建立對應的相似詞庫，每個相似詞庫中的相似詞按照使用次數進行排序，並將累積使用達到預定次數的非相似詞新增到所述相似詞庫中。若在所述語音中使用者使用的是某個關鍵字的相似詞，也判斷為與所述關鍵字相同。例如，針對關鍵字“禁忌森林”，對應的相似詞包括“魔法森林”和“黑暗森林”。而當非相似詞“黑森林”累積使用達到預定次數時，則將“黑森林”新增到所述關鍵字“禁忌森林”對應的相似詞庫中。在所述相似詞庫中，“魔法森林”、“黑暗森林”和“黑森林”按照使用次數進行排序。
另外，當使用者有替換角色的需求時，從所述語音中識別出替換角色，從所述資料庫中找到所述替換角色對應的角色圖像，根據所述替換角色對應的所述角色圖像更新所述預設故事影像中的前景圖像，但背景圖像不變，得到更新後的故事影像，從而將所述故事中的某一角色替換為所述替換角色。所述替換角色可以是所述故事中的其他角色或所述自訂角色。此時，當所述語音中的句子與所述預設句子中超過一半關鍵字相同或可被替換時，所述預設句子即設定為已匹配，並顯示所述預設句子對應的所述更新後的故事影像。
例如，所述預設句子為“哈利波特、赫敏與羅恩一起去海格小屋找海格”，其中關鍵字為“哈利波特”、“赫敏”、“羅恩”、“海格小屋”及“海格”。若所述語音中的句子為“哈利波特、赫敏和羅恩一起去海格小屋找員警”，則關鍵字“哈利波特”、“赫敏”、“羅恩”及“海格小屋”與所述預設句子相同，且識別出替換角色“員警”，所述預設句子已匹配，從所述資料庫中找到所述替換角色“員警”對應的角色圖像，將所述預設故事影像的前景圖像中“海格”的角色圖像更新為“員警”的角色圖像，並顯示更新後的故事影像。
當使用者有錄音的需求時，對所述語音進行錄音。將所述語音中的句子以五句設為預定範圍，當所述預定範圍內的句子所匹配的預設句子出現重複時，選擇與所述重複的預設句子中的關鍵字匹配數量最多的一個句子進行錄音。例如，所述語音中的句子“哈利波特和赫敏一起去找海格”和“哈利波特、赫敏和羅恩去禁忌森林找海格”均可以匹配預設句子“哈利波特、赫敏與羅恩一起去海格小屋找海格”，其中句子“哈利波特、赫敏和羅恩去禁忌森林找海格”與所述預設句子中的關鍵字匹配數量更多，則選擇句子“哈利波特、赫敏和羅恩去禁忌森林找海格”進行錄音。並且，將所述錄音中的句子依據所述故事中的預設句子對應的順序排序，生成聲音錄音檔案。因此，若講述所述故事時出現順序顛倒或重複，可以根據故事原文順序進行修正。在錄音後，還可以將所述預設故事影像中的所述預設聲音更新為所述錄音。例如，將“哈利波特”的預設聲音更新為使用者A扮演“哈利波特”時的錄音。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅爲本發明之較佳實施方式，本發明之範圍並不以上述實施方式爲限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。
2‧‧‧互動式影音分享裝置
10‧‧‧互動式影音分享系統
20‧‧‧儲存器
30‧‧‧處理器
100‧‧‧建立模組
200‧‧‧接收模組
300‧‧‧匹配模組
圖1係為本發明實施方式之互動式影音分享系統的功能模組圖。
圖2係為本發明實施方式之互動式影音分享方法的步驟流程圖。
無

Claims (18)

  1. 一種互動式影音分享方法，其特徵在於，所述方法包括步驟： 建立故事對應的資料庫，所述故事由複數預設句子組成，每一所述預設句子包括複數關鍵字，且對應一段預設故事影像，所述關鍵字包括角色和非角色，其中每一角色分別對應一角色圖像； 接收使用者選擇所述故事的操作指令，並設置所述故事中的複數角色的聲音來源； 將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，自所述複數預設句子中取得匹配的預設句子，其中所述語音由所述複數角色的聲音來源獲得；及 自所述資料庫中選擇和顯示與所述匹配的預設句子對應的預設故事影像。
  2. 如申請專利範圍第1項所述之互動式影音分享方法，其特徵在於，所述角色還包括所述使用者自訂的角色，所述自訂角色對應的所述角色圖像為所述使用者上傳的自訂圖像。
  3. 如申請專利範圍第1項所述之互動式影音分享方法，其特徵在於，所述複數角色的聲音來源包括所述使用者自己扮演、線上邀請其他使用者扮演、預設聲音或社群分享的聲音錄音檔案。
  4. 如申請專利範圍第1項所述之互動式影音分享方法，其特徵在於，所述進行所述關鍵字匹配的步驟中還包括： 當所述語音中的句子與所述預設句子中超過一半關鍵字相同時，所述預設句子即設定為已匹配。
  5. 如申請專利範圍第4項所述之互動式影音分享方法，其特徵在於，該方法還包括步驟： 針對所述關鍵字建立對應的相似詞庫，所述相似詞庫中的相似詞按照使用次數進行排序，並將累積使用達到預定次數的非相似詞新增到所述相似詞庫中。
  6. 如申請專利範圍第5項所述之互動式影音分享方法，其特徵在於，若在所述語音中使用者使用的是所述關鍵字的相似詞，也判斷為與所述關鍵字相同。
  7. 如申請專利範圍第4項所述之互動式影音分享方法，其特徵在於，該方法還包括步驟： 當所述使用者有替換所述角色的需求時，從所述語音中識別出替換角色，從所述資料庫中找到所述替換角色對應的所述角色圖像，根據所述替換角色對應的所述角色圖像更新所述預設故事影像中的前景圖像，得到更新後的故事影像。
  8. 如申請專利範圍第7項所述之互動式影音分享方法，其特徵在於，該方法還包括步驟： 當所述語音中的句子與所述預設句子中超過一半關鍵字相同或可被替換時，所述預設句子即設定為已匹配。
  9. 如申請專利範圍第1項所述之互動式影音分享方法，其特徵在於，該方法還包括步驟： 當所述使用者有錄音的需求時，對所述使用者的語音輸入進行錄音； 若所述語音輸入中在預定範圍內的複數句子所匹配的預設句子出現重複，選擇與所述重複的預設句子中的關鍵字匹配數量最多的一句子進行錄音； 將所述錄音中的所述句子依據所述故事中的所述預設句子對應的順序排序。
  10. 一種互動式影音分享系統，其特徵在於，所述互動式影音分享系統包括： 建立模組，用於建立故事對應的資料庫，所述故事由複數預設句子組成，每一所述預設句子包括複數關鍵字，且對應一段預設故事影像，所述關鍵字包括角色和非角色，其中每一角色分別對應一角色圖像； 接收模組，用於接收使用者選擇所述故事的操作指令，並設置所述故事中的複數角色的聲音來源；及 匹配模組，用於將講述所述故事時的語音與所述複數預設句子中的關鍵字進行匹配，自所述複數預設句子中取得匹配的預設句子，其中所述語音由所述複數角色的聲音來源獲得；自所述資料庫中選擇和顯示與所述匹配的預設句子對應的預設故事影像。
  11. 如申請專利範圍第10項所述之互動式影音分享系統，其特徵在於，所述角色還包括所述使用者自訂的角色，所述自訂角色對應的所述角色圖像為所述使用者上傳的自訂圖像。
  12. 如申請專利範圍第10項所述之互動式影音分享系統，其特徵在於，所述複數角色的聲音來源包括所述使用者自己扮演、線上邀請其他使用者扮演、預設聲音或社群分享的聲音錄音檔案。
  13. 如申請專利範圍第10項所述之互動式影音分享系統，其特徵在於，所述匹配模組還用於： 當所述語音中的句子與所述預設句子中超過一半關鍵字相同時，所述預設句子即設定為已匹配。
  14. 如申請專利範圍第13項所述之互動式影音分享系統，其特徵在於，所述匹配模組還用於： 針對所述關鍵字建立對應的相似詞庫，所述相似詞庫中的相似詞按照使用次數進行排序，並將累積使用達到預定次數的非相似詞新增到所述相似詞庫中。
  15. 如申請專利範圍第14項所述之互動式影音分享系統，其特徵在於，所述匹配模組還用於： 若在所述語音中使用者使用的是所述關鍵字的相似詞，也判斷為與所述關鍵字相同。
  16. 如申請專利範圍第13項所述之互動式影音分享系統，其特徵在於，所述匹配模組還用於： 當所述使用者有替換所述角色的需求時，從所述語音中識別出替換角色，從所述資料庫中找到所述替換角色對應的所述角色圖像，根據所述替換角色對應的所述角色圖像更新所述預設故事影像中的前景圖像，得到更新後的故事影像。
  17. 如申請專利範圍第16項所述之互動式影音分享系統，其特徵在於，所述匹配模組還用於： 當所述語音中的句子與所述預設句子中超過一半關鍵字相同或可被替換時，所述預設句子即設定為已匹配。
  18. 如申請專利範圍第10項所述之互動式影音分享系統，其特徵在於，所述匹配模組還用於： 當所述使用者有錄音的需求時，對所述使用者的語音輸入進行錄音，若所述語音輸入中在預定範圍內的複數句子所匹配的預設句子出現重複，選擇與所述重複的預設句子中的關鍵字匹配數量最多的一句子進行錄音，並且將所述錄音中的所述句子依據所述故事中的所述預設句子對應的順序排序。
TW106111479A 2017-03-31 2017-04-06 互動式影音分享方法及系統 TWI658375B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/475,147 US10186275B2 (en) 2017-03-31 2017-03-31 Sharing method and device for video and audio data presented in interacting fashion
US15/475147 2017-03-31

Publications (2)

Publication Number Publication Date
TW201837654A true TW201837654A (zh) 2018-10-16
TWI658375B TWI658375B (zh) 2019-05-01

Family

ID=63669757

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106111479A TWI658375B (zh) 2017-03-31 2017-04-06 互動式影音分享方法及系統

Country Status (3)

Country Link
US (1) US10186275B2 (zh)
CN (1) CN108664536B (zh)
TW (1) TWI658375B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678841B2 (en) * 2017-03-31 2020-06-09 Nanning Fugui Precision Industrial Co., Ltd. Sharing method and device for video and audio data presented in interacting fashion
KR102576388B1 (ko) * 2018-02-21 2023-09-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN111128237B (zh) * 2019-12-26 2022-12-30 北京大米未来科技有限公司 语音评测方法、装置、存储介质和电子设备
CN112543371A (zh) * 2020-11-27 2021-03-23 中国建设银行股份有限公司 视频数据处理方法、装置、终端及存储介质
CN112988100A (zh) * 2021-04-09 2021-06-18 上海掌门科技有限公司 视频的播放方法和装置
CN114390220B (zh) * 2022-01-19 2023-12-08 中国平安人寿保险股份有限公司 一种动画视频生成方法及相关装置
CN115577112B (zh) * 2022-12-09 2023-04-18 成都索贝数码科技股份有限公司 一种基于类型感知门控注意力机制的事件抽取方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933559A (zh) 2005-09-13 2007-03-21 林洪义 影像交互式故事系统
CN101268494B (zh) 2005-09-21 2012-01-04 松下电器产业株式会社 视频制作装置以及视频制作方法
EP2067102A2 (en) * 2006-09-15 2009-06-10 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
US20100023485A1 (en) * 2008-07-25 2010-01-28 Hung-Yi Cheng Chu Method of generating audiovisual content through meta-data analysis
US8370151B2 (en) * 2009-01-15 2013-02-05 K-Nfb Reading Technology, Inc. Systems and methods for multiple voice document narration
KR20110070386A (ko) * 2009-12-18 2011-06-24 주식회사 케이티 영상 ａｒｓ 자동 제작 시스템 및 그 방법
KR20120000755A (ko) * 2010-06-28 2012-01-04 엘지전자 주식회사 음성인식에 의한 정보를 제공하는 화상회의 장치 및 방법
US20140349259A1 (en) * 2013-03-14 2014-11-27 Apple Inc. Device, method, and graphical user interface for a group reading environment
TW201519179A (zh) * 2013-11-11 2015-05-16 yu-jun Xia 語文學習系統及其方法
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
TWI554089B (zh) * 2014-09-29 2016-10-11 緯創資通股份有限公司 影音分享方法與系統

Also Published As

Publication number Publication date
CN108664536A (zh) 2018-10-16
TWI658375B (zh) 2019-05-01
US10186275B2 (en) 2019-01-22
CN108664536B (zh) 2021-07-20
US20180286421A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
TWI658375B (zh) 互動式影音分享方法及系統
US10580319B2 (en) Interactive multimedia story creation application
CN106951881B (zh) 一种三维场景呈现方法、装置及系统
Cassidy et al. Noise in and as Music
Keddie Bringing online video into the classroom: BRINGING CLASSROOM
De Valk et al. The Film Handbook
CN114339285B (zh) 知识点的处理方法、视频处理方法、装置及电子设备
US10678841B2 (en) Sharing method and device for video and audio data presented in interacting fashion
CN112287168A (zh) 用于生成视频的方法和装置
CN106936830B (zh) 一种多媒体数据的播放方法和装置
US20230245587A1 (en) System and method for integrating special effects to a story
Sutherland From (archival) page to (virtual) stage: the virtual vaudeville prototype
Bernardi et al. Routledge handbook of Japanese cinema
US11417315B2 (en) Information processing apparatus and information processing method and computer-readable storage medium
CN107154173B (zh) 一种语言学习方法及系统
CN110781322A (zh) 一种多媒体课件的生成方法、装置、存储介质及终端设备
US20110184955A1 (en) Organizing data
Gall Towards a Cinema of Imperfection: Participatory Film as Research
Seçmen Examinations and Analysis of Sequels and Serials in the Film Industry
Hasenfratz Rethinking early cinematic adaptations: Death of poor Joe (1901)
Cecchi Performance/Media/Documentation... Thinking Beyond Dichotomies. An Interview with Philip Auslander
Wagner et al. From Landscapes to Projection Drama
Araoz Tag Archives: performance
Jairus et al. South Indian Tamil Cinema’s Influence on Sri Lankan Tamil Filmmakers
JPH0256069A (ja) 動画検索装置及び動画処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees