TWI555013B - 聲感視覺特效系統及聲感視覺特效處理方法 - Google Patents

聲感視覺特效系統及聲感視覺特效處理方法 Download PDF

Info

Publication number
TWI555013B
TWI555013B TW104106114A TW104106114A TWI555013B TW I555013 B TWI555013 B TW I555013B TW 104106114 A TW104106114 A TW 104106114A TW 104106114 A TW104106114 A TW 104106114A TW I555013 B TWI555013 B TW I555013B
Authority
TW
Taiwan
Prior art keywords
visual
sound
special effect
effect
control host
Prior art date
Application number
TW104106114A
Other languages
English (en)
Other versions
TW201533732A (zh
Inventor
胡俊峰
Original Assignee
蘇州樂聚一堂電子科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 蘇州樂聚一堂電子科技有限公司 filed Critical 蘇州樂聚一堂電子科技有限公司
Publication of TW201533732A publication Critical patent/TW201533732A/zh
Application granted granted Critical
Publication of TWI555013B publication Critical patent/TWI555013B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Description

聲感視覺特效系統及聲感視覺特效處理方法
本發明涉及視覺特效技術領域，特別涉及一種聲感視覺特效系統及一種聲感視覺特效處理方法。
卡拉OK是一種伴奏系統，演唱者可以於預先錄製之音樂伴奏下參與歌唱。卡拉OK能透過聲音處理使演唱者之聲音得到美化與潤飾，當再與音樂伴奏有機結合時，就變成渾然一體之身歷聲歌曲。這種伴奏方式，給歌唱愛好者們帶來了極大方便和愉悅，成為人們休閒娛樂之一種方式，而現於多稱為KTV。
普通KTV系統中，由於場地與設備之限制，一般並不會有專門燈光特效設備。專業舞臺上雖然會有專門燈光特效或者投影特效設備，然而這些設備一般需要專業人員來操作，除非大型演出場合，才有可能使用，整體成本很高。因此，專業舞臺上燈光特效系統並無法運用至KTV系統中。
現有聲音感應視覺設備雖然可以透過柱狀圖或波形圖等方案即時體現現場聲音效果，但效果單調。而基於不同歌曲而事先設計其視覺特效，雖然豐富多樣，但卻沒有即時性，缺乏對演唱現場之回應。
有鑑於此，有必要提供一種聲感視覺特效系統及聲感視覺特效處理方法，其可以結合事先設計視覺效果和現場之聲音回應，共同實現各種視覺特效功能。
本發明實施方式提供一種聲感視覺特效系統，包括：聲音感測裝置、控制主機及視覺特效輸出裝置；
所述聲音感測裝置即時檢測外部之聲音並生成項所述聲音感測訊號，並將所述聲音感測訊號發送給所述控制主機；
所述控制主機於播放多媒體檔時，或於外部設備播放多媒體檔時，獲取與所述多媒體檔對應之視覺特效資料集，所述視覺特效資料集內包括多個視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料，所述控制主機同步從所述視覺特效資料集中獲取與當前時間匹配之視覺特效標籤，根據所述聲音感測訊號生成特效參數，並根據所述特效參數以及所述匹配之視覺特效標籤之特效設定資料共同生成與所述多媒體檔同步播放之視覺特效訊號；
所述視覺特效輸出裝置根據所述控制主機之視覺特效訊號輸出視覺特效。
於一實施方式中，所述視覺特效輸出裝置為多媒體視頻輸出設備，所述系統還包括視覺特效疊加設備，分別與所述控制主機及所述多媒體視頻輸出設備相連，所述視覺特效疊加設備用於：
將所述視覺特效訊號疊加於所述多媒體檔之多媒體視頻主畫面上，並將疊加後之視訊訊號傳輸給所述多媒體視頻輸出設備輸出。
於一實施方式中，所述視覺特效設備包括LED燈陣列，所述LED燈陣列佈滿房間之牆壁、屋頂與地面。
於一實施方式中，所述控制主機獲取與所述多媒體檔對應之視覺特效資料集包括：
所述控制主機根據所述多媒體檔之標識向雲端伺服器系統發送獲取所述對應之視覺特效資料集之請求；以及
接收所述雲端伺服器系統返回之所述視覺特效資料集。
於一實施方式中，所述控制主機獲取與所述多媒體檔對應之視覺特效資料集還包括：
所述控制主機將身份認證資訊發送給所述雲端伺服器系統，以使所述雲端伺服器系統統驗證所述控制主機是否具有獲取視覺特效資料集之許可權；
所述雲端伺服器系統於所述控制主機具有獲取視覺特效資料集之許可權時才返回所述控制主機請求之視覺特效資料集。
於一實施方式中，還包括與所述控制主機相連之外部設備；
所述外部設備於播放多媒體檔時或者多媒體檔被加入播放清單時將對應之多媒體檔之標識發送給所述控制主機；
所述控制主機於接收到所述多媒體檔之標識後向雲端伺服器系統發送獲取所述對應之視覺特效資料集之請求。
於一實施方式中，所述控制主機還接收所述雲端伺服器系統發送之使用者個性化資訊，所述視覺特效資料集中還包括視頻替換特效標籤，所述視頻替換特效標籤包括時間設定資料、用在於多媒體視頻主畫面中定義出預定形狀之區域之形狀資料以及與所述形狀資料對應之類別資料，所述控制主機還將所述預定形狀之區域內之內容替換為與所述類別資料對應之使用者個性化資訊。
於一實施方式中，所述控制主機還根據使用者輸入之選擇指令分別獲取不同版本之視覺特效資料集。
於一實施方式中，所述控制主機獲取與所述多媒體檔對應之視覺特效資料集包括：
從所述多媒體檔內解析出內嵌於所述多媒體檔內之所述視覺特效資料集。
於一實施方式中，所述特效設定資料為：視頻、向量動畫、或者用於生成視頻或者向量動畫之中間資料，所述中間資料是根據預定之協定或者語言生成。
於一實施方式中，所述特效設定資料所描述之視覺特效是對應之時間設定資料所設定之時間區間內音樂節拍之視覺表達，所述特效設定資料是根據所對應之音樂節拍之快慢、高低、強弱等多項特徵而設計。
於一實施方式中，所述聲音感測裝置檢測外部聲音並生成相應之聲音感測訊號包括：即時採集外部聲音之強度訊號作為聲音感測訊號；
所述控制主機根據所述聲音感測訊號按預先設定之規則生成特效參數，調整燈光特效或視頻特效之亮度、大小、位置或速度。
於一實施方式中，所述聲音感測裝置檢測外部聲音並生成相應之聲音感測訊號包括：將所述外部聲音分為高、中、低3個頻段，分別即時採集每個頻段之聲音強度訊號作為聲音感測訊號；
所述控制主機根據所述三種聲音感測訊號按照預先設定之規則生成特效參數，調整燈光特效或視頻特效內三個不同顏色紅、綠、藍之發光強度或發光強度比例。
於一實施方式中，所述聲音感測裝置檢測外部聲音並生成相應之聲音感測訊號包括：將聲音頻率分成多個頻段，分別採集每個頻段之聲音強度訊號作為聲音感測訊號；
所述視覺特效資料集還包括聲音回應設定標籤，用來定義某個時間段內多個聲音感測訊號與視覺特效資料集中之多個特效參數之間之對應關係，所述多個特效參數包括：燈光亮度、圖案顏色、動畫速度、燈光面積大小及位置；
所述控制主機根據所述聲音感測訊號生成特效參數包括：根據當前時間所對應之聲音回應設定標籤所定義之對應關係確定每個頻段之聲音感測訊號所對應之特效參數，並進一步根據每個頻段之聲音感測訊號生成對應之特效參數。
此外，本發明實施方式還提供一種聲感視覺特效處理方法，包括：
透過聲音感測裝置即時感測外部聲音並發送聲音感測訊號；
於播放多媒體檔時，或於外部設備播放多媒體檔時，獲取與所述多媒體檔對應之視覺特效資料集，所述視覺特效資料集內包括多個視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料；
同步從所述視覺特效資料集中獲取與當前時間匹配之視覺特效標籤；
根據所述聲音感測訊號生成特效參數，並根據所述特效參數以及所述匹配之視覺特效標籤之特效設定資料共同生成與所述多媒體檔同步播放之視覺特效訊號；以及
根據所述視覺特效訊號同步輸出視覺特效。
上述技術方案之有益效果為：根據外部音訊訊號參數之變化，視覺特效中對應之參數就相應變化，從而可用視覺特效方式表現出音訊之變化，使得視覺特效與現場音訊之間交相輝映，提升演唱或者演奏現場體驗。而且整個過程基於聲音感測方式自動實現，現場無須依賴于專業特效人員，成本降低。另一方面，由於視覺特效基於視覺特效資料集實現，針對不同多媒體檔，可以採用單獨設計視覺特效資料集，每個多媒體檔之視覺特效不同，進一步提升多媒體視覺特效種類。
為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施方式，並配合所附圖式，作詳細說明如下。
為更進一步闡述本發明為實現預定發明目的所採取之技術手段及功效，以下結合附圖及較佳實施方式，對依據本發明之具體實施方式、結構、特徵及其功效，詳細說明如後。
第一實施方式
參閱圖1，其為本發明第一實施方式提供之聲感視覺特效系統之架構示意圖。如圖1所示，聲感視覺特效系統100包括聲音感測裝置15、控制主機10以及視覺特效輸出裝置11。
控制主機10之具體實例包括，但並不限於，個人電腦、多媒體播放機、單片機、資料播放機、智慧手機、專用之控制晶片。
聲音感測裝置15用於錄取樂器發出之音樂聲，或者錄取演唱者之歌唱聲。可以理解，一般於演出現場，樂器一般是由專門之演奏人員演奏。聲音感測裝置15之具體形式並不受任何限制，甚至可以從功放裝置之某個埠獲得聲音，只要能夠感測聲音訊號並將聲間感測訊號發送給控制主機10即可。
於一具體之實施方式中，聲音感測裝置15為一或多個麥克風。其透過有線或者無線之方式與控制主機10相連。
將演唱者手持之麥克風作為聲音感測裝置之時候，現場之視覺特效能夠根據演唱者之音量甚至音階而變化。這就讓演唱者可以自行調整現場之視覺特效。
當聲音感測設備對準樂器之時候，樂器之音量甚至音階之變化就能調整現場視覺特效。
於一具體之實施方式中，聲音感測裝置15為一獨立之電子裝置，例如智慧手機、平板電腦、可穿戴電子設備等等。此時，聲音感測裝置15可透過無線網路（包括WIFI網路、藍牙、或者互聯網）與所控制主機10相連。電子裝置內置麥克風，且運行有特定之應用程式。此應用程式透過預定之網路埠向控制主機10同步麥克風感測到外部聲音訊號。
感測到聲音感測訊號後，聲音感測裝置15可將其同步給控制主機10。上述之聲音感測訊號可以是即時採樣並同步發送給控制主機10，還可每一採樣週期內多次採樣累計平均後同步給控制主機10。可以理解，即使是一採樣週期內多次採樣平均，當採樣週期較小時，依然可以認為聲音感測訊號之發送是即時地。聲音感測訊號既可為數位訊號也可為類比訊號。
聲音感測裝置15還可將聲音頻率分成多個頻段，並分別採集每個頻段之聲音感測訊號。例如，對應於每個頻段，可能採集其音量作為上述之聲音感測訊號。例如，上述之多個頻段可包括高、中、低3個頻段。可以理解，此處之高、中、低頻段可以任意設定，而無任何限制。高、中、低頻段可以是連續之，覆蓋整個樂器或人聲之頻段，也可以是僅從整個頻段中選取之三個不連續之頻率區間。
視覺特效輸出裝置11可為任意之可輸出視訊訊號之顯示裝置，例如單個顯示幕、多個顯示幕構成之顯示幕陣列、單個燈具（例如LED燈）、多個燈具構成之燈具陣列、單個投影儀、多個投影儀構成之投影儀陣列等等。
於一具體之實例中，視覺特效輸出裝置11包括一LED燈陣列，該LED燈陣列中之每個燈可以根據輸入之不同訊號分別輸出不同之燈光，所有LED燈之燈光共同構成了整體視覺特效。可以理解，視覺特效之形式並不受任何限制。上述LED燈陣列可以佈滿房間所有牆壁、屋頂以及地面，使得顯示之視覺特效可以對房間實現全包圍效果，最大程度提升現場舞臺視覺特效。
於一具體之實例中，視覺特效輸出裝置11包括一或多個顯示幕，每個顯示幕可顯示相同顯示訊號，也可以被分別控制，即顯示不同顯示訊號。所有顯示幕之顯示共同構成了整體視覺特效。
於一具體之實例中，視覺特效輸出裝置11包括一或多個投影儀，每個投影儀可顯示相同顯示訊號，也可以被分別控制，即顯示不同顯示訊號。所有投影儀之顯示共同構成整體視覺特效。
各種類型之視覺特效輸出裝置11還可以組合使用。例如，視覺特效輸出裝置11既可以包括一LED燈陣列，還可以包括一或多個投影儀或者顯示幕。
控制主機10與視覺特效輸出裝置11之間可以透過有線或無線方式連接，當採用有線方式連接時，例如可以透過數位視訊介面（DVI介面）、高清晰度多媒體介面（HDMI介面）、視頻圖形陣列介面（VGA介面）連接，如此，可以直接傳輸視訊訊號。若控制主機10與視覺特效輸出裝置11之間透過無線方式連接，需要於視頻特效輸出裝置11內置無線模組與訊號轉換模組，無線模組用於收發無線資料，訊號轉換模組用於將接收到之無線資料轉換為預定格式之視訊訊號。
控制主機10於播放多媒體檔時，或者於外部設備播放多媒體檔時獲取與所述多媒體檔對應視覺特效資料集。可以理解，若要於外部設備播放多媒體檔時獲取視覺特效資料集，則外部設備於播放多媒體檔時需要向控制主機10發送一訊號，於上述訊號內包括播放之多媒體檔之標識。
上述外部設備與控制主機10可以透過有線網路或者無線網路相互連接，控制主機10內運行有特定應用程式監聽特定網路埠。而外部設備於播放多媒體檔時可以向該特之網路埠發送被播放多媒體檔之標識以及開始播放多媒體檔之時間。如此，控制主機10即可接收到外部設備發送之多媒體檔之標識以及開始播放多媒體檔之時間。另外，控制主機10與外部設備還可以接入同一伺服器系統中，外部設備於播放多媒體檔時，可將播放之多媒體檔之識別資訊以及開始播放之時間提交給伺服器系統，由該伺服器系統將上述資訊推送給控制主機10或者由控制主機10主動向伺服器系統查詢得到上述之多媒體檔之標識以及開始播放多媒體檔之時間。
無論是控制主機10自行播放多媒體檔，還是外部設備於播放多媒體檔，於多媒體檔開始播放後，則控制主機10獲取與被播放之多媒體檔對應之視覺特效資料集。
上述之視覺特效資料集，既可以是存儲於控制主機10內，也可以是存儲於雲端伺服器系統內。
視覺特效資料集內可包括多個視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料。時間設定資料設定對應之視覺特效標籤之有效時間區間，而特效設定資料用於設定生成視覺特效之方式及其他參數。
可以理解，此處之視覺特效標籤係指時間設定資料與特效設定資料邏輯上之關聯性，但並不意味著視覺特效標籤之具體資料結構以及存儲結構，亦即同一視覺特效標籤之時間設定資料以及特效設定資料並不限於一併保存。
特效設定資料集之存儲方式即可以是以檔之形式存放，也可以是存儲於資料庫中。特效設定資料集是預先由人工或者自動化處理系統為每首歌曲定制生成之。
如果每一視覺特效標籤用來表示一節拍，那麼，一具體之實施方式中，視覺特效資料集例如可如下： [00:00.00]特效設定數據1 [00:24.88]特效設定數據2 [01:27.05]特效設定數據3 [02:30.39]特效設定數據4 … …
其中之每一時間設定資料，例如[00:24.88]，是一節拍之視覺特效之起點時間，所述視覺特效於播放完畢後自然結束。
如果一視覺特效標籤中包含了多個節拍之視覺特效或者包含了靜態之視覺特效，那麼於一具體實施方式中，視覺特效資料集例如可如下： [00:00.00]特效設定數據1 [00:24.88]特效設定數據2 [01:27.05]特效設定數據3 [02:30.39]特效設定數據4 … …
對於此種格式中之特效設定資料，可由兩個相鄰之時間起點構成一時間區間，例如，[00:00.00]- [00:24.88]構成之時間區間為特效設定資料1之有效時間區間。
可以理解，視覺特效標籤之資料格式並不限於此，時間設定資料也可以包括更多資訊，例如直接指定出時間區間，如下： [00:00.00-00:23.86] 特效設定數據1 [00:24.88-01:00.90] 特效設定數據2 [01:27.05-03:29.00] 特效設定數據3 [03:30.39-05:38.86] 特效設定數據4
方括號內第一時間為開始時間，而後一時間為結束時間。透過此種方式，可以定義出不連續時間區間，其適應性比只包括開始時間方式更加靈活。於此情況下，於所有時間區間外（例如於01:10.00時）都不會觸發任何視覺特效。
此外，還可以是採用開始時間加上時間長度來定義每個視覺特效標籤之有效時間區間，可如下： [00:00.00, 00:55.00] 特效設定數據1 [00:24.00, 01:03.00] 特效設定數據2 [01:28.00, 03:02.00] 特效設定數據3 [04:30.00, 01:08.00] 特效設定數據4
從上述資料定義可以看出，特效設定資料1與特效設定資料2對應之視覺特效之有效時間區間有重疊，因此，於本實施方式中，兩個不同視覺特效是可於同一時間區間內並存。
進一步地，對應同一時間區間，還可有多個視覺特效，此多個視覺特效可是相同類型之視覺特效，例如多個燈光特效，或者多個視頻疊加特效，也可以是多個不同類型之視覺特效，例如，既包括燈光特效，也包括視頻特效。此時，特效設定資料集例如可如下： [00:00.00, 00:55.00] 特效設定數據1-1，特效設定數據1-2 [00:24.00, 01:03.00] 特效設定數據2 [01:28.00, 03:02.00] 特效設定數據3 [04:30.00, 08:08.00] 特效設定數據4-1，特效設定數據4-2。
可以理解，上述第一視覺特效標籤之設定方式等效於以下方式： [00:00.00, 00:55.00] 特效設定數據1-1 [00:00.00, 00:55.00] 特效設定數據1-2
即，將包括多個特效之視覺特效標籤拆分成多個有效時間區間相同之視覺特效標籤。
於以上所列舉各個實施方式中，時間表徵方式為時:分:秒，然而，本發明並不限於採用這種方式，例如，可以直接採用秒數、毫秒數、分鐘數等任意之單位來表徵。以開始時間00:24.00為例，換算成秒數則為1440，換算成毫秒數為1440000，直接以分鐘數表示即為24。時間設定資料中所記錄之時間資料還可以是對時間值進行了各種可逆運算之結果，甚至可以進行加密運算。以上述之秒數1440為例，例如可以將其除以2得到720。亦即於時間設定資料中存儲720，但實際上其表達1440秒。可以理解，經過此運算後，若要計算某個視覺特效標籤之有效時間區間，需要進行逆向運算得到實際之時間區間。
可以理解，無論經過何種處理，其本質仍然是透過於視覺特效標籤中定義一時間起點或者一時間區間，因此，所有這些方式均應被包括於上述時間設定資料之範圍內。
特效設定資料可以是視頻、動畫、圖片、文字之原始檔案。
特效設定資料可以是用於設定生成視覺特效之方式及其他參數。此處之視覺特效可包括靜態特效以及動態特效。靜態特效例如可包括燈光顏色、燈光亮度、顯示圖案、顯示文字等內容不變之特效。動態特效例如包括各種動畫，例如顏色變換、亮度變化、圖案變換、文字變化、動畫或其組合。動態特效可以對應一節拍，也可以對應一系列連續之節拍。上述之動畫效果，例如可包括於伴唱多媒體視頻主畫面上疊加動畫特效，比如顯示全屏之鮮花、下雨、下雪、心形蛋糕等等。特效設定資料還可用於獲取視覺特效之其他格式之資料，例如，視覺特效資源檔之識別符。而此處之視覺特效資源檔可以是預存儲於與控制主機10相連之記憶體內，或者存儲於雲端伺服器內。控制主機10可以於記憶體內讀取與視覺特效資源檔之識別符對應之視覺特效資源檔，或者發起網路請求，從雲端伺服器處下載視覺特效資源檔。
優選地，特效設定資料所設定之視覺特效，是與音樂之節拍相關，節拍之時間節點是透過上述之時間設定資料來控制。總體上來說，特效設定資料所設定之視覺特效，針對音樂當中之每一節拍，於視覺特效上最好能夠輸出明顯視覺特效變化，而且視覺特效變化之幅度、速度、範圍等等參數應該是與節拍之特點（透過對音訊參數如音量、頻率進行分析得到）相關。因此，透過視覺特效就能夠反應出音樂之變化，使得音樂除了聲音外，還能夠透過視覺特效之方式給人們以更豐富之刺激。換言之，本實施方式中之視覺特效之目的在於將音樂節拍視覺化，強化音樂之節拍感。
另一方面，控制主機10會監聽聲音感測裝置發15發送之聲音感測訊號，即時調整視覺特效裝置11所輸出之視覺特效。
簡單之，根據聲音感測裝置11之總之聲音強度和預先設定之規則可以對應調整所有視覺特效訊號之亮度、大小、位置或速度等，或者調整某些燈光特效之比例。進一步地，聲音感測裝置11可將聲音頻率分成多個頻段採集。例如，對應於每個頻段，可能採集其聲音強度訊號作為上述之聲音感測訊號。相應地，控制主機10於接收到多個頻段之聲音感測訊號後，可將所述多個頻段之聲音感測訊號分別映射至視覺特效訊號之不同顯示參數。
例如，上述之多個頻段可包括高、中、低3個頻段，控制主機10將所述高、中、低3個頻段之聲音感測訊號之強度分別映射至所述視覺特效訊號內三個不同顏色發光單元（例如三原色紅、綠、藍）之發光強度或發光強度比例。
進一步地，上述視覺特效資料集還可包括聲音回應設定標籤，用來定義某個時間段內多個聲音感測訊號與視覺特效資料集中之多個特效參數之間之對應關係，所述多個特效參數包括：燈光亮度、圖案顏色、動畫速度、燈光面積大小及位置。
從而控制主機10可根據當前時間所對應之聲音回應設定標籤所定義之對應關係確定每個頻段之聲音感測訊號所對應之特效參數，並進一步根據每個頻段之聲音感測訊號生成對應之特效參數。透過此種方式，於不同之時間區間內，同一聲音感測訊號可能觸發不同之聲感特效。
進一步地，上述之多個頻段還可分別與多個帶編號之圖案一一對應。亦即，控制主機10可將所述多個頻段之聲音感測訊號分別對應於多個帶編號之圖案，並透過所述帶編號之圖案之各自亮度、位置和相互組合、拼接以反映當前外部音訊之變化情況。
根據上述描述，可以理解，聲感視覺特效之核心是在於建立外部音訊訊號之一項或多項參數與視覺特效之一項或多項參數之間之映射，從而根據外部音訊訊號參數之變化，視覺特效中對應之參數就相應變化，從而可以根據音訊之特徵對視覺特效做出一定範圍之調整，使得視覺特效與現場音訊之間交相輝映，提升演唱或者演奏現場之體驗。而且整個過程是基於聲音感測之方式自動實現，現場無須依賴于專業特效人員，成本降低。
另一方面，由於視覺特效基於視覺特效標籤集實現，針對不同多媒體檔，可以使用單獨設置之視覺特效標籤集，每個多媒體檔之視覺特效不同，進一步提升多媒體視覺特效之種類。
第二實施方式
參閱圖2，其為本發明第二實施方式提供之聲感視覺特效系統200之架構示意圖。如圖2所示，本實施方式之聲感視覺特效系統200與圖1之聲感視覺特效系統100相似，其不同之處在於還包括：音訊輸出裝置12以及點歌面板13。
音訊輸出裝置12例如可包括音箱、功放等音訊輸出設備。
點歌面板13提供點歌之介面，使用者例如可以透過觸控螢幕進行點歌，選擇之歌曲被提交給控制主機10，控制主機10根據待播放之清單播放與被點歌曲對應之音訊和/或視頻檔，音訊訊號由音訊輸出裝置12進行輸出。
根據本實施方式之技術方案，控制主機10既控制視覺特效之輸出，也同時作為點歌系統之主機。亦即，本實施方式之聲感視覺特效系統尤其適用于KTV之應用場景中。
此外，對應於每個多媒體檔，還有多個視覺特效資料集，分別對應視覺特效之多個版本，例如深情版本、搞笑版本、以及裝萌版本。因此，參閱圖3，控制主機10還可以於播放歌曲時顯示選擇功能表，提示使用者可以切換視覺特效之不同版本。例如，當用戶按下了遙控器之某個按鍵後，即使用者輸入了特定選擇指令後，開始播放與該按鍵對應之視覺特效版本。可以理解，如圖3所示之提示功能表並不是必須之，而可以於遙控器上設置對應之視覺特效版本切換按鍵，當切換按鍵被按下後，即可於不同版本之視覺特效之間進行切換。
第三實施方式
參閱圖4，其為本發明第三實施方式提供之聲感視覺特效系統300之示意圖。如圖4所示，本實施方式之聲感視覺特效系統300與圖2之聲感視覺特效系統200相似，其不同之處在於，還包括多媒體視頻輸出設備14。
多媒體視頻輸出設備14例如是電視機、投影儀或者顯示幕。多媒體視頻輸出設備14用於輸出多媒體檔之伴唱多媒體視頻主畫面。控制主機10於播放多媒體檔時，將多媒體視頻主畫面發送給多媒體視頻輸出設備14進行輸出。
根據本實施方式之技術方案，視覺特效透過視覺特效輸出裝置11進行輸出，而多媒體視頻主畫面透過多媒體視頻輸出設備14進行輸出，兩者互不影響。
進一步地，可以理解，多媒體視頻輸出設備14中仍然可以用於輸出視覺特效。當然，此時視覺特效是疊加於多媒體視頻主畫面中。
亦即，特效設定資料中所設定之視覺特效可包括分別由多種類型之設備輸出之視覺特效。例如，燈光特效就由LED燈陣列進行輸出，而視頻疊加特效就由多媒體視頻輸出設備14進行輸出。
第四實施方式
參閱圖5，其為本發明第四實施方式提供之聲感視覺特效系統400之示意圖。本實施方式之聲感視覺特效系統400與圖4之聲感視覺特效系統300相似，其不同之處在於，還包括雲端伺服器系統20。
具體地，雲端伺服器系統20包括資料庫22以及伺服器24。其中，資料庫22用於存儲不同歌曲之視覺特效資料集。伺服器24用於根據用戶端（如控制主機10）之請求返回視覺特效資料集給用戶端。
圖6示出了上述之伺服器24之一實施方式之結構框圖。如圖6所示，伺服器包括記憶體102、存儲控制器104，一或多個（圖中僅示出一）處理器106、外設介面108、以及網路模組110。這些元件透過一條或多條通訊匯流排/訊號線相互通訊。
可以理解，圖6所示之結構僅為示意，上述伺服器還可包括比圖6中所示更多或者更少之元件，或者具有與圖6所示不同之配置。圖6中所示之各元件可以採用硬體、軟體或其組合實現。
記憶體102可用於存儲軟體程式以及模組，如本發明實施方式中之各方法及裝置對應之程式指令/模組，處理器106透過運行存儲於記憶體102內之軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述之方法。
記憶體102可包括高速隨機記憶體，還可包括非易失性記憶體，如一或者多個磁性存儲裝置、快閃記憶體、或者其他非易失性固態記憶體。於一些實例中，記憶體102可進一步包括相對於處理器106遠端設置之記憶體，這些遠端存放器可以透過網路連接至上述伺服器。上述網路之實例包括但不限於互聯網、企業內部網、局域網、移動通信網及其組合。處理器106以及其他可能之元件對記憶體102之訪問可於存儲控制器104之控制下進行。
外設介面108將各種輸入/輸出裝置耦合至處理器106。處理器106運行記憶體102內之各種軟體、指令上述伺服器執行各種功能以及進行資料處理。於一些實施方式中，外設介面108、處理器106以及存儲控制器104可以於單個晶片中實現。於其他一些實例中，他們可以分別由獨立之晶片實現。
網路模組110用於接收以及發送網路訊號。上述網路訊號可包括無線訊號或者有線訊號。於一實例中，上述網路訊號為有線網路訊號。此時，網路模組110可包括處理器、隨機記憶體、轉換器、晶體振盪器等元件。於一實施方式中，上述之網路訊號為無線訊號（例如射頻訊號）。此時網路模組110實質是射頻模組，接收以及發送電磁波，實現電磁波與電訊號之相互轉換，從而與通訊網路或者其他設備進行通訊。射頻模組可包括各種現有之用於執行這些功能之電路元件，例如，天線、射頻收發器、數位訊號處理器、加密/解密晶片、使用者身份模組（SIM）卡、記憶體等等。射頻模組可與各種網路如互聯網、企業內部網、無線網路進行通訊或者透過無線網路與其他設備進行通訊。上述之無線網路可包括蜂窩式電話網、無線局域網或者都會區網路。上述之無線網路可以使用各種通信標準、協定及技術，包括但並不限於全球移動通信系統（Global System for Mobile Communication, GSM）、增強型移動通信技術（Enhanced Data GSM Environment, EDGE),寬頻碼分多址技術（wideband code division multiple access, W-CDMA），碼分多址技術（Code division access, CDMA）、時分多址技術（time division multiple access, TDMA），無線保真技術（Wireless, Fidelity， WiFi）（如美國電氣和電子工程師協會標準 IEEE 802.11a， IEEE 802.11b, IEEE802.11g 和/或 IEEE 802.11n）、網路電話（Voice over internet protocal, VoIP）、全球微波互聯接入（Worldwide Interoperability for Microwave Access， Wi-Max）、其他用於郵件、即時通訊及短消息之協定，以及任何其他合適之通訊協定，甚至可包括那些當前仍未被開發出來之協定。
上述之軟體程式以及模組包括：作業系統122、以及視覺特效服務模組124。作業系統122其可包括各種用於管理系統任務（例如記憶體管理、存放裝置控制、電源管理等）之軟體元件和/或驅動，並可與各種硬體或軟體元件相互通訊，從而提供其他軟體元件之運行環境。視覺特效服務模組124運行於作業系統122之基礎上，用於實現對聲感視覺特效系統之視覺特效資料集之傳輸控制功能，具體描述如下。
視覺特效服務模組124包括身份校驗模組126、特效傳輸模組128以及資訊傳輸模組130。
身份校驗模組126用於用戶端進行身份校驗。於一具體之實施方式中，每個控制主機10內存儲有身份認證資訊，例如，主機ID之加密字串。於向視覺特效服務模組124發起視覺特效資料集獲取請求前，控制主機10可以發起登陸請求，將身份認證資訊發送給伺服器24。相應地，伺服器24之身份校驗模組126根據預定之加密演算法及金鑰對身份認證資訊進行解密，並驗證該主機ID是否具有獲取視覺特效資料集之許可權。例如，檢索該主機ID對應之繳費標記，若該主機ID並未繳納視覺特效資料集之使用費，則該主機ID不具有獲取視覺特效資料集之許可權，控制主機10之身份認證不透過。相應地，特效傳輸模組128會拒絕控制主機10之獲取視覺特效資料集之請求。
如果某個主機ID具有獲取視覺特效資料集之許可權時，特效傳輸模組128就會根據控制主機10之請求返回對應之視覺特效資料集。可以理解，控制主機10可以於開始播放某首歌曲或者其他多媒體檔之時候，或者歌曲進入播放清單後即發起上述之登陸校驗請求以及視覺特效資料集獲取請求，並將要播放之歌曲之識別符包括於上述之視覺特效資料集之獲取請求內。
可以理解，從伺服器24下載視覺特效資料集需要耗費一定之時間，因此如果歌曲開始播放時才開始下載上述之視覺特效資料集，則於視覺特效資料集下載完成後進行視覺特效播放時需要考慮去除下載時間對時間線之影響。具體地，如果歌曲播放後時間T時完成視覺特效資料集之下載並開始播放，則視覺特效之時間線會從時間T處開始，而不是從頭開始以實現與多媒體檔之時間線之同步。這要求控制主機10記錄多媒體檔開始播放之時間以及視覺特效資料集下載完成之時間，兩者之時間差即為上述之時間T。
當每首多媒體檔一旦被添加至待播放清單裡時，控制主機10就可以開始下載對應之視覺特效資料集。採用這種方式，只有播放清單裡之第一首多媒體檔之視覺特效資料集需要調整時間線，而後續所有歌曲之視覺特效資料集可以是於其他歌曲播放之同時於後臺進行下載，因此，於要播放時其視覺特效資料集一般已經下載完成，視覺特效可以與視頻、音訊同步播放，無須再調整時間線。
可以理解，當歌曲暫停時，控制主機同步會將視覺特效也暫停。
資訊傳輸模組130用於傳輸除了視覺特效資料集外之一些附加資訊。具體地，資訊傳輸模組130可用於傳輸使用者之個性化消息。可以理解，要讓資訊傳輸模組130傳輸使用者之個性化資訊，就需要讓資訊傳輸模組130能夠知道當前之使用者之身份資訊。
於一具體之實施方式中，控制主機10本身包括一登陸模組，用於讓使用者輸入用戶名與密碼以進行登陸操作後，控制主機10於接收到使用者輸入之用戶名與密碼後可將其上傳至雲端伺服器處進行登陸驗證，若登陸驗證透過，則於每次向雲端伺服器發送網路請求時，可將當前登陸使用者之身份資訊包括於網路請求中，從而資訊傳輸模組130就可以根據控制主機10上傳之身份資訊傳輸使用者之個性化資訊。
於另一具體之實施方式中，控制主機10並不直接傳輸使用者之身份資訊，而只傳輸控制主機10自身之識別字。如此，就需要讓雲端伺服器能夠透過控制主機10自身之識別字唯一確定對應之用戶。亦即，如果控制主機10只上傳控制主機10自身之識別字，則需要預先建立控制主機10與當前使用者之綁定關係。
例如，於控制主機10上、控制主機10所於之KTV房間內或者與控制主機10相連之電視機14之螢幕上設置有二維碼，該二維碼內可包括控制主機10之ID之加密字串。當使用者於某個特定之應用程式中對該二維碼進行掃描後，由該應用程式向預定之網址發起網路請求，將應有程式當前使用者之識別符與該加密字串一併發送給伺服器24。伺服器24於接收到該網路請求後，解析出使用者識別資訊與主機ID後，建立兩者之間之綁定關係。相應地，資訊傳輸模組130可以將該使用者之個性化資訊例如，頭像、姓名、使用者編輯之其他資訊傳輸給控制主機10。
可以理解，要實現對當前多媒體視頻內容之替換，控制主機10需要知道於何時以及多媒體視頻主畫面之哪個位置進行替換操作。於一種實施方式中，控制主機10可以進行人臉識別操作，當於所播放之多媒體視頻畫面中識別出人臉之時候，即可將人臉替換成當前用戶之人臉。
於另一種方式中，視覺特效資料集中除了視覺特效標籤外，還包括視頻替換特效標籤，所述視頻替換特效標籤包括時間設定資料、用在於多媒體視頻主畫面中定義出預定形狀之區域之形狀資料以及與所述形狀資料對應之類別資料。視頻替換特效標籤可以人工預先確定。形狀資料定義出要進行視頻或者文字替換之區域，類別資料定義出某個區域要替換之資訊之類別，例如是替換成使用者圖像還是使用者姓名或者任意其他類別之使用者個性化資訊。根據這種方式，視覺特效資料集中除了用於生成如上述實施方式中項所述之同步視覺特效之視覺特效標籤外，還包括用於生成與時間線同步之視頻替換特效之視頻替換特效標籤。
從而控制主機10可以於主畫面上或者LED陣列中顯示使用者之個性化資訊。例如，將主畫面中之頭像替換成用戶之頭像，或者將主畫面中之文字替換成用戶名。可以理解，為了防止使用者資訊之洩漏，需要於使用者離開當前之用戶房間後實現使用者與控制主機10之解除綁定操作。
於一種實施方式中，每當控制主機10重新開機時，會向伺服器24發送解除綁定請求，以解除所有與控制主機10之使用者綁定。這個方案是基於所有聲感視覺特效系統於不同使用者使用前要進行重啟實施之。
於另一種實施方式中，控制主機10與使用者之綁定關係可以由用戶使用綁定時所用之應用程式自行解除。因此，可以避免使用者資訊洩露。
根據本實施方式之聲感視覺特效系統，視覺特效資料集存儲於雲端伺服器系統20中，可以保證視覺特效資料集僅供授權之使用者訪問，提升視覺特效資料集之安全性。
第五實施方式
參閱圖7，其為本發明第五實施方式提供之聲感視覺特效系統500之示意圖。本實施方式之聲感視覺特效系統500與圖5之聲感視覺特效系統400相似，其不同之處在於，還包括特效設備26。
本實施方式中，視頻特效之處理並不是直接由控制主機10來實現，而是由專門設置之特效設備26實現。具體地，特效設備26根據特效資料生成相應之視訊訊號，並將特效視訊訊號疊加於主畫面上，或者輸出給LED陣列進行顯示。
特效設備26是具備燈光和/或視頻顯示功能，並具備特效處理功能之獨立電子設備，透過有線或無線方式與所述控制主機10相連。
根據本實施方式之聲感視覺特效系統，視頻特效由專門設置之特效設備26實現，可以降低控制主機10之複雜度。
第六實施方式
參閱圖8，其為本發明第五實施方式提供之聲感視覺特效系統600之示意圖。本實施方式之聲感視覺特效系統600與圖7所示之聲感特效系統500相似，其不同之處在於，還包括外部設備40。
本實施方式中，外部設備40例如為傳統之多媒體播放系統中之主機，其實現點歌以及歌曲之播放控制功能。但相比于傳統之多媒體播放系統，其進一步與控制主機10相連。每當外部設備40播放一首歌曲或者一首歌曲被添加至播放清單中時，外部設備40會將歌曲之標識發送給控制主機10。
可以理解，為了讓外部設備40可以向控制主機10發送特定之資訊，可以於控制主機10中公開特定之應用程式設計發展介面（API），從而可讓外部設備40進行調用，以向控制主機10發送上述之資訊。每當外部設備40播放一首歌曲時外部設備40可將歌曲之標識以及開始播放之時間透過上述之API提交給控制主機10。當然，外部設備40要實現API之調用，需要對現有外部設備40中之程式稍做修改，使得於需要時透過API與控制主機10同步資訊。
相應地，控制主機10根據歌曲之標識向雲端伺服器系統20請求獲取視覺特效資料集。可以理解，控制主機10還可如前述實施方式中項所述之步驟進行身份驗證操作。於獲取到視覺特效資料集後，控制主機10根據視覺特效資料集中之視覺特效標籤，生成相應之視頻特效訊號，並將生成之視覺特效訊號發送給特效設備26。當然，考慮到網路下載之延時，控制主機10還可以進行視覺特效之時間調整，即給時間設定資料所定義之時間施加一前向之偏移量，使得視覺特效之時間線與檔播放之進度同步。
特效設備26將視覺特效訊號疊加於多媒體視頻輸出設備14之主畫面上和/或輸出至視覺特效輸出裝置11中。
根據本實施方式之聲感視覺特效系統，透過對現有多媒體播放系統中之外部設備40中之程式稍加改進，就可以加入與歌曲同步之視覺特效，可以最大程度之相容現有多媒體播放系統中之設備，避免設備升級帶來之成本增加。
以上實施方式雖然是以KTV系統為例進行說明，然而上述之聲感視覺特效系統還可應用於多媒體教室、舞廳和公園娛樂設施。
特別地，當控制主機10是一智慧電子設備（如智慧手機）時，安裝於所述智慧電子設備中之軟體，可以透過無線控制視覺特效輸出裝置11，也可以透過無線訪問網路上之視覺特效資料集，同時，透過內置麥克風錄取透過外部設備40播放出來之歌曲聲音，再透過特徵採樣及特徵匹配，直接識別出外部設備40所放之歌曲，從而無需與外部設備40通信就能夠獲得歌曲之標識，然後下載對應之視覺特效資料集，與歌曲同步播放視覺特效。
第七實施方式
參閱圖9，其為本發明第七實施方式提供之獲取視覺特效資料集之方法流程圖。如圖9所示，本實施之方法包括以下步驟：
步驟S101，播放多媒體檔；
多媒體檔例如可由控制主機10播放，或者由外部40進行播放。
步驟S102，獲取與所述多媒體檔對應之視覺特效資料集。
視覺特效資料集例如可包括上述之視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料。當然，無論視覺特效資料集之內容為何，其獲取過程是相似之。
具體地，步驟S102可包括：步驟S1022，從所述多媒體檔內解析出內嵌於所述多媒體檔內之所述視覺特效資料集。
根據這種方式，視覺特效資料集是內嵌於多媒體檔內，可以與多媒體檔一併保存，降低系統之複雜性。
另外，步驟S102還可包括：步驟S1024，從雲端伺服器處下載視覺特效資料集。
進一步參閱圖10，步驟S1024具體可包括以下步驟：
步驟S201，將身份認證資訊發送給所述雲端伺服器系統，以使所述雲端伺服器系統統驗證是否具有獲取視覺特效資料集之許可權；
步驟S202，根據所述多媒體檔之標識向雲端伺服器系統發送獲取所述對應之視覺特效資料集之請求；以及
步驟S203，接收所述雲端伺服器系統返回之所述視覺特效資料集；
根據這種方式，視覺特效資料集存儲於雲端伺服器系統20中，可以保證只有授權之使用者才能夠訪問視覺特效資料集，提升了視覺特效資料集之安全性。
根據本實施方式之方法，於播放多媒體檔時，還獲取與多媒體檔對應之視覺特效資料集，所述視覺特效資料集可用於與聲音感測訊號一起生成與多媒體檔同播放之視覺特效訊號，進而可以同步輸出視覺特效。
第八實施方式
參閱圖11，其為本發明第七實施方式提供之獲取視覺特效資料集之方法流程圖。如圖11所示，本實施之方法與圖9之方法相似，其不同之處在於，於步驟S102之後還包括以下步驟：
步驟S103，接收使用者輸入之切換視覺特效版本之訊號。
於步驟S103之後，重新執行步驟S102，亦即，重新獲取與多媒體檔對應之視覺特效資料集。但值得注意，此時與多媒體檔對應之視覺特效資料集已經發生了變化，獲取使用者所選擇版本之視覺特效資料集。
可以理解，於切換視覺特效之版本後，可繼續從當前時間同步輸出視覺特效。
此外，可以理解，步驟S103並不限在於步驟S102之後執行，例如，於步驟S102之前，也可執行步驟S103，即於開始播放多媒體檔時，可讓使用者首先選擇視覺特效之版本，於使用者選擇版本後，步驟S102中獲取之就是使用者選擇版本之視覺特效資料集。
根據本實施方式之技術方案，視覺特效具有多個不同版本，從而可以提供更加豐富之視覺特效。
第九實施方式
參閱圖12，其為本發明第八實施方式提供之於視覺特效中替換使用者之個性化資訊之流程圖。如圖12所示，本實施方式之方法包括以下步驟：
步驟S301，將使用者之身份資訊或者用於確認使用者身份之資訊發送給雲端伺服器系統。
例如，控制主機10可讓使用者輸入用戶名與密碼進行登陸，如此，於透過登陸驗證後，控制主機10即可將使用者之身份資訊與請求獲取視覺特效資料集之網路請求一併發送給雲端伺服器系統。控制主機10還可以是僅將其自身之識別字發送給雲端伺服器系統。此時，需要使用者透過其他終端（如手機）向雲端伺服器系統發起綁定請求，以建立該終端之當前使用者與控制主機10之間之綁定關係，如此，透過控制主機10之識別字也可以唯一確定對應之用戶。
步驟S302，接收所述雲端伺服器系統發送之使用者個性化資訊。
所述視覺特效資料集中還包括與時間設定資料對應之視頻替換特效標籤，所述視頻替換特效標籤包括時間設定資料、用在於多媒體視頻主畫面中定義出預定形狀之區域之形狀資料以及與所述形狀資料對應之類別資料。
步驟S303，將所述預定形狀之區域內之內容替換為與所述類別資料對應之使用者個性化資訊。
根據本實施方式之技術方案，可以將多媒體檔中之特定內容替換成使用者之個性化資訊，而此種替換操作也可以是與時間線同步之。
第十實施方式
參閱圖13，其為本發明第十實施方式提供之聲感視覺特效處理方法之流程圖。如圖13所示，本實施方式之方法包括以下步驟：
步驟S401，透過聲音感測裝置感測聲音並即時發送聲音感測訊號；
步驟S402，於播放多媒體檔時，或於外部設備播放多媒體檔時，獲取與所述多媒體檔對應之視覺特效資料集，所述視覺特效資料集內包括多個視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料；
步驟S403，同步從所述視覺特效資料集中獲取與當前時間匹配之視覺特效標籤；
步驟S404，根據所述聲音感測訊號生成特效參數，並根據所述特效參數以及所述匹配之視覺特效標籤之特效設定資料共同生成與所述多媒體檔同步播放之視覺特效訊號； 以及
步驟S405，根據所述視覺特效訊號同步輸出視覺特效。
根據上述描述，可以理解，聲感視覺特效系統之核心是在於建立外部音訊訊號之一項或多項參數與視覺特效之一項或多項參數之間之映射，根據外部音訊訊號參數之變化，視覺特效中對應之參數就相應變化，從而可用音訊之變化調整視覺特效，使得視覺特效與現場音訊之間交相輝映，提升了演唱或者演奏現場之體驗。而且整個過程是基於聲音感測之方式自動實現之，現場無須依賴于專業特效人員，成本降低。
另一方面，由於聲感視覺特效系統是基於視覺特效標籤集實現，針對不同之多媒體檔，可以採用單獨設置之視覺特效標籤集，每個多媒體檔之視覺特效是不同之，進一步提升了多媒體視覺特效之種類。
此外，本發明實施方式還提供一種電腦可讀存儲介質，其內存儲有電腦可執行指令，上述之電腦可讀存儲介質例如為非易失性記憶體例如光碟、硬碟、或者快閃記憶體。上述之電腦可執行指令用於讓電腦或者類似之運算裝置完成上述實施方式中之方法。
以上所述，僅是本發明之較佳實施方式而已，並非對本發明作任何形式上之限制，雖然本發明已以較佳實施方式揭示如上，然而並非用以限定本發明，任何本領域技術人員，於不脫離本發明技術方案範圍內，當可利用上述揭示之技術內容做出些許更動或修飾為等同變化之等效實施方式，但凡是未脫離本發明技術方案內容，依據本發明之技術實質對以上實施方式所作之任何簡介修改、等同變化與修飾，均仍屬於本發明技術方案之範圍內。
100、200、300、400、500、600‧‧‧聲感視覺特效系統
10‧‧‧控制主機
11‧‧‧視覺特效輸出裝置
12‧‧‧音訊輸出裝置
13‧‧‧點歌面板
14‧‧‧多媒體視頻輸出裝置
15‧‧‧聲音感測裝置
16‧‧‧視頻輸出裝置
20‧‧‧雲端伺服器系統
22‧‧‧資料庫
24‧‧‧伺服器
26‧‧‧特效設備
40‧‧‧外部設備
102‧‧‧記憶體
104‧‧‧存儲控制器
106‧‧‧處理器
108‧‧‧外設介面
110‧‧‧網路模組
122‧‧‧作業系統
124‧‧‧視覺特效服務模組
126‧‧‧身份校驗模組
128‧‧‧特效傳輸模組
［圖1］係本發明第一實施方式提供之聲感視覺特效系統之架構示意圖； ［圖2］係本發明第二實施方式提供之聲感視覺特效系統之架構示意圖； ［圖3］係第二實施方式提供之聲感視覺特效系統進行視覺特效版本切換之示意圖； ［圖4］係本發明第三實施方式提供之聲感視覺特效系統之架構示意圖； ［圖5］係本發明第四實施方式提供之聲感視覺特效系統之架構示意圖； ［圖6］係第四實施方式之聲感視覺特效系統中雲端伺服器之模組圖； ［圖7］係本發明第五實施方式提供之聲感視覺特效系統之架構示意圖； ［圖8］係本發明第六實施方式提供之聲感視覺特效系統之架構示意圖； ［圖9］係本發明第七實施方式提供之獲取視覺特效資料集之方法之流程圖； ［圖10］係圖9之方法中部分步驟之流程圖； ［圖11］係本發明第八實施方式提供之獲取視覺特效資料集之方法之流程圖； ［圖12］係本發明第九實施方式提供之於視覺特效中替換使用者之個性化資訊之流程圖； ［圖13］係本發明第十實施方式提供之聲感視覺特效處理方法之流程圖。
100‧‧‧聲感視覺特效系統
10‧‧‧控制主機
11‧‧‧視覺特效輸出裝置
15‧‧‧聲音感測裝置

Claims (10)

  1. 一種聲感視覺特效系統，用於根據多媒體檔輸出視覺特效，其中，該聲感視覺特效系統包括：聲音感測裝置、控制主機及視覺特效輸出裝置；所述聲音感測裝置內置感測器，用於感測外部聲音，所述聲音感測裝置還將所述聲音感測訊號即時發送給所述控制主機；所述控制主機於播放所述多媒體檔時，或於外部設備播放所述多媒體檔時，獲取與所述多媒體檔對應之視覺特效資料集，所述視覺特效資料集內包括多個視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料，所述控制主機同步從所述視覺特效資料集中獲取與當前時間匹配之視覺特效標籤，根據所述聲音感測訊號生成特效參數，並根據所述特效參數以及所述匹配之視覺特效標籤之特效設定資料共同生成與所述多媒體檔同步播放之視覺特效訊號；所述視覺特效輸出裝置根據所述控制主機之視覺特效訊號輸出視覺特效。
  2. 如申請專利範圍第1項所述之聲感視覺特效系統，其中，所述視覺特效輸出裝置為多媒體視頻輸出設備，所述系統還包括視覺特效疊加設備，分別與所述控制主機及所述多媒體視頻輸出設備相連，所述視覺特效疊加設備用於：將所述視覺特效訊號疊加於所述多媒體檔之多媒體視頻主畫面上，並將疊加後之視訊訊號傳輸給所述多媒體視頻輸出設備輸出。
  3. 如申請專利範圍第1項所述之聲感視覺特效系統，其中，所述視覺特效設備包括LED燈陣列，所述LED燈陣列佈滿房間之牆壁、屋頂與地面。
  4. 如申請專利範圍第1項所述之聲感視覺特效系統，其中，所述控制主機獲取與所述多媒體檔對應之視覺特效資料集包括：所述控制主機根據所述多媒體檔之標識向雲端伺服器系統發送獲取所述對應之視覺特效資料集之請求；以及接收所述雲端伺服器系統返回之所述視覺特效資料集。
  5. 如申請專利範圍第4項所述之聲感視覺特效系統，其中，所述控制主機獲取與所述多媒體檔對應之視覺特效資料集還包括：所述控制主機將身份認證資訊發送給所述雲端伺服器系統，以使所述雲端伺服器系統統驗證所述控制主機是否具有獲取視覺特效資料集之許可權；所述雲端伺服器系統於所述控制主機具有獲取視覺特效資料集之許可權時才返回所述控制主機請求之視覺特效資料集。
  6. 如申請專利範圍第4項所述之聲感視覺特效系統，其中，還包括與所述控制主機相連之外部設備；所述外部設備於播放多媒體檔時或者多媒體檔被加入播放清單時將對應之多媒體檔之標識發送給所述控制主機；所述控制主機於接收到所述多媒體檔之標識後向雲端伺服器系統發送獲取所述對應之視覺特效資料集之請求。
  7. 如申請專利範圍第1項所述之聲感視覺特效系統，其中，所述聲音感測裝置檢測外部聲音並生成相應之聲音感測訊號包括：即時採集外部聲音之強度訊號作為聲音感測訊號； 所述控制主機根據所述聲音感測訊號按預先設定之規則生成特效參數，調整燈光特效或視頻特效之亮度、大小、位置或速度。
  8. 如申請專利範圍第1項所述之聲感視覺特效系統，其中，所述聲音感測裝置檢測外部聲音並生成相應之聲音感測訊號包括：將所述外部聲音分為高、中、低3個頻段，分別即時採集每個頻段之聲音強度訊號作為聲音感測訊號；所述控制主機根據所述三種聲音感測訊號按照預先設定之規則生成特效參數，調整燈光特效或視頻特效內三個不同顏色紅、綠、藍之發光強度或發光強度比例。
  9. 如申請專利範圍第1項所述之聲感視覺特效系統，其中，所述聲音感測裝置檢測外部聲音並生成相應之聲音感測訊號包括：將聲音頻率分成多個頻段，分別採集每個頻段之聲音強度訊號作為聲音感測訊號；所述視覺特效資料集還包括聲音回應設定標籤，用來定義某個時間段內多個聲音感測訊號與視覺特效資料集中之多個特效參數之間之對應關係，所述多個特效參數包括：燈光亮度、圖案顏色、動畫速度、燈光面積大小及位置，所述控制主機根據所述聲音感測訊號生成特效參數包括：根據當前時間所對應之聲音回應設定標籤所定義之對應關係確定每個頻段之聲音感測訊號所對應之特效參數，並進一步根據每個頻段之聲音感測訊號生成對應之特效參數。
  10. 一種聲感視覺特效處理方法，其中，包括： 透過聲音感測裝置即時感測並生成相應之聲音感測訊號；於播放多媒體檔時，或於外部設備播放多媒體檔時，獲取與所述多媒體檔對應之視覺特效資料集，所述視覺特效資料集內包括多個視覺特效標籤，每個視覺特效標籤包括時間設定資料以及特效設定資料；同步從所述視覺特效資料集中獲取與當前時間匹配之視覺特效標籤；根據所述聲音感測訊號生成特效參數，並根據所述特效參數以及所述匹配之視覺特效標籤之特效設定資料共同生成與所述多媒體檔同步播放之視覺特效訊號；以及根據所述視覺特效訊號同步輸出視覺特效。
TW104106114A 2014-02-26 2015-02-25 聲感視覺特效系統及聲感視覺特效處理方法 TWI555013B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410065196 2014-02-26
CN201510053838.1A CN104754395A (zh) 2014-02-26 2015-02-01 声感视觉特效系统及声感视觉特效处理方法

Publications (2)

Publication Number Publication Date
TW201533732A TW201533732A (zh) 2015-09-01
TWI555013B true TWI555013B (zh) 2016-10-21

Family

ID=53593394

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104106114A TWI555013B (zh) 2014-02-26 2015-02-25 聲感視覺特效系統及聲感視覺特效處理方法
TW104107133A TW201629952A (zh) 2014-02-26 2015-03-06 同步節拍特效系統及同步節拍特效處理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW104107133A TW201629952A (zh) 2014-02-26 2015-03-06 同步節拍特效系統及同步節拍特效處理方法

Country Status (2)

Country Link
CN (2) CN104754395A (zh)
TW (2) TWI555013B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786327B2 (en) * 2015-08-31 2017-10-10 Adobe Systems Incorporated Utilizing audio digital impact to create digital media presentations
CN105898505B (zh) * 2016-04-27 2019-02-19 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统
JP6519959B2 (ja) * 2017-03-22 2019-05-29 カシオ計算機株式会社 操作処理装置、再生装置、操作処理方法およびプログラム
CN109448761B (zh) * 2018-11-23 2021-01-01 广州酷狗计算机科技有限公司 播放歌曲的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060178888A1 (en) * 2005-02-10 2006-08-10 Lewis Brian L Voice bulb
TW201044265A (en) * 2009-06-10 2010-12-16 Microsoft Corp Touch anywhere to speak

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
CN101656090A (zh) * 2008-08-20 2010-02-24 宋学锋 多媒体播放器、多媒体输出方法及多媒体系统
CN201586394U (zh) * 2010-01-07 2010-09-22 财团法人工业技术研究院 交互式舞台效果系统
CN102752440A (zh) * 2011-04-22 2012-10-24 上海三旗通信科技股份有限公司 手机lcd背光亮度随音乐音符的高低闪烁方法
US9033795B2 (en) * 2012-02-07 2015-05-19 Krew Game Studios LLC Interactive music game
CN103067773A (zh) * 2012-12-13 2013-04-24 罗传藻 动态音视频字幕系统及方法
CN103985387A (zh) * 2014-04-17 2014-08-13 苏州乐聚一堂电子科技有限公司 音频指令及智能控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060178888A1 (en) * 2005-02-10 2006-08-10 Lewis Brian L Voice bulb
TW201044265A (en) * 2009-06-10 2010-12-16 Microsoft Corp Touch anywhere to speak

Also Published As

Publication number Publication date
CN104822085A (zh) 2015-08-05
TW201629952A (zh) 2016-08-16
TW201533732A (zh) 2015-09-01
CN104754395A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
KR102427898B1 (ko) 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
TW201627988A (zh) 同步視覺特效系統及同步視覺特效處理方法
TWI574256B (zh) 互動節拍特效系統及互動節拍特效處理方法
CN105451413B (zh) 灯光控制方法、装置及系统
TWI555013B (zh) 聲感視覺特效系統及聲感視覺特效處理方法
CN105453179A (zh) 提供播放/暂停内容的系统和方法
TW201627987A (zh) 演唱視覺特效系統及演唱視覺特效處理方法
CN105144143A (zh) 音频内容的预缓存
CN105846865B (zh) 用于蓝牙音频传输的方法、设备和系统
EP3804471B1 (en) Selecting one or more light effects in dependence on a variation in delay
TWI545452B (zh) 伴唱視覺特效系統及伴唱視覺特效處理方法
WO2022135527A1 (zh) 一种视频录制方法及电子设备
TWI559299B (zh) 演唱視覺特效系統及演唱視覺特效處理方法
TWI585614B (zh) 複合節拍特效系統及複合節拍特效處理方法
TW201627982A (zh) 壓感視覺特效系統及壓感視覺特效處理方法
WO2016051534A1 (ja) 音響システム、通信機器及びプログラム
JP6139214B2 (ja) 情報端末、情報端末用プログラム及びカラオケ装置
JP5794934B2 (ja) コラボレーション歌唱の録画システム
CN112040147A (zh) 一种灯光闪烁控制方法、装置、设备及系统
KR102588620B1 (ko) 응원봉 제어 메시지 송신장치, 응원봉 제어 메시지 송신장치를 포함하는 응원봉 제어 시스템 및 응원봉 제어 메시지 송신장치를 통한 응원봉 제어 방법
WO2023045687A1 (zh) 投屏方法、设备及系统
CN113691841B (zh) 一种演唱标签添加方法、快速试听方法及显示设备
US20190327358A1 (en) Method of controlling mobile devices in concert during a mass spectators event with a beacon based network
CN105828172A (zh) 音视频播放系统中的播放控制方法和装置
TW201619953A (zh) 複合節拍特效系統及複合節拍特效處理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees