TWI486904B - 律動影像化方法、系統以及電腦可讀取記錄媒體 - Google Patents

Description

律動影像化方法、系統以及電腦可讀取記錄媒體

本發明有關一種律動影像化方法、系統以及電腦可讀取記錄媒體，特別是指根據個人或群體產生的聲音或體感資訊產生視覺化律動影像的方法以及相關系統。

個人在聽音樂的時候會隨著音樂的節奏搖擺，甚至是隨著樂音吟唱，現有的技術中，有些音樂播放器播放音樂時，其中會顯示隨著音樂起伏變化的幾何圖形，但並無法依據個人的律動或特色來產生個人化的顯示影像。

若處於一個演唱會或是群眾聚集的場合，每個人之間可能會隨著現場的音樂或是氣氛互動，為了凝聚群體氣氛，眾人可以將手機當成螢光棒，隨著現場音樂節奏擺動，藉此拉近表演者與觀眾的距離。這些可視為多人的律動，目前也未能夠將多人的律動來產生群體化的顯示影像。

習知技術並未提出有效的機制，讓個人或群眾可以將其依據音樂而產生的律動轉換成視覺效果，以將律動影像化，進而可將律動影像進行分享或是共享。目前的音樂分享機制多半只是將音樂檔案分享、或是提供音樂連結等，缺少個人律動分享的機制，多僅能播放音樂或顯示多媒體畫面，也缺乏互動感。

有別於現階段的音樂分享方式僅限於傳遞音樂檔案或連結的方式，本揭露書揭示一種律動影像化方法、系統以及電腦可讀取記錄媒體，可根據音訊和個人的影像特徵產生視覺化的律動影像的技術，律動影像反映出個人或群體共同的律動，可藉此來顯示個人或群體根據音訊而產生的情緒、反應或是氣氛等。

根據揭露書所載實施例之一，律動影像化方法步驟可取得一個人影像，比如由可攜式電子裝置拍攝取得，並由個人影像取得其中的個人影像特徵，之後將根據影像特徵建構一個人化影像。 接著可由音訊中所取得的音訊特徵，以從預設之複數個律動設定資料中取得對應此音訊特徵的一個人化律動設定資料。之後，依據音訊、個人化影像以及個人化律動設定資料產生一個人化律動影像。

另一實施例中更可透過可攜式電子裝置的體感單元取得一體感訊號，以能依據前述音訊、個人化影像、個人化律動設定資料以及此體感訊號產生可以反映出體感動作的個人化律動影像。

其中，上述的音訊和個人化律動設定資料將決定個人化影像的律動方式和律動頻率；而體感訊號決定個人化影像之顯示強度；以及將根據律動方式、律動頻率和顯示強度產生個人化律動影像。

再一實施例中則透過一伺服主機整合了多數個人化律動影像而產生一群體化律動影像。

相關的律動影像化系統可經由一可攜式電子裝置來實作，或者由可攜式電子裝置並配合一遠端伺服主機來進行實作。系統之主要元件包括取得影像的影像擷取單元、接收音訊的音訊擷取單元、取得個人影像特徵或/與音訊特徵的特徵擷取單元、運算得出個人化律動影像的運算單元，以及顯示個人化律動影像的顯示單元。更進一步時亦可包括取得加速度訊號的體感單元。

為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式與附件僅提供參考與說明用，並非用來對本發明加以限制者。

10‧‧‧可攜式電子裝置

101‧‧‧顯示螢幕

201,202,203‧‧‧可攜式電子裝置

20‧‧‧顯示屏幕

205‧‧‧律動影像

30‧‧‧網路

301,302,303‧‧‧可攜式電子裝置

32‧‧‧伺服主機

305‧‧‧顯示屏幕

401‧‧‧運算單元

402‧‧‧顯示單元

403‧‧‧特徵擷取單元

404‧‧‧影像擷取單元

405‧‧‧音訊擷取單元

501‧‧‧運算單元

502‧‧‧顯示單元

503‧‧‧特徵擷取單元

504‧‧‧記憶單元

509‧‧‧資料庫

505‧‧‧體感單元

506‧‧‧音訊擷取單元

561‧‧‧外部音源

562‧‧‧內部檔案

507‧‧‧影像擷取單元

508‧‧‧通訊單元

61‧‧‧可攜式電子裝置

611‧‧‧影像擷取單元

612‧‧‧音訊擷取單元

613‧‧‧顯示單元

614‧‧‧通訊單元

62‧‧‧伺服主機

621‧‧‧特徵擷取單元

622‧‧‧運算單元

623‧‧‧網路單元

701‧‧‧攝影機

702‧‧‧音樂資料庫

703‧‧‧麥克風

704‧‧‧體感偵測

705‧‧‧影像擷取

706‧‧‧音訊特徵分析

707‧‧‧情緒判斷

708‧‧‧影像特徵分析

709‧‧‧特徵模型比對

710‧‧‧人臉影像建構

711‧‧‧個人化律動影像

712‧‧‧輸出

81‧‧‧臉部影像

82‧‧‧音源

83‧‧‧資料庫

步驟S801~S809‧‧‧律動影像化方法流程

步驟S901~S907‧‧‧建構立體臉部影像流程

步驟S101~S108‧‧‧律動影像化方法流程

步驟S111~S115‧‧‧決定個人化影像呈現方法流程

步驟S121~S125‧‧‧律動影像化方法流程

圖1所示為顯示於一電子裝置的律動影像之實施例示意圖；圖2顯示產生群體化律動影像的實施例示意圖；圖3顯示本發明另一實施例中產生群體化律動影像化的系統架構示意圖；圖4顯示本發明律動影像化系統之第一實施例之示意圖；圖5顯示本發明律動影像化系統之第二實施例之示意圖；圖6顯示本發明律動影像化系統之第三實施例之示意圖；圖7顯示為實現本發明律動影像化方法的架構實施例示意圖；圖8顯示本發明律動影像化方法之實施例流程之一；圖9顯示本發明律動影像化方法中建構立體臉部影像之實施例流程之一；圖10顯示本發明律動影像化方法之實施例流程之二；圖11顯示本發明律動影像化方法中決定個人化影像對應音訊特徵的呈現方法實施例流程之一；圖12顯示本發明律動影像化方法之實施例流程之三。

本揭露書提出一種律動影像化方法、系統以及電腦可讀取記錄媒體，其可根據音訊和個人的影像特徵產生視覺化的律動影像的技術，藉以反映出個人或群體共同的律動。

更進一步時，律動影像是根據音訊和個人或群體產生體感訊號所產生視覺化的律動影像。舉例來說，一個人在聆聽音樂時，可經由手持、配戴且具有體感單元可感測律動的電子裝置(如智慧手機、平板電腦、智能眼鏡、智能手錶或其他可安裝體感單元的電子裝置)，與音樂一起搖動，所產生的體感訊號可經由本系統來產生個人化的律動影像。又例如，在一個群眾聚集的場合，比如演奏會、演唱會、群眾活動等，在一音訊播放的時間內，群眾可能會有一致的情緒或律動，透過此律動影像化方法與系統，可以整合多人的個人化律動影像，產生一個群體化的律動影像，以反映出當時情緒、情境或氣氛。

透過執行本揭露書所提出的律動影像化方法後，最終產生的個人化律動影像可呈現於一個具有顯示器的可攜式電子裝置上，如圖1所示為顯示於一電子裝置的律動影像的實施例示意圖。以下實施例中所述的連接，可以是經由有線或無線通訊網路進行連接，也可以是經由匯流排、序列資料通訊介面(如RS232)或其他方式進行電性連接。

圖1中顯示有一可攜式電子裝置10，比如具有顯示螢幕101的手機或平板電腦，較佳為其中具有照相機、顯示器、體感單元(如加速度感測器、陀螺儀)的行動裝置。當使用者手持此可攜式電子裝置10揮舞、搖動，其中的體感單元將感測到可攜式電子裝置10產生的體感訊號，此體感訊號可用來判斷出使用者的律動。

在一些實施例中，本案系統可設置於可攜式電子裝置10中，藉由可攜式電子裝置10中的照相機取得使用者或是特定人的臉部影像，經由此臉部影像取得個人影像特徵以及建構一個人化影像，之後當使用者揮舞著可攜式電子裝置10，透過其中的體感單元體感訊號，如一種加速度訊號，這個訊號可以透過解析取得律動的強度、節奏等資訊；可攜式電子裝置10另可由本身產生的音樂訊號，或是透過麥克風收音的外部音訊，解析其中頻域訊號得 出音訊特徵，例如頻率、節奏、音量變化、強度變化、曲風等，找出對應的個人化律動設定資料。依據上述的音樂訊號、個人化影像以及個人化律動設定資料，可攜式電子裝置10可產生個人化律動影像，呈現在顯示螢幕101上，例如人臉影像依據一特定頻律進行左右晃動。律動影像，還可以透過不同顏色、幾何圖形改變、影像變化、速度變化、不同律動方式(如旋轉、點頭、跳動...)等，來反映出個人對於此音樂訊號的情緒、反應或感受，顯示的影像則可以平面影像或立體影像。

圖2則顯示透過執行本發明所提出產生群體化律動影像的實施例示意圖。

在此實施方式中，本案系統分別設置於多人的可攜式電子裝置和一伺服主機中，可攜式電子裝置可經由通訊網路和伺服主機進行通訊。多人的的可攜式電子裝置201,202,203可如圖1所示，情境例如於一個演唱會中，現場產生一音樂訊號(如演奏音樂或歌唱)，當多人透過各自手持的可攜式電子裝置201,202,203可分別產生每個人對應的個人化律動影像，即時傳送到伺服主機(未顯示於此圖中)，據以產生並於一個顯示屏幕20上呈現一個群體化的律動影像205，此群體化的律動影像205可以是眾多的個人化律動影像進行組合而產生，或是另外產生可對應多人的情境、情緒、節奏或強度的影像或圖形，例如人越多、強度越高時，影像中的閃光亮度就越強等。

藉此，在實際應用時，可以透過律動影像反映出現場情緒，可以加強現場視覺效果。其中特定節奏訊號可以比對得出情緒參數，律動影像的變化強度可能是多數個人化律動的平均值。

圖3係顯示本發明另一實施例中產生群體化律動影像化的系統架構示意圖。

在此實施例中，透過網路30或是特定通訊手段連結了各端裝置，包括使用者端的各種可攜式電子裝置301,302,303，可攜式 電子裝置301,302,303分別包含有用來偵測體感訊號的體感單元，取得各裝置的體感訊號，並透過網路傳送到伺服主機32，由伺服主機32直接依據各可攜式電子裝置301,302,303的體感訊號來產生群體化律動影像。

伺服主機32產生群體化的律動影像之後，可以呈現在一個公共顯示屏幕305上，如設置於特定場合的大型顯示幕，亦可分別傳送回各個可攜式電子裝置301,302,303的顯示螢幕上。

此實施例亦可結合社群網路來進行應用。比如，伺服主機32更包含建構一個社群網站，可攜式電子裝置301,302,303的使用者可以是在同一群組內的使用者並登入該社群網站，此群組可以是事先建立、或是臨時組成的群組、或是可以由社群網站自動根據各可攜式電子裝置的位置資訊於同一地點內而建立。如圖顯示，可攜式電子裝置301,302,303的使用者登入伺服主機32的社群網站後，伺服主機32可以同時取得這些裝置內產生的律動資訊、使用者登入帳號及其個人資訊等，即時產生並顯示在顯示屏幕305上的群體化律動影像，而此群體化律動影像中進一步可以顯示使用者的登入帳號、個人資訊、或是社群網路好友關係等等。

上述伺服主機32並不限定為特定形式的運算器，甚至可由參與此次律動運算的多個可攜式電子裝置301,302,303之一，透過網路取得其他裝置的律動資訊，形成律動影像後再傳給其他提供資訊的裝置顯示。

第一實施例：接著，本發明實施例之一可參閱如圖4所示本發明律動影像化系統之第一實施例示意圖。

為實現根據個人影像特徵與音訊產生個人化律動影像的目的，本發明揭露書提出一種律動影像化系統，律動影像化系統至少包括取得影像的影像擷取單元404，如設於可攜式電子裝置內的照相機模組，藉此產生個人影像，並可透過運算能力分析出影像 特徵。系統包括有接收音訊的音訊擷取單元405，用以取得系統內的音訊，包括播放音樂、聲音檔案所產生的音訊，或以收音電路取得外部聲音，經取得音訊後，可以利用系統的運算能力擷取出音訊特徵。

系統再包括一取得個人影像特徵或/與音訊特徵的特徵擷取單元403，其中個人影像特徵即由上述影像擷取單元404取得的影像擷取出來，而音訊特徵係由音訊擷取單元405所接收的音訊擷取出來。

系統包括有一運算單元401。連接上述特徵擷取單元403，可以根據特徵擷取單元403取得的個人影像特徵與音訊特徵，依據該音訊特徵，從預設之複數個律動設定資料中取得對應該音訊特徵的一個人化律動設定資料，根據該音訊、該個人影像特徵以及該個人化律動設定資料，產生個人化律動影像。之後系統透過顯示單元402顯示個人化律動影像。預設的複數個律動設定資料，可以事先建立並儲存在運算單元401中或另一儲存單元中，每一律動設定資料係分別對應一個或多個音訊特徵。

第二實施例：延續前述系統實施例，可參閱如圖5所示本發明律動影像化系統之第二實施例示意圖，律動影像化系統更包括一體感單元505，例如為一加速度感測器可產生一加速度訊號，並傳送到運算單元501，藉以根據所接收的加速度訊號還產生個人化律動影像，實施例可參考圖5所示之律動影像化系統實施例示意圖。

律動影像化系統設有作為整合各部電路/軟體單元產生訊號而運算產生結果的運算單元501，系統內各電路單元相互連接，圖中顯示的影像擷取單元507用以取得影像，特別是具有個人化特色的影像，比如臉部影像，接著可由特徵擷取單元503取得影像特徵。更進一步時，為了產生律動效果，影像特徵將可解構成多種符號圖形、幾何圖形的組合，在同時呈現個人化特徵外，圖形更 可依據律動的資訊而變化，值得一提的是，影像的律動主要是可依據音訊特徵來變化，較佳的方式是事先建立一些規則模型，例如影像顏色變換、尺寸變化、位置移動、形狀改變、旋轉、搖擺的頻率可依據音訊的節拍快慢而定。例如，當音訊特徵係為對應一快樂情緒時，可從預設的複數個律動設定資料中找出對應快樂情緒的個人化律動設定資料，此個人化律動設定資料可以示設定影像顏色為表示快樂的藍色，形狀改變和搖擺的頻率為較快速，位置移動為較大等。

系統包括可以取得聲音訊號的音訊擷取單元506，包括透過麥克風取得外部音源(561)的訊號，比如外部音響、環境或是使用者的聲音，亦可取得內部檔案(562)所播放產生的聲音訊號。音訊同樣可由特徵擷取單元503取得其中頻率(節奏快慢)、音高低起伏、強度(音量強弱)等的音訊特徵，頻率、強度特徵可以反映出聲音的情緒，比如特定曲風可以反映出特定情緒、某種節奏對比到某種情緒等。

系統更包括一個體感單元505，比如可攜式電子裝置內的加速度感測器，用以偵測使用者對此可攜式電子裝置是否有搖晃或擺動的動作，這些動作通常是反映出使用者在特定場合、聆聽音樂時擺動形成的律動或情緒。

系統中可設有一個記憶單元504，除了作為系統運作時訊號暫存記憶空間外，更可設有一資料庫509，資料庫509可儲存有各種音訊、體感訊號與情緒比對的資訊，可以是情緒本體、資料對照表、判斷邏輯、類神經網路、文本分析或情緒詞典、或其他可用以進行比對的資訊。也就是說，上述音訊、體感訊號經過分析後，可判斷出其對應的情緒，而此對應情緒可以在本發明中經由一個人化或是群體化的律動影像呈現出來。

系統中的通訊單元508用以處理影號傳輸，特別如裝置之間的訊號傳輸、伺服主機與終端裝置的通訊等，顯示單元502則用 以處理律動影像的訊號，最後則呈現於終端的顯示裝置上，比如用一個可攜式電子裝置的顯示螢幕呈現，或以一個公共區域的顯示屏幕所呈現。

根據實施例，上述律動影像化系統可以植於一可攜式電子裝置中，也就是電子裝置本身的運算功能可以根據影像特徵、音訊特徵，甚或是體感的訊號來產生即時的個人化律動影像。

再根據另一實施例，律動影像化系統可以包括一或多個終端的可攜式電子裝置與連線一個遠端的伺服主機。舉例來說，可攜式電子裝置為產生影像以及特徵擷取的裝置，而運算產生律動影像的工作則由伺服主機負責。

第三實施例：圖6顯示本發明律動影像化系統之第三實施例之示意圖，此例顯示系統由可攜式電子裝置61與伺服主機62組成，且分別擔負不同的工作。

在此實施例中，可攜式電子裝置61為終端由使用者持有的行動裝置，主要為取得個人化的資訊，比如透過可攜式電子裝置61上的影像擷取單元611取得個人化影像，如臉部影像；透過可攜式電子裝置61的音訊擷取單元612取得裝置61所播放或是外部接收的音訊，因此可以得到個人化的音訊特徵；可攜式電子裝置61的顯示單元613則是用以處理個人化影像訊號、以及處理最後欲顯示出來的個人化律動影像。之後，可透過可攜式電子裝置61的通訊單元614與其他裝置、伺服器分享律動資訊。

配合圖12所記載本發明律動影像化方法中產生群體化律動影像的實施例流程。當欲形成群體化律動影像時，可攜式電子裝置61可將個人化律動影像和音訊傳送至伺服主機62。複數個使用者可分別使用對應的可攜式電子裝置以產生對應的個人化律動影像，並經由一通訊網路將這些個人化律動影像傳送到伺服主機62，伺服主機62端因此在特定實施例時可以取得多筆的個人化律 動資訊(圖12，步驟S121)，並整合多筆個人化律動影像(圖12，步驟S123)，產生出一群體化的律動影像(圖12，步驟S125)。 例如，當每個使用者的個人化律動影像為一人臉時，將多個人臉匯集成一影像並同時擺動，又或者是將不同人臉進行組合配對，產生互動的影像等。

伺服主機62具有網路單元623，透過網路與終端裝置連線，其中特徵擷取單元621係處理由各終端的可攜式電子裝置61取得各種個人化的資訊後，擷取其中特徵，經運算單元622運算多筆律動資訊後產生一個群體化的內容。之後可透過網路將群體化的律動影像傳送到特定目標，包括大型顯示屏幕、各可攜式電子裝置等。

也就是，在圖6所載的系統架構下，律動影像化系統的工作分別由終端與伺服器端的裝置分散處理，上述取得影像訊號的影像擷取單元611、取得聲音訊號的音訊擷取單元612以及負責終端顯示的顯示單元613可設置於可攜式電子裝置61中；而需要透過演算擷取特徵(音訊或影像)的特徵擷取單元621以及運算單元622則可設於伺服主機62中。藉此架構可攜式電子裝置可以更為輕省地產生影像訊號與音訊，運算則集中在可以同時負責多端訊號擷取與特徵運算的伺服主機中。

除上述律動影像化系統架構，律動影像化系統並不排除分別都載於各個可攜式電子裝置以及伺服主機上，其中每一可攜式電子裝置都設置有擷取影像擷取、取得音訊、特徵擷取、數據運算以及通訊的功能；而伺服主機則可透過網路即時取得由各可攜式電子裝置所傳送的影像訊號、音訊而進行運算，或直接由多個可攜式電子裝置接收所傳送的個人化律動影像，整合產生一群體化律動影像。

圖7顯示為實現本發明律動影像化方法的架構實施例示意圖，其中呈現出實現本發明律動影像化方法的系統架構，其中特 別模組化各部功能，藉此描述系統處理各種功能模組執行的工作。

攝影機701為設於可攜式電子裝置上的照相模組，如手機或平板電腦的照相機，拍攝影像後由裝置的影像擷取705功能取得影像訊號，並儲存到裝置的記憶體中。接著，透過可攜式電子裝置的運算能力產生一個個人化影像，比如是裝置中影像特徵分析708功能，透過影像特徵分析708取得影像中的特徵，若影像為一個臉部影像，即以影像特徵分析708判斷出臉部器官，因此可以取得臉部器官的相對位置，再以人臉影像建構710功能由影像建構出一個人臉影像。這個人臉影像可以一個經過解構過的畫面呈現，比如透過圖案中分離的各種元素的變動，比如大小尺寸變化、形狀改變、顏色變化、閃爍、位置移動等的律動影像效果。依此可以產生個人化律動影像711，可參考圖1。

可攜式電子裝置本身可儲存有特定音樂檔案，如裝置內儲存的音樂資料庫702，音樂資料庫702更可以設於外部伺服器，透過串流下載音訊檔案的技術取得與播放。本揭露書即利用軟體方法解析出音訊中的頻率特徵，如裝置內的音訊特徵分析706功能，音訊特徵為利用一資料庫所載的聲音模型比對音訊於一時間片段內採用的頻域訊號特徵所得出，這些音訊特徵經特徵模型比對709處理可以取得比如是音樂的節奏、速度、強度等音訊特徵，再以情緒判斷707的功能，比如透過資料庫、比對表等方式對應到特定的情緒，所判斷出的情緒可以決定出上述律動影像的表示方式，可結合前述音訊特徵形成個人化律動影像711。

可攜式電子裝置可具有如麥克風703等的收音模組，透過麥克風703取得使用者的聲音、外部環境的聲音，同樣可以經過音訊特徵分析706功能解析頻域訊號，以經過特徵模型比對709取得聲音的節奏、速度、強度等參數，同樣執行情緒判斷707功能對比到特定情緒，也可做為律動影像表示方式的參考。

可攜式電子裝置可具有體感偵測704的相關電路模組，因此 可以感測到使用者操作可攜式電子裝置的律動訊號，比如搖動可攜式電子裝置產生的加速度訊號，同樣可以透過分析根據體感訊號判斷可攜式電子裝置的擺動幅度、節奏、指向等，經過情緒判斷707功能而對應到特定情緒，更是用來配合上述音訊特徵決定出律動影像的表示方式，以產生個人化律動影像711。

當根據上述各種律動資訊之全部或是部分特徵所產生的個人化律動影像711後，影像訊號可以透過可攜式電子裝置的通訊功能，或經過無線網路，或經過行動通訊網路，將影像輸出(712)，包括輸出到外部的伺服主機、分享到特定網路主機、社群服務，或是其他使用者。

實現上述律動影像化系統時的實施例流程可參閱本揭露書圖8至圖12所載的流程圖。

其中圖8顯示本發明律動影像化方法之實施例流程，步驟一開始如S801，先取得一個影像，比如是由可攜式電子裝置上的照相模組所拍攝的影像，如臉部影像(81)，但也不排除由照片檔案所選取，或是其他具有個人化特色的影像，例如用來代表使用者的依漫畫造型人物或動物圖形。

接著如步驟S803，經取得個人影像特徵後，建構個人化臉部影像，建構個人化影像時，影像可以透過符號圖形、幾何圖形，或是其他圖形的組合所呈現，這些圖形將可根據此例由音源(82)擷取出的音訊特徵(步驟S805)變換。這些個人化影像、音訊特徵經資料庫(83)比對後，可以形成一個人化律動設定資料(步驟S807)。

其中個人化律動設定資料係記載個人化影像對應音訊時的律動方式和律動頻率，因此可以根據音訊與個人化律動設定資料決定個人化影像的律動方式與頻率。其中參考的資訊更可加上體感訊號，使得系統可以根據體感訊號決定個人化影像之顯示強度。使得系統可以依據音訊、個人化影像、個人化律動設定資料所載 的律動方式、律動頻率、顯示強度而產生個人化律動影像。

音訊隨著時間變化，經擷取出其中頻率、強度的特徵後，可以透過影像變化反映出律動，產生個人化律動影像(步驟S809)，個人化律動比如圖形顏色、尺寸、移動等的變化。

將音訊轉換為視覺化圖形的方式可有多種，其中之一(並非用來限制本發明實施方式)的技術可參閱TW200731095(公開日：2007/08/16)所揭露用於加强音樂播放之自動視覺化的技術。其中技術係先自音訊流中導出至少一元素，配合一個選擇的視覺化資料，就是一個動態或靜態影像資料，自動與音訊流同步。系統可以自音訊中取得頻率、時間、能量(強度)，甚至空間位置等特徵，這些特徵可以比對出預先的視覺化效果，隨著時間觸發而組合這些比對得出的視覺效果，形成視覺化的影像。

上述將影像解構形成幾何圖形的方式有多種，其中之一(並不限於此案，僅供參考)可參閱先前技術美國專利第8502826號(公告日：2013/8/6)所揭露的音樂視覺化系統與方法，可以將音樂波形轉換成幾何圖形。

將音樂波形轉換成幾何圖形的過程中，前案揭示先定義出幾種圖形變化，比如移動、顏色等，配合圖形資料，並應用三角函數原理(trigonometric function)執行圖形轉換，對應到音樂波形後，可以形成隨著時間演進的圖形變化。

透過臉部影像建構個人化影像的例子，可參閱圖9顯示建構一種立體臉部影像之實施例流程。

步驟S901表示系統先取得臉部影像，接著如步驟S903，透過影像識別技術從臉部影像識別出各臉部器官，至少一個臉部器官的位置，如個人五官之一，其他也可包括臉型，甚至是身形(高矮胖瘦)，較佳則是可以得到特定器官與其餘臉部器官的相對位置(步驟S903)，如眼睛、鼻子、嘴巴、耳朵等之間的距離與比例。再引入立體模型(步驟S905)，根據特定的至少一個臉部器官位 置，以及此器官和臉部影像中其餘臉部器官的相對位置，可以建構出一個立體臉部影像(步驟S907)，在終端顯示器上可以呈現出一個立體的臉部影像，此影像同樣可以各種符號、幾何圖形所組合的影像，可以配合音訊特徵同步變化。其中隨音訊擷取出的律動特徵組合不同顏色和律動變化，產生出立體動畫效果。

上述立體臉部影像建構的技術引入一立體模型，其中涉及的技術可為多種，其中一種如型態臉部模型(Morphable Face Model)，先取得臉部影像的形狀(shape)與組織(texture)，透過比對一個模型庫中的係數，點對點地形成一個立體臉部影像，將臉部的形狀與組織表示為一個向量空間，藉此描繪出立體影像。

圖10接著顯示本發明律動影像化方法之另一實施例流程。

開始如步驟S101，先取得影像特徵，藉此建構個人化影像(步驟S102)，經形成二維或是立體影像後，系統自一音訊取得音訊特徵(步驟S103)，從預設之複數個律動設定資料(資料庫)中取得對應所取得音訊特徵的個人化律動設定資料(步驟S104)，接著根據音訊、個人化影像與個人化律動設定資料決定個人化影像的律動方式與頻率(步驟S105)。

在此實施例，在形成個人化律動影像前，可以同時取得體感訊號(步驟S106)，比如上述由使用者所操作的可攜式電子裝置中的感測電路所取得的體感訊號，體感訊號因為反映出使用者揮動的強度，因此可以藉此決定個人化影像的顯示強度(步驟S107)，最後形成根據音訊變動的個人化律動影像(步驟S108)。

上述決定情緒的技術可參閱圖11所示之本發明律動影像化方法中決定個人化影像對應音訊特徵的呈現方法實施例流程，其中步驟顯示先比對聲音模型以及音訊在一時間內的頻域訊號特徵(步驟S111)，再由音訊特徵決定情緒參數(步驟S113)，根據這些情緒參數能決定出上述由可攜式電子裝置產生的個人化影像的色彩、背景與/或光線變化(步驟S115)，且變化方式也不限於特 定方式。

音訊決定情緒的技術有多種實施方式，其中之一(並非用於限定本發明實施方式)如美國公開專利第20090132593號(公開日：2009/05/21)所揭露透過情緒分類播放多媒體檔案的技術。其中揭示先定義出情緒分類，比如憂鬱、熱情、喜悅的，依此建立心理模型(psychology model)。此案技術即可以根據情緒分類來播放多媒體檔案，音樂的基本元素有速度(speed)、強度(intensity)、節奏(rhythm)、旋律(melody)、音色(tone color)等，接著據此將依照音樂情感分類對應判斷出多媒體播放清單，使用者可根據當下情感選擇對應的音樂播放清單。

此案提出一種音樂情緒分類單元，即擷取出音樂的元素，後，比對預設的心理模型，以根據對應到的心理模型判斷出音樂的情緒分類。

然而，本發明自音訊判斷出情緒的技術並不限於透過軟體分析音訊頻域特徵判斷情緒的方式，判斷情緒可用分析技術如情緒本體(ontology)、類神經網路、文本分析或情緒詞典(歌詞)等。 比如可應用音樂的曲風分析，比如透過節奏快慢判斷出曲風，曲風也表示一種情緒；或直接自歌詞解析出情緒。其中可根據事先建立歌曲對應情緒的資料庫對比出曲風與情緒的關聯、歌詞與情緒的關聯來判斷情緒。

本發明更提出一種電腦可讀取記錄媒體，其中記載執行上述揭露書所載的律動影像化方法的指令集，達成本發明產生個人化律動影像的目的的指令集包括有取得一影像的指令，比如為執行於可攜式電子裝置的指令；包括由影像取得個人影像特徵的指令，擷取特徵的指令可執行於可攜式電子裝置內，亦可能執行於伺服主機端；指令集包括根據個人影像特徵建構一個人化影像的指令，同樣可以執行於可攜式電子裝置內，或是伺服主機端；指令集包括可以取得一音訊的指令，比如由可攜式電子裝置內部播 放的聲音檔案，或是透過麥克風接收的外部音訊；以及由音訊擷取出音訊特徵的指令，此特徵擷取的指令可執行於可攜式電子裝置或是伺服主機內。

指令集更包括從預設之複數個律動設定資料中取得對應音訊特徵的一個人化律動設定資料的指令，並能依據音訊、個人化影像以及個人化律動設定資料而產生一個人化律動影像的指令，並包括顯示個人化律動影像的指令。

是以，本發明揭露書所提出的律動影像化的技術係能根據個人或群體產生的聲音或體感資訊產生視覺化的律動影像，包括可依據音訊、個人化影像以及個人化律動設定資料產生的個人化律動影像，且能經整合多個個人化律動資料後，產生群體化律動影像。透過隨著音訊顯示的個人化律動影像可以提昇個人聆聽音樂的樂趣，若透過線上演唱會現場和群眾分享、和朋友分享互動等不同的社群分享模式，更可產生具有共鳴的群聚式體驗。

惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。

701‧‧‧攝影機

702‧‧‧音樂資料庫

703‧‧‧麥克風

704‧‧‧體感偵測

705‧‧‧影像擷取

706‧‧‧音訊特徵分析

707‧‧‧情緒判斷

708‧‧‧影像特徵分析

709‧‧‧特徵模型比對

710‧‧‧人臉影像建構

711‧‧‧個人化律動影像

712‧‧‧輸出

Claims (12)

1. 一種律動影像化方法，包括：取得複數個使用者的個人影像特徵；根據該影像特徵建構各使用者的一個人化影像；由一音訊中取得一音訊特徵，以從預設之複數個律動設定資料中取得對應該音訊特徵的各使用者的一個人化律動設定資料；依據該音訊、各使用者的個人化影像以及各使用者的個人化律動設定資料，產生各使用者的一個人化律動影像；各使用者的該個人化律動影像與該音訊整合產生一多媒體檔案並經由一通訊網路傳送至一伺服主機；以及由該伺服主機接收該些個人化律動影像，整合產生一群體化律動影像。
2. 如請求項1所述的律動影像化方法，其中該影像係由一可攜式電子裝置所載之一照相機模組所拍攝，並儲存於一記憶體中。
3. 如請求項2所述的律動影像化方法，其中該可攜式電子裝置執行依據該音訊、該個人化影像以及該個人化律動設定資料產生該個人化律動影像之步驟。
4. 如請求項2所述的律動影像化方法，其中該可攜式電子裝置更包括一體感單元，以取得該可攜式電子裝置之一體感訊號，以依據該音訊、該個人化影像、該個人化律動設定資料以及該體感訊號產生該個人化律動影像。
5. 如請求項4所述的律動影像化方法，其中該個人化律動設定資料係為該個人化影像對應該音訊時的律動方式和律動頻率，且依據該音訊、該個人化影像、該個人化律動設定資料以及體感訊號以產生該個人化律動影像，其中係：根據該音訊和該個人化律動設定資料決定該個人化影像 的律動方式和律動頻率；根據該體感訊號決定該個人化影像之顯示強度；以及根據該律動方式、律動頻率和顯示強度產生該個人化律動影像。
6. 如請求項1所述的律動影像化方法，其中該影像為一臉部影像，該個人影像特徵為該臉部影像中至少一個臉部器官的位置，以及和該臉部影像中其餘臉部器官的相對位置。
7. 如請求項6所述的律動影像化方法，其中該個人化影像係為引入一立體模型，根據該臉部器官位置以及和該臉部影像中其餘臉部器官的相對位置，以建構立體臉部影像。
8. 如請求項1所述的律動影像化方法，其中該方法更包括以下步驟：由該音訊特徵決定對應該音訊之一情緒；以及依據該情緒決定該個人化影像之色彩、背景、或光線變化。
9. 如請求項8所述的律動影像化方法，其中該音訊特徵為利用一資料庫所載的聲音模型比對該音訊於一時間片段內採用的頻域訊號特徵所得出。
10. 一種律動影像化系統，包括：一伺服主機，多個可攜式電子裝置，其中各個可攜式電子裝置包括：一取得影像的影像擷取單元；一接收音訊的音訊擷取單元；一取得個人影像特徵與音訊特徵的特徵擷取單元，其中該個人影像特徵係由該影像擷取單元取得的影像擷取出來，該音訊特徵係由該音訊擷取單元所接收的音訊擷取出來；一運算單元，連接該特徵擷取單元，取得的個人影像特徵與音訊特徵，且從預設之複數個律動設定資料中 取得對應該音訊特徵的一個人化律動設定資料，根據該音訊、該個人影像特徵以及該個人化律動設定資料，產生一個人化律動影像；一顯示該個人化律動影像的顯示單元；以及一通訊單元，該可攜式電子裝置透過該通訊單元與該伺服主機連線，用以傳送該個人化律動影像至該伺服主機；其中，該伺服主機接收該多個可攜式電子裝置個別所傳送的個人化律動影像，整合產生一群體化律動影像。
11. 如請求項10所述的律動影像化系統，更包括一取得加速度訊號的體感單元，該運算單元更接收該加速度訊號得出該個人化律動影像。
12. 一種電腦可讀取記錄媒體，其中記載執行一律動影像化方法的指令集，該指令集包括：取得複數個使用者的影像的指令；由各使用者影像取得個人影像特徵的指令；根據該個人影像特徵建構各使用者之一個人化影像的指令；取得一音訊的指令；由該音訊擷取出音訊特徵的指令；從預設之複數個律動設定資料中取得對應該音訊特徵的一個人化律動設定資料的指令；依據該音訊、該個人化影像以及該個人化律動設定資料而產生一個人化律動影像的指令；顯示該個人化律動影像的指令；接收各使用者整合該個人化律動影像與該音訊所產生一多媒體檔案的指令；以及整合該複數個使用者個別的個人化律動影像而產生一群 體化律動影像的指令。