TWI433027B - 適應性使用者介面 - Google Patents

Description

適應性使用者介面 發明領域

本發明之實施例係有關一種適應性使用者介面。更特別是，某些實施例係有關用以響應音樂而改變一圖形使用者介面之一外觀的方法、系統、設備與電腦程式。

發明背景

對現代人而言，使用數位電子設備，諸如專屬音樂播放器或具有音樂播放來作為一可用功能之多功能設備，來聆聽音樂是相當普遍的。

該類設備典型具有可使該設備之一使用者來控制該設備的一使用者介面。某些設備具有一圖形使用者介面(GUI)。

數位音樂是一種日漸成長的行業，但其具有相當競爭性。於是，需增加與數位音樂以及/或者數位音樂播放器相關聯之重要性，藉此其更具有需求性而因此更具有價值。

發明概要

根據本發明之一實施例，其提供一種方法，包含下列步驟：取得定義可聽見音樂之至少一種特性的音樂資訊；與使用該音樂資訊來控制一圖形使用者介面之一外觀的變化。

根據本發明之另一實施例，其提供一種系統，包含：用於提供一圖形使用者介面之一顯示器；與一處理器，當音樂可聽見時，其操作來取得定義該可聽見音樂之至少一種特性的音樂資訊；與操作來使用該音樂資訊以控制該圖形使用者介面之一外觀的變化。

根據本發明之另一實施例，其提供一種電腦程式，用於取得定義可聽見音樂之至少一種特性的音樂資訊；與使用該音樂資訊來控制一圖形使用者介面之一外觀的變化。

根據本發明之另一實施例，其提供一種方法，包含下列步驟：儲存至少定義一圖形使用者介面如何改變之一資料結構，與使用該資料結構，隨著可聽見音樂之相繼節拍來改變該圖形使用者介面之外觀。

圖式簡單說明

為了對本發明更加了解，現將僅經由範例來參照該等伴隨圖式，其中：第1圖示意繪示一用於控制一圖形使用者介面(GUI)之系統；第2A圖、第2B圖與第2C圖繪示一用以響應該可聽見音樂中之該等節拍的節奏而改變外觀的GUI；第3A圖與第3B圖繪示該可聽見音樂個別具有一慢節奏與一快節奏時，一圖形選單項目之尺寸可如何變化；而第4圖繪示一種產生用以響應可聽見音樂而變化之一GUI的方法。

較佳實施例之詳細說明

第1圖示意繪示一用於控制一圖形使用者介面(GUI)之系統10。該系統包含：一處理器2、一顯示器4、一使用者輸入設備6與儲存電腦程式指令14之一記憶體12、以及一GUI資料庫16。

該處理器2安排來寫入該記憶體12與從該記憶體12讀取並控制該顯示器8之該輸出。其從該使用者輸入設備6接收使用者輸入命令。

該等電腦程式指令14定義一圖形使用者介面軟體之應用程式。當載入該處理器2時，該電腦程式指令14提供使該系統10實行第2圖、第3圖、與/或第4圖繪示之該方法的該邏輯或常式。

該電腦程式指令14可經由一電磁載體信號到達該電子設備，或從諸如一電腦程式產品、一記憶體設備或諸如一CD-ROM或DVD之一紀錄媒體的一實體1來複製。

該系統10典型是諸如一個人數位助理、一個人電腦、一行動電話、一個人音樂播放器之一電子設備的一部分。

該系統10亦可用來作為一音樂播放器。該實施例中，一音軌可儲存於該記憶體12中。當載入該處理器2時，電腦程式指令可賦能如業界所熟知之一音樂播放器的該功能性。該音樂播放器處理該音軌，並產生提供至一音頻輸出設備8之一音頻控制信號以播放該音樂。該音頻輸出設備可以是，例如，耳機之一揚聲器或一插座。該音樂播放器負責該音頻播放，亦即，其讀取該音軌並使其成為音頻。

第2A圖、第2B圖與第2C圖繪示一用以響應與及時隨著 該可聽見音樂中之該等節拍的節奏而改變外觀的GUI 20。該GUI 20包含諸如一背景22、一電池組壽命指示器24與多個圖形選單項目26A、26B、26C與26D之圖形項目。

第2A圖至第2C圖繪示一GUI 20之該外觀用以響應以及與該可聽見音樂中之該節奏同步而改變外觀時，所相繼擷取之該GUI的影像。該實施例中，該圖形選單項目26A是動畫。其尺寸隨該音樂之該節拍脈動。該圖形選單項目26A具有與第2A圖以及第2C圖中相同的尺寸S1，但第2B圖中具有一較大尺寸S2。第2A圖以及第2C圖繪示該圖形選單項目26A之最小尺寸S1而第2B圖繪示其最大尺寸S2。

第3A圖繪示該可聽見音樂具有一慢節奏時，該圖形選單項目26A之該尺寸如何變化。第3B圖繪示該可聽見音樂具有一較快節奏時，該圖形選單項目26A之該尺寸如何變化。

該GUI資料庫16儲存多個獨立的GUI模型來作為獨立的資料結構13。

一GUI模型定義一特定GUI 20並且，若該GUI 20自動適應可聽見音樂時，其定義該GUI如何隨該音樂時間來適應。

例如，第2圖與第3圖繪示之該可調適GUI會由一單一GUI模型來定義。該模型會定義音樂時間中該GUI 20之方位如何變化。該案例中，該圖形符號26A隨著該音樂之該節奏而於一尺寸S1與S2之間變化。

針對一自動可調適GUI之一GUI模型因此定義以該音樂之該節拍判定的一速率採用之GUI組態的一命令序列。一組態是形成該GUI 20與其視覺屬性之該等圖形項目的集合。因此，該GUI模型定義該等圖形項目與其視覺屬性如何隨音樂時間來變化。

該等圖形項目，針對每一個GUI 20而有所不同，但可包括，例如，指示器(例如，剩餘之電池組壽命、接收之信號強度、容量、等等)、一使用者、一背景與影像所選定之項目(諸如清單入口、圖像或按鈕)。

該等視覺屬性可包括一或更多下列項目：一或更多圖形項目之該(等)位置；一或更多圖形項目之該(等)尺寸；一或更多圖形項目之該(等)外型；一或更多圖形項目之該色彩；一色彩調色；一或更多圖形項目之該動畫，諸如一圖形清單項目之飄動，如隨音樂適時飄揚之一旗幟。

因此，應體認第2圖與第3圖是提供來用於為了繪示本發明之實施例概念的簡單範例，而其他實施態樣可顯著不同與/或更複雜。

例如，該背景可隨該音樂之節奏逐漸呈現或消失，以及/或者用於該圖形使用者介面之該色彩調色可隨該音樂之節奏變化。

第4圖繪示一種產生用以響應可聽見音樂而變化之一GUI的方法。

該目前GUI模型之該選定示意繪示於第4圖之區塊50中。該選定可根據目前的脈絡資訊60。

該脈絡資訊可為，例如，選定或指定該目前GUI模型之一使用者輸入指令62。

該選定或者可為自動，亦即，不需使用者介入操作。

該脈絡資訊可為，例如，諸如元資料64之音樂資訊，其設有藉由處理該可聽見音樂而播放或衍生之音軌。該元資料可指出諸如，例如，該音樂類型、抒情曲關鍵字、拍子記號、氣氛音樂(適合跳舞、浪漫)等等之音樂特性。該目前GUI模式之該自動選定可根據該元資料。

該脈絡資訊可為，例如，從該系統10之環境中的無線電或聲音檢測之環境音樂資訊。例如，其可為藉由處理經由一麥克風66檢測之周遭可聽見音樂而衍生的元資料。該元資料可指出諸如，例如，使用語音辨識檢測之該音樂類型、抒情曲關鍵字、拍子記號等等之音樂特性。

步驟52中，可取得根據該音樂之一特性，諸如該音軌之該節奏的音樂資訊。該節奏典型是以每分鐘之節拍數量的型式。該音樂節奏可設有如元資料之該音軌，其從該音樂衍生或該使用者輸入。當該音樂從一儲存的音軌產生時，該音樂節奏之衍生是適合的，或該音樂是一第三廠商生產之周遭音樂時亦是適合的。

使用數位信號處理技術，該節奏資訊可自動衍生。例如，有著名的解決方案是從一聲響信號擷取節拍資訊。

請參閱[請參閱，M.,Muraoka,Y.(1994)。美國加州舊金山多媒體ACM國際會議中進行之“用於音樂聲響信號之一節拍追蹤系統”第365－372頁。]

Klapuri[Klapuri,A.P.,Eronen,A.J.,Astola,J.T.(2006)。有關聲頻、語音、與語言處理之IEEE會報14(1)，第342-355頁，“聲響音樂信號之儀表分析”。]

Seppänen[Seppänen,J.，音樂儀器辨識之計算模型，M,Sc.論文，TUT 2001]

Scheirer[Scheirer,E.D.(1998)。美國聲響社會期刊103(1)，第588-601頁，“聲響音樂信號之節奏與節拍分析”。]

步驟54中，該處理器2使用步驟54取得之該音樂節奏與該目前GUI模型來控制顯示器4上顯示之該GUI 20。該GUI 40隨著該可聽見音樂而適時改變其外觀。該GUI之該外觀可隨著該可聽見音樂之相繼節拍，以一種該目前GUI模型定義之方式而變化。

每一GUI模型資料結構13可獨立轉移進出該資料庫16。例如，一資料結構13可從一網站下載、上載至一網站、從一設備或儲存設備轉移至另一設備等等。每一GUI模型資料結構13與每一個GUI模型因此是可獨立攜帶。一共同標準模型可用來作為每一個GUI模型的基礎。亦即，有一種用於指定該等GUI屬性之語意慣例。

藉由建立一全新GUI模型資料結構13並將其儲存於該GUI模型資料庫16，一使用者可建立一全新GUI模型。

此外，該現存GUI模型可藉由編輯該GUI模型之一現存GUI模型資料結構13，並將該全新資料結構儲存於該GUI模型資料庫16而加以改變。

與一音軌共同使用之一GUI模型資料結構13可設有該音軌。

或者，步驟52中，可取得非該音軌之該節奏的資訊。例如，此可包括該音高，其可藉由使用下列文獻呈現之方法來完成，例如，2002年4月A.de Cheveigne與H.Kawahara所著之“YIN，用於語音與音樂之基頻估計器”，J.Acoust.Soc.Am.,第111卷，第1917－1930頁，或是2005年10月16－19日於紐約市鈕柏玆召開之聲頻與聲響信號處理之應用進行的IEEE研討會，Matti P.Ryynnen與Anssi Klapuri：“使用註解事件塑造之複曲調音樂轉錄”。例如，一GUI元件之該色彩可根據該音高而調適，例如，該音樂之音高增加時，藉此該色彩從藍變紅。

一濾波器組可用來將該音譜分為N個頻帶，並分析每一頻帶之該能量。如一範例中，該等能量與不同頻帶中之能量改變可被檢測，並產生作為音樂資訊以供步驟54中使用。例如，該音譜可分為三個頻帶，而每一頻帶之該等能量可用來控制一GUI元件或背景中的紅、藍、與綠色彩之總量。

該音樂資訊可識別不同的儀表。艾斯德、理察、大衛“複曲調音樂中之儀表辨識”，於2005年有關聲響、語音、與信號處理之進行IEEE國際會議中，提供一種用於辨識不同音樂儀表之存在的方法。例如，檢測一電吉他之存在可使一UI元件產生鏈波，如同該吉他聲音失真則扭曲該圖形元件而產生一錯覺。

該音樂資訊可識別音樂調和與調性：2004年6月17－19日於英國倫敦舉辦之AES第25屆國際會議中，高梅茲、愛雷拉：“從複曲調聲頻紀錄中自動擷取調性元資料”提供一種用於識別音樂調和與調性之方法。例如，該GUI模型可定義該音樂之特定和弦對映至不同色彩。

該GUI亦可根據該麥克風之聲音的特性來調適。例如，該等GUI元件可根據以該麥克風錄音之聲音音量來產生鏈波。因此，若該設備之環境中存有大量雜音，則例如，該大量雜音會造成該等GUI元件產生鏈波。該設備之音樂播放器不播放任何音樂的情況中，該設備僅分析以該麥克風錄音之進入音頻，並使用該音頻特性來控制該等GUI項目之外觀。

雖然本發明之實施例已於前段中參照各種不同範例來說明，但應體認在不違背本發明要求之範疇的情況下，給定之該等範例可作不同的修改。

上述說明書中力圖著重於深信為特別重要之本發明的該等特徵，應了解有關上文之任何專利特徵或特徵組合的申請人申請專利保護範圍，不論其是否特別強調皆會於該等圖式中提及與/或顯示。

1．．．實體

2．．．處理器

4．．．顯示器、記憶體

6．．．使用者輸入設備、電腦程式指令

8．．．音頻輸出設備、顯示器

10．．．系統

12．．．記憶體

13．．．GUI模型資料結構

14．．．電腦程式指令

16．．．GUI資料庫

20、40．．．圖形使用者介面

22．．．背景

24．．．電池組壽命指示器

26A、26B、26C、26D．．．圖形選單項目

50．．．區塊

52、54．．．步驟

60．．．脈絡資訊

62．．．使用者輸入指令

64．．．元資料

66．．．麥克風

第1圖示意繪示一用於控制一圖形使用者介面(GUI)之系統；第2A圖、第2B圖與第2C圖繪示一用以響應該可聽見音樂中之該等節拍的節奏而改變外觀的GUI；第3A圖與第3B圖繪示該可聽見音樂個別具有一慢節奏與一快節奏時，一圖形選單項目之尺寸可如何變化；而第4圖繪示一種產生用以響應可聽見音樂而變化之一GUI的方法。

50．．．區塊

52、54．．．步驟

60．．．脈絡資訊

62．．．使用者輸入指令

64．．．元資料

66．．．麥克風

Claims (20)

1. 一種控制一圖形使用者介面的方法，包含下列步驟：提供一音頻控制信號至一裝置之一音頻輸出設備以致使該音頻輸出設備播放可聽見音樂；取得定義可聽見音樂之至少一種特性的音樂資訊，其中該音樂資訊係藉由處理該可聽見音樂所取得；與藉由改變一圖形選單項目之外觀使用該音樂資訊來控制該裝置之圖形使用者介面之外觀的變化，其中該圖形選單項目使能存取該裝置之功能。
2. 如申請專利範圍第1項所請求之方法，其中該音樂資訊是該可聽見音樂之元資料(metadata)。
3. 如上述申請專利範圍第1項所請求之方法，其中該音樂資訊是用來控制該圖形使用者介面之外觀如何隨時間變化的暫時資訊。
4. 如上述申請專利範圍第1項所請求之方法，其中該音樂資訊定義該可聽見音樂之節拍的節奏。
5. 如上述申請專利範圍第1項所請求之方法，更包含下列步驟：儲存定義該圖形使用者介面至少如何改變之一資料結構，以及使用該資料結構，隨著可聽見音樂之相繼節拍來改變該圖形使用者介面之該外觀。
6. 如申請專利範圍第5項所請求之方法，其中該資料結構從多個資料結構中選定，其中每一個定義一不同的圖形 使用者介面如何變化。
7. 如申請專利範圍第6項所請求之方法，其中每一資料結構具有可使一資料結構與另一資料結構交換之一標準格式。
8. 如申請專利範圍第5項所請求之方法，其中該資料結構是可攜式。
9. 如申請專利範圍第5項所請求之方法，其中該資料結構可由一使用者編輯。
10. 如申請專利範圍第5項所請求之方法，其中該資料結構定義圖形使用者介面組態之一命令序列。
11. 如申請專利範圍第5項所請求之方法，其中該資料結構以用來產生該可聽見音樂之一音軌來接收。
12. 一種電腦程式可用於實行上述申請專利範圍第1項的該方法。
13. 一種控制一圖形使用者介面的裝置，包含：一音頻輸出設備；一組配來提供一包含一圖形選單項目之圖形使用者介面之顯示器，其中該圖形選單項目係組配來使一使用者能夠存取裝置之功能；與一處理器，當音樂可聽見時，組配來提供一音頻控制信號至該音頻輸出設備以致使該音頻輸出設備播放可聽見音樂及取得定義該可聽見音樂之至少一特性的音樂資訊，以及組配來使用該音樂資訊藉由改變該圖形選單項目之外觀以控制該圖形使用者介面之外觀的變 化，其中該音樂資訊係藉由處理可聽見音樂所取得。
14. 一種行動電話包含如申請專利範圍第13項所請求之裝置。
15. 一種行動音樂播放器包含如申請專利範圍第13項所請求之裝置。
16. 如申請專利範圍第13項所請求之裝置，其中該音樂資訊定義該可聽見音樂之節拍的節奏。
17. 一種包含電腦程式指令之電腦程式，當載入至一處理器內時，該等電腦程式指令使能進行下列步驟：提供一音頻控制信號至一裝置之一音頻輸出設備以致使該音頻輸出設備播放可聽見音樂；取得定義可聽見音樂之至少一特性的音樂資訊，其中該音樂資訊係藉由處理該可聽見音樂所取得；與藉由改變一圖形選單項目之外觀使用該音樂資訊來控制裝置之一圖形使用者介面之外觀的變化，其中該圖形選單項目使能對該裝置之功能進行存取。
18. 如申請專利範圍第17項所請求之裝置，其中該音樂資訊定義該可聽見音樂之節拍的節奏。
19. 一種改變一圖形使用者介面之外觀的方法，包含下列步驟：儲存至少定義一裝置之一圖形使用者介面如何改變之一資料結構，以及藉由改變一圖形選單項目之外觀，使用該資料結構，隨著由一音頻輸出裝置所提供之可聽見音樂之相繼節拍來改變該圖形使用者介面之外 觀，其中該圖形選單項目使能存取裝置之功能及音樂資訊係藉由處理該可聽見音樂所取得。
20. 如申請專利範圍第19項所請求之裝置，其中該音樂資訊定義該可聽見音樂之節拍的節奏。