TWI489451B - 基於語音情感辨識之音樂播放系統及其方法 - Google Patents

基於語音情感辨識之音樂播放系統及其方法 Download PDF

Info

Publication number
TWI489451B
TWI489451B TW101147277A TW101147277A TWI489451B TW I489451 B TWI489451 B TW I489451B TW 101147277 A TW101147277 A TW 101147277A TW 101147277 A TW101147277 A TW 101147277A TW I489451 B TWI489451 B TW I489451B
Authority
TW
Taiwan
Prior art keywords
emotional
song
coordinate
database
voice data
Prior art date
Application number
TW101147277A
Other languages
English (en)
Other versions
TW201423734A (zh
Inventor
Kai Tai Song
Cervantes Carlos
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW101147277A priority Critical patent/TWI489451B/zh
Priority to US13/859,760 priority patent/US9570091B2/en
Publication of TW201423734A publication Critical patent/TW201423734A/zh
Application granted granted Critical
Publication of TWI489451B publication Critical patent/TWI489451B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

基於語音情感辨識之音樂播放系統及其方法
本發明是有關於一種音樂播放系統及方法，且特別是有關於一種基於語音情感辨識之音樂播放方法與系統。
就現有技術而言，智慧型、互動型的音樂播放系統尚不多見，且大多需要使用者手動地輸入辨識資料。例如，美國第7764311號專利之技術特徵，利用一台攝影機，以人臉圖像特徵為基礎，來辨識面部表情，接著根據檢測到的使用者情緒，播放媒體(包括視頻、音樂)等內容，此方法需要一個具有高解析度且備有良好計算機處理能力的攝像頭，耗費成本較高。
此外，在美國專利申請案第20090182736號也提出了歌曲的搜索方法，此為利用已建立之歌曲與情感資訊之對應資料庫，藉由使用者手動輸入目前的情緒資料，擷取適合的曲目，以供使用者聆聽。但是，由於使用者當前的情緒資料，需由使用者手動鍵入，換言之，此乃是使用者主觀決定目前想聽的歌曲，而非外部利用客觀機制判定。
本發明提出一種音樂播放系統，適用在基於語音情感辨識以選擇曲目播放，此音樂播放系統包括：一第一資料庫、一第二資料庫、一收音裝置及一控制裝置。其中，第 一資料庫儲存多首歌曲及該些歌曲映射在一情緒座標圖上的歌曲情緒座標，第二資料庫則是儲存情緒辨識參數。收音裝置用於接收一語音資料，控制裝置連接至第一資料庫、第二資料庫及收音裝置。接著，控制裝置分析語音資料，透過第二資料庫進行比對，獲取語音資料映射在情緒座標圖之上的一當前情緒座標，接著接收一目標情緒座標之設定，在當前情緒座標及目標情緒座標相連的一喚醒直線上，找尋第一資料庫中最接近喚醒直線的至少一特定歌曲情緒座標，進而播放所選定之歌曲。
在本發明之一實施例中，上述之控制裝置切割此語音資料為多個子語音資料，接著分析此多個子語音資料的頻率，根據在此語音資料中該多個子語音資料的頻率組合，透過第二資料庫進行比對，獲取對應於此頻率組合的當前情緒座標。
在本發明之一實施例中，更包括控制裝置接收一所欲播放之曲目數量資訊，當曲目數量資訊為N，其中，N為正整數，則控制裝置在喚醒直線上取(N-2)個中繼點，此(N-2)個中繼點將喚醒直線平均分成(N-1)等分，控制裝置找尋各別最接近該(N-2)個中繼點的(N-2)個特定歌曲情緒座標，並找尋第一資料庫中最接近當前情緒座標的一第一歌曲情緒座標及最接近目標情緒座標的一第二歌曲情緒座標。
在本發明之一實施例中，更包括一播放裝置連接至控制裝置，根據此喚醒直線趨勢，播放裝置依序播放第一歌 曲情緒座標所對應的第一歌曲、該(N-2)個特定歌曲情緒座標所對應的(N-2)首特定歌曲、第二歌曲情緒座標所對應的第二歌曲。
在本發明之一實施例中，上述之情緒座標圖為二維座標圖，其中，X軸為情緒正負向(Valence)參數，Y軸為情緒強弱向(Arousal)參數。
本發明提出一種音樂播放方法，適用在基於語音情感辨識以選擇曲目播放，包括下述步驟：利用第一資料庫儲存多首歌曲及該些歌曲映射在一情緒座標圖上的歌曲情緒座標；利用第二資料庫儲存情緒辨識參數；接收語音資料；分析語音資料，透過第二資料庫進行比對，獲取語音資料映射在情緒座標圖之上的一當前情緒座標；接著，接收一目標情緒座標之設定；在當前情緒座標及目標情緒座標相連的一喚醒直線上，找尋第一資料庫中最接近喚醒直線的至少一特定歌曲情緒座標。
基於上述，本發明提出一種音樂播放系統及其方法。此方法允許音樂播放系統自動從歌曲資料庫中選取音樂，這些被選取之歌曲也以二維Valence-Arousal數值呈現。此外，本發明提出一個喚醒策略，如果使用者聲音被偵測為負面情緒，即會自動選取並播放多樣化音樂類型，用於提升使用者情感進而達到更平靜及快樂的境界。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依據本發明實施例之一種音樂播放系統的功能方塊圖，音樂播放系統100是適用在基於使用者語音情感之辨識，用以選擇曲目播放的系統。音樂播放系統100包括：控制裝置110、第一資料庫120、第二資料庫125、收音裝置130及播放裝置140，資料庫120、收音裝置130及播放裝置140均連接至控制裝置110。本發明所提出的音樂播放系統100可以存在於一智慧型手機、平板電腦、桌上型電腦、筆記型電腦等電子裝置，其中，控制裝置110可為硬體及/或軟體所實現的功能模塊，其中，硬體可包括中央處理器、晶片組、微處理器等具有運算功能的硬體設備或上述硬體設備的組合，而軟體則可以是作業系統、驅動程式等等，收音裝置130可以是一麥克風，播放裝置140可為一般的音樂播放器。而第一資料庫120、第二資料庫125可以是存於電子裝置的記憶體，亦可以是儲存於網路雲端之上。
圖2是依據本發明實施例之一種音樂播放方法的流程圖，請同時參照圖1及圖2。首先，音樂播放系統100利用第一資料庫120儲存多首歌曲及該些歌曲映射在情緒座標圖上的歌曲情緒座標(步驟S205)，並利用第二資料庫125儲存情緒辨識參數(步驟S215)。而上述所指的情緒座標圖，其為根據心理學家泰耶(Thayer)提出的二維情緒平面所定義，請見圖3A~圖3B。
圖3A即為心理學上的二維情緒平面(Two-Dimension Emotional Plane)示意圖。心理學家泰耶提出了如圖1的情緒平面，圖1的X軸為情緒正負向(Valence)，往右為正向(Positive)，往左為負向(Negative)。Y軸為情緒強弱向(Arousal)，往上為強(High)，往下為弱(Low)。在圖3A上也定義了不同種類的情緒，例如：興奮(Excited)、快樂(Happy)、愉悅(Pleased)、輕鬆(Relaxed)、寧靜(Peaceful)、冷靜(Calm)、困倦(Sleepy)、無聊(Bored)、悲傷(Sad)、緊張(Nervous)、生氣(Angry)及苦惱(Annoying)等。
圖3B是依據本發明實施例所提出之一種情緒座標圖，基於圖3A之理論基礎，此情緒座標圖在X軸為情緒正負向，X軸上最大值定義為+1，最小值為-1。Y軸為情緒強弱向，Y軸上最大值定義為+1，最小值為-1。在此情緒座標圖中，中央區域定義為中性(Neutral)情緒，情緒座標圖其他區域也定義了驚喜(Surprise)、快樂(Happy)、無聊(Bored)、悲傷(Sad)、生氣(Angry)等情緒。
在步驟S205~S215，第一資料庫120與第二資料庫125中的各項資訊建置完成之後，收音裝置130接收一使用者的語音資料(步驟S220)，控制裝置110分析此語音資料，透過第二資料庫125進行比對，獲取此語音資料映射在上述情緒座標圖之上的一當前情緒座標(步驟S225)，此步驟包括控制裝置110切割語音資料為多個子語音資料，接著分析多個子語音資料的頻率，根據在此語音資料中多個子 語音資料的頻率組合，透過第二資料庫125中的資訊，獲取對應於此頻率組合的當前情緒座標。
接著，接收一目標情緒座標之設定(步驟S230)，使用者可以自行決定想要到達的情緒狀態，對應輸入目標情緒座標，控制裝置110則接收使用者對目標情緒座標之設定。接著，使用者根據目前想收聽的曲目數量，對音樂播放系統100輸入曲目數量，控制裝置110則接收此對曲目數量資訊之設定(步驟S235)。
圖4A是依據本發明實施例之一種計算情緒座標與歌曲情緒座標最小距離之示意圖，圖4B是依據本發明實施例之一種基於喚醒直線選取歌曲的示意圖，接下來的步驟將配合圖4A及圖4B加以說明。在前述的步驟中可得知，在第一資料庫120中，每首歌曲有其對應的歌曲情緒座標，如圖4A所示的歌曲A、歌曲B及歌曲C，當系統需判斷哪一個歌曲情緒座標最接近所選定之情緒座標(如圖4A中的三角標誌402)時，本發明將利用計算歐式距離(Euclidean distance)來判定。也就是說，計算出d1、d2、d3，來判斷歌曲A、歌曲B、歌曲C何者離圖4A的所選定之情緒座標402最近，最近距離者，即是最接近所選定之情緒座標之歌曲。
在步驟S235中，控制裝置110已接收到曲目數量資訊。當曲目數量資訊為N，N為正整數，則控制裝置110在當前情緒座標及目標情緒座標相連的一喚醒直線上取(N-2)個中繼點，此(N-2)個中繼點將喚醒直線平均分成(N-1) 等分(步驟S240)，接著，控制裝置110於第一資料庫120中，找尋各別最接近此(N-2)個中繼點的(N-2)個特定歌曲情緒座標(步驟S245)，找尋最接近當前情緒座標的第一歌曲情緒座標(步驟S250)，並找尋最接近目標情緒座標的第二歌曲情緒座標(步驟S255)。最後，根據喚醒直線趨勢，依序播放第一歌曲情緒座標所對應的第一歌曲、(N-2)個特定歌曲情緒座標所對應的(N-2)首特定歌曲、第二歌曲情緒座標所對應的第二歌曲(步驟S260)。
以圖4B為例，曲目數量資訊為5，則在當前情緒座標(三角標誌410)及目標情緒座標(方形標誌420)相連的一喚醒直線上取3個中繼點(十字形標誌412、414、416)，此3個中繼點將喚醒直線平均分成4等分。接著，找尋各別最接近此3個中繼點的3個特定歌曲情緒座標(如圖4B上的標誌432、434、436)，找尋最接近當前情緒座標的第一歌曲情緒座標(標誌430)，並找尋最接近目標情緒座標的第二歌曲情緒座標(標誌440)。根據喚醒直線趨勢，依序播放第一歌曲情緒座標430所對應的第一歌曲、該3個特定歌曲情緒座標(432、434、436)所對應的3首特定歌曲、第二歌曲情緒座標440所對應的第二歌曲。換言之，依序播放430、432、434、436、440所對應的歌曲，讓使用者當前的情緒能被喚醒至目標狀態，也就是最接近目標情緒座標420的情緒狀態。
圖5是依據本發明實施例之一種音樂播放系統的使用者介面示意圖。在使用者介面500中，使用者在目標情緒 座標設置中鍵入情緒正負向之值為0.55、情緒強弱向之值為0.33以及曲目數量為5，本發明提出的音樂播放系統100則可選取出目前適合使用者聆聽的5首歌曲，在使用者介面500的左下方顯示情緒座標圖，此為控制裝置100所計算出的結果，另外在使用者介面500的右下方顯示每首歌曲的曲目資訊，以及每首歌曲的情緒正負向與情緒強弱向座標。
綜上所述，本發明提出一種音樂播放系統及其方法。互動應用的人機介面設計，利用聲音訊號作為情感辨識基礎，進而創造一個可感知情緒的音樂播放器，以應用於智慧型手機與智慧機器人。由於人類具有複雜的情緒，例如快樂或高興，不能僅藉由某些特定的數據類別來加以區分，因此本發明提出的音樂播放系統可以將簡短的語音投射至二維Valence-Arousal情緒座標，使用者任何情感可以以相對應之連續值表示。本發明之方法也允許系統自動從歌曲資料庫中選取音樂，這些被選取歌曲也以二維Valence-Arousal數值呈現。此外，我們提出一個喚醒策略，如果使用者聲音被偵測為負面情緒，即會自動選取並播放多樣化音樂類型，用於提升使用者情感進而達到更平靜及快樂的境界，透過使用者情感表達，可以增進人們與科技產品間之互動。本發明之方法可以被應用現於流行且平價嵌入式平台，它提供使用者電子麥克風及觸控式螢幕作為輸入設備。本發明提出之系統可被整合於各種人機介面應用，亦可透過雲端科技建立資料庫及辨識引擎，舉凡陪伴式機器人、汽車音響及通訊設備。其中通訊設備，如 手機，可以根據使用者情緒狀態播放合適音樂，且現今低資源需求與平價之嵌入式系統已普遍應用於各式產品中。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧音樂播放系統
110‧‧‧控制裝置
120‧‧‧第一資料庫
125‧‧‧第二資料庫
130‧‧‧收音裝置
140‧‧‧播放裝置
402‧‧‧被選定之情緒座標
410‧‧‧當前情緒座標
412、414、416‧‧‧中繼點
420‧‧‧目標情緒座標
430、432、434、436、440‧‧‧歌曲情緒座標
500‧‧‧使用者介面
S205~S250‧‧‧音樂播放方法的流程步驟
圖1是依據本發明實施例之一種音樂播放系統的功能方塊圖。
圖2是依據本發明實施例之一種音樂播放方法的流程圖。
圖3A是一種心理學上的二維情緒平面示意圖。
圖3B是依據本發明實施例之一種情緒座標圖。
圖4A是依據本發明實施例之一種計算情緒座標與歌曲情緒座標最小距離之示意圖。
圖4B是依據本發明實施例之一種基於喚醒直線選取歌曲的示意圖。
圖5是依據本發明實施例之一種音樂播放系統的使用者介面示意圖。
S205~S260‧‧‧音樂播放方法流程步驟

Claims (10)

  1. 一種音樂播放系統，適用在基於語音情感辨識以選擇曲目播放，包括：一第一資料庫，儲存多首歌曲及該些歌曲映射在一情緒座標圖上的歌曲情緒座標；一第二資料庫，儲存情緒辨識參數；一收音裝置，接收一語音資料；一控制裝置，連接至該第一資料庫、該第二資料庫及該收音裝置，分析該語音資料的頻率，透過該第二資料庫進行比對，獲取該語音資料映射在該情緒座標圖之上的一當前情緒座標，接著接收一目標情緒座標之設定，在該當前情緒座標及該目標情緒座標相連的一喚醒直線上，找尋該第一資料庫中最接近該喚醒直線的至少一特定歌曲情緒座標。
  2. 如申請專利範圍第1項所述之音樂播放系統，其中，該控制裝置切割該語音資料為多個子語音資料，接著分析該多個子語音資料的頻率，根據在該語音資料中該多個子語音資料的頻率組合，透過該第二資料庫進行比對，獲取對應於該頻率組合的該當前情緒座標。
  3. 如申請專利範圍第1項所述之音樂播放系統，更包括該控制裝置接收一曲目數量資訊，當該曲目數量資訊為N，其中，N為正整數，則該控制裝置在該喚醒直線上取(N-2)個中繼點，該(N-2)個中繼點將該喚醒直線平均分成(N-1)等分，該控制裝置找尋各別最接近該(N-2)個中繼點的(N-2) 個特定歌曲情緒座標，並找尋該第一資料庫中最接近該當前情緒座標的一第一歌曲情緒座標及最接近該目標情緒座標的一第二歌曲情緒座標。
  4. 如申請專利範圍第3項所述之音樂播放系統，更包括：一播放裝置，連接至該控制裝置，根據該喚醒直線趨勢，該播放裝置依序播放該第一歌曲情緒座標所對應的第一歌曲、該(N-2)個特定歌曲情緒座標所對應的(N-2)首特定歌曲、該第二歌曲情緒座標所對應的第二歌曲。
  5. 如申請專利範圍第1項所述之音樂播放系統，其中該情緒座標圖為二維座標圖，其中，X軸為情緒正負向(Valence)參數，Y軸為情緒強弱向(Arousal)參數。
  6. 一種音樂播放方法，適用在基於語音情感辨識以選擇曲目播放，包括：利用一第一資料庫儲存多首歌曲及該些歌曲映射在一情緒座標圖上的歌曲情緒座標；利用一第二資料庫儲存情緒辨識參數；接收一語音資料；分析該語音資料的頻率，透過該第二資料庫進行比對，獲取該語音資料映射在該情緒座標圖之上的一當前情緒座標；接收一目標情緒座標之設定；以及 在該當前情緒座標及該目標情緒座標相連的一喚醒直線上，找尋該第一資料庫中最接近該喚醒直線的至少一特定歌曲情緒座標。
  7. 如申請專利範圍第6項所述之音樂播放方法，其中，在分析該語音資料的頻率，透過該第二資料庫進行比對，獲取該語音資料映射在該情緒座標圖之上的該當前情緒座標之步驟包括：切割該語音資料為多個子語音資料；分析該多個子語音資料的頻率；以及根據在該語音資料中該多個子語音資料的頻率組合，透過該第二資料庫進行比對，獲取對應於該頻率組合的該當前情緒座標。
  8. 如申請專利範圍第6項所述之音樂播放方法，更包括：該控制裝置接收一曲目數量資訊；當該曲目數量資訊為N，其中，N為正整數，則在該喚醒直線上取(N-2)個中繼點，該(N-2)個中繼點將該喚醒直線平均分成(N-1)等分；找尋各別最接近該(N-2)個中繼點的(N-2)個特定歌曲情緒座標；找尋該第一資料庫中最接近該當前情緒座標的一第一歌曲情緒座標；以及找尋該第一資料庫中最接近該目標情緒座標的一第二歌曲情緒座標。
  9. 如申請專利範圍第8項所述之音樂播放方法，更包括：根據該喚醒直線趨勢，依序播放該第一歌曲情緒座標所對應的第一歌曲、該(N-2)個特定歌曲情緒座標所對應的(N-2)首特定歌曲、該第二歌曲情緒座標所對應的第二歌曲。
  10. 如申請專利範圍第6項所述之音樂播放方法，其中該情緒座標圖為二維座標圖，其中，X軸為情緒正負向參數，Y軸為情緒強弱向參數。
TW101147277A 2012-12-13 2012-12-13 基於語音情感辨識之音樂播放系統及其方法 TWI489451B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101147277A TWI489451B (zh) 2012-12-13 2012-12-13 基於語音情感辨識之音樂播放系統及其方法
US13/859,760 US9570091B2 (en) 2012-12-13 2013-04-10 Music playing system and music playing method based on speech emotion recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101147277A TWI489451B (zh) 2012-12-13 2012-12-13 基於語音情感辨識之音樂播放系統及其方法

Publications (2)

Publication Number Publication Date
TW201423734A TW201423734A (zh) 2014-06-16
TWI489451B true TWI489451B (zh) 2015-06-21

Family

ID=50931949

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101147277A TWI489451B (zh) 2012-12-13 2012-12-13 基於語音情感辨識之音樂播放系統及其方法

Country Status (2)

Country Link
US (1) US9570091B2 (zh)
TW (1) TWI489451B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140104537A (ko) * 2013-02-18 2014-08-29 한국전자통신연구원 생체 신호 기반의 감성 인터랙션 장치 및 방법
KR101727592B1 (ko) * 2013-06-26 2017-04-18 한국전자통신연구원 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법
US10068588B2 (en) * 2014-07-21 2018-09-04 Microsoft Technology Licensing, Llc Real-time emotion recognition from audio signals
WO2016054006A1 (en) * 2014-09-30 2016-04-07 Thomson Licensing Methods and systems for multi-state recommendations
US20160379638A1 (en) * 2015-06-26 2016-12-29 Amazon Technologies, Inc. Input speech quality matching
CN105334743B (zh) * 2015-11-18 2018-10-26 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统
TWI579836B (zh) * 2016-01-15 2017-04-21 Real - time music emotion recognition system
WO2017128221A1 (zh) * 2016-01-28 2017-08-03 常平 一种音乐的播放方法及移动终端
WO2017128219A1 (zh) * 2016-01-28 2017-08-03 常平 一种根据心情播放音乐时的信息推送方法及移动终端
WO2017131272A1 (ko) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 음악 감정 분석 시스템 및 이를 이용한 감정 분석 방법
CN106128479B (zh) * 2016-06-30 2019-09-06 福建星网视易信息系统有限公司 一种演唱情感识别方法及装置
CN106125566A (zh) * 2016-08-05 2016-11-16 易晓阳 一种家居背景音乐控制系统
CN106297826A (zh) * 2016-08-18 2017-01-04 竹间智能科技（上海）有限公司 语音情感辨识系统及方法
CN106648058B (zh) * 2016-10-10 2023-04-18 珠海格力电器股份有限公司 一种歌曲切换方法及装置
US11205127B2 (en) * 2017-01-30 2021-12-21 International Business Machines Corporation Computer program product for sensory stimulation to ameliorate a cognitive state
KR101965372B1 (ko) * 2017-06-12 2019-04-03 주식회사 아카인텔리전스 컴퓨터의 감정을 결정하는 방법
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US11418467B2 (en) * 2017-09-12 2022-08-16 Get Together, Inc. Method for delivery of an encoded EMS profile to a user device
JP6896594B2 (ja) * 2017-11-27 2021-06-30 Kddi株式会社 楽曲選択装置、楽曲選択方法及びプログラム
EP3508972A1 (en) * 2018-01-04 2019-07-10 Harman International Industries, Incorporated Biometric personalized audio processing system
CN108712557B (zh) * 2018-03-27 2020-09-01 浙江大学 一种情感化音乐唤醒的方法
US10566010B2 (en) * 2018-04-20 2020-02-18 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10621983B2 (en) 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
EP3557577B1 (en) 2018-04-20 2022-09-21 Spotify AB Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10622007B2 (en) 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
CN110223712B (zh) * 2019-06-05 2021-04-20 西安交通大学 一种基于双向卷积循环稀疏网络的音乐情感识别方法
CN113823281B (zh) * 2020-11-24 2024-04-05 北京沃东天骏信息技术有限公司 语音信号处理方法、装置、介质及电子设备
US12033661B2 (en) * 2022-05-18 2024-07-09 GM Global Technology Operations LLC Vehicle infotainment system for selecting recordings based on user emotion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164131A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a media content-linked population cohort
WO2012019827A1 (en) * 2010-08-09 2012-02-16 Shubhangi Mahadeo Jadhav User interface for creating a playlist

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
US20040237759A1 (en) * 2003-05-30 2004-12-02 Bill David S. Personalizing content
EP1530195A3 (en) 2003-11-05 2007-09-26 Sharp Kabushiki Kaisha Song search system and song search method
US7022907B2 (en) * 2004-03-25 2006-04-04 Microsoft Corporation Automatic music mood detection
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
KR100772386B1 (ko) * 2005-12-10 2007-11-01 삼성전자주식회사 음악 파일 분류 방법 및 그 시스템
US20070150281A1 (en) * 2005-12-22 2007-06-28 Hoff Todd M Method and system for utilizing emotion to search content
TW200727170A (en) * 2006-01-09 2007-07-16 Ulead Systems Inc Method for generating a visualizing map of music
KR100717387B1 (ko) * 2006-01-26 2007-05-11 삼성전자주식회사 유사곡 검색 방법 및 그 장치
KR20080073066A (ko) * 2007-02-05 2008-08-08 삼성전자주식회사 컨텐츠 관리 장치 및 방법
US8583615B2 (en) * 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
US8260778B2 (en) 2008-01-16 2012-09-04 Kausik Ghatak Mood based music recommendation method and system
WO2010148141A2 (en) * 2009-06-16 2010-12-23 University Of Florida Research Foundation, Inc. Apparatus and method for speech analysis
US20110289075A1 (en) * 2010-05-24 2011-11-24 Nelson Erik T Music Recommender
US8489606B2 (en) * 2010-08-31 2013-07-16 Electronics And Telecommunications Research Institute Music search apparatus and method using emotion model
KR101527370B1 (ko) * 2011-11-28 2015-06-10 한국전자통신연구원 음악의 감정 정보를 이용한 추천음악 검색 방법 및 장치
TWI473080B (zh) * 2012-04-10 2015-02-11 Nat Univ Chung Cheng The use of phonological emotions or excitement to assist in resolving the gender or age of speech signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164131A1 (en) * 2007-12-20 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a media content-linked population cohort
WO2012019827A1 (en) * 2010-08-09 2012-02-16 Shubhangi Mahadeo Jadhav User interface for creating a playlist

Also Published As

Publication number Publication date
US20140172431A1 (en) 2014-06-19
TW201423734A (zh) 2014-06-16
US9570091B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
TWI489451B (zh) 基於語音情感辨識之音樂播放系統及其方法
US11009958B2 (en) Method and apparatus for providing sight independent activity reports responsive to a touch gesture
US10068573B1 (en) Approaches for voice-activated audio commands
US11189273B2 (en) Hands free always on near field wakeword solution
CN107615276B (zh) 用于媒体回放的虚拟助理
JP6657124B2 (ja) 会話理解システムのためのセッションコンテキストモデリング
US9489934B2 (en) Method for selecting music based on face recognition, music selecting system and electronic apparatus
CN103456314B (zh) 一种情感识别方法以及装置
JP7558639B2 (ja) バイオメトリックの個人化オーディオ処理システム
US20140119564A1 (en) System and method for using biometrics to predict and select music preferences
US11562520B2 (en) Method and apparatus for controlling avatars based on sound
CN110211589B (zh) 车载系统的唤醒方法、装置以及车辆、机器可读介质
CN107589828A (zh) 基于知识图谱的人机交互方法及系统
EP3593346B1 (en) Graphical data selection and presentation of digital content
CN110830368B (zh) 即时通讯消息发送方法及电子设备
CN110544287B (zh) 一种配图处理方法及电子设备
CN108829253B (zh) 一种模拟音乐指挥播放方法及装置
CN108763475B (zh) 一种录制方法、录制装置及终端设备
CN107562917B (zh) 用户推荐方法及装置
CN113177134A (zh) 音乐播放方法、装置、电子设备和存储介质
CN111314771A (zh) 一种视频播放方法及相关设备
CN112232059B (zh) 文本纠错方法、装置、计算机设备及存储介质
CN111444321A (zh) 问答方法、装置、电子设备和存储介质
CN109213892A (zh) 一种音频播放方法、装置、设备及存储介质
CN107426425A (zh) 应用程序控制方法、装置、计算机装置及可读存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees