TWI603213B - 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置 - Google Patents

基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置 Download PDF

Info

Publication number
TWI603213B
TWI603213B TW103102459A TW103102459A TWI603213B TW I603213 B TWI603213 B TW I603213B TW 103102459 A TW103102459 A TW 103102459A TW 103102459 A TW103102459 A TW 103102459A TW I603213 B TWI603213 B TW I603213B
Authority
TW
Taiwan
Prior art keywords
emotional
coordinate
coordinates
song
songs
Prior art date
Application number
TW103102459A
Other languages
English (en)
Other versions
TW201530326A (zh
Inventor
宋開泰
林昭宇
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW103102459A priority Critical patent/TWI603213B/zh
Priority to US14/284,405 priority patent/US9489934B2/en
Publication of TW201530326A publication Critical patent/TW201530326A/zh
Application granted granted Critical
Publication of TWI603213B publication Critical patent/TWI603213B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/131—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for abstract geometric visualisation of music, e.g. for interactive editing of musical parameters linked to abstract geometric figures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

基於臉部辨識的音樂選取方法、音樂選取系統及電 子裝置
本發明是有關於一種音樂選取方法、音樂選取系統及電子裝置，且特別是有關於一種基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置。
美國核准專利08094891提出一套音樂選取播放方法，該發明能夠根據擷取之使用者人臉影像，辨識使用者情緒類別，進而結合音樂之性質以播放對應的音樂。此發明只經由一次使用者情緒與音樂類型之判斷即決定歌曲播放清單，而未考量使用者在音樂播放過程中可能的情緒轉換。亦即，此發明所產生的歌曲播放清單在產生之後即不會再被更動，因而無法依據使用者的情緒變化來調整歌曲播放清單中的內容。
美國核准專利08489606提出一套音樂選取方法，根據使用者指定之情緒類型決定播放之音樂。該發明提出之音樂選取系 統，藉由辨識使用者輸入之圖形，決定該圖形之情緒類型，與情緒類型對應之情緒強弱向參數-情緒正負向參數(Arousal-Valence，A-V)範圍，進而取得其對應之數首音樂A-V，並建立歌曲播放清單。此發明必須由使用者以圖形之方式呈述個人之情感，該系統則依據使用者畫出之圖形資訊(如形狀、大小)辨識其對應之A-V，選擇適當之數首音樂建立播放清單並做播放，然而音樂播放過程中，該發明缺乏使用者情緒轉換，以及轉換使用者情緒之考量。
美國核准專利07839292提出一套預測危險駕駛之系統與方法。該發明藉由序列學習演算法，判斷汽車動態參數、擷取駕駛生理資料，以及駕駛者行為、狀態特徵，進行駕駛危險預測，輔助駕駛者駕駛之安全。此發明利用聲音的警報裝置警示危險駕駛之駕駛者，然而，此種突然間產生破壞性聲音警示的警報系統，可能造成不可預期的意外產生。
美國核准專利08102417提出一套駕駛者眼睛閉合狀態辨識之方法，此發明包含視頻擷取裝置，擷取駕駛者眼睛區域之影像，以及視頻處理器，其主要目的在於判斷眼睛區域影像是否為雜訊，即是否偵測到眼珠，經由一段時間判斷眼睛開合之變化，進行疲勞駕駛之判斷。此發明只針對眼睛區域做駕駛者狀態之判斷，其主要只應用於疲勞辨識，然而，對於駕駛情緒而言，駕駛者之情緒是否在控制之下亦需加以考量。
本發明提供一種基於臉部辨識的音樂選取方法，適於音樂選取系統。所述方法包括下列步驟：存取資料庫以取得對應於多首歌曲的多個歌曲情緒座標；映射所述多個歌曲情緒座標至情緒座標圖；擷取人臉影像；辨識對應於人臉影像的情緒狀態，並轉換情緒狀態為當下情緒座標；映射當下情緒座標至情緒座標圖；依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲播放清單，其中歌曲播放清單包括用以將當下情緒座標導向目標情緒座標的多首待播歌曲。
在本發明之一實施例中，依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲播放清單的步驟包括：在第一連線上定義多個參考情緒座標，其中第一連線為當下情緒座標與目標情緒座標之間的連線；從所述多個歌曲情緒座標中挑選最接近於所述多個參考情緒座標的多個候選歌曲情緒座標；設定對應於所述多個候選歌曲情緒座標的所述多個歌曲為所述多個待播歌曲。
在本發明之一實施例中，在第一連線上定義所述多個參考情緒座標的步驟包括：表徵所述多個參考情緒座標中的第n個參考情緒座標為： ，其中N R 為所述多個待播歌曲的總數，n為介於1與N R 之 間的正整數，d TS 為情緒座標與目標情緒座標之間的距離，θ TS 為情緒座標圖的橫軸與第一連線之間的夾角，為所述第n個參考情緒座標在情緒座標圖上的縱座標，為所述第n個參考情緒座標在情緒座標圖上的橫座標，A S 為當下情緒座標在情緒座標圖上的縱座標，V S 為當下情緒座標在情緒座標圖上的橫座標。
在本發明之一實施例中，所述多個候選歌曲情緒座標中的第n個候選歌曲情緒座標滿足下式：
其中為所述第n個候選歌曲情緒座標在情緒座標圖上的縱座標，為所述第n個候選歌曲情緒座標在情緒座標圖上的橫座標，，θ EM為第二連線以及第三連線之間的夾角， 其中，第二連線為所述第n個參考情緒座標與所述目標情緒座標之間的連線，第三連線為所述第n個參考情緒座標與所述第n個候選歌曲情緒座標之間的連線。
在本發明之一實施例中，在依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲播放清單的步驟之後，更包括：依據歌曲播放清單播放所述多個待播歌曲。
在本發明之一實施例中，在依據歌曲播放清單播放所述多個待播歌曲的步驟之後，更包括：重複執行擷取人臉影像、辨識對應於人臉影像的情緒狀態、映射當下情緒座標至情緒座標圖以及依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲 播放清單的步驟，直到當下情緒座標已被導向至目標情緒座標或是所述多個待播歌曲已播放完畢為止。
本發明提供一種音樂選取系統，其包括取像裝置、影像處理裝置、控制裝置、播放裝置以及資料庫。影像處理裝置連接至取像裝置。控制裝置連接至影像處理裝置。播放裝置連接至控制裝置。資料庫連接至控制裝置。控制裝置存取資料庫以取得對應於多首歌曲的多個歌曲情緒座標。控制裝置映射所述多個歌曲情緒座標至情緒座標圖。取像裝置擷取人臉影像。影像處理裝置辨識對應於人臉影像的情緒狀態，並轉換情緒狀態為當下情緒座標。控制裝置映射當下情緒座標至情緒座標圖。控制裝置依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲播放清單，其中歌曲播放清單包括用以將當下情緒座標導向目標情緒座標的多首待播歌曲。
在本發明之一實施例中，控制裝置：在第一連線上定義多個參考情緒座標，其中第一連線為當下情緒座標與目標情緒座標之間的連線；從所述多個歌曲情緒座標中挑選最接近於所述多個參考情緒座標的多個候選歌曲情緒座標；設定對應於所述多個候選歌曲情緒座標的所述多個歌曲為所述多個待播歌曲。
在本發明之一實施例中，控制裝置表徵所述多個參考情緒座標中的第n個參考情緒座標為： ，其中N R 為所述多個待播歌曲的總數，n為介於1與N R 之間的正整數，d TS 為情緒座標與目標情緒座標之間的距離，θ TS 為情緒座標圖的橫軸與第一連線之間的夾角，為所述第n個參考情緒座標在情緒座標圖上的縱座標，為所述第n個參考情緒座標在情緒座標圖上的橫座標，A S 為當下情緒座標在情緒座標圖上的縱座標，V S 為當下情緒座標在情緒座標圖上的橫座標。
在本發明之一實施例中，所述多個候選歌曲情緒座標中的第n個候選歌曲情緒座標滿足下式：
其中為所述第n個候選歌曲情緒座標在情緒座標圖上的縱座標，為所述第n個候選歌曲情緒座標在情緒座標圖上的橫座標，，θ EM為第二連線以及第三連線之間的夾角， 其中，第二連線為所述第n個參考情緒座標與所述目標情緒座標之間的連線，第三連線為所述第n個參考情緒座標與所述第n個候選歌曲情緒座標之間的連線。
在本發明之一實施例中，播放裝置依據歌曲播放清單播放所述多個待播歌曲。
本發明提供一種電子裝置，其包括取像裝置、影像處理裝置、控制裝置、播放裝置以及資料庫。影像處理裝置連接至取 像裝置。控制裝置連接至影像處理裝置。播放裝置連接至控制裝置。資料庫連接至控制裝置。控制裝置存取資料庫以取得對應於多首歌曲的多個歌曲情緒座標。控制裝置映射所述多個歌曲情緒座標至情緒座標圖。取像裝置擷取人臉影像。影像處理裝置辨識對應於人臉影像的情緒狀態，並轉換情緒狀態為當下情緒座標。控制裝置映射當下情緒座標至情緒座標圖。控制裝置依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲播放清單，其中歌曲播放清單包括用以將當下情緒座標導向目標情緒座標的多首待播歌曲。
基於上述，本發明實施例提出的基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置可在基於人臉影像辨識出使用者的情緒狀態之後，透過調整歌曲播放清單的方式來控制接下來將播放給使用者聽的歌曲。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧音樂選取系統
110、910‧‧‧取像裝置
120、920‧‧‧影像處理裝置
130、930‧‧‧控制裝置
140、940‧‧‧播放裝置
150、950‧‧‧資料庫
410、420、765_1、766_1、S1~S5‧‧‧歌曲情緒座標
500、600、750_1、760_1‧‧‧情緒座標圖
510、610、620‧‧‧當下情緒座標
520、630‧‧‧目標情緒座標
710_1、720_1‧‧‧影像
730_1、740_1‧‧‧區域
770_1~770_4、870_1~870_4‧‧‧歌曲播放清單
900‧‧‧電子裝置
L51、L61、L61’‧‧‧第一連線
L52‧‧‧第二連線
L53‧‧‧第三連線
R1~R5、R2’~R5’‧‧‧參考情緒座標
S210~S270‧‧‧步驟
圖1是依據本發明之一實施例繪示的音樂選取系統示意圖。
圖2是依據本發明實施例繪示的基於臉部辨識的音樂選取方法流程圖。
圖3A為心理學上的二維情緒平面示意圖。
圖3B是依據本發明之一實施例所提出的情緒座標圖。
圖4例如是將歌曲情緒座標映射至情緒座標圖的示意圖。
圖5是依據本發明之一實施例繪示的情緒座標圖。
圖6是依據本發明之一實施例繪示的更新待播歌曲的示意圖。
圖7A至圖7D是依據本發明之一實施例繪示的以歌曲將情緒狀態從疲倦導引至高興的示意圖。
圖8A至圖8D是依據本發明之一實施例繪示的以歌曲將情緒狀態從憤怒導引至高興的示意圖。
圖9是依據本發明之一實施例繪示的電子裝置功能方塊圖。
圖1是依據本發明之一實施例繪示的音樂選取系統示意圖。在本實施例中，音樂選取系統100包括取像裝置110、影像處理裝置120、控制裝置130、播放裝置140以及資料庫150。取像裝置110連接至影像處理裝置120。控制裝置130連接至影像處理裝置120、播放裝置140以及資料庫150。
取像裝置110例如是任何具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭，或紅外線鏡頭的攝影機，亦可以是可取得深度資訊的影像擷取設備，例如是深度攝影機(depth camera)或立體攝影機，只要所使用的影像擷 取設備可擷取影像者，即不脫離本發明實施例的範疇。
影像處理裝置120可以是影像處理晶片、處理器或電腦系統等硬體元件，或是具備影像處理功能的軟體元件(例如能辨識、擷取或編輯影像的應用程式)。此外，影像處理裝置120也可以是硬體及軟體元件的組合。
控制裝置130可為硬體及/或軟體所實現的功能模組。所述硬體可包括中央處理器、晶片組、微處理器等具有運算功能的硬體設備或上述硬體設備的組合，而軟體則可以是作業系統、驅動程式等等。播放裝置140可為一般的音樂播放器，例如音響等。資料庫150可以是電子裝置中的記憶體或是儲存歌曲檔案的網路伺服器等。
在一實施例中，本發明所提出的音樂選取系統100可實現於於智慧型手機、平板電腦、桌上型電腦、筆記型電腦等電子裝置中。在其他實施例中，音樂選取系統100中的各個裝置亦可實現為多個獨立的電子裝置，而這些電子裝置可共同合作以實現以下實施例中所介紹的各種特性及功效，但本發明的可實施方式不限於此。
概略而言，本發明實施例提出的方法可在基於人臉影像辨識出使用者的情緒狀態之後，透過調整歌曲播放清單的方式來控制接下來將播放給使用者聽的歌曲，進而將使用者的情緒狀態(例如是緊張、疲倦、生氣及悲傷等情緒狀態)逐漸地導引至目標情緒狀態(例如是輕鬆、快樂及快樂等情緒狀態)。以下將詳細 介紹本發明實施例提出的方法細節。
圖2是依據本發明之一實施例繪示的基於臉部辨識的音樂選取方法流程圖。本實施例的方法可由圖1的音樂選取系統100執行，以下即搭配圖1所示的各個裝置來說明本方法的詳細步驟。
在步驟S210中，控制裝置130可存取資料庫150以取得對應於多首歌曲的多個歌曲情緒座標。在步驟S220中，控制裝置130可映射所述多個歌曲情緒座標至情緒座標圖。
上述所指的情緒座標圖為根據心理學家泰耶(Thayer)提出的二維情緒平面所定義。請參照圖3A，圖3A為心理學上的二維情緒平面(Two-Dimension Emotional Plane)示意圖。心理學家泰耶提出了如圖3A的情緒平面，圖3A的X軸為情緒正負向(Valence)，往右為正向(Positive)，往左為負向(Negative)。Y軸為情緒強弱向(Arousal)，往上為強(High)，往下為弱(Low)。在圖3A上也定義了不同種類的情緒，例如：興奮(Excited)、快樂(Happy)、快樂(Pleased)、輕鬆(Relaxed)、寧靜(Peaceful)、冷靜(Calm)、困倦(Sleepy)、無聊(Bored)、悲傷(Sad)、緊張(Nervous)、生氣(Angry)及苦惱(Annoying)等。
圖3B是依據本發明之一實施例所提出的情緒座標圖。基於圖3A之理論基礎，此情緒座標圖在X軸為情緒正負向，X軸上最大值定義為+1，最小值為-1。Y軸為情緒強弱向，Y軸上最大值定義為+1，最小值為-1。在此情緒座標圖中，中央區域定義為中性(Neutral)情緒，情緒座標圖其他區域也定義了驚喜(Surprise)、 快樂(Happy)、無聊(Bored)、悲傷(Sad)、生氣(Angry)等情緒。
請參照圖4，圖4例如是將歌曲情緒座標映射至情緒座標圖的示意圖。在本實施例中，資料庫150中的每首歌曲可因應於其個別的音樂型態而具有對應的歌曲情緒座標(以圖4中的各個圓圈表示)。這些歌曲情緒座標可由人為輸入至資料庫150，或是由特定的系統以分析歌曲節奏、配樂以及編曲等方式來自動產生。
應了解的是，圖4所示的各個歌曲情緒座標可依據其在情緒座標圖中的位置而表徵成對應的(V,A)形式，其中V為歌曲情緒座標的橫座標，而A為歌曲情緒座標的縱座標。以歌曲情緒座標410為例，其可表徵為(0.5,0)，其中0.5為歌曲情緒座標410的橫座標，而0為歌曲情緒座標410的縱座標。再以歌曲情緒座標420為例，其可表徵為(0.5,-0.5)，其中0.5為歌曲情緒座標420的橫座標，而-0.5為歌曲情緒座標420的縱座標。圖4其餘歌曲情緒座標對應的(V,A)形式應可依據前述教示而推得，在此不再贅述。
請再次參照圖2，在步驟S230中，取像裝置110可擷取人臉影像。在一實施例中，取像裝置110可配置於當使用者進行特定行為時能夠持續拍攝使用者臉部的位置，以便於拍攝使用者的人臉影像。在其他實施例中，當取像裝置110擷取影像時，影像處理裝置120可執行一般的人臉辨識演算法來找出存在於此影像中的人臉。此外，影像處理裝置120可進一步正規化所述人臉 影像，以避免之後在分析人臉的特徵時受到背景雜訊與人臉尺寸的影響。具體而言，假設取像裝置110所擷取到的影像為640x480的影像，則影像處理裝置120可將此影像正規化為200x240的影像，但本發明的可實施方式不限於此。
接著，在步驟S240中，影像處理裝置120可辨識對應於人臉影像的情緒狀態，並轉換所述情緒狀態為當下情緒座標。在一實施例中，影像處理裝置120可基於例如主動外觀模型(Active Appearance Model，AAM)演算法來取得人臉影像所對應的表情。詳細而言，影像處理裝置120可偵測人臉影像中的多個特徵點。所述多個特徵點例如可分別位於人臉的眉毛、鼻子、雙眼輪廓、人臉輪廓、嘴巴外緣以及嘴巴內緣等，但本發明可不限於此。
之後，影像處理裝置120可擷取各個特徵點之間的距離特徵以及位移特徵等幾何特徵。
接著，影像處理裝置120可藉由相關向量機(Relevance Vector Machine，RVM)分類器來辨識對應於所述幾何特徵的情緒狀態。所述情緒狀態例如是情緒可能性(likelihood)。在其他實施例中，當影像處理裝置120辨識所述情緒可能性時，影像處理裝置120可將前一次辨識出的情緒可能性(其對應於前一次拍攝的人臉影像)納入考量。如此一來，當使用者由第一情緒轉換為第二情緒時，影像處理裝置120能夠連續地辨識此情緒轉換的過程，以確保此過程的合理性與正確性。具體而言，影像處理裝置120可適時地抑制情緒可能性判斷錯誤的情況以及不合理的瞬間情緒 轉換。
此外，影像處理裝置120可基於RVM回歸模型(regression model)來對所述情緒可能性進行分析，進而將所述情緒可能性轉換為對應的當下情緒座標。如同前述的歌曲情緒座標一般，所述當下情緒座標亦可表徵成對應的(V,A)形式。
接著，在步驟S250中，控制裝置130可映射所述當下情緒座標至情緒座標圖。亦即，控制裝置130可依據所述當下情緒座標在情緒座標圖上定義出對應於情緒狀態的位置。所述歌曲播放清單包括用以將當下情緒座標導向目標情緒座標的多首待播歌曲。
在步驟S260中，控制裝置130可依據當下情緒座標與目標情緒座標之間的相對位置更新歌曲播放清單。
請參照圖5，圖5是依據本發明之一實施例繪示的情緒座標圖。假設當下情緒座標510為控制裝置130在執行步驟S250之後所映射至情緒座標圖500上的當下情緒座標，而目標情緒座標520為對應於目標情緒狀態(例如是快樂)的當下情緒座標。在本實施例中，當下情緒座標510在情緒座標圖500中的位置反映出目前使用者的情緒狀態為接近悲傷的情緒。當下情緒座標510可表徵為(Vs,As)，目標情緒座標520可表徵為(VT,AT)。A S 為當下情緒座標510在情緒座標圖500上的縱座標，而V S 為當下情緒座標510在情緒座標圖500上的橫座標。此外，各個歌曲情緒座標可概略地表徵為(VM,AM)。
在本實施例中，控制裝置130可在第一連線L51上定義多個參考情緒座標，其中第一連線L51為當下情緒座標510與目標情緒座標520之間的連線。具體而言，控制裝置130可表徵所述多個參考情緒座標中的第n個參考情緒座標為： ，其中N R 為所述多個待播歌曲的總數；n為介於1與N R 之間的正整數；d TS 為當下情緒座標510與目標情緒座標520之間的距離；θ TS 為情緒座標圖500的橫軸與第一連線L51之間的夾角；為所述第n個參考情緒座標在情緒座標圖500上的縱座標；為所述第n個參考情緒座標在情緒座標圖500上的橫座標。
在定義所述多個參考情緒座標之後，控制裝置130可從從所述多個歌曲情緒座標中挑選最接近於所述多個參考情緒座標的多個候選歌曲情緒座標。具體而言，控制裝置130可從所述多個歌曲情緒座標中找出滿足一特定條件的歌曲情緒座標，並將此歌曲情緒座標定義為候選歌曲情緒座標。
舉例而言，所述多個候選歌曲情緒座標中的第n個候選歌曲情緒座標(例如是歌曲情緒座標S3)可滿足下式： ，其中，為所述第n個候選歌曲情緒座標在情緒座標圖500上的縱座標；為所述第n個候選歌曲情緒座標在情緒座標圖500 上的橫座標；；θ EM為第二連線L52以及第三連線L53之間的夾角。第二連線L52為所述第n個參考情緒座標與目標情緒座標520之間的連線，第三連線L53為所述第n個參考情緒座標與所述第n個候選歌曲情緒座標之間的連線。
在定義所述多個候選歌曲情緒座標之後，控制裝置130可設定對應於所述多個候選歌曲情緒座標的所述多個歌曲為所述多個待播歌曲。
在本實施例中，假設N R 為5，亦即歌曲播放清單中的待播歌曲總數為5。因此，控制裝置130可基於上述教示而將滿足上述特定條件的歌曲情緒座標S1~S5依序定義為第1個至第5個候選歌曲座標。接著，控制裝置130可依序將對應於歌曲情緒座標S1~S5的歌曲設定為歌曲播放清單中的各個待播歌曲。
請再次參照圖2，在步驟S270中，播放裝置140可依據歌曲播放清單播放所述多個待播歌曲。如此一來，當使用者在聆聽播放裝置140所播放的歌曲時，音樂選取系統100即可逐漸地將使用者的當下情緒座標(即，情緒狀態)向目標情緒座標導引，進而達到透過歌曲改善使用者情緒的效果。
以圖5為例，當使用者依序聽到對應於歌曲情緒座標S1~S5的歌曲時，使用者的情緒狀態即可由悲傷(對應於當下情緒座標510)被逐漸地導引至快樂(對應於目標情緒座標520)的情緒。
然而，由於使用者的情緒狀態可能不會理想地隨著所聽到的歌曲而變動，因此，在其他實施例中，在步驟S260之後，音樂選取系統100可再次執行步驟S230~S260，以重複地藉由擷取使用者的人臉影像來追蹤使用者的情緒狀態。並且，音樂選取系統100可依據每次辨識出的情緒狀態而適應性地更新歌曲播放清單中的待播歌曲，直到當下情緒座標已被導向至目標情緒座標或是所述多個待播歌曲已播放完畢為止。亦即，音樂選取系統100可重複地執行步驟S230~S260，一直到已播放歌曲的數目達到待播歌曲的總數(即，N R )，或是使用者的情緒狀態已相當接近目標情緒狀態為止。
請參照圖6，圖6是依據本發明之一實施例繪示的更新待播歌曲的示意圖。在本實施例中，假設當下情緒座標610為對應於第1次辨識的情緒狀態的當下情緒座標，其可表徵為(Vs 1,As 1)。因此，當控制裝置130依據先前的教示執行步驟S260時，控制裝置130可在當下情緒座標610以及目標情緒座標630(表徵為(VT,AT))之間的第一連線L61上定義參考情緒座標R1~R5。接著，控制裝置130可從情緒座標圖600中的多個歌曲情緒座標(未繪示)中挑選最接近於參考情緒座標R1~R5的多個候選歌曲情緒座標(未繪示)，並設定對應於所述多個候選歌曲情緒座標的歌曲為待播歌曲。
如先前所教示的，音樂選取系統100可重複地執行步驟S230~S260，以藉由擷取使用者的人臉影像來追蹤使用者的情緒狀 態。因此，當第2次辨識的情緒狀態的當下情緒座標為當下情緒座標620時(表徵為(Vs 2,As 2))，控制裝置130可在當下情緒座標620以及目標情緒座標630之間的第一連線L61’上定義參考情緒座標R2’~R5’。接著，控制裝置130可從情緒座標圖600中的多個歌曲情緒座標(未繪示)中挑選最接近於參考情緒座標R2’~R5’的多個候選歌曲情緒座標(未繪示)，並基於對應於所述多個候選歌曲情緒座標的歌曲更新歌曲播放清單。
具體而言，假設控制裝置130基於當下情緒座標610所挑選出的待播歌曲為歌曲AA~EE(個別對應於參考情緒座標R1~R5)。在此情況下，播放裝置140可依序播放歌曲AA~EE。然而，當音樂選取系統100第2次辨識的情緒狀態的當下情緒座標為當下情緒座標620時，由於播放裝置140可能正在播放歌曲AA，因此控制裝置130可依據參考情緒座標R2’~R5將歌曲BB~EE更新為歌曲BB’~EE’。亦即，控制裝置130只會調整在歌曲播放清單中尚未播放的歌曲。
此外，在一實施例中，假設在播放裝置140播放完歌曲AA之後，音樂選取系統100所辨識出的使用者情緒狀態未出現變化時，播放裝置140可接續播放歌曲BB，以透過較接近目標情緒座標630的歌曲來導引使用者的情緒狀態。
圖7A至圖7D是依據本發明之一實施例繪示的以歌曲將情緒狀態從疲倦導引至高興的示意圖。請參照圖7A，影像710_1例如是取像裝置110所擷取的影像，影像720_1例如是人臉影像。 影像720_1中呈現的各個節點即為影像處理裝置120用於辨識情緒狀態的特徵點，而影像處理裝置120可依據特徵點之間的連線長度以及特徵點的位移情形來計算前述的距離特徵以及位移特徵。
區域730_1記錄對應於影像720_1的8種預設情緒的成分。在本實施例中，所述8種預設情緒成分例如是中性(Neutral)、憤怒(Anger)、噁心(Disgust)、恐懼(Fear)、高興(Happy)、難過(Sadness)、驚喜(Surprise)以及疲倦(Fatigue)。各個預設情緒的成分可採用對應的數值來表示。舉例而言，在本實施例中，對應於影像720_1的中性情緒的成分例如是0.002076，而對應於影像720_1的憤怒情緒成分則例如是0.000664。其餘的情緒成分可依此原則類推，在此不再贅述。基於區域730_1所示的各個數值，影像處理裝置120可對應計算出對應於影像720_1的V值(即，情緒正負向值)及A值(即，情緒強弱向值)。
區域740_1記錄對應於影像720_1的V值及A值。因此，從區域740_1中可看出，影像720_1對應的V值及A值分別為0.727660以及-0.280222。亦即，影像720_1中的使用者情緒較接近疲倦的狀態。
情緒座標圖750_1例如是記錄使用者當下情緒座標的情緒座標圖。在本實施例中，情緒座標圖750_1可顯示對應於各個預設情緒的當下情緒座標。並且，基於區域740_1所記錄的數值，控制裝置130可依據基於區域740_1所記錄的V值及A值而將對 應於影像720_1的當下情緒座標755_1顯示在情緒座標圖750_1中。
情緒座標圖760_1例如是記錄對應於各個待播歌曲的歌曲情緒座標的情緒座標圖，而歌曲播放清單770_1記錄各個待播歌曲的名稱及其對應的V值及A值。以歌曲播放清單770_1中的第1首歌曲為例，其名稱為「Louis Armstrong-What a Wonderful World」，而其對應的V值及A值分別為0.27以及-0.33。因此，控制裝置130即可據以將對應於此歌曲的歌曲情緒座標765_1顯示在情緒座標圖760_1中。再以歌曲播放清單770_2中的第2首歌曲為例，其名稱為「Castle in the air-Don McLean」，而其對應的V值及A值分別為0.40以及0.08。因此，控制裝置130即可據以將對應於此歌曲的歌曲情緒座標766_1顯示在情緒座標圖760_1中。其餘歌曲播放清單770_1中的歌曲在情緒座標圖760_1上對應的歌曲情緒座標應可依據相似原則而推得，在此不再贅述。
在本實施例中，假設播放裝置140正在播放歌曲播放清單770_1中的第1首歌曲，而使用者的表情(即，情緒狀態)則因應於此首歌曲而發生變化。此時，控制裝置130即可因應於使用者的情緒狀態變化而將歌曲播放清單由770_1調整為圖7B所示的歌曲播放清單770_2。
請參照圖7B，從歌曲播放清單770_2中應可看出，除了已播放的「Louis Armstrong-What a Wonderful World」之外，第2首至第10首歌曲皆與歌曲播放清單770_1不同。同樣地，假設 播放裝置140正在播放歌曲播放清單770_2中的第2首歌曲(即，「Lisa Ono-White Christmas」)，而使用者的表情(即，情緒狀態)則因應於此首歌曲而發生變化。此時，控制裝置130即可因應於使用者的情緒狀態變化而將歌曲播放清單由770_2調整為圖7C所示的歌曲播放清單770_3。
請參照圖7C，從歌曲播放清單770_3中應可看出，除了已播放的「Louis Armstrong-What a Wonderful World」以及「Lisa Ono-White Christmas」之外，第3首至第10首歌曲皆與歌曲播放清單770_2不同。同樣地，假設播放裝置140正在播放歌曲播放清單770_3中的第3首歌曲(即，「Whitney Houston-I Will Always Love You」)，而使用者的表情(即，情緒狀態)則因應於此首歌曲而發生變化。此時，控制裝置130即可因應於使用者的情緒狀態變化而將歌曲播放清單由770_3調整為圖7D所示的歌曲播放清單770_4。
請參照圖7D，應了解的是，當播放裝置140在播放歌曲播放清單770_4的第4首歌曲(即，「Oh,Happy Day！Tim Hughes」)時，使用者的情緒狀態已順利地被導引至目標情緒狀態(即，高興)。
再以圖8A至圖8D為例，圖8A至圖8D是依據本發明之一實施例繪示的以歌曲將情緒狀態從憤怒導引至高興的示意圖。應了解的是圖8A至圖8D中的各個影像、區域及情緒座標圖的意義皆與圖7A至圖7D相同，在此不再贅述。
請參照圖8A，假設播放裝置140正在播放歌曲播放清單870_1中的第1首歌曲(即，「Muse-Take A Bow」)，而使用者的表情(即，情緒狀態)則因應於此首歌曲而發生變化。此時，控制裝置130即可因應於使用者的情緒狀態變化而將歌曲播放清單由870_1調整為圖8B所示的歌曲播放清單870_2。
請參照圖8B，從歌曲播放清單870_2中應可看出，除了已播放的「Muse-Take A Bow」之外，第2首至第10首歌曲皆與歌曲播放清單870_1不同。同樣地，假設播放裝置140正在播放歌曲播放清單870_2中的第2首歌曲(即，「Michael Bolton-When a Man Love a Woman」)，而使用者的表情(即，情緒狀態)則因應於此首歌曲而發生變化。此時，控制裝置130即可因應於使用者的情緒狀態變化而將歌曲播放清單由870_2調整為圖8C所示的歌曲播放清單870_3。
請參照圖8C，從歌曲播放清單870_3中應可看出，除了已播放的「Muse-Take A Bow」以及Michael Bolton-When a Man Love a Woman」之外，第3首至第10首歌曲皆與歌曲播放清單870_2不同。同樣地，假設播放裝置140正在播放歌曲播放清單870_3中的第3首歌曲(即，「Louis Armstrong-What a Wonderful World」)，而使用者的表情(即，情緒狀態)則因應於此首歌曲而發生變化。此時，控制裝置130即可因應於使用者的情緒狀態變化而將歌曲播放清單由870_3調整為圖8D所示的歌曲播放清單870_4。
請參照圖8D，應了解的是，當播放裝置140在播放歌曲播放清單870_4的第4首歌曲(即，「Oh,Happy Day！Tim Hughes」)時，使用者的情緒狀態已順利地被導引至目標情緒狀態(即，高興)。
如此一來，本發明實施例提出的基於臉部辨識的音樂選取方法即可透過不斷地更新歌曲播放清單中的待播歌曲來將使用者的情緒狀態逐漸地導引至目標情緒狀態。
在其他實施例中，音樂選取系統100可實施在交通工具中，以透過調整歌曲播放清單的方式來將司機的情緒狀態導引至較佳的目標情緒狀態(例如是快樂)。詳細而言，當司機的情緒狀態不佳時，其駕駛行為可能會大幅地被影響。舉例而言，當司機處於疲倦或是憤怒等狀態時，發生車禍的機率亦將隨之而提高。此時，本發明實施例提出的基於臉部辨識的音樂選取方法及其音樂選取系統100即可適當地透過調整歌曲播放清單中的待播歌曲而逐漸地將司機的情緒狀態導引至較佳的目標情緒狀態，進而有效地避免車禍等情形的發生。
圖9是依據本發明之一實施例繪示的電子裝置功能方塊圖。在本實施例中，電子裝置900包括取像裝置910、影像處理裝置920、控制裝置930、播放裝置940以及資料庫950。取像裝置910連接至影像處理裝置920。控制裝置930連接至影像處理裝置920、播放裝置940以及資料庫950。
取像裝置910、影像處理裝置920、控制裝置930、播放 裝置940以及資料庫950的各種可能的實施方式可參照圖1中的相關說明。此外，電子裝置900亦可執行圖2所示的各個步驟，其細節可參照前述實施例中的教示，在此不再贅述。
綜上所述，本發明實施例提出的基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置可在基於人臉影像辨識出使用者的情緒狀態之後，透過調整歌曲播放清單的方式來控制接下來將播放給使用者聽的歌曲，進而將使用者的情緒狀態(例如是緊張、疲倦、生氣及悲傷等情緒狀態)逐漸地導引至目標情緒狀態(例如是輕鬆、快樂及快樂等情緒狀態)。
此外，本發明實施例提出的基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置可重複地藉由擷取使用者的人臉影像來追蹤使用者的情緒狀態，進而依據每次辨識出的情緒狀態而適應性地更新歌曲播放清單中的待播歌曲。換言之，當使用者的情緒狀態改變時，歌曲播放清單中的歌曲將適應性地被更動，而不是在產生歌曲播放清單之後即不再更動其內容。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S270‧‧‧步驟

Claims (12)

  1. 一種基於臉部辨識的音樂選取方法，適於一音樂選取系統，所述方法包括下列步驟：存取一資料庫以取得對應於多首歌曲的多個歌曲情緒座標；映射該些歌曲情緒座標至一情緒座標圖；擷取一人臉影像；辨識對應於該人臉影像的一情緒狀態，並轉換該情緒狀態為一當下情緒座標；映射該當下情緒座標至該情緒座標圖；以及依據該當下情緒座標與一目標情緒座標之間的一相對位置更新一歌曲播放清單，其中該歌曲播放清單包括用以將該當下情緒座標導向該目標情緒座標的多首待播歌曲。
  2. 如申請專利範圍第1項所述的音樂選取方法，其中依據該當下情緒座標與該目標情緒座標之間的該相對位置更新該歌曲播放清單的步驟包括：在一第一連線上定義多個參考情緒座標，其中該第一連線為該當下情緒座標與該目標情緒座標之間的連線；從該些歌曲情緒座標中挑選與該些參考情緒座標距離值最小者的多個候選歌曲情緒座標；以及設定對應於該些候選歌曲情緒座標的該些歌曲為該些待播歌曲。
  3. 如申請專利範圍第2項所述的音樂選取方法，其中在該第 一連線上定義該些參考情緒座標的步驟包括.表徵該些參考情緒座標中的第n個參考情緒座標為： ，其中N R 為該些待播歌曲的一總數，n為介於1與N R 之間的一正整數，d TS 為該當下情緒座標與該目標情緒座標之間的一距離，θ TS 為該情緒座標圖的一橫軸與該第一連線之間的一夾角，為所述第n個參考情緒座標在該情緒座標圖上的縱座標，為所述第n個參考情緒座標在該情緒座標圖上的橫座標，A S 為該當下情緒座標在該情緒座標圖上的縱座標，V S 為該當下情緒座標在該情緒座標圖上的橫座標。
  4. 如申請專利範圍第3項所述的音樂選取方法，其中該些候選歌曲情緒座標中的第n個候選歌曲情緒座標滿足下式： 其中為所述第n個候選歌曲情緒座標在該情緒座標圖上的縱座標，為所述第n個候選歌曲情緒座標在該情緒座標圖上的橫座標，，θ EM為一第二連線以及一第三連線之間的夾角，其中，該第二連線為所述第n個參考情緒座標與所述目標情緒座標之間的連線，該第三連線為所述第n個參考情緒座標與所述第n個候選歌曲情緒座標之間的連線。
  5. 如申請專利範圍第4項所述的音樂選取方法，其中在依據 該當下情緒座標與該目標情緒座標之間的該相對位置更新該歌曲播放清單的步驟之後，更包括：依據該歌曲播放清單播放該些待播歌曲。
  6. 如申請專利範圍第5項所述的音樂選取方法，其中在依據該歌曲播放清單播放該些待播歌曲的步驟之後，更包括：重複執行擷取該人臉影像、辨識對應於該人臉影像的該情緒狀態、映射該當下情緒座標至該情緒座標圖以及依據該當下情緒座標與該目標情緒座標之間的該相對位置更新該歌曲播放清單的步驟，直到該當下情緒座標已被導向至該目標情緒座標或是該些待播歌曲已播放完畢為止。
  7. 一種音樂選取系統，包括：一取像裝置；一影像處理裝置，連接至該取像裝置；一控制裝置，連接至該影像處理裝置；一播放裝置，連接至該控制裝置；以及一資料庫，連接至該控制裝置；其中，該控制裝置存取該資料庫以取得對應於多首歌曲的多個歌曲情緒座標；該控制裝置映射該些歌曲情緒座標至一情緒座標圖；該取像裝置擷取一人臉影像；該影像處理裝置辨識對應於該人臉影像的一情緒狀態，並轉換該情緒狀態為一當下情緒座標； 該控制裝置映射該當下情緒座標至該情緒座標圖；以及該控制裝置依據該當下情緒座標與一目標情緒座標之間的一相對位置更新一歌曲播放清單，其中該歌曲播放清單包括用以將該當下情緒座標導向該目標情緒座標的多首待播歌曲。
  8. 如申請專利範圍第7項所述的音樂選取系統，其中該控制裝置：在一第一連線上定義多個參考情緒座標，其中該第一連線為該當下情緒座標與該目標情緒座標之間的連線；從該些歌曲情緒座標中挑選與該些參考情緒座標距離值最小者的多個候選歌曲情緒座標；以及設定對應於該些候選歌曲情緒座標的該些歌曲為該些待播歌曲。
  9. 如申請專利範圍第8項所述的音樂選取系統，其中該控制裝置表徵該些參考情緒座標中的第n個參考情緒座標為： ，其中N R 為該些待播歌曲的一總數，n為介於1與N R 之間的一正整數，d TS 為該當下情緒座標與該目標情緒座標之間的一距離，θ TS 為該情緒座標圖的一橫軸與該第一連線之間的一夾角，為所述第n個參考情緒座標在該情緒座標圖上的縱座標，為所述第n個參考情緒座標在該情緒座標圖上的橫座標，A S 為該當下情 緒座標在該情緒座標圖上的縱座標，V S 為該當下情緒座標在該情緒座標圖上的橫座標。
  10. 如申請專利範圍第9項所述的音樂選取系統，其中該些候選歌曲情緒座標中的第n個候選歌曲情緒座標滿足下式： 其中為所述第n個候選歌曲情緒座標在該情緒座標圖上的縱座標，為所述第n個候選歌曲情緒座標在該情緒座標圖上的橫座標，，θ EM為一第二連線以及一第三連線之間的夾角，其中，該第二連線為所述第n個參考情緒座標與所述目標情緒座標之間的連線，該第三連線為所述第n個參考情緒座標與所述第n個候選歌曲情緒座標之間的連線。
  11. 如申請專利範圍第10項所述的音樂選取系統，其中該播放裝置依據該歌曲播放清單播放該些待播歌曲。
  12. 一種電子裝置，包括：一取像裝置；一影像處理裝置，連接至該取像裝置；一控制裝置，連接至該影像處理裝置；一播放裝置，連接至該控制裝置；以及一資料庫，連接至該控制裝置；其中，該控制裝置存取該資料庫以取得對應於多首歌曲的多個歌曲情緒座標； 該控制裝置映射該些歌曲情緒座標至一情緒座標圖；該取像裝置擷取一人臉影像；該影像處理裝置辨識對應於該人臉影像的一情緒狀態，並轉換該情緒狀態為一當下情緒座標；該控制裝置映射該當下情緒座標至該情緒座標圖；以及該控制裝置依據該當下情緒座標與一目標情緒座標之間的一相對位置更新一歌曲播放清單，其中該歌曲播放清單包括用以將該當下情緒座標導向該目標情緒座標的多首待播歌曲。
TW103102459A 2014-01-23 2014-01-23 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置 TWI603213B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103102459A TWI603213B (zh) 2014-01-23 2014-01-23 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
US14/284,405 US9489934B2 (en) 2014-01-23 2014-05-22 Method for selecting music based on face recognition, music selecting system and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103102459A TWI603213B (zh) 2014-01-23 2014-01-23 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置

Publications (2)

Publication Number Publication Date
TW201530326A TW201530326A (zh) 2015-08-01
TWI603213B true TWI603213B (zh) 2017-10-21

Family

ID=53545337

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103102459A TWI603213B (zh) 2014-01-23 2014-01-23 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置

Country Status (2)

Country Link
US (1) US9489934B2 (zh)
TW (1) TWI603213B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317353A1 (en) * 2014-05-02 2015-11-05 At&T Intellectual Property I, L.P. Context and activity-driven playlist modification
US10481749B1 (en) * 2014-12-01 2019-11-19 Google Llc Identifying and rendering content relevant to a user's current mental state and context
US10250650B2 (en) * 2015-01-05 2019-04-02 Harman International Industries, Incorporated Discovery playlist creation
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
CN105447150B (zh) 2015-11-26 2019-04-16 小米科技有限责任公司 基于面孔相册的音乐播放方法、装置和终端设备
CN105536118A (zh) * 2016-02-19 2016-05-04 京东方光科技有限公司 一种情绪调节装置、可穿戴设备和缓解情绪的帽子
TW201737124A (zh) 2016-04-15 2017-10-16 鴻海精密工業股份有限公司 音樂推薦系統及方法
WO2018023591A1 (zh) * 2016-08-04 2018-02-08 薄冰 根据市场反馈调控播放音乐技术的方法以及播放系统
US11328159B2 (en) * 2016-11-28 2022-05-10 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
JP6422477B2 (ja) * 2016-12-21 2018-11-14 本田技研工業株式会社 コンテンツ提供装置、コンテンツ提供方法およびコンテンツ提供システム
CN106802943B (zh) * 2017-01-03 2020-06-09 海信集团有限公司 基于影视信息的音乐推荐方法及装置
JP6728091B2 (ja) * 2017-03-15 2020-07-22 富士フイルム株式会社 画像合成装置，画像合成方法およびそのプログラム
CN107147842B (zh) * 2017-04-26 2020-03-17 广东艾檬电子科技有限公司 一种儿童照相的方法及装置
JP6839818B2 (ja) * 2017-05-17 2021-03-10 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
CN108983639A (zh) * 2017-05-31 2018-12-11 芜湖美的厨卫电器制造有限公司 浴室氛围的控制系统、方法及浴室镜
US20190111563A1 (en) * 2017-10-16 2019-04-18 Anki, Inc. Custom Motion Trajectories for Robot Animation
CN109760603A (zh) * 2017-11-09 2019-05-17 英属开曼群岛商麦迪创科技股份有限公司 车体设备控制系统与车体设备控制方法
GB201718894D0 (en) * 2017-11-15 2017-12-27 X-System Ltd Russel space
CN109117795B (zh) * 2018-08-17 2022-03-25 西南大学 基于图结构的神经网络表情识别方法
KR20200085969A (ko) * 2019-01-07 2020-07-16 현대자동차주식회사 차량 및 그 제어 방법
JP7352789B2 (ja) * 2019-02-28 2023-09-29 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
CN112472950A (zh) * 2019-09-11 2021-03-12 北京小米移动软件有限公司 智能切换音乐的系统、可穿戴设备和电子设备
US10754614B1 (en) 2019-09-23 2020-08-25 Sonos, Inc. Mood detection and/or influence via audio playback devices
US11037538B2 (en) 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
US10964299B1 (en) 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
US11024275B2 (en) 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
US20230315194A1 (en) * 2020-08-24 2023-10-05 Sonos, Inc. Mood detection and/or influence via audio playback devices
WO2024006950A1 (en) * 2022-06-29 2024-01-04 Deepwell Dtx Dynamically neuro-harmonized audible signal feedback generation
DE102022206595A1 (de) 2022-06-29 2024-01-04 Psa Automobiles Sa Stimmungsermittlung einer Person durch Bildanalyse und Musikanalyse
CN116027907A (zh) * 2023-02-01 2023-04-28 浙江极氪智能科技有限公司 程序控制方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101836219A (zh) * 2007-11-01 2010-09-15 索尼爱立信移动通讯有限公司 基于面部表情生成音乐播放列表
US20110310237A1 (en) * 2010-06-17 2011-12-22 Institute For Information Industry Facial Expression Recognition Systems and Methods and Computer Program Products Thereof
TW201314586A (zh) * 2011-09-22 2013-04-01 Hon Hai Prec Ind Co Ltd 基於臉部表情播放文檔的電子裝置及方法
TW201327226A (zh) * 2011-12-26 2013-07-01 Hon Hai Prec Ind Co Ltd 電子設備及其根據臉部表情提供心情服務的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
US20040237759A1 (en) * 2003-05-30 2004-12-02 Bill David S. Personalizing content
US7022907B2 (en) * 2004-03-25 2006-04-04 Microsoft Corporation Automatic music mood detection
EP1703491B1 (en) * 2005-03-18 2012-02-22 Sony Deutschland GmbH Method for classifying audio data
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
KR100772386B1 (ko) * 2005-12-10 2007-11-01 삼성전자주식회사 음악 파일 분류 방법 및 그 시스템
TW200727170A (en) * 2006-01-09 2007-07-16 Ulead Systems Inc Method for generating a visualizing map of music
WO2008032329A2 (en) * 2006-09-13 2008-03-20 Alon Atsmon Providing content responsive to multimedia signals
US8102417B2 (en) 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
KR20080073066A (ko) * 2007-02-05 2008-08-08 삼성전자주식회사 컨텐츠 관리 장치 및 방법
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
EP2159719B1 (en) * 2008-08-27 2013-01-09 Sony Corporation Method for graphically displaying pieces of music
US9634855B2 (en) * 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US20110289075A1 (en) * 2010-05-24 2011-11-24 Nelson Erik T Music Recommender
WO2012019637A1 (en) * 2010-08-09 2012-02-16 Jadhav, Shubhangi Mahadeo Visual music playlist creation and visual music track exploration
US8489606B2 (en) * 2010-08-31 2013-07-16 Electronics And Telecommunications Research Institute Music search apparatus and method using emotion model
KR20130055748A (ko) * 2011-11-21 2013-05-29 한국전자통신연구원 콘텐츠 추천 시스템 및 방법
KR101527370B1 (ko) * 2011-11-28 2015-06-10 한국전자통신연구원 음악의 감정 정보를 이용한 추천음악 검색 방법 및 장치
TWI473080B (zh) * 2012-04-10 2015-02-11 Nat Univ Chung Cheng The use of phonological emotions or excitement to assist in resolving the gender or age of speech signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101836219A (zh) * 2007-11-01 2010-09-15 索尼爱立信移动通讯有限公司 基于面部表情生成音乐播放列表
US20110310237A1 (en) * 2010-06-17 2011-12-22 Institute For Information Industry Facial Expression Recognition Systems and Methods and Computer Program Products Thereof
TW201314586A (zh) * 2011-09-22 2013-04-01 Hon Hai Prec Ind Co Ltd 基於臉部表情播放文檔的電子裝置及方法
TW201327226A (zh) * 2011-12-26 2013-07-01 Hon Hai Prec Ind Co Ltd 電子設備及其根據臉部表情提供心情服務的方法

Also Published As

Publication number Publication date
US20150206523A1 (en) 2015-07-23
US9489934B2 (en) 2016-11-08
TW201530326A (zh) 2015-08-01

Similar Documents

Publication Publication Date Title
TWI603213B (zh) 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
CN111368609B (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
TWI714834B (zh) 人臉活體檢測方法、裝置以及電子設備
CN109475294B (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
TWI646444B (zh) 一種喚醒智慧機器人的方法及智慧機器人
JP2020514861A (ja) ドライバ監視及び応答システム
CN108958610A (zh) 基于人脸的特效生成方法、装置和电子设备
JP2016512632A (ja) 音声およびジェスチャー・コマンド領域を割り当てるためのシステムおよび方法
TWI736054B (zh) 化身臉部表情產生系統及化身臉部表情產生方法
Dubbaka et al. Detecting learner engagement in MOOCs using automatic facial expression recognition
JP2009288951A (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2020244074A1 (zh) 表情交互方法、装置、计算机设备及可读存储介质
WO2020124993A1 (zh) 活体检测方法、装置、电子设备及存储介质
US20210097629A1 (en) Initiating communication between first and second users
Chalup et al. Simulating pareidolia of faces for architectural image analysis
TW202133117A (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
Sahare et al. Emotion based music player
KR102573465B1 (ko) 비디오 채팅 동안에 감정 수정을 제공하는 방법 및 시스템
CN111134686A (zh) 一种人体病症确定方法、装置、存储介质及终端
KR102476619B1 (ko) 전자 장치 및 이의 제어 방법
CN111506183A (zh) 一种智能终端及用户交互方法
CN110908576A (zh) 车辆系统/车辆应用显示方法、装置及电子设备
Kathiravan et al. Efficient Intensity Bedded Sonata Wiles System using IoT
Pal et al. EMO-MUSIC (Emotion based Music player)
CN111967380A (zh) 内容推荐方法及系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees