TW201322045A - 生理反饋控制系統及方法 - Google Patents

Abstract

一種生理反饋控制系統及方法，感測使用者的生理現象以產生感測信號，分析該感測信號以產生反應該使用者的情緒的生理信號，以及從該生理信號分析該使用者的情緒變化，再據以產生控制信號用來控制節目或遊戲的場景、劇情、配樂或聲光效果，以提高娛樂效果。

Description

生理反饋控制系統及方法

本發明係有關一種生理反饋控制系統及方法，特別是關於一種依據使用者的生理現象自動調整影像或聲音輸出的控制系統及方法。

大多數娛樂節目，例如電影和電視播放的戲劇、卡通及表演等等，係以單一劇情來進行，不會受到觀眾的影響。少數臨場的表演，例如舞台劇、魔術及雜要等等，可以依照現場觀眾的情緒稍作調整，因而提高娛樂效果。由於節目與觀眾之間的互動可以提高娛樂效果，因此有某種改進的方案，事先預錄不同劇情的段落，在劇情發展的過程中供觀眾選擇，因此觀眾可依據自己的喜好決定劇情發展，提高參與感。這種模式在電子遊戲產品上獲得大量的仿作。例如，電子遊戲的玩家可以選擇不同的場景，亦可在遊戲進行的過程中選擇不同的劇情發展。多媒體技術更進一步助長這種互動式操作的實現。然而這類產品，不論節目或遊戲，只能被動地接受使用者的選擇，無法依據使用者的情緒自動調整。例如，電子遊戲機可以感測到使用者的動作和力量，但不能感測到使用者的情緒，因此在使用者緊張、激動或感到乏味時，電子遊戲機也不會自動調整，例如變換場景、劇情、配樂或聲光效果。此外，由使用者自行選擇劇情，也會因為劇情被使用者掌握而造成娛樂效果減低，劇情發展的不可預期性減弱，節目或遊戲將變得不再精采。

本發明的目的之一，在於提出一種生理反饋控制系統及方法。

本發明的目的之一，在於提出一種依據使用者之生理現象自動調整影像或聲音輸出的控制系統及方法。

根據本發明，一種生理反饋控制系統包含生理感測器感測使用者的生理現象以產生感測信號，生理信號分析單元分析該感測信號以產生反應該使用者的情緒的生理信號，以及控制單元從該生理信號分析該使用者的情緒變化，再據以產生控制信號用來控制節目或遊戲的場景、劇情、配樂或聲光效果。

根據本發明，一種生理反饋控制方法包含感測使用者的生理現象以產生感測信號，分析該感測信號以產生反應該使用者的情緒的生理信號，以及從該生理信號分析該使用者的情緒變化，據以產生控制信號用來控制節目或遊戲的場景、劇情、配樂或聲光效果。

情緒是一種心理感受，通常伴隨生理(例如心跳)與行為反應(例如表情、聲音)一起出現，而當情緒被激發時，行為反應是可被控制的，但是生理上的反應卻不能自主控制。由於生理反應無法被控制，因此最能反應使用者真實的情緒，本發明依據使用者的生理現象，將使用者的情緒與電子系統結合，成為生理反饋控制系統及方法，可以根據使用者的情緒自動調整節目或遊戲的內容，例如場景、劇情、配樂或聲光效果，以提高娛樂效果。這裡所謂的節目，係指可在電子系統上播放或執行的檔案，包含可以產生影像、聲音或其結合的檔案。

參照圖1，根據本發明的生理反饋控制系統包含生理感測器10感測使用者的生理現象產生感測信號Sd，生理信號分析單元12分析感測信號Sd產生反應使用者情緒的生理信號Sbio，經傳輸介面14傳送給控制單元16，控制單元16從生理信號Sbio的變化判斷使用者的情緒，並根據使用者的產生控制信號Sc用來控制主機播放節目或執行遊戲程式，使節目或遊戲的場景、劇情、配樂或聲光效果隨著使用者的情緒反應而變化，以提高娛樂效果。在此系統中，生理感測器10靠近使用者，生理信號分析單元12及傳輸介面14可以靠近或遠離使用者，控制單元16通常在主機上，例如主機的處理器，例如家庭劇院或多媒體電腦的處理器，或電子遊戲機的處理器或遊戲程式的引擎。

目前已有許多生理感測器可以用來擷取使用者的生理資訊，例如參照圖2的生理感測器10，發光源18在影像感測器20擷取手指22的影像時提供波長較長的光線(例如紅外線)照射使用者的手指22，影像感測器20取像而產生感測信號Sd。人在生氣或壓力的狀態下，血液流量會提高，而在悲傷或放鬆的情況下，血液流量會降低，因此從手指中的血流脈動(Blood Volume Pulse)可以測得人的情緒反應。由於靜脈中的血液會吸收波長較長的光，因此影像感測器20取得的手指影像會隨著血液流量的多寡呈現亮度變化，生理信號分析單元12便可從此亮度變化分析手指22的血液流量變化，據以產生生理信號Sbio。

除了手指以外，人體的其他部位亦可用來接受偵測以得知情緒的變化，例如參照圖3，發光源18提供波長較長的光線照射人臉24，影像感測器20對人臉24取像產生感測信號Sd。生理信號分析單元12從人臉影像的亮度變化分析使用者的血液流量的變化。在不同的實施例中，亦可由影像感測器20擷取人臉24表面的影像，生理信號分析單元12從人臉24的特徵的變化分析使用者的表情變化，進而判斷使用者的情緒反應。

電極片已經是廣泛使用的生理感測器，因此在其他實施例中，亦可使用電極片作為生理感測器10，貼附在使用者的身體感測人體的電量變化，以產生感測信號Sd，生理信號分析單元12分析人體的電量變化產生生理信號Sbio。電極片接觸使用者不同的身體位置，可量出不同種類的人體電量變化，例如腦電圖(Electroencephalography,EEG)、心電圖(Electrocardiography,ECG)、膚電反應(Skin Conductance Responses,SCR)等，量測結果可用來辨別使用者的情緒。腦電圖係在頭皮表面貼附電極片，測量與參考電極的電位差所產生的圖形，在不同正負向的情緒下，腦波的高低頻率分布有明顯差異。心電圖係記錄心臟組織電壓變化的圖形，其波形具有規律性，醫學上常將其作為心跳率的指標，從波形中波峰之間的距換算出心跳率，再取倒數可得到心跳變率，在放鬆或快樂的狀態下，心跳變率會降低，在壓力或挫折的情況下，心跳變率會提高。膚電反應係在皮膚上貼附電極片，貼附的部位通常為手指，用來測量皮膚的導電性，皮膚的導電性與情緒激發的程度有線性相關的特性存在，可以表示自主神經系統的狀態，亦可作為情緒反應及身體活動度的警覺性的指標。

可以搭配或結合多種不同的生理資訊以提高情緒辨識的準確度。

當圖1的生理反饋控制系統用來控制節目時，節目係以影片的片段(clip)結構切成數個可以串連的片段，例如圖4所示，第一時段資料庫26只有一個節目開始的片段28，在片段28播放期間，生理反饋控制系統感測使用者(即此節目的觀眾)的情緒表現，並據以從第二時段資料庫30的片段32~38當中選出一個片段，例如片段36，在片段28結束前預先載入片段36的前一小段到緩衝記憶體內，以達成無縫隙播放，以此方式繼續控制節目的劇情發展，最終時段資料庫40有五種結局，分別為片段42~50，如此，該節目的劇情發展以及最後的結局係根據使用者的情緒來調整的。

遊戲的進行也是類似的方式，例如參照圖5，遊戲每次開始時都是一樣的，但是在進行到劇情的分叉點52時，生理反饋控制系統根據感測到的使用者的情緒選擇不同的劇情程式，因此下一個劇情的分叉點為54或56，如此繼續下去，直到遊戲結束。由於遊戲的劇情發展係根據玩者當時的情緒反應來調整，因此遊戲的玩法可能會每次都不一樣。

參照圖6，在遊戲進行中，即使目前出現的人物都一樣，生理反饋控制系統也可以根據使用者的情緒，從資料庫58中選擇不同的場景檔案60、62或64取代目前的場景。

參照圖7，不論是播放節目或進行遊戲，生理反饋控制系統可以根據使用者的情緒調整聲光效果，例如在影像處理單元66中改變影片檔案68的色調，從資料庫70中選擇不同的配樂或音效72、74或76，或直接控制輸出單元78中的顯示器80或喇叭82，例如調整顯示器80的亮度或色調，或調整喇叭82的音量。在不同的實施例中，也可以調整影片或音樂的播放速度，或調整驅動器的等化器。

當使用者在聆聽音樂時，生理反饋控制系統可以根據使用者的情緒變化調整音樂的播放，例如升調或降調，調高或調低音量，調整等化器，加強或減弱若干音節等等。

以上對於本發明之較佳實施例所作的敘述係為闡明之目的，而無意限定本發明精確地所揭露的形式，基於以上的教導或從本發明的實施例學習而作修改或變化是可能的，實施例係為解說本發明的原理以及讓熟習該項技術者以各種實施例利用本發明在實際應用上而選擇及敘述，本發明的技術思想企圖由以下的申請專利範圍及其均等來決定。

10．．．生理感測器

12．．．生理信號分析單元

14．．．傳輸介面

16．．．控制單元

18．．．發光源

20．．．影像感測器

22．．．手指

24．．．人臉

26．．．第一時段資料庫

28．．．節目的片段

30．．．第二時段資料庫

32~38．．．節目的片段

40．．．第三時段資料庫

42~50．．．節目的片段

52~56．．．劇情的分叉點

58．．．場景資料庫

60~64．．．場景的檔案

66．．．影像處理器

68．．．影片檔案

70．．．配樂資料庫

72~76．．．配樂的檔案

78．．．輸出單元

80．．．顯示器

82．．．喇叭

圖1係根據本發明的生理反饋控制系統的實施例；

圖2係圖1的生理反饋控制系統的第一實施例；

圖3係圖1的生理反饋控制系統的第二實施例；

圖4係圖1的生理反饋控制系統控制節目劇情的實施例；

圖5係圖1的生理反饋控制系統控制電子遊戲劇情的實施例；

圖6係圖1的生理反饋控制系統控制電子遊戲場景的實施例；以及

圖7係圖1的生理反饋控制系統控制節目或遊戲聲光效果的實施例。

10．．．生理感測器

12．．．生理信號分析單元

14．．．傳輸介面

16．．．控制單元

Claims (14)

1. 一種生理反饋控制系統，包含：生理感測器，感測使用者的生理現象以產生感測信號；生理信號分析單元，耦接該生理感測器，分析該感測信號以產生反應該使用者的情緒的生理信號；傳輸介面，耦接該生理信號分析單元，將該生理信號送出；以及控制單元，耦接該傳輸介面，接收該生理信號並從中分析該使用者的情緒變化，再據以產生控制信號用來控制節目或遊戲的場景、劇情、配樂或聲光效果。
2. 如請求項1之生理反饋控制系統，其中該生理感測器包含：發光源，提供光線照射該使用者的手指；以及影像感測器，擷取該手指的影像，以產生該感測信號。
3. 如請求項2之生理反饋控制系統，其中該生理信號分析單元根據該感測信號分析該手指的血液流量變化，以產生該生理信號。
4. 如請求項1之生理反饋控制系統，該生理感測器包含：發光源，提供光線照射該使用者的臉；以及影像感測器，擷取該臉的影像，以產生該感測信號。
5. 如請求項4之生理反饋控制系統，其中該生理信號分析單元根據該感測信號分析該臉的血液流量變化或表情變化，以產生該生理信號。
6. 如請求項1之生理反饋控制系統，其中該生理感測器包含電極片接觸該使用者的身體，以感測該身體的電量變化產生該感測信號。
7. 如請求項6之生理反饋控制系統，其中該生理信號分析單元根據該感測信號分析該電量變化，以產生該生理信號。
8. 一種生理反饋控制方法，包含下列步驟：a)感測使用者的生理現象以產生感測信號；b)分析該感測信號以產生反應該使用者的情緒的生理信號；以及c)從該生理信號分析該使用者的情緒變化，據以產生控制信號用來控制節目或遊戲的場景、劇情、配樂或聲光效果。
9. 如請求項8之生理反饋控制方法，其中該步驟a包含下列步驟：提供光線照射該使用者的手指；以及擷取該手指的影像以產生該感測信號。
10. 如請求項9之生理反饋控制方法，其中該步驟b包含從該感測信號分析該手指的血液流量變化，以產生該生理信號。。
11. 如請求項8之生理反饋控制方法，其中該步驟a包含下列步驟：提供光線照射該使用者的臉；以及擷取該臉的影像以產生該感測信號。
12. 如請求項11之生理反饋控制方法，其中該步驟b包含從該感測信號分析該臉的血液流量變化或表情變化，以產生該生理信號。
13. 如請求項8之生理反饋控制方法，其中該步驟a包含感測該使用者的身體的電量變化，以產生該感測信號。
14. 如請求項13之生理反饋控制方法，其中該步驟b包含從該感測信號分析該電量變化，以產生該生理信號。