TW201933049A - 夢境重現模型的構建方法、夢境重現方法及裝置 - Google Patents

夢境重現模型的構建方法、夢境重現方法及裝置 Download PDF

Info

Publication number
TW201933049A
TW201933049A TW107145449A TW107145449A TW201933049A TW 201933049 A TW201933049 A TW 201933049A TW 107145449 A TW107145449 A TW 107145449A TW 107145449 A TW107145449 A TW 107145449A TW 201933049 A TW201933049 A TW 201933049A
Authority
TW
Taiwan
Prior art keywords
brain wave
wave data
dream
perceptible
reproduction
Prior art date
Application number
TW107145449A
Other languages
English (en)
Other versions
TWI714926B (zh
Inventor
王倩
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201933049A publication Critical patent/TW201933049A/zh
Application granted granted Critical
Publication of TWI714926B publication Critical patent/TWI714926B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

公開了一種夢境重現模型的構建方法、夢境重現方法及裝置,該夢境重現方法包括:獲得用戶在睡眠狀態下的腦電波資料;對所獲得的腦電波資料進行特徵提取,得到所述腦電波資料的特徵值;將所得到的腦電波資料的特徵值輸入所述夢境重現模型,得到對應的輸出值;從所述對應關係中,確定與所述輸出值具有最高相似度的可感知對象,以生成夢境重現結果。

Description

夢境重現模型的構建方法、夢境重現方法及裝置
本說明書實施例係關於電腦應用技術領域,尤其關於一種夢境重現模型的構建方法、夢境重現方法及裝置。
現代醫學認為,夢是人體睡眠時,體內外各種刺激因素,例如心理、生理、病理、環境因素等作用於大腦特定的皮層所產生的,其形式可以為影像、聲音、思想、感覺等。研究表明,美好的夢境在一定程度上可以帶給人主觀上較為愉悅的感受,人甚至可以在夢境中找到解決實際問題的靈感,但由於夢境的產生不受人體主觀意識控制,從而人體從睡眠狀態醒來後,通常不會記憶起完整清晰的夢境。
針對上述技術問題,本說明書實施例提供一種夢境重現模型的構建方法、夢境重現方法及裝置,技術方案如下:
根據本說明書實施例的第一態樣,提供一種夢境重現模型的構建方法,所述方法包括:
獲得至少一組包含可感知對象與用戶在感知所述可感知對象時的腦電波資料的對應關係;
分別對每一組所述對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的所述腦電波資料的特徵值為輸入值,以提取到的所述可感知對象的特徵值為標籤值;
利用有監督學習演算法對所述訓練樣本進行訓練,得到夢境重現模型,所述夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
根據本說明書實施例的第二態樣,提供一種夢境重現方法,所述方法包括:
獲得用戶在睡眠狀態下的腦電波資料;
對所獲得的腦電波資料進行特徵提取,得到所述腦電波資料的特徵值;
將所得到的腦電波資料的特徵值輸入所述夢境重現模型,得到對應的輸出值;
從所述對應關係中,確定與所述輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
根據本說明書實施例的第三態樣,提供一種夢境重現模型的構建裝置,所述裝置包括:
資料獲取模組,用於獲得至少一組包含可感知對象與用戶在感知所述可感知對象時的腦電波資料的對應關係;
樣本獲取模組,用於分別對每一組所述對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的所述腦電波資料的特徵值為輸入值,以提取到的所述可感知對象的特徵值為標籤值;
樣本訓練模組,用於利用有監督學習演算法對所述訓練樣本進行訓練,得到夢境重現模型,所述夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
根據本說明書實施例的第四態樣,提供一種夢境重現裝置,所述裝置包括:
腦電波獲取模組,用於獲得用戶在睡眠狀態下的腦電波資料;
特徵提取模組,用於對所獲得的腦電波資料進行特徵提取,得到所述腦電波資料的特徵值;
輸出模組,用於將所得到的腦電波資料的特徵值輸入所述夢境重現模型,得到對應的輸出值;
重現模組,用於從所述對應關係中,確定與所述輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
根據本說明書實施例的第五態樣,提供一種電腦設備,包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式,其中,所述處理器執行所述程式時實現本說明書一個或多個實施例提供的任一項夢境重現模型的構建方法。
根據本說明書實施例的第六態樣,提供一種電腦設備,包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式,其中,所述處理器執行所述程式時實現本說明書一個或多個實施例提供的任一項夢境重現方法。
本說明書實施例所提供的技術方案,透過獲得至少一組包含可感知對象與用戶在感知可感知對象時的腦電波資料的對應關係,分別對每一組對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的腦電波資料的特徵值為輸入值,以可感知對象的特徵值為標籤值,利用有監督學習演算法對訓練樣本進行訓練,得到夢境重現模型,該夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值為輸出值,後續,透過該夢境重現模型即可實現利用用戶在睡眠狀態下的腦電波資料重現用戶夢境,滿足用戶體驗。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,並不能限制本說明書實施例。
此外,本說明書實施例中的任一實施例並不需要達到上述的全部效果。
為了使本領域技術人員更好地理解本說明書實施例中的技術方案,下面將結合本說明書實施例中的附圖,對本說明書實施例中的技術方案進行詳細地描述,顯然,所描述的實施例僅僅是本說明書的一部分實施例,而不是全部的實施例。基於本說明書中的實施例,本領域普通技術人員所獲得的所有其他實施例,都應當屬於保護的範圍。
現代醫學認為,夢是人體睡眠時,體內外各種刺激因素,例如心理、生理、病理、環境因素等作用於大腦特定的皮層所產生的,也就是說,人在做夢時,大腦皮層處於興奮狀態,從而將產生腦電波,而腦電波與人的意識活動具有某種程度的對應,例如,人在看到兩幅不同的圖像,或者聽到兩段旋律不同的音樂時,大腦皮層的神經活動不同,從而所產生的腦電波不同,同樣的,人做夢夢到不同的場景時,大腦皮層的神經活動不同,從而所產生的腦電波也不同,基於此,本發明提出利用腦電波資料實現夢境重現。
請參見圖1,為本說明書一示例性實施例示出的實現夢境重現的應用場景示意圖。如圖1所示,包括用戶110、腦電波感測器120,以及電腦130,其中,腦電波感測器120被佩戴在用戶110的頭部,用於採集用戶110的腦電波資料,並將採集到的腦電波資料發送給電腦130,具體為:在用戶110處於清醒狀態時,腦電波感測器120採集用戶110在感知到可感知對象,例如用戶110看到一幅圖像時,用戶110的腦電波資料,將該腦電波資料,以及該腦電波資料對應的可感知對象的相關資訊發送給電腦130,由電腦130基於接收到的腦電波資料與可感知對象的相關資訊進行訓練,得到夢境重現模型,該夢境重現模型可以以腦電波資料相關資訊為輸入,以可感知對象相關資訊為輸出。本領域技術人員可以理解的是,為了得到夢境重現模型,需要若干樣本,亦即需要採集若干條用戶在感知不同的可感知對象時,所產生的腦電波資料。
在訓練得到夢境重現模型後,則可以使用腦電波感測器120採集用戶在睡眠狀態下所產生的腦電波資料,繼而腦電波感測器120將該腦電波資料發送至電腦130,電腦130則可以基於夢境重現模型輸出與該腦電波資料對應的可感知對象的相關資訊,繼而則可以基於該可感知對象的相關資訊生成夢境重現結果。待用戶110醒來後,則可以透過電腦130查看上述夢境重現結果,實現“重溫”夢境。
基於圖1所示的應用場景,本說明書示出下述實施例分別從夢境重現模型的構建,與基於夢境重現模型實現夢境重現兩個方面進行描述。
首先,從夢境重現模型的構建這一方面進行描述:
請參見圖2,為本說明書一示例性實施例示出的夢境重現模型的構建方法的流程圖,可以包括以下步驟:
步驟202:獲得至少一組包含可感知對象與用戶在感知可感知對象時的腦電波資料的對應關係。
在本說明書實施例中,可感知對象可以為單幅圖像,也可以為視頻中截取的一幅圖像幀,本領域技術人員可以理解的是,單幅圖像與圖像幀的本質都是圖像,因此,為了描述方便,在本說明書實施例中,即稱可感知對象可以為圖像。
在一實施例中,可以預設可感知對象集合,例如,該集合包括1000張不同的圖像,依次將該可感知對象集合中的每一可感知對象提供給用戶110,例如,在特定環境下,以幻燈片形式播放該每一可感知對象,並在向用戶110提供可感知對象時,同步採集用戶110在感知該可感知對象時的腦電波資料。透過該種處理,每採集一次腦電波資料,即可獲得一條包含可感知對象與用戶110感知該可感知對象時的腦電波資料的對應關係,例如,獲得1000條該對應關係。
在一實施例中,可以按照預設規則,例如每隔5秒鐘,向用戶110提供一個可感知對象,並在提供第一個可感知對象至最後一個可感知對象的整個過程中,持續採集用戶110的腦電波資料,之後,按照與上述預設規則對應的提取規則,例如按照腦電波資料的採集時間,每隔5秒鐘,截取一段腦電波資料,之後,建立腦電波資料與可感知對象之間的對應關係。透過該種處理,最終也可以獲取到多條包含可感知對象與用戶110感知該可感知對象時的腦電波資料的對應關係。
在一實施例中,也可以向用戶110提供一段視頻,並在用戶110觀看該視頻的整個過程中,持續採集用戶110的腦電波資料,之後,按照同樣的時間間隔,截取該視頻中的圖像幀,以及腦電波資料,之後,則可以建立起腦電波資料與可感知對象之間的對應關係。
需要說明的是,上述描述的兩個實施例僅僅作為兩種可選的實現方式,在實際應用中,還可以存在其他方式獲取到至少一組包含可感知對象與用戶在感知可感知對象時的腦電波資料的對應關係,例如,可以在用戶110按照自主意志進行活動時,採集用戶110的腦電波資料,並同步採集用戶110的視網膜成像,基於採集時間,即可建立腦電波資料與視網膜成像的對應關係,該視網膜成像即可等同於用戶感知到的可感知對象。
本領域技術人員可以理解的是,按照上述描述,圖1中所示例的腦電波感測器120還可以具有採集視網膜成像的功能,或者是由另一單獨的可佩戴智慧晶片(圖1中並未示出)負責採集用戶110的視網膜成像,本說明書實施例對此不作限制。
步驟204:分別對每一組對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的腦電波資料的特徵值為輸入值,以提取到的可感知對象的特徵值為標籤值。
本說明書實施例中,針對步驟202獲得的每一組對應關係,分別對每一組對應關係中的可感知對象與用戶感知該可感知對象時的腦電波資料進行特徵提取,得到訓練樣本集合,該訓練樣本集合中的每一條訓練樣本則包括提取到的腦電波資料的特徵值與提取到的可感知對象的特徵值,並且基於上述圖1所示應用場景的相關描述,在實際的夢境重現過程中,是透過採集到的用戶110在睡眠狀態下的腦電波資料確定用戶110感知到的可感知對象,因此,上述每一條訓練樣本則以腦電波資料的特徵值為輸入值,以提取到的可感知對象的特徵值為標籤值。
提取腦電波資料的特徵值:
在一實施例中,透過複變的數學概念可知,任一頻率的實信號都可以表示成一系列週期函數的和,而將實信號表示成一系列週期函數和的過程則是對該實信號進行分析的過程,每一週期函數則相當於該實信號的組成成分,基於此,本說明書提出對腦電波資料進行複變分解,例如利用傅立葉變換對腦電波資料進行複變分解,將腦電波資料表示為至少一個複變函數的和,該至少一個複變函數則可以作為腦電波資料的特徵值,例如,所提到的腦電波資料的特徵值為(a1 f1 (sinx),a2 f2 (sinx),a3 f3 (sinx))。
需要說明的是,上述描述的提取腦電波資料特徵值的方式僅僅作為一種可選的實現方式,在實際應用中,還可以透過其他方式提取腦電波資料的特徵值,例如,可以透過相關性分析、AR參數估計、Butterworth低通濾波、遺傳演算法等等方式提取腦電波資料的特徵值,所提取到的特徵值的具體類型可以由實際演算法決定,例如,採用Butterworth低通濾波演算法提取到的特徵值則為信號幅度的平方值,採用AR參數估計演算法提取到的特徵值則為功率頻譜密度,本說明書實施例不再一一介紹。
提取可感知對象的特徵值:
以可感知對象為圖像為例,在一實施例中,可以對可感知對象進行顏色統計,得到可感知對象中每種顏色值對應的像素點個數,將所得到的像素點個數表示為2N 維向量,其中N為圖像的色彩位元數,即,該2N 維向量即可作為該可感知對象的特徵值,例如,所提取到的特徵值為(y1 、y2 、y3 、……y2^N )。
進一步,考慮到不同圖像的色彩位元數可能不同,例如8位元圖像與16位元圖像,從而,所提取到的特徵值的維數也就不同,為了後續對訓練樣本進行訓練的統一化,規整化,可以將具有不同色彩位元數的圖像的顏色統計結果映射至統一的向量空間,這裡所說的“統一”是指基於顏色統計結果所得到向量的維數相同。
此外,需要說明的是,向量的維數越大,後續對訓練樣本進行訓練的複雜度也就越高,計算量也就越大,因此,在本說明書實施例中,在保證可感知對象特徵值的精細度滿足用戶期望時,可以盡可能地設定一個維數較小的向量空間。
需要說明的是,在實際應用中,針對不同色彩位元數的圖像,可以首先將這些圖像統一設置為相同的色彩位數,繼而再按照上述描述進行特徵提取,在得到顏色統計結果後,則無需再執行將每一顏色統計結果映射至統一向量空間的步驟。
步驟206:利用有監督學習演算法對訓練樣本進行訓練,得到夢境重現模型,夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
在本說明書實施例中,可以利用有監督學習演算法對步驟204中得到的訓練樣本進行訓練,得到夢境重現模型,該夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。可以理解的是,訓練得到的夢境重現模型實質上可以理解為輸入值與輸出值之間的函數關係,其中,輸出值會受到輸入值中的全部或部分影響,因此,輸出值與輸入值之間的函數關係可以如下示例:

其中,x1 ,x2 ,…xM 表示M個輸入值,亦即M個腦電波資料的特徵值,y則表示輸出值,亦即可感知對象的特徵值,具體可以為可感知對象中每種顏色值對應的像素點個數之間的比例關係。
需要說明的是,該夢境重現模型的形式可以根據實際訓練需求選擇,例如線性回歸模型(linear regression model)、邏輯回歸模型(logistic regression model)等等。本說明書實施例對模型的選擇及具體的訓練演算法均不作限定。
此外,需要說明的是,不同用戶對同一可感知對象的感知能力可能不同,因此,本說明書實施例中提出針對不同用戶分別構建不同的夢境重現模型;進一步,同一用戶在自身心理、生理處於不同狀態下,對同一可感知對象的感知能力可能不同,因此,本說明書實施例中還提出針對同一用戶的不同時間段,分別構建不同的夢境重現模型。另外,在實際應用中,還可以存在其他可實現方式,例如,針對不同用戶均構建同一夢境重現模型,本說明書實施例對此並不作具體限制。
由上述實施例可見,本說明書實施例提供的技術方案,透過獲得至少一組包含可感知對象與用戶在感知可感知對象時的腦電波資料的對應關係,分別對每一組對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的腦電波資料的特徵值為輸入值,以可感知對象的特徵值為標籤值,利用有監督學習演算法對訓練樣本進行訓練,得到夢境重現模型,該夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值為輸出值,後續,透過該夢境重現模型即可實現利用用戶在睡眠狀態下的腦電波資料重現用戶夢境,滿足用戶體驗。
至此,完成夢境重現模型的構建這一方面的相關描述。
其次,從基於夢境重現模型實現夢境重現這一方面進行描述:
請參見圖3,為本說明書一示例性實施例示出的夢境重現方法的流程圖,可以包括以下步驟:
步驟302:獲得用戶在睡眠狀態下的腦電波資料。
在本說明書實施例中,可以按照預設規則,例如每隔一分鐘、或每隔兩分鐘等透過圖1中所示例的腦電波感測器120獲得用戶在睡眠狀態下的腦電波資料。
步驟304:對所獲得的腦電波資料進行特徵提取,得到腦電波資料的特徵值。
本步驟的詳細描述可以參見上述圖2所示實施例中步驟204中的相關描述,在此不再詳述。
步驟306:將所得到的腦電波資料的特徵值輸入夢境重現模型,得到對應的輸出值。
由上述圖2所示實施例中描述的夢境重現模型可知,在本步驟中,可以將步驟304中提取到的腦電波資料的特徵值輸入夢境重現模型,得到對應的輸出值,該輸出值可以為可感知對象的特徵值。
步驟308:從對應關係中,確定與輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
在本說明書實施例中,可以將訓練樣本集中每一可感知對象的特徵值與步驟306中的輸出值進行相似度計算,確定與該輸出值相似度最高的可感知對象的特徵值,繼而,則可以在上述圖2所示實施例描述的對應關係中,確定與該輸出值具有最高相似度的可感知對象,基於所確定的可感知對象即可生成夢境重現結果。
得到訓練樣本集中每一可感知對象的特徵值的具體過程可以參見上述圖2所示實施例中的相關描述,在此不再詳述。
進一步可以向用戶展示夢境重現結果,例如,按照腦電波資料的採集時間的先後順序,以幻燈片形式播放確定的多張圖像。
本領域技術人員可以理解的是,上述與輸出值具有最高相似度的可感知對象可以為一個或多個,本說明書實施例對此不作限制。
在上述描述中,計算輸出值與可感知對象的特徵值之間相似度的具體方式可以為歐式距離演算法、餘弦相似度計算演算法,等等,本說明書實施例對此不作限制。
由上述實施例可見,本說明書實施例提供的技術方案,透過獲得用戶在睡眠狀態下的腦電波資料,對該腦電波資料進行特徵提取,得到腦電波資料的特徵值,將該特徵值輸入夢境重現模型,得到對應的輸出值,之後,從預先獲取到的包含可感知對象與用戶感知可感知對象時的腦電波資料的對應關係中,確定與該輸出值具有最高相似度的可感知對象,以生成夢境重現結果,從而實現了用戶基於夢境重現結果“重溫”夢境。
至此,完成基於夢境重現模型實現夢境重現這一方面的相關描述。
相應於上述夢境重現模型的構建方法實施例,本說明書實施例還提供一種夢境重現模型的構建裝置,參見圖4所示,為本說明書一示例性實施例示出的夢境重現模型的構建裝置的實施例框圖,該裝置可以包括:資料獲取模組41、樣本獲取模組42,以及樣本訓練模組43。
其中,資料獲取模組41,可以用於獲得至少一組包含可感知對象與用戶在感知所述可感知對象時的腦電波資料的對應關係;
樣本獲取模組42,可以用於分別對每一組所述對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的所述腦電波資料的特徵值為輸入值,以提取到的所述可感知對象的特徵值為標籤值;
樣本訓練模組43,可以用於利用有監督學習演算法對所述訓練樣本進行訓練,得到夢境重現模型,所述夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
在一實施例中,所述資料獲取模組41可以包括(圖4中未示出):
提供子模組,用於依次將預設的可感知對象集合中的每一可感知對象提供給用戶;
採集子模組,用於在向所述用戶提供所述可感知對象時,同步採集所述用戶在感知所述可感知對象時的腦電波資料。
在一實施例中,所述樣本獲取模組42可以包括(圖4中未示出):
第一分解子模組,用於對每一組所述對應關係中的腦電波資料進行複變分解,將所述腦電波資料表示為至少一個複變函數的和;
第一確定子模組,用於將所述至少一個複變函數作為所述腦電波資料的特徵值。
在一實施例中,所述可感知對象為圖像,所述樣本獲取模組42可以包括(圖4中未示出):
統計子模組,用於對每一組所述對應關係中的圖像進行顏色統計,得到所述圖像中每種顏色值對應的像素點個數;
第二確定子模組,用於將所得到的像素點個數表示為2N 維向量,其中N為圖像的色彩位元數。
在一實施例中,所述裝置還可以包括(圖4中未示出):
映射模組,用於將具有不同色彩位元數的圖像的顏色統計結果映射至統一的向量空間。
在一實施例中,針對不同用戶分別構建不同的夢境重現模型。
可以理解的是,資料獲取模組41、樣本獲取模組42,以及樣本訓練模組43作為三種功能獨立的模組,既可以如圖4所示同時配置在裝置中,也可以分別單獨配置在裝置中,因此圖4所示的結構不應理解為對本說明書實施例方案的限定。
此外,上述裝置中各個模組的功能和作用的實現過程具體詳見上述夢境重現模型的構建方法中對應步驟的實現過程,在此不再贅述。
相應於上述夢境重現方法實施例,本說明書實施例還提供一種夢境重現裝置,參見圖5所示,為本說明書一示例性實施例示出的夢境重現裝置的實施例框圖,該裝置可以包括:腦電波獲取模組51、特徵提取模組52、輸出模組53,以及重現模組54。
其中,腦電波獲取模組51,可以用於獲得用戶在睡眠狀態下的腦電波資料;
特徵提取模組52,可以用於對所獲得的腦電波資料進行特徵提取,得到所述腦電波資料的特徵值;
輸出模組53,可以用於將所得到的腦電波資料的特徵值輸入所述夢境重現模型,得到對應的輸出值;
重現模組54,可以用於從所述對應關係中,確定與所述輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
在一實施例中,所述特徵提取模組52可以包括(圖5中未示出):
第二分解子模組,用於對所獲得的腦電波資料進行複變分解,將所述腦電波資料表示為至少一個複變函數的和;
第三確定子模組,用於將所述至少一個複變函數作為所述腦電波資料的特徵值。
在一實施例中,所述重現模組54可以包括(圖5中未示出):
第四確定子模組,用於確定所述對應關係中每一可感知對象的參考特徵值;
計算子模組,用於分別計算所述輸出值與所述每一可感知對象的參考特徵值之間的相似度;
第五確定子模組,用於確定具有最高相似度的可感知對象,以生成夢境重現結果。
可以理解的是,腦電波獲取模組51、特徵提取模組52、輸出模組53,以及重現模組54作為四種功能獨立的模組,既可以如圖5所示同時配置在裝置中,也可以分別單獨配置在裝置中,因此圖5所示的結構不應理解為對本說明書實施例方案的限定。
此外,上述裝置中各個模組的功能和作用的實現過程具體詳見上述夢境重現方法中對應步驟的實現過程,在此不再贅述。
相應於上述夢境重現模型的構建方法實施例,本說明書實施例還提供一種電腦設備,其至少包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式,其中,處理器執行所述程式時實現前述的夢境重現模型的構建方法,該方法至少包括:獲得至少一組包含可感知對象與用戶在感知所述可感知對象時的腦電波資料的對應關係;分別對每一組所述對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的所述腦電波資料的特徵值為輸入值,以提取到的所述可感知對象的特徵值為標籤值;利用有監督學習演算法對所述訓練樣本進行訓練,得到夢境重現模型,所述夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
相應於上述夢境重現方法實施例,本說明書實施例還提供一種電腦設備,其至少包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式,其中,處理器執行所述程式時實現前述的夢境重現方法,該方法至少包括:獲得用戶在睡眠狀態下的腦電波資料;對所獲得的腦電波資料進行特徵提取,得到所述腦電波資料的特徵值;將所得到的腦電波資料的特徵值輸入所述夢境重現模型,得到對應的輸出值;從所述對應關係中,確定與所述輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
圖6示出了本說明書實施例所提供的一種更為具體的計算設備硬體結構示意圖,該設備可以包括:處理器610、記憶體620、輸入/輸出介面630、通信介面640和匯流排650。其中處理器610、記憶體620、輸入/輸出介面630和通信介面640透過匯流排650實現彼此之間在設備內部的通信連接。
處理器610可以採用通用的CPU(Central Processing Unit,中央處理器)、微處理器、應用專用積體電路(Application Specific Integrated Circuit,ASIC)、或者一個或多個積體電路等方式實現,用於執行相關程式,以實現本說明書實施例所提供的技術方案。
記憶體620可以採用ROM(Read Only Memory,唯讀記憶體)、RAM(Random Access Memory,隨機存取記憶體)、靜態存放裝置,動態儲存裝置設備等形式實現。記憶體620可以儲存作業系統和其他應用程式,在透過軟體或者韌體來實現本說明書實施例所提供的技術方案時,相關的程式碼保存在記憶體620中,並由處理器610來調用執行。
輸入/輸出介面630用於連接輸入/輸出模組,以實現資訊輸入及輸出。輸入輸出/模組可以作為元件配置在設備中(圖6中未示出),也可以外接於設備以提供相應功能。其中輸入裝置可以包括鍵盤、滑鼠、觸控式螢幕、麥克風、各類感測器等,輸出設備可以包括顯示器、揚聲器、振動器、指示燈等。
通信介面640用於連接通信模組(圖6中未示出),以實現本設備與其他設備的通信交互。其中通信模組可以透過有線方式(例如USB、網線等)實現通信,也可以透過無線方式(例如移動網路、WIFI、藍牙等)實現通信。
匯流排650包括一通路,在設備的各個元件(例如處理器610、記憶體620、輸入/輸出介面630和通信介面640)之間傳輸資訊。
需要說明的是,儘管上述設備僅示出了處理器610、記憶體620、輸入/輸出介面630、通信介面640以及匯流排650,但是在具體實施過程中,該設備還可以包括實現正常運行所必需的其他元件。此外,本領域的技術人員可以理解的是,上述設備中也可以僅包含實現本說明書實施例方案所必需的組件,而不必包含圖中所示的全部元件。
相應於上述夢境重現模型的構建方法實施例,本說明書實施例還提供一種電腦可讀儲存媒體,其上儲存有電腦程式,該程式被處理器執行時實現前述的夢境重現模型的構建方法。該方法至少包括:獲得至少一組包含可感知對象與用戶在感知所述可感知對象時的腦電波資料的對應關係;分別對每一組所述對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的所述腦電波資料的特徵值為輸入值,以提取到的所述可感知對象的特徵值為標籤值;利用有監督學習演算法對所述訓練樣本進行訓練,得到夢境重現模型,所述夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
相應於上述夢境重現方法實施例,本說明書實施例還提供一種電腦可讀儲存媒體,其上儲存有電腦程式,該程式被處理器執行時實現前述的夢境重現方法。該方法至少包括:獲得用戶在睡眠狀態下的腦電波資料;對所獲得的腦電波資料進行特徵提取,得到所述腦電波資料的特徵值;將所得到的腦電波資料的特徵值輸入所述夢境重現模型,得到對應的輸出值;從所述對應關係中,確定與所述輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括,但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁磁片儲存或其他磁性存放裝置或任何其他非傳輸媒體,可用於儲存可以被計算設備訪問的資訊。按照本文中的界定,電腦可讀媒體不包括暫存電腦可讀媒體(transitory media),如調製的資料信號和載波。
透過以上的實施方式的描述可知,本領域的技術人員可以清楚地瞭解到本說明書實施例可借助軟體加必需的通用硬體平台的方式來實現。基於這樣的理解,本說明書實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來,該電腦軟體產品可以儲存在儲存媒體中,如ROM/RAM、磁碟、光碟等,包括若干指令用以使得一台電腦設備(可以是個人電腦,伺服器,或者網路設備等)執行本說明書實施例各個實施例或者實施例的某些部分所述的方法。
上述實施例闡明的系統、裝置、模組或單元,具體可以由電腦晶片或實體實現,或者由具有某種功能的產品來實現。一種典型的實現設備為電腦,電腦的具體形式可以是個人電腦、膝上型電腦、蜂窩電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件收發設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任意幾種設備的組合。
本說明書中的各個實施例均採用遞進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於裝置實施例而言,由於其基本相似於方法實施例,所以描述得比較簡單,相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的,其中所述作為分離部件說明的模組可以是或者也可以不是物理上分開的,在實施本說明書實施例方案時可以把各模組的功能在同一個或多個軟體和/或硬體中實現。也可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。本領域普通技術人員在不付出創造性勞動的情況下,即可以理解並實施。
以上所述僅是本說明書實施例的具體實施方式,應當指出,對於本技術領域的普通技術人員來說,在不脫離本說明書實施例原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本說明書實施例的保護範圍。
110‧‧‧用戶
120‧‧‧腦電波感測器
130‧‧‧電腦
41‧‧‧資料獲取模組
42‧‧‧樣本獲取模組
43‧‧‧樣本訓練模組
51‧‧‧腦電波獲取模組
52‧‧‧特徵提取模組
53‧‧‧輸出模組
54‧‧‧重現模組
610‧‧‧處理器
620‧‧‧記憶體
630‧‧‧輸入/輸出介面
640‧‧‧通信介面
650‧‧‧匯流排
為了更清楚地說明本說明書實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本說明書實施例中記載的一些實施例,對於本領域普通技術人員來講,還可以根據這些附圖獲得其他的附圖。
圖1為本說明書一示例性實施例示出的實現夢境重現的應用場景示意圖;
圖2為本說明書一示例性實施例示出的夢境重現模型的構建方法的流程圖;
圖3為本說明書一示例性實施例示出的夢境重現方法的流程圖;
圖4為本說明書一示例性實施例示出的夢境重現模型的構建裝置的實施例框圖;
圖5為本說明書一示例性實施例示出的夢境重現裝置的實施例框圖;
圖6示出了本說明書實施例所提供的一種更為具體的計算設備硬體結構示意圖。

Claims (20)

  1. 一種夢境重現模型的構建方法,該方法包括: 獲得至少一組包含可感知對象與用戶在感知該可感知對象時的腦電波資料的對應關係; 分別對每一組該對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的該腦電波資料的特徵值為輸入值,以提取到的該可感知對象的特徵值為標籤值; 利用有監督學習演算法對該訓練樣本進行訓練,得到夢境重現模型,該夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
  2. 根據請求項1所述的方法,所述獲得至少一組包含可感知對象與用戶在感知該可感知對象時的腦電波資料的對應關係,包括: 依次將預設的可感知對象集合中的每一可感知對象提供給用戶; 在向該用戶提供該可感知對象時,同步採集該用戶在感知該可感知對象時的腦電波資料。
  3. 根據請求項1所述的方法,所述對每一組該對應關係進行特徵提取,包括: 對每一組該對應關係中的腦電波資料進行複變分解,將該腦電波資料表示為至少一個複變函數的和; 將該至少一個複變函數作為該腦電波資料的特徵值。
  4. 根據請求項1所述的方法,該可感知對象為圖像,所述對每一組該對應關係進行特徵提取,包括: 對每一組該對應關係中的圖像進行顏色統計,得到該圖像中每種顏色值對應的像素點個數; 將所得到的像素點個數表示為2N 維向量,其中N為圖像的色彩位元數。
  5. 根據請求項4所述的方法,還包括: 將具有不同色彩位元數的圖像的顏色統計結果映射至統一的向量空間。
  6. 根據請求項1所述的方法,針對不同用戶分別構建不同的夢境重現模型。
  7. 一種基於如請求項1至6任一項所述的夢境重現模型的夢境重現方法,該方法包括: 獲得用戶在睡眠狀態下的腦電波資料; 對所獲得的腦電波資料進行特徵提取,得到該腦電波資料的特徵值; 將所得到的腦電波資料的特徵值輸入該夢境重現模型,得到對應的輸出值; 從該對應關係中,確定與該輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
  8. 根據請求項7所述的方法,所述對所獲得的腦電波資料進行特徵提取,得到該腦電波資料的特徵值,包括: 對所獲得的腦電波資料進行複變分解,將該腦電波資料表示為至少一個複變函數的和; 將該至少一個複變函數作為該腦電波資料的特徵值。
  9. 根據請求項7所述的方法,所述從該對應關係中,確定與該輸出值具有最高相似度的可感知對象,以生成夢境重現結果,包括: 確定該對應關係中每一可感知對象的參考特徵值; 分別計算該輸出值與該每一可感知對象的參考特徵值之間的相似度; 確定具有最高相似度的可感知對象,以生成夢境重現結果。
  10. 一種夢境重現模型的構建裝置,該裝置包括: 資料獲取模組,用於獲得至少一組包含可感知對象與用戶在感知該可感知對象時的腦電波資料的對應關係; 樣本獲取模組,用於分別對每一組該對應關係進行特徵提取,獲得訓練樣本集合,其中,每條訓練樣本以提取到的該腦電波資料的特徵值為輸入值,以提取到的該可感知對象的特徵值為標籤值; 樣本訓練模組,用於利用有監督學習演算法對該訓練樣本進行訓練,得到夢境重現模型,該夢境重現模型以腦電波資料的特徵值作為輸入值,以可感知對象的特徵值作為輸出值。
  11. 根據請求項10所述的裝置,該資料獲取模組包括: 提供子模組,用於依次將預設的可感知對象集合中的每一可感知對象提供給用戶; 採集子模組,用於在向該用戶提供該可感知對象時,同步採集該用戶在感知該可感知對象時的腦電波資料。
  12. 根據請求項10所述的裝置,該樣本獲取模組包括: 第一分解子模組,用於對每一組該對應關係中的腦電波資料進行複變分解,將該腦電波資料表示為至少一個複變函數的和; 第一確定子模組,用於將該至少一個複變函數作為該腦電波資料的特徵值。
  13. 根據請求項10所述的裝置,該可感知對象為圖像,該樣本獲取模組包括: 統計子模組,用於對每一組該對應關係中的圖像進行顏色統計,得到該圖像中每種顏色值對應的像素點個數; 第二確定子模組,用於將所得到的像素點個數表示為2N 維向量,其中N為圖像的色彩位元數。
  14. 根據請求項13所述的裝置,還包括: 映射模組,用於將具有不同色彩位元數的圖像的顏色統計結果映射至統一的向量空間。
  15. 根據請求項10所述的裝置,針對不同用戶分別構建不同的夢境重現模型。
  16. 一種基於如請求項10至15任一項所述的夢境重現模型的夢境重現裝置,該裝置包括: 腦電波獲取模組,用於獲得用戶在睡眠狀態下的腦電波資料; 特徵提取模組,用於對所獲得的腦電波資料進行特徵提取,得到該腦電波資料的特徵值; 輸出模組,用於將所得到的腦電波資料的特徵值輸入該夢境重現模型,得到對應的輸出值; 重現模組,用於從該對應關係中,確定與該輸出值具有最高相似度的可感知對象,以生成夢境重現結果。
  17. 根據請求項16所述的裝置,該特徵提取模組包括: 第二分解子模組,用於對所獲得的腦電波資料進行複變分解,將該腦電波資料表示為至少一個複變函數的和; 第三確定子模組,用於將該至少一個複變函數作為該腦電波資料的特徵值。
  18. 根據請求項16所述的裝置,該重現模組包括: 第四確定子模組,用於確定該對應關係中每一可感知對象的參考特徵值; 計算子模組,用於分別計算該輸出值與該每一可感知對象的參考特徵值之間的相似度; 第五確定子模組,用於確定具有最高相似度的可感知對象,以生成夢境重現結果。
  19. 一種電腦設備,包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式,其中,該處理器執行該程式時實現如請求項1至6任一項所述的方法。
  20. 一種電腦設備,包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式,其中,該處理器執行該程式時實現如請求項7至9任一項所述的方法。
TW107145449A 2018-01-29 2018-12-17 夢境重現模型的構建方法、夢境重現方法及裝置 TWI714926B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810082506.X 2018-01-29
??201810082506.X 2018-01-29
CN201810082506.XA CN108363487B (zh) 2018-01-29 2018-01-29 梦境重现模型的构建方法、梦境重现方法及装置

Publications (2)

Publication Number Publication Date
TW201933049A true TW201933049A (zh) 2019-08-16
TWI714926B TWI714926B (zh) 2021-01-01

Family

ID=63007199

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145449A TWI714926B (zh) 2018-01-29 2018-12-17 夢境重現模型的構建方法、夢境重現方法及裝置

Country Status (3)

Country Link
CN (1) CN108363487B (zh)
TW (1) TWI714926B (zh)
WO (1) WO2019144709A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363487B (zh) * 2018-01-29 2020-04-07 阿里巴巴集团控股有限公司 梦境重现模型的构建方法、梦境重现方法及装置
CN109589484A (zh) * 2018-11-29 2019-04-09 中国地质大学(武汉) 一种梦境影响的宠物智能交互装置及方法
CN109770896A (zh) * 2019-01-08 2019-05-21 平安科技(深圳)有限公司 梦境图像重现方法、装置及存储介质、服务器
CN112017773B (zh) * 2020-08-31 2024-03-26 吾征智能技术(北京)有限公司 一种基于噩梦的疾病认知模型构建方法及疾病认知系统
CN113208621A (zh) * 2021-04-06 2021-08-06 北京脑陆科技有限公司 一种基于eeg信号的梦境交互方法、系统
CN113208627A (zh) * 2021-04-07 2021-08-06 北京脑陆科技有限公司 基于脑电eeg信号的梦境判别方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4735199A (en) * 1986-01-14 1988-04-05 Dilullo John D Dream detection method and system
CN100355392C (zh) * 2006-03-28 2007-12-19 北京大学 睡眠与梦的监测和干预系统
CN100580700C (zh) * 2007-03-26 2010-01-13 浙江大学 隐写分析系统中基于主元特征的隐写分析方法
US9451883B2 (en) * 2009-03-04 2016-09-27 The Regents Of The University Of California Apparatus and method for decoding sensory and cognitive information from brain activity
CN104125386B (zh) * 2013-04-25 2018-04-17 宏达国际电子股份有限公司 影像处理装置及其影像处理方法
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
CN106560158A (zh) * 2016-11-23 2017-04-12 深圳创达云睿智能科技有限公司 一种基于脑电的冥想禅修反馈训练方法和装置
CN106620990A (zh) * 2016-11-24 2017-05-10 深圳创达云睿智能科技有限公司 一种调节情绪的方法及其装置
CN107545049B (zh) * 2017-08-18 2022-10-14 腾讯科技(深圳)有限公司 图片处理方法及相关产品
CN108042145A (zh) * 2017-11-28 2018-05-18 广州视源电子科技股份有限公司 情绪状态识别方法和系统、情绪状态识别设备
CN108363487B (zh) * 2018-01-29 2020-04-07 阿里巴巴集团控股有限公司 梦境重现模型的构建方法、梦境重现方法及装置

Also Published As

Publication number Publication date
WO2019144709A1 (zh) 2019-08-01
CN108363487A (zh) 2018-08-03
TWI714926B (zh) 2021-01-01
CN108363487B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
TWI714926B (zh) 夢境重現模型的構建方法、夢境重現方法及裝置
Marín-Morales et al. Affective computing in virtual reality: emotion recognition from brain and heartbeat dynamics using wearable sensors
CN111758229B (zh) 基于生物特征传感器数据数字地表示用户参与定向内容
Climent-Pérez et al. A review on video-based active and assisted living technologies for automated lifelogging
Liu et al. EEG databases for emotion recognition
Stopczynski et al. The smartphone brain scanner: a portable real-time neuroimaging system
Al-Barrak et al. NeuroPlace: Categorizing urban places according to mental states
Raheel et al. Emotion recognition in response to traditional and tactile enhanced multimedia using electroencephalography
US9585581B1 (en) Real-time biometric detection of oscillatory phenomena and voltage events
Liu et al. EEG-based dominance level recognition for emotion-enabled interaction
US20190080510A1 (en) Creating a synthetic model with organic veracity
Zhang et al. Video salient region detection model based on wavelet transform and feature comparison
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
US10108853B2 (en) Apparatus and method to estimate a degree of user fatigue to video content
Shahadi et al. Eulerian video magnification: a review
Bhattacharya Increase of universality in human brain during mental imagery from visual perception
CN113093908B (zh) 拍摄控制方法及相关产品
Chan et al. Declutterar: Mobile diminished reality and augmented reality to address hoarding by motivating decluttering and selling on online marketplace
CN110638472B (zh) 情感识别方法、装置、电子设备及计算机可读存储介质
Pei et al. EEG-based affective computing in virtual reality with a balancing of the computational efficiency and recognition accuracy
Meng et al. Towards enhancing a recorded concert experience in virtual reality by visualizing the physiological data of the audience
Wu et al. Integration of affective computing techniques and soft computing for developing a human affective recognition system for U-learning systems
Cavazza et al. Understanding action concepts from videos and brain activity through subjects’ consensus
Koutras et al. Audio-visual temporal saliency modeling validated by fmri data
Daşdemir et al. Emotion analysis using different stimuli with EEG signals in emotional space