WO2016011703A1 - 脑电信号与音乐进行匹配的方法及其系统 - Google Patents

脑电信号与音乐进行匹配的方法及其系统 Download PDF

Info

Publication number
WO2016011703A1
WO2016011703A1 PCT/CN2014/086917 CN2014086917W WO2016011703A1 WO 2016011703 A1 WO2016011703 A1 WO 2016011703A1 CN 2014086917 W CN2014086917 W CN 2014086917W WO 2016011703 A1 WO2016011703 A1 WO 2016011703A1
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
music
window width
preset
eeg signal
Prior art date
Application number
PCT/CN2014/086917
Other languages
English (en)
French (fr)
Inventor
刘冬冬
张博
杨晓文
Original Assignee
刘冬冬
张博
杨晓文
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 刘冬冬, 张博, 杨晓文 filed Critical 刘冬冬
Priority to US14/957,415 priority Critical patent/US10210878B2/en
Publication of WO2016011703A1 publication Critical patent/WO2016011703A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Abstract

本发明公开一种根据脑电信号提供相匹配音乐的方法及其系统，所述方法包括：S1.根据测量的脑电信号，得到所述脑电信号的定标指数α；S2.对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β；S3.根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。本发明公开的脑电信号与音乐进行匹配的方法及其系统通过测量人的脑电信号而快速自动化地找到符合人当前情绪状态的乐曲，这对于缓解压力、放松平复情绪有很重要的作用。

Description

脑电信号与音乐进行匹配的方法及其系统 技术领域
本发明涉及神经科学技术领域，具体涉及脑电信号与音乐进行匹配的方法及其系统。
背景技术
在自然界中存在着许多蕴含丰富信息的符号序列，例如人们创造的语言，人们所定义的乐音(如音乐)、噪音，或者在自然过程中形成的例如基因序列和神经传导信号等。在这些不同类型的符号序列中，可以通过发现一些共性元素来实现不同序列间的对应。
音乐是最“直接表达人的感情”的艺术形式之一，对人的情绪、情感的发展有着重要的影响和促进作用。音乐引起人的情绪反应所内在的脑机制的研究已成为发展认知神经科学、教育学和心理学等领域的热点之一。现代研究已经证实，音乐可以影响人的脑电波，且不同类型的音乐，对大脑产生的刺激不同，所引起的人脑的兴奋模式也不同。因此，如何选择音乐来缓解人的压力、放松平复情绪有重要意义。
当前的研究多集中于探讨不同类型音乐对大脑所带来的不同影响。
现有技术存在的问题是在无法客观且具有针对性的选择音乐来缓解人的压力、放松平复情绪。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是现有技术无法客观且具有针对性的选择音乐来缓解人的压力、放松平复情绪。
(二)技术方案
为此目的，第一方面，本发明提出一种脑电信号与音乐进行匹配的方法，所述方法包括：
S1.根据测量的脑电信号，得到所述脑电信号的定标指数α；
S2.对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β；
S3.根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。
可选的，所述步骤S1包括：
S11.对测量的脑电信号进行数字化处理，得到脑电信号的离散时间序列{xi，i＝1,2,...,N}，xi为第i个脑电信号采样点，N为脑电信号采样点的个数；
S12.滤去所述离散时间序列{xi，i＝1,2,...,N}的平均值<x>，得到序列{yi，i＝1,2,...,N}，所述yi为：
Figure PCTCN2014086917-appb-000001
其中，
Figure PCTCN2014086917-appb-000002
S13.对所述序列{yi，i＝1,2,...,N}进行经验模态分解EMD，得到n个固有模态函数IMF和一个剩余量R，其中n为正整数，n的取值由所述EMD确定；
S14.计算所述n个固有模态函数IMF中每一个固有模态函数的峰峰值间隔；
S15.将所述峰峰值间隔在第一预设范围s内的IMF对应的波形合并为一组波形，得到合并波形Pvalues(k)，其中10(m-1)≤s≤10m，m＝1,2,…,mmax，mmax的大小取决于序列{yi，i＝1,2,...,N}的长度N，k表示合并波形中的每一个数据点，k＝1,2,...,kmax，kmax的大小由第一预设范围s和落在所述第一预设范围s内的峰峰值间隔对应的波形长度确定；
S16.对每组合并波形的进行平均均方根计算，获得波动函数F：
Figure PCTCN2014086917-appb-000003
其中
Figure PCTCN2014086917-appb-000004
<s>表示对不同的第一预设范围s求均值，所述F∝sα，∝表示成比例，其中，α为定标指数；
S17.根据所述F∝sα，得到定标指数α。
可选的，所述步骤S2包括：
S21.将预设音乐库中的音乐进行数字化处理，得到数字化音乐信号序列{Ui，i＝1,2,...,M}，i为所述数字化音乐信号序列中第i个时间点，M为所述数字化音乐信号序列的总长度；
S22.以预设窗宽对所述数字化音乐信号序列{Ui，i＝1,2,...,M}进行无重叠的移窗并计算标准差，得到序列{vj，j＝1,2,…,M/(预设窗宽)}，vj为所述序列{vj，j＝1,2,…,M/(预设窗宽)}的第j个数据；
S23.根据所述序列{vj，j＝1,2,…,M/(预设窗宽)}，得到平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}；
S24.根据所述平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}，得到一维随机游走序列{zb，b＝1,2,…,M/(预设窗宽)}，zb为所述序列{zb，b＝1,2,…,M/(预设窗宽)}的第b个数据，所述zb为：
Figure PCTCN2014086917-appb-000005
Figure PCTCN2014086917-appb-000006
S25.以所述预设窗宽将所述波动序列{zb，b＝1,2,…,M/(预设窗宽)}进行有重叠的移窗，得到多个子序列，所述重叠的长度为预设值τ；
S26.利用线性回归得到每个所述子序列的线性趋势
Figure PCTCN2014086917-appb-000007
S27.根据所述序列{zb，b＝1,2,…,M/(预设窗宽)}及每个所述子序列的线性趋势，得到去趋势波动序列
Figure PCTCN2014086917-appb-000008
其中
Figure PCTCN2014086917-appb-000009
<(δz)2>表示对(δz)2进行平均；
S28.根据所述去趋势波动函数FD(预设窗宽)，得到音乐音强的长程相关指数β，所述β为：
Figure PCTCN2014086917-appb-000010
其中，
Figure PCTCN2014086917-appb-000011
为将去趋势波动函数与预设窗宽所决定的时间尺度之间的关系表示在log-log平面。
可选的，所述步骤S3包括：
S31.根据所述定标指数α与所述长程相关指数β，计算γ，所述γ＝|α-β|；
S32.如果所述γ在第二预设范围内，则所述α对应的脑电信号与所述β对应的音乐进行匹配。
第二方面，本发明还提出一种脑电信号与音乐进行匹配的系统，所述系统包括：
脑电信号定标装置，用于根据测量的脑电信号，得到所述脑电信号的定标指数α并将所述α传输到匹配装置；
音乐分析装置，用于对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β并将所述β传输到匹配装置；
匹配装置，用于根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。
可选的，所述系统还包括：脑电信号测量装置，用于测量脑电信号并将所述脑电信号传输到所述脑电信号定标装置。
可选的，所述脑电信号定标装置具体用于：
S11.对测量的脑电信号进行数字化处理，得到脑电信号的离散时间序列{xi，i＝1,2,...,N}，xi为第i个脑电信号采样点，N为脑电信号采样点的个数；
S12.滤去所述离散时间序列{xi，i＝1,2,...,N}的平均值<x>，得到序列{yi，i＝1,2,...,N}，所述yi为：
Figure PCTCN2014086917-appb-000012
其中，
Figure PCTCN2014086917-appb-000013
S13.对所述序列{yi，i＝1,2,...,N}进行经验模态分解EMD，得到n个固有模态函数IMF和一个剩余量R，其中n为正整数，n的取值由所述EMD确定；
S14.计算所述n个固有模态函数IMF中每一个固有模态函数的峰峰值间隔；
S15.将所述峰峰值间隔在第一预设范围s内的IMF对应的波形合并为一组波形，得到合并波形Pvalues(k)，其中10(m-1)≤s≤10m，m＝1,2,…,mmax，mmax的大小取决于序列{yi，i＝1,2,...,N}的长度N，k表示合并波形中的每一个数据点，k＝1,2,...,kmax，kmax的大小由第一预设范围s和落在所述第一预设范围s内的峰峰值间隔对应的波形长度确定；
S16.对每组合并波形的进行平均均方根计算，获得波动函数F：
Figure PCTCN2014086917-appb-000014
其中
Figure PCTCN2014086917-appb-000015
<s>表示对不同的第一预设范围s求均值，所述F∝sα，∝表示成比例，其中，α为定标指数；
S17.根据所述F∝sα，得到定标指数α。
可选的，所述音乐分析装置具体用于：
S21.将预设音乐库中的音乐进行数字化处理，得到数字化音乐信号序列{Ui，i＝1,2,...,M}，i为所述数字化音乐信号序列中第i个时间点，M为所述数字化音乐信号序列的总长度；
S22.以预设窗宽对所述数字化音乐信号序列{Ui，i＝1,2,...,M}进行无重叠的移窗并计算标准差，得到序列{vj，j＝1,2,…,M/(预设窗宽)}，vj为所述序列{vj，j＝1,2,…,M/(预设窗宽)}的第j个数据；
S23.根据所述序列{vj，j＝1,2,…,M/(预设窗宽)}，得到平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}；
S24.根据所述平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}，得到一维随机游走序列{zb，b＝1,2,…,M/(预设窗宽)}，zb为所述序列{zb，b＝1,2,…,M/(预设窗宽)}的第b个数据，所述zb为：
Figure PCTCN2014086917-appb-000016
Figure PCTCN2014086917-appb-000017
S25.以所述预设窗宽将所述波动序列{zb，b＝1,2,…,M/(预设窗宽)}进行有 重叠的移窗，得到多个子序列，所述重叠的长度为预设值τ；
S26.利用线性回归得到每个所述子序列的线性趋势
Figure PCTCN2014086917-appb-000018
S27.根据所述序列{zb，b＝1,2,…,M/(预设窗宽)}及每个所述子序列的线性趋势，得到去趋势波动序列
Figure PCTCN2014086917-appb-000019
其中
Figure PCTCN2014086917-appb-000020
<(δz)2>表示对(δz)2进行平均；
S28.根据所述去趋势波动函数FD(预设窗宽)，得到音乐音强的长程相关指数β，所述β为：
Figure PCTCN2014086917-appb-000021
其中，
Figure PCTCN2014086917-appb-000022
为将去趋势波动函数与预设窗宽所决定的时间尺度之间的关系表示在log-log平面。
可选的，所述匹配装置具体用于：
S31.根据所述定标指数α与所述长程相关指数β，计算γ，所述γ＝|α-β|；
S32.如果所述γ在第二预设范围内，则所述α对应的脑电信号与所述β对应的音乐进行匹配。
(三)有益效果
本发明提出的脑电信号与音乐进行匹配的方法及系统根据不同的脑电信号来选择对应类型音乐，通过测量人的脑电信号而快速自动化地找到符合人当前情绪的乐曲，这对于缓解压力、放松平复情绪有很重要的作用。
附图说明
图1示出了实施例一中脑电信号与音乐进行匹配的方法流程图；
图2示出了实施例二中脑电信号与音乐进行匹配的系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
本实施例公开一种脑电信号与音乐进行匹配的方法，如图1所示，该方法包括：
S1.根据测量的脑电信号，得到所述脑电信号的定标指数α；
S2.对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β；
S3.根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。
所述步骤S1可包括图1中未示出的以下步骤：
S11.对测量的脑电信号进行数字化处理，得到脑电信号的离散时间序列{xi，i＝1,2,...,N}，xi为第i个脑电信号采样点，N为脑电信号采样点的个数；
S12.滤去所述离散时间序列{xi，i＝1,2,...,N}的平均值<x>，得到序列{yi，i＝1,2,...,N}，所述yi为：
Figure PCTCN2014086917-appb-000023
其中，
Figure PCTCN2014086917-appb-000024
S13.对所述序列{yi，i＝1,2,...,N}进行经验模态分解EMD，得到n个固有模态函数IMF和一个剩余量R，其中n为正整数，n的取值由所述EMD确定；
S14.计算所述n个固有模态函数IMF中每一个固有模态函数的峰峰值间隔；
S15.将所述峰峰值间隔在第一预设范围s内的IMF对应的波形合并为一组波形，得到合并波形Pvalues(k)，其中10(m-1)≤s≤10m，m＝1,2,…,mmax，mmax的大小取决于序列{yi，i＝1,2,...,N}的长度N，k表示合并波形中的每一个数据点，k＝1,2,...,kmax，kmax的大小由第一预设范围s和落在所述第一预设范围s内的峰峰值间隔对应的波形长度确定；
S16.对每组合并波形的进行平均均方根计算，获得波动函数F：
Figure PCTCN2014086917-appb-000025
其中
Figure PCTCN2014086917-appb-000026
<>表示对范围s求均值，针对不同的尺度范围s，所述F∝sα，∝表示成比例，其中，α为定标指数；
S17.根据所述F∝sα，得到定标指数α。
所述步骤S2可包括图1中未示出的以下步骤：
S21.将预设音乐库中的音乐进行数字化处理，得到数字化音乐信号序列{Ui，i＝1,2,...,M}，i为所述数字化音乐信号序列中第i个时间点，M为所述数字化音乐信号序列的总长度；
S22.以预设窗宽对所述数字化音乐信号序列{Ui，i＝1,2,...,M}进行无重叠的移窗并计算标准差，得到序列{vj，j＝1,2,…,M/(预设窗宽)}，vj为所述序列{vj，j＝1,2,…,M/(预设窗宽)}的第j个数据；
S23.根据所述序列{vj，j＝1,2,…,M/(预设窗宽)}，得到平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}；
S24.根据所述平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}，得到一维随机游走序列{zb，b＝1,2,…,M/(预设窗宽)}，zb为所述序列{zb，b＝1,2,…,M/(预设窗宽)}的第b个数据，所述zb为：
Figure PCTCN2014086917-appb-000027
Figure PCTCN2014086917-appb-000028
S25.以所述预设窗宽将所述波动序列{zb，b＝1,2,…,M/(预设窗宽)}进行有重叠的移窗，得到多个子序列，所述重叠的长度为预设值τ；
S26.利用线性回归得到每个所述子序列的线性趋势
Figure PCTCN2014086917-appb-000029
所述
Figure PCTCN2014086917-appb-000030
其中a和c通过线性回归拟合得到，多个子序列对应多个
Figure PCTCN2014086917-appb-000031
每个
Figure PCTCN2014086917-appb-000032
中的a和c均不同；
S27.根据所述序列{zb，b＝1,2,…,M/(预设窗宽)}及每个所述子序列的线性趋势
Figure PCTCN2014086917-appb-000033
得到去趋势波动序列
Figure PCTCN2014086917-appb-000034
其中
Figure PCTCN2014086917-appb-000035
<(δz)2>表示对(δz)2进行平均；
S28.根据所述去趋势波动函数FD(预设窗宽)，得到音乐音强的长程相关指数β，所述β为：
Figure PCTCN2014086917-appb-000036
其中，
Figure PCTCN2014086917-appb-000037
为将去趋势波动函数与预设窗宽所决定的时间尺度之间的关系表示在log-log平面。
所述步骤S3可包括图1中未示出的以下步骤：
S31.根据所述定标指数α与所述长程相关指数β，计算γ，所述γ＝|α-β|；
S32.如果所述γ在第二预设范围内，则所述α对应的脑电信号与所述β对应的音乐进行匹配。
本实施例公开的脑电信号与音乐进行匹配的方法通过将脑电信号的定标指数α和音乐的长程相关指数β进行比较，两者之间最为接近的则表明两者最匹配，从而可以实现通过脑电信号自动匹配音乐的效果，通过测量人的脑电信号而快速自动化地找到符合人当前情绪的乐曲，这对于缓解压力、放松平复情绪有很重要的作用。
实施例二：
本实施例公开一种脑电信号与音乐进行匹配的系统，如图1所示，该系统包括：
脑电信号定标装置，用于根据测量的脑电信号，得到所述脑电信号的定标指数α并将所述α传输到匹配装置；
音乐分析装置，用于对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β并将所述β传输到匹配装置；
匹配装置，用于根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。
所述系统还包括图2未示出的脑电信号测量装置，所述脑电信号测量装 置用于测量脑电信号并将所述脑电信号传输到所述脑电信号定标装置。
具体应用中，所述脑电信号定标装置具体用于：
S11.对测量的脑电信号进行数字化处理，得到脑电信号的离散时间序列{xi，i＝1,2,...,N}，xi为第i个脑电信号采样点，N为脑电信号采样点的个数；
S12.滤去所述离散时间序列{xi，i＝1,2,...,N}的平均值<x>，得到序列{yi，i＝1,2,...,N}，所述yi为：
Figure PCTCN2014086917-appb-000038
其中，
Figure PCTCN2014086917-appb-000039
S13.对所述序列{yi，i＝1,2,...,N}进行经验模态分解EMD，得到n个固有模态函数IMF和一个剩余量R，其中n为正整数，n的取值由所述EMD确定；
S14.计算所述n个固有模态函数IMF中每一个固有模态函数的峰峰值间隔；
S15.将所述峰峰值间隔在第一预设范围s内的IMF对应的波形合并为一组波形，得到合并波形Pvalues(k)，其中10(m-1)≤s≤10m，m＝1,2,…,mmax，mmax的大小取决于序列{yi，i＝1,2,...,N}的长度N，k表示合并波形中的每一个数据点，k＝1,2,...,kmax，kmax的大小由第一预设范围s和落在所述第一预设范围s内的峰峰值间隔对应的波形长度确定；
S16.对每组合并波形的进行平均均方根计算，获得波动函数F：
Figure PCTCN2014086917-appb-000040
其中
Figure PCTCN2014086917-appb-000041
<>表示对范围s求均值，针对不同的尺度范围s，所述F∝sα，∝表示成比例，其中，α为定标指数；
S17.根据所述F∝sα，得到定标指数α。
所述音乐分析装置具体用于：
S21.将预设音乐库中的音乐进行数字化处理，得到数字化音乐信号序列{Ui，i＝1,2,...,M}，i为所述数字化音乐信号序列中第i个时间点，M为所述 数字化音乐信号序列的总长度；
S22.以预设窗宽对所述数字化音乐信号序列{Ui，i＝1,2,...,M}进行无重叠的移窗并计算标准差，得到序列{vj，j＝1,2,…,M/(预设窗宽)}，vj为所述序列{vj，j＝1,2,…,M/(预设窗宽)}的第j个数据；
S23.根据所述序列{vj，j＝1,2,…,M/(预设窗宽)}，得到平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}；
S24.根据所述平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}，得到一维随机游走序列{zb，b＝1,2,…,M/(预设窗宽)}，zb为所述序列{zb，b＝1,2,…,M/(预设窗宽)}的第b个数据，所述zb为：
Figure PCTCN2014086917-appb-000042
Figure PCTCN2014086917-appb-000043
S25.以所述预设窗宽将所述波动序列{zb，b＝1,2,…,M/(预设窗宽)}进行有重叠的移窗，得到多个子序列，所述重叠的长度为预设值τ；
S26.利用线性回归得到每个所述子序列的线性趋势
Figure PCTCN2014086917-appb-000044
S27.根据所述序列{zb，b＝1,2,…,M/(预设窗宽)}及每个所述子序列的线性趋势，得到去趋势波动序列
Figure PCTCN2014086917-appb-000045
其中
Figure PCTCN2014086917-appb-000046
<(δz)2>表示对(δz)2进行平均；
S28.根据所述去趋势波动函数FD(预设窗宽)，得到音乐音强的长程相关指数β，所述β为：
Figure PCTCN2014086917-appb-000047
其中，
Figure PCTCN2014086917-appb-000048
为将去趋势波动函数与预设窗宽所决定的时间尺度之间的关系表示在log-log平面。
所述匹配装置具体用于：
S31.根据所述定标指数α与所述长程相关指数β，计算γ，所述γ＝|α- β|；
S32.如果所述γ在第二预设范围内，则所述α对应的脑电信号与所述β对应的音乐进行匹配。
本实施例公开的脑电信号与音乐进行匹配的系统通过测量人的脑电信号而快速自动化地找到符合人当前情绪的乐曲，这对于缓解压力、放松平复情绪有很重要的作用。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
工业实用性
本发明提出的脑电信号与音乐进行匹配的方法及系统根据不同的脑电信号来选择对应类型音乐，通过测量人的脑电信号而快速自动化地找到符合人当前情绪的乐曲，有利于缓解压力、放松平复情绪。

Claims (9)

  1. 一种脑电信号与音乐进行匹配的方法，其特征在于，所述方法包括：
    S1.根据测量的脑电信号，得到所述脑电信号的定标指数α；
    S2.对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β；
    S3.根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。
  2. 根据权利要求1所述的方法，其特征在于，所述步骤S1包括：
    S11.对测量的脑电信号进行数字化处理，得到脑电信号的离散时间序列{xi，i＝1,2,...,N}，xi为第i个脑电信号采样点，N为脑电信号采样点的个数；
    S12.滤去所述离散时间序列{xi，i＝1,2,...,N}的平均值<x>，得到序列{yi，i＝1,2,...,N}，所述yi为：
    Figure PCTCN2014086917-appb-100001
    其中，
    Figure PCTCN2014086917-appb-100002
    S13.对所述序列{yi，i＝1,2,...,N}进行经验模态分解EMD，得到n个固有模态函数IMF和一个剩余量R，其中n为正整数，n的取值由所述EMD确定；
    S14.计算所述n个固有模态函数IMF中每一个固有模态函数的峰峰值间隔；
    S15.将所述峰峰值间隔在第一预设范围s内的IMF对应的波形合并为一组波形，得到合并波形Pvalues(k)，其中10(m-1)≤s≤10m，m＝1,2,…,mmax，mmax的大小取决于序列{yi，i＝1,2,...,N}的长度N，k表示合并波形中的每一个数据点，k＝1,2,...,kmax，kmax的大小由第一预设范围s和落在所述第一预设范围s内的峰峰值间隔对应的波形长度确定；
    S16.对每组合并波形的进行平均均方根计算，获得波动函数F：
    Figure PCTCN2014086917-appb-100003
    其中
    Figure PCTCN2014086917-appb-100004
    <s>表示对不同的第一预设范围s求均值，所述F∝sα，∝表示成比例，其中，α为定标指数；
    S17.根据所述F∝sα，得到定标指数α。
  3. 根据权利要求1所述的方法，其特征在于，所述步骤S2包括：
    S21.将预设音乐库中的音乐进行数字化处理，得到数字化音乐信号序列{Ui，i＝1,2,...,M}，i为所述数字化音乐信号序列中第i个时间点，M为所述数字化音乐信号序列的总长度；
    S22.以预设窗宽对所述数字化音乐信号序列{Ui，i＝1,2,...,M}进行无重叠的移窗并计算标准差，得到序列{vj，j＝1,2,…,M/(预设窗宽)}，vj为所述序列{vj，j＝1,2,…,M/(预设窗宽)}的第j个数据；
    S23.根据所述序列{vj，j＝1,2,…,M/(预设窗宽)}，得到平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}；
    S24.根据所述平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}，得到一维随机游走序列{zb，b＝1,2,…,M/(预设窗宽)}，zb为所述序列{zb，b＝1,2,…,M/(预设窗宽)}的第b个数据，所述zb为：
    Figure PCTCN2014086917-appb-100005
    Figure PCTCN2014086917-appb-100006
    S25.以所述预设窗宽将所述波动序列{zb，b＝1,2,…,M/(预设窗宽)}进行有重叠的移窗，得到多个子序列，所述重叠的长度为预设值τ；
    S26.利用线性回归得到每个所述子序列的线性趋势
    Figure PCTCN2014086917-appb-100007
    S27.根据所述序列{zb，b＝1,2,…,M/(预设窗宽)}及每个所述子序列的线性趋势，得到去趋势波动函数
    Figure PCTCN2014086917-appb-100008
    其中
    Figure PCTCN2014086917-appb-100009
    <(δz)2>表示对(δz)2进行平均；
    S28.根据所述去趋势波动函数FD(预设窗宽)，得到音乐音强的长程相关指数β，所述β为：
    Figure PCTCN2014086917-appb-100010
    其中，
    Figure PCTCN2014086917-appb-100011
    为将去趋势波动函数与预设窗宽所决定的时间尺度之间的关系表示在log-log平面。
  4. 根据权利要求1所述的方法，其特征在于，所述步骤S3包括：
    S31.根据所述定标指数α与所述长程相关指数β，计算γ，所述γ＝|α-β|；
    S32.如果所述γ在第二预设范围内，则所述α对应的脑电信号与所述β对应的音乐进行匹配。
  5. 一种脑电信号与音乐进行匹配的系统，其特征在于，所述系统包括：
    脑电信号定标装置，用于根据测量的脑电信号，得到所述脑电信号的定标指数α并将所述α传输到匹配装置；
    音乐分析装置，用于对预设音乐库中的音乐进行分析，得到所述音乐的长程相关指数β并将所述β传输到匹配装置；
    匹配装置，用于根据所述定标指数α与所述长程相关指数β，对所述脑电信号与所述音乐进行匹配。
  6. 根据权利要求5所述的系统，其特征还在于，所述系统还包括：脑电信号测量装置，用于测量脑电信号并将所述脑电信号传输到所述脑电信号定标装置。
  7. 根据权利要求5所述的系统，其特征在于，所述脑电信号定标装置具体用于：
    S11.对测量的脑电信号进行数字化处理，得到脑电信号的离散时间序列{xi，i＝1,2,...,N}，xi为第i个脑电信号采样点，N为脑电信号采样点的个数；
    S12.滤去所述离散时间序列{xi，i＝1,2,...,N}的平均值<x>，得到序列{yi，i＝1,2,...,N}，所述yi为：
    Figure PCTCN2014086917-appb-100012
    其中，
    Figure PCTCN2014086917-appb-100013
    S13.对所述序列{yi，i＝1,2,...,N}进行经验模态分解EMD，得到n个固有模态函数IMF和一个剩余量R，其中n为正整数，n的取值由所述EMD确定；
    S14.计算所述n个固有模态函数IMF中每一个固有模态函数的峰峰值间隔；
    S15.将所述峰峰值间隔在第一预设范围s内的IMF对应的波形合并为一组波形，得到合并波形Pvalues(k)，其中10(m-1)≤s≤10m，m＝1,2,…,mmax，mmax的大小取决于序列{yi，i＝1,2,...,N}的长度N，k表示合并波形中的每一个数据点，k＝1,2,...,kmax，kmax的大小由第一预设范围s和落在所述第一预设范围s内的峰峰值间隔对应的波形长度确定；
    S16.对每组合并波形的进行平均均方根计算，获得波动函数F：
    Figure PCTCN2014086917-appb-100014
    其中
    Figure PCTCN2014086917-appb-100015
    <s>表示对不同的第一预设范围s求均值，所述F∝sα，∝表示成比例，其中，α为定标指数；
    S17.根据所述F∝sα，得到定标指数α。
  8. 根据权利要求5所述的系统，其特征在于，所述音乐分析装置具体用于：
    S21.将预设音乐库中的音乐进行数字化处理，得到数字化音乐信号序列{Ui，i＝1,2,...,M}，i为所述数字化音乐信号序列中第i个时间点，M为所述数字化音乐信号序列的总长度；
    S22.以预设窗宽对所述数字化音乐信号序列{Ui，i＝1,2,...,M}进行无重叠的移窗并计算标准差，得到序列{vj，j＝1,2,…,M/(预设窗宽)}，vj为所述序列{vj，j＝1,2,…,M/(预设窗宽)}的第j个数据；
    S23.根据所述序列{vj，j＝1,2,…,M/(预设窗宽)}，得到平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}；
    S24.根据所述平均音强序列{(vj)2，j＝1,2,…,M/(预设窗宽)}，得到一维随 机游走序列{zb，b＝1,2,…,M/(预设窗宽)}，zb为所述序列{zb，b＝1,2,…,M/(预设窗宽)}的第b个数据，所述zb为：
    Figure PCTCN2014086917-appb-100016
    Figure PCTCN2014086917-appb-100017
    S25.以所述预设窗宽将所述波动序列{zb，b＝1,2,…,M/(预设窗宽)}进行有重叠的移窗，得到多个子序列，所述重叠的长度为预设值τ；
    S26.利用线性回归得到每个所述子序列的线性趋势
    Figure PCTCN2014086917-appb-100018
    S27.根据所述序列{zb，b＝1,2,…,M/(预设窗宽)}及每个所述子序列的线性趋势，得到去趋势波动函数
    Figure PCTCN2014086917-appb-100019
    其中
    Figure PCTCN2014086917-appb-100020
    <(δz)2>表示对(δz)2进行平均；
    S28.根据所述去趋势波动函数FD(预设窗宽)，得到音乐音强的长程相关指数β，所述β为：
    Figure PCTCN2014086917-appb-100021
    其中，
    Figure PCTCN2014086917-appb-100022
    为将去趋势波动函数与预设窗宽所决定的时间尺度之间的关系表示在log-log平面。
  9. 根据权利要求5所述的系统，其特征在于，所述匹配装置具体用于：
    S31.根据所述定标指数α与所述长程相关指数β，计算γ，所述γ＝|α-β|；
    S32.如果所述γ在第二预设范围内，则所述α对应的脑电信号与所述β对应的音乐进行匹配。
PCT/CN2014/086917 2014-07-25 2014-09-19 脑电信号与音乐进行匹配的方法及其系统 WO2016011703A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/957,415 US10210878B2 (en) 2014-07-25 2015-12-02 Method and system for matching music files with electroencephalogram

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410360309.1A CN104133879B (zh) 2014-07-25 2014-07-25 脑电信号与音乐进行匹配的方法及其系统
CN201410360309.1 2014-07-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/957,415 Continuation US10210878B2 (en) 2014-07-25 2015-12-02 Method and system for matching music files with electroencephalogram

Publications (1)

Publication Number Publication Date
WO2016011703A1 true WO2016011703A1 (zh) 2016-01-28

Family

ID=51806557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/086917 WO2016011703A1 (zh) 2014-07-25 2014-09-19 脑电信号与音乐进行匹配的方法及其系统

Country Status (4)

Country Link
US (1) US10210878B2 (zh)
CN (1) CN104133879B (zh)
TW (1) TWI530822B (zh)
WO (1) WO2016011703A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138530B (zh) * 2015-06-18 2018-09-11 金纽合（北京）科技有限公司 自动音乐匹配方法、装置和应用其的电子装置
CN105744421A (zh) * 2016-03-31 2016-07-06 惠州Tcl移动通信有限公司 通过蓝牙耳机智能推荐音乐的系统及其方法
CN106648107B (zh) * 2016-12-30 2020-05-15 包磊 一种vr场景的控制方法和装置
CN110841169B (zh) * 2019-11-28 2020-09-25 中国科学院深圳先进技术研究院 一种用于睡眠调节的深度学习声音刺激系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140716A1 (en) * 2006-12-08 2008-06-12 Mari Saito Information Processing Apparatus, Information Processing Method and Information Processing Program
CN101259015A (zh) * 2007-03-06 2008-09-10 李小俚 一种脑电信号分析监测方法及其装置
KR20080111972A (ko) * 2007-06-20 2008-12-24 단국대학교 산학협력단 감성뇌파신호를 이용한 실시간 멀티미디어 컨텐츠출력시스템 및 방법
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术（上海）有限公司 音乐播放器
CN103412646A (zh) * 2013-08-07 2013-11-27 南京师范大学 基于脑机交互的音乐情绪化推荐方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177883A1 (en) * 2012-01-11 2013-07-11 Axio, Inc. Systems and Methods for Directing Brain Activity
TW201424688A (zh) * 2012-12-28 2014-07-01 Univ Chang Gung 可攜式腦波偵測及音樂播放系統
US9320450B2 (en) * 2013-03-14 2016-04-26 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140716A1 (en) * 2006-12-08 2008-06-12 Mari Saito Information Processing Apparatus, Information Processing Method and Information Processing Program
CN101259015A (zh) * 2007-03-06 2008-09-10 李小俚 一种脑电信号分析监测方法及其装置
KR20080111972A (ko) * 2007-06-20 2008-12-24 단국대학교 산학협력단 감성뇌파신호를 이용한 실시간 멀티미디어 컨텐츠출력시스템 및 방법
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术（上海）有限公司 音乐播放器
CN103412646A (zh) * 2013-08-07 2013-11-27 南京师范大学 基于脑机交互的音乐情绪化推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAIM, S. ET AL.: "MyMusicShuffler: Mood-based Music Recommendation with the Practical Usage of Brainwave Signals", IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE, 13 January 2014 (2014-01-13) *

Also Published As

Publication number Publication date
CN104133879B (zh) 2017-04-19
US20160086612A1 (en) 2016-03-24
TW201604718A (zh) 2016-02-01
CN104133879A (zh) 2014-11-05
TWI530822B (zh) 2016-04-21
US10210878B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
Brockmann-Bauser et al. Acoustic perturbation measures improve with increasing vocal intensity in individuals with and without voice disorders
Woodruff Carr et al. Beat synchronization predicts neural speech encoding and reading readiness in preschoolers
Schellenberg et al. Music lessons, pitch processing, and g
Leong et al. Reliability of objective voice measures of normal speaking voices
Sanyal et al. Music of brain and music on brain: a novel EEG sonification approach
US10039470B2 (en) Encephalophone
WO2016011703A1 (zh) 脑电信号与音乐进行匹配的方法及其系统
Zharkova et al. Quantifying lingual coarticulation using ultrasound imaging data collected with and without head stabilisation
Sturm et al. Multi-variate EEG analysis as a novel tool to examine brain responses to naturalistic music stimuli
Legrand et al. New insight in spiral drawing analysis methods–Application to action tremor quantification
Deuel et al. The Encephalophone: A novel musical biofeedback device using conscious control of electroencephalogram (EEG)
Benba et al. Voice analysis for detecting persons with Parkinson’s disease using MFCC and VQ
Jeng et al. Evaluation of two algorithms for detecting human frequency-following responses to voice pitch
Costa et al. Perceived tension, movement, and pleasantness in harmonic musical intervals and noises
Latoszek et al. The exploration of an objective model for roughness with several acoustic markers
Gil et al. Human circadian phase estimation from signals collected in ambulatory conditions using an autoregressive model
Laine et al. Common synaptic input to the human hypoglossal motor nucleus
Yan et al. Nonlinear dynamical analysis of laryngeal, esophageal, and tracheoesophageal speech of Cantonese
Jeng et al. Exponential modeling of human frequency-following responses to voice pitch
Chen et al. Pitch and space maps of skilled cellists: accuracy, variability, and error correction
Liu et al. Applied chaos level test for validation of signal conditions underlying optimal performance of voice classification methods
Burchardt et al. Novel ideas to further expand the applicability of rhythm analysis
Mukherjee et al. A comparative study on three different types of music based on same indian raga and their effects on human autonomic nervous systems
Singh Measuring the ‘complexity’of sound
Sliwka et al. The influence of asthma severity on patients’ music preferences: Hints for music therapists

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14898104

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14898104

Country of ref document: EP

Kind code of ref document: A1