JP6433650B2 - 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法 - Google Patents

気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法 Download PDF

Info

Publication number
JP6433650B2
JP6433650B2 JP2013237109A JP2013237109A JP6433650B2 JP 6433650 B2 JP6433650 B2 JP 6433650B2 JP 2013237109 A JP2013237109 A JP 2013237109A JP 2013237109 A JP2013237109 A JP 2013237109A JP 6433650 B2 JP6433650 B2 JP 6433650B2
Authority
JP
Japan
Prior art keywords
mood
voice
speaker
subject
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013237109A
Other languages
English (en)
Other versions
JP2015096140A (ja
Inventor
功一 中山
功一 中山
千佳 大島
千佳 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL UNIVERSITY CORPORATION SAGA UNIVERSITY
Original Assignee
NATIONAL UNIVERSITY CORPORATION SAGA UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL UNIVERSITY CORPORATION SAGA UNIVERSITY filed Critical NATIONAL UNIVERSITY CORPORATION SAGA UNIVERSITY
Priority to JP2013237109A priority Critical patent/JP6433650B2/ja
Publication of JP2015096140A publication Critical patent/JP2015096140A/ja
Application granted granted Critical
Publication of JP6433650B2 publication Critical patent/JP6433650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Toys (AREA)

Description

本発明は、対象者の気分を誘導したい気分に誘導する気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法に関する。
認知症患者の増加とともに、その症状緩和は重要な課題となっている。認知症には、認知機能の低下という中核症状と、それに伴って発生する行動・心理症状(BPSD:Behavioral and Psychological Symptoms of Dementia)とがある。一般的に介護者の負担となるのは、奇声、徘徊、暴力や妄想などのBPSDである。BPSDは、様々な心理療法により症状が緩和される例が報告されている(例えば、非特許文献1参照)。
ところで、外部からの受動的な刺激による気分誘導(例えば、楽しい曲を聴くと楽しくなる等。)は数多く研究されている(例えば、非特許文献2参照。)。しかし、この種の外部からの受動的な刺激による気分誘導手法では、誘導できる気分に限界がある。
一方、身体内部からの刺激(涙を流している、笑い声を発している)に関する心理反応として、古くから「悲しいから泣く、楽しいから笑う」という「感情(気分)の変化→生理学的変化(行為)」であるとするキャノン=バード説と、「泣くから悲しい、笑うから楽しい」という「生理学的変化→感情(気分)の変化」であるとするジェームズ=ランゲ説がある。これに対し、生理学的変化の原因を推測すること(原因帰属の認知)で感情(気分)が決定される、すなわち「私が泣いているのは私が悲しいからであろう。だから悲しい」という「生理学的変化の認知→変化の原因となる感情への変化」であるとするシャクターの情動二要因説(非特許文献3参照。)がある。
中島淑恵,医療における音楽療法の発展と課題に関する研究,Journal of Healthcare and Nursing,8,10−17,2011 谷口高士,音楽と感情,北大路書房,1998年1月 Schachter, S. & Singer J.E.,Cognitive, Social and Physiological Determinants of Emotional State,Psychological Review,Vol. 69,No.5,pp.379-99,1962
従来、生物学的な身体変化(生理学的変化)が感情(情動)に与える影響(バイオフィードバック)は数多く検証されているが、これを具体的に応用して認知症患者等の気分を適切に誘導する手法は確立されていない。
そこで、本発明においては、認知症患者や健常者等の対象者の気分を誘導することが可能な気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法を提供することを目的とする。
本発明の気分誘導装置は、発話者の音声を入力する音声入力手段と、音声入力手段により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換する処理手段と、処理手段により変換された音声を、気分を誘導したい対象者に対して出力する音声出力手段とを有するものである。ここで、プロソディ(韻律)とは、抑揚(音高変化)、強勢(音量変化)や音質(周波数特性)などの音声の特徴をいう。また、感情的プロソディとは、プロソディのうち、感情(気分)によって変化する韻律的特徴をいう。
また、本発明の気分誘導プログラムは、音声を入力する音声入力手段と、音声を出力する音声出力手段とが接続されたコンピュータを、音声入力手段により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換し、この変換された音声を音声出力手段から気分を誘導したい対象者に対して出力する手段として機能させるためのものである。
また、本発明のコンピュータの動作方法は、コンピュータが、音声入力手段により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換すること、コンピュータが、この変換された音声を、気分を誘導したい対象者に対して出力することを含む。
これらの発明によれば、入力された発話者の音声を誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換し、この変換された音声を出力して気分を誘導したい対象者に聞かせることで、対象者は音声に含まれる感情的プロソディから推測される発話者の気分と一致する気分に誘導される。
ここで、発話者と対象者とが同一人である場合、すなわち、入力される音声が気分を誘導したい対象者自身の音声であり、音声出力手段が対象者自身に対して出力するものである場合、発話者(すなわち対象者自身)は実際には生理学的に変化していないにも関わらず、発話者の音声のプロソディが誘導したい気分の感情的プロソディを含む音声に変換されることにより、発話者(すなわち対象者自身)が生理学的に変化していると誤認識することで、感情的プロソディから推測される気分に一致する気分に誘導される。すなわち、本発明は、シャクターの情動二要因説を拡張し、実際には対象者は生理学的に変化していないが、誘導したい気分の感情的プロソディを含む音声に変換して聞かせることで、対象者自身が生理学的に変化していると誤認識させることで、実際に対象者の気分が変化するという「生理学的変化の(誤)認識→感情(気分)」を行うものである。
また、発話者と対象者とが同一人でない場合、すなわち、入力される音声が、気分を誘導したい対象者以外の他人の音声であり、音声出力手段が気分を誘導したい対象者に対して出力するものである場合、気分を誘導したい対象者ではない発話者の音声のプロソディが、誘導したい気分の感情的プロソディを含む音声に変換され、この変換された音声を気分を誘導したい対象者(受話者)に聞かせることで、受話者は実際の発話者の気分とは異なる気分である(誘導すべき気分である)と誤認識させられ、誤認識した発話者の気分と一致するように誘導することができる。
本発明によれば、気分を誘導したい対象者は実際の気分とは異なる感情的プロソディに変換された音声を聞くことによって、発話に含まれる感情的プロソディと一致する気分に誘導される。
本発明の実施の形態における気分誘導装置の概略構成図である。 試験に用いた気分誘導装置の構成を示すブロック図である。 作成した長調の和声のフレーズを示す図である。 作成した短調の和声のフレーズを示す図である。 実験手順を示す図である。 実験に用いた性格表現用語を示す説明図である。
図1は本発明の実施の形態における気分誘導装置の概略構成図である。
図1において、本発明の実施の形態における気分誘導装置1は、音声を入力する音声入力手段としてのマイク2と、音声を出力する音声出力手段としてのスピーカ3と、各種演算処理を行う処理手段としてのコンピュータ4とを有する。なお、本実施形態においては、マイク2は発話者の音声のみを入力可能なように指向性マイクを用いる。同様に、スピーカ3は気分を誘導したい対象者のみに音声を聴かせることができるように超指向性スピーカを用いるが、指向性スピーカを用いることも可能である。
マイク2およびスピーカ3は、電動雲台5上に設置されている。なお、本実施形態においては、発話者と対象者とは同一人であり、マイク2およびスピーカ3は同一方向に向けて設置されている。また、電動雲台5上には、対象者を追跡するためのカメラ6が設けられている。マイク2、スピーカ3、電動雲台5およびカメラ6は、無線通信によりコンピュータ4と接続されている。コンピュータ4は、本実施形態における気分誘導プログラムを実行することによって、対象者をカメラ6により認識して、対象者の方向にマイク2およびスピーカ3が向くように電動雲台5を制御する。
また、コンピュータ4は、気分誘導プログラムの実行によって、マイク2により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換し、変換された音声をスピーカ3から出力する。
ここで、感情的プロソディについて詳述する。感情的プロソディとは、プロソディのうち、発話者の感情(気分)によって変化する韻律的特徴である。この感情的プロソディにより、発話者の気分を推測することが可能である。例えば、シェーラーらは、「怒り」「喜び」を含んだ音声は、平均基本周波数が上昇し、「悲しみ」を含んだ音声では、下降すると指摘している(Scherer, K.R.,Banse, R.,et al.,Vocal cues in emotion encoding and decoding,Motivation and Emotion,Vol.15,Issue 2,pp.123-148,1991参照。)。
また、平賀らは、「怒り」は高い基本周波数を、「悲しみ」は低い基本周波数を示したことを報告している。一方で、「喜び」の周波数は高いが、その変動には個人差があるとしている(平賀裕、斉藤善行、森島繁生ら,音声に含まれる感情情報抽出の一検討,電子情報通信学会技術研究報告.HC,ヒューマンコミュニケーション,vol.93,No.439,pp.1-8,1994参照。)。
また、森山らは「怒り」を含んだ音声は基本周波数が増大し、「悲しみ」は基本周波数が小さくなることを報告している。一方で、「喜び」は平静からの変化があまり見られないことを指摘している(森山剛、小沢慎治,ファジー制御を用いた音声における情緒性評価法,電子情報通信学会論文誌、D-II,情報・システム、II−パターン処理J82-D-II(10),pp.1710-1720,1999参照。)。
「喜び」は、先行研究によって、基本周波数の高さの見解が一致しておらず、また研究の対象とされることが「怒り」や「悲しみ」と比較すると少ない。「怒り」「悲しみ」は、基本周波数の高さにおける見解の一致が見られている。これらが、感情的プロソディの例である。
本実施形態においては、プロソディの変換は、例えば、マイク2により入力された対象者の発話音声の音量、音高や音質等を変化させることにより行う。例えば、落ち着いた気分に誘導したい場合には低い周波数成分を強めるようにプロソディを変換したり、語尾の音高を下げるようにプロソディを変換したりする。あるいは、元気な気分に誘導したい場合には、音量を上げるようにプロソディを変換したり、語尾の音高を上げるようにプロソディを変換したりする。
より具体的には、コンピュータ4は、たとえば対象者を活性状態の気分に誘導する場合には、(1)基本周波数を1.2倍に(高い音に)変換する、(2)基本周波数に対する音高の変化率を1.4倍に増加させる、(3)音量を1.4倍に増加させる、(4)音量が一定基準より下回った(発話が終了に向かう)ときに、基本周波数を増加させる(語尾を上げる)等の処理を行う。また、鎮静状態の気分に誘導する場合には、(1)発話の基本周波数を0.9倍に(低い音に)変換する、(2)基本周波数に対する音高の変化率を0.5倍に減少させる、(3)音量を0.8倍に減少させる等の処理を行う。
そして、コンピュータ4は、このプロソディが変換された音声をスピーカ3から対象者自身へ向けて出力する。このとき、コンピュータ4は、音声の入力からプロソディを変換して出力するまでリアルタイムで処理を行う。なお、リアルタイムで処理とは、遅延を人間が認識できない程度(例えば、0.1秒以内)の短時間で即時に処理することをいう。これにより、対象者は自身の発話音声がリアルタイムに変換されて聴かされることになる。
その結果、対象者は実際には生理学的に変化していない(例えば、実際には笑っていない)にも関わらず、対象者自身の音声が誘導したい気分の感情的プロソディを含む音声に変換される。これにより、例えば、自分が笑っていると誤認識することで、実際に気分が変化する(楽しくなる)。このような気分誘導を認知症患者に適用することで、認知症のBPSDを緩和することが期待できる。
なお、上記実施形態においては、気分を誘導したい対象者自身の音声のプロソディを変換して、対象者自身に向けて出力しているが、気分を誘導したい対象者以外の他人(発話者≠対象者)の音声のプロソディを変換して、気分を誘導したい対象者(受話者)に向けて出力することも可能である。これにより、受話者(対象者)は、発話者が実際の気分とは異なる気分であると誤認識させられる。その結果、対象者(受話者)の気分が誤認識した発話者の気分を一致するように誘導される。
例えば、電話で話している対象者を楽しい気分に誘導するために、電話の相手である発話者の音声を、楽しい気分を表現する感情的プロソディを含む音声に変換し、スピーカ3から対象者(受話者)に対して出力する。その結果、楽しい気分のプロソディに変換された発話を聞いた対象者(受話者)は、楽しい気分に誘導される。この方法により、電話で話をしている対象者(受話者)の気分誘導が可能となる。
コンピュータ4は、マイク2により入力された音声のプロソディを、対象者(受話者)の過去の発話のデータベースから抽出された、対象者が誘導したい気分になっていたときの発話に含まれていた感情的プロソディを含む音声に変換するものとすることができる。これにより、対象者が標準的な話し方とは異なる地方の方言を話している場合や、対象者の気分ごとの話し方の癖などの特徴を反映した感情的プロソディを含む音声に変換することができ、気分を誘導しやすくできる。
また、コンピュータ4は、マイク2により入力された音声のプロソディを、誘導したい気分に応じて事前に設定された音量、音高および音質に変換するものとすることができる。これにより、例えば、落ち着いた気分に誘導する場合には短調となる和声進行に変換し、楽しい気分に誘導する場合には長調となる和声進行に変換することで、気分を誘導できる。この方法により、マイク2により入力された音声の音高変換処理や周波数特性抽出処理などをすることなく、プロソディを既知のルールで変換でき、対象者の気分を誘導できる。
また、コンピュータ4は、マイク2により入力された音声のプロソディを、誘導したい気分に応じて事前に設定された音量、音高および音質を入出力とする関数に従い変換するものとすることができる。例えば、楽しい気分の場合には発話の音量が大きいほど音高が高くなり、怒りの気分の場合には発話の音量が大きい音高が低くなるといった、気分ごとの音量、音高および音質の入出力の特徴に従って変換できる。これにより、マイク2により入力された音声の音高、音量および音質から、自動的に特定の気分に誘導する音量、音高および音質となる音声に変換することができるようになる。
また、上記コンピュータ4を、スマートフォンとし、このスマートフォン上で動作する様々なアプリケーション上に上記気分誘導プログラムを実装することで、様々な用途に応用できる。
上記実施形態における気分誘導装置による気分誘導実験を行った。
〔1〕実験装置
図2は試験に用いた気分誘導装置の構成を示すブロック図である。
図2に示す気分誘導装置10は、音声を入力する音声入力手段として2つのマイク11,12と、音声を出力する音声出力手段としてのスピーカ13と、マイク11により入力された音声を、誘導したい気分の感情的プロソディを含む音声に変換する処理手段としてのパーソナルコンピュータ(PC)14とを備える。なお、実験ではスピーカ13に代えてヘッドフォンを使用した。
また、この気分誘導装置10は、マイク12により取り込んだ音声を、PC14から送られたプロソディに変換するボコーダ15を備える。本実施例では、ボコーダ15として、KORG社のmicroKORG XL+を使用した。ボコーダ15の入力は「キャリア」と「モジュレータ」の2系統からなる。モジュレータにはマイク12から音声が入力され、キャリアにはPC14から後述するMIDIデータが入力される。マイク12から入力された音声は、帯域ごとの周波数特性が分析され、その分析された特性のフィルタがキャリアにかけられることで、声の特徴がかかった波形が生成される。
なお、マイク11とPC14とはオーディオインタフェース16により接続されている。また、PC14とボコーダ15とは、MIDIインタフェース17により接続されている。
PC14は、マイク11により入力された音声の高さを音高(ドレミなどの)に変換する。最初に音高算出の開始トリガーを手動で与えると、PC14は、このトリガーを受けて、以後マイク11から入力されてきた音声信号に対し、FFT(高速フーリエ変換)とそのパワースペクトルへのIFFT(逆変換)を用いた短時間区間のF0(基本周波数)推定処理を繰り返し、F0の時系列を得る。そして、音高算出の終了トリガーを受けると、PC14は、F0時系列から音高ヒストグラムを生成し、その最頻音高を音高算出の開始から終了までの区間の音高(1音)として出力する。
本実施例においては、PC14は起動後、短時間区間のF0推定処理を常時実行し続け、操作者からトリガーを受けると、その時点から一定時間“前”(任意に設定可能。通常は数100msec程度。)までの区間の音高をもとにカデンツと呼ばれる短いフレーズの音楽を出力する。これにより、トリガー入力からカデンツ再生開始までの時差が大幅に少なくなり、ユーザビリティが向上する。
なお、介護施設などの現場で利用する場合には、継続している患者の発声とスピーカから出力されている音楽(スピーカ音)との混合信号から、次の音楽の出力に向けて発声のF0を推定する必要がある。そこでステレオマイクを、スピーカ音(モノラル)は左右同程度、声は必ず左右いずれか一方のチャンネルがより大きく録音されるように配置し、マ
イクのステレオ信号から差分信号を生成してセンターキャンセルを行った後、F0推定を行う。
PC14は、上記のようにマイク11により入力された音声を音高に変換して、出力すべき音楽フレーズを決定する。そして、決定された音楽フレーズ(MIDIデータ)をボコーダ15に送る。ボコーダ15にマイク12から音声が入力されると、この音声がPC14から入力されたMIDIデータの音高に変換されて、ヘッドフォンから聞こえてくる。
〔2〕実験の目的
本実験の主目的は、上記気分誘導装置10を利用することで、気分に変化をもたらせるかどうかということである。また、副目的は、長調または短調の和声による、誘導される気分の違いを調べることである。なお、本実験では、実験協力者を憂鬱な気分に誘導してから音楽を提示する。
〔3〕予備実験
〔3−1〕音楽フレーズ
本実験では、長調の和声と短調の和声を用いた気分誘導の比較を行った。そのため、両和声による音楽フレーズの性質は、ある程度共通している必要があった。そこで、本実験では、Bach,J.S.が作曲した「無伴奏ヴァイオリンのためのパルティータ第2番BWV 1004」の最終楽章を原曲に、Busoni,F.がピアノ用に編曲した「シャコンヌ」から、長調、短調の両箇所の2つの音楽フレーズを取り出して使用した。
原曲では、付点四分音符や八分音符などの様々な音価で構成されているが、リズムは考慮せず、すべて全音符に書き替えた。ただし、楽譜上の経過音は削除し、図3に示す長調の和声および図4に示す短調の和声の2フレーズを作成した。この楽譜データをMIDIデータに変換し、各音の切れ目を無くした。速さは、1分間に四分音符を60個叩く速さに設定した。どちらも1分程度の長さの音楽データである。
MIDIデータを、ボコーダ15に使用したKORG社のmicroKORG XL+の音源で実験協力者に聴かせた。音色はROCKジャンルのPOLY SYNTHカテゴリーで、BANK SELECTはAを選択した。ただし、本実験でも同じ音色を選択するが、同時にボコーダ機能を使用するため、実験協力者の声の特徴が音色に反映される。よって、予備実験と本実験では、聴いた感じでも異なる。
〔3−2〕実験方法
評価の協力者は、18〜20歳の工学系の大学生である。全132名のうち、61名は先に短調の和声を聴取して評価し、次に長調の和声を聴取して評価した。残りの71名は先に長調、後に短調を聴取した。評価項目は音楽の感情的性格を評価するためのAVSM(谷口高士:音楽作品の感情価測定尺度の作成および多面的感情状態尺度との関連の検討,心理学研究,Vol.65,pp.463−470(1995))の全24項目を、「高揚」尺度から高揚と抑鬱を表す各1項目と、「親和」「強さ」「軽さ」「荘重」の4尺度から各1項目の6項目で1セットになるように並べ、全4セットを評価に用いた。各項目は、全くあてはまらない(1)、ややあてはまらない(2)、どちらともいえない(3)、ややあてはまる(4)、よくあてはまる(5)の5段階で評価された。
〔3−3〕結果
長調、短調の各和声を聴取して評価した24項目について、t検定を行った。その結果、表1に示すように、16項目について有意な差異が認められた。この中で、「沈んだ」「哀れな」「暗い」は、短調の和声の平均が4以上で、長調の和声の平均が3以下であり、2つの和声のフレーズの印象が対照的であると評価された。よって、この2つのフレーズは、本実験の目的に適しているといえる。
〔4〕本実験
実験協力者は、まず鬱な気分で創作された詩を朗読し、自分の気分について評価した。次に気分誘導装置10を使って、再度、同じ詩を朗読し、その後にまた気分について評価した。PC14では、〔3〕の予備実験で評価した2種類の和声のフレーズを使った。2度の気分に関する評価の差分が、長調または短調によって差異が出るかどうかを調べた。
〔4−1〕実験手順
実験協力者は、21〜24歳の工学系の大学生と大学院生の12名である。そのうち女子学生は2名である。図5に実験手順を示した。協力者の詩に対する理解を早めることを目的に、図6に示したように、「性格表現用語(青木孝悦:性格表現用語の心理−辞典的研究−455語の選択,分類および望ましさの評定,心理学研究,Vol.42,No.1,pp.1−13(1971))」の中から、「暗さ、うちとけないこと、神経質」のカテゴリーに分類された28語を並べた。
なお、詩の朗読前に、協力者はすべての語に目を通した。次に協力者は、悲観的で鬱な気分で創作された詩を、創作者の気分になって朗読するように求められる。これらの作業により、協力者の中に憂鬱な気分が、多少なりとも引き起こされることを期待した。詩は、インターネット上に公表されている、一般人が書いた詩の中から、20歳代前半の女子学生が選定した。20歳前の男子学生によって書かれた「見つからない理由」という詩であり、作者の了承を得た上で使用した。1分間程度で朗読できる長さである。音楽を提示するタイミングの都合で、「見つからない理由」という言葉を後半の最初に追加した。
詩の朗読後、協力者は、自分の気分(mood)について、MMS(寺崎正治,岸本陽一他:多面的感情状態尺度の作成,心理学研究,Vol.62,pp.350−356(1992))のうち、本実験の目的に合う「抑鬱・不安」「倦怠」「活動的快」「非活動的快」の4つの尺度に含まれる、各10項目、合計40項目について評価した。抑うつの高い人は、暗くて鎮静的な音楽を聴取するとリラックス感が高くなる(伊藤孝子,岩永誠:気分状態と曲想との関係が快感情に与える影響,日本音楽療法学会誌,Vol.1,No.2,pp.167−173(2001))ことから、「のんびりした」「ゆったりした」などを含む「非活動的快」も含めた。
4つの尺度から各1項目の4項目で1セットになるように並べ、全10セットを評価に用いた。各セットの順序は、1人の協力者の2度の評価や、協力者によって異なるように配置した。各項目は、全く感じない(1)、あまり感じない(2)、少し感じる(3)、はっきり感じる(4)の4段階で評価される。
気分の評価の後、協力者はヘッドフォンをして、再度同じ詩を朗読した。実験者は詩の題名の「見つからない理由」の「りゆう」のところで、PC14のトリガーボタンを押した。PC14はその時の協力者の声の高さを抽出し、その音高から始まる音楽(長調または短調の和声フレーズ)を提示した。準備したフレーズ(図3および図4)は1分間程度であり、朗読の前に終了してしまう可能性があるため、2度繰り返したMIDIデータを準備した。なお、男性の声は低いため、その音高から始まる音楽のフレーズが低い音高になりがちで、大変に聞きとりにくい。そのため、本実験では、1オクターブ上の音高から始まる音楽を提示した。協力者は、気分誘導装置10により音楽の各音高に変換された自分の声を聞きながら朗読した。
音楽は、(1)長調の和声フレーズ、(2)短調の和声フレーズ、(3)前半が短調で、後半が長調の和声フレーズの3条件を準備した。12名の協力者は各条件に4名ずつ割り当てられた。つまり1人につき、1条件を行った。条件(3)では、詩の後半の頭に追加した「見つからない理由」で、再度PC14のトリガーボタンを押して、新たに長調の和声フレーズを提示した。最後に協力者は、自分の気分について、再度MMSにより評価した。
〔4−3〕結果
12名の協力者は自分の気分について、MMSの40の質問項目に4段階で2度回答した。1回目はどの群も気分誘導装置10を使わずに朗読しているため、条件は同じである。40の各質問において「各条件の中央値がすべて等しい」という帰無仮説を検定する、クラスカル・ウォリス検定(森 敏昭,吉田寿夫:心理学のためのデータ解析テクニ
カルブック,北大路書房(1990))を行った。その結果、「自信がない」は、p=0.08であったが、他の質問項目はp>0.1で帰無仮説は棄却されなかった。
2回目は3つの各条件に4名ずつの協力者が割り当てられた。2回目の40の各質問の結果においてクラスカル・ウォリス検定を行った。表2の左側にp値の結果を示した。「陽気な」「快調な」「気長な」(p<0.05)、「はつらつとした」(p=0.06)で、帰無仮説は棄却された。この4項目について、多重比較(ウィルコクソンの順位和検定)を行った。その結果、「陽気な」のみ、短調と長調の条件間に有意な差(p=0.03)が認められた。
次に全協力者の回答の、1回目と2回目の差分をとり、各質問項目でクラスカル・ウォリス検定を行った。表2の中央にp値の結果を示した。また、帰無仮説が棄却された7項目について、多重比較した結果を表2の右側に示した。短調と長調の条件間で、「陽気な」(p=0.03)、「悲観した」(p=0.06)に差異が認められた。さらに、「陽気な」は、長調条件の4人の、1回目の結果と2回目の結果の間にも有意な差異(p=0.03)が認められた。長調の和声への評価が、長調と短調の多重比較の結果に貢献したといえる。
〔5〕考察
以上のように、朗読している発声を長調または短調の和声に変換して、リアルタイムに発声している本人に聞かせる実験を行った。使用した音楽の3条件間の差異を検定したところ、条件によって、朗読後の気分(mood)に違いが出ることがわかった。さらに、多重比較の結果から、「陽気な」は、短調と長調の間で気分に有意な差異が認められた。特に、発声が長調の和声に変化されることで、「陽気な」気分が強くなることも示された。「悲観した」は、1回目と2回目の気分の結果の差分により、長調と短調の間で有意な差異が認められた。2回目の結果の生データと1回目と2回目の結果の差分データとでは、検定結果に違いが出たが、「陽気な」に関しては、共通した結果が認められた。被験者を増やすことで、これらの揺らぎは解消されていくと考えられる。
本発明の気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法は、認知症患者や健常者等の対象者の気分を誘導する装置、プログラムおよびコンピュータの動作方法として有用である。
1,10 気分誘導装置
2,11,12 マイク
3,13 スピーカ
4 コンピュータ
5 電動雲台
6 カメラ
14 PC
15 ボコーダ
16 オーディオインタフェース
17 MIDIインタフェース

Claims (8)

  1. 発話者の音声を入力する音声入力手段と、
    前記音声入力手段により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換する処理手段と、
    前記処理手段により変換された音声を、気分を誘導したい対象者に対してリアルタイムで出力する音声出力手段と
    を有する気分誘導装置。
  2. 前記発話者と前記対象者とは同一人である請求項1記載の気分誘導装置。
  3. 前記発話者と前記対象者とは同一人でない請求項1記載の気分誘導装置。
  4. 前記処理手段は、前記発話者の音声を、前記対象者の過去の発話のデータベースから抽出された、前記対象者が誘導したい気分になっていたときの発話に含まれていた感情的プロソディを含む音声に変換するものである請求項1から3のいずれか1項に記載の気分誘導装置。
  5. 前記処理手段は、前記発話者の音声を、誘導したい気分に応じて事前に設定された音量、音高および音質に変換するものである請求項1から3のいずれか1項に記載の気分誘導装置。
  6. 前記処理手段は、前記発話者の音声を、誘導したい気分に応じて事前に設定された音量、音高および音質を入出力とする関数に従い変換するものである請求項1から3のいずれか1項に記載の気分誘導装置。
  7. 音声を入力する音声入力手段と、音声を出力する音声出力手段とが接続されたコンピュータを、
    前記音声入力手段により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換し、この変換された音声を前記音声出力手段から気分を誘導したい対象者に対してリアルタイムで出力する手段として機能させるための気分誘導プログラム。
  8. コンピュータが、音声入力手段により入力された発話者の音声を、誘導したい気分を表現する感情的プロソディを含む音声にリアルタイムに変換すること、
    コンピュータが、この変換された音声を、気分を誘導したい対象者に対してリアルタイムで出力すること
    を含むコンピュータの動作方法。
JP2013237109A 2013-11-15 2013-11-15 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法 Active JP6433650B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013237109A JP6433650B2 (ja) 2013-11-15 2013-11-15 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013237109A JP6433650B2 (ja) 2013-11-15 2013-11-15 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法

Publications (2)

Publication Number Publication Date
JP2015096140A JP2015096140A (ja) 2015-05-21
JP6433650B2 true JP6433650B2 (ja) 2018-12-05

Family

ID=53373757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013237109A Active JP6433650B2 (ja) 2013-11-15 2013-11-15 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法

Country Status (1)

Country Link
JP (1) JP6433650B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556092A (zh) * 2018-05-15 2019-12-10 中兴通讯股份有限公司 语音的合成方法及装置、存储介质、电子装置
CN110598611B (zh) * 2019-08-30 2023-06-09 深圳智慧林网络科技有限公司 看护系统、基于看护系统的病人看护方法和可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244496A (ja) * 1994-03-07 1995-09-19 N T T Data Tsushin Kk テキスト朗読装置
US6336092B1 (en) * 1997-04-28 2002-01-01 Ivl Technologies Ltd Targeted vocal transformation
US20030208243A1 (en) * 2002-05-01 2003-11-06 Cobble Daniel L. Inflectional therapy for mental depression and anxiety
JP5329020B2 (ja) * 2002-10-09 2013-10-30 イースト カロライナ ユニバーシティ 周波数変換したフィードバックを使用して非吃音性の病状を治療するための方法および装置
JP4166134B2 (ja) * 2003-09-17 2008-10-15 富士通株式会社 乳児あやし支援処理方法、および乳児あやし支援処理システム用データ管理装置
JP2006227589A (ja) * 2005-01-20 2006-08-31 Matsushita Electric Ind Co Ltd 音声合成装置および音声合成方法
JP4914295B2 (ja) * 2007-06-21 2012-04-11 パナソニック株式会社 力み音声検出装置
JP4876207B2 (ja) * 2010-06-11 2012-02-15 国立大学法人 名古屋工業大学 認知機能障害危険度算出装置、認知機能障害危険度算出システム、及びプログラム
GB201109731D0 (en) * 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
JP5830364B2 (ja) * 2011-12-01 2015-12-09 日本放送協会 韻律変換装置およびそのプログラム
JP2014123072A (ja) * 2012-12-21 2014-07-03 Nec Corp 音声合成システム及び音声合成方法

Also Published As

Publication number Publication date
JP2015096140A (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
Curtis et al. The minor third communicates sadness in speech, mirroring its use in music.
CN105247609B (zh) 利用言语合成对话语进行响应的方法及装置
Bhatara et al. Perception of emotional expression in musical performance.
Breitenstein et al. The contribution of speech rate and pitch variation to the perception of vocal emotions in a German and an American sample
Scherer Expression of emotion in voice and music
Guzman et al. Immediate acoustic effects of straw phonation exercises in subjects with dysphonic voices
Drahota et al. The vocal communication of different kinds of smile
Dromey et al. The effects of emotional expression on vibrato
Coutinho et al. Singing and emotion
Huang et al. Affective Voice Interaction and Artificial Intelligence: A research study on the acoustic features of gender and the emotional states of the PAD model
Patel et al. Vocal behavior
MacIntyre et al. Pushing the envelope: Evaluating speech rhythm with different envelope extraction techniques
JP6433650B2 (ja) 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法
Juslin et al. Speech emotion analysis
CN108922505B (zh) 信息处理方法及装置
Pfleiderer Vocal pop pleasures. Theoretical, analytical and empirical approaches to voice and singing in popular music
Gafni et al. “Softened” Voice Quality in Poetry Reading: An Acoustic Study
Rychlowska et al. Not only decibels: Exploring human judgments of laughter intensity
Kleinberger et al. Speech companions: Evaluating the effects of musically modulated auditory feedback on the voice
Raghu et al. A Perspective Study on Speech Emotion Recognition: Databases, Features and Classification Models.
Beaudoin Dashon Burton's song sermon: corporeal liveness and the solemnizing breath
Franzoni et al. Producing artificial male voices with maternal features for relaxation
Agarwal et al. Emotion recognition and conversion based on segmentation of speech in Hindi language
Bradford Vocal resonance: Optimising source-filter interactions in voice training
Takeuchi et al. Hands-free wearable electrolarynx using linear predictive coding residual waves and listening evaluation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181107

R150 Certificate of patent or registration of utility model

Ref document number: 6433650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250