JP4627154B2 - 人間の感情状態に応じた音楽出力装置及び音楽出力方法 - Google Patents

Description

本発明は、音楽を選択し出力する音楽出力装置及び音楽出力方法に係り、より詳しくは人間の発する音声や活動音或いはテキストから人間の感情状態を推定してその感情状態に適した音楽を選択し、出力する技術に係るものである。

音楽が人間の感情を高めたり抑制したりする効果をもつことが知られている。また演劇やドラマなどでは、登場人物の感情状態を表現し、あるいは視聴者の感情を盛り立てる目的で背景音楽が多用されている。
このような背景音楽の選択や出力は、従来熟練した音響効果の専門家に委ねられており、日常生活において手軽に利用できる技術ではない。

例えば、特許文献１では、利用者が付与したいと思う意図する感情を手動により選択することで背景音楽信号を音声信号に重畳して再生する音声再生データ出力装置が提案されている。本技術は利用者が自発的に音楽を再生することを企図したものであり、従来専門家でなければ難かった感情に合わせた音楽選択を感情・音声データベースを用いることで、容易に選択ができるようにした点が優れている。

特開２００１−１６６７８６号公報

また、音声情報から話者の感情状態を認識する方法が知られている。例えば特許文献２に開示される対話処理装置では、ユーザから入力された語句の概念を抽出し、その語句の概念に基づいて、ユーザの感情を推定し、その感情を表す感情情報を出力する。さらに、感情情報に基づいてユーザに出力する出力文を生成する機能を有している。

特開２００１−２１５９９３号公報

本技術は、音響情報を用いてこれを音声認識し、得られた語句の概念が抽出され、その概念に基づいて、ユーザの感情が推定される。そして、その結果推定された感情情報に基づいて、ユーザに出力する出力文が生成される。また、ロボットから合成音を出力してユーザに応答するなど、ユーザインタフェースとして提供することも提案されている。

さらに、特許文献３に開示される音声制御装置では、話者の意図にあった細かな制御を目的として、人間の状態（感情、体調等）による音声指示の変化を的確に判断し、単なる音声命令だけでなく、その状態を加味して出力する装置を開示している。
本装置によって音声命令に含まれるニュアンスにも対応した制御を可能にしており、例えばテレビのリモコンに搭載して音量調節の程度を変化させることなどが可能である。

特開平１０−５５１９４号公報

特許文献４に開示される構成では、音声認識時に、感情の変化に伴う音韻スペクトルの変形を加味し、認識結果と共に音声がもっている話者の感情の度合を示す感情レベルを出力する技術を開示している。

特開平１１−１１９７９１号公報

上記は話者の音声から感情状態を取得する技術であるが、その他にテキストから人間の感情状態を取得する技術としては特許文献５に開示されるような技術もある。
本技術は、電子文書が有する感情を自動的に判定すると共に、その判定の精度を高くするものであり、単語の感情表現を感情ベクトル値で表した感情表現辞書を用いることを特徴としている。

特開２００２−２３００１１号公報

上述した従来技術のように音声から人間の感情の状態を得る方法が開発されているが、特許文献２の方法は、ユーザとの対話を目的としてユーザの感情状態を知ろうとするものであり、特許文献３及び４はユーザの感情状態を知ることでユーザが行った命令の程度を決定するものである。
また特許文献５では得られた感情を別のユーザに視覚的に知らせるものであって、聴覚的な効果を企図したものではない。

本発明は、音響情報やテキスト情報から人間の感情状態を推定し、当該情報の発信者（話し手や書き手）や受信者（聞き手や読み手）の感情状態を効果的にコントロールできるように音楽を出力するものであり、上記従来技術のいずれによっても実現されていない。

本発明は従来技術で提供できなかった、人間の感情状態に基づいて自動的に音楽出力すると共に、音楽選択の的確性、装置の簡易性を図ることを目的として創出したものである。

本発明は、上記の課題を解決するために、次のような手段を用いる
すなわち、請求項１に係る発明は人間の発する音声及び活動に伴って生じる活動音に対して、当該人の感情状態に適し、該音声及び該活動音の背景音楽を選択して出力可能な音楽出力装置を提供する。
該装置において感情状態学習用テーブルと、該感情状態学習テーブルに基づいて第１の機械学習モデルにより音響特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習手段と、音楽選択学習用テーブルと、該音楽選択学習テーブルに基づいて第２の機械学習モデルにより選択する音楽と感情状態との関連を取得して音楽選択テーブルに学習結果を保存する音楽選択学習手段とを備える。

さらに、該音声及び該活動音を取得し、音響情報として入力する音響情報入力手段と、該音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出手段と、該音響特徴量を入力して、該状態判断テーブルに基づいて音響情報に係る人間の感情状態を該第１の機械学習モデルにより判断する状態判断手段と、判断された該感情状態を入力して、該音楽選択テーブルに基づいて該第２の機械学習モデルにより音楽を選択する音楽選択手段と、該音楽を背景音楽として出力する音楽出力手段とを備える。
本構成において、音響スペクトルに係る特徴量として、強度、テンポ、及び周波数を全て用いることを特徴とする。

ここで、前記感情状態学習用テーブルを、前記音声及び活動音を生じさせる人間の特徴別に用意して学習し、前記状態判断手段において、判断時に選択された特徴別の学習結果を用いて音響情報に係る当該人間の感情状態を判断する構成でもよい。

上記の状態判断テーブルにおいて、同一の音響特徴量に対して、複数の感情状態の確度が定義される構成でもよい。

前記機械学習モデルが、最大エントロピーモデル、サポートベクトルマシンモデルのいずれかを用いる構成でもよい。

前記音楽出力装置が、電話回線との接続手段を備え、音声情報入力手段が、電話回線における通話音声を取得して入力すると共に、音楽出力手段が、電話回線における通話音声に音楽を挿入する構成でもよい。

本発明は、人間の発する音声及び活動に伴って生じる活動音に対して、当該人の感情状態に適し、該音声及び該活動音の背景音楽を選択して出力可能な音楽出力方法として提供することもできる。
該方法においては、まず、感情状態学習手段により、予め備えた感情状態学習テーブルに基づいて第１の機械学習モデルにより音響特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習ステップ、音楽選択学習手段により、予め備えた音楽選択学習テーブルに基づいて第２の機械学習モデルにより選択する音楽と感情状態との関連を取得して音楽選択テーブルに学習結果を保存する音楽選択学習ステップを有する。

各学習ステップの後、音響情報入力手段により、該音声及び該活動音を取得し、音響情報として入力する音響情報入力ステップ、音響特徴量抽出手段により、該音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出ステップ、状態判断手段により、該音響特徴量を入力して、該状態判断テーブルに基づいて音響情報に係る人間の感情状態を該第１の機械学習モデルにより判断する状態判断ステップ、音楽選択手段により、該感情状態を入力して、該音楽選択テーブルに基づいて該第２の機械学習モデルにより音楽を選択する音楽選択ステップ、音楽出力手段により、該音楽を背景音楽として出力する音楽出力ステップの各ステップを含むことを特徴とする。

ここで、感情状態学習ステップにおいて、感情状態学習用テーブルを、前記音声及び活動音を生じさせる人間の特徴別に用意して学習し、状態判断ステップにおいて、状態判断手段が、判断時に選択された特徴別の学習結果を用いて音響情報に係る当該人間の感情状態を判断する構成でもよい。

前記状態判断テーブルにおいて、同一の音響特徴量に対して、複数の感情状態の確度が定義される構成でもよい。

以上の発明により次の効果を奏する。すなわち、請求項１に記載の発明によると、人間の発する音声及び活動音から人間の感情状態を的確に判断し、自動的に音楽を出力できる音楽出力装置を提供することができる。

本発明では、感情状態の判断の際と、音楽選択の際のそれぞれの段階で機械学習モデルを用いた処理を行う。
すなわち、感情状態の判断に際して機械学習を用いることができるので、ユーザの個性に応じた状態判断に寄与し、より正確な状態判断を行うことが可能である。
また、音楽選択に際して機械学習を用いることができるので、感情状態に応じた適切な音楽の選択に寄与する。すなわち、感情状態に応じて画一的な対応動作を取るのではなく、複数のパラメータで表される感情状態に対しても、最適な音楽選択に寄与する。
請求項６記載の発明についても同様の効果を奏する。

請求項２に記載の発明によれば、全てのユーザについて学習させずとも、例えば「早口の男性」「声の低い女性」など、ある程度特徴を分けて学習させ、使用時に選択するだけでも判断の精度を上げることができる。
請求項７記載の発明についても同様の効果を奏する。

請求項３に記載の発明によれば、従来の方法では１つの感情状態の程度でしか表すことができなかったのに対し、本発明では複数の感情状態に対して同時にそれらの確度を決定することができる。
請求項８記載の発明についても同様の効果を奏する。

請求項４に記載の発明では、機械学習の学習モデルとして公知の最大エントロピーモデル、サポートベクトルマシンモデルを用いることで、既知の学習エンジンを採用し、簡便に本発明を実施することができる。

請求項５に記載の発明では、電話における通話時に感情状態に合わせた音楽の挿入を行うことができるので、快適な通話環境の提供に寄与する。

以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。

以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。
図１は本発明の第１の実施形態に係る人間の感情状態に応じた音声出力装置（１）の構成図である。本装置は、例えば公知の音声入力端子又はマイクを備えたパーソナルコンピュータによって実現することが簡便である。すなわちハードウェアとしては集音マイクなどを接続して人間の音声及び活動時の音を入力するための音響入力端子（１０）と、各種信号処理・演算処理を行うＣＰＵ（２０）、該ＣＰＵ（２０）に接続され必要に応じてデータの入出力を行う外部記憶装置であるハードディスク（３０）の他、選択された音楽をライン出力するための音楽出力端子（４０）や、直接出力するスピーカ（４１）を備えている。

そして、ＣＰＵ（２０）の音響入力部（２１）では、集音マイクにより取得した音声・活動音をコンピュータで処理可能なディジタル信号の音響情報に変換処理する。一般にアナログディジタル変換を行うものであり、特にサウンドボードによって処理される場合が多い。

次に、音響特徴量抽出部において、入力された音響情報から音響スペクトルを取得し、その音響特徴量を抽出する。前述の通り音響情報には音声の他、活動音も含まれており、いずれであっても感情状態を判断することができる。
音声の場合には、非特許文献６に開示されるような公知のソフトウェアを実行して音声情報から音声波形・スペクトルを算出処理し、音声の特徴量を抽出するのが簡便である。

Windows（登録商標）対応音声処理ソフトウェア 「音声工房 Pro」http://www.sp4win.com/sp4win/pro/pro.htm

本発明では、例えばユーザが定期的に発声する単語を入力して、その際のユーザの感情状態を判断するように構成し、例えば「オーライ」という単語についてユーザが「元気」なのか、「眠い」のか、「怒っている」のか、といった感情状態の判断を行う。

図２は音響特徴量抽出部（２２）及び状態判断部（２３）における処理を詳細に説明する流れ図である。図のように、音響特徴量抽出部（２２）では、音韻スペクトルから強度（５１）、テンポ（５２）、周波数（５３）をそれぞれ測定する。
具体的には上述した公知のソフトウェア等により、図３に示す音韻スペクトルが得られる。図３において上段は、感情状態が「元気」（通常）であるときの音声波形、下段は該音声の強度（パワー）を示しており、概ね１．３秒程度の発声時間内の時間的変化である。
さらに、図４は感情状態が「眠い」時の音声波形（上段）及び強度（下段）を示している。

各感情状態における強度を比較すると、「元気」時の最大パワーが−５ｄＢ程度、「眠い」時の最大パワーが−１０ｄＢ程度であり、「元気」時には大きな発声がされていることがわかる。強度測定（５１）では、最大強度の他、最低強度、平均強度、最低強度と最大強度の差などを測定値とすることができる。

音響特徴量抽出部（２２）においてテンポを抽出する際には、公知の任意の手法を用いることができるが、例えば強度が所定の閾値を超えた各時刻を取得し、その時刻の間の時間をテンポとして得ることが考えられる。
すわなち、図３において、最初に閾値を超えた時刻をｔ１、再び閾値以下になった後に再度閾値を超えた時刻をｔ２とすると、これらはそれぞれ「オー」の発声開始時刻、「ライ」の発声開始時刻であり、この間の時間ｔ２−ｔ１がテンポとなる。

一般的にユーザが「眠い」感情状態の時、話すテンポが遅くなることが知られており、図４に着目すると、上記の時刻は音声波形上でそれぞれｔ３、ｔ４のときであることがわかる。図３、図４の横座標はそれぞれ同一であり、両図の比較から明らかにテンポが遅くなっている。
テンポ測定（５２）では、上記のように各音素の開始時刻間の間隔や、各音素における最大強度となった時刻間の間隔、あるいは強度のグラフから各音素間で強度が０に近づき谷となる間の時間を求めることもできる。

次に、図５及び図６は音声情報からピッチ（基本周波数）の時間変化を示したものである。両図の比較においても、基本周波数の最低値及び最大値が、「元気」時にはそれぞれ１２０Ｈｚ、１４０Ｈｚであるのに対し、「眠い」時には１００Ｈｚ、１１０Ｈｚ程度とやや低くなることがわかる。
周波数測定（５３）では、ピッチの最大値および最小値、又は平均値などを測定値として用いることができる。

本発明の音響特徴量抽出部（２２）ではこのように基本周波数を取得する構成の他、音声波形のスペクトルの中で、特にエネルギーが集中している周波数成分で、声道の共鳴周波数を表すホルマントを抽出する構成をとることもできる。
図７及び図８はホルマント周波数を示すグラフである。両図の比較から「元気」時にはホルマント周波数の分散が大きいのに対し、「眠い」時には平坦な分布となっており、全体に抑揚が少なくなっている。
この場合、各分布値から分散を算出し、比較することにより、感情状態の特性を得ることができる。

音響特徴量抽出部（２２）では以上のように音響スペクトルから強度、テンポ、周波数の各特徴量を得て、状態判断部（２３）に送る。これらの各特徴量はＣＰＵ（２０）に接続される公知のメモリ（図示しない）等に一時的に記録されるか、ハードディスク（３０）に格納される。

また、活動音の場合についても、音声と同様に音響情報から音響スペクトルを取得し、強度やテンポ、周波数について測定する。ここで活動音とは人間の活動に伴って生じる音全てを指し、例えば調理場においては野菜を切る音、肉を焼く音、食器を洗う音などが該当する。その他にも日常的に掃除機をかける音や、階段を昇降する音など、作業時に特徴的な音が生じる場面は多い。

そして、例えば階段を昇降する音の場合に、そのテンポが短く音が大きい場合にはユーザが「慌てている」と判断できるし、テンポが不規則で強弱の変化が激しい場合には「注意力が散漫になっている」、軽快に適正なテンポで昇降している場合には「快調」と判断することもできる。
さらに、周波数によって昇降する人の分類とその気分の判断を行うことも可能であり、活動音により音声と同様に様々な感情状態の判断を行うことができる。

さらに、活動音によっては、変化する感情状態をその時々で把握することは必ずしも容易でない場合がある。しかし、例えば掃除機をかけているときには気分でどのような音楽をユーザが聞きたいのか、あるいは食器を洗っているときにはどうか、といったようにその場面での平均的なユーザの感情を推定することが可能である。
すなわち、本発明におけるユーザの感情状態とは、時々刻々変化するユーザの感情状態だけでなく、一般的な生活場面での感情といったものまでを含む概念である。

抽出された音響特徴量は状態判断部（２３）において状態判断テーブル（３１）と比較されて感情状態の判断に用いられる。
すなわち、本発明において感情状態を判断する際には複数の音響特徴量から、状態判断テーブル（３１）との近似度を点数化し、合計点の最も高いものをユーザの感情状態と判断する。

例えば、ユーザの感情状態として、感情状態Ａ、感情状態Ｂ、感情状態Ｃの３つが予め分類されており、それぞれの確度を順次算出する。これらの３つは上記の「元気」「眠い」「怒っている」などに対応している。
そして、まず強度測定（５１）の結果から、感情状態判断テーブル（３１）を参照して強度から見たときの確度を決定する。次の表１は感情状態判断テーブル（３１）の一例である。

本発明では、強度に対して複数のユーザ状態が重複して与えられていることを特徴とし、例えば最大強度が０〜−２ｄＢであった場合には、「怒っている」確度は０．８、「元気」である確度は０．７、「眠い」の確度は与えられていないため確度を０として設定する。
すなわち、強度に関しては各感情状態確度算出処理（５４）（５５）（５６）でそれぞれの感情状態の確度が上記感情状態判断テーブル（３１）から決定される。

次に、テンポ測定（５２）の結果についても感情状態判断テーブル（３１）に備えられた次のような表から各感情状態の確度を決定する。
例えば、図３、図４の音響スペクトルでは、「元気」時のテンポが０．２２秒、「眠い」時のテンポが０．５５秒程度であり、感情状態判断テーブル（３１）からテンポに関しては、図３の音声情報が入力されると、「怒っている」確度が０．３、「元気」確度が０．８、「眠い」確度が０．１となる。

同様に、周波数測定（５３）の結果についても感情状態判断テーブル（３１）に備えられた表３から各感情状態の確度を決定する。
図５、図６の音響スペクトルによれば、「元気」時の基本周波数の最大値及び最小値の中間値（平均値）は１３０Ｈｚであり、この場合に「怒っている」確度は０．６、「元気」な確度は０．７、「眠い」確度は０となる。

従って、感情状態Ａ確度算出処理（５４）で例えば「元気」な確度を算出する場合には、音声情報として「元気」時の音韻スペクトルが得られたときに強度からは０．７、テンポからは０．８、周波数からは０．７が決定し、各合計は２．２．である。このとき、ユーザの感情状態が「元気」な確度は２．２と算出される。

さらに感情状態Ｂ確度算出処理（５５）で「怒っている」確度を算出する場合、同様に「元気」時の音韻スペクトルからは、強度に関して０．５、テンポに関して０．３、周波数に関して０．６が得られるから、「怒っている」確度は１．４と算出される。
同様に感情状態Ｃ確度算出処理（５６）で「眠い」確度は、強度に関して０、テンポに関して０．１、周波数に関して０であり、確度０．１と算出される。

以上の結果、状態判断部（２３）では図３のような音声情報が入力された場合には、「元気」な確度が２．２、「怒っている」確度が１．４、「眠い」確度が０．１であるとユーザの感情状態を判断する。
このように、従来の方法では１つの感情状態の程度でしか表すことができなかったのに対し、本発明では複数の感情状態に対して同時にそれらの確度を決定することができる。

また、活動音の場合にも同様の方法によりユーザの感情状態を判断できる他、音響情報から「洗濯時の気分」「食事を用意する際の気分」といった場面毎の感情状態について、そのいずれであるかを状態判断部（２３）で判断するように構成することもできる。

次に音楽選択部（２４）の動作を説明する。図９には対応動作選択処理の流れ図を示す。
状態判断部（２３）で判断された感情状態から、音楽選択テーブル（３２）を参照し、出力すべき音楽の種類を選択する。音楽の種類としては音楽ジャンルによる分類、楽曲の印象尺度による分類など任意の分類方法によることができる。
楽曲印象の分類としては、本件出願人らによる楽曲の分類尺度を用いることもできる。

特開２００４−１１８０１０号公報 特開２００４−１１８０１１号公報

ここでは説明に便利なように音楽の種類を「明るい曲」「静かな曲」「勇ましい曲」の３種類とし、どの種類に属するかを順次判定する。
音楽選択テーブル（３２）には感情状態と、出力すべき音楽との対照表が格納されている。表４は対照表の一例である。

状態判断結果を音楽選択部（２４）に入力すると、音楽選択テーブル（３２）の音楽の種類、「明るい曲」「静かな曲」「勇ましい曲」をそれぞれ出力するか（６１）（６２）（６３）順次判定する。
判定は、択一的にいずれの音楽にするか一度にしてもよいし、図９のように順次実行してもよい。順次実行する場合には、上位の判定で対応動作を実行した場合には下位の判定を行わない構成でもよい。

判定には公知の手法により上位対照表との類似度を調べることが簡便であり、例えば最も簡単には各感情状態の確度と、状態判断部（２３）から得られた各感情状態の確度とのそれぞれの差の絶対値を求め、その値が所定の閾値以下となる場合に実行すべき対応動作を実行する判定を行えばよい。

一例として、感情状態Ａ，Ｂ，Ｃの確度がそれぞれ２．０、１．８、０．３と入力されたとき、確度の差の絶対値は、表４の「明るい曲」の各確度より、０．２、０．４、０．２であるから合計は０．８になる。
ここで例えば閾値が１．０であった場合、「明るい曲」を出力すべきと判定（６１）する。

選択された結果（６４）は、音楽出力部において楽曲データ（３３）から該当する楽曲情報を読み出し、出力端子（４０）から出力又はスピーカ（４１）により再生される。
楽曲データ（３３）は表５のように構成されており、各楽曲のファイルとその楽曲の種類が対応付けされて格納される。データは、MIDIファイルやMP3による。
そして、音楽出力部（２５）では公知の音楽再生処理方法により、再生を行う。

以上の構成により、本発明はマイクなどで取得した音声・活動音を入力し、音響特徴量抽出部（２２）によって特徴量が抽出され、状態判断部（２３）において「眠い」と判断された場合に、音楽選択部（２４）で「勇ましい曲」と選択される。その結果、音楽出力部（２５）からは「勇ましい曲」に対応するトルコ行進曲.mp3の楽曲情報が再生処理されることになる。

同様に、活動音として階段を慌ただしく駆け上がっている時には、ゆっくりしたテンポの曲を流して落ち着いて昇降するように促したり、家事を行っている場合にはリズミカルな曲を流して素早い作業を助けたり、といった使用に寄与する。
従来の手動による音楽選択と異なり、予め音楽選択テーブルに蓄えた情報に従って自動的に最適な音楽を選択し出力することができる。

図１０には、本発明の第２の実施形態による音楽出力装置（１ａ）の構成図を示す。本実施例は上記第１の実施形態に加えて感情状態学習部（１００）をＣＰＵ（２０）に、該感情状態学習部（１００）で学習に用いるための学習データが格納された感情状態学習テーブル（１０１）をハードディスク（３０）に備えている。

感情状態学習テーブル（１０１）には、ユーザが様々な感情状態にあるときの音声と、その際の感情状態を主観的及び客観的に評価した結果が格納されており、例えば表６のように構成されている。

そして、感情状態学習テーブル（１０１）はまず音響特徴量抽出部（２２）に入力されて、実施例１の時と同様に音響特徴量を抽出する。抽出された音響特徴量は、感情状態学習部（１００）に入力し、本実施形態に係る学習処理を行う。
ここで感情状態の学習には公知の機械学習モデルを用いることができるが、一例としてサポートベクトルマシンを用いる方法を次に説述する。

サポートベクトルマシン（以下、ＳＶＭ）については、パターン認識などにおいて複数の特徴量（特徴ベクトルで表される）から、その対象がどのクラスに属 するかを判定する識別器として用いられている。
本件発明者らによる論文（非特許文献９）では、これを自然言語処理に適用し、ＳＶＭを用いた単語多義性解消問題に対する解法を示している。

「SENSEVAL2J辞書タスクでのＣＲＬの取り組み」電子情報通信学会 NLC2001-40

ＳＶＭは分類の数が２個のデータを扱うものであるため、本論文ではペアワイズ法と呼ばれる手法を組み合わせ、単語多義性解消に必要な３個以上の分類を可能にする構成を開示している。
ＳＶＭは、空間を超平面で分割することにより２つの分類からなるデータを分類する手法である。このとき、２つの分類が正例と負例とからなるものとすると、学習データにおける正例と負例の間隔（マージン）が大きいものほどオープンデータで誤った分類をする可能性が低いと考えられ、このマージンを最大にする超平面を求め、それを用いて分類を行う。

図１１はこのときのより小さなマージンの空間と、より大きなマージンの空間を表す図である。
図中において、白点（１１０）は正例、黒点（１１１）は負例を表し、実線は空間を分割する超平面（１１２）を、波線はマージン領域の境界を表す面（１１３）を意味している。

通常、学習データにおいてマージンの内部領域に少数の事例が含まれていてもよいとする手法の拡張や、超平面の線形の部分を非線形に拡張（カーネル関数の導入）がなされたものが用いられる。以下、カーネル関数を導入する手法について説明を続ける。

この拡張された方法は、以下の識別関数を用いて分類することと等価であり、その識別関数の出力値が正か負かによって２つの分類を判別することができる。
ＳＶＭによる分類に関する定式化の一例について説明する。尚、ここで示す定式化は公知のものである。まず、ｘを２次元ベクトル、ｘ_iをｉ番目のサポートベクトル、Ｋをカーネル関数、ｙ_iは、後述するようにサポートベクトルｘ_i（ｉ＝１，２・・・ｌ、ｙ_i∈｛１，−１｝）に対する期待される出力値である。ｂはパラメータである。

関数sgnは、数２によって定義される。

また、各α_iは数４と数５の制約のもと、数３のＬ（α）を最大にする場合のものである。

また、カーネル関数Ｋは数６のものを用いている。

ここで、Ｃ，ｄは実験的に設定される定数である。例えばＣを１，ｄを２に固定することができるが、適宜設定することができる。
ここで、α_i＞０となるサポートベクトルｘ_iについて、数１の和をとっている部分は、この事例のみを用いて計算される。つまり実際の解析には学習データのうち、サポートベクトルと呼ばれる事例のみしか用いられない。

以上に示すように、サポートベクトルマシン法は、分類の数が２個のデータを扱うもので、より多くの分類を行う場合に、従来では前記ペアワイズ手法など別の手法を組み合わせていた。
ところで、カーネル関数としては、ポリノミアル（Ｐｏｌｙｎｏｍｉａｌ）、ガウシャン・ラジアル・ベイシス・ファンクション（Ｇａｕｓｓｉａｎ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）、エクスポネンシャル・ラジアル・ベイシス・ファンクション（Ｅｘｐｏｎｅｎｔｉａｌ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）、マルチレイヤー・パーセプション（Ｍｕｌｔｉ−Ｌａｙｅｒ Ｐｅｒｃｅｐｔｉｏｎ）、フーリエー・シリーズ（Ｆｏｕｒｉｅｒ Ｓｅｒｉｅｓ）、スプライン（Ｓｐｌｉｎｅｓ）、ビースプライン（Ｂｓｐｌｉｎｅｓ）、アディティブ・カーネル（Ａｄｄｉｔｉｖｅ Ｋｅｒｎｅｌｓ）、テンソル・プロダクト・カーネル（Ｔｅｎｓｏｒ Ｐｒｏｄｕｃｔ Ｋｅｒｎｅｌｓ）等の関数を用いることもできる。

上記の定式に従って、複数の特徴量を特徴ベクトルｘ_iで与えたときに、サポートベクトルｘ_i（ｉ＝１，２・・・ｌ、ｙ_i∈｛１，−１｝）に対する期待される出力値ｙ_iを得る。
感情状態学習部（１００）においては感情状態学習テーブル（１０１）を用いてカーネル関数を定義し、状態判断テーブルに該関数を保存する。従って、本実施例では状態判断テーブル（３１）は実施形態１で示した対応表ではなく、関数として格納されることになる。

これに伴って、ユーザの感情状態を判断する場合には、まず音声入力部（２１）から音声を入力して音響特徴量抽出部（２２）で特徴量を抽出し、状態判断部（２３）において学習モデルを用い、状態判断テーブル（３１）を参照しながら、状態の判断結果を出力する。
本発明はこのような感情状態の判断に機械学習を用いた点に特徴を有し、機械学習モデルとしては上述したＳＶＭの他、ニューラルネットワーク手法、最大エントロピー手法などを適宜用いることができる。

本発明はこのような感情状態の判断に機械学習を用いた点に特徴を有し、機械学習モデルとしては上述したＳＶＭの他、ニューラルネットワーク手法、最大エントロピー手法などを適宜用いることができる。
ニューラルネットワーク手法の場合には、入力に対応する望ましい出力の組を例示してニューラルネットワークの重みを決定する方法であるバックプロパゲーション（逆向き伝搬）を用いるのが好ましく、非特許文献１０、１１などに開示されている。

「パターン識別」 新技術コミュニケーションズ、Richard O. Duda ら著、尾上守夫訳、 http://sail.i.ishikawa-nct.ac.jp/pattern/nn/nn3.html

最大エントロピー手法の場合にも、例えば非特許文献１２に開示される本件発明者らによる手法によれば、複数の特徴量（特徴ベクトルで表される）から、その対象がどのクラスに属 するかを判定する識別器として機能させることができる。

「機械学習手法を用いた名詞句の指示性の推定」 自然言語処理、村田 真樹，内元 清貴，馬 青，井佐原 均、2000年 1月，7巻，1号，p.31 〜 p.50

図１２には、本発明の第３の実施形態による音楽出力装置（１ｃ）の構成図を示す。本実施例は上記第１の実施形態に加えて音楽選択学習部（１２０）をＣＰＵ（２０）に、該音楽選択学習部（１２０）で学習に用いるための学習データが格納された音楽選択学習テーブル（１２１）をハードディスク（３０）に備えている。

音楽選択学習テーブル（１２１）には、状態判断部（２３）による判断結果のサンプルと、それに対する適切な対応動作を格納している。一例としては７６のような態様である。なお、ここで状態判断結果は実施形態１で示したように、いくつかの次元を有するベクトル量として表すことができるので、表中でもベクトル量として定義している。

該音楽選択学習部（１２０）では音楽選択学習テーブル（１２１）により上記実施形態２と同様の方法で例えばＳＶＭを用いて状態判断結果と、それに対応する最も適切な対応動作を選択できるように機械学習する。
その結果は関数の形式で、音楽選択テーブル（３２）に記録される。学習結果は音楽選択部（２４）で機械学習モデルを用いた選択処理に使用される。

以上、実施形態２及び実施形態３は互いに組み合わせて用いることもできる。このような機械学習モデルを用いた方法によれば、従来のように画一的に感情状態を判断するのではなく、複数の音響スペクトルの特徴量を用いて、最も適当な感情状態の判断を行うことができる。また、ユーザに合わせて学習させることで、ユーザの話し方、音声の特徴などに係わらず、正確な感情状態の判断を行うことができる。
全てのユーザについて学習させずとも、例えば「早口の男性」「声の低い女性」など、ある程度特徴を分けて学習させ、使用時に選択するだけでも判断の精度を上げることができる。
したがって、本実施形態２、３は判定の高精度化に極めて寄与する構成である。

本発明の音声出力装置は、電話回線において用いることができる。具体的には上記入力端子（１０）及び出力端子（４０）を回線に接続し、電話回線上を流れる音声信号を取得すると共に、該音声から感情状態を判断して適当な音楽を出力する。このとき、該音声に重畳して出力することにより会話の背景音楽として音楽を流すことができる。
これにより、発話者の感情に合わせて情緒豊かな会話を楽しむことができるようになる。

本発明の第５の実施形態は、上記のように音響情報を入力するのではなく、テキスト情報を入力し、該テキストに最適な音楽を出力する装置（１ｃ）である。
すなわち、図１３に示すように公知の文書ファイルであるテキスト情報（１３０）を外部記憶装置からの読み込み、或いはネットワークにおける受信によってテキスト入力部（１３０）で取得する。

そして、テキスト情報（１３０）から感情表現に係る語句を抽出し、前述の特徴量と同じように該語句について感情状態の確度を算出する。例えば次のような処理である。テキストとして「試験に合格した。来年からは楽しい学校生活が始まる。でも友達と離ればなれになるのは寂しい。」というテキスト情報（１３０）を入力する。
語句抽出部（１３１）は、まず表８に示すような状態判断テーブル（１３１）を参照し、その中の「含まれる単語」に属する語句を抽出する。

そして、状態判断部（２３）では、表現される感情毎に確度を算出し、上記のテキスト例では、「合格」と「楽しい」が含まれるため「うれしい」感情の確度が１．１、「怒っている」確度は０、「残念に思う」確度は０．７となる。
そして、音楽選択部（２４）ではこれらの確度から、前記の方法と同様に音楽選択テーブル（３２）を用いて最適な音楽を選択する。

本実施形態においても感情状態学習部（１００）や音楽選択学習部（１２０）を設けることができ、図１３には後者を設けた例を示している。この場合、音楽選択学習テーブル（１２１）には、表現される感情の組と、選択すべき音楽の種類を複数用意し、学習に用いる。

実施例５の変形例として、図１４に示すように入力端子（１０）から人間の音声を音響情報として入力し、公知の音声認識処理を用いてテキスト化する構成（１ｄ）をとることもできる。このため、音声入力部（１４０）と共に、音声認識処理部（１４１）を備える。
音声認識処理部（１４１）の構成については、特許文献２、４などに開示される他、市販の音声認識ソフトウェアなどを組み込んで採用することもできる。
認識後は、テキスト情報となるため、実施例５における構成と同様である。

以上、本発明の実施形態として実施例１ないし６の構成を詳述した。本発明によれば、入力した音響情報から自動的に音楽を出力することができるので、実施例４における電話の背景音楽に限らず、様々な用途に用いられる。
例えば、演劇の公演において自動的に効果音を挿入することも可能である。舞台の音響をマイクにより集音して入力し、登場人物の感情状態に応じた効果音楽を自動的に再生することで、効果的な演出が可能となる。
また、会議室などに設定して、怒った口調を検出した場合には場を鎮めるような音楽を流す設備や、図書館内に設置して高揚した口調などふさわしくない音声を検出した場合に警告のチャイムを鳴らす、といった実施方法が考えられる。

本発明の第１の実施形態に係る音声出力装置の構成図である。 本発明における感情状態を判断する流れ図である。 感情状態が通常時の音響スペクトルの強度を示すグラフである。 感情状態が眠い時の音響スペクトルの強度を示すグラフである。 感情状態が通常時の音響スペクトルの周波数を示すグラフである。 感情状態が眠い時の音響スペクトルの周波数を示すグラフである。 感情状態が通常時の音響スペクトルのホルマント周波数を示すグラフである。 感情状態が眠い時の音響スペクトルのホルマント周波数を示すグラフである。 本発明における音楽を選択する流れ図である。 本発明の第２の実施形態に係る音声出力装置の構成図である。 本発明に係るサポートベクトルマシンの説明図である。 本発明の第３の実施形態に係る音声出力装置の構成図である。 本発明の第５の実施形態に係る音声出力装置の構成図である。 本発明の第６の実施形態に係る音声出力装置の構成図である。

符号の説明

１ 人間の感情状態に応じた音声出力装置
１０ 音響入力端子
２０ ＣＰＵ
２１ 音声入力部
２２ 音響特徴量抽出部
２３ 状態判断部
２４ 音楽選択部
２５ 音楽出力部
３０ ハードディスク
３１ 状態判断テーブル
３２ 音楽選択テーブル
４０ 音楽出力端子
４１ スピーカ

Claims (8)

1. 人間の発する音声及び活動に伴って生じる活動音に対して、当該人の感情状態に適し、該音声及び該活動音の背景音楽を選択して出力可能な音楽出力装置であって、
   感情状態学習用テーブルと、
   該感情状態学習テーブルに基づいて第１の機械学習モデルにより音響特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習手段と、
   音楽選択学習用テーブルと、
   該音楽選択学習テーブルに基づいて第２の機械学習モデルにより選択する音楽と感情状態との関連を取得して音楽選択テーブルに学習結果を保存する音楽選択学習手段と、
   該音声及び該活動音を取得し、音響情報として入力する音響情報入力手段と、
   該音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出手段と、
   該音響特徴量を入力して、該状態判断テーブルに基づいて音響情報に係る人間の感情状態を該第１の機械学習モデルにより判断する状態判断手段と、
   判断された該感情状態を入力して、該音楽選択テーブルに基づいて該第２の機械学習モデルにより音楽を選択する音楽選択手段と、
   該音楽を背景音楽として出力する音楽出力手段と
   を備え、
   該音響スペクトルに係る特徴量として、強度、テンポ、及び周波数を全て用いる
   ことを特徴とする人間の感情状態に応じた音楽出力装置。
2. 前記感情状態学習用テーブルを、前記音声及び活動音を生じさせる人間の特徴別に用意して学習し、
   前記状態判断手段において、判断時に選択された特徴別の学習結果を用いて音響情報に係る当該人間の感情状態を判断する
   請求項１に記載の人間の感情状態に応じた音楽出力装置。
3. 前記状態判断テーブルにおいて、
   同一の音響特徴量に対して、複数の感情状態の確度が定義される
   請求項１又は２に記載の人間の感情状態に応じた音楽出力装置。
4. 前記機械学習モデルが、
   最大エントロピーモデル、サポートベクトルマシンモデル
   のいずれかである
   請求項１ないし３のいずれかに記載の人間の感情状態に応じた音楽出力装置。
5. 前記音楽出力装置が、電話回線との接続手段を備え、
   前記音声情報入力手段が、電話回線における通話音声を取得して入力すると共に、
   前記音楽出力手段が、電話回線における通話音声に音楽を挿入する
   請求項１ないし４のいずれかに記載の人間の感情状態に応じた音楽出力装置。
6. 人間の発する音声及び活動に伴って生じる活動音に対して、当該人の感情状態に適し、該音声及び該活動音の背景音楽を選択して出力可能な音楽出力方法であって、
   感情状態学習手段により、予め備えた感情状態学習テーブルに基づいて第１の機械学習モデルにより音響特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習ステップ、
   音楽選択学習手段により、予め備えた音楽選択学習テーブルに基づいて第２の機械学習モデルにより選択する音楽と感情状態との関連を取得して音楽選択テーブルに学習結果を保存する音楽選択学習ステップ、
   音響情報入力手段により、該音声及び該活動音を取得し、音響情報として入力する音響情報入力ステップ、
   音響特徴量抽出手段により、該音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出ステップ、
   状態判断手段により、該音響特徴量を入力して、該状態判断テーブルに基づいて音響情報に係る人間の感情状態を該第１の機械学習モデルにより判断する状態判断ステップ、
   音楽選択手段により、該感情状態を入力して、該音楽選択テーブルに基づいて該第２の機械学習モデルにより音楽を選択する音楽選択ステップ、
   音楽出力手段により、該音楽を背景音楽として出力する音楽出力ステップ
   の各ステップを含むことを特徴とする人間の感情状態に応じた音楽出力方法。
7. 前記感情状態学習ステップにおいて、
   前記感情状態学習用テーブルを、前記音声及び活動音を生じさせる人間の特徴別に用意して学習し、
   前記状態判断ステップにおいて、
   前記状態判断手段が、判断時に選択された特徴別の学習結果を用いて音響情報に係る当該人間の感情状態を判断する
   請求項６に記載の人間の感情状態に応じた音楽出力方法。
8. 前記状態判断テーブルにおいて、
   同一の音響特徴量に対して、複数の感情状態の確度が定義される
   請求項６又は７に記載の人間の感情状態に応じた音楽出力方法。

Images