JP6234563B2 - 訓練システム - Google Patents

Description

本発明は、訓練システムに関する。

失語症患者の発話訓練、又は、言語学習などでは、模範発話者と訓練発話者との口の動き、又は、音声の周波数など音響的特徴量を比較し、上達度を評価する方法が提案されている。

従来技術には、訓練者の口の動きを撮影し、撮影された口の動きと手本との差異を定量的に評価し、評価結果と手本映像とを表示し、さらに、評価結果に応じて表示内容を決定する言語訓練装置が提案されている。この従来技術には、模範者と訓練者との音声の特徴量の差異を比較する装置も提案されている。

また、従来技術には、模範音声を出力し、模範音声データと学習者データとの一致度に基づいて（発話）点数を算出し、算出した点数を表示させる語学学習装置が提案されている。

このように模範音声データと学習者データとを比較し、点数を表示する従来技術には、カラオケ装置がある。従来、歌の模範音声と訓練者音声とのリズム差分、音高差分、及び、音量差分を算出し、算出した差分に基づいて採点するカラオケ装置が提案されている。

さらに、訓練する際には、適度にリラックスした良い精神状態で訓練することが重要である。このため、従来、カラオケ歌唱者の脈波から緊張度（リラックス度）を測定し、測定した緊張度を実時間で表示し、カラオケ歌唱者自身がストレスの程度などのメンタル状態を間接的に把握することができるカラオケシステムが提案されている。

さらに、従来技術には、発話評価をバーグラフで表示し、脳波を測定し、発音を補正する言語療法ロボットが提案されている。また、生体情報（脳波）を取得してリラックス度を算出し、リラックス状態で訓練する装置及び方法が提案されている。さらに、心拍を測定し、心拍数に対応するトレーニング用画像を制御表示するトレーニング装置が提案されている。

発話又は運動などの人間の動きは、脳によってコントロールされており、動きを覚えるということは、脳が動きをコントロールする方法を覚えるということである。従って、動きが熟練するに従って、人間の脳の活動が変化し最適化されていく。ここで、脳の活動を測定する方法の一つには、活動している部位に集まる血液の量を測定する方法がある。

そして、光トポグラフィ（登録商標、以下同じ）という光によって脳血流の増減を測定する装置を用いて訓練者の脳の活動を測定しながら、訓練者の運動機能をリハビリし、最適なトレーニングメニューを提示する訓練支援装置が提案されている（例えば、特許文献１参照）。また、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置を使って訓練者の脳の活動をモニタしながら、訓練者にトレーニングをさせ、脳活動に応じてトレーニングメニューを提示するシステムが提案されている。

発話など言語機能の訓練と脳活動との関係を調べる技術が提案されている。具体的には、脳卒中後の失語症患者の脳活動を光トポグラフィによって測定しながら、失語症患者に言語リハビリを行い、失語症患者の回復過程を調べた研究が開示されている。この研究により、言語機能の回復に伴い、左側頭にある言語野付近の活動量が上がる（正常に改善する）ことが分かっている。

別の研究において、英語の課題に取り組む学習者の、言語野の脳血流増加量を、光トポグラフィを使って調べたところ、英語初級者から中級者になるにつれ脳血流増加量が増加し、中級者から上級者になると脳血流増加量が減少することが得られている。これは、初級から中級にかけて機能向上に伴い血流が増加するが、上級者は無意識、かつ、自動的に課題を解決できるようになるため、かえって脳の活動は下がるためと考えられる。

特開２００４−２９４５９３号公報

従来の発話訓練装置は、訓練者の発話の機能、脳活動及び精神状態を複合的に考慮して、発話の機能に特化した訓練を行うものではない。

本発明の目的は、失語症患者などの訓練中の脳波、心拍又はホルモンなど生体情報測定により得られたメンタル情報及びフィジカル情報、脳活動、及び訓練の結果を用い、脳科学的、並びに、心理学的及び生理学的方法によって訓練の効果を確認しながら、能力を効果的に向上できる発話訓練システムを提供することである。

本発明の代表的な一形態によると、ユーザに発話を訓練させる訓練システムであって、前記ユーザを訓練するため、前記発話の手本となる訓練内容を出力する教師出力部と、前記ユーザによる発話の音声を録音する音声認識部と、前記ユーザの口の動きを撮影するカメラ部と、前記ユーザの脳血流を測定する脳血流測定部と、前記ユーザの生体信号を測定する生体信号測定部と、前記訓練内容と、前記録音された音声及び前記撮影された口の動きの画像とに基づいて、前記発話の上手さを示す発話点数を算出する演算部と、を有し、前記演算部は、前記測定された脳血流に基づいて、前記ユーザの脳が働く程度を示す脳活性度を算出し、前記測定された生体信号に基づいて、前記訓練によって受ける前記ユーザの生体信号の変化を示す気分指数を算出し、前記算出した発話点数、脳活性度及び気分指数を表示するためのデータを生成する。

本発明の一実施形態によると、効果的な発話訓練を行うことが可能になる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の発話訓練システムを示すブロック図である。 実施例１の訓練情報を示す説明図である。 実施例１の発話訓練システムの処理を示すフローチャートである。 実施例１の訓練の開始時に表示される教師画像を示す説明図である。 実施例１の訓練が開始した後、訓練者が発話する前における教師画像を示す説明図である。 実施例１の訓練者が発話を始めた時の教師画像を示す説明図である。 実施例１の訓練者による発話が終了した際に表示される結果画像を示す説明図である。 実施例１の教師画像の他の例を示す説明図である。 実施例１の脳活性度を算出し、次回の訓練の難易度を決定する処理を示すフローチャートである。 実施例１の気分指数を算出し、次回の訓練の難易度を決定する処理を示すフローチャートである。 実施例１の評価情報を示す説明図である。 実施例１の結果画像の他の例を示す説明図である。 実施例１の発話開始前に難易度を決定する処理を示すフローチャートである。 実施例２の発話訓練システムを示す説明図である。 実施例２の発話訓練システムの他の構成を示す説明図である。 実施例２の脳活性度を算出する処理を示すフローチャートである。 実施例２の見学者の興味度を算出する処理を示すフローチャートである。

発明の実施の形態について図面を参照しながら以下に説明する。

本発明は、失語症患者又は言語学習者等の訓練者の血流を測定した結果、並びに、脳波、心拍及びホルモンなどの生体情報を測定した結果により得られたメンタル情報及びフィジカル情報に基づいて、訓練者に提供するコンテンツを変化させることによって、訓練者が、訓練の効果を確認しながら、効果的かつゲーム感覚で楽しみながら行える訓練を、訓練者に提供する発話訓練システムに関する。

図１は、実施例１の発話訓練システム１０を示すブロック図である。

実施例１の発話訓練システム１０は、教師画像２０１及び音声を訓練者１１０に提供することによって、訓練者１１０に発話を訓練させるシステムである。実施例１の発話訓練システム１０は、データ処理部１００、データ記憶部１０１、生体信号処理部１０２、脳活動処理部１０３、信号線１１９、ディスプレイ１０４、信号線１１３、カメラ１０５、信号線１１４、スピーカ１０６、信号線１１５、マイク１０７、ヘッドバンド１０８、心拍測定用電極１０９、光ファイバ１１６、信号線１１７、及び、信号線１１８を含む。

訓練者１１０は、実施例１の発話訓練システム１０により、発話能力を訓練される者である。なお、訓練者１１０の代わりに健常者が、発話訓練システム１０を用いて、訓練してもよい。

データ処理部１００は、出力部１３０、訓練認識部１３１及びデータ演算部１３２を有する。また、データ処理部１００は、訓練者１１０等の指示を受け付ける入力部と接続されてもよい。出力部１３０は、訓練における発話の手本となる訓練内容、例えば、音声及び教師画像２０１を訓練者１１０に提供する。

訓練認識部１３１は、訓練者１１０の訓練の状況を、例えば音声又は画像等を取得することにより認識する。データ演算部１３２は、訓練によって取得された音声、画像、生体信号又は脳活動のデータを解析する。

データ記憶部１０１は、データ又はプログラムを格納する記憶装置である。データ記憶部１０１は、評価情報３２０及び訓練情報３００を有する。

訓練情報３００は、多数の健常者による訓練に関するデータ、及び、多数の過去の訓練者１１０による訓練に関するデータ、並びに、一人の訓練者１１０による過去の訓練に関するデータを保持する。

評価情報３２０は、生体信号処理部１０２の測定部１３３によって測定された結果に基づいて訓練者の気分状態を評価するための、指標を示す。

生体信号処理部１０２は、測定部１３３及び演算部１３４を有する。測定部１３３は、訓練者１１０の生体信号を、ヘッドバンド１０８又は心拍測定用電極１０９を用いて測定する。演算部１３４は、測定の結果得られた生体信号から生体データを生成することにより、後述する気分指数を算出するためのデータを生成する。

脳活動処理部１０３は、測定部１３５及び演算部１３６を有する。測定部１３５は、訓練者１１０の脳活動（脳血流の増減）を、ヘッドバンド１０８を用いて測定する。演算部１３６は、測定された結果から脳血流データを生成することにより、測定結果から後述する脳活性度を算出するためのデータを生成する。

図１に示すデータ処理部１００、生体信号処理部１０２及び脳活動処理部１０３は、各々がプロセッサを少なくとも有する演算装置である。しかし、実施例１の発話訓練システム１０は、各々の処理部の機能に相当するプログラムを保持し、プロセッサがプログラムを実行することによって、各処理部に相当する機能を実装してもよい。

データ処理部１００、データ記憶部１０１、生体信号処理部１０２、及び、脳活動処理部１０３は、信号線１１９によって相互に接続され、データを相互に送受信する。

データ処理部１００の出力部１３０は、信号線１１２を介してディスプレイ１０４と通信し、信号線１１４を介してスピーカ１０６と通信する。また、訓練認識部１３１は、信号線１１３を介してカメラ１０５と通信し、信号線１１５を介してマイク１０７と通信する。

出力部１３０は、ディスプレイ１０４及びスピーカ１０６を用いて、画像及び音声を訓練者１１０に提供する。そして、訓練認識部１３１は、カメラ１０５及びマイク１０７を用いて、訓練者１１０が発する音声（発話を含む）を録音したり、訓練者１１０を撮影したりする。

生体信号処理部１０２の測定部１３３は、信号線１１７を介して心拍測定用電極１０９と通信する。心拍測定用電極１０９は、訓練者１１０の心拍を測定する。また、生体信号処理部１０２の測定部１３３は、ヘッドバンド１０８に組み込まれる脳波電極と、信号線１１８を介して通信する。ヘッドバンド１０８は、訓練者１１０の頭部に装着される。

また、生体信号処理部１０２の測定部１３３は、唾液中のストレスホルモン濃度を、生体信号として取得してもよい。この場合、生体信号処理部１０２は、唾液中のストレスホルモン濃度を測定する小型分析装置と接続する。この小型分析装置は、訓練者１１０の唾液が塗られたチップを受け付け、チップに塗られた唾液中のストレスホルモン濃度を測定する装置である。

訓練者１１０は、発話開始前及び発話終了後にチップを咥え、唾液をチップに塗り、小型分析装置にチップを挿入する。小型分析装置は、チップが挿入された場合、チップに塗られた唾液中のストレスホルモン濃度を測定する。

なお、生体信号処理部１０２の測定部１３３は、心拍、脳波及びストレスホルモン濃度の少なくとも一つを測定してもよく、三つすべてを測定してもよい。

生体信号処理部１０２の演算部１３４は、ヘッドバンド１０８に備わる脳波電極によって測定された生体信号、又は、心拍測定用電極１０９によって測定された生体信号を生体データに変換する。そして、演算部１３４は、生体データをデータ処理部１００に送信する。なお、演算部１３４は、生体データをデータ記憶部１０１に格納し、データ処理部１００のデータ演算部１３２は、データ記憶部１０１の生体データを取得してもよい。

データ処理部１００のデータ演算部１３２は、取得した生体データに基づいて気分指数を算出する。そして、データ演算部１３２は、算出した気分指数を、データ記憶部１０１に格納する。

ヘッドバンド１０８は、脳血流を測定するための装置を備える。脳血流を測定するための装置には、例えば、光トポグラフィの光入射部及び光検出部がある。光入射部及び光検出部は、光ファイバ１１６を介して脳活動処理部１０３の測定部１３５と接続される。

光トポグラフィは、微弱な近赤外光を頭皮に照射し、反射光を検出するシステムである。脳が活動して血流が増えた場合、光が吸収されて反射光が減るため、光トポグラフィは、光の入射及び検出によって、脳の血流の増減を測定する。実施例１における脳活動処理部１０３の測定部１３５は、光トポグラフィにおける制御部である。

なお、ヘッドバンド１０８は、脳の血流の増減を測定する装置であれば、光トポグラフィ以外のいかなる技術の装置を備えてもよい。

訓練者１１０は、発話開始前、及び発話中に、データ処理部１００の出力部１３０によってディスプレイ１０４に表示される教師画像２０１を見て、出力部１３０によってスピーカ１０６から出力される教師音声を聞く。そして、訓練者１１０は、手本となる発話の際の口の動きと、教師音声とを真似するように発話することによって、発話を訓練する。

教師画像２０１は、言語の手本となる発話の際の口の動きを表示する。また、教師画像２０１は、教師音声の基本周波数の変化（抑揚変化）を表示する。

教師画像２０１は、実際に発話している健常者などの人間を、撮影した画像でもよいし、コンピュータグラフィック又はアニメーションでもよい。マイク１０７は、発話した訓練者１１０の音声を録音し、カメラ１０５は、発話中の訓練者１１０の口の動きを撮影する。

データ処理部１００の訓練認識部１３１は、マイク１０７によって取得された録音データ及びカメラ１０５によって撮影された録画データを収集する。そして、データ演算部１３２は、収集した録音データ及び録画データに基づいて、訓練者１１０の発話の上手さを示す発話点数を算出する。そして、データ演算部１３２は、算出した発話点数をデータ記憶部１０１に格納する。

脳活動処理部１０３の測定部１３５は、光ファイバ１１６を介してヘッドバンド１０８に、入射光を送信する。そして、ヘッドバンド１０８に備わる光入射部は、受信した入射光を頭皮に照射する。

そして、ヘッドバンド１０８に備わる光検出部は、照射された入射光の反射光を検出し、光ファイバ１１６を経由して測定部１３５に、検出した反射光を送信する。測定部１３５は、ヘッドバンド１０８に送信した入射光と、ヘッドバンド１０８から受信した反射光との差に基づいて、脳の血流の増減を示す脳血流データを算出する。

前述において、脳活動処理部１０３の測定部１３５が入射光の光源である。しかし、実施例１の測定部１３５は、ヘッドバンド１０８に光の入射及び検出を指示するのみでもよい。この場合、ヘッドバンド１０８が光源と光検出部とを備え、ヘッドバンド１０８と測定部１３５とが電気的な信号を送受信する信号線によって接続されてもよい。

脳活動処理部１０３は、算出した脳血流データを、データ処理部１００に送る。データ演算部１３２は、受信した脳血流データに基づいて、脳活性度を算出する。そして、データ演算部１３２は、算出した脳活性度をデータ記憶部１０１に格納する。

図２は、実施例１の訓練情報３００を示す説明図である。

訓練情報３００は、条件３０１、日付３０４、発話点数３０５、脳血流データ３０６、脳活性度３０７、気分指数３０８、及び、気分評価値３０９を含む。訓練情報３００は、実施例１の発話訓練システム１０による訓練の結果を示す。発話訓練システム１０は、訓練者１１０、及び、手本となる発話が可能な人間（例えば、健常者）に、訓練を行う。そして、発話訓練システム１０は、訓練の結果を取得する。

条件３０１は、訓練の条件を示す。条件３０１は、訓練者情報３０２、及び、難易度３０３を含む。

訓練者情報３０２は、実施例１の発話訓練システム１０により訓練を受けた者を一意に示す情報を含む。訓練者情報３０２は、例えば、訓練者１１０の識別子、性別、年齢又は年代、若しくは、疾病の内容等を含む。また、訓練を受けた者に健常者が含まれる場合、訓練者情報３０２は、健常者であるか訓練者１１０であるかを示してもよい。

難易度３０３は、訓練の内容の難易度を示す。条件３０１は、訓練の内容を示す識別子を含んでもよい。

日付３０４は、訓練が行われた日を示す。日付３０４は、時刻を示してもよい。

発話点数３０５は、発話の上手さを示す点数を示す。以下に示す実施例において、発話点数は、話しの上手さを示す点数及び発音の上手さを示す点数を含む。

脳血流データ３０６は、訓練による脳血流の変化を示す。例えば、脳血流データ３０６は、発話開始前において測定された脳血流と発話終了後において測定された脳血流との差、又は、発話開始前の脳血流と訓練中の脳血流との差を示す。

脳活性度３０７は、脳血流データから算出された脳血流の増加量と、過去の所定のデータの脳血流の増加量との比率を示す。

気分指数３０８は、生体信号から算出された気分指数と、過去の所定のデータの気分指数との比率を示す。

気分評価値３０９は、生体信号に基づいて算出された、リラックス、緊張、集中度、及び、ストレス等の気分の程度である。気分指数３０８は、気分評価値３０９に基づいて算出されてもよい。

図３は、実施例１の発話訓練システム１０の処理を示すフローチャートである。

図３は、データ処理部１００の出力部１３０が教師画像２０１を表示してから、訓練の評価を示す結果画像２０６を表示するまでの発話評価処理を示す。また、図３は、話しの上手さを示す点数、及び、発音の上手さを示す点数の算出方法の例を示す。図３に示す処理と並行して、図８又は図１１の処理が実行されてもよい。

訓練者１１０がディスプレイ１０４、マイク１０７、スピーカ１０６及びカメラ１０５が設置される発話訓練システム１０の前に座り、ヘッドバンド１０８を装着し、心拍測定用電極１０９を装着した後、発話訓練システム１０は、図３に示す処理を開始する（５０１）。

訓練者１１０又はオペレータは、ステップ５０１において、訓練の条件をデータ処理部１００に入力する。なお、実施例１のオペレータは、発話訓練システム１０を操作する者であり、訓練者１１０と異なる。

訓練者１１０又はオペレータは、訓練の条件として、訓練者１１０の識別子等の訓練者情報、及び、訓練の難易度又は訓練の内容を入力する。データ演算部１３２は、入力部に入力された訓練の条件と、入力された日付とを、訓練情報３００の条件３０１及び日付３０４に格納する。以下において、ステップ５０１において訓練の条件が格納された訓練情報３００のエントリを、今回の訓練を示すエントリと記載する。

ステップ５０１において、データ処理部１００の出力部１３０は、教師画像２０１を表示する前、又は表示している間、訓練者１１０がリラックスするような、又は、モチベーションが上がるような映像又は音楽を、訓練者１１０に提供してもよい。

ステップ５０１の後、データ処理部１００の出力部１３０は、訓練者１１０が発話する単語又は文章を十分に認識できる程度の所定の時間、ディスプレイ１０４に教師画像２０１を表示する。教師画像２０１には、例えば、教師音声の抑揚の波形、発話する単語もしくは文章、又は、発音記号が表示される（５０２）。

ステップ５０２の後、データ処理部１００の出力部１３０は、教師画像２０１及び教師音声の出力を開始し、教師音声の出力の過程を教師画像２０１において強調して表示する（５０３）。出力部１３０は、ステップ５０３以降、複数の教師画像２０１を連続して表示することによって、訓練者１１０に、手本となる口の動き、及び、抑揚の変化を表示する。

ステップ５０３の後、訓練者１１０は、訓練における発話を開始する（５０４）。訓練者１１０は、教師画像２０１及び教師音声を真似て発話し、教師音声の出力の過程に従って発話する。

データ処理部１００の訓練認識部１３１は、所定の大きさ以上の音声をマイク１０７が検出した場合、訓練者１１０による発話が開始したと判定してもよい。また、訓練者１１０又はオペレータが発話の開始の指示を、入力部に入力した場合、訓練認識部１３１は、訓練者１１０による発話が開始したと判定してよい。

教師音声の出力の過程を強調表示する方法には、例えば、教師音声が出力された文字を大きくしたり、太字にしたりする方法、又は、抑揚波形において教師音声が出力された部分をカーソルで示したりする方法がある。出力部１３０は、発話の過程を強調表示することによって、訓練者１１０が教師音声を真似しやすくする。

訓練認識部１３１は、訓練者１１０が発話した音声をマイク１０７によって録音し、発話中の訓練者１１０をカメラ１０５によって撮影する。そして、データ演算部１３２は、録音データを解析し、訓練者１１０による発話の抑揚波形を生成する。そして、データ演算部１３２は、生成した抑揚波形を、出力部１３０を介してディスプレイ１０４に表示する（５０５）。

ここで、出力部１３０は、生成された抑揚波形を、訓練者１１０が発話した後に表示してもよいし、訓練者１１０が発話したタイミングの直後に表示してもよい。

訓練者１１０による発話が終了した後（５０６）、データ演算部１３２は、ステップ５０７、ステップ５０８及びステップ５０９を実行する。訓練認識部１３１は、所定の時間マイク１０７が所定の大きさ以上の音声を検出しない場合、訓練者１１０の発話が終了したと判定してもよいし、訓練者１１０又はオペレータから、発話の終了の指示を入力された場合、訓練者１１０による発話が終了したと判定してもよい。

ステップ５０６の後、データ演算部１３２は、教師音声の抑揚波形（基本周波数（ピッチ））と訓練者１１０の抑揚波形とを比較するため、教師音声の平均ピッチと訓練者１１０の平均ピッチとが同程度（所定の範囲内）になるように、教師音声の抑揚波形と訓練者１１０の抑揚波形とを規格化する（５０７）。これは、教師音声の声の高さと訓練者１１０の声の高さとが異なるために行われる。

ステップ５０７の後、データ演算部１３２は、規格化後の教師音声の抑揚波形と訓練者１１０の抑揚波形との差の大きさを算出する（５１０）。ステップ５１０の後、データ演算部１３２は、算出した差の大きさに従って、訓練者１１０の話しの上手さを示す点数を決定する（５１３）。

ここで、データ演算部１３２は、話しの上手さを示す点数を、差の大きさが小さいほど高い数字に決定する。例えば、データ演算部１３２は、差の大きさが０であるか、又は、十分に小さいとあらかじめ定められた大きさである場合、話しの上手さを示す点数を、最高点である１００点に決定する。

さらに、データ演算部１３２は、ステップ５０８及びステップ５１１を実行することによって、録音データに基づく発話の一致率を算出し、ステップ５０９及びステップ５１２を実行することによって、録画データに基づく発話の一致率を算出する。データ演算部１３２は、録音データ及び録画データの少なくとも一つを用いて発話の一致率を算出してもよい。

データ演算部１３２は、訓練者１１０が発話した音声の録音データを、音声として認識することによって解析し、解析の結果、訓練者１１０によって発話された内容をテキスト化する（５０８）。これは、例えば、文字を発話した時の一般的な周波数としてあらかじめ保持するデータと、訓練者１１０の抑揚波形とを比較することによって、データ演算部１３２は、発話された内容をテキスト化する。

ステップ５０８の後、データ演算部１３２は、教師音声のテキストに含まれる文字と、訓練者１１０による発話を示すテキストに含まれる文字とを比較し、比較の結果、異なる文字の数を算出する。そして、データ演算部１３２は、算出した異なる文字の数を、教師音声のテキストに含まれる文字の数によって除算することによって、教師音声と訓練者１１０による発話との一致率を算出する（５１１）。

ステップ５１１の後、データ演算部１３２は、ステップ５１１において算出した一致率に基づいて、発音の上手さを示す点数を決定する（５１４）。後述するステップ５１２が実行されない場合、データ演算部１３２は、ステップ５１１において算出した一致率を、発音の上手さを示す点数に決定してもよい。

また、データ演算部１３２は、訓練者１１０の口の動きを録画した録画データを複数の画像として認識し、訓練者１１０の口の形を連続して取得することによって、訓練者１１０の発話をテキスト化する（５０９）。ここで、データ演算部１３２は、例えば、母音を発話している際の一般的な口の形を保持し、録画データの訓練者１１０の口の形から、訓練者１１０が発話している文字の母音を取得してもよい。そして、データ演算部１３２は、訓練者１１０による発話の母音のみのテキストを生成してもよい。

ステップ５０９の後、データ演算部１３２は、ステップ５０９において生成されたテキストと教師音声のテキストとを比較し、異なる文字数を算出する。そして、データ演算部１３２は、訓練者１１０による発話と教師音声との一致率を算出する（５１２）。異なる文字数から一致率を算出する方法は、ステップ５１１と同じでもよい。

訓練者１１０による発話の母音のみのテキストを生成した場合、データ演算部１３２は、教師音声のテキストの母音と、訓練者１１０による発話の母音のみのテキストを比較し、異なる文字数を算出する。

ステップ５１２の後、データ演算部１３２は、ステップ５１４を実行し、ステップ５１２において算出した一致率に基づいて、発音の上手さを示す点数を決定する（５１４）。ステップ５１１が実行されない場合、データ演算部１３２は、ステップ５１４において算出した一致率を、発音の上手さを示す点数に決定してもよい。

ステップ５１１において発話の一致率が算出される場合、データ演算部１３２は、ステップ５１１において算出された発話の一致率と、ステップ５１４において算出した発話の一致率の合計を２で割った結果を、発音の上手さを示す点数に決定してもよい。また、データ演算部１３２は、録音データに基づく一致率及び録画データに基づく一致率の各々に、重みを割り当て、重みと一致率とを乗算した結果の合計値を、発音の上手さの点数に決定してもよい。

ステップ５１３及びステップ５１４の後、データ演算部１３２は、ステップ５１３において決定された話しの上手さを示す点数と、ステップ５１４において決定された発音の上手さを示す点数とを表示する画面データを生成し、出力部１３０及びディスプレイ１０４に、生成した画面データを表示させる。これによって、訓練の結果が訓練者１１０に提供される（５１５）。

ステップ５１５において、データ演算部１３２は、ステップ５１３において決定した話しの上手さを示す点数と、ステップ５１４において決定した発音の上手さの点数とを、データ記憶部１０１の今回の訓練を示すエントリの発話点数３０５に格納する。

ここで、データ演算部１３２は、訓練者１１０の前回の訓練における発話点数と今回の訓練における発話点数との差、又は、過去の複数回の訓練における発話点数の推移を算出し、算出した結果を、ディスプレイ１０４に表示させてもよい。過去の訓練における発話点数に基づいて発話点数を表示する場合、データ演算部１３２は、訓練者情報３０２と、日付３０４とに基づいて、過去の訓練における訓練情報３００のエントリを取得する。

ステップ５１５の後、データ処理部１００は、図３に示す処理を終了する（５１６）。

図４Ａ〜図４Ｃは、実施例１の訓練中に表示される教師画像２０１を示す説明図である。

図４Ａは、実施例１の訓練の開始時に表示される教師画像２０１ａを示す説明図である。図４Ａに示す教師画像２０１ａは、図３に示すステップ５０２において表示される。

教師画像２０１は、口の形２０２、テキスト２０３及び抑揚波形２０４を含む。口の形２０２は、教師音声を発話するための人間の口の形を示す。複数の教師画像２０１が連続して表示されることによって、訓練者１１０は、発話の口の動きを認識する。

テキスト２０３は、教師音声の単語又は文章等のテキストを示す。抑揚波形２０４は、教師音声の基本周波数（ピッチ）の波形を示す。

図４Ｂは、実施例１の訓練が開始した後、訓練者１１０が発話する前における教師画像２０１ｂを示す説明図である。図４Ｂに示す教師画像２０１ｂは、図３に示すステップ５０３において表示される。

教師画像２０１ｂは、教師音声が出力され始めたときの画像である。このため、教師画像２０１ｂの口の形２０２は開いた口を示す。教師画像２０１ｂのテキスト２０３は、出力済みの教師音声の文字を大きく強調して表示する。教師画像２０１ｂの抑揚波形２０４は、出力直後の教師音声に対応する抑揚波形の部分にカーソルを表示することによって、出力された教師音声を強調する。

図４Ｃは、実施例１の訓練者１１０が発話を始めた時の教師画像２０１ｃを示す説明図である。図４Ｃは、図３に示すステップ５０５において表示される。

教師画像２０１ｃは、訓練者１１０が発話を開始した後の画像である。このため、教師画像２０１ｃは、口の形２０２、テキスト２０３及び抑揚波形２０４の他に、訓練者抑揚波形２０５を含む。

訓練者抑揚波形２０５は、訓練者１１０の発話を録音した録音データに基づいて、データ演算部１３２が生成した抑揚波形を表示する。訓練者抑揚波形２０５は、訓練者１１０による発話した時点から、ほぼリアルタイムに表示されることが想定される。

図５は、実施例１の訓練者１１０による発話が終了した際に表示される結果画像２０６を示す説明図である。

図５は、図３に示すステップ５１５において表示される。結果画像２０６は、評価２０７、お話し上手２０８、発音上手２０９、脳活性度２１０及び気分指数２１１を含む。

お話し上手２０８は、図３に示すステップ５１３において決定された話しの上手さを示す点数を表示する領域である。発音上手２０９は、ステップ５１４において決定された発音の上手さを示す点数を表示する領域である。

脳活性度２１０は、脳活動処理部１０３の測定部１３５による測定結果に基づいて算出された脳活性度を、例えば、バーグラフなどの表示形式によって示す。気分指数２１１は、生体信号処理部１０２の測定部１３３による測定結果に基づいて算出された気分指数を、例えば、バーグラフなどの表示形式によって示す。

評価２０７は、お話し上手２０８、発音上手２０９、脳活性度２１０及び気分指数２１１の少なくとも一つに従って定められた画像を表示することによって、訓練結果の評価を直感的に理解できる画像を表示する。例えば、お話し上手２０８に表示される点数が所定の値より大きい場合、データ演算部１３２は、評価２０７として笑顔の人間の画像を、ディスプレイ１０４に表示させる。

なお、データ演算部１３２は、結果画像２０６を表示する際に、お話し上手２０８、発音上手２０９、脳活性度２１０及び気分指数２１１（すなわち、発話点数、脳活性度及び気分指数）の少なくとも一つに従って、励まし又は褒める音声又はテキストを定め、出力部１３０は、定められた音声又はテキストを出力してもよい。また、出力部１３０は、結果画像２０６に表示される評価２０７の人物の表情を、定められた音声又はテキストの内容に合わせて変化させてもよい。

図６は、実施例１の教師画像２０１ｂの他の例を示す説明図である。

教師音声が複数のフレーズを含む文章を発話した音声である場合、出力部１３０は、ステップ５０３において図６に示す教師画像２０１ｂを表示してもよい。図６に示すテキスト２０３及び抑揚波形２０４は、フレーズとフレーズとの間に、所定の長さの空白又は所定の長さの記号を表示する。

発話する文章の中に複数のフレーズが含まれる場合、訓練者１１０がフレーズとフレーズとの間に無音の「間」を適切に入れて発話したほうが、聞き手は、訓練者１１０の発話が上手いと感じる。このため、出力部１３０は、テキスト２０３及び抑揚波形２０４に、「間」の位置及び長さを示す空白又は記号を表示することによって、発話において「間」を入れるタイミング、及び、「間」の長さを訓練者１１０に直感的に認識させることができる。

実施例１の発話訓練システムは、図４Ａ〜図４Ｃ及び図６に示す教師画像２０１を訓練者１１０に提供することによって、手本となる発話における口の動き、又は、抑揚を明確に認識できる。そして、これによって訓練の効果をあげることができる。

さらに、訓練者１１０は、教師画像２０１から、訓練者１１０自らの抑揚を容易に認識できる。このため、訓練者１１０は、手本の抑揚と自分の抑揚とを比較しながら訓練でき、発話方法を容易に修正できる結果、訓練の効果が上がる。

また、実施例１の発話訓練システムは、図５に示す結果画像２０６によって、訓練の結果を訓練者１１０にフィードバックし、訓練者１１０に訓練による効果を認識させることができる。このため、実施例１の発話訓練システムは、訓練者１１０に次の訓練へのモチベーションを持たせることができる。

実施例１の脳活性度は、脳科学的な方法により測定結果を解析した結果、得られた訓練の効果を示し、実施例１の気分指数は、心理的な解析方法及び生理学的な方法により解析した結果、得られた訓練の効果を示す。

図７は、実施例１の脳活性度を算出し、次回の訓練の難易度を決定する処理を示すフローチャートである。

図７に示す処理は、発話点数及び脳活性度のみに基づいて、次回の訓練の難易度を決定する処理を示す。発話点数、脳活性度及び気分指数に基づいて、次回の訓練の難易度を決定する処理は、図８に示す。

図３に示すステップ５０１において訓練が開始した場合、図７に示す処理が開始される。ステップ５０１の後、脳活動処理部１０３の測定部１３５は、訓練者１１０の脳血流の測定を開始する（５１８）。

ここで、出力部１３０は、ステップ５１８において、脳血流が十分に測定される所定の時間が経過した後に、図３に示すステップ５０２を実行してもよい。これは、出力部１３０が、脳活動処理部１０３の測定部１３５に、発話開始前のリラックスした状態における訓練者１１０の脳血流を測定させるためである。

また、ここで出力部１３０は、ステップ５１８が実行される間、訓練者１１０がリラックスするような、又は、訓練者１１０のモチベーションが上がるような映像又は音楽を、訓練者１１０に提供してもよい。

図３に示すステップ５０２、５０３及び５０５が実行され、ステップ５０４において訓練者１１０が発話し、訓練者１１０による発話が終了した場合（５１９）、脳活動処理部１０３の測定部１３５は、脳血流の測定を終了する（５２０）。測定部１３５は、訓練者１１０による発話が終了したことをデータ処理部１００から通知された場合、脳血流の測定を終了してもよいし、訓練者１１０によって終了の指示が入力された場合、脳血流の測定を終了してもよい。

ステップ５２０の後、脳活動処理部１０３の演算部１３６は、測定結果に基づいて脳血流データを生成する。演算部１３６は、例えば、発話開始から発話終了までの脳血流の増加量又は減少量（以下、変化量）を算出し、算出した変化量を示す脳血流データ（今回の訓練の脳血流データ）を生成する。

そして、演算部１３６は、データ記憶部１０１の訓練情報３００の、今回の訓練を示すエントリの脳血流データ３０６に、生成した脳血流データを格納する（５２１）。また、ステップ５２１において、演算部１３６は、生成した脳血流データをデータ処理部１００に送信する。

ステップ５２１の後、データ演算部１３２は、過去の訓練における脳血流データを、データ記憶部１０１の脳血流データ３０６から取得する（５２２）。具体的には、データ演算部１３２は、日付３０４が過去の日付を示すエントリから脳血流データを取得する。

ここで、例えば、データ演算部１３２は、今回の訓練を示すエントリにおける訓練者情報３０２が示す性別及び年代、並びに、難易度３０３が示す難易度と少なくとも一つが同じ条件３０１のエントリを、対応する条件におけるエントリとして特定し、特定したエントリから脳血流データ３０６を取得してもよい。

これにより、データ演算部１３２は、今回の訓練と同じような条件の過去の訓練における脳血流データに基づいて脳活性度を算出でき、訓練者１１０の条件において求められる理想的な脳血流の変化量と、訓練者１１０の脳血流の変化量とに基づいて、脳活性度を算出することができる。そして、訓練者１１０の条件に従った脳活性度を算出できる。

また、条件３０１に健常者若しくは言語熟達者、又は、患者若しくは言語未熟者等を示す識別子が含まれる場合、データ演算部１３２は、条件３０１に健常者又は言語熟達者を示す識別子が含まれる訓練情報３００のエントリを特定し、特定したエントリから脳血流データ３０６を取得してもよい。

健常者による訓練における脳血流データを取得することによって、データ演算部１３２は、発話において理想的な脳血流の変化量を取得できる。そして、データ演算部１３２は、より正確に脳活性度を算出することができる。

ステップ５２２の後、データ演算部１３２は、データ記憶部１０１から取得した脳血流データ３０６と、今回の訓練における脳血流データとに基づいて、今回の訓練の脳活性度を算出する。

データ演算部１３２は、例えば、取得した脳血流データ３０６から、脳血流の増加量の過去の最大値を抽出する。そして、データ演算部１３２は、抽出した過去の最大値によって、今回の訓練における脳血流データが示す脳血流の変化量を除算した結果を、脳活性度として算出する。

そして、データ演算部１３２は、算出された脳活性度（脳活性度２１０に相当）と、前述の発話点数とを表示する画像データを生成する。そして、データ演算部１３２は、出力部１３０及びディスプレイ１０４に、生成した画像データを結果画像２０６として表示させる（５２３）。また、データ演算部１３２は、算出した脳活性度を、データ記憶部１０１の今回の訓練を示すエントリの脳活性度３０７に格納する。結果画像２０６における脳活性度２１０は、１０段階又は５段階などの、大まかなバーグラフによって表示されてもよい。

ステップ５２３は、図３に示すステップ５１５に対応する。

ステップ５２３の後、データ演算部１３２は、訓練者１１０自身の過去の訓練における少なくとも一つの脳活性度を、データ記憶部１０１の訓練情報３００から取得する。また、データ演算部１３２は、ステップ５１３及びステップ５１４において算出した発話点数（今回の訓練における発話点数）、並びに、訓練者１１０の過去の訓練において算出された発話点数を、データ記憶部１０１の訓練情報３００から取得する（５２４）。

なお、データ演算部１３２は、ステップ５１５の後に、ステップ５２４を実行する。

ステップ５２４において取得されたデータに基づいて、データ演算部１３２は、今回の訓練における脳活性度が過去の訓練における脳活性度より上がったか否か、及び、今回の訓練における発話点数が過去の訓練における発話点数より上がったか否かを判定する（５２５）。

今回の訓練における発話点数及び脳活性度の両方が、過去の訓練における発話点数及び脳活性度より上がっている場合、訓練者にとって、今回までの訓練が効果を上げている。このため、データ演算部１３２は、次回の訓練の難易度に、今回と同じ難易度を決定する（５２７）。

一般的に、同じ訓練を続けていった場合、脳の活動量（脳活性度）が増加していくことが知られている。そして、このように、訓練の繰り返しに従って脳活性度が上がっていく場合、その訓練は効果が上がっていることが知られている。このため、図７に示すデータ演算部１３２は、次回の訓練の難易度を今回の訓練の難易度と同じにする。

しかし、訓練をさらに繰り返した後、脳活性度が変化しない、又は、低下する場合、訓練者１１０が訓練に慣れてしまい、訓練の効果がなくなっていることが知られている。このため、図７に示すデータ演算部１３２は、次回の訓練の難易度を今回の訓練の難易度と異なる難易度に決定する。

具体的には、ステップ５２５において、今回の訓練における発話点数及び脳活性度のうち少なくとも一つが、過去の訓練における発話点数又は脳活性度以下であると判定された場合、データ演算部１３２は、次回の訓練の難易度を今回の難易度とは異なる難易度に決定する（５２６）。なお、データ演算部１３２は、今回の訓練における発話点数及び脳活性度と、過去の訓練における発話点数又は脳活性度との差が、各々の所定の量以下であり、ほとんど差がないと、ステップ５２５において判定できる場合、ステップ５２６を実行してもよい。

ここで、データ記憶部１０１は、過去の発話点数及び脳活性度からの変化に従って決定される難易度に関する情報を保持し、データ演算部１３２は、この難易度に関する情報を参照して難易度を決定してもよい。

ステップ５２８又はステップ５２６の後、データ演算部１３２は、決定された難易度にしたがって、次回の訓練内容を決定する（５２８）。ここで、データ記憶部１０１は、難易度と訓練内容との対応を示す情報を保持し、データ演算部１３２は、難易度と訓練内容との対応を示す情報を参照して難易度を決定してもよい。

ステップ５２８の後、データ演算部１３２は、図７に示す処理を終了する（５２９）。出力部１３０は、決定した次回の訓練の難易度、又は、決定した次回の訓練内容を、ディスプレイ１０４に表示してもよいし、プリンタが接続されている場合、プリンタを介して訓練内容が記載された紙を出力してもよい。

また、データ演算部１３２は、決定した次回の訓練の難易度、又は、決定した次回の訓練内容と、訓練者１１０に関する訓練者情報とを、データ記憶部１０１に格納してもよい。そして、データ処理部１００は、ステップ５０１において訓練者情報が入力された場合、入力された訓練者情報とデータ記憶部１０１とに基づいて、実行すべき訓練の難易度又は訓練内容を取得してもよい。

図８は、実施例１の気分指数を算出し、次回の訓練の難易度を決定する処理を示すフローチャートである。

図８に示す処理が実行される場合、発話訓練システム１０は、図８に示すステップ５３１〜ステップ５３７と並行して、図７に示すステップ５１８からステップ５２４までを実行する。そして、データ演算部１３２は、図７に示すステップ５２５を図８に示すステップ５３８において実行する。

図３に示すステップ５０１において訓練が開始した後、生体信号処理部１０２の測定部１３３は、訓練者１１０の脳波及び心拍など生体信号の測定を開始する（５３１）。生体信号処理部１０２が唾液中のストレスホルモン濃度を測定する小型分析装置と接続される場合、ステップ５３１において、測定部１３３は、訓練者１１０の唾液中のストレスホルモン濃度を、小型分析装置を介して受け付ける。

また、唾液中のストレスホルモン濃度を測定する場合、出力部１３０は、ステップ５３１において、唾液がついたチップを小型分析装置に挿入するような指示を、ディスプレイ１０４に表示してもよい。

さらに、出力部１３０は、ステップ５３１において、発話開始前における訓練者１１０の生体信号が十分に測定された後に、図３に示すステップ５０２を実行してもよい。これは、出力部１３０が、生体信号処理部１０２に、発話開始前のリラックスした状態における訓練者１１０の生体信号を測定させるためである。

また、ここで出力部１３０は、ステップ５３１が実行される間、訓練者１１０がリラックスするような、又は、訓練者１１０のモチベーションが上がるような画像又は音楽を、訓練者１１０に提供してもよい。

図３に示すステップ５０２、５０３及び５０５が実行され、ステップ５０４において訓練者１１０が発話し、訓練者１１０による発話が終了した場合（５３２）、生体信号処理部１０２の測定部１３３は、生体信号の測定を終了する（５３３）。測定部１３３は、訓練者１１０による発話が終了したことをデータ処理部１００から通知された場合、生体信号の測定を終了してもよいし、訓練者１１０によって終了の指示が入力された場合、生体信号の測定を終了してもよい。

ステップ５３３の後、生体信号処理部１０２の演算部１３４は、測定された生体信号に含まれる脳波又は心拍にフーリエ変換（ＦＦＴ）等の解析を行うことによって、測定した生体信号の周波数及び強度等の測定値を含む生体データを生成する（５３４）。また、演算部１３４は、唾液中のストレスホルモン濃度の測定値を含む生体データを生成する。

ここで、生体データは、発話中又は発話終了後に測定された生体信号の測定値を含む。また、生体データは、後述する気分指数を算出するために必要な測定値を含む。

ステップ５３４において、演算部１３４は、生成した生体データをデータ処理部１００に送信する。

ステップ５３４の後、データ演算部１３２は、生体信号処理部１０２から送信された生体データに基づいて、訓練者１１０が訓練に適する気分であるか否かを示す気分指数を算出する（５３５）。

実施例１の気分指数とは、ストレス、緊張、又は、リラックス等の気分及び精神状態の指標の程度を定量的に評価し、評価結果に基づいて算出される指数である。そして、実施例１の気分指数は、各々の気分の指標が訓練に対してポジティブであるか、ネガティブであるかに基づいて算出される。

また、実施例１の気分指数は、標準的な生体信号と訓練者１１０の生体信号との差に基づいて算出され、訓練によって受ける訓練者１１０の生体信号の変化及び気分の変化を示す。

データ演算部１３２は、標準的な生体信号の測定値と、発話終了後又は発話中の測定結果に基づく測定値とを比較することによって、気分指数を算出する。標準的な生体信号の測定値とは、安静状態における人の生体信号の測定値であり、あらかじめ与えられる値である。以下において、データ演算部１３２が、標準的な生体信号の測定値を用いて、気分指数を算出する例を示す。

データ演算部１３２は、標準的な生体信号の測定値と、発話終了後又は発話中の測定結果に基づく測定値との差、及び、評価情報３２０に基づいて、ストレス、緊張度及びリラックス等の各々の指標について評価値を算出し、算出した評価値に基づいて気分指数を算出してもよい。

例えば、ステップ５３５において、データ演算部１３２は、標準的な生体信号の測定値と、発話終了後の測定結果に基づく測定値とを比較し、発話終了後における心拍、脳波、及び、唾液中のストレスホルモン濃度等の測定値の各々が安静時と比較して増えたか否かを各々判定する。

そして、データ演算部１３２は、各々の測定値の増減と図９に示す評価情報３２０とに従って、ストレス、緊張、集中度及びリラックス等の各々の気分評価値を算出する。

図９は、実施例１の評価情報３２０を示す説明図である。

評価情報３２０は、生体信号の変化に対応する人間の気分状態及び精神状態の変化を示す。評価情報３２０は、心理学的及び生理学的な方法によりあらかじめ生成された情報である。評価情報３２０を用いることによって、データ演算部１３２は、生体信号の測定値から気分状態の変化を示す気分指数を算出できる。

評価情報３２０は、生体信号種類３２１、変動パラメータ３２２及び指標評価３２３を含む。生体信号種類３２１は、生体データに含まれる測定値の生体信号の種類を示す。変動パラメータ３２２及び指標評価３２３は、生体データに含まれる測定値の増減と指標の値の増減との関係を示す。

例えば、評価情報３２０における変動パラメータ３２２が「脈拍増」を示し、かつ、指標評価３２３が「緊張増」を示しており、さらに、安静時における心拍数よりも発話終了後に測定された心拍数が増加している場合、データ演算部１３２は、ステップ５４０において「緊張」の指標にプラス１を加算する。

また、一般的に、心拍の波形から得られる心拍変動の低周波成分が増えた場合、訓練者１１０はストレスを感じており、心拍変動の高周波成分が増えた場合、訓練者１１０はリラックスしていると言われる。このため、データ演算部１３２は、高周波成分及び低周波成分の心拍変動の増減を判定することによって、訓練者１１０がストレスを感じているかリラックスしているかを判定できる。

なお、生体信号処理部１０２の演算部１３４が、ステップ５３４において、生体信号として測定された心拍の波形にＦＦＴ演算等を行うことによって、心拍変動を生成し、データ演算部１３２がステップ５３５において心拍変動の増減を判定する。

また、一般的に、周波数８〜１３Ｈｚのアルファ波が脳波に発生した場合、訓練者１１０はリラックスしており、周波数１４Ｈｚ以上のベータ波が脳波に発生した場合、訓練者１１０は集中していると言われる。このため、データ演算部１３２は、脳波においてこれらの波が発生する割合を検出することによって、訓練者１１０がリラックスしているか集中しているかを判定できる。

また、一般的に、唾液に含まれるホルモンのうち、アミラーゼ又はコルチゾール等のストレスホルモンが増加した場合、訓練者１１０はストレスを感じていると言われる。また、訓練者１１０の発汗量が増えた場合、訓練者１１０は緊張しており、訓練者１１０の筋電位が増加した場合、訓練者１１０は緊張していることが一般的に言われる。このように、生体信号と気分状態とは深く関係する。

実施例１における生体信号は、主に、心拍、脳波及び唾液中ストレスホルモンを含むが、測定された生体信号には、前述の発汗量又は筋電位等の、他の種類の生体信号が含まれてもよい。そして、データ演算部１３２は、これらの生体信号の測定値を用いて、気分評価値を求める。

そして、データ演算部１３２は、各指標の気分評価値から気分指数を算出する。例えば、リラックスと集中との気分評価値が高いほど、訓練に適した気分であるとあらかじめ定められる場合、データ演算部１３２は、リラックスと集中との気分評価値の絶対値にプラス１を乗算する。また、ストレスと緊張との気分評価値が高いほど、訓練に適さない気分であるとあらかじめ定められる場合、データ演算部１３２は、ストレスと緊張との気分評価値の絶対値にマイナス１を乗算する。この後、データ演算部１３２は、各指標のすべての気分評価値の合計を算出する。そして、データ演算部１３２は、算出した合計値を、気分指数として取得する。

この場合、データ演算部１３２は、重視する指標を強調するため、指標の各々に重みづけしてもよい。例えば、訓練者１１０がリラックスしないと訓練の効率が上がらないという特性をあらかじめ保持する場合、データ演算部１３２は、リラックスの指標を集中の指標の２倍にして、合計値を算出してもよい。

また、訓練者１１０がストレスを感じた状態において訓練の効率をあげられるという特性をあらかじめ保持する場合、データ演算部１３２は、ストレスの指標に他の重みより低い重みを乗じ、ストレスの評価をプラスとして合計値を算出してもよい。

そして、データ演算部１３２は、ステップ５３５において、算出した気分指数及び気分評価値を、データ記憶部１０１の今回の訓練を示すエントリの気分指数３０８及び気分評価値３０９に格納する。なお、前述のように、気分評価値にプラス１を乗算する指標又はマイナス１を乗算する指標は、任意に変更されてよい。

ステップ５３５の後、データ演算部１３２は、最も訓練に適した気分指数３０８を含む訓練情報３００の過去のエントリから、気分指数を取得する（５３６）。ここで、最も訓練に適した気分指数とは、例えば、プラスの値であり、かつ、絶対値が最も大きい気分指数である。データ演算部１３２は、もっとも訓練に適した気分指数３０８を過去のエントリから取得することによって、訓練者１１０の気分状態が訓練に適するか否かを、客観的に判定できる気分指数割合を算出できる。

なお、データ演算部１３２は、発話開始前に測定した生体信号に基づく生体データを生体信号処理部１０２の演算部１３４から取得し、発話開始前の気分指数を算出してもよい。そして、データ演算部１３２は、算出した発話開始前の気分指数を、ステップ５３６において取得してもよい。これによって、データ演算部１３２は、訓練の結果訓練にたいしてポジティブな気分になったか、ネガティブな気分になったかを示す気分指数割合を算出することができる。

また、データ演算部１３２は、ステップ５３６において、今回の訓練の条件と同じ又は対応する条件の訓練における気分指数であり、かつ、最も大きい値の気分指数を、訓練情報３００の気分指数３０８から取得してもよい。

ステップ５３６の後、データ演算部１３２は、ステップ５３６において取得した気分指数の値によって訓練者１１０の気分指数３０８を除算することによって、気分指数の割合を算出する。そして、データ演算部１３２は、算出した気分指数の割合（気分指数２１１に相当）と、前述の発話点数及び脳活性度とを表示するための画像データを生成し、生成した画像データを、結果画像２０６として、出力部１３０及びディスプレイ１０４に表示させる（５３７）。気分指数２１１は、１０段階又は５段階などの、大まかなバーグラフでもよい。

ステップ５３７は、図３に示すステップ５１５に対応する。

ステップ５３７、ステップ５２３及びステップ５１５が終了した後、データ演算部１３２は、図７に示すステップ５２４及び５２５を実行する。そして、データ演算部１３２は、今回の訓練における脳活性度が過去の訓練における脳活性度より上がったか否か、及び、今回の訓練における発話点数が過去の訓練における発話点数より上がったか否かを判定する（５３８）。

今回の訓練における発話点数及び脳活性度の両方が、過去の訓練における発話点数及び脳活性度より上がっている場合、データ演算部１３２は、次回の訓練の難易度に、今回と同じ難易度を決定する（５３９）。ステップ５３９は、ステップ５２７と同じである。

今回の訓練における発話点数及び脳活性度のうち少なくとも一つが、過去の訓練における発話点数又は脳活性度以下であると判定された場合、データ演算部１３２は、今回の訓練における気分指数を評価し、訓練者１１０の気分状態を評価する（５４０）。

ステップ５４０の後、データ演算部１３２は、発話点数３０５が所定の閾値よりも高いエントリであり、かつ、過去の日付３０４のエントリの気分指数３０８から、気分指数（以下、過去の気分指数）を取得する。

なお、実施例１において、発話点数３０５に複数の点数が含まれる場合、データ演算部１３２は、複数の点数の各々が所定の閾値より高い場合、発話点数３０５が所定の閾値より高いと判定してよい。また、データ演算部１３２は、今回の訓練における条件と同じ又は対応する条件を示すエントリから、過去の気分指数を取得してもよい。また、過去の気分指数が複数取得される場合、データ演算部１３２は、最も値が大きい気分指数を取得してもよい。

データ演算部１３２は、今回の訓練における発話点数が所定の閾値よりも高いか（第１の判定条件）、及び、今回の訓練における気分指数と、取得された過去の気分指数とが類似しているか（第２の判定条件）を判定する（５４１）。データ演算部１３２は、ステップ５４０において算出した気分指数と、取得された過去の気分指数との差が所定の範囲である場合、類似すると判定する。

第１の判定条件において、今回の訓練における発話点数が所定の閾値よりも高いと判定された場合、今回の訓練は、訓練者１１０にとって簡単である可能性が高い。また、第２の判定条件において、ステップ５４０において算出した気分指数と、取得された過去の気分指数とが類似する場合、今回の訓練者１１０は、訓練の効果があった過去の訓練者１１０と同じ程度の気分状態及び精神状態であり、訓練の効果がある状態である。

このため、今回の訓練における発話点数が所定の閾値よりも高く、かつ、今回の訓練における気分指数と、取得された過去の気分指数とが類似する場合、データ演算部１３２は、訓練者１１０が、十分に訓練に熟練したため、負荷がかからずに楽に訓練できるようになったと判定し、次回の訓練の難易度を今回よりも高い難易度に決定する（５４４）。

今回の訓練における発話点数が所定の閾値以下であり、今回の訓練における気分指数と、取得された過去の気分指数との差が所定の範囲内ではない場合、データ演算部１３２は、ステップ５４２及びステップ５４３において、気分評価値に含まれる複数の指標に基づいて、次回の訓練の難易度を決定する。

ステップ５４２において、データ演算部１３２は、今回の訓練において算出された気分評価値に含まれるストレスの気分評価値が、所定の閾値よりも高いか否かを判定する（５４２）。ストレスの指標が、所定の閾値以下である場合、訓練者１１０にはストレスがかかっておらず、訓練に集中できていない可能性がある。このため、データ演算部１３２は、次回の訓練の難易度に今回と同じ難易度を決定する（５４５）。

ステップ５４２において、ストレスの指標が、所定の閾値より高いと判定された場合、データ演算部１３２は、気分評価値の中の集中度の指標が、所定の閾値より高いか否かを判定する（５４３）。集中度の指標が所定の閾値より高く、集中力があると判定される場合、データ演算部１３２は、次回の訓練の難易度に低いレベルを決定する（５４６）。

集中度の指標が所定の閾値以下であり、集中力がないと判定される場合、データ演算部１３２は、例えば休憩の指示を、出力部１３０及びディスプレイ１０４に表示させる（５４７）。また、データ演算部１３２は、ステップ５４７において、例えばリラックスできるような映像又は音楽などを、出力部１３０に出力させ、訓練者１１０の気分を変えさせてもよい。

ステップ５４４、５４５、５４６又は５３９の後、データ演算部１３２は、決定した難易度にしたがって、次回の訓練内容を決定し（５４８）、図８に示す処理を終了する。

なお、データ演算部１３２は、ステップ５４２及び５４３のいずれを先に実行してもよい。また、データ演算部１３２は、ステップ５４２及び５４３の少なくとも一方のみを実行してもよい。

また、訓練者１１０の性質によって、訓練に適する気分である時に、気分評価値が高まる指標は異なる。例えば、訓練者１１０が、ストレスが強い（ストレスの気分評価値が高い）ほうが訓練の効率が上がる場合、個人の性質に合わせて、ステップ５４２における判定の結果実行する処理を最適化してもよい。具体的には、ストレスの指標が所定の閾値より高いとステップ５４２において判定された場合、データ演算部１３２は、ステップ５４５において、次回の訓練の難易度に今回と同じ難易度を決定してもよい（５４５）。

また、発話点数、脳活性度及び気分指数の各々に重要度を割り当て、次回の訓練の難易度を決定するための判定を、データ演算部１３２は、重要度に従った順番によって実行してもよい。具体的には、発話点数に最も高い重要度が割り当てられる場合、データ演算部１３２は、発話点数を用いて次回の訓練の難易度を決定する処理を、最初に実行してもよい。このように、次回の訓練の難易度を決定する処理は、訓練者１１０の性質に合わせて、定められてもよい。

図８に示す処理において、データ演算部１３２は、訓練者１１０の脳活性度が変化しない又は低下する場合において、気分指数が示す訓練者１１０が訓練に適する気分であったか否かに基づいて、次回の訓練の難易度及び訓練内容を決定する。すなわち、訓練者１１０が一つの難易度における訓練に熟練しており、訓練の効果がなくなった場合、データ演算部１３２は、訓練における気分に従って次回の訓練の難易度等を決定する。

これによって、データ演算部１３２は、発話点数、脳活性度及び気分指数に基づいて、次回の訓練の難易度等を決定することにより、訓練者１１０に対する訓練の効果及び訓練により影響された精神状態に沿った次回の訓練の内容を決定できる。この結果、訓練者１１０は、より適切な訓練を受けることができ、実施例１の発話訓練システムは、訓練者１１０の発話の能力を効率的に向上させることができる。

図１０は、実施例１の結果画像２０６の他の例を示す説明図である。

出力部１３０は、算出された気分評価値を、結果画像２０６に表示してもよい。図１０に示す結果画像２０６は、評価２０７、お話し上手２０８、発音上手２０９及び脳活性度２１０の他、気分評価値２１２を含む。気分評価値２１２は、リラックス、集中及びストレスなどの各指標を、各々を表現するバーグラフによって表示する。

なお、データ演算部１３２は、気分評価値の指標の各々に、重要度を示す重みを割り当て、指標に割り当てた重みを乗じた結果を、気分評価値２１２として出力部１３０に表示させてもよい。

さらに、図３、図７及び図８の処理は、訓練終了後に算出した発話点数、脳活性度及び気分評価値によって、次回の訓練の難易度を決定する。図１１に示す処理は、発話開始前に測定した生体信号に基づく気分評価値と過去の気分評価値とに基づいて、発話開始前に今回実行する訓練の難易度を決定する。

図１１は、実施例１の発話開始前に難易度を決定する処理を示すフローチャートである。

図１１に示す処理において、発話開始前に生体信号を測定し、気分評価値を算出する。そして、算出した気分評価値と過去の気分評価値との比較に基づいて、今回の気分状態と同じ気分状態であり、かつ、訓練の効果が高かった時の難易度を、今回の訓練の難易度に決定する処理を示す。

図３に示すステップ５０１において訓練が開始した場合、図１１に示す処理が開始される。生体信号処理部１０２の測定部１３３は、ステップ５３１と同じく、訓練者１１０の脳波及び心拍など生体信号の測定を開始する（５５１）。なお、図１１に示す処理が実行された場合、ステップ５５１〜５５７の間、出力部１３０は、教師画像２０１を表示しない。

ステップ５５１の後、生体信号処理部１０２の演算部１３４は、発話開始前に測定した生体信号にフーリエ変換（ＦＦＴ）などの解析処理を行い、生体データを生成する（５５２）。

データ演算部１３２は、生体信号処理部１０２から生体データを受信した場合、受信した生体データに含まれる測定値に基づいて、気分指数を算出する（５５３）。ステップ５５３における気分指数の算出方法は、ステップ５３４の処理と同じである。

データ演算部１３２は、データ記憶部１０１に格納される過去の気分指数を取得する（５５４）。ステップ５５４において、データ演算部１３２は、具体的には、発話点数３０５が第１の閾値以上であるか、又は、脳活性度３０７が第２の閾値以上であるエントリを取得する。取得したエントリは、効果が高い訓練を示す。

さらに、データ演算部１３２は、今回の訓練者１１０を含むすべての訓練者１１０、及び、健常者（又は言語熟達者）による訓練を示す訓練情報３００のエントリから、効果が高い訓練を示すエントリを取得してもよい。

また、今回の訓練者１１０は、ストレスが低い時のほうが訓練の効果が高いなどの、訓練者１１０の固有の特性を有することがあらかじめ判明している場合、データ演算部１３２は、今回の訓練者１１０自身の過去の訓練を示すエントリから、効果が高い訓練を示すエントリを取得してもよい。

これによって、データ演算部１３２は、訓練の効果が高い時の気分指数を含むエントリを取得できる。そして、後述するステップ５５５以降の処理を実行することによって、今回の気分状態に近い気分状態に行った訓練であり、かつ、効果が高かった訓練と同じ訓練の内容を、訓練者１１０に訓練させることによって、訓練者１１０を訓練に適する気分状態に導くことができる。

ステップ５５４の後、データ演算部１３２は、取得したエントリから、ステップ５５３において算出された気分指数に最も近い気分指数を含むエントリを特定し、特定したエントリの難易度３０３を、今回の訓練の難易度３０３に決定する。そして、データ演算部１３２は、決定した難易度３０３に従って、今回の訓練の訓練内容を決定する（５５５）。

ステップ５５５までの処理において、発話訓練システムは、発話を開始する前の測定結果によって算出された気分指数に基づいて訓練の内容を決定するため、訓練者１１０の気分と近い気分の状態において、訓練の効果が高い訓練の内容を今回の訓練内容に決定するため、訓練者１１０の能力を効率的に向上させることができる。

ステップ５５５の後、脳活動処理部１０３の測定部１３５は、脳血流の測定を開始する（５５６）。ステップ５５６の後、ステップ５０２〜ステップ５０６が実行される（５５７）。ステップ５５７の後、測定部１３５は、脳血流の測定を終了し、生体信号処理部１０２の測定部１３３は、生体信号の測定を終了する（５５８）。

ステップ５５８の後、生体信号処理部１０２の演算部１３４は、発話開始前及び発話中又は発話終了後に測定した生体信号にフーリエ変換（ＦＦＴ）などの解析処理を行い生体データを生成する（５５９）。データ演算部１３２は、ステップ５５９において、生体データを生体信号処理部１０２から受信する。

ステップ５５９の後、データ演算部１３２は、生体データに基づいて、気分指数を算出する。データ演算部１３２は、算出した気分指数及び気分評価値を、今回の訓練を示すエントリの気分指数３０８及び気分評価値３０９に格納する。また、脳活動処理部１０３の演算部１３６は、測定結果に基づいて、訓練者１１０の脳血流データを生成し、生成した脳血流データを訓練情報３００の脳血流データ３０６に格納する（５６０）。

ステップ５６０の後、データ演算部１３２は、過去の訓練における脳血流データ３０６及び気分指数３０８を、訓練情報３００から取得する（５６１）。ステップ５６１の処理は、図７に示すステップ５２２及び図８に示すステップ５３６に相当する。

ステップ５６１の後、データ演算部１３２は、過去の訓練における脳血流データ３０６及び気分指数３０８と、今回の訓練における脳血流データ及び気分指数とに基づいて、気分指数の割合い、及び、脳活性度を算出する。そして、出力部１３０は、算出された気分指数の割合い、及び、脳活性度を結果画像２０６に表示する（５６２）。ステップ５６２の処理は、図７に示すステップ５２３及び図８に示すステップ５３７に相当する。

ステップ５６２の後、データ処理部１００は、図１１に示す処理を終了する（５６３）。

図１１における前述の処理は、過去の発話終了後に算出された気分指数と今回の発話開始前に算出された気分指数とに基づいて、今回の訓練の難易度及び訓練内容を決定した。しかし、データ演算部１３２は、あらかじめ保持する訓練者１１０の特性と、今回の訓練開始前の気分指数とに基づいて、今回の訓練の難易度及び訓練内容を決定してもよい。

具体的には、例えば、データ演算部１３２が、訓練者１１０はストレスがかかっていたほうが訓練の効果が上がるという、訓練者１１０の特性を保持する場合、データ演算部１３２は、ステップ５５５において、算出した今回の発話開始前のストレスの気分評価値が所定の値以下であるか否かを判定する。そして、発話開始前のストレスの気分評価値が所定の値以下である場合、データ演算部１３２は、訓練者１１０自身が前回まで受けていた訓練の中の最高の難易度よりもやや高い難易度を、今回の訓練の難易度に決定したり、標準的な訓練の難易度よりも高い難易度を、今回の訓練の難易度に決定したりしてもよい。

このように難易度を決定することによって、データ演算部１３２は、訓練者１１０にストレスをかけ、訓練者１１０を訓練の効果が高い気分状態にさせてもよい。そして、発話訓練システム１０は、訓練者１１０にとって最も訓練の効果が高いと見込まれる気分状態に、訓練者１１０が変化するように、訓練の難易度及び訓練内容を決定してもよい。

そして、実施例１の発明訓練システムは、このように訓練の難易度の決定によって訓練者１１０の気分状態を調整することによって、訓練者１１０により効果の高い訓練を行わせることができる。

また、データ演算部１３２は、発話開始前の気分指数に従って、出力部１３０の出力方法又は出力内容を変更してもよい。例えば、データ演算部１３２が、訓練者１１０はリラックスしているほうが訓練の効果が上がるという、訓練者１１０の特性を保持する場合、データ演算部１３２は、ステップ５５５において、算出した今回の発話開始前のリラックスの気分評価値が所定の値以下であるか否かを判定する。

そして、発話開始前のリラックスの気分評価値が所定の値以下である場合、データ演算部１３２は、教師画像２０１の表示のスピードを遅くしたり、励ましを示す音声又はテキストを出力したりするなどを出力部１３０に指示してもよい。これによって、データ演算部１３２が、訓練者１１０の発話開始前の気分状態に応じて訓練の内容を変更することにより、訓練者１１０はより効果の高い訓練を行うことができる。

実施例１によれば、結果画像２０６によって、訓練の結果を訓練者１１０にフィードバックし、訓練者１１０に訓練による効果を認識させることができる。このため、実施例１の発話訓練システムは、訓練者１１０に次の訓練の課題等を認識させ、次の訓練へのモチベーションを持たせることができ、次の訓練を前向きに楽しく受けさせることができる。

また、結果画像２０６が出力される際に、発話点数、脳活性度及び気分指数に従って、励まし又はほめる音声等が出力されるため、訓練者１１０は、楽しく訓練を続けることができる。

さらに、発話点数、脳活性度及び気分指数に基づいて、次回の訓練の難易度等を決定することにより、訓練者１１０は、より適切な訓練を受けることができ、実施例１の発話訓練システムは、訓練者１１０の発話の能力を効率的に向上させることができる。

また、発話開始前に算出された気分指数に基づいて、訓練の内容又は訓練の内容の出力方法等を変更することによって、実施例１の発話訓練システムは、訓練者１１０の気分に適切に従った訓練を行うことができ、訓練の効果を上げることができる。

実施例２において、発話訓練システムは、見学者に訓練の状況を見学させ、見学の結果を訓練者１１０に出力することによって、訓練者１１０のモチベーションを上げさせる。

図１２は、実施例２の発話訓練システム２０を示す説明図である。

実施例２の発話訓練システム２０は、訓練者１１０以外の第三者である見学者１２０の脳活動及び生体信号を測定し、測定結果を訓練者１１０に提供する。

実施例２の発話訓練システム２０は、実施例１の発話訓練システム１０と同様に、データ処理部１００、データ記憶部１０１、生体信号処理部１０２、脳活動処理部１０３、信号線１１９、ディスプレイ１０４、信号線１１３、カメラ１０５、信号線１１４、スピーカ１０６、信号線１１５、マイク１０７、ヘッドバンド１０８、心拍測定用電極１０９、光ファイバ１１６、信号線１１７、及び、信号線１１８を含む。

しかし、実施例２のヘッドバンド１０８及び心拍測定用電極１０９が、見学者１２０によって装着される点において、実施例１のヘッドバンド１０８及び心拍測定用電極１０９と相違する。また、発話訓練システム２０は、ヘッドフォン１２１をさらに有する。

ヘッドフォン１２１は、訓練者１１０による発話等の訓練者１１０に起因する音声を、見学者１２０が聞くための装置である。ヘッドフォン１２１は、信号線１２２によってデータ処理部１００と接続される。

実施例２のデータ処理部１００は、実施例１と同じく、出力部１３０、訓練認識部１３１及びデータ演算部１３２を有し、さらに、見学用出力部１３７を有する。見学用出力部１３７は、ヘッドフォン１２１と接続し、訓練認識部１３１により取得された録音データを、ヘッドフォン１２１を用いて出力する。

実施例２のデータ記憶部１０１は、訓練情報３００と異なり、訓練情報３３０を有する。訓練情報３３０は、訓練情報３００と同様の項目を有するが、脳血流データ３０６、脳活性度３０７、気分指数３０８及び気分評価値３０９は、見学者１２０の生体信号及び脳血流データによって算出された値を格納する。

見学者１２０は、訓練者１１０の発話を聞き、又は、発話している訓練者１１０の顔を見る。発話訓練システム２０は、このときの見学者１２０の生体信号及び脳血流を測定する。これは、訓練者１１０による発話に対して見学者１２０が持つ感覚又は感情を、訓練者１１０又はオペレータに認識させることによって、訓練者１１０又はオペレータは、訓練者１１０の訓練の成果又は課題等を認識することができるためである。

発話開始前及び発話中、ディスプレイ１０４は、実施例１と同じく教師画像２０１を表示する。また、発話終了後、ディスプレイ１０４は、実施例１と同様に結果画像２０６を表示する。

しかし、実施例２の結果画像２０６は、見学者１２０の生体信号から算出された興味度、及び、見学者１２０の脳血流の増減から算出された脳活性度を表示する。訓練者１１０は、実施例２の結果画像２０６を参照することによって、自分の発話による見学者１２０の反応を認識することができる。

そして、訓練者１１０は、見学者１２０の反応を認識することによって、発話の課題を認識したり、発話に対する高い評価を受けたりすることができるため、次の訓練へのモチベーションを持つことができる。また、見学者１２０は人間であるため、実施例２の発話訓練システムは、訓練者１１０が実際に会話している状態により近い訓練を訓練者１１０に提供することが可能であり、臨場感のある訓練を提供できる。

見学者１２０は、訓練者１１０の顔が見える程度に、訓練者１１０の近くにいてもよい。この場合、訓練者１１０による発話が十分に聞き取れる場合、見学者１２０は、ヘッドフォン１２１を装着しなくてもよい。

また、見学者１２０は、訓練者１１０がいる部屋とは異なる部屋で、訓練者１１０による訓練中の録音データ又は録画データを視聴してもよい。この場合、訓練者１１０による訓練を録画した映像を視聴するためのディスプレイが、見学者１２０がいる部屋に設置されてもよい。

図１３は、実施例２の発話訓練システム２０の他の構成を示す説明図である。

図１３に示す発話訓練システム２０は、図１２に示す発話訓練システム２０と同様であるが、図１３に示す発話訓練システム２０がディスプレイ１２３を有する点において相違する。ディスプレイ１２３は、ネットワーク回線１２４を介してデータ処理部１００の見学用出力部１３７に接続される。

データ処理部１００の見学用出力部１３７は、訓練中にカメラ１０５が撮影した訓練者１１０の映像をディスプレイ１２３に送信し、ディスプレイ１２３に表示させる。これによって、訓練者１１０と見学者１２０とが遠隔にいても、訓練者１１０は訓練でき、見学者１２０は見学できる。

なお、実施例２の発話訓練システム２０は、見学者１２０を撮影するカメラ（不図示）を有してもよく、データ処理部１００は、見学者１２０の訓練中の表情を、訓練者１１０に表示してもよい。

図１４は、実施例２の脳活性度を算出する処理を示すフローチャートである。

図１４に示す処理は、見学者１２０の脳血流を測定してから、結果画像２０６に脳活性度を表示するまでの処理を示す。

図３に示すステップ５０１において訓練が開始した場合、図１４に示す処理が開始される。ステップ５０１の後、脳活動処理部１０３の測定部１３５は、見学者１２０の脳血流の測定を開始する（７０２）。

ステップ７０２の後、図３に示すステップ５０２、５０３及び５０５が実行され、ステップ５０４において訓練者１１０が発話し、訓練者１１０による発話が終了した場合（７０３）、脳活動処理部１０３の測定部１３５は、見学者１２０の脳血流の測定を終了する（７０４）。

脳活動処理部１０３の測定部１３５は、訓練者１１０による発話が終了したことをデータ処理部１００から通知された場合、脳血流の測定を終了してもよいし、訓練者１１０によって終了の指示が入力された場合、脳血流の測定を終了してもよい。

ステップ７０４の後、脳活動処理部１０３の演算部１３６は、ステップ５２１と同様に、見学者１２０の測定結果に基づいて脳血流データを生成する。そして、演算部１３６は、データ記憶部１０１の、今回の訓練を示すエントリの脳血流データ３０６に、生成した脳血流データを格納する（５２１）。また、ステップ５２１において、脳活動処理部１０３は、生成した脳血流データをデータ処理部１００に送信する。

ステップ７０６及び７０７は、ステップ５２２及び５２３と同じである。ステップ７０７の後、図１４に示す処理は終了する。

図１５は、実施例２の見学者１２０の興味度を算出する処理を示すフローチャートである。

図１５に示す処理は、見学者１２０の生体信号を測定した後、結果画像２０６に興味度を表示するまでの処理を示す。

図３に示すステップ５０１において訓練が開始した場合、図１４に示す処理が開始される。ステップ５０１の後、生体信号処理部１０２の測定部１３３は、見学者１２０の生体信号の測定を開始する（７１０）。

ステップ７０９の後、図３に示すステップ５０２、５０３及び５０５が実行され、ステップ５０４において訓練者１１０が発話し、訓練者１１０による発話が終了した場合（７１１）、生体信号処理部１０２の測定部１３３は、見学者１２０の生体信号の測定を終了する（７１２）。

生体信号処理部１０２の測定部１３３は、訓練者１１０による発話が終了したことをデータ処理部１００から通知された場合、生体信号の測定を終了してもよいし、訓練者１１０によって終了の指示が入力された場合、生体信号の測定を終了してもよい。

ステップ７１２の後、生体信号処理部１０２の演算部１３４は、ステップ５３４と同じく、測定した生体信号に含まれる脳波又は心拍にフーリエ変換（ＦＦＴ）等の解析処理を行うことによって、生体データを生成する（７１３）。演算部１３４は、生成した生体データをデータ演算部１３２に送信する。

ステップ７１３の後、データ演算部１３２は、ステップ５３５と同じく、送信された生体データに基づいて、気分指数及び気分評価値を算出する（７１４）。気分指数及び気分評価値を算出する方法は、図８に示すステップ５３５に示す方法と同じである。

そして、データ演算部１３２は、ステップ７１４において、算出した気分指数を、データ記憶部１０１の今回の訓練を示すエントリの気分指数３０８及び気分評価値３０９に格納する。

ステップ７１５及び７１６は、図８に示す５３６及び５３７と同様である。しかし、ステップ７１６において、出力部１３０は、算出された気分指数の割合を興味度として、結果画像２０６に表示する。

ステップ７１６の後、図１５に示す処理は終了する。

実施例２によれば、訓練者１１０の発話を聞いた時の見学者１２０の脳血流又は生体信号を測定し、訓練者１１０の発話に対する見学者１２０の反応を訓練者１１０にフィードバックすることによって、訓練者１１０にモチベーションを持たせることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除又は置換をすることが可能である。

また、上記の各構成、機能、処理部及び処理手順等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク若しくはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード若しくはＤＶＤ等の記録媒体に置くことができる。

また、制御線又は情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線又は情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

発話訓練又は言語学習のためのシステムに利用できる。

Claims (10)

1. ユーザに発話を訓練させる訓練システムであって、
   前記ユーザを訓練するため、前記発話の手本となる訓練内容を出力する教師出力部と、
   前記ユーザによる発話の音声を録音する音声認識部と、
   前記ユーザの口の動きを撮影するカメラ部と、
   前記ユーザの脳血流を測定する脳血流測定部と、
   前記ユーザの生体信号を測定する生体信号測定部と、
   前記訓練内容と、前記録音された音声及び前記撮影された口の動きの画像とに基づいて、前記発話の上手さを示す発話点数を算出する演算部と、を有し、
   前記演算部は、
   前記測定された脳血流に基づいて、前記ユーザの脳が働く程度を示す脳活性度を算出し、
   前記測定された生体信号に基づいて、前記訓練によって受ける前記ユーザの生体信号の変化を示す気分指数を算出し、
   前記算出した発話点数、脳活性度及び気分指数を表示するためのデータを生成することを特徴とする訓練システム。
2. 請求項１に記載の訓練システムであって、
   前記教師出力部は、難易度に従った訓練内容を出力し、
   前記訓練システムは、
   メモリを有し、
   前記発話点数、脳活性度及び気分指数を含む訓練情報を、前記メモリに保持し、
   前記演算部は、
   前記訓練システムによる過去の訓練において算出された発話点数、脳活性度及び気分指数を、前記訓練情報から取得し、
   前記取得した過去の訓練における発話点数、脳活性度及び気分指数と、前記算出した発話点数、脳活性度及び気分指数とに基づいて、前記ユーザによる次回の訓練の難易度を決定することを特徴とする訓練システム。
3. 請求項１に記載の訓練システムであって、
   前記教師出力部は、難易度に従った訓練内容を出力し、
   前記訓練システムは、
   メモリを有し、
   前記発話点数、脳活性度及び気分指数並びに前記難易度を含む訓練情報を、前記メモリに保持し、
   前記生体信号測定部は、前記ユーザが発話する前に、前記ユーザの生体信号を測定し、
   前記演算部は、
   前記発話する前に測定された生体信号に基づいて、前記ユーザが発話する前に前記気分指数を算出し、
   前記訓練システムによる過去の訓練において算出された発話点数又は脳活性度及び気分指数並びに難易度を、前記訓練情報から取得し、
   前記取得した発話点数又は脳活性度及び気分指数と、前記発話する前に算出した気分指数とに基づいて、前記取得した発話点数が第１の閾値以上であるか、又は、前記取得した脳活性度が第２の閾値以上であり、かつ、前記取得した気分指数が前記発話する前に算出した気分指数に最も近い前記過去の訓練の難易度を、前記訓練の難易度に決定することを特徴とする訓練システム。
4. 請求項３に記載の訓練システムであって、
   前記訓練情報は、前記発話する前の前記ユーザによる前記過去の訓練において算出された発話点数又は脳活性度及び気分指数並びに難易度を保持し、
   前記演算部は、前記発話する前のユーザによる過去の訓練において算出された発話点数又は脳活性度及び気分指数並びに難易度を、前記訓練情報から取得することを特徴とする訓練システム。
5. 請求項１に記載の訓練システムであって、
   スピーカ及びディスプレイを有し、
   前記教師出力部は、前記訓練内容として、前記発話の手本となる教師音声及び前記発話の手本となる口の動きの画像を、前記スピーカ及びディスプレイを用いて出力することを特徴とする訓練システム。
6. 請求項１に記載の訓練システムであって、
   前記生体信号測定部は、前記ユーザの脳波、心拍、又は、ストレスホルモンを示す生体信号を測定し、
   前記演算部は、前記ユーザの脳波、心拍、又は、ストレスホルモンを用いて、前記ユーザがリラックスしているか、緊張しているかを示す前記気分指数を算出することを特徴とする訓練システム。
7. 請求項１に記載の訓練システムであって、
   前記演算部は、前記算出した発話点数、脳活性度及び気分指数に従って音声又は画像を定め、
   前記教師出力部は、前記定められた音声又は画像を出力することを特徴とする訓練システム。
8. ユーザに発話を訓練させる訓練システムであって、
   前記ユーザを訓練するため、前記発話の手本となる訓練内容を出力する教師出力部と、
   前記ユーザによる発話の音声を録音する音声認識部と、
   前記ユーザの口の動きを撮影するカメラ部と、
   前記ユーザの訓練を見学する見学者の脳血流を測定する脳血流測定部と、
   前記見学者の生体信号を測定する生体信号測定部と、
   前記訓練内容と、前記録音された音声及び前記撮影された口の動きの画像とに基づいて、前記発話の上手さを示す発話点数を算出する演算部と、を有し、
   前記演算部は、
   前記測定された脳血流に基づいて、前記見学者の脳が働く程度を示す脳活性度を算出し、
   前記測定された生体信号に基づいて、前記訓練によって受ける前記見学者の生体信号の変化を示す気分指数を算出し、
   前記算出した発話点数、脳活性度及び気分指数を表示するためのデータを生成することを特徴とする訓練システム。
9. 請求項８に記載の訓練システムであって、
   前記ユーザに訓練の結果を表示するディスプレイを有し、
   前記教師出力部は、前記ユーザによる発話が終了した後、前記生成したデータを用いて、前記算出した発話点数、脳活性度及び気分指数を、前記ディスプレイに表示することを特徴とする訓練システム。
10. 請求項８に記載の訓練システムであって、
    ネットワークを介して見学用ディスプレイと接続する見学用出力部を有し、
    前記見学用出力部は、前記撮影された口の動きの画像を、前記見学用ディスプレイに出力させることを特徴とする訓練システム。

Images