JP6306071B2 - 推定装置、推定プログラム、推定装置の作動方法および推定システム - Google Patents

Description

本発明は、被験者の健康状態を推定する推定装置、推定プログラム、推定装置の作動方法および推定システムに関する。

人の脳の活動（すなわち、人の感情状態あるいは心身状態）は、人が発話する音声に現れることが知られている。例えば、人が発話した音声の信号からピッチ周波数等を算出し、ピッチ周波数等と感情状態との対応関係を示す情報と、算出したピッチ周波数等のパラメータとに基づいて、人の感情状態（あるいは心身状態）を推定する技術が提案されている（例えば、引用文献１参照）。

国際公開第２００６／１３２１５９号

ピッチ周波数等のパラメータと感情状態との対応関係は、様々な状況や場面において発話された音声のサンプルデータを用いて、複数の人の各々に、各サンプルデータの音声を発話した人の感情状態（例えば、喜びや怒り等）を判定させることで生成される。すなわち、ピッチ周波数等のパラメータと感情状態との対応関係の生成には、可能な限り多くのサンプルデータを予め用意し、サンプルデータ毎に発話した人の感情状態を、複数の人それぞれに判定させることから、時間が掛かってしまう。また、複数の人それぞれが人の感情状態を主観的に判定することにより、ピッチ周波数等のパラメータと感情状態との対応関係に基づいて推定される感情状態あるいは心身状態は、客観性に欠けることがある。

また、生成された対応関係には、パラメータから感情状態を推定するための様々な閾値が設定されている。しかしながら、設定される閾値は、音声のデータに含まれるノイズや、音声のデータに対するダウンサンプリング等の処理による音質の劣化に対して、影響を受けやすいという問題がある。

一つの側面では、本件開示の推定方法、推定プログラム、推定装置および推定システムは、ピッチ周波数等のパラメータと感情状態との対応関係を示す情報を予め用意することなく、従来と比べて容易に被験者の心身状態を推定できる技術を提供することを目的とする。

一つの観点による推定装置は、被験者が発話した音声データを用いて複数の特徴量を算出して、算出した複数の特徴量のうち、他の特徴量との相関が無い、あるいは他の特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの特徴量を決定する第１算出部と、第１算出部が決定した特徴量に基づいて被験者における心身状態を示す度合いを算出する第２算出部と、第２算出部が算出した度合いに基づいて被験者における心身状態を推定する推定部とを有する。

別の観点による推定プログラムは、被験者が発話した音声データを用いて複数の特徴量を算出して、算出した複数の特徴量のうち、他の特徴量との相関が無い、あるいは他の特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの特徴量を決定し、決定した特徴量に基づいて被験者における心身状態を示す度合いを算出し、算出した度合いに基づいて被験者における心身状態を推定する処理をコンピュータに実行させる。

別の観点による推定装置の作動方法は、被験者の心身状態を推定する推定装置の作動方法において、被験者が発話した音声データを用いて複数の特徴量を算出して、算出した複数の特徴量のうち、他の特徴量との相関が無い、あるいは他の特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの特徴量を決定し、決定した特徴量に基づいて被験者における心身状態を示す度合いを算出し、算出した度合いに基づいて被験者における心身状態を推定する。

別の観点による推定システムは、被験者が発話した音声データを取得する取得装置と、取得装置が取得した音声データを用いて複数の特徴量を算出して、算出した複数の特徴量のうち、他の特徴量との相関が無い、あるいは他の特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの特徴量を決定する第１算出部と、第１算出部が決定した特徴量に基づいて被験者における心身状態を示す度合いを算出する第２算出部と、第２算出部が算出した度合いに基づいて被験者における心身状態を推定する推定部とを含む推定装置とを有する。

本件開示の推定装置、推定プログラム、推定装置の作動方法および推定システムは、ピッチ周波数等のパラメータと感情状態との対応関係を示す情報を予め用意することなく、従来と比べて容易に被験者の心身状態を推定できる。

推定装置の一実施形態を示す図である。 推定装置の別の実施形態を示す図である。 図２に示した携帯通信端末を介して取得した音声データの一例を示す図である。 図２に示した第１算出部１０ａが算出した特徴量間における相関性を示す図である。 図４に示した特徴量間における相関性の続きを示す図である。 図２に示した推定システムにおける推定処理の一例を示す図である。

以下、図面を用いて実施形態について説明する。

図１は、推定装置および推定方法の一実施形態を示す。

図１に示した推定装置１００は、ＣＰＵ（Central Processing Unit）等の演算処理装置と、ハードディスク装置等の記憶装置とを有するコンピュータ装置等である。推定装置１００は、例えば、演算処理装置が記憶装置に記憶された推定プログラムを実行することにより、第１算出部１０、第２算出部２０および推定部３０として機能する。なお、第１算出部１０、第２算出部２０および推定部３０は、ハードウェアにより実現されてもよい。

第１算出部１０は、推定装置１００の記憶装置に記憶された被験者が発話した音声データ、あるいはスマートフォン等の携帯通信端末を介して取得した被験者の音声データを用いて、音声のピッチ周波数や音声の強度等を算出する。そして、第１算出部１０は、ピッチ周波数や音声の強度等の時間変化に基づいて、被験者の発話におけるピッチ周波数の検出頻度、および音声の強度の増加（または減少率）等を算出する。ピッチ周波数の検出頻度および音声の強度の増加率等は、音声の特徴量の一例である。

なお、第１算出部１０は、ピッチ周波数の検出頻度および音声強度の増加率（または減少率）の少なくとも１つを算出してもよい。

第２算出部２０は、算出したピッチ周波数の検出頻度等の特徴量に基づいて、被験者における心身状態を示す度合いを算出する。例えば、第２算出部２０は、算出したピッチ周波数の検出頻度および音声強度の増加率等を加算した値を、被験者の心身状態を示す度合い（以下、元気度とも称される）として算出する。なお、第２算出部２０は、ピッチ周波数の検出頻度あるいは強度の増加率等の少なくとも１つを、被験者の元気度としてもよい。また、第２算出部２０は、ピッチ周波数の検出頻度あるいは強度の増加率等を、重み付け加算した値を被験者の元気度としてもよい。

推定部３０は、算出した元気度に基づいて被験者における心身状態（例えば、うつ状態等か否か）を推定する。そして、推定装置１００は、推定部３０により推定された心身状態を示す情報を、外部の有機ＥＬ（Organic Electro-Luminescence）や液晶等のディスプレイに出力する。

なお、推定装置１００の構成および動作は、図１に示した例に限定されない。例えば、推定装置１００と、スマートフォン等の携帯通信端末と、有機ＥＬ等のディスプレイとを含めることで、推定システムとしてもよい。

以上、図１に示した実施形態では、推定装置１００は、被験者の音声データを用いて、被験者の発話におけるピッチ周波数の検出頻度、および音声の強度の増加率等の特徴量を算出し、算出した特徴量に基づいて被験者の心身状態を示す元気度を算出する。そして、推定装置１００は、算出した元気度に基づいて被験者の心身状態を推定する。これにより、推定装置１００は、ピッチ周波数等のパラメータと感情状態との対応関係を示す情報を予め用意することなく、従来と比べて容易に被験者の心身状態を推定できる。また、元気度は算出した特徴量に基づいて算出されることから、推定装置１００は、被験者の心身状態を客観的に評価することができる。また、推定装置１００は、ピッチ周波数等のパラメータと感情状態との対応関係を示す情報を用いないため、ノイズ等の音質劣化に対する耐性を有する。

図２は、推定方法、推定装置および推定システムの別の実施形態を示す。

図２に示した推定システムＳＹＳは、推定装置１００ａおよび携帯通信端末２００を有する。推定装置１００ａと携帯通信端末２００とは、有線または無線を介して接続される。なお、推定装置１００ａと携帯通信端末２００とは、ネットワークを介して接続されてもよい。

携帯通信端末２００は、携帯電話、スマートフォンあるいはタブレット型端末である。携帯通信端末２００は、携帯通信端末２００に含まれるマイクロホンを介して被験者ＰＡが発話する音声の信号を取得し、取得した信号を所定のサンプリング周波数（例えば、１１キロヘルツ等）でサンプリングすることでデジタル信号の音声データを生成する。そして、携帯通信端末２００は、生成した音声データを推定装置１００ａに送信する。また、携帯通信端末２００は、推定装置１００ａにより推定された結果を、携帯通信端末２００に含まれる有機ＥＬ等のディスプレイに表示する。携帯通信端末２００は、取得装置の一例である。

なお、携帯通信端末２００の代わりに、マイクロホンが、有線または無線を介して、推定装置１００ａに接続されてもよい。この場合、推定装置１００ａは、マイクロホンからの音声の信号を、所定のサンプリング周波数でサンプリングし、デジタル信号の音声データを生成してもよい。

推定装置１００ａは、ＣＰＵ等の演算処理装置と、ハードディスク装置等の記憶装置とを有するコンピュータ装置等である。推定装置１００ａは、例えば、演算処理装置が記憶装置に記憶された推定プログラムを実行することにより、第１算出部１０ａ、第２算出部２０ａおよび推定部３０ａとして機能する。なお、第１算出部１０ａ、第２算出部２０ａおよび推定部３０ａは、ハードウェアにより実現されてもよい。

なお、推定装置１００ａは、携帯通信端末２００において実現されてもよい。すなわち、携帯通信端末２００に含まれるＣＰＵが、携帯通信端末２００に含まれるメモリ等の記憶部に記憶された推定プログラムを実行することにより、携帯通信端末２００は、第１算出部１０ａ、第２算出部２０ａおよび推定部３０ａとして機能してもよい。

第１算出部１０ａは、携帯通信端末２００から取得した被験者ＰＡの音声データを用いて、音声のピッチ周波数や音声の強度等を算出する。そして、第１算出部１０ａは、算出したピッチ周波数や強度等の時間変化に基づいて、被験者ＰＡの発話におけるピッチ周波数の検出頻度、および音声強度の増加率等の音声の特徴量を算出する。なお、第１算出部１０ａの動作については、図３で説明する。

第２算出部２０ａは、第１算出部１０ａが算出したピッチ周波数の検出頻度等の特徴量に基づいて、被験者ＰＡにおける心身状態を示す度合い（元気度）を算出する。第２算出部２０ａの動作については、図４で説明する。

推定部３０ａは、第２算出部２０ａが算出した度合いに基づいて被験者ＰＡにおける心身状態を推定する。そして、推定装置１００ａは、推定部３０ａにより推定された心身状態を示す情報を携帯通信端末２００に出力し、携帯通信端末２００に含まれる有機ＥＬ等のディスプレイに表示させる。

図３は、図２に示した携帯通信端末２００を介して取得した音声データの一例を示す。図３（ａ）は、携帯通信端末２００を介して取得した被験者ＰＡが発話した音声の音圧の時間変化を示し、図３（ｂ）は、被験者ＰＡが発話した音声の強度の時間変化を示す。なお、図３の横軸は、時刻を示し、図３（ａ）の縦軸は、音声の音圧を示し、図３（ｂ）の縦軸は、音声の強度ＰＷを示す。音声の強度ＰＷは、音圧の二乗のことである。

図３は、被験者ＰＡによる発話の音声データのうち、“ありがとう”と発話した発話単位のデータを示す。時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４は、発話単位に含まれる“あ”、“り”、“が”、“と”、“う”の各語の発話の開始時刻を示す。なお、“ありがとう”の発話単位のうち、“り”の語を発話した音声データに対する第１算出部１０ａの算出処理について説明するが、第１算出部１０ａは、“ありがとう”の他の語および他の発話単位に対しても、同一または同様に、算出処理を実行する。

第１算出部１０ａは、例えば、携帯通信端末２００から取得した音声データを用いて、ピッチ周波数、強度およびゼロ点交差数等を、ウィンドウＷＤ毎に算出する。例えば、第１算出部１０ａは、取得した音声データを用いて、“ありがとう”等の発話単位のデータ毎に、ウィンドウＷＤの幅でＦＦＴ（Fast Fourier Transform）等のスペクトラム解析を実行し、パワースペクトルを算出する。第１算出部１０ａは、算出される音声の強度ＰＷの値が大きなばらつきを示す場合があるため、音声の強度ＰＷをウィンドウＷＤ毎に平均をとって算出する。すなわち、図３（ｂ）は、移動平均した音声の強度ＰＷの時間変化を示す。

また、第１算出部１０ａは、算出したパワースペクトルに対して自己相関の処理を実行し、算出した自己相関係数の分布において隣接する極大値（または極小値）間の周波数の間隔に基づいて、ピッチ周波数を算出する。さらに、第１算出部１０ａは、各ウィンドウＷＤの音声データにおいて、音声の波形の音圧が基準圧力（例えば、“０”とする）を横切る回数を、ゼロ点交差数として算出する。

なお、ウィンドウＷＤの幅は、例えば、５１２等のサンプル数を有し、第１算出部１０ａは、ウィンドウＷＤの幅の４分の１等の所定の間隔でウィンドウＷＤを移動させて、ピッチ周波数等を、各ウィンドウＷＤで算出する。すなわち、図３（ｂ）に示した時刻ｔ１、ｔ１１、ｔ１２、ｔ１３、ｔ１４、ｔ１５、ｔ１６、ｔ１７、ｔ１８、ｔ１９、ｔ２における強度ＰＷは、“り”の語が発話された音声データを用いて、第１算出部１０ａが算出した強度を示す。そして、時刻ｔ１、ｔ１１、ｔ１２、ｔ１３、ｔ１４、ｔ１５、ｔ１６、ｔ１７、ｔ１８、ｔ１９、ｔ２の各々の時間間隔は、ウィンドウＷＤを移動させた所定の間隔と等しい。

また、第１算出部１０ａは、ピッチ周波数Ｆ０やテンポ等のパラメータを、音声データから算出してもよい。

次に、第１算出部１０ａは、“ありがとう”等の発話単位毎に算出したピッチ周波数、強度、ゼロ点交差数等に基づいて、被験者ＰＡの発話におけるピッチ周波数の検出頻度、および強度ＰＷの増加率等の特徴量を算出する。例えば、第１算出部１０ａは、発話単位の各々において、全てのウィンドウＷＤのうちピッチ周波数が算出されたウィンドウＷＤの割合を、ピッチ周波数の検出率を示すＰＩＴＣＨ＿ＲＡＴＥとして算出する。すなわち、ＰＩＴＣＨ＿ＲＡＴＥは、被験者ＰＡの音声において有声音（母音）が発話された割合を示す。第１算出部１０ａは、各発話単位のＰＩＴＣＨ＿ＲＡＴＥを、各発話単位の開始時刻（例えば、“ありがとう”の場合の時刻ｔ０）や終了時刻（例えば、“ありがとう”の場合の時刻ｔ５）等の時刻に対応付ける。そして、第１算出部１０ａは、被験者ＰＡの発話におけるＰＩＴＣＨ＿ＲＡＴＥの時間変化を取得する。

また、第１算出部１０ａは、ウィンドウＷＤ毎に算出したゼロ点交差数を用いて、隣接するウィンドウＷＤのゼロ点交差数との差分であるΔゼロ点交差数の各発話単位における、ばらつきの度合いを示すＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶを算出する。例えば、第１算出部１０ａは、互いに隣接するウィンドウＷＤ間でゼロ点交差数の差分をそれぞれ求め、求めたゼロ点交差数の差分の標準偏差をＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶとして算出する。なお、第１算出部１０ａは、各ウィンドウＷＤ間で求めたゼロ点交差数の差分の分散値を、ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶとして算出してもよい。あるいは、第１算出部１０ａは、各ウィンドウＷＤ間で求めたゼロ点交差数の差分の平均値と、各ウィンドウＷＤ間のゼロ点交差数の差分との差の絶対値を加算した値を、ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶとして算出してもよい。第１算出部１０ａは、各発話単位のＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶを、各発話単位の開始時刻や終了時刻等の時刻に対応付けて、被験者ＰＡの発話におけるＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの時間変化を取得する。

また、図３（ｂ）に示すように、例えば、“ありがとう”の発話単位において、“あ”、“り”、“が”、“と”、“う”の各語の強度ＰＷの時間変化は、強度が増加するＡｔｔａｃｋの領域と、強度が一定に保たれるＫｅｅｐの領域と、強度が減少するＤｅｃａｙの領域とを有する。そこで、第１算出部１０ａは、Ａｔｔａｃｋの領域およびＤｅｃａｙの領域における強度ＰＷの傾きを算出する。例えば、第１算出部１０ａは、“り”の語で算出した強度ＰＷのうち、Ａｔｔａｃｋの領域に含まれる時刻ｔ１の強度ＰＷ（ｔ１）と、時刻ｔ１２の強度ＰＷ（ｔ１２）と、式（１）とを用いて、Ａｔｔａｃｋの領域における強度ＰＷの傾きδＡＳを算出する。
δＡＳ＝（ＰＷ（ｔ１２）−ＰＷ（ｔ１））／（ｔ１２−ｔ１） …（１）
そして、第１算出部１０ａは、“ありがとう”の各語で算出した傾きδＡＳの平均値を、“ありがとう”の発話単位のＡｔｔａｃｋの領域における強度ＰＷの傾きＡＴＴＡＣＫ＿ＳＬＯＰＥとして算出する。そして、第１算出部１０ａは、各発話単位のＡＴＴＡＣＫ＿ＳＬＯＰＥを、各発話単位の開始時刻や終了時刻等の時刻に対応付けて、被験者ＰＡの発話におけるＡＴＴＡＣＫ＿ＳＬＯＰＥの時間変化を取得する。

なお、第１算出部１０ａは、時刻ｔ１の強度ＰＷ（ｔ１）、時刻ｔ１１の強度ＰＷ（ｔ１１）および時刻ｔ１２の強度ＰＷ（ｔ１２）を用いて、“り”の語のＡｔｔａｃｋの領域における強度ＰＷの傾きδＡＳを算出してもよい。例えば、第１算出部１０ａは、時刻ｔ１の強度ＰＷ（ｔ１）と時刻ｔ１１の強度ＰＷ（ｔ１１）との間の強度の傾きと、時刻ｔ１１の強度ＰＷ（ｔ１１）と時刻ｔ１２の強度ＰＷ（ｔ１２）との間の強度の傾きとをそれぞれ算出する。そして、第１算出部１０ａは、算出した各強度の傾きの平均値を、“り”の語のＡｔｔａｃｋの領域における強度ＰＷの傾きδＡＳとして算出する。

一方、例えば、第１算出部１０ａは、“り”の語で算出した強度ＰＷのうち、Ｄｅｃａｙの領域に含まれる時刻ｔ１８の強度ＰＷ（ｔ１８）と、時刻ｔ２の強度ＰＷ（ｔ２）と、式（２）とを用いて、Ｄｅｃａｙの領域における強度ＰＷの傾きδＤＳを算出する。
δＤＳ＝（ＰＷ（ｔ２）−ＰＷ（ｔ１８））／（ｔ２−ｔ１８） …（２）
そして、第１算出部１０ａは、“ありがとう”の各語で算出した傾きδＤＳの平均値を、“ありがとう”の発話単位のＤｅｃａｙの領域における強度ＰＷの傾きＤＥＣＡＹ＿ＳＬＯＰＥとして算出する。そして、第１算出部１０ａは、各発話単位のＤＥＣＡＹ＿ＳＬＯＰＥを、各発話単位の開始時刻や終了時刻等の時刻に対応付けて、被験者ＰＡの発話におけるＤＥＣＡＹ＿ＳＬＯＰＥの時間変化を取得する。

なお、第１算出部１０ａは、時刻ｔ１８の強度ＰＷ（ｔ１８）、時刻ｔ１９の強度ＰＷ（ｔ１９）および時刻ｔ２の強度ＰＷ（ｔ２）を用いて、“り”の語のＤｅｃａｙの領域における強度ＰＷの傾きδＤＳを算出してもよい。例えば、第１算出部１０ａは、時刻ｔ１８の強度ＰＷ（ｔ１８）と時刻ｔ１９の強度ＰＷ（ｔ１９）との間の強度の傾きと、時刻ｔ１９の強度ＰＷ（ｔ１９）と時刻ｔ２の強度ＰＷ（ｔ２）との間の強度の傾きとをそれぞれ算出する。そして、第１算出部１０ａは、算出した各強度の傾きの平均値を、“り”の語のＤｅｃａｙの領域における強度ＰＷの傾きδＤＳとして算出する。

また、第１算出部１０ａは、図３（ｂ）に示すように、発話単位“ありがとう”の各語の発話の終了時刻ｔ１、ｔ２、ｔ３、ｔ４、ｔ５における強度ＰＷの平均値を、ＤＥＣＡＹ＿ＰＯＷＥＲとして算出する。第１算出部１０ａは、各発話単位のＤＥＣＡＹ＿ＰＯＷＥＲを、各発話単位の開始時刻や終了時刻等の時刻に対応付けて、被験者ＰＡの発話におけるＤＥＣＡＹ＿ＰＯＷＥＲの時間変化を取得する。

なお、第１算出部１０ａは、ＤＥＣＡＹ＿ＳＬＯＰＥ＿ＤＩＶ、ＤＥＬＴＡ＿ＺＥＲＯ＿ＭＡＸ＿ＡＢＳ、ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶ＿ＡＢＳ、ＤＥＣＡＹ＿ＣＯＵＮＴ、およびＰＯＷＥＲ＿ＰＥＡＫ＿ＣＯＵＮＴ等の特徴量を算出してもよい。また、第１算出部１０ａは、ＤＥＣＡＹ＿ＰＯＷＥＲ＿ＤＩＶ、ＡＴＴＡＣＫ＿ＳＬＯＰＥ＿ＤＩＶ、ＡＴＴＡＣＫ＿ＣＯＵＮＴ、およびＰＩＴＣＨ＿ＴＩＭＥ＿ＣＯＲＲＥ等の特徴量を算出してもよい。

なお、ＤＥＣＡＹ＿ＳＬＯＰＥ＿ＤＩＶは、各発話単位におけるＤＥＣＡＹ＿ＳＬＯＰＥのばらつきの度合いを示す標準偏差や分散値等である。ＤＥＬＴＡ＿ＺＥＲＯ＿ＭＡＸ＿ＡＢＳは、各発話単位において算出された複数のＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶのうち、所定の強度以上の強度ＰＷを有する音声データを用いて算出された最大のＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの絶対値である。ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶ＿ＡＢＳは、ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの絶対値である。ＤＥＣＡＹ＿ＣＯＵＮＴは、図３（ｂ）に示すように、各発話単位の強度ＰＷにおいて、Ｄｅｃａｙの領域でサンプリングされたデータ数である。

また、ＰＯＷＥＲ＿ＰＥＡＫ＿ＣＯＵＮＴは、各発話単位において、例えば、互いに隣接する３つのウィンドウＷＤにおいて算出された強度ＰＷの時間変化が凸形状となる、１秒等の単位時間当たりの数である。なお、ＰＯＷＥＲ＿ＰＥＡＫ＿ＣＯＵＮＴを算出するにあたり、隣接するウィンドウＷＤの数は、３以上の複数でもよい。また、各ウィンドウＷＤの強度ＰＷは、ノイズレベル以上であることが好ましい。

また、ＤＥＣＡＹ＿ＰＯＷＥＲ＿ＤＩＶは、例えば、各発話単位におけるＤＥＣＡＹ＿ＰＯＷＥＲのばらつきの度合いを示す標準偏差や分散値等である。ＡＴＴＡＣＫ＿ＳＬＯＰＥ＿ＤＩＶは、各発話単位におけるＡＴＴＡＣＫ＿ＳＬＯＰＥのばらつきを示す標準偏差や分散値等である。ＡＴＴＡＣＫ＿ＣＯＵＮＴは、図３（ｂ）に示すように、各発話単位の強度ＰＷにおいて、Ａｔｔａｃｋの領域でサンプリングされたデータ数である。ＰＩＴＣＨ＿ＴＩＭＥ＿ＣＯＲＲＥは、各発話単位において、ウィンドウＷＤを番号付けした場合に、ウィンドウＷＤの順番（すなわち時間経過）とピッチ周波数の時間変化との間の相関係数である。

図４および図５は、図２に示した第１算出部１０ａが算出した特徴量間における相関性を示す。特徴量間の相関性を示す相関テーブルＣＴは、ＬＡＢＥＬ、ＡＵＣ（Area Under the Curve）およびＤＥＣＡＹ＿ＰＯＷＥＲ等の複数の特徴量のそれぞれを記憶する領域を有する。ＬＡＢＥＬの領域には、ＤＥＣＡＹ＿ＰＯＷＥＲ等の特徴量を示す名称が格納される。

ＡＵＣの領域には、例えば、医師によってラベル（例えば、うつ状態か否か、脳梗塞か否か等）を付与された複数の被験者音声データを、ＬＡＢＥＬ領域の各特徴量を用いて分類した場合のＲＯＣ曲線に対するＡＵＣが格納される。すなわち、格納されるＡＵＣの値は、各特徴量が有する被験者ＰＡの心身状態を判定する能力の度合いを示す。なお、ＲＯＣは、Receiver Operating Characteristicの略である。

すなわち、例えば、ＡＵＣの値が０．７以上の特徴量は、単独で用いられた場合でも、被験者ＰＡの心身状態を正しく判定でき、ＡＵＣの値が０．７より低い特徴量は、単独で用いられた場合、被験者ＰＡの心身状態を正しく判定できないことを示す。相関テーブルＣＴでは、ＡＵＣの値を０．７以上有する特徴量を示す。

複数の特徴量の領域（以下、特徴量領域とも称される）の各々には、被験者ＰＡの音声データを用いて算出された、各特徴量領域の特徴量が示す時間変化と、ＬＡＢＥＬの領域の各特徴量が示す時間変化との間の相互相関係数が格納される。なお、図４および図５に示した相関テーブルＣＴでは、相互相関係数の絶対値が所定の係数値、例えば、０．６５以上を示す特徴量領域を網掛けで示している。これは、相互相関係数の絶対値が所定の係数値以上を示す、特徴量領域の特徴量とＬＡＢＥＬの領域の特徴量とは、推定装置１００ａが、被験者ＰＡの音声データを用いて、いずれか一方の特徴量を算出した場合、他方の特徴量を推定できることを示す。すなわち、推定装置１００ａは、図４および図５に示した相関テーブルＣＴのＬＡＢＥＬの領域の特徴量のうち、一部の特徴量を算出することで、ＬＡＢＥＬの領域の全ての特徴量を算出するのと同等であることを示す。

そこで、推定装置１００ａは、図４および図５に示した相関テーブルＣＴに基づいて、ＬＡＢＥＬの領域の特徴量のうち、ＡＵＣの値が０．７以上と大きく、かつ他の特徴量との相関性が無い、あるいは他の特徴量との相関性が所定の係数値より小さい特徴量を選択する。例えば、推定装置１００ａは、ＬＡＢＥＬの領域において網掛けで示すＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの４つの特徴量を選択する。
なお、推定装置１００ａは、主成分分析法、あるいは自己符号化器等のニューラルネットを用いて、ＡＵＣの値が０．７以上と大きく、かつ他の特徴量との関係性が無い、あるいは関係性が低い特徴量を選択してもよい。

第１算出部１０ａは、被験者ＰＡの音声データを用いて、選択されたＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの特徴量を算出する。第２算出部２０ａは、式（１）を用いて、算出されたＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの特徴量を重み付け加算して、被験者ＰＡの心身状態を示す度合い（元気度）αを算出する。
α＝−ＤＥＣＡＹ＿ＰＯＷＥＲ＋ＤＥＣＡＹ＿ＳＬＯＰＥ＋ＰＩＴＣＨ＿ＲＡＴＥ＋０．５×ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶ …（１）
なお、ＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの特徴量の重み付け係数は、式（１）の場合に限定されない。例えば、各特徴量を重み付け係数は、対象となる被験者ＰＡの職業、家族構成あるいは生活環境等に応じて適宜設定されることが好ましい。例えば、第１算出部１０ａは、式（２）を用いて、被験者ＰＡの元気度αを算出してもよい。なお、式（２）におけるＤＥＣＡＹ＿ＳＬＯＰＥの係数は、“０”である。
α＝−０．５×ＤＥＣＡＹ＿ＰＯＷＥＲ＋ＰＩＴＣＨ＿ＲＡＴＥ＋０．５×ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶ …（２）
なお、ＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの特徴量の各々は、所定の係数値、例えば、０．６５以上の相互相関係数を示す特徴量に代えられてもよい。例えば、ＤＥＣＡＹ＿ＳＬＯＰＥは、ＡＴＴＡＣＫ＿ＳＬＯＰＥとの間で相互相関係数が０．７９であることから、第１算出部１０ａは、ＤＥＣＡＹ＿ＳＬＯＰＥの代わりに、ＡＴＴＡＣＫ＿ＳＬＯＰＥを算出してもよい。そして、第２算出部２０ａは、ＤＥＣＡＹ＿ＰＯＷＥＲ、ＰＩＴＣＨ＿ＲＡＴＥ、ＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶ、式（１）とともに、ＡＴＴＡＣＫ＿ＳＬＯＰＥを用いて、元気度αを算出する。なお、ＡＴＴＡＣＫ＿ＳＬＯＰＥの重み付け係数は、適宜設定されることが好ましい。

また、元気度αは、ＡＵＣの値が高いＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶ等の特徴量のいずれか１つを用いて算出されてもよい。

なお、ＤＥＣＡＹ＿ＰＯＷＥＲ＿ＤＩＶおよびＰＩＴＣＨ＿ＴＩＭＥ＿ＣＯＲＲＥは、他の特徴量との相関性が低いが、他の特徴量と比べてＡＵＣの値が最も小さいことから、元気度αを算出する式（１）には含まれていない。しかしながら、ＤＥＣＡＹ＿ＰＯＷＥＲ＿ＤＩＶおよびＰＩＴＣＨ＿ＴＩＭＥ＿ＣＯＲＲＥは、第１算出部１０ａにより算出され、式（１）に含まれてもよい。

推定部３０ａは、第２算出部２０ａが算出した元気度αと閾値との比較に基づいて、被験者ＰＡにおける心身状態、例えば、被験者ＰＡがうつ状態か否かを推定する。例えば、推定部３０ａは、元気度αが閾値より小さい（すなわち、被験者ＰＡが発話する音声が不明瞭で、歯切れが悪い）場合、被験者ＰＡの心身状態が良くない（例えば、うつ状態）と推定する。一方、推定部３０ａは、元気度αが閾値以上（すなわち、被験者ＰＡが発する音声が明瞭で、歯切れが良い）場合、被験者ＰＡの心身状態が良く、健康であると推定する。

なお、推定部３０ａが用いる閾値は、例えば、敏感度が“１”で、偽陽性率（１−特異度）が“０”の点からの距離が最小となる元気度αのＲＯＣ曲線上の点に基づいて設定される。あるいは、閾値は、元気度αのＲＯＣ曲線と、ＡＵＣが０．５の場合のＲＯＣ曲線との間の距離（敏感度＋特異点−１）を示すＹｏｕｄｅｎ Ｉｎｄｅｘ等に基づいて設定されてもよい。

図６は、図２に示した推定装置１００ａによる推定処理の一例を示す。ステップＳ１００からステップＳ１３０は、推定装置１００ａに搭載される演算処置装置が、推定装置１００ａの記憶装置に記憶される推定プログラムを実行することにより実現される。すなわち、図６は、推定プログラムおよび推定方法の別の実施形態を示す。この場合、図２に示した第１算出部１０ａ、第２算出部２０ａおよび推定部３０ａは、推定プログラムの実行により実現される。なお、図６に示した処理は、推定装置１００ａに搭載されるハードウェアにより実現されてもよい。この場合、図２に示した第１算出部１０ａ、第２算出部２０ａおよび推定部３０ａは、推定装置１００ａ内に配置される回路により実現される。

なお、推定プログラムは、例えば、ＤＶＤ（Digital Versatile Disc）等のリムーバブルディスクに記録して頒布することができる。また、推定プログラムは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体に記録して頒布してもよい。あるいは、推定装置１００ａは、推定装置１００ａに含まれるネットワークインタフェースを介して、ネットワークを通じて推定プログラムをダウンロードし、メモリ等の記憶部に格納してもよい。

ステップＳ１００では、第１算出部１０ａは、携帯通信端末２００を介して取得した被験者ＰＡが発話した音声データを用いて、ピッチ周波数、強度およびゼロ点交差数等のパラメータを、ウィンドウＷＤ毎に算出する。

ステップＳ１１０では、第１算出部１０ａは、ステップＳ１００で算出したピッチ周波数、強度およびゼロ点交差数等のパラメータを用いて、ＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの特徴量を算出する。

ステップＳ１２０では、第２算出部２０ａは、ステップＳ１１０で算出した特徴量と、式（１）とを用いて、被験者ＰＡの元気度αを算出する。

ステップＳ１３０では、推定部３０ａは、ステップＳ１２０で算出された元気度αと、閾との比較に基づいて、被験者ＰＡの心身状態（例えば、うつ状態か否か）を推定する。

推定装置１００ａは、推定部３０ａにより推定された心身状態を示す情報を携帯通信端末２００に出力し、携帯通信端末２００のディスプレイに表示させる。そして、推定装置１００ａは、推定処理を終了する。図６に示した処理は、被験者ＰＡが携帯通信端末２００に向かって発話する度に繰り返し実行される。

以上、図２から図６に示した実施形態では、推定装置１００ａは、被験者ＰＡの音声データを用いて、被験者の発話におけるＤＥＣＡＹ＿ＰＯＷＥＲ、ＤＥＣＡＹ＿ＳＬＯＰＥ、ＰＩＴＣＨ＿ＲＡＴＥ、およびＤＥＬＴＡ＿ＺＥＲＯ＿ＤＩＶの特徴量を算出する。そして、推定装置１００ａは、算出した特徴量と式（１）とを用いて、被験者ＰＡの心身状態を示す元気度αを算出する。そして、推定装置１００ａは、算出した元気度αと閾値との比較に基づいて被験者の心身状態を推定する。これにより、推定装置１００ａは、ピッチ周波数等のパラメータと感情状態との対応関係を示す情報を予め用意することなく、従来と比べて容易に被験者の心身状態を推定できる。また、元気度αは算出した特徴量に基づいて算出されることから、推定装置１００ａは、被験者ＰＡの心身状態を客観的に評価することができる。また、推定装置１００ａは、ピッチ周波数等のパラメータと感情状態との対応関係を示す情報を用いないため、ノイズ等の音質劣化に対する耐性を有する。

なお、推定装置１００（１００ａ）は、精神分析、行動予測、行動分析等の心理カウンセリング、精神医療、一般医療における面接や処方へ適用した場合を示したが、これに限定されない。例えば、推定装置１００は、ロボット、人工知能や自動車、あるいはコールセンター、エンターテイメント、インターネット、スマートフォンやタブレット型端末等の携帯端末装置アプリケーションやサービス、検索システムへ応用されてもよい。また、推定装置１００は、診断装置、自動問診装置、災害トリアージ等に応用されてもよい。また、推定装置１００は、金融与信管理システムや行動予測、企業、学校、行政機関、警察や軍事、情報収集活動等での情報分析、虚偽発見に繋がる心理分析、組織グループ管理へ応用されてもよい。また、推定装置１００は、組織の構成員、研究者や従業員、管理者等の心の健康や行動予測を管理するシステム、住居やオフィス、飛行機や宇宙船といった環境を制御するシステム、あるいは家族や友人の心の状態や行動予測を知るための手段に適用されてもよい。また、推定装置１００は、音楽や映画配信、一般的な情報検索、情報分析管理や情報処理、あるいは顧客感性嗜好マーケット分析等やこれらをネットワークやスタンドアローンで管理するシステム等へ適用されてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０，１０ａ…第１算出部；２０，２０ａ…第２算出部；３０，３０ａ…推定部；１００，１００ａ…推定装置；２００…携帯通信端末；ＣＴ…相関テーブル；ＳＹＳ…推定システム

Claims (6)

1. 被験者が発話した音声データを用いて複数の特徴量を算出して、算出した前記複数の特徴量のうち、他の前記特徴量との相関が無い、あるいは他の前記特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの前記特徴量を決定する第１算出部と、
   前記第１算出部が決定した前記特徴量に基づいて前記被験者における心身状態を示す度合いを算出する第２算出部と、
   前記第２算出部が算出した前記度合いに基づいて前記被験者における心身状態を推定する推定部と
   を備えることを特徴とする推定装置。
2. 請求項１に記載の推定装置において、
   前記第２算出部は、決定された前記特徴量を重み付けして前記度合いを算出することを特徴とする推定装置。
3. 請求項１または請求項２に記載の推定装置において、
   前記第１算出部は、算出した前記複数の特徴量のうち、他の前記特徴量との相関が無い、あるいは他の前記特徴量との相関係数の絶対値が所定値より小さく、かつＲＯＣ（Receiver Operating Characteristic）曲線におけるＡＵＣ（Area Under the Curve）を０．７以上有する少なくとも１つの前記特徴量を決定することを特徴とする推定装置。
4. 被験者が発話した音声データを用いて複数の特徴量を算出して、算出した前記複数の特徴量のうち、他の前記特徴量との相関が無い、あるいは他の前記特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの前記特徴量を決定し、
   決定した前記特徴量に基づいて前記被験者における心身状態を示す度合いを算出し、
   算出した前記度合いに基づいて前記被験者における心身状態を推定する
   処理をコンピュータに実行させる推定プログラム。
5. 被験者の心身状態を推定する推定装置の作動方法において、
   前記被験者が発話した音声データを用いて複数の特徴量を算出して、算出した前記複数の特徴量のうち、他の前記特徴量との相関が無い、あるいは他の前記特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの前記特徴量を決定し、
   決定した前記特徴量に基づいて前記被験者における心身状態を示す度合いを算出し、
   算出した前記度合いに基づいて前記被験者における心身状態を推定する
   ことを特徴とする推定装置の作動方法。
6. 被験者が発話した音声データを取得する取得装置と、
   前記取得装置が取得した前記音声データを用いて複数の特徴量を算出して、算出した前記複数の特徴量のうち、他の前記特徴量との相関が無い、あるいは他の前記特徴量との相関係数の絶対値が所定値より小さい少なくとも１つの前記特徴量を決定する第１算出部と、前記第１算出部が決定した特徴量に基づいて前記被験者における心身状態を示す度合いを算出する第２算出部と、前記第２算出部が算出した前記度合いに基づいて前記被験者における心身状態を推定する推定部とを含む推定装置と
   を備えることを特徴とする推定システム。

Images