JP4691327B2 - 情報処理装置および情報処理プログラム - Google Patents

Description

本発明は、音声に基づいて人の感情の表出を検知する情報処理装置および情報処理プログラムに関する。

従来の情報処理装置としては、表情変形用顔部品を描画させる描画ルールおよび表情変形用顔部品を変形させる変形ルールに関連付けられた表情変形用顔部品を表わす特徴点データ、並びに表情変形の無い不変顔部品を表わす特徴点データを獲得する手段と、ふつうの顔、笑った顔、怒った顔、または哀しい顔などの似顔絵の表情を指定する手段と、表情変形用顔部品の特徴点データに変形ルールを連用し特徴点データを変形する手段と、表情変形用顔部品の特徴点データに描画ルールを適用し、不変顔部品の描画ルールを特徴点データに適用し、似顔絵を描画する手段とを備え、顔の像を含む顔画像を表現するものが知られている（例えば特許文献１参照）。
特開２００１−３０７１２３号公報（要約および第１図） 特開２００２−２３０５９８号公報 特開平５−２８９６９１号公報 「音響・音声工学」、吉井貞熙、近代科学社、１９９２ 「音声符号化」、守谷健弘、電子情報通信学会、１９９８ 「ディジタル音声処理」、吉井貞熙、東海大学出版会、１９８５ Y.Linde, A.Buzo and R.M.Gray. "An algorithm for vector Quantizer design",IEEE Trans.Commun.,vol. Com-28, pp.84-95, 1980

しかしながら、このような従来の情報処理装置は、笑った顔、怒った顔、または哀しい顔などの似顔絵の表情を利用者が手動で指定することにより、似顔絵を描画していたが、自動的に推測した利用者の感情に応じた顔画像を描画させることができなかった。

本発明はこのような課題を解決するためになされたもので、自動的に推測した利用者の感情に応じた顔画像を描画させることができる情報処理装置および情報処理プログラムを提供することを目的とする。

本発明の情報処理装置は、
学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、
顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段と、
利用者が発声した音声から得られた音声信号を受信する音声信号受信手段と、
前記音声信号受信手段によって受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出手段と、
前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出手段と、
前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測手段と、
前記感情推測手段が推測した感情に対応する表情になるように前記顔画像を変化させる画像変化手段と、
前記画像変化手段によって変化された顔画像を表示する表示手段と
を備えた構成を有している。
この構成により、利用者が発生した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、自動的に推測した利用者の感情に応じた顔画像を描画させることができる。

この構成により、電子メールに含まれる画像情報から顔画像情報を検出したとき、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、ビデオメールなどの電子メールに付加価値を与えることができる。

この構成により、ネットワークを介して相手の端末から得られた音声信号に基づいて通信相手の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、通信相手の感情面に着目して魅力的な通信を実現することができる。

本発明の情報処理プログラムは、
学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段とを有するコンピュータに、
利用者が発声した音声から得られた音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップで受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出ステップと、
前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出ステップと、
前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出ステップと、
前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測ステップと、
前記感情推測ステップで推測した感情に対応する表情になるように前記顔画像を変化させる画像変化ステップと、
前記画像変化ステップで変化した顔画像を表示する表示ステップと
を実行させ。
このプログラムにより、利用者が発生した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、自動的に推測した利用者の感情に応じた顔画像を描画させることができる。

このプログラムにより、電子メールに含まれる画像情報から顔画像情報を検出したとき、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、ビデオメールなどの電子メールに付加価値を与えることができる。

このプログラムにより、ネットワークを介して相手の端末から得られた音声信号に基づいて通信相手の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、通信相手の感情面に着目して魅力的な通信を実現することができる。

本発明は、話者の感情を推測し、推測した感情に応じた顔画像を描画させることができる情報処理装置および情報処理ブログラムを提供するものである。

以下、本発明を実施するための最良の形態について説明する。

まず、本発明の第１の実施の形態について、図面を用いて説明する。図１は、本発明の第１の実施の形態に係る情報処理装置のブロック構成図である。図１に示すように、情報処理装置１００は、画像情報記憶手段１１０、音声信号受信手段１２０、感情推測手段１３０、画像変化手段１４０、および表示手段１５０を備えて構成されている。

画像情報記憶手段１１０は、顔の像を含む顔画像を表す顔画像情報を記憶するようになっている。画像情報記憶手段１１０は、顔画像情報を電子ファイルとしてハードディスク１０５に記憶させるようにしてもよい。なお、顔画像情報は、予め利用者によって入力されている。顔画像は、人の顔の像でもよく、アニメーションのキャラクタを表す顔の像でもよい。

音声信号受信手段１２０は、利用者が発声した音声から得られた音声信号を受信するようになっている。なお、音声信号受信手段１２０は、マイクロフォンやインタフェース部１０６（後述）など介して音声信号を受信するようになっている。

感情推測手段１３０は、音声信号受信手段１２０によって受信された音声信号に基づいて利用者の感情を推測するようになっている。感情推測手段１３０の詳細な説明は後述する。

画像変化手段１４０は、感情推測手段１３０が推測した感情に対応する表情になるように、画像情報記憶手段１１０が記憶した顔画像を変化させるようになっている。なお、感情に対応して顔画像を変化させる技術は、ＦＡＣＳ（Facial Action Coding System）などを用いてもよい。

例えば、感情を表す感情情報が感情推測手段１３０によって出力されたとき、画像変化手段１４０は、感情情報に応じて顔画像を変化させるようになっている。感情情報が「笑い」を表していた場合、画像変化手段１４０は、「笑い」の表情になるように顔画像を変化させるようになっている。また、感情情報が「怒り」を表していた場合、画像変化手段１４０は、「怒り」の表情になるように、顔画像を変化させるようになっている。また、感情情報が「悲しみ」を表していた場合、画像変化手段１４０は、「悲しみ」の表情になるように、顔画像を変化させるようになっている。

このように、「笑い」、「怒り」、「悲しみ」などのように複数の種類の感情を用意しておき、画像変化手段１４０は、感情に対応して顔画像を変化させるようになっている。

表示手段１５０は、画像変化手段１４０によって変化された顔画像を表示するようになっている。例えば、表示手段１５０は、画像変化手段１４０によって変化された顔画像を表す情報をディスプレイ１０７に表示するようになっている。

次に、図２は、本発明の第１の実施の形態に係る情報処理装置のハードウエア構成を示す概略図である。ＣＰＵ（Central Processing Unit）１０１は、情報処理装置に関わるプログラムを実行するようになっている。ＲＯＭ（Read Only Memory）１０２は、ＣＰＵ１０１が読み出すプログラム、ＣＰＵ１０１を立ち上げるためのプログラム、その他のプログラム、および、制御用のパラメータ等を記憶するようになっている。なお、画像情報記憶手段１１０、音声信号受信手段１２０、感情推測手段１３０、画像変化手段１４０、および表示手段１５０は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。

ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の動作中にＣＰＵ１０１の動作に要するプログラムやデータ等を記憶するようになっている。ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）１０４は、プログラムや所定のデータを不揮発かつ書替可能に記憶するようになっている。ハードディスク１０５は、各種データなどを記憶するようになっている。インタフェース部１０６は、ネットワークに接続されている装置と所定の通信プロトコルに準拠して通信するようになっている。なお、情報処理装置１００の装置規模を大きくできない場合には、ハードディスク１０５に代えて他の小型記憶媒体を備えるようにしてもよい。

その他、情報処理装置１００は、液晶ディスプレイなどのディスプレイ１０７、マイクロフォン、キーボード、マウスなどの入力機器、およびスピーカなどの出力機器などを備え、情報処理装置１００の装置規模を大きくできる場合には、フレキシブルディスクドライブやＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等のドライブをさらに備えるようにしてもよい。なお、情報処理装置１００は、パソコンを含むコンピュータを用いても実現可能である。

記憶手段１３１は、学習音声を用いて生成されたた符号帳であって、学習音声に含まれる音声特徴量の組から生成されたベクトル量子化された音声特徴量ベクトルとそれに対応する符号、音声を発した話者の感情、話者の感情表出があったときの音声特徴量ベクトルの出現確率である感情表出確率、および、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳１３１ＣＢを予め記憶するようになっている。例えば、図９に示すように符号帳は、「笑い」、「怒り」、「悲しみ」などの感情に対応して作成されている。なお、感情毎に対応する符号帳は、「笑い」、「怒り」、「悲しみ」の３つに限定されず、多数用意してもよい。

音声特徴量抽出手段１３２は、音声信号受信手段１２によって受信された入力コンテンツに含まれる音声データから音声特徴量ベクトルを抽出するようになっている。

感情表出尤度算出手段１３３は、音声特徴量抽出手段１３２が抽出した音声特徴量ベクトルに対応する音声特徴量ベクトルを符号帳から検出し、この符号帳から検出された音声特徴量ベクトルに対応する感情表出確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出するようになっている。例えば、感情表出尤度算出手段１３３は、それぞれの感情に対応した符号帳に基づいてそれぞれの感情表出状態尤度を算出するようになっている。

平静状態尤度算出手段１３４は、音声特徴量抽出手段１３２が抽出した音声特徴量ベクトルに対応する音声特徴量ベクトルを符号帳から検出し、この符号帳から検出された音声特徴量ベクトルに対応する平静状態確率に基づいて、話者の平静状態についての尤度である平静状態尤度を算出するようになっている。例えば、平静状態尤度算出手段１３４は、それぞれの感情に対応した符号帳に基づいてそれぞれの平静状態尤度を算出するようになっている。

感情表出判定手段１３５は、感情表出尤度算出手段１３３が算出した感情表出状態尤度、および、平静状態尤度算出手段１３４が算出した平静状態尤度に基づいて、音声特徴量抽出手段１３２が音声データから抽出した音声特徴量ベクトルを含む音声の各区間に、話者の感情表出があったか否かを判定するようになっている。感情表出があったとき、感情表出判定手段１３５は、判定した感情を表す感情情報を画像抽出手段１４に出力するようになっている。

例えば、話者が「笑い」を感情表出していたか否かを判定する場合には、感情表出尤度算出手段１３３が「笑い」の符号帳を用いて算出した「笑い」に対応する感情表出尤度、および平静状態尤度算出手段１３４が「笑い」の符号帳を用いて算出した「笑い」に対応する平静状態尤度に基づいて、感情表出判定手段１３５が「笑い」の感情表出があったか否かを判定するようになっている。

図３には示していないが、音声特徴量抽出手段１３２はバッファメモリ手段を有しており、入力された音声コンテンツを一時的に格納し、そのバッファメモリ手段内のコンテンツに含まれる音声データを分析して音声特徴量ベクトルを抽出する。

以下、本発明の第１の実施の形態に係る情報処理装置が実行するプログラムについて、図面を参照して説明する。図４は、本発明の第１の実施の形態に係る情報処理装置の動作の流れを示すフローチャートである。

まず、利用者が発声した音声から得られた音声信号は、音声信号受信手段１２０によって受信され（Ｓ１０１）、受信された音声信号に基づいて利用者の感情は、感情推測手段１３０によって推測される（Ｓ１０２）。

次に、予め決められた顔画像は、画像変化手段１４０によって感情推測手段１３０が推測した感情に対応する表情になるように変化され（Ｓ１０３）、変化された顔画像は、表示手段１５０によって表示される（Ｓ１０４）。

次に、本発明の実施の形態に係る感情推測手段１３０の動作について説明する。図５は、本発明の実施の形態に係る感情推測手段１３０の動作を説明するためのフローチャートである。

まず、学習音声を用いて生成された符号帳であって、学習音声に含まれる所定の音声特徴量の組（パラメータの組）である音声特徴量ベクトル、音声を発した話者の感情、話者の感情表出があったとき（以下、感情表出状態という。）の音声特徴量ベクトルの出現確率である感情表出確率、および、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳が予め作成され、図１の記憶手段１３１に格納されている（Ｓ３１０）。この符号帳作成処理は、この発明の装置を構成する上で必要なものとして予め行う。符号帳作成の詳細については、後述するが、音声特徴量ベクトルは、特許文献２に開示されているような音声のフレーム毎に検出する少なくとも基本周波数、平均パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はそれらのフレーム間差分の少なくともいずれか１つ以上のパラメータの組を含むベクトルである。

ステップＳ３２０〜Ｓ３４０は感情表出検出処理である。まず、入力コンテンツの全体が記憶手段１３１に取り込まれ、その取り込まれた音声データから予め決められた複数種類の音声特徴量の組（音声特徴量ベクトル）を抽出する（Ｓ３２０）。

Ｓ３２０で音声データの所定区間（判定区間）から抽出した一連の音声特徴量ベクトルにそれぞれ最も近い音声特徴量ベクトルを符号帳から検出し、この符号帳からその検出された音声特徴量ベクトルの、感情表出状態での出現確率を読み出し、この一連の出願確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出する。この感情表出状態尤度の計算は、音声データの一連の音声特徴量ベクトルの判定区間ごと（例えば後述の音声小段落ごと、または一定区間長ごと）に行う。

同様に、音声データから抽出した音声特徴畳ベクトルの、平静状態での出現確率を符号帳から読み出し、この確率に基づいて、話者の平静状態についての尤度である平静状態尤度を上記感情表出状態尤度の算出と同じ判定区間ごとに算出する（Ｓ３３０）。

次に、ステップＳ３３０で算出した感情表出状態尤度、および平静状態尤度に基づいて、ステップＳ３２０で音声データから抽出した所定の音声特徴量の組を含む音声データの判定区間に、話者の感情表出があったか否かを判定する（Ｓ３４０）。

以下に、上記の各ステップでの処理について詳細に説明する。まず、各ステップでの処理についての詳細な説明に先立ち、上記の音声特徴量の組について説明する。音声特徴量としては、音声スペクトル等の情報に比べて、雑音環境下でも安定して得られ、かつ感情表出状態か否かの判定が話者依存性の低いものを用いる。このような条件を満たす音声特徴量として、本発明の実施の形態では、基本周波数ｆ_０、パワーｐ、動的特徴量ｄ（ｔ）．無声区間Ｔ_Ｓ等を抽出する。

これらの音声特徴量の抽出法は公知であり、その詳細については、例えば、非特許文献１、非特許文献２、非特許文献３等を参照されたい。

ここで、上記の動的特徴量ｄ（ｔ）は、以下の式（１）によって定義され、その時間変化量は発話速度の尺度となるパラメータである。

ここで、ｔは時刻、Ｃ_ｋ（ｔ）は時刻ｔにおけるｋ次のＬＰＣケプストラム係数、±Ｆ_０は対象とするフレーム（以下、現フレームという）の前後のフレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）をいう。なお、動的特徴量ｄ（ｔ）としては、特許文献３に定義されたものを用いるのでもよい。

ＬＰＣケプストラム係数の次数ｋは、１からＫまでの整数のいずれかである。動的特徴量ｄ（ｔ）の単位時間当たりの極大点の数、または、単位時間当たりの変化率は発話速度の尺度となる。

以下では、１フレームの長さ（以下、フレーム長という）を１００ｍｓとし、このフレームの開始時刻から５０ｍｓずらして次のフレームを形成するものとする。また、フレーム毎に、平均基本周波数ｆ_０’、平均パワーＰを算出するものとする。平均基本周波数ｆ_０’及び平均パワーｐ’は、基本周波数ｆ_０が信頼できるフレームについてのみ使用して算出する。例えば、基本周波数ｆ_０の抽出の際の自己相関係数を利用してもよい。さらに、現フレームの基本周波数ｆ_０’と、現フレームからｉフレーム前の基本周波数ｆ_０’および現フレームからｉフレーム後の基本周波数ｆ_０’のそれぞれと差分Δｆ_０’（−ｉ）、Δｆ_０’（ｉ）と、をとる。平均パワーｐ’についても同様に、現フレームの平均パワーｐ’と、現フレームからｉフレーム前の平均パワーｐ’および現フレームからｉフレーム後の平均パワーｐ’のそれぞれと差分Δｐ’（−ｉ）、Δｐ’（ｉ）と、をとる。

次に、これらフレーム毎の、基本周波数ｆ_０’、基本周波数の差分Δｆ_０’（−ｉ）、Δｆ_０’（ｉ）、平均パワーｐ’、平均パワーの差分Δｐ’（−ｉ）、Δｐ’（ｉ）を規格化する。以下では、基本周波数ｆ_０’、基本周波数の差分Δｆ_０’（−ｉ）、Δｆ_０’（ｉ）、平均パワーｐ’、平均パワーの差分Δｐ’（−ｉ）、Δｐ’（ｉ）のそれぞれを、単に、ｆ_０’、Δｆ_０’（−ｉ）、Δｆ_０’（ｉ）、ｐ’、Δｐ’（−ｉ）、Δｐ’（ｉ）と表し、規格化されたものを、それぞれ、ｆ_０”、Δｆ_０”（−ｉ）、Δｆ_０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）と表す。

この規格化は、例えば、ｆ_０’、Δｆ_０’（−ｉ）、Δｆ_０’（ｉ）のそれぞれを、例えば、処理対象の音声データ全体の平均基本周波数で割ることによって行うのでもよいし、標準化して平均０、分散１にしてもよい。また、処理対象の音声データ全件の平均基本周波数の代わりに、後述する音声小段落や音声段落毎の平均基本周波数や、数秒や数分等の時間内での平均基本周波数を用いるのでもよい。

同様に、p’についても、処理対象の音声データ全件の平均パワーで割り、規格化又は標準化する。また、処理対象の音声データ全体の平均パワーの代わりに、後述する音声小段落や音声段落毎の平均パワーや、数秒や数分等の時間内での平均パワー等を用いるのでもよい。ここで、上記ｉの値を、例えば、４とする。

動的特徴量（ダイナミックメジャー）のピークの本数は、以下のように算出する。まず、現フレームの開始時刻を中心に現フレームより十分長い時間幅（２Ｔ_１、ただし、Ｔ_１は例えばフレーム長の１０倍程度とする）の区間を設ける。次に、この区間内における動的特徴量ｄ（ｔ）の時間変化の極大点を算出し、極大点の個数ｄ_ｐ（以下、単にｄ_ｐという）を計数する。

また、ダイナミックメジャーのピーク本数の差分値も、以下に述べるようにして算出しておく。即ち、現フレームの開始時刻のＴ_２前の時刻を中心とする幅２Ｔ_１内区間におけるｄ_ｐから、現フレームのｄ_ｐを差し引いた差成分Δｄ_ｐ（−Ｔ_２）を求める。同様に、現フレームの終了時刻のＴ_３後の時刻を中心とする幅２Ｔ_１内の区間におけるｄ_ｐを、現フレームのｄ_ｐから差し引いた差成分Δｄ_ｐ（Ｔ_３）を求める。

上記の、Ｔ_１、Ｔ_２、Ｔ_３の値は、それぞれ、フレーム長より十分長いものとし、以下では、Ｔ_１＝Ｔ_２＝Ｔ_３＝４５０ｍｓとする。ただし、これらの値に限られるものではない。また、フレームの前後の無声区間の長さを、それぞれ、ｔ_ＳＢ、ｔ_ＳＦとする。ステップＳ３２０では、上記のｆ_０”、Δｆ_０”（−ｉ）、Δｆ_０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄ_ｐ、Δｄ_ｐ（−Ｔ_２）、Δｄ_ｐ（Ｔ_３）等（以下、それぞれをパラメータと呼ぶ）の値をフレーム毎に抽出する。

符号帳作成の際は、上記のｆ_０”、Δｆ_０”（−ｉ）、Δｆ_０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄ_ｐ、Δｄ_ｐ”（−Ｔ_２）、Δｄ_ｐ”（Ｔ_３）等のパラメータの中から選択されたパラメータの組、例えば（ｆ_０”、ｐ”、ｄ_ｐ）（音声特徴量ベクトル）に対応させて、感情表出確率および平静状態確率が算出され、選ばれたパラメータと感情表出確率および平静状態確率とを対応させて符号帳に記録している。符号帳には、上記のパラメータの組と同じ組のパラメータが音声特徴量ベクトルとして記録されている。

ステップＳ３２０では、入力音声を対象に、上記の音声特徴量パラメータｆ_０”、Δｆ_０”（−ｉ）、Δｆ_０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄ_ｐ、Δｄ_ｐ”（−Ｔ_２）、Δｄ_ｐ”（Ｔ_３）等のパラメータのうち、符号帳に記憶された音声特徴量ベクトルで使用されているパラメータ、例えば前述の（ｆ_０”、ｐ”、ｄ_ｐ）の値をフレームごとに算出し、全音声コンテンツに渡る一連の音声特徴量ベクトルを得る。これによって、音声データの各音声特徴量ベクトルに対応する符号帳の音声特徴量ベクトルを特定でき、感情表出確率および平静状態確率を決定できることになる。

ステップＳ３３０での処理の詳細を、図６を用いて説明する。ステップＳ３３０では、まず、ステップＳ３３１〜Ｓ３３３で、音声小段落および音声段落を抽出する。次に、ステップＳ３３４、Ｓ３３５、Ｓ３３６で、感情表出状態尤度及び平静状態尤度を算出する。この実施例では音声小段落を、感情表出状態か否かを判定する対象の単位とし、音声段落は、例えば、４００ｍｓ程度またはそれ以上の無声区間ではさまれた、少なくとも１つ以上の音声小段落を含む区間であるものとする。図７に音声小段落と音声段落の関係を概念的に示す。

音声段落の抽出には、まず、音声データの無声区間と有声区間を抽出する（Ｓ３３１）。有声区間であるか無声区間であるかの判定（以下、単に、有声／無声の判走という）は、周期性の有無の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値に基づいて行われることが多い。

具体的には、入力信号の短時間スペクトルからスペクトル包絡を除去し、得られた予測残渣の自己相関関数（以下、変形相関関数という）を算出し、変形相関関数のピーク値が所定の閾値より大きいか否かによって有声／無声の判定を行う。また、そのようなピーク値が得られる相関処理の遅延時間に基づいて、ピッチ周期１／ｆ_０の抽出を行う。

上記では、フレーム毎に各音声特徴量を音声データから抽出する場合について述べたが、音声データが、例えば、ＣＥＬＰ（Code-Excited Linear Prediction）などにより、既にフレーム毎に符号化（すなわ、分析）されており、この符号化で得られる係数または符号を用いて音声特徴量を生成するのでもよい。ＣＥＬＰによって得られる符号（以下、ＣＥＬＰ符号という）には、一般に、線形予測係数、利得係数、ピッチ周期等が含まれる。そのため、ＣＥＬＰ符号を復号して上記の音声特徴畳を得ることができる。

具体的には、復号された利得係数の絶対値または二乗値をパワーとして用い、ピッチ成分の利得係数と非周期成分の利得係数との比に基づいて有声／無線の判定を行うことができる。また、復号されたピッチ周期の逆数をピッチ周波数、すなわち基本周波数として用いることができる。また、上記の式（ｌ）で説明した動的特徴量の計算に使用するＬＰＣケプストラム係数は、ＣＥＬＰ符号を復号して得られたものを変換して求めることができる。

また、ＣＥＬＰ符号にＬＳＰ（Line Spectrum Pair）係数が含まれていれば、ＬＳＰ係数を一旦ＬＰＣケプストラム係数に変換し、変換して得られたＬＰＣケブストラム係数から求めてもよい。このように、ＣＥＬＰ符号には本発明で使用できる音声特徴量が含まれているので、ＣＥＬＰ符号を復号し、フレーム毎に必要な音声特徴量の組を取り出すことができる。

図６に戻って、有声区間の両側の無声区間の時間t_ＳＭ、t_ＳＦがそれぞれ予め決めたt_Ｓ以上になるとき、その無声区間によって囲まれた有声区間を含む信号部分を音声小段落Ｓとして抽出する（Ｓ３３２）。以下では、この無声区間の時間t_Ｓの値を、例えば、ｔ_Ｓ＝４００ｍｓとする。

次に、この音声小段落Ｓ内の、好ましくは後学部の有声区間内の平均パワーｐと、この音声小段落Ｓの平均パワー値Ｐ_Ｓの定数β倍とを比較し、ｐ＜βＰ_Ｓであれば、その音声小段落Ｓを末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現在の末尾音声小段落までを音声段落と決定して抽出する（Ｓ３３３）。

音声小段落の抽出は、上記の有声区間を囲む無声区間の時間がｔ_Ｓ以上となるという条件で行う。図７に、音声小段落としてＳ_ｊ−１、Ｓ_ｊ、Ｓ_ｊ＋１を示し、以下では音声小段落Ｓ_ｊを処理対象の音声小段落とする。音声小段落Ｓ_ｊは、Ｑ_ｊ個の有声区間から構成され、音声小段落Ｓ_ｊの平均パワーをＰ_ｊとする。

また、音声小段落Ｓ_ｊに含まれるｑ番目の有声区間Ｖ_ｑ（ｑ＝１、２、・・・、Ｑ）の平均パワーをｐ_ｑと表す。音声小段落Ｓ_ｊが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落Ｓ_ｊを構成する後半部分の有声区間の平均パワーに基づいで判定する。具体的には、以下の式（２）に示す条件が満たされるか否かで判定する。

この条件を満たすとき、音声小段落Ｓ_ｊが音声段落Ｂの末尾音声小段落であると判定する。

ここで、αはＱ_ｊ／２以下の値をとる定数であり、βは例えば０．５〜１．５程度の値をとる定数である。これらの値は、音声段落の抽出を最適化するように、予め実験により決めでおく。ただし、有声区間の平均パワーｐ_ｑは、その有声区間内の全フレームの平均パワーである。本発明の実施の形態では、α＝３、β＝０．８とした。上記のようにすることによって、隣接する末尾音声小段落間の音声小段落の集合を音声段落と判定できる。あるいは、音声小段落を固定長ｔ（ｓ）、シフト幅Ｓ（ｓ）と決めてもよい。例えば、ｔ（ｓ）＝Ｓ（ｓ）＝１ｍｓｅｃの固定長、シフト幅としてもよい。音声段落についてもΔＳの無声区間で囲まれた区間としてもよい。

次に、図６に戻って感情表出状態尤度を算出する処理（Ｓ３３４、Ｓ３３５）について説明する（以下、この処理を感情表出判定処理という）。まず、ステップＳ３１０で予め作成した符号帳に記録される音声特徴量ベクトルに合わせて、ステップＳ３２０で抽出した入力音声に含まれる音声特徴量の組をベクトル量子化し、符号列Ｃ_１，Ｃ_２，Ｃ_３，…を得る（Ｓ３３４）。

ステップＳ３３５での感情表出状態尤度の算出に先立って、図８を用いて符号帳の作成方法について説明する。まず、多数の学習用音声を被験者から採取し、感情表出があった発話と平静状態での発話とを識別できるようにラベルを付ける（Ｓ３１１）。例えば、音声が、笑っている、怒っている、悲しんでいる、とそれぞれ判断した区間にラベル付けを行う。

反対に平静状態と判定する理由を、上記の笑い、怒り、悲しみのいずれにも該当せず、発話が平静であると感じられることとする。

ステップＳ３１１で上記のラベル付けを行ったら、ラベル付けされた音声データから、ステップＳ３２０での処理と同様に予め決めたパラメータの組の音声特徴量、例えば（ｆ_０”、ｐ”、ｄ_ｐ）の値を音声特徴量ベクトル値としてフレームごとに抽出する（Ｓ３１２）。ラベル付けによって得られる感情表出状態または平静状態の情報と、感情表出状態または平静状態とされたラベル区間（ラベル付けされた音声区間）について得られる音声特徴量ベクトルとを用いて、ＬＢＧアルゴリズムに従って符号帳を作成する（Ｓ３１３）。

ＬＢＧアルゴリズムは公知であり、その詳細は、例えば、非特許文献４を参照されたい。

符号帳に記録されるエントリの数（以下、符号長サイズという）は、２^ｍ個（ｍは、１以上の整数）確保できると共に可変であり、エントリのインデックスとしてコードＣが用いられ、インデックスにはコードＣに対応したｍビットの量子化ベクトル（Ｃ＝００…０〜１１…１）が用いられる。

符号長には、この量子化ベクトル（コードＣ）に対応させて、フレーム長より十分長い所望の区間、例えば学習音声のラベル区間に得られる全音声特徴量ベクトルを使って上記ＬＢＧアルゴリズムにより決められた代表ベクトルを音声特徴量代表ベクトルとして記録しておく。その際、各音声特徴量を、例えば、その平均値と標準偏差で規格化してもよい。以下の説明では、符号帳の音声特徴量代表ベクトルも単に音声特徴量ベクトルと呼ぶ。

入力音声データから抽出した音声特徴量のパラメータのうち、感情表出判定処理に使用するパラメータの組は、上記の符号帳作成に用いたパラメータの組と同じものである。感情表出状態または平静状態の音声小段落を特定するために、音声小段落中のコードＣ（エントリのインデックス）に対応させて、各感情表出状態での出現確率と平静状態での出現確率をそれぞれ算出する。その際、感情を「笑い」、「怒り」、「悲しみ」などに分類しておき、それぞれの感情について上記の感情表出状態と平静状態の各出現確率を算出し、１つの符号帳に記録する。従って、符号帳には、上記のコードＣと、音声特徴量ベクトルと、感情表出状態での出現確率と平静状態の出現確率とが対応して記録されている。これらは感情の種類毎に分類して別々の符号帳に記録してもよい。

以下に、ステップＳ３３５で行う話者の感情表出についての尤度である感情表出尤度の算出、および、ステップＳ３３６で行う平静状態についての尤度である平静状態尤度の算出方法の一例について説明する。まず、学習音声中のラベル区間に含まれるフレームの数をｎとし、それぞれのフレームから得られる音声特徴量の組に対応するコードが時系列でＣ_１，Ｃ_２，…，Ｃ_ｎとなっているものとする。

上記で説明したように、ラベル区間は、符号帳を作成する処理のステップＳ３１１で、ラベルが付けられた１つの音声区間である。このとき、ステップＳ３３５、Ｓ３３６で算出される、ラベル区間Ａの感情表出尤度Ｐ_Ａｅｍｏおよび平静状態尤度Ｐ_Ａｎｒｍは、それぞれ、以下の式（３）および式（４）に示すように表される。

ここで、Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_１…Ｃ_ｉ−１）は、コード列Ｃ_１，…，Ｃ_ｉ−１の次にコードＣ_ｉが感情表出状態となる条件付確率、Ｐ_ｎｒｍ（Ｃ_ｉ｜Ｃ_１…Ｃ_ｉ−１）は、同様にコード列Ｃ_１，…，Ｃ_ｉ−１の次にコードＣ_ｉが平静状態となる条件付確率である。また、Ｐ_ｅｍｏ（Ｃ_ｉ）は、符号帳を作成する処理において、音声が感情表出状態とラベル付けされた部分に存在した音声特徴量ベクトルに対応するコードＣ_ｉの総個数を数え、その総個数を、感情表出状態とラベル付けされた音声データの全コード数（＝フレーム数）で割算した値である。一方、Ｐ_ｎｒｍ（Ｃ_ｉ）は、コードＣ_ｉが平静状態とラベル付けされた部分に存在した個数を，平静状態とラベル付けされた音声データの全コード数で割算した値である。

以下では、各条件付確率をＮ−ｇｒａｍ（Ｎ＜ｉ）モデルで近似し、感情表出状態尤度および平静状態尤度の計算を簡単にする。Ｎ−ｇｒａｍモデルは、ある時点でのある事象の出現がその直前のＮ−１個の事象の出現に依存すると近似するモデルである。ここで、Ｎ＝３のときはｔｒｉｇｒａｍ、Ｎ＝２のときはｂｉｇｒａｍ、Ｎ＝１のときはｕｎｉｇｒａｍとよばれる。このモデルでは、例えば、ｉ番目のフレームにコードＣ_ｉが出現する確率Ｐ（Ｃ_ｉ）は、Ｐ（Ｃ_ｉ）＝Ｐ（Ｃ_ｉ｜Ｃ_{ｉ−Ｎ＋１}…Ｃ_ｉ−１）とされる。

上記の式（３）および式（４）中の各条件付出現確率Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_ｉ…Ｃ_ｉ−１）、Ｐ_ｎｒｍ（Ｃ_ｉ｜Ｃ_ｉ…Ｃ_ｉ−１）にＮ−ｇｒａｍモデルを適用すると、各条件付出現確率は以下の式（５）および式（６）に示すように近似される。

Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_ｉ…Ｃ_ｉ−１）＝Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_ｉ-Ｎ+1…Ｃ_ｉ−１） （５）
Ｐ_ｎｒｍ（Ｃ_ｉ｜Ｃ_ｉ…Ｃ_ｉ−１）＝Ｐ_ｎｒｍ（Ｃ_ｉ｜Ｃ_ｉ-Ｎ+1…Ｃ_ｉ−１） （６）

上記の式（５）のＰ_ｅｍｏ（Ｃ_ｉ｜Ｃ_{ｉ−Ｎ＋１}…Ｃ_ｉ−１）および式（６）のＰ_ｎｒｍ（Ｃ_ｉ｜Ｃ_{ｉ−Ｎ＋１}…Ｃ_ｉ−１）は、通常、符号帳から全て得られるようになっているが、一部のものについては、学習音声から得られないものもある。その場合は、他の条件付出現確率や単独出現確率から補間によって求めたものでもよい。例えば、低次（即ち、コード列が短い）の条件付出現確率と単独出現確率等とから高次（即ち、コード列が長い）の条件付出現確率を補間して求めることができる。

以下に、この補間の方法について説明する。以下では、上記のｔｒｉｇｒａｍ（Ｎ＝３）、ｂｉｇｒａｍ（Ｎ＝２）、および、ｕｎｉｇｒａｍ（Ｎ＝１）を例にとり説明する。各出現確率は、ｔｒｉｇｒａｍ（Ｎ＝３）では、Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_ｉ−２Ｃ_ｉ−１）、Ｐｎｒｍ（Ｃ_ｉ｜Ｃ_ｉ−２Ｃ_ｉ−１）、ｂｉｇｒａｍ（Ｎ＝２）では、Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_ｉ−１）、Ｐｎｒｍ（Ｃ_ｉ｜Ｃ_ｉ−１）、そして、ｕｎｉｇｒａｍ（Ｎ＝１）では、Ｐ_ｅｍｏ（Ｃ_ｉ）、Ｐｎｒｍ（Ｃ_ｉ）と表される。

この補間の方法では、Ｐ_ｅｍｏ（Ｃ_ｉ｜Ｃ_ｉ−２Ｃ_ｉ−１）およびＰ_ｎｒｍ（Ｃ_ｉ｜Ｃ_ｉ−２Ｃ_ｉ−１）を、上記の感情表出状態での３つの出現確率、または、平静状態での３つの出現確率を用い、以下の式（７）および式（８）に基づいて算出する。

ここで、上記のλ_ｅｍｏ１、λ_ｅｍｏ２、λ_ｅｍｏ３は、ｔｒｉｇｒａｍの感情表出状態とラベル付けされた学習データのフレーム数をｎとし、時系列でコードＣ_１，Ｃ_２，…，Ｃ_ｎが得られたとき、以下のように表される。

ただし、λ_ｅｍｏ１、λ_ｅｍｏ２、λ_ｅｍｏ３を求めるときの音声データは、符号帳を作成するときの音声データ以外のものとする。符号帳を作成するときの音声データと同じ音声データを用いると、λ_ｅｍｏ１＝１、λ_ｅｍｏ２＝λ_ｅｍｏ３＝０の自明な解となってしまうからである。同様に、λ_ｎｒｍ１、λ_ｎｒｍ２、λ_ｎｒｍ３も求められる。

次に、ｔｒｉｇｒａｍを用い、ラベル区間Ａのフレーム数がＦ_Ａであり、得られたコードがＣ_１，Ｃ_２，…，Ｃ_ＦＡのとき、このラベル区間Ａの感情表出状態尤度Ｐ_Ａｅｍｏおよび平静状態尤度Ｐ_Ａｎｒｍは、それぞれ、以下の式（９）および式（１０）に示すように表される。

Ｐ_Ａｅｍｏ＝Ｐ_ｅｍｏ（Ｃ_３｜Ｃ_１Ｃ_２）…Ｐ_ｅｍｏ（Ｃ_ＦＡ｜Ｃ_ＦＡ−２Ｃ_ＦＡ−１） （９）
Ｐ_Ａｎｒｍ＝Ｐ_ｎｒｍ（Ｃ_３｜Ｃ_１Ｃ_２）…Ｐ_ｎｒｍ（Ｃ_ＦＡ｜Ｃ_ＦＡ−２Ｃ_ＦＡ−１） （１０）

本発明の実施の形態では、上記のように補間と、感情表出状態尤度Ｐ_Ａｅｍｏおよび平静状態尤度Ｐ_Ａｎｒｍの算出とができるように、上記の例では、ｔｒｉｇｒａｍ（Ｎ＝３）、ｂｉｇｒａｍ（Ｎ＝２）、および、ｕｎｉｇｒａｍ（Ｎ＝１）を各コードについて算出しておき、符号帳に格納しておくものとする。つまり、符号帳には、各コードに対応して、音声特徴量ベクトルと、その感情表出状態での出現確率と、平静状態での出現確率との組が格納される。

その感情表出状態での出現確率としては、各コードが過去のフレームで出現したコードと無関係に感情表出状態で出現する確率（単独出現確率）、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが感情表出状態で出現する条件付確率、またはそれら両方を使用する。同様に、平静状態での出現確率、そのコードが過去のフレームで出現したコードと無関係に平静状態で出現する単独出現確率、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが平静状態で出現する条件付出現確率、またはそれら両方を使用する。

図９に、符号帳に記録される内容の一例を示す。以下の各符号帳の作成において、学習音声から使用する平静状態のフレーム総数と、対応する感情（例えば笑い）の表出状態のフレーム総数は等しく選ばれている。この例では学習音声中の笑いのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−１と、怒りのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−２と、悲しみのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−３とを示している。図９に示すように、符号帳には各コードＣ_１，Ｃ_２，…毎に、その音声特徴量ベクトルと、その単独出現確率が、感情表出状態および平静状態について格納され、条件付出現確率が感情表出状態および平静状態についてそれぞれ組として格納されている。ここで、コードＣ_１，Ｃ_２，Ｃ_３，…は、符号帳の各音声特徴量ベクトルに対応したコード（インデックス）を表し、それぞれｍビットの値“００…００”、“００…０１”、“００…１０”、…である。

符号帳におけるｈ番目のコードをＣ_ｈで表し、例えばＣ_１は第１番目のコードを表すものとする。以下では、この発明に好適な音声特徴量の組の例として、パラメータｆ_０”、ｐ”、ｄ_ｐを使用し、符号帳サイズ（音声特徴量ベクトルの数）が２^６の場合の感情表出状態および平静状態での、条件付出現確率をｔｒｉｇｒａｍで近似した例について説明する。

図１０は、音声データの処理を説明するための模式図である。時刻ｔから始まる音声小段落のうち、第１フレームから第４フレームまでを符号ｉ〜ｉ＋３を付して示している。フレーム長およびフレームシフトを、上記のように、それぞれ、１００ｍｓ、５０ｍｓとした。ここでは、フレーム番号ｉ（時刻ｔ〜ｔ＋１００）のフレームについてコードＣ_１が、フレーム番号ｉ＋１（時刻ｔ＋５０〜ｔ＋１５０）のフレームについてコードＣ_２が、フレーム番号ｉ＋２（時刻ｔ＋１００〜ｔ＋２００）のフレームについてコードＣ_３が、そして、フレーム番号ｉ＋１（時刻ｔ＋５０〜ｔ＋１５０）のフレームについてコードＣ_４が得られているものとする。すなわち、フレーム順にコードがＣ_１、Ｃ_２、Ｃ_３、Ｃ_４であるとする。

この場合、フレーム番号ｉ＋２以上のフレームでは、ｔｒｉｇｒａｍが計算できる。いま、音声小段落Ｓの感情表出状態尤度をＰ_Ｓｅｍｏ、平静状態尤度をＰ_Ｓｎｒｍとすると、第４フレームまでの各尤度はそれぞれ、以下の式（１１）および式（１２）によって与えられる。

Ｐ_Ｓｅｍｏ＝Ｐ_ｅｍｏ（Ｃ_３｜Ｃ_１Ｃ_２）Ｐ_ｅｍｏ（Ｃ_４｜Ｃ_２Ｃ_３） （１１）
Ｐ_Ｓｎｒｍ＝Ｐ_ｎｒｍ（Ｃ_３｜Ｃ_１Ｃ_２）Ｐ_ｎｒｍ（Ｃ_４｜Ｃ_２Ｃ_３） （１２）

この例では、符号帳からコードＣ_３、Ｃ_４の感情表出状態および平静状態の各単独出現確率を求め、コードＣ_２の次にコードＣ_３が感情表出状態および平静状態で出現する条件付確率を求め、さらに、コードＣ_３が連続するコードＣ_１Ｃ_２の次に感情表出状態および平静状態で出現し、コードＣ_４が連続するコードＣ_２Ｃ_３の次に感情表出状態および平静状態で出現する条件付確率を求めると以下のようになる。

P_emo(C₃|C₁C₂)=λ_emo1P_emo(C₃|C₁C₂)+λ_emo2P_emo(C₃|C₂)+λ_emo3P_emo(C₃) （１３）
P_emo(C₄|C₂C₃)=λ_emo1P_emo(C₄|C₂C₃)+λ_emo2P_emo(C₄|C₃)+λ_emo3P_emo(C₄) （１４）
P_nrm(C₃|C₁C₂)=λ_nrm1P_nrm(C₃|C₁C₂)+λ_nrm2P_nrm(C₃|C₂)+λ_nrm3P_emo(C₃) （１５）
P_nrm(C₄|C₂C₃)=λ_nrm1P_nrm(C₄|C₂C₃)+λ_nrm2P_nrm(C₄|C₃)+λ_nrm3P_nrm(C₄) （１６）

上記の式（１３）〜（１６）を用いることによって、式（１１）と（１２）とで示される第３フレームまでの感情表出状態尤度Ｐ_Ｓｅｍｏと平静状態尤度をＰ_Ｓｎｒｍが求まる。ここで、条件付出願確率Ｐ_ｅｍｏ（Ｃ_３｜Ｃ_１Ｃ_２）およびＰ_ｎｒｍ（Ｃ_３｜Ｃ_１Ｃ_２）は、フレーム番号ｉ＋２以降で計算できる。

以上の説明は、第４フレームｉ＋３までの計算についてであったが、フレーム数Ｆ_Ｓの音声小段落Ｓについても同様に適用できる。例えば、フレーム数Ｆ_Ｓの音声小段落Ｓのそれぞれのフレームから得られたコードがＣ_１、Ｃ_２、…、Ｃ_ＦＡのとき、この音声小段落Ｓが感情表出状態になる尤度Ｐ_Ａｅｍｏと平静状態になる尤度Ｐ_Ａｎｒｍを以下の式（１７）および式（１８）に示すように計算する。

上記のように算出した尤度が、Ｐ_Ａｅｍｏ＞Ｐ_Ａｎｒｍ、であれば、その音声小段落Ｓの発話状態は、感情表出状態であると判定する。逆に、Ｐ_Ａｅｍｏ≦Ｐ_Ａｎｒｍであれば、実質的に平静状態と判定されることになる。同様に、Ｐ_Ａｅｍｏ／Ｐ_Ａｎｒｍ＞１、であることを感情表出状態と判定するための条件とするのでもよい。また、正の重み係数Ｗに対しＷ^ＬＰ_Ａｅｍｏ／Ｐ_Ａｎｒｍ、を満足することを条件とすることにより、あるいは
Ｒ_Ｅ＝（ｌｏｇＰ_Ａｅｍｏ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ＞Ｗ （１９）
を満足することを条件とすることにより、小段落のフレーム数Ｌに応じて重み付けの影響を増減するようにしてもよい。ここでＬは例えばＬ＝ＦＡ−２としてもよい。

「笑い」、「怒り」、「悲しみ」の各感情表出状態判定方法においても、用いる音声特徴量については前述の方法の場合と同様であり、音声特徴量の組としては例えばパラメータ基本周波数、パワー、動的特徴量の時間変化特性の少なくとも１つ以上及び／又はこれらのフレーム間差分の少なくとも１つ以上を含むことが好ましい。出現確率も単独出現確率又はこれと条件付出現確率の組合せでもよく、更にこの組合せを用いる場合は、条件付出現確率の計算に対し線形補間法を用いることが好ましい。またこの感情表出状態判定方法においても、音声小段落又はこれよりも長い適当な区間ごとに、あるいは全体の音声信号の各音声特徴量の平均値で各音声特徴量を規格化し、あるいは標準化してフレームごとの音声特徴量の組を形成し、ベクトル量子化以降の処理を行うことが好ましい。

感情表出状態判定方法としては、例えば、音声小段落に対する「笑い」、「怒り」、「悲しみ」についての尤度Ｐ_Ａｌａｕ、Ｐ_Ａａｎｇ、Ｐ_Ａｓａｄを式（１７）と同様に次式

により計算し、これにより例えば「笑い」であるか、「平静」であるかを判定する場合には、前述と同様に笑いの表出尤度Ｐ_Ａｌａｕと生成状態尤度Ｐ_Ａｎｒｍから条件
（ａ１）Ｐ_Ａｌａｕ＞Ｐ_Ａｎｒｍ、
（ｂ１）Ｗ^ＬＰ_Ａｌａｕ＞Ｐ_Ａｎｒｍ、
（ｃ１）Ｒ_Ｌ＝（ｌｏｇＰ_Ａｌａｕ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足していれば笑いの表出状態であると判定する。「怒り」であるか「平静」であるかの判定は式（２１）を使って尤度Ｐ_Ａａｎｇを計算し、

（ａ２）Ｐ_Ａａｎｇ＞Ｐ_Ａｎｒｍ、
（ｂ２）Ｗ^ＬＰ_Ａａｎｇ＞Ｐ_Ａｎｒｍ、
（ｃ２）Ｒ_Ａ＝（ｌｏｇＰ_Ａａｎｇ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足していれば怒りの表出状態と判定する。同様に、「悲しみ」であるか「平静」であるかの判定は式（２２）を使って尤度Ｐ_Ａｓａｄを計算し、

（ａ３）Ｐ_Ａｓａｄ＞Ｐ_Ａｎｒｍ、
（ｂ３）Ｗ^ＬＰ_Ａｓａｄ＞Ｐ_Ａｎｒｍ、
（ｃ３）Ｒ_Ｓ＝（ｌｏｇＰ_Ａｓａｄ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足するか判定すればよい。判定条件はこれ以外にもいろいろなものが容易に考えられる。

感情表出が「笑い」であるか、「怒り」であるか、「悲しみ」であるかを判定する場合は、例えば上記条件式（ｃ１）、（ｃ２）、（ｃ３）による笑い尤度比Ｒ_Ｌ、怒り尤度比Ｒ_Ａ、悲しみ尤度比Ｒ_Ｓを計算し、これらの尤度比を比較することにより決めることができる。

この発明の原理によれば、前述のように、音声特徴量として基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか1つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を使用すればよいが、これらの音声特徴量のうち、動的特徴量の時間変化特性を含むことが好ましい。更に、音声特徴量として少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はそれらのフレーム間差分を使用することにより感情検出の精度を高めることができる。音声特徴量として少なくとも特に基本周波数、パワー、動的特徴量の時間変化特性は実用的な特徴量として好ましい。

以上、この発明による感情表出検出方法で使用される符号帳の作成と、その符号帳を使った感情表出の検出について詳細に説明した。以下には、この発明を使って所望の感情表出、ここでは笑い、怒り、悲しみの所望の音声区間を抽出する実施形態を示す。

第１実施形態
この実施形態は３つの感情、「笑い」、「怒り」、「悲しみ」を区別せず、何れの感情表出も「感情」として検出する場合である。

学習音声中の「笑い」の表出区間、「怒り」の表出区間、「悲しみ」の表出区間を区別せず、全ての「感情」のラベリングをし、その他の区間を全て「平静」のラベリングをして図１１に示すように１つの符号帳を作成しておく。

図１２は第１実施形態による感情表出区間の検出処理手順を示す。
ステップＳ１：入力コンテンツの音声データから所定の判定区間Ｓを取り込む。判定区間は前述の音声小段落であってもよいし、あるいは予め決めた少なくとも１フレームを含む一定長の音声区間であってもよい。

ステップＳ２：取り込んだ判定区間を分析してフレーム毎の音声特徴量ベクトルを求め、図１１の符号帳を参照して例えば式（１７）、（１８）又は式（１９）、（２０）により平静状態尤度Ｐ_Ａｎｒｍと感情表出状態尤度Ｐ_Ａｅｍｏを計算する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を行う。

ステップＳ４：全ての判定区間について感情表出状態尤度Ｐ_Ａｅｍｏと平静状態尤度Ｐ_Ａｎｒｍが例えば図１３に概念的に示すように求まると、Ｗ^ＬＰ_Ａｅｍｏ＞Ｐ_Ａｎｒｍを満たす区間Ｓ’を検出し、その各検出区間Ｓ’の位置（例えば検出区間の開始及び終了フレーム番号、又はコンテンツの最初から検出区間の開始時刻及び終了時刻）を記憶手段に記憶する。Ｗは予め決めた正の定数であり、Ｌは各区間Ｓ毎のフレーム数である。尚、図１３には、Ｗ^ＬＰ_Ａｅｍｏ，Ｐ_Ａｎｒｍを連続曲線で示しているが、実際には判定区間Ｓごとの不連続な曲線である。

ステップＳ５：ステップＳ４で検出した区間Ｓ’の位置に対応する区間をコンテンツから感情表出区間として抽出する。

第２実施形態
この実施形態は、上記第１実施形態において検出した感情表出区間Ｓ’を、図１２のステップＳ５において更に感情表出が「笑い」、「怒り」、「悲しみ」のどれであるかを判定する。この第２実施形態は第１実施形態で使用する図１１の感情表出検出用の符号帳に加えて次の符号帳を予め作成しておく。

上記「感情」のラベルがつけられた学習音声区間中の笑いの表出区間に「笑い」をラベリングし、怒りの表出区間に「怒り」をラベリングし、悲しみの表出区間に「悲しみ」をラベリングし、これら「笑い」、「怒り」、「悲しみ」がラベリングされた音声区間に基づいて図１４に示す符号帳を作成する。

図１５は、第２実施形態による「笑い」、「怒り」、「悲しみ」の感情表出区間を検出する処理手順を示す。ステップＳ１〜Ｓ４は図１１の符号帳を使って図１２に示した第１実施形態による感情表出区間の検出処理と同じであり、これにより、「笑い」、「怒り」、「悲しみ」のいずれかを含む感情表出区間Ｓ’が検出される。以降のステップＳ５〜Ｓ８により、感情表出区間Ｓ’の「笑い」、「怒り」、「悲しみ」のどれであるかを判別する。

ステップＳ５：ステップＳ４で検出された感情表出区間Ｓ’内の一連の音声特徴量ベクトルを得る。これはステップＳ１〜Ｓ３において全音声区間についての音声特徴量ベクトルが既に求められているので、その中から区間Ｓ’に対応する一連の音声特徴量ベクトルを取り出せばよい。

ステップＳ６：図１４の符号帳を参照して検出感情表出区間Ｓ’の笑い表出尤度Ｐ_Ａｌａｕ、怒りの表出尤度Ｐ_Ａａｎｇ、悲しみ表出尤度Ｐ_Ａｓａｄをそれぞれ計算する。
ステップＳ７：これら尤度Ｐ_Ａｌａｕ、Ｐ_Ａａｎｇ、Ｐ_Ａｓａｄのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク、例えば笑いはＬａｕ、怒りはＡｎｇ、悲しみはＳａｄのマークをその検出区間Ｓ’の位置に対応して記憶する。

ステップＳ８：未処理の感情表出検出区間Ｓ’が残っているか判定し、残っていればステップＳ５に戻り、次の感情表出検出区間Ｓ’について同様の処理を実行する。
ステップＳ９：全ての感情表出検出区間Ｓ’について最大尤度の判定が終了していれば、全ての感情表出検出区間Ｓ’の中からマークＬａｕ、Ａｎｇ、Ｓａｄのうち、例えば利用者により指定された感情のマークの検出区間に対応する区間をコンテンツから抽出する。

このように、第２実施形態に拠れば、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出に対応する部分をコンテンツから抽出することができる。

第３実施形態
上述の第２実施形態では音声データからまず感情表出区間を検出し、次に各感情表出区間が「笑い」、「怒り」、「悲しみ」のいずれかであるかを判定する場合を示したが、この第３実施形態では、音声データから直接「笑い」、「怒り」、「悲しみ」の任意の感情表出を検出する。符号帳は図１４に示したものを使用する。図１６は第３実施形態による感情表出区間の検出処理手順を示す。

ステップＳ１：判定区間Ｓを入力音声コンテンツから取り込む。
ステップＳ２：判定区間Ｓの一連のフレーム音声特徴量ベクトルを求め、図１４の符号帳を参照して笑い表出尤度Ｐ_Ａｌａｕ、怒り表出尤度Ｐ_Ａａｎｇ、悲しみ表出尤度Ｐ_Ａｓａｄをそれぞれ計算する。

ステップＳ３：これら尤度Ｐ_Ａｌａｕ、Ｐ_Ａａｎｇ、Ｐ_Ａｓａｄのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク例えば笑いはＬａｕ、怒りはＡｎｇ、悲しみはＳａｄのマークをその判定区間Ｓの位置に対応して記憶する。

ステップＳ４：未処理の判定区間Ｓが残っているか判定し、残っていればステップＳ１に戻り、次の判定区間Ｓについて同様の処理を実行する。
ステップＳ５：全ての判定区間Ｓについて最大尤度の判定が終了していれば、全ての判定区間Ｓの中からマークＬａｕ、Ａｎｇ、Ｓａｄのうち、例えば利用者により指定されたマークの検出区間に対応する区間をコンテンツから抽出する。

このように、第３実施形態によっても、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出に対応する部分をコンテンツから抽出することができる。この第３実施形態の場合は、第１実施形態における符号帳は使用しないので、平静状態尤度を使用しないことになる。即ち、この発明による感情表出の検出には、平静状態尤度の計算を必ずしも必要としない。

第４実施形態
この実施形態も、例えば「笑い」、「怒り」、「悲しみ」の３種類の感情表出の任意のもの（１つ又は複数）を抽出することを可能にするものであり、予め次の３つの符号帳を作成しておく（図９の例と同様である）。

（１）学習音声中の全ての笑いの表出区間に「笑い」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして笑い検出用符号帳を作成する。
（２）学習音声中の全ての怒りの表出区間に「怒り」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして怒り検出用符号帳を作成する。
（３）学習音声中の全ての悲しみの表出区間に「悲しみ」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして悲しみ検出用符号帳を作成する。

図１７は第４実施形態の処理手順を示す。この実施形態においても、３種類の感情表出の任意の１つ又は複数を検出できる。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。判定区間Ｓは前述のように音声小段落でもよいし、予め決めた一定長の区間でもよい。

ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、上記笑い検出用符号帳を参照して笑い表出尤度Ｐ_Ａｌａｕとそれに対する平静状態尤度Ｐ_Ａｎｒｍを求め、笑い尤度比
Ｒ_Ｌ＝（ｌｏｇＰ_Ａｌａｕ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ
を計算する。上記怒り検出用符号帳を参照して怒り表出尤度Ｐ_Ａａｎｇとそれに対する平静状態尤度ＰＡｎｒｍを求め、怒り尤度比
Ｒ_Ａ＝（ｌｏｇＰ_Ａａｎｇ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ
を計算する。更に、上記悲しみ検出用符号帳を参照して悲しみ表出尤度Ｐ_Ａｓａｄとそれに対する平常状態尤度ＰＡｎｒｍを求め、悲しみ尤度比
Ｒ_Ｓ＝（ｌｏｇＰ_Ａｓａｄ−ｌｏｇＰ_Ａｎｒｍ）／Ｌ
を計算する。計算したこれら尤度比Ｒ_Ｌ，Ｒ_Ａ，Ｒ_Ｓを記憶する。

ステップＳ３：残りの判定区間Ｓがあるか判定し、あればステップＳ１に戻り次の判定区間Ｓについて同様の処理を実行する。音声データの全区間について終了していれば、利用者により指定された「笑い」、「怒り」、「悲しみ」の任意の１つ又は複数について次のステップＳ４，Ｓ５，Ｓ６のうち、指定された感情に対応するものを実行する。

ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理により例えば図１８に概念的に示すように、縦軸を尤度比Ｒとして笑い表出尤度比Ｒ_Ｌ、怒り表出尤度比Ｒ_Ａ、悲しみ表出尤度比Ｒ_Ｓの曲線がそれぞれ得られており、これらと予め決めた閾値Ｒｔｈを比較し、Ｒｔｈより大となる区間を検出し、それらの位置と感情マークＬａｕ，Ａｎｇ，Ｓａｄを対応させて記憶する。

ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定されたものの検出区間をコンテンツから抽出する。
このように、この第３実施形態においても「笑い」、「怒り」、「悲しみ」の任意の感情表出を選択してコンテンツから抽出することが可能である。

第５実施形態
この実施形態は第４実施形態の変形例である。第４実施形態では感情表出区間を検出するために各感情表出状態尤度比を一定閾値Ｒｔｈと比較したが、ここでは、各感情表出状態尤度を共通の平静状態尤度と比較して各感情表出区間を検出する。そのために、学習音声中の笑い表出区間、怒り表出区間、悲しみ表出区間にそれぞれ「笑い」、「怒り」、「悲しみ」をラベリングし、音声が平静となる区間に「平静」をそれぞれラベリングし、図１９に示す符号帳を作成しておく。図１９に示すように、符号帳には笑い、怒り、悲しみ、平静の各感情表出における符号の単独出現確率（ｕｎｉｇｒａｍ）、条件付出現確率（ｂｉｇｒａｍ、ｔｒｉｇｒａｍ）が学習音声から求められ、書き込まれている。

図２０は第５実施形態の処理手順を示す。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、図１９の符号帳を参照して笑い表出尤度Ｐ_Ａｌａｕ、怒り表出尤度Ｐ_Ａａｎｇ、悲しみ表出尤度Ｐ_Ａｓａｄ、平静状態尤度Ｐ_Ａｎｒｍを計算し、記憶する。

ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を実行する。残りの判定区間がなければ、「笑い」、「怒り」、「悲しみ」のうち利用者により指定された１つ又は複数についてステップＳ４、Ｓ５，Ｓ６の対応するものを実行する。

ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理が終了した段階で例えば図２１に概念的に示すように、笑い表出尤度Ｐ_Ａｌａｕ、怒り表出尤度Ｐ_Ａａｎｇ、悲しみ表出尤度Ｐ_Ａｓａｄ、平常状態尤度Ｐ_Ａｎｒｍの曲線が得られている。ただし、図２１ではフレーム数ＦＡの区間の各感情表出尤度Ｐ_Ａｌａｕ、Ｐ_Ａａｎｇ、Ｐ_Ａｓａｄに重みＷ^Ｌを乗算した曲線を示している。これら尤度曲線Ｗ^ＬＰ_Ａｌａｕ、Ｗ^ＬＰ_Ａａｎｇ、Ｗ^ＬＰ_Ａｓａｄと曲線Ｐ_Ａｎｒｍと比較し、Ｗ^ＬＰ_Ａｌａｕ＞Ｐ_Ａｎｒｍ、Ｗ^ＬＰ_Ａａｎｇ＞Ｐ_Ａｎｒｍ、Ｗ^ＬＰ_Ａｓａｄ＞Ｐ_Ａｎｒｍを満足し、かつＰ_Ａｌａｕ、Ｐ_Ａａｎｇ、Ｐ_Ａｓａｄのうち最大のものの区間をそれぞれ検出し、それぞれ検出区間の位置とマークを対応させて記憶する。
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者に指定された感情の検出区間に対応する区間を音声コンテンツから抽出する。

第６実施形態
この実施形態では、予め学習音声中の「笑い」、「怒り」、「悲しみ」の音声区間にそれぞれ対応するラベルをつけ、「笑い」の音声区間と「怒り」の音声区間の全フレームの音声特徴量スペクトルから笑い表出についての各量子化音声特徴量ベクトルの各出現確率と、怒り表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−１を作成し、同様に「怒り」の音声区間と「悲しみ」の音声区間の全フレームの音声特徴量ベクトルから怒り表出についての各量子化音声特徴量ベクトルの各出現確率と、悲しみ表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−２を作成し、「悲しみ」の音声区間と「笑い」の音声区間の全フレームの音声特徴量ベクトルから悲しみ表出についての各量子化音声特徴量ベクトルの各出現確率と、笑い表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−３を作成しておく。

図２３は第６実施形態による感情表出検出処理手順を示す。
ステップＳ１〜Ｓ４は図１２の各感情を区別しない場合の処理手順と同様であり、図１１の符号帳を使って全音声区間について得た感情表出状態尤度Ｗ^ＬＰ_Ａｅｍｏと平静状態尤度Ｐ_Ａｎｒｍの曲線からＷ^ＬＰ_Ａｅｍｏ＞Ｐ_Ａｎｒｍとなる区間を感情表出区間Ｓ’として全て検出し、一時記憶する。

ステップＳ５：感情表出区間Ｓ’を取り込む。
ステップＳ６：感情表出区間Ｓ’の一連の音声特徴量スペクトルから図２２の符号帳ＣＢ−１を参照して笑い表出尤度Ｐ_{Ａｌａｕ１}と怒り表出尤度Ｐ_{Ａａｎｇ２}を求め、符号帳ＣＢ−２を参照して怒り表出尤度Ｐ_{Ａａｎｇ１}と悲しみ表出尤度Ｐ_{Ａｓａｄ２}を求め、符号帳ＣＢ−３を参照して悲しみ表出尤度Ｐ_{Ａｓａｄ１}と笑い表出尤度Ｐ_{Ａｌａｕ３}を求める。
ステップＳ７：上記尤度から笑い、怒り、悲しみについてそれぞれ２つの尤度を以下のように決める。

笑い尤度：Ｐ_LAU1＝Ｐ_Alau1／Ｐ_Aang2； Ｐ_LAU2＝Ｐ_Alau2／Ｐ_Asad1
怒り尤度：Ｐ_ANG1＝Ｐ_Aang1／Ｐ_Asad2； Ｐ_ANG2＝Ｐ_Aang2／Ｐ_Alau1
悲しみ尤度：Ｐ_SAD1＝Ｐ_Asad1／Ｐ_Alau2； Ｐ_SAD2＝Ｐ_Asad2／Ｐ_Aang1

ステップＳ８：笑い度、怒り度、悲しみ度を以下のように決める。
笑い度：ＬＡＵ＝（ＰＬＡＵ１＋ＰＬＡＵ２）／２
怒り度：ＡＮＧ＝（ＰＡＮＧ１＋ＰＡＮＧ２）／２
悲しみ度：ＳＡＤ＝（ＰＳＡＤ１＋ＰＳＡＤ２）／２

ステップＳ９：図２４に示すように、
ＬＡＵ＞ＡＮＧかつＬＡＵ＞ＳＡＤの区間を検出し、Ｌａｕのマークを付ける。
ＡＮＧ＞ＳＡＤかつＡＮＧ＞ＬＡＵの区間を検出し、Ａｎｇのマークを付ける。
ＳＡＤ＞ＬＡＵかつＳＡＤ＞ＡＮＧの区間を検出し、Ｓａｄのマークを付ける。

ステップＳ１０：全ての検出区間Ｓ’について処理が終了したか判定し、終了してなければステップＳ５に戻って次の感情表出検出区間Ｓ’についてステップＳ６〜Ｓ９で同様の処理を実行する。
ステップＳ１１：全ての検出区間Ｓ’について終了していれば、利用者により指定された感情のマークの区間を音声コンテンツから抽出する。あるいはユーザが希望する指定の時間長で要約を視聴したい、笑っているところだけを見たい、などの要求を満足する閾値Ｒ_ｔｈ以上の区間を抽出してもよい（図２２の破線参照）。

上述の第１から第６実施形態における各感情表出状態尤度Ｐ_Ａｌａｕ、Ｐ_Ａｎｇ、Ｐ_Ａｓａｄはいずれも前記式（１７）または（１９）のいずれを使用して計算してもよい。

以上説明したように、本発明の第１の実施の形態に係る情報処理装置および情報処理プログラムは、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、自動的に推測した利用者の感情に応じた顔画像を描画させることができる。

また、入力音声の音声特徴量の組を量子化し、符号帳中の対応する音声特徴量ベクトルが感情表出状態で出現する確率を符号帳から求め、この出現確率からその感情表出であるか否かを判定しているため、利用者の声質に依存することなく利用者の感情を特定することができ、特定した感情に応じた顔画像を描画させることができる。

Ｂ．第２の実施の形態
本発明の第２の実施の形態について、図面を用いて説明する。図２５は、本発明の第２の実施の形態に係る情報処理装置のブロック構成図である。図２５に示すように、情報処理装置２００は、画像情報記憶手段１１０、音声信号受信手段１２０、感情推測手段１３０、画像変化手段１４０、表示手段１５０、電子メール選択手段２６０、および顔画像検出手段２７０を備えて構成されている。これらの手段は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。また、情報処理装置２００は、パソコンを含むコンピュータを用いても実現可能である。

なお、本発明の第２の実施の形態に係る情報処理装置を構成する手段のうち、本発明の第１の実施の形態に係る情報処理装置を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。また、本発明の第２の実施の形態に係る情報処理装置のハードウエア構成は、本発明の第１の実施の形態に係る情報処理装置のハードウエア構成と同様である。

電子メール選択手段２６０は、受信した電子メールのうち任意の電子メールを利用者に選択させるようになっている。例えば、電子メール選択手段２６０は、ＰＯＰ３、ＳＭＴＰ、またはＩＭＡＰ４などのプロトコルに準拠した電子メールのクライアントソフトなどによって構成されている。

顔画像検出手段２７０は、電子メール選択手段２６０によって選択された電子メールに含まれる画像情報から顔画像情報を検出し、画像情報記憶手段１１０は、顔画像検出手段２７０が検出した顔画像情報を記憶するようになっている。例えば、顔画像検出手段２７０は、電子メールに添付された画像ファイルがあれば、顔認証技術を用いて画像ファイルから顔画像情報を検出するようになっている。

以下、本発明の第２の実施の形態に係る情報処理装置が実行するプログラムについて、図面を参照して説明する。図２６は、本発明の第２の実施の形態に係る情報処理装置の動作の流れを示すフローチャートである。

まず、利用者は電子メールのクライアントソフトを操作して、任意の電子メールを構成する電子ファイルが、電子メール選択手段２６０によって選択される（Ｓ２０１）。任意の電子メールを構成する電子ファイルが選択されたとき、電子メールに添付されている画像情報から顔画像情報が顔画像検出手段２７０によって検出されたか否か、確認される（Ｓ２０２）。

顔画像情報が検出されたとき、顔画像情報は、画像情報記憶手段１１０によって記憶される（Ｓ２０３）。ここで、利用者が音声を発声すれば、利用者が発声した音声に従って利用者の感情が推定され、感情に対応する表情になるように顔画像検出手段２７０によって検出された顔画像は変化する。

以上説明したように、本発明の第２の実施の形態に係る情報処理装置および情報処理プログラムは、電子メールに含まれる画像情報から顔画像情報を検出したとき、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、ビデオメールなどの電子メールに付加価値を与えることができる。

また、本発明の第２の実施の形態に係る情報処理装置および情報処理プログラムは、顔画像を通じて感情を利用者に共有させることができ、例えば、利用者が悲しい内容の電子メールを読んでいるとき、利用者の泣き声に応じて顔画像が変化し、可笑しい内容の電子メールを読んでいるとき、利用者の笑い声に応じて顔画像が変化するため、顔画像を通じて感情を利用者に共有させることができる。

Ｃ．第３の実施の形態
本発明の第３の実施の形態について、図面を用いて説明する。図２７は、本発明の第３の実施の形態に係る情報処理装置のブロック構成図である。図２７に示すように、情報処理装置３００は、通信手段３０１、画像情報記憶手段１１０、感情推測手段１３０、画像変化手段１４０、および表示手段１５０を備えて構成されている。これらの手段は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。また、情報処理装置３００は、パソコンを含むコンピュータを用いても実現可能である。

なお、本発明の第３の実施の形態に係る情報処理装置を構成する手段のうち、本発明の第１の実施の形態に係る情報処理装置を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。また、本発明の第３の実施の形態に係る情報処理装置のハードウエア構成は、本発明の第１の実施の形態に係る情報処理装置のハードウエア構成と同様である。

通信手段３０１は、音声信号受信手段３２０を備えて構成されている。また、情報処理装置３００と通信端末１０との間では、ネットワーク２０を介してテレビ電話としての通信を行うようになっている。また、インタフェース部１０６などを介して発呼や着呼などに関わる処理、または、通信端末１０との間のデータの送受などを行うようになっている。

音声信号受信手段３２０は、ネットワーク２０を介して相手の通信端末１０から得られた音声信号を受信するようになっている。

以下、本発明の第３の実施の形態に係る情報処理装置が実行するプログラムについて、図面を参照して説明する。図２８は、本発明の第３の実施の形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、本発明の第３の実施の形態に係る情報処理装置が行う処理のうち、本発明の第１の実施の形態に係る情報処理装置が行う処理と同一のものには同一の符号を付している。

まず、相手が発声した音声から得られた音声信号は、音声信号受信手段３２０によってネットワーク２０を介して受信され（Ｓ３０１）、受信された音声信号に基づいて通信相手の感情は、感情推測手段１３０によって推測される（Ｓ１０２）。

次に、予め決められた顔画像は、画像変化手段１４０によって感情推測手段１３０が推測した感情に対応する表情になるように変化され（Ｓ１０３）、変化された顔画像は、表示手段１５０によって表示される（Ｓ１０４）。なお、予め決められた顔画像に代えて、通信端末１０が有するカメラから相手の顔の像を撮像し、撮像された顔の像を表す情報をネットワーク２０を介して得られた顔画像でもよい。

以上説明したように、本発明の第３の実施の形態に係る情報処理装置および情報処理プログラムは、ネットワーク２０を介して相手の端末から得られた音声信号に基づいて通信相手の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、通信相手の感情面に着目して魅力的な通信を実現することができる。

また、本発明の実施の形態では、音声処理装置が上記のＳ３１０〜Ｓ３４０の各ステップでの処理を行う音声処理動作について説明したが、これらのステップＳ３１０〜Ｓ３４０を含む音声処理動作を実行させるための音声処理プログラムがインストールされた所定のコンピュータを用いて実施することも可能である。

本発明に係る情報処理装置および情報処理プログラムは、自動的に推測した利用者の感情に応じた顔画像を描画させることができるという効果が有し、パソコン、携帯電話、または公共施設に設置されている端末などの用途にも利用可能である。

本発明の第１の実施の形態に係る情報処理装置の構成を示すブロック図。 本発明の第１の実施の形態に係る情報処理装置のハードウエア構成を示す概略図。 本発明の第１の実施の形態に係る感情推測手段の構成を示すブロック図。 本発明の第１の実施の形態に係る情報処理装置の動作の流れを示すフローチャート。 本発明の第１の実施の形態に係る感情推測手段１３０の動作を説明するためのフローチャート。 ステップＳ３３０での処理の詳細を説明するためのフローチャート。 音声小段落、音声段落等を説明するための概念図。 ステップＳ３１０での処理の詳細を説明するためのフローチャート。 符号帳の記録例を示す図。 音声データの処理を説明するための模式図。 第１実施形態に使用する符号帳の例を示す図。 第１実施形態の処理手順を示すフローチャート。 尤度の比較による感情表出区間の検出を説明するための概念図。 第１実施形態で使用される符号帳の例を示す図。 第２実施形態の処理手順を示すフローチャート。 第３実施形態の処理手順を示すフローチャート。 第４実施形態の処理手順を示すフローチャート。 尤度比に基づく感情表出区間の検出を説明するための概念図。 第４実施形態で使用される符号帳の例を示す図。 第５実施形態の処理手順を示すフローチャート。 尤度比較に基づく感情表出区間の検出を説明するための概念図。 第６実施形態で使用される符号帳の例を示す図。 第６実施形態の処理手順を示すフローチャート。 笑い度、怒り度、悲しみなどの比較による感情表出を説明するための概念図。 本発明の第２の実施の形態に係る情報処理装置の構成を示すブロック図。 本発明の第２の実施の形態に係る情報処理装置の動作の流れを示すフローチャート。 本発明の第３の実施の形態に係る情報処理装置の構成を示すブロック図。 本発明の第３の実施の形態に係る情報処理装置の動作の流れを示すフローチャート。

符号の説明

１００，２００，３００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＥＥＰＲＯＭ
１０５ ハードディスク
１０６ インタフェース部
１０７ ディスプレイ
１１０ 画像情報記憶手段
１２０，３２０ 音声信号受信手段
１３０ 感情推測手段
１３１ 記憶手段
１３２ 音声特徴量抽出手段
１３３ 感情表出尤度算出手段
１３４ 平静状態尤度算出手段
１３５ 感情表出判定手段
１４０ 画像変化手段
１５０ 表示手段
２６０ 電子メール選択手段
２７０ 顔画像検出手段
３０１ 通信手段

Claims (2)

1. 学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、
   顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段と、
   利用者が発声した音声から得られた音声信号を受信する音声信号受信手段と、
   前記音声信号受信手段によって受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出手段と、
   前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出手段と、
   前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出手段と、
   前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測手段と、
   前記感情推測手段が推測した感情に対応する表情になるように前記顔画像を変化させる画像変化手段と、
   前記画像変化手段によって変化された顔画像を表示する表示手段と
   を備えたことを特徴とする情報処理装置。
2. 学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段とを有するコンピュータに、
   利用者が発声した音声から得られた音声信号を受信する音声信号受信ステップと、
   前記音声信号受信ステップで受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出ステップと、
   前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出ステップと、
   前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出ステップと、
   前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測ステップと、
   前記感情推測ステップで推測した感情に対応する表情になるように前記顔画像を変化させる画像変化ステップと、
   前記画像変化ステップで変化した顔画像を表示する表示ステップと
   を実行させることを特徴とする情報処理プログラム。
   

Images