JPH08297496A

JPH08297496A - 音声特徴分析装置

Info

Publication number: JPH08297496A
Application number: JP7102631A
Authority: JP
Inventors: Ichiro Hattori; 一郎服部; Akira Suzuki; 晃鈴木
Original assignee: Fujitsu Ltd; Animo Ltd
Current assignee: Fujitsu Ltd; Animo Ltd
Priority date: 1995-04-26
Filing date: 1995-04-26
Publication date: 1996-11-12
Anticipated expiration: 2017-05-13
Also published as: US5774850A; JP3280825B2

Abstract

(57)【要約】【目的】本発明は、カラオケ機等に接続して不特定者の
音声の分析を行う音声特徴分析装置を提供することを目
的とする。【構成】本発明は、操作者に特定の言葉を発声してもら
い、その発声した音の特徴を抽出する音声特徴抽出手段
と、この特定の言葉について、音声の特徴と対応する分
析情報を格納した音声特徴分類テーブルと、この音声特
徴分類テーブルに基づいて、前記音声特徴抽出手段で抽
出した音声の特徴に対応する分析情報を出力する分析情
報出力手段を備えるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声により個人の特徴
を分析する音声特徴分析装置に関する。

【０００２】

【従来の技術】従来、図２に示すように、音声による特
徴分析では特定話者の基準となる音声を予め登録した後
に、分析を行う場合には、その基準となる音声と同一話
者の分析を行う音声入力データとの比較によって分析を
行っていた。図２において、９１は音声入力部、９２は
基準音声記憶部、９３は音声入力部９１より入力された
音声と、基準音声記憶部９２に格納されている音声とを
比較する比較処理部で、９４は比較処理部９３の処理結
果を出力する出力部である。

【０００３】ユーザは、始めに入力部９１より基準とな
る音声（例えば健康であると感じている時の音声）を入
力し、基準音声記憶部９２に保存しておく。そしてユー
ザが体調を診断する際に、入力部９１より音声を入力す
る。比較処理部９３では入力された音声と基準音声記憶
部９２に格納されている音声とのずれを比較計算するこ
とによって、出力部９４を用いてユーザに結果を提示し
ていた。この場合、音声データについて周波数等による
分析をした上での比較処理ではなく、単に入力された音
声を比較するのみであった。

【０００４】

【発明が解決しようとしている課題】従来の方法では、
基準の音声を予め入力してしておかなくては処理を行う
ことができなく、また基準音声との比較音声を行う必要
から特定話者の分析しか行えない等の問題があった。ま
た、複数話者を分析するためには、複数の基準音声記憶
部を用意する必要があった。

【０００５】

【課題を解決するための手段】本発明の課題は、特定の
言葉を発声した音を入力する入力手段と、前記入力手段
で入力された音の特徴を抽出する音声特徴抽出手段と、
前記特定の言葉について、音声の特徴と対応する分析情
報を格納した音声特徴分類テーブルと、前記音声特徴分
類テーブルに基づいて、前記音声特徴抽出手段で抽出し
た音声の特徴に対応する分析情報を出力する分析情報出
力手段により解決される。

【０００６】

【作用】音声の特徴をソナグラムパターン、ピッチ周波
数に関する情報、発声時間等による複数の不特定話者に
おける相違を抽出しておき、その抽出した相違とそれに
対応する分析結果の対応テーブルを音声特徴分類テーブ
ルとして作成しておく。そして、入力された音声から特
徴を抽出し、音声特徴分類テーブルに基づいて、そこに
格納されている性格、健康状態、及びストレス度を提示
するようにした。また、２人の音声を入力することによ
って、２人の性格を分析し、その相性をも提示するよう
にした。

【０００７】

【実施例】図１は本発明の一実施例の構成図である。図
中の１は本願発明の音声特徴分析装置であり、カラオケ
機１００に接続されている。２は音声入力手段であり、
カラオケ機１００のマイク１０１からの音声データを入
力処理するものであり、マイク１０１から入力されるア
ナログの音声データをＡ／Ｄ変換し、デジタルデータと
して音声特徴装置内のメモリ（図示せず）への格納処理
を行うものである。

【０００８】３は音声特徴抽出手段であり、音声入力手
段２により入力処理された音声データについて、発声時
間、ピッチ周波数の最大値、ピッチ周波数の平均値、周
波数毎の時間分布のパターンであるソナグラム情報等に
基づいて、音声の特徴抽出するものである。４は音声の
特徴毎に対応する健康状態や性格に関する文章を格納し
た音声特徴分析テーブルである。音声特徴分析テーブル
４の詳細な構造については、図１７乃至図２２に示して
ある。すなわち、性格分析に関する音声特徴分析テーブ
ルには、図１７の性格分類値テーブル２４と図１８の性
格分析情報テーブル２５が該当する。本実施例では音声
特徴分析テーブルを分類値のテーブルと分析情報のテー
ブルの２つに分割してあるが、分類値を省略して、一つ
のテーブルとしてもよい。また同様に、健康分析に関す
る音声特徴分析テーブルには、図２１の健康分類値テー
ブル２８と図２２の健康分析情報テーブル２９が該当す
る。

【０００９】５は音声特徴抽出手段で抽出した特徴をキ
ーとして、音声特徴分析テーブル４内の対応する文章デ
ータを検索し、求めた文章データを出力装置に出力させ
る分析情報出力手段である。１０２はディスプレイ、１
０３はプリンタであって、音声特徴分析装置１の分析結
果の出力先である。図３は本発明の一実施例における動
作フローである。図４は音声特徴抽出処理の動作フロー
であり、図３のＳ３４の処理の動作を詳細に示すもので
ある。また、図５は健康／性格分析処理の動作フローで
あり、図３のＳ３５の処理の動作を詳細に示すものであ
る。

【００１０】図６は、本発明における画面入力および画
面出力を例を示す図である。図３乃至図５のフローと、
図７乃至図２２のデータ構造を用いて、本願の一実施例
の処理を説明する。まず、１人の健康と性格分析したい
か、あるいは、２人の相性および各人の健康と性格を分
析したいかを指定させておく（Ｓ３１）。そして、図６
にあるとおり、ユーザ（発声者）に対して、画面を用い
て、特定の言葉をマイクを使用して発声するように指示
する（Ｓ３２）。ここでは、ＳＴＡＲＴボタンをディス
プレイ上に点滅させることにより、発声を指示する。こ
の特定の言葉とは、後の分析処理の段階で音声の特徴を
抽出しやすいように、例えば、「ＩＬＯＶＥＹＯ
Ｕ」等のように母音を多く含む言葉にすると良い。装置
からの指示に従いユーザが指定された言葉をマイク１０
１を使用して発声すると、その音声データをＡ／Ｄ変換
し、デジタル化された音声データを装置内のメモリに格
納する（Ｓ３３）。Ｓ３１で２人の分析モードを選択し
た場合には、もう一度、Ｓ３２、Ｓ３３の処理を行う。
図８はデジタル化された音声データのメモリ上に格納さ
れる形式であり、所定単位時間毎の音声の強さが格納さ
れている。その内容を表示したものが、図７である。

【００１１】次に、このメモリに格納されているデジタ
ル化した音声データの特徴を抽出する処理を行う（Ｓ３
４）。その詳細を図４を用いて説明する。まず図８に示
したデジタル化した音声データのうち、特定の言葉を発
声した部分（発声時間）を算出する。すなわち、図８に
示した音声データの強さが一定以上（雑音以上のレベ
ル）を始めて越えたメモリ上の位置情報を求め、そし
て、一定レベル以下の音声が一定時間以上続き、始めて
その一定レベル以下になった音声の位置情報を求める。
この２つの位置情報の間隔（個数）に音声データが格納
される単位時間をかけることで、発声時間を算出する
（Ｓ４１）。

【００１２】次に、このデジタル化した音声データの内
の発声部分をＦＦＴ（高速フーリエ変換）の処理を行う
ことで、図９に示したデータを得る。ＦＦＴの処理で
は、図７にあるように、発声部分を所定個数（Ｎ個）の
フレームに分割し、各フレーム毎に周波数毎のパワース
ペクトルの波形データ（図９）を求める（Ｓ４２）。そ
して、各フレーム毎のパワースペクトルの波形データか
らピッチ周波数を算出し、メモリに格納する（Ｓ４
３）。ピッチ周波数とは各フレームの波形データの内、
最初のピークに対応する周波数のことである。１乃至Ｎ
フレームまでのピッチ周波数を格納したテーブルは図１
０のとおりである。さらに、図９のパワースペクトルの
データについて、閾値を越える周波数を求め、各フレー
ム番号を時間に対応させ、周波数と時間との対応のデー
タを求め、メモリに格納する（Ｓ４４）。そのメモリ内
のデータ形式を示したものが図１２であり、それを表示
したものが図１１である。

【００１３】次に図３における音声の特徴に対応する健
康・性格の分析データを求める処理（Ｓ３５）の説明
を、図５のフローを用いて説明する。まず、発声時間分
類値を算出する（Ｓ５１）。図４のＳ４１で算出した発
声時間のデータをキーに、図１３の発声時間分類テーブ
ル２０を検索する。発声時間のデータが、発声時間分類
テーブル２０の左から一番のカラムの値と２番目カラム
の値の範囲に入る対応するレコードの分類値を取り出
す。例えば、１．５秒の場合には「時１」という分類値
を取り出す。

【００１４】次に、ピッチ周波数最大値の分類値を算出
する（Ｓ５２）。図１０にあるピッチ周波数データ１１
からピッチ周波数の最大値を求め、その最大値をキーに
して、図１４のピッチ周波数最大値分類テーブル２１を
検索する。Ｓ５１の処理と同様に、例えば、ピッチ周波
数の最大値が１７６Ｈｚならば、分類値「最２」が算出
される。

【００１５】ピッチ周波数最大値の場合と同様にして、
ピッチ周波数データ１１と図１５のピッチ周波数平均値
分類テーブル２２から、ピッチ周波数平均値の分類値を
算出する（Ｓ５３）。次に、ソナグラムパターンの分類
値を算出する（Ｓ５４）。図１２は、ソナグラムパター
ンデータ１２の形式を示すものであり、図１１はそのソ
ナグラムパターンデータ１２の表示例である。ソナグラ
ムパターンデータ１２とは、発声した音に含まれる各周
波数帯毎の時間分布パターンである。本実施例では時間
値の代わりにフレーム番号を用いている。このソナグラ
ムパターンデータ１２は、図９の各フレームのＦＦＴ変
換後のデータより求める。すなわち、各フレームのＦＦ
Ｔ変換後のデータのうち、各周波数帯について、閾値を
越えるパワーを有するかどうかを判定し、閾値を越えて
いれば、ソナグラムパターンデータ内の周波数帯とフレ
ーム番号に対応する位置に「１」を格納し、閾値を越え
ていなければ、「０」を格納する。

【００１６】本装置には、分析に使用する、特定の性格
あるいは健康状態を示すソナグラムパターンデータを複
数個、あらかじめ記憶している。（図示せず）。Ｓ５４
の動作は、まず、入力された音声データからソナグラム
パターンデータを作成し、予め記憶されている複数個の
ソナグラムパターンデータとの比較処理を行う。図１６
にあるソナグラム分類テーブル２３を用いて、この比較
処理を行う。図１６のソナグラム分類テーブル２３の第
１段目は比較を行うソナグラムパターン番号を格納して
おり、この番号により対応するソナグラムパターンデー
タを取り出す。第２段目は一致度が一番高い際に取り出
す分類値を格納している。第３段目は比較処理における
作業領域であり、ソナグラムパターンデータ内の「１」
の格納位置、及び「０」の格納位置の一致数を格納する
領域である。すべてのソナグラムパターンについて、比
較処理を行い、この作業領域の値に基づいて、最も一致
数の多いソナグラムパターンに対応する分類値を求め
る。

【００１７】そして、前記で算出した４種類の分類値を
キーにして、図１７の性格分類値テーブル２４と図２１
の健康分類値テーブル２８を検索して、性格および健康
状態の分類値を求める（Ｓ５５）。例えば、４種類の分
類値が「時１」「最１」「平１」「面３」の場合には、
性格分類値としては「性格３」が求められ、健康分類値
としては「健康・ストレス３」が求められる。

【００１８】以上の処理は、２人の相性を分析するモー
ドの場合には、２人目の分の処理を行う。また、図３に
あるとおり、２人の相性を分析するモードである場合に
は（Ｓ３６）、２人の相性分析データを求める（Ｓ３
７）。この処理は、図６のフローにあるとおり、先ず、
各人の性格分類値をキーに、図１９にある相性分類値テ
ーブル２６を検索し、相性分類値を求める。例えば１人
の性格分類値が「性格３」でもう１人の性格分類値が
「性格２」の場合には、相性分類値「相性３・２」が求
められる。

【００１９】前記で算出した性格分類値、健康分類値、
相性分類値をキーにして、それぞれ、図１８の性格分析
情報テーブル２５、図２２の健康分析情報テーブル２
９、図２０の相性分析情報テーブル２７を検索し、分析
結果である文書情報を抽出し、ディスプレイ１０２、プ
リンタ１０３、図６のように出力する。以上説明してき
たのは、カラオケ機に接続した音声特徴分析装置につい
てであるが、パソコン通信を通じて利用することも可能
である。また、ストレス度チェックを行うシステムを車
等に搭載し、運転者の発声する声を常に監視し、ストレ
ス度が高まってきた場合に、休憩を促すようになシステ
ムにも利用可能である。

【００２０】

【発明の効果】以上説明したように、本発明によって、
不特定話者を対象として性格分析、相性分析、健康分析
（ストレス度チェック）等の分析を、特定の言葉を発声
するだけで行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成図

【図２】従来技術を説明する図

【図３】本発明の一実施例における動作フロー

【図４】音声特徴抽出処理の動作フロー

【図５】健康／性格分析処理の動作フロー

【図６】発声指示画面および分析結果出力画面の例

【図７】入力音声データの表示例

【図８】Ａ／Ｄ変換後の入力音声データのデータ形式

【図９】各フレームのＦＦＴ変換後のデータの表示例

【図１０】ピッチ周波数データのデータ形式

【図１１】ソナグラムパターンデータの表示例

【図１２】ソナグラムパターンデータのデータ形式

【図１３】発声時間分類テーブルのデータ形式

【図１４】ピッチ周波数最大値分類テーブルのデータ形
式

【図１５】ピッチ周波数平均値分類テーブルのデータ形
式

【図１６】ソナグラム分類テーブルのデータ形式

【図１７】性格分類値テーブルのデータ形式

【図１８】性格分析情報テーブルのデータ形式

【図１９】相性分類値テーブルのデータ形式

【図２０】相性分析情報テーブルのデータ形式

【図２１】健康分類値テーブルのデータ形式

【図２２】健康分析情報テーブルのデータ形式

【符号の説明】

１音声特徴分析装置２音声入力手段３音声特徴抽出手段４音声特徴分析テーブル５分析情報出力手段１００カラオケ機１０１マイク１０２ディスプレイ１０３プリンタ

Claims

【特許請求の範囲】

【請求項１】特定の言葉を発声した音を入力する入力手
段と、前記入力手段で入力された音の特徴を抽出する音声特徴
抽出手段と、前記特定の言葉について、音声の特徴と対応する分析情
報を格納した音声特徴分類テーブルと、前記音声特徴分類テーブルに基づいて、前記音声特徴抽
出手段で抽出した音声の特徴に対応する分析情報を出力
する分析情報出力手段とを備えたことを特徴とする音声
特徴分析装置。
【請求項２】前記音声特徴分類テーブルの分析情報には
健康の状態に関する情報を格納したことを特徴とする請
求項１記載の音声特徴分析装置。
【請求項３】前記音声特徴分類テーブルの分析情報には
人の性格に関する情報を格納したことを特徴とする請求
項１記載の音声特徴分析装置。
【請求項４】前記入力手段から２人の発声音が入力さ
れ、第１の人の性格に関する情報と第２の人の性格に関する
情報から対応する相性情報を格納する相性分類テーブル
を備え、前記分析情報出力手段は、前記音声分類テーブルに基づ
いて、前記音声特徴抽出手段で抽出した前記２人の音声
の特徴に対応する性格の分析情報をそれぞれ求め、求め
た性格の分析情報から前記相性分類テーブルに基づい
て、２人の相性に関する情報を出力することを特徴とす
る請求項３記載の音声特徴分析装置。
【請求項５】前記音声特徴分析装置はカラオケ装置に接
続され、カラオケのマイクからの音を前記入力手段の入
力とすることを特徴とする請求項１乃至４記載の音声特
徴分析装置。
【請求項６】前記特定の言葉は、母音を多く含む言葉で
あることを特徴とする請求項１乃至５記載の音声特徴分
析装置。
【請求項７】前記音声特徴分類テーブルに格納される音
の特徴は、発声時間の情報に基づくことを特徴とする請
求項１乃至５記載の音声特徴分析装置。
【請求項８】前記音声特徴分類テーブルに格納される音
の特徴は、ピッチ周波数の情報に基づくことを特徴とす
る請求項１乃至５記載の音声特徴分析装置。
【請求項９】前記音声特徴分類テーブルに格納される音
の特徴は、周波数帯毎の時間分布データであるソナグラ
ムの情報に基づくことを特徴とする請求項１乃至５記載
の音声特徴分析装置。