JP4752028B2 - 音声中の非発話音声の判別処理方法 - Google Patents

Description

本発明は、発話音声から発話者の覚醒状態（脳活性状態）を評価することを目的とする発話音声分析システムへの入力信号としての音声信号の処理方法に係り、特に、音声中の非発話音声の判別処理方法に関するものである。

従来、この分野の技術としては、
（１）雑音を除去し、発話者のみの音声データを取得する音声処理装置が本願発明者によって提案されている（下記特許文献１参照）。
（２）運転士の声で業務の集中力を判断する覚醒度評価法が本願発明者によって提案されている（下記非特許文献１参照）。

（３）被検者にストレスを与えない状態で、就寝中の被検者の呼吸音や鼾音などの呼吸器系の音から、身体反応情報を正確に収集することができるシステムが本願発明者によって提案されている（下記特許文献２参照）。
特許第３５１２３９８号公報 特開２００５−６６０２７号公報 佐藤清，「発話音声を用いた覚醒度評価法」，ＲＲＲ，２００５．１０，ｐｐ．１４−１７

しかしながら、一般的に人間の発話音声をダイナミック・マイクロフォンやコンデンサー・マイクロフォン等の通常のマイクロフォンで収集しようとする場合、そのマイクロフォンを発話者の口元近くに設置することにより、環境雑音の影響を緩和することは可能であっても、発話者の呼吸音等のノイズを識別除去することは容易ではない。
特に、溜め息等の呼吸音が漏れる場合、これによるノイズ信号強度は発話音声の信号強度を上回り、自動利得調整機能等を有する集音システムを利用している場合には、時にその機能が失われ、発話音声の集音が途切れることさえ発生する。

本発明は、上記状況に鑑みて、音声中の非発話音声を確実に検出して、音声信号を処理する音声中の非発話音声の判別処理方法を提供することを目的とする。

本発明は、上記目的を達成するために、
〔１〕音声中の非発話音声の判別処理方法において、音声を収集する工程と、収集した音声信号を予め設定された処理単位に区切る工程と、予め設定された処理単位内での音声パターンのフラクタル次元数を計算する工程と、この計算された音声パターンのフラクタル次元数に基づいて、音声が発話音声か非発話音声かを判別する工程と、前記非発話音声が溜め息であると判定し、前記音声の発話者が運転士の場合、この運転士の音声中に前記溜め息が検出されることをもって、この運転士の業務への集中力が低下していると判別することを特徴とする。

〔２〕上記〔１〕記載の音声中の非発話音声の判別処理方法において、前記フラクタル次元数が３未満のとき非発話音声と判断することを特徴とする。

本発明によれば、音声中の非発話音声を確実に検出して、音声信号を処理することができる。

本発明の音声中の非発話音声の判別処理方法は、音声を収集する工程と、収集した音声信号を予め設定された処理単位に区切る工程と、予め設定された処理単位内での音声パターンのフラクタル次元数を計算する工程と、この計算された音声パターンのフラクタル次元数に基づいて、音声が発話音声か非発話音声かを判別する工程と、前記非発話音声が溜め息であると判定し、前記音声の発話者が運転士の場合、この運転士の音声中に前記溜め息が検出されることをもって、この運転士の業務への集中力が低下していると判別する。

以下、本発明の実施の形態について詳細に説明する。
図１は本発明の実施例を示す音声中の非発話音声の判別処理システムのブロック図である。
この図において、１は音声を録音するマイクロフォン、２はその録音された音声信号の処理装置であり、この音声信号の処理装置２は、Ａ／Ｄ変換手段３、音声パターン抽出手段４、音声パターンのフラクタル次元数演算手段５、フラクタル次元数に基づく非発話的な音声パターンの判別手段６とを備えている。なお、７は出力手段である。

なお、フラクタル次元数（ｆｒａｃｔａｌ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ）とは、等式Ｎ＝ｂ^D を満たすフラクタルに結合する数Ｄのことを指す。ここで、ｂはそれによって長さの目盛りが、その対象を定義している帰納的方法の各段階における拡大のもとで変わる因子である。そして、Ｎは、それによって基本単位の数が、その各段階ごとに増加する因子である。

本発明は、実験的な事実として、溜め息等の呼吸音のフラクタル次元数が２以下であることが明らかになったことによりなし得たものである。
発話音声にカオス（規則のもとで発生する不規則に対する原理・現象）性が存在することは、今日、実験的な事実として認知されているが、同様に溜め息等の非発話的な音声（呼吸音）にもカオス性がある。

以下、本発明の音声中の非発話音声の判別処理方法について説明する。
図２は本発明の実施例を示す音声中の非発話音声の判別処理フローである。
（１）まず、発話者の音声を収集する。
（２）その収集した音声信号を予め設定された処理単位に切断する。
（３）その予め設定された処理単位内での音声パターンのフラクタル次元数を計算する。ここでは、コンピュータ処理でフラクタル次元数を求める。ここでは、例としてボックスカウント法を用いる。

（４）そのフラクタル次元数に基づいて、音声が発話音声か非発話音声（溜め息）かを判断する。
図３は本発明にかかる発話音声パターン（カオス音声生成モデルの生成音声のアトラクタ）をボックスカウント法で求める場合の模式図、図４は本発明にかかる非発話音声（溜め息）パターン（ターケンスプロット；アトラクタの視覚的表示）をボックスカウント法で求める場合の模式図である。

図３においては、４８ｋＨｚで音声信号をサンプリングし、埋め込み次元が３以上、遅延時間を１ｍ秒とし“あ”の音声を処理したターケンスプロットである。
図３において、この発話音声パターン１１を含む空間（ここでは平面）をピクセルサイズεのピクセル１２に分ける。また、図４において、非発話音声（溜め息）パターン２１を含む空間（ここでは平面）をピクセルサイズεのピクセル２２に分ける。

そして、それらのパターン１１の一部を少しでも覆っているピクセルの数Ｎ（ε）をそれぞれ数える。
ピクセルサイズεを例えば、ε＝１，１／２，１／４，１／８，１／１６，…と変えたとき、Ｎ（ε）が、
Ｎ（ε）∽ε^-D
と変われば、そのフラクタル次元はＤである。

（４）次に、そのフラクタル次元数Ｄに基づいて、その音声パターンが発話音声か非発話音声（溜め息）かを判断する。
ここでは、そのフラクタル次元数が３以上であれば発話音声、そのフラクタル次元数が３未満であれば非発話音声（溜め息）であると判定する。
実験結果によれば、発話音声パターン（ターケンスプロット）は常に３〜６のフラクタル次元を有する信号であることが確認されており、例えば、上記した図３と、図５に示される発話音声パターン３１は、フラクタル次元数Ｄは３〜６、上記した図４と、図６〜図８に示される非発話音声（溜め息）パターン（ターケンスプロット）４１〜４３は、フラクタル次元数は３未満である。

上記したように、実験結果によれば、発話音声は常に３〜６以上のフラクタル次元を有する信号であることが確認されており、これに対して溜め息等の非発話音声は２以下の次元を有している（環境雑音レベルが高い場合には、その擾乱により２以上のフラクタル次元が算出されることもあるが、実験的には３を超えるようなことは皆無である）ことから、収集した音声信号を予め設定する処理単位に切断し、そのフラクタル次元数を計算することにより、その処理単位に含まれる音声が、発話音声であるのか、或いは非発話音声（溜め息）であるのかを識別することが可能となる。

次に、この音声中の非発話音声の判別処理結果を運転士の発話を収集して、その音声中への非発話（溜め息）の有無によって、業務への集中力の有無の判定に用いることができる。
図９は運転士の業務への集中力の有無の判定フローを示す図である。
（１）まず、運転士の音声を収集する。

（２）その収集した音声信号を予め設定する処理単位に切断する。
（３）その予め設定された処理単位内での音声のフラクタル次元数を計算する。
（４）そのフラクタル次元数に基づいて、音声が発話音声か非発話音声（溜め息）かを判断する。
（５）音声中に非発話音声（溜め息）が存在したら運転士の業務への集中力がない。音声中に非発話音声（溜め息）が存在しなかったら運転士の業務への集中力があると判別する。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。

本発明の音声中の非発話音声の判別処理方法は、被検者の業務への集中力の有無を的確に判断するツールとして利用可能である。

本発明の実施例を示す音声中の非発話音声の判別処理システムのブロック図である。 本発明の実施例を示す音声中の非発話音声の判別処理フローである。 本発明にかかる音声パターン（ターケンスプロット）をボックスカウント法で求める場合の模式図である。 本発明にかかる非発話音声パターン（ターケンスプロット）をボックスカウント法で求める場合の模式図である。 本発明にかかる発話音声パターン（ターケンスプロット）を示す図である。 本発明にかかる非発話音声パターン（ターケンスプロット）（その１）を示す図である。 本発明にかかる非発話音声パターン（ターケンスプロット）（その２）を示す図である。 本発明にかかる非発話音声パターン（ターケンスプロット）（その３）を示す図である。 本発明にかかる運転士の業務への集中力の有無の判定フローを示す図である。

１ マイクロフォン
２ 音声信号の処理装置
３ Ａ／Ｄ変換手段
４ 音声パターン抽出手段
５ 音声パターンのフラクタル次元数演算手段
６ フラクタル次元数に基づく非発話的な音声パターンの判別手段
７ 出力手段
１１，３１ 発話音声パターン
１２，２２ ピクセルサイズεのピクセル
２１，４１〜４３ 非発話音声（溜め息）パターン

Claims (2)

1. （ａ）音声を収集する工程と、
   （ｂ）収集した音声信号を予め設定された処理単位に区切る工程と、
   （ｃ）予め設定された処理単位内での音声パターンのフラクタル次元数を計算する工程と、
   （ｄ）該計算された音声パターンのフラクタル次元数に基づいて、音声が発話音声か非発話音声かを判別する工程と、
   （ｅ）前記非発話音声が溜め息であると判定し、前記音声の発話者が運転士の場合、該運転士の音声中に前記溜め息が検出されることをもって、該運転士の業務への集中力が低下していると判別することを特徴とする音声中の非発話音声の判別処理方法。
2. 請求項１記載の音声中の非発話音声の判別処理方法において、前記フラクタル次元数が３未満のとき非発話音声と判断することを特徴とする音声中の非発話音声の判別処理方法。

Images