JP5030150B2 - 筋電位信号による音声認識装置 - Google Patents

Description

本発明は、筋電位信号による音声認識装置に関するものであり、詳細には、サポートベクターマシン（ＳＶＭ）を用いて識別性を向上させた筋電位信号から日本語母音の音声を識別する音声認識装置に関するものである。

音声情報処理技術および情報処理装置のハードウェアの発展により、コールセンター、ゲーム機、カーナビ、学習ソフト、携帯電話などで音声認識が広く使われるようになってきている。これらの音声認識の用途では、高い認識精度での音声認識が可能になってきているが、しかしながら、特別な環境または場面では、いまだ、音声認識を適用することが困難な状況がある。例えば、
（１）作業現場や飛行機の中などの騒音の大きい環境、
（２）公共の場所で大きな声で話せない場面、
（３）咽頭切除などで発声が困難な場合、
などの、明瞭な音声を得ることができない状況では、音声認識は困難である。

通常の音声認識を代替もしくは補助する方法として、これまでにも、音声を用いずに、発話内容の認識（以下、音声非依存型音声認識と定義される）を行う手法が、いくつか提案されている。最も盛んに研究されているのが、口唇周辺の画像認識に基づく手法である（非特許文献１〜非特許文献６）。例えば、間瀬らは、口唇周辺画像からオプティカルフローを特徴量として抽出し、音声を用いない音声認識を実現している（非特許文献７）。また、別の例として、表面からは観測できない発音時の調音器官の挙動を観測する方法も検討されている（非特許文献８）。

Ｔａｋｅｍｏｔｏらは、ＭＲＩで撮像した画像を用いて、母音発声時の声道の変化を三次元的に捉える研究を行っている（非特許文献９）。また、超音波を用いて舌の動作を観測する研究も行われている（非特許文献１０）。発声時の調音器官を観測するこれらの手法は、音声非依存型音声認識への応用も可能である。

一方で、表情筋から計測した筋電位信号を用いて、音声非依存型音声認識を行う研究もなされている。筋電位は筋収縮を誘発し、筋繊維上を流れる微弱な電流であり、皮膚の表面から観測できる。複数の表情筋から観測した筋電位信号は、発声する音声に対して特異的なパターンを示すので、パターン認識の手法を用いて音声非依存型音声認識が試みられてきた。

筋電位信号を利用する利点は、画像認識よりも少ない計算コストで処理でき、マスクなどで口元が隠れている場合にも適用できることである。また、筋電位信号は小型の電極で計測可能であり、携帯可能な認識装置の実現が期待できる。さらに、筋電位信号は脳の運動指令を反映した信号であり、筋肉の動きに先立って発生するので、発声前から音声認識を開始できる利点もある。真鍋らは、３電極で計測した筋電位信号を基に、ニューラルネットワークを用いて５母音を認識できることを報告している（非特許文献１１）。また、福田らは、混合正規分布を組み込んだニューラルネットワークと隠れマルコフモデルを組み合わせて、１６種類の単語を認識している（非特許文献１２）。
松岡，古谷，黒須："画像処理による読唇の試み−母音口形の識別およびそれに基づく単語認識"，計測自動制御学会論文集，２２，２，ｐｐ．１９１−１９８（１９８６）． 呉，田村，光本，河合，黒須，岡崎："音声・口形特徴量を併用するニューラルネットを用いた母音認識"，電子情報通信学会論文誌，Ｊ７３−Ｄ２，８，ｐｐ．１３０９−１３１４（１９９０）． 寺田，山中，大恵："口のカラー動画像を用いた音韻認識"，電気学会論文誌Ｄ，１１９，１，ｐｐ．３７−４３（１９９９）． 石井，佐藤，西田，景山："時系列口唇画像を用いた読唇のための特徴抽出と唇の動き解析"，電気学会論文誌Ｄ，１１９，４，ｐｐ．４６５−４７２（１９９９）． 菅原，新地，岸野，小西："パーソナルコンピュータ上での読唇システムの実時間実現"，計測自動制御学会論文集，３６，１２，ｐｐ．１１４５−１１５１（２０００）． 中田，安藤："色抽出法と固有空間法を用いた読唇処理"，電子情報通信学会論文誌，Ｊ８５−Ｄ２，１２，ｐｐ．１８１３−１８２２（２００２）． 間瀬，ペントランド："オプティカルフローヲ用いた読唇"，電子情報通信学会論文誌，Ｊ７３−Ｄ２，６，ｐｐ．７９６−８０３（１９９０）． Ｍ． Ｓｔｏｎｅ， Ｅ． Ｐ． Ｄａｖｉｓ， Ａ． Ｓ． Ｄｏｕｇｌａｓ， Ｍ． ＮｅｓｓＡｉｖｅｒ， Ｒ． Ｇｕｌｌａｐａｌｌｉ， Ｗ． Ｓ． Ｌｅｖｉｎｅ ａｎｄ Ａ． Ｌｕｎｄｂｅｒｇ： "Ｍｏｄｅｌｉｎｇ ｔｈｅ ｍｏｔｉｏｎ ｏｆ ｔｈｅ ｉｎｔｅｒｎａｌ ｔｏｎｇｕｅ ｆｒｏｍ ｔａｇｇｅｄ ｃｉｎｅ−ｍｒｉ ｉｍａｇｅｓ"， Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， １０９， ６， ｐｐ．２９７４−２９８２ （２００１）． Ｈ． Ｔａｋｅｍｏｔｏ ａｎｄ Ｋ． Ｈｏｎｄａ： "Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｔｅｍｐｏｒａｌ ｃｈａｎｇｅｓ ｉｎ ｖｏｃａｌ ｔｒａｃｔ ａｒｅａ ｆｕｎｃｔｉｏｎ ｆｒｏｍ ３Ｄ ｃｉｎｅ−ＭＲＩ ｄａｔａ"， Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， １１９， ２， ｐｐ．１０３７−１０４９ （２００６）． Ｙ． Ｓ． Ａｋｇｕｌ， Ｃ． Ｋａｍｂｈａｍｅｔｔｕ ａｎｄ Ｍ． Ｓｔｏｎｅ： "Ａｕｔｏｍａｔｉｃ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ ｔｏｎｇｕｅ ｃｏｎｔｏｕｒｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， １８， １０， ｐｐ．１０３５−１０４５ （１９９９）． 真鍋，平岩，杉村："無発声音声認識：筋電信号を用いた声を伴わない日本語５母音の認識"，電子情報通信学会論文誌，Ｊ８８−Ｄ２，９，ｐｐ．１９０９−１９１７（２００５）． 福田, 藤田, 辻："ＥＭＧ信号を利用した代用発声システム"，電子情報通信学会論文誌，Ｊ８８−Ｄ２，１，ｐｐ．１０５−１１２（２００５）． 西田，栗田："カーネル学習法とその画像認識への応用"，情報処理学会：コンピュータビジョンとイメージメディア，４６，ＳＩＧ１５（ＣＶＩＭ１２），ｐｐ．１−１０（２００５）． 木塚，木竜，増田，佐渡山："表面筋電図"，東京電機大学出版局（２００６）． 河合，原島："肉単"，エヌ・ティー・エス（２００４）． Ｃ． Ｃ． Ｃｈａｎｇ ａｎｄ Ｃ． Ｊ． Ｌｉｎ： "ＬＩＢＳＶＭ： ａ ｌｉｂｒａｒｙ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ"（２００１）．

従来の筋電位信号に基づいて音声認識を行う報告では、非特許文献１１に示されるように、３電極で計測した筋電位信号を基に、ニューラルネットワークを用いて５母音を認識できることを報告しており、また、非特許文献１２に示されるように、混合正規分布を組み込んだニューラルネットワークと隠れマルコフモデルを組み合わせて、１６種類の単語を認識したことを報告しているが、従来手法で用いられているニューラルネットには、過学習による汎化能力の低下、局所最適解、学習時間の遅さなどが、実用的な意味では、解決されるべき課題として浮かび上がる。

また、従来では、意図的に表情筋を大きく動かし、音声に対する筋電位信号パターンを明確化することで、識別精度の向上を図っているが、この方法は、利用者へ負担がかかるなどの問題がある。

本発明は、これらの課題を解決するためになされたものであり、本発明の目的は、サポートベクターマシン（以下、ＳＶＭと称する）を用いて識別性を向上させた筋電位信号による音声認識装置を提供することにある。具体的に本発明の目的は、筋電位信号から日本語母音の音声を識別する音声認識装置を提供することにある。

上記のような目的を達成するため、本発明の音声認識装置は、口唇周辺の複数箇所の筋電位信号を検出する信号計測部と、前記信号計測部から検出された筋電位信号から特徴情報を抽出する特徴抽出部と、前記特徴抽出部から抽出された特徴情報により訓練データを生成する訓練データ生成部と、前記訓練データ生成部により生成された訓練データに基づいてサポートベクトルマシンを構成するサポートベクトルマシン学習部と、前記サポートベクトルマシン学習部により構成されたサポートベクトルマシンによるデータ処理により前記特徴情報から母音音声を識別する音声識別部を備えることを特徴とする。

また、本発明の音声認識装置において、前記信号計測部は、話者の表情筋および声帯周辺に貼り付けた表面電極を用いて筋電位信号を計測するものであり、また、前記特徴情報は、筋電位信号の周波数特徴および筋電位信号の振幅特徴の２種類の特徴量をフレーム単位で抽出した特徴量に基づく周波数特徴および振幅特徴を有する特徴ベクトルであることを特徴とするものである。

本発明の音声認識装置によれば、利用者の発声時の表情筋及び声帯周辺の筋から計測した筋電位信号の特徴量からラベル付き訓練データを生成し、ＳＶＭを用いて識別関数を構成し、ＳＶＭが学習した識別関数を用いて、筋電位信号の特徴量のみに基づいて音声を識別するので、識別性が高く音声認識を行うことができる。これは、ここで用いるＳＶＭは、画像認識などの適用分野で、従来のパターン認識手法よりも汎化能力が高いためである。

加えて、ＳＶＭは、線形分離不可能な訓練データから少ない計算量で識別関数を構成できるため、筋電位信号を用いた音声認識が実用上においても十分に有効性が高いものとなる。本発明の音声認識装置においては、特徴量として、振幅特徴と周波数特徴の２種類の特徴量を抽出た特徴ベクトルを用いており、これにより、識別精度の向上をはかることができるものとなっている。

以下、本発明を実施する場合の形態について、具体例に基づき説明する。図１は、本発明の実施例に係る音声認識装置の構成を示すブロック図であり、図２は、本発明の実施例に係る音声認識装置において計測する筋電位信号の測定位置を説明する図である。図１において、１１は信号計測部、１２は特徴抽出部、１３は訓練データ生成部、１４はサポートベクトルマシン学習部、１５は音声識別部である。

図１に示すブロック図は、ＳＶＭを用いた筋電位信号による音声認識方法の処理の流れを示すものとなっている。信号計測部１１では、話者の表情筋及び声帯周辺に貼り付けた表面電極を用いて生の筋電位信号（以下ＥＭＧ信号）を計測し、この信号を基に積分筋電位信号（以下ＩＥＭＧ信号）を計算する。特徴抽出部１２では、ＥＭＧ信号とＩＥＭＧ信号から特徴ベクトルをフレーム単位で抽出する。特徴ベクトルは、筋電位信号の振幅特徴および周波数特徴を有するように構成されている。サポートベクトルマシン学習部１４では、訓練データ生成部１３で生成したラベル付き訓練データからＳＶＭを用いて識別関数を構成する。音声識別部１５では、学習した識別関数によって、特徴ベクトルの音声識別を行い、識別結果を出力する。以下では各構成要素について説明する。

信号計測部１１は、図２に示すように、使用者の口唇の周囲位置から筋電位信号を取り出すため、湿式の表面電極（Ｂｌｕｅ ｓｅｎｓｏｒ，Ａｍｂｕ 社）を皮膚表面に貼り付け、筋電位計測装置（Ｕｎｉｖｅｒｓａｌ ＥＭＧ，（有）追坂電子機器）を用いて増幅、アナログローパスフィルタ（遮断周波数４００Ｈｚ）を施して、ＥＭＧ信号を計測する。

計測したＥＭＧ信号は、Ａ／Ｄ変換器（ＤＦ−３０００Ｌ，パベック電子開発（株））を用いて、サンプリング周波数１６ｋＨｚ、１６ｂｉｔでサンプリングし、特徴抽出、ＳＶＣ構成などの処理を行う信号処理モジュールおよびＳＶＣによる音声認識モジュールを実装したデータ処理装置のパーソナルコンピュータに取り込む。パーソナルコンピュータに取り込んだＥＭＧ信号に対して、３倍に増幅、全波整流、５次のデジタルバタワースフィルタ（遮断周波数１０Ｈｚ）を適用して、ＩＥＭＧ信号を計算する。

ここで計算するＩＥＭＧ信号は、運動生理学の分野において筋活動レベルを表す指標として一般的に用いられている（非特許文献１４参照）信号を利用している。また、本発明による音声認識装置では、筋電位信号のＥＭＧ信号とＩＥＭＧ信号の２種類の信号から特徴量（振幅特徴および周波数特徴）を抽出する。なお、訓練データの作成と音声モニター用に、ＥＭＧ信号と同時にダイナミックマイク（Ｆ−Ｖ６２０，ソニー（株））で音声を収録する。

［識別対象の音声と計測する筋電位信号］
本発明の実施例の音声認識装置では、日本語５母音（／ａ／，／ｉ／，／ｕ／，／ｅ／，／ｏ／）を識別の対象としている。約１秒の間隔を空けて、各母音を約２００ミリ秒（ｍｓ）、５母音連続で発声した時の筋電位信号を基に学習と識別を行う。表面電極の貼り付け位置は、図２に示されているように、５箇所（５チャネル）としている。チャネル１は声帯（Ｖｏｃａｌ ｃｏｒｄ）、チャネル２は顎二腹筋（Ｄｉｇａｓｔｒｉｃ）、チャネル３は下唇下制筋（Ｍｅｎｔａｌｉｓ）、チャネル４は口輪筋（Ｏｒｂｉｃｕｌａｒｉｓ ｏｒｉｓ）、チャネル５は大頬骨筋（Ｚｙｇｏｍａｔｉｃｕｓ ｍａｊｏｒ）の直上に配置した。発声時によく働く筋を基準に選定し、解剖学的知見に基づき、おおよその位置を同定する（非特許文献１５参照）。

図３は、５母音を連続して発声した時の音声とＥＭＧ信号の例を示す図である。図３に示されるように、各母音に対して特異的な信号パターンが得られることがわかる。

特徴抽出部１２は、フレーム長６４ｍｓ（１０２４点）、フレーム周期１６ｍｓ（２５６点）で切り出したＥＭＧ信号とＩＥＭＧ信号から特徴抽出を行う。切り出したＥＭＧ信号とＩＥＭＧ信号に対しては、それぞれハミング窓と方形窓による窓処理を行う。以上の処理を行った後、振幅特徴と周波数特徴の２種類の特徴量をフレーム単位で抽出する。従来では、振幅特徴のみを用いたものが多いが、筋の周波数特性や筋から皮膚表面までの伝達特性が異なるために周波数情報が識別には有効である。

このため、本発明の音声認識装置では、周波数特徴も併せて利用する。振幅特徴は、フレーム内のＩＥＭＧ信号の時間平均により計算する。周波数特徴は、ＥＭＧ信号のＦＦＴケプストラム係数を用いる。ここでは、低次の５項を筋電位信号の周波数特徴として採用する。ケプストラムは、少ない次数で周波数特徴を表すことができるが、これまで筋電位信号を用いた音声認識にはほとんど用いられたことはなかった。

このようにして、各チャネルについて1 次元の振幅特徴と5次元の周波数特徴を抽出し、５チャネル合計で３０次元の特徴ベクトルを求める。この特徴ベクトルにより、訓練データを生成し、サポートベクトルマシンを構成する。

訓練データ生成部１３では、ＥＭＧ信号と同期して収録した音声信号の零交叉数に基づき、特徴ベクトルにクラスラベルを付与する。フレーム内零交叉数が３０以上のフレームが連続する区間を音声区間として検出する。次に、音声区間の最初のフレームより、５フレーム（８０ｍｓ）過去のフレームから１６フレーム（２５６ｍｓ）分の区間を取り、この区間の特徴ベクトルにクラスラベルを付与する。８０ｍｓ過去に遡ってクラスラベルを付与するのは、図３に示したように、筋が動いて発声が行われるよりも以前に筋電位信号が発生するためである。実際には、計測する筋、音声によって、発生するタイミングが異なるが、本発明の音声認識装置では一律の時間８０ｍｓを設定する。ここでは、５母音に加えて、発声を行っていない無発声区間（ｓｉｌｅｎｃｅ）も識別の対象とする。

サポートベクトルマシン学習部１４は、ＳＶＭを用いて訓練データからＥＭＧ信号を識別する識別関数を構成する。ＳＶＭは、訓練データから「マージン最大化」という基準で識別超平面のパラメータを学習する。未知の特徴ベクトルｘを２つのクラスＣ_１とＣ_２（クラスラベルはそれぞれ１と−１）のいずれかに識別する識別関数を次式で表す。

ここでｙ_ｉはｉ番目の訓練サンプルｘ_ｉに対応するクラスラベルであり、Ｄは訓練サンプル数、λ_ｉはラグランジュの未定乗数、ｂはバイアス項である。ｓｉｇｎ（ｚ）は、ｚ＞０の時は１、ｚ＜０の時は−１を出力する関数である。Ｋ（ｘｉ，ｘ）は、カーネル関数である。

本発明の音声認識装置におけるサポートベクトルマシンでは、カーネルパラメータが１つしかない、次式のＲａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ（ＲＢＦ）カーネルを用いる。

ここでγは、カーネルパラメータである。カーネル関数は、線形分離不可能な訓練データを高次元の特徴空間に写像し、写像先の特徴空間において線形分離可能にする。計測した筋電位信号は、線形分離不可能なデータになりやすいので、カーネル関数を導入する。実際に識別関数を求めるためには、次式を最大にするλ_ｉを求める。

ここで、Ｃはどの程度の誤識別を許すかを決定するペナルティパラメータである。Ｃが大きいほど、訓練データに対してよりフィットした識別超平面となる。求めたλ_ｉのうち、非０のλに対する訓練サンプルは、サポートベクターと呼ばれ、式（１）の識別関数はサポートベクターより構成される。

以上説明したように、ＳＶＭは原理的に２クラスを識別する手法であるため、多クラスを識別するために「ｏｎｅ−ａｇａｉｎｓｔ−ｏｎｅ」アルゴリズムを用いる。このアルゴリズムでは、Ｎ個のクラスに対して、Ｎ（Ｎ＋１）／２個の識別関数を生成し、すべての識別関数の識別結果を集計し、最も多く識別されたクラスをそのフレームにおける識別結果とする。ＳＶＭに関わる処理には、ＬＩＢＳＶＭ（非特許文献１６）のＭＡＴＬＡＢインタフェースを利用する。

［日本語５母音の識別実験］
本発明の音声認識装置の有効性を評価するために、筋電位信号からの日本語5 母音の識別実験を行った。被験者は、２０〜３０歳代の男性３名（被験者Ａ，Ｂ，Ｃ）と女性１名（被験者Ｄ）の計４名である。被験者Ａについては、予備実験を何度か行っているが、他の被験者については、電極を貼り付けて筋電位を計測する実験は初めてであった。１回の試行で被験者は、約１ｓの間隔を空けて各母音につき約２００ｍｓ、５母音を連続で発声し、同様の試行を３０回行った。できるだけ自然な発声を心がけ、表情筋の動かし方や口の開け方を強調した発声方法は行わないこととした。この時の筋電位信号と音声信号を、先に説明した方法で計測した。筋電位信号の計測位置は、また、前述したように、表情筋と声帯周辺の直上計５箇所とした。

［ＳＶＭのパラメータ選択］
式（２）のカーネルパラメータγと式（３）のペナルティパラメータＣを、訓練データに対する交差確認法に基づいて、被験者ごとに最適な値を決定した。カーネルパラメータγとペナルティパラメータＣの探索範囲は、Ｃ＝｛２^１，２^２，…，２^１３｝，γ＝｛２^−６，２^−５，…，２^６｝とした。各被験者の最適な値を表１に示す。すべての被験者でγの値は０．５となり、Ｃの値は１６−２５６の範囲に収まっている。実際には、極端な値をとらない限り識別率に与える影響は小さいことが確認された。

識別率の評価は、６重交差確認法により行った。３０試行のデータを５試行ずつ６セットに分割し、うち５セット（２５試行）を選択して学習、残りの１セット（５試行）で識別を行う。すべてのセットが識別されるように６回の識別を行い、６回の識別率の平均値を求める。一人の被験者の各母音と無発声の識別率は、以下の式で定義する。

ここで、式（５）の分母は、各母音につき４８０サンプル（３０試行×１６フレーム）であり、無発声については８７３０サンプルである。２５試行分（９２７５サンプル)の訓練データから識別関数を学習する時間は、短時間（数秒以内）で終了した。

このようにして求めた被験者ごとの５母音の識別率を表２に示す。被験者Ａの５母音の平均識別率は、約８１％と識別率が最も高かった。被験者Ａの識別率が、特に高かったのは、予備実験において筋電位信号のパターンが顕著に現れる電極位置を、予め同定できていたためと考えられる。筋電位信号を初めて計測した被験者のうち、被験者ＢとＣについては６５％以上の識別率が得られているが、被験者Ｄについては約５２％の識別率にとどまっている。この原因として、筋の位置がうまく同定できていない、筋電位信号のパワーが小さいために十分な筋電位信号パターンが得られない、などが考えられる。また、全被験者について、／ｉ／もしくは／ｅ／での識別率が低くなっている。誤識別の結果を調べると、／ｉ／と／ｅ／を相互に誤識別している場合が多かった。これは／ｉ／と／ｅ／の口の開け方が近く、筋電位信号のパターンが類似しているために起こったものと考えられる。

図４は、被験者Ａの５試行分の識別結果の例を示す図である。図４に示すように、音声よりも約８０ｍｓ先行して、音声の識別が行われていることがわかる。ただし、この例においては、／ｉ／と／ｏ／の発音に誤識別が多く起こっている。

また、周波数特徴の有効性を調べるために、振幅特徴のみを用いて学習と識別を行った結果が表３である。ＳＶＭの２つのパラメータγとＣは、表１の値を用いた。振幅特徴と周波数特徴の両方を使用した時に比べて、振幅特徴のみを用いた場合の５母音の平均識別率は大きく低下した。特に、被験者Ｄについては、約３７％も識別率が下がっており、周波数特徴が５母音の識別に大きく寄与していたことがわかる。

次に、ｓｉｌｅｎｃｅ以外の母音を識別開始してから、１６フレーム分の識別結果で投票を行って、最も多く識別された母音を識別結果として、識別率を求めた。発話単位の識別率は、以下のように定義する。

ここで、式（６）の分母は３０である。このようにして求めた被験者ごとの５母音の識別率を表４に示す。フレーム単位の識別率よりも、識別精度は大幅によくなり、被験者Ａ、Ｂ、Ｃで９０％以上の識別率が得られた。被験者Ｄについても、７６％の識別率が得られた。このように投票を行うことで、十分な識別精度が得られることが示された。これに対して、先に説明したフレーム単位の識別では、早い時点で結果が得られるという利点がある。

本発明の音声認識装置は、利用者の発声時の表情筋及び声帯周辺の筋から計測した筋電位信号の特徴量からラベル付き訓練データを生成し、ＳＶＭを用いて識別関数を構成し、ＳＶＭが学習した識別関数を用いて、筋電位信号の特徴量のみに基づいて音声を識別するため、また、線形分離不可能な訓練データから少ない計算量で識別関数を構成するため、識別性が高く、筋電位信号を用いた音声認識を実用的に利用することができる。

本発明の実施例に係る音声認識装置の構成を示すブロック図である。 本発明の実施例に係る音声認識装置において計測する筋電位信号の測定位置を説明する図である。 ５母音を連続して発声した時の音声とＥＭＧ信号の例を示す図である。 被験者Ａの５試行分の識別結果の例を示す図である。

符号の説明

１１ 信号計測部
１２ 特徴抽出部
１３ 訓練データ生成部
１４ サポートベクトルマシン学習部
１５ 音声識別部

Claims (4)

1. 口唇周辺の複数箇所の筋電位信号を検出し、前記筋電位信号を基に積分筋電位信号を計算する信号計測部と、
   各箇所において、前記信号計測部から検出された筋電位信号のＦＦＴケプストラム係数から低次の５項により５次元の周波数特徴と、前記積分筋電位信号からフレーム内の時間平均により１次元の振幅特徴と、を抽出して特徴ベクトルを抽出する特徴抽出部と、
   前記特徴抽出部から抽出された特徴ベクトルに、音声信号の零交叉数に基づき、無発声区間を含めてクラスラベルを付与することより訓練データを生成する訓練データ生成部と、
   前記訓練データ生成部により生成された訓練データに基づいてサポートベクトルマシンを構成するサポートベクトルマシン学習部と、
   前記サポートベクトルマシン学習部により構成されたサポートベクトルマシンによるデータ処理により前記特徴情報から母音音声を識別する音声識別部と
   を備えることを特徴とする音声認識装置。
2. 請求項１に記載の音声認識装置において、
   前記信号計測部は、話者の表情筋および声帯周辺に貼り付けた表面電極を用いて筋電位信号を計測する
   ことを特徴とする音声認識装置。
3. 請求項１に記載の音声認識装置において、
   前記音声識別部は、
   複数フレーム分の識別結果で投票を行い、最も多く識別された母音を識別結果として識別する
   ことを特徴とする音声認識装置。
4. 信号計測部およびデータ処理装置を備え、前記信号計測部により検出した筋電位信号からデータ処理装置により音声認識処理を行う音声認識処理方法であって、
   前記信号計測部により検出された口唇周辺の複数箇所の筋電位信号のＦＦＴケプストラム係数から低次の５項により５次元の周波数特徴を抽出し、前記筋電位信号を基に積分筋電位信号を計算してフレーム内の時間平均により１次元の振幅特徴を抽出してから特徴ベクトルを抽出するステップと、抽出された特徴ベクトルに、音声信号の零交叉数に基づき、無発声区間を含めてクラスラベルを付与することにより訓練データを生成するステップと、
   生成された訓練データに基づいてサポートベクトルマシンを構成するステップと、
   前記構成されたサポートベクトルマシンによるデータ処理により前記特徴情報から母音音声を識別するステップと
   を備えることを特徴とする音声認識処理方法。

Images