JPH03129400A - 音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、音声認識装置に関する。

［従来の技術］ 音声認識を行なう場合、対象となる音声の時間的な変化
の仕方を多方面から解析して、その変化を元となるデー
タと比較して発音された音声を推定していた。音声の解
析は、高度なデータ処理（ＦＦＴなとの信号解析）が不
可欠で処理速度、精度を上げるために汎用のＣＰＵの他
にＤＳＰなど専用の高速演算処理のできるプロセッサー
を使用する必要があった。

［発明が解決しようとする課Ｍ］ このように音声認識では、音声をかなり高い精度で分析
しないと認識ができない。そして認識率・認識速度を高
めようとすればするほど、音声の分析能力を上げる必要
があるので、処理のためのハードウェアが非常に高度な
ものが必要になり、コストも大幅に上昇する。しかも認
識率が高くなるにつれて、認識率を僅か向上させるだけ
でも非常に大幅なハードウェアの改良が必要である。

本発明の音声認識装置は以上述べたような課題を解決す
るもので、その目的は音声以外の情報を利用する事によ
って認識率の高い音声認識装置を供することにある。

［ｙＡ題を解決するための手段］ 本発明の音声認識装置は、 （１）音声を電気信号に変換する音声入力手段と、前記
音声入力手段が変換した電気信号の信号処理をする音声
分析手段と、人の口、唇などの形を画像として取り込み
電気信号に変換・記録する画像入力手段と、前記画像入
力手段で変換した電気信号から画像を解析する特徴抽出
手段と、前記音声分析手段の分析結果と、前記特徴抽出
手段の結果から音声を！！ｉｌ！する音声認識手段と、
前記音声認識手段の認識結果を表示する表示手段とから
構成されることを特徴とする。

（２）前記音声入力中に人の口、唇などの形を連続して
一定間隔で静止画像として取り込むことを特徴とする。

（３）前記取り込んだ人の口、唇などの形の画像を解析
する時、同時に取り込んだ音声の発声時間に応じて解析
する画像のデータ量を変更することを特徴とする。

〔作用〕

音声が発音されるとき、口や唇などの形が発音される音
ごとに形状が異なっている。第３図は、ある音を発音し
たときの唇の時間的形状変化を示した模式図である。第
３図の（ａ）、　（ｂ）とも各々の模式図は、一定間隔
で捉えた唇の形状である。第３図（ａ）、　（ｂ）とも
まったく別の音を発音したもので唇の動き方が異なって
いることが分かる。唇の形は発声する音声ごとに特徴が
あるので、唇の形の特徴から発音している音声を予測す
ることが可能である。そこで音声と同時に取り込んだ唇
の画像からこの特徴を取り出して、音声だけのデータで
は判定が難しい場合、参考としてもちいて確実な判定を
行なうことができる。

［実施例］ 以下本発明の音声認識装置について実施例にもとすいて
詳細に説明する。

第１図は、本発明の音声認識装置の基本構成を明示した
図である。

音声は、音声入力手段１で集音され雑音処理などを施し
てＡ／Ｄ変換後、電気信号に変換される。

変換された音声信号は、音声分析手段２で周波数や強度
など各項目ごとに信号解析をして認識に必要なデータを
求める。

一方、画像入力手段３は、音声と同゛時に口や唇などの
形を画像として取り込み電気信号に変換後記録する。記
録された画像情報をもとに特徴抽出手段４は、音声認識
時に参照すべきデータを画像データから解析して取り出
す。

以上のようにして取り出された認識に必要なデータをも
とに、音声認識手段５は総合的にデータを判断して目的
の音声が何であったかを判定する。

判定された結果は、表示手段６゛で表示され使用者に知
らされる。

第２図は、本発明の音声認識装置の回路構成の一例を示
したブロック“図である。

音声は、まずマイクロフォン７で集音され電気信号に変
えられフィルター８で帯域制限、雑音除去を行なう。信
号は増幅器９で一定の電圧に変換後、Ａ／Ｄ変換器１０
でデジタル値に直される。

次に、音声分析部１１で音声信号の信号処理を行なう。

音声分析部１１は、ＤＳＰなど高速のハードウェアで構
成した専用の回路で信号の処理、解析を高速に効率よく
行なうことができる。分析した結果は一時外部メモリー
１４におかれる。分折が終了したら、認識を行なうため
マツチングをマツチング部１２で行なう。マツチング部
１２のハードウェア構成も音声分析部１１と同様で専用
回路である。マツチングのためのデータはデータＲＯＭ
１８にあり、マツチング時にこのデータを参照する。以
上の処理はすべて各専用の回路で行ないＣＰＵ１３は、
回路間のデータの受渡し・管理を行なう。またこれら一
連の動作はプログラムＲＯＭ１７の命令によって行なわ
れる。データの保存はメモリー以外にフロッピーディス
ク１５で、フロッピードライブ１６を介して行なう。

画像は、カメラ１９で唇や口の形を捉える。音声入力中
はカメラ１９を目標の口など画角から外さないように固
定しておく必要がある。カメラ１９の駆動信号の供給、
映像信号の処理などはカメラ駆動部２０が行なう。処理
された映像信号はＡ／Ｄ変換器２１でデジタル信号化さ
れる。信号はメモリー制御部２２を介してフレームメモ
リー２３に一旦納められる。画像情報は膨大であり、か
つすぐに取り出すために半導体メモリーに取り込む。そ
して画像から認識に使うデータを取り出すために、フレ
ームメモリー２３からデータをメモリー制御部２２を介
して逐次取り出し特徴抽出部２４で処理する。特徴抽出
部２４は、音声分析部１１やマツチング部１２と同様に
ＤＳＰ等を用いた専用の回路構成となっている。

音声認識は、ＣＰＵ１３が音声分析部１１、マツチング
部１２、特徴抽出部２４で求められたデータ（これらは
外部メモリー１４にある）をもとにして総合的な判断を
行なう。

認識結果は、デイスプレー２５で表示する。デイスプレ
ー２５はＣＲＴや液晶表示板などを使用する。また、音
声認識装置の制御などを行なう際にはキーボード２６か
ら命令を入力する。

第４図は、音声と同時に取り込む唇の画像の時間的な関
係を示した図である。

第゛４図のグラフは、横軸が時間、縦軸が音声の強度を
示している。一方第４図の下の図は静止画で取り込んだ
唇の画像をフレームごとに示した模式図である。

画像は音声が入力されてからすぐに取り込みが開始され
る。そして音声が途絶えるまで連続して続ける。各フレ
ームの番号は１からｎまでありｎ個のフレームは一定時
間ごとに取り込む。−回の音声の発音時間はまちまちで
、発声が始まってからいつ終了するか予想がつかない。

そこで後で特徴を抽出するために必要な分解能の確保、
メモリーの容量に応じて適当な時間間隔を設定する。

第５図は、同時に取り込んだ音声の長さに応じて解析す
る画像のデータ量を変更する様子を示した図である。

第５図のグラフは、入力した音声の一部について時間的
な強度変化を示したものである。期間Ｔの部分を切り出
したとして、この部分に相当する画像データを参照する
とする。期間Ｔの長さによって参照すべき静止画像デー
タ量（第４図で示したフレーム数に相当）が変わってく
る。特に音声の発音時間が非常に長かった場合、静止画
像データ量も大きくなりこのまま処理して特徴を抽出し
ていたのでは時間がかかる。

そこで第５図の中段に示すように、一連の画像フレーム
から単純に期間Ｔの部分に当たる画像フレームだけを抜
き出すのではなく、第５図の下段に示すように期間Ｔの
間の画像フレームから認識のためのデータ抽出を行なう
上で必要な精度を保つことのできる範囲内で適当に画像
フレームを間引いて、抽出を行なう。間引くフレーム数
や時間間隔は期間Ｔの長さによって適応的に変化させる
。

このように必要最小限のデータで処理を行なう。

第６図は、画像の処理を行なうプログラムの一例を示し
たフローチャートである。

入力した音声は音声分析部１１で各音節ごとに切り出さ
れて（ステップ４０）、切り出された音節の時間的な位
置が確定する。（ステップ４１）画像を取り込んだとき
に時間情報も記録しているので、確定した時間的位置に
対応する画像フレームが分かる。そして第５図で説明し
たように適当なデータ数に加減して（ステップ４２）、
そのフレームからＰ！１９に必要なデータを抽出する。

　（ステップ４３）特徴抽出は切り出した音節がある限
り続ける。　（ステップ４４）このように音声の処理が
終了してから画像処理を行なう。

第７図は、音声Ｆ！ｇＩｌを行なプログラム例を示した
フローチャートである。

入力した音声は、分析（切り出しを含む）後特徴抽出し
て認識に必要なデータを取り出しくステップ４５）、切
り出した音節と比較用のデータ（データＲＯＭ１８に格
納されている）とのマツチングを行なう。　（ステップ
４６）この時点では、画像フレームからの特徴抽出は既
に終了している。

音声だけのデータでマツチングを行なった際、マツチン
グ度が低かった場合には（ステップ４７）、先に抽出し
た画像の抽出データを用いて画像による音声の予測を行
なう。　（ステップ４８）そしてもう−度入力された音
声が何か、抽出した画像データを元にした結果も参考に
して音声のデータも含めて総合的に判断する。このよう
に音声以外のデータを用いるのでより多角的な判断がで
きる。

（ステップ４９）こうして得られた認識結果を表示して
使用者に知らせる。　（ステップ゛５０）［発明の効果
１ 以上のように本発明の音声認識装置は、音声を入力する
際に、同時にしゃべる人の唇の形を画像として記録し、
音声認識時に音声の情報と発声時の轡の形の情報の両方
を総合的に判断して発声した音声を予測するので、音声
だけの情報で認識が難しい場合でも高い認識率を得るこ
とができる。

また唇の形を画像として取り込む際に、ある−定間隔で
静止画として連続的に取り込むので、発声時間がまちま
ちでも認識に必要なデータの抽出の精度を保つことがで
きる。

そして発声時間が長くその間の唇の形の画像データが非
常に多くなっても、認識に必要なデータの抽出精度を憚
つ範囲で適当に間引いてデータ数を削減してから抽出を
行なうので、発声時間に関係なく常に一定時間で処理を
行なうことができる。

音°声認識の判断の元になるデータに音声以外の情報を
利用するので、音声の分析の精度を必要以上にあげる必
要がなく音声解析のハードウェアに多大な負担をかけな
いという効果を得る。

【図面の簡単な説明】

第１図は、本発明の音声認識装置の基本構成を明示した
図、 第２図は、本発明の音声認識装置の回路構成の一例を示
したブロック図、 第３図は、ある音を発音したときの唇の時間的形状変化
を示した模式図、 第４図は、音声と同時に取り込む唇の画像の時間的な関
係を示した図、 第５図は、同時に取り込んだ音声の長さに応じて解析す
る画像のデータ量を変更する様子を示した図、 第６図は、画像の処理を行なうプログラムの一例を示し
たフローチャート、 第７図は、音声認識を行なプログラム例を示したフロー
チャートである。 ｌ　・・・　音声入力手段 ２　・・・　音声解析手段 ３　・・・　画像入力手段 ４　−　ヂ ５　　・　・ ６　　・　・ 日　　・　・ ９　　・　・ １０．２１　　・ １１　・　・　・ １２　・ １３　・　・ １４　・　・ １５　・　・ １６　・　・ １７　・　・ ｌ　８　・　・ １９　・ ２０　・ ２２　・　・ ２３　・　・ ２４　・　・ 特徴抽出手段 音声認識手段 表示手段 マイクロフォン フィルター 増幅器 ・・　Ａ／Ｄ変換器 音声分析部 マツチング部 ＰＵ 外部メモリー フロッピーディスク フロッピードライブ プログラムＲＯＭ データＲＯＭ カメラ カメラ駆動部 メモリー制御部 フレームメモリー 特徴抽出部 ５ デイスプレー キーボード 以上

Claims (3)

【特許請求の範囲】
1. （１）音声を電気信号に変換する音声入力手段と、前記
   音声入力手段が変換した電気信号の信号処理をする音声
   分析手段と、人の口、唇などの形を画像として取り込み
   電気信号に変換・記録する画像入力手段と、前記画像入
   力手段で変換した電気信号から画像を解析する特徴抽出
   手段と、前記音声分析手段の分析結果と、前記特徴抽出
   手段の結果から音声を認識する音声認識手段と、前記音
   声認識手段の認識結果を表示する表示手段とから構成さ
   れることを特徴とする音声認識装置。
2. （２）前記音声入力中に人の口、唇などの形を連続して
   一定間隔で静止画像として取り込むことを特徴とする請
   求項１記載の音声認識装置。
3. （３）前記取り込んだ人の口、唇などの形の画像を解析
   する時、同時に取り込んだ音声の発声時間に応じて解析
   する画像のデータ量を変更することを特徴とする請求項
   １または請求項２記載の音声認識装置。