JPH09198082A

JPH09198082A - 音声認識装置

Info

Publication number: JPH09198082A
Application number: JP8003882A
Authority: JP
Inventors: Akihiro Fujii; 明宏藤井; Toshihiko Miyazaki; 敏彦宮崎
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-01-12
Filing date: 1996-01-12
Publication date: 1997-07-31

Abstract

(57)【要約】【課題】音声に雑音が含まれていても、処理負担を軽
減し、認識精度が高い音声認識装置。【解決手段】唇特徴抽出部１０３は、１フレーム分の
画像信号から唇の縦横の大きさなど、その画像フレーム
内の唇の特徴を抽出する。唇特徴記憶部１０４は、複数
フレーム分の唇特徴を記憶する。音節区間抽出部１０５
は、唇特徴記憶部１０４に記憶されている唇特徴から音
節の区間とその内容等を抽出する。整合窓作成部１１３
は、唇特徴から得られた音節区間を元にＤＰマッチング
の整合窓を作成する。ＤＰマッチング部１１４は、音素
特徴記憶部１１０に記憶されている入力音声の音素特徴
と音素特徴記憶部１１２に記憶されているモデル音声の
音素特徴との間でＤＰマッチングを行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識装置に関
し、ＤＰ（ＤｙｎａｍｍｉｃＰｒｏｇｒａｍｍｉｎ
ｇ：動的計画法）マッチング法によるものである。

【０００２】

【従来の技術】一般に、音声認識では、入力した音声を
比較的短い区間（例えば２０ｍｓｅｃ）毎にフレーム分
割した音素単位で調べた上で、音素同士の時間軸方向の
繋がりから単語などを認識する方法が採られている。音
素単位の認識では、各フレーム毎に例えば、スペクトル
等の特徴パラメータを抽出し、標準音素モデルとの比較
を行う。

【０００３】この音素単位の認識結果を用いて単語全体
を認識する際、音素同士の時間軸方向の繋がりは、普
通、同じ単語を発話した場合でも発話時間はその都度異
なるように、一定ではなく非線形に伸縮する。

【０００４】そこで、モデル音声と入力音声との単語の
類似度を調べる場合、時間軸を非線形に伸縮しながら、
音素間の類似度を計算する方法が取られている。具体的
な方法として、ＤＰ（ＤｙｎａｍｍｉｃＰｒｏｇｒａ
ｍｍｉｎｇ：動的計画法）マッチングがある。

【０００５】従来のＤＰマッチングでは、時間軸が極端
に伸縮されることを防止するために、図２のような一定
幅の整合窓を設け、この整合窓の範囲でマッチングを行
っていた。このような技術については、例えば、下記文
献などで解説されている。古井貞煕著作：ディジタ
ル音声処理：東海大学出版会発行。

【０００６】そして、整合窓の制約の元で各々のモデル
音声について時間軸を非線形に伸縮しながら、音素間の
類似度の最も高いルートとそのときの類似度の蓄積値
（スコア）を求める。このＤＰマッチングを各々の単語
のモデル音素に対して行ない、各々から得られたＤＰマ
ッチングのスコアの中で、最少のものを見つけることで
単語を認識するのである。

【０００７】

【発明が解決しようとする課題】しかしながら、上述の
従来の技術では、一定幅の整合窓を用いたＤＰマッチン
グであるため、単語認識の精度が十分ではなく、また、
探索範囲が広いことによって処理負荷が大きくなり、特
に雑音が含まれている音声の認識の精度が悪くなるとい
う問題があった。

【０００８】このため、音声に雑音が含まれていても、
処理負担を軽減し、認識精度が高い音声認識装置の提供
が要請されている。

【０００９】

【課題を解決するための手段】そこで、本発明の音声認
識装置は、音声認識対象の話者の発話時の唇周辺領域の
画像信号を取り込み、画像フレーム毎に唇の特徴情報を
抽出する唇特徴情報抽出手段と、上記発話時の入力音声
信号から所定長音声フレームごとに音素特徴情報を抽出
する音素特徴抽出手段と、予め複数の既知単語に対する
モデル音節区間情報とモデル音素特徴情報とを登録して
いる単語辞書手段と、上記唇の特徴情報から音節区間情
報を求めると共に、上記単語辞書手段からのモデル音節
区間情報と、上記唇の特徴情報からの音節区間情報とか
らＤＰマッチングのための整合窓を音節区間ごとに形成
する整合窓形成手段と、上記音素特徴情報と、上記単語
辞書手段からの複数のモデル音素特徴情報との間の類似
度を、上記整合窓の制約の元でＤＰマッチング法によっ
て求める音素特徴類似度分析手段と、上記複数の類似度
から類似度の高い単語を選別出力する単語選別出力手段
とを備えて、上述の課題を解決するものである。

【００１０】このような構成を採ることで、唇の動きか
ら求めた音節区間情報と、単語辞書手段に登録されてい
るモデル音節区間情報とから最適な整合窓を形成してＤ
Ｐマッチングを行うので、従来のＤＰマッチングに比べ
整合窓を狭めることができ、これによって検索範囲を狭
めることができ、ＤＰマッチングに費やす処理量を軽減
することができる。

【００１１】また、唇の特徴情報を使用することで、音
声に雑音が混入していても、従来よりも精度の高い音声
認識を実現することができる。

【００１２】

【発明の実施の形態】次に本発明の好適な実施の形態を
図面を用いて説明する。そこで、本実施の形態において
は、音声認識装置を、従来のＤＰマッチングより精度が
高く且つ処理量を軽減するために、発話時の唇の動きか
らより精度の高い整合窓を作成し、この整合窓の制約の
元でＤＰマッチングを行なうものである。

【００１３】これを実現するために、本実施の形態にお
いては、具体的には単語の中のある音を発話するときの
唇の形や動きに著しい特徴を持つことを利用する。例え
ば、子音の／ｂ／、／ｍ／、／ｐ／は発話時に一瞬唇が
閉じる動きをする。また、母音の／ａ／、／ｅ／、／ｉ
／などは発話時に口が開く形になり、母音の／ｕ／、／
ｏ／などは発話時に口が窄まる形になる。また、音節と
音節の区切り目も、多くの場合、唇の動きに変化があ
る。

【００１４】これらの唇の形や動きの情報から得た情報
から、音節など部分的な区間を検出し、更に区間の内容
に応じて『適当な大きさ・形の整合窓』を作成する。

【００１５】これによって、音節区間毎に調節された整
合窓を得ることができる。この整合窓を用いてＤＰマッ
チングを行なうことによって、従来の『一定幅の整合
窓』を用いたＤＰマッチングに比べ、単語認識精度の向
上を図り、また探索範囲を狭めることによって処理負荷
を軽減するのである。特に、雑音が含まれている音声の
認識の精度向上を図るのである。

【００１６】具体的な構成としては、入力された音声信
号を一定長の音声フレーム毎の音素特徴情報を抽出する
音素特徴抽出手段（ａ）と、画像信号から画像フレーム
毎に話者の唇領域を分析し、画像フレーム毎に唇特徴情
報を抽出する唇特徴抽出手段（ｂ）と、上記唇特徴情報
と予め定められた単語辞書内の単語に対するモデル唇特
徴情報とで整合窓を作成する整合窓作成手段（ｃ）と、
上記音素特徴情報と単語辞書内の単語に対するモデル音
素特徴情報との類似度を、上記整合窓の制約の元で時間
軸を非線形に伸縮しながら求める音声類似度算出手段
（ｄ）と、単語辞書内の各単語に対して各々類似度を上
記音声類似度算出手段で求め、その結果に基づいて類似
度の最も高い単語を選ぶ単語選別手段（ｅ）とを備える
ように音声認識装置を構成する。

【００１７】更に、上記整合窓作成手段（ｃ）を、入力
された唇特徴情報から音の境目に当たる部分を見つけ、
各々区間毎に整合窓を作成する区間整合窓作成手段（ｃ
１）を備えるように構成する。

【００１８】更にまた、上記区間整合窓作成手段（ｃ
１）を、区間の唇特徴情報に応じて区間整合窓の形を変
えるように構成する。

【００１９】また、上記区間整合窓作成手段（ｃ１）
を、区間内において入力された唇特徴情報とモデル唇特
徴情報の内容が朗らかに異なる場合、整合窓作成を中止
し、音素類似度算出手段における該当する単語に対する
音素類似度の計算を行わないように構成する。

【００２０】（構成）：図１は、本実施の形態の音
声認識装置１００の機能構成図である。音声認識装置を
利用するユーザの前には、図３のようにユーザの顔の、
特に唇周辺を取り込むカメラＴ０１と、音声を取り込む
マイクロフォンＴ０２が備えられており、このカメラＴ
０１とマイクロフォンＴ０２は音声認識装置１００につ
ながっている。

【００２１】音声認識装置１００は、画像信号のＡ／Ｄ
変換を行なう画像用Ａ／Ｄ変換部１０１と、１フレーム
分の画像信号を記憶する画像フレームバッファ回路１０
２と、１フレーム分の画像信号から唇の縦横の大きさな
ど、その画像フレーム内の唇の特徴を抽出する唇特徴抽
出部１０３と、複数フレーム分の唇特徴を記憶する唇特
徴記憶部１０４と、唇特徴記憶部１０４に記憶されてい
る唇特徴から音節の区間とその内容等を抽出する音節区
間抽出部１０５と、音声信号のＡ／Ｄ変換を行なう音声
用Ａ／Ｄ変換部１０６と、音声信号を定められた長さの
フレーム毎に分割する音声フレーム分割部１０７と、入
力された１つの音声フレームが有音か無音かを判別する
有音判定部１０８と、１つの音声フレームから音素特徴
を抽出する音素特徴抽出部１０９と、複数フレーム分の
音素特徴を記憶する音素特徴記憶部１１０及び１１２
と、予め登録数Ｎの単語毎にモデル音素特徴とモデル唇
特徴が記憶されている単語辞書１１１と、唇特徴から得
られた音節区間を元にＤＰマッチングの整合窓を作成す
る整合窓作成部１１３と、音素特徴記憶部１１０に記憶
されている入力音声の音素特徴と音素特徴記憶部１１２
に記憶されているモデル音声の音素特徴との間でＤＰマ
ッチングを行なうＤＰマッチング部１１４と、ＤＰマッ
チングの結果を記憶しておくスコアバッファ部１１５と
から構成されている。

【００２２】また、唇特徴抽出部１０３は、図４に示す
通り、入力された画像フレームから輝度成分だけを抽出
し、白黒画像に変換する白黒画像変換部１０３−１と、
白黒画像を閾値Ｔｌ、Ｔｈによって唇部分とその他の部
分を隔てて２値化する２値化部分１０３−２と、２値化
画像から唇の縦と横の長さを抽出し、その結果を出力す
る唇特徴作成部１０３−３とから構成されている。

【００２３】（音声認識装置の動作）：次に上述の
音声認識装置１００の動作を詳細に述べる。音声認識装
置１００に入力されたユーザの唇周辺が撮られた画像信
号Ｓ１０１は、画像用Ａ／Ｄ変換部１０１でデジタル画
像信号に変換される。次に画像用Ａ／Ｄ変換部１０１か
ら出力されたデジタル画像信号Ｓ１０２は、画像フレー
ムバッファ１０２に入力される。

【００２４】画像フレームバッファ回路１０２では、デ
ジタル画像信号Ｓ１０２が１フレーム（画面）分入力さ
れるまで待ち続け、１フレーム分のデジタル画像信号Ｓ
１０２が入力された後、１フレーム分の画像信号が画像
フレームＳ１０３として出力される。次に画像フレーム
Ｓ１０３は唇特徴抽出部１０３に入力される。

【００２５】一方、音声認識装置１００に入力された音
声信号Ｓ１０６は、音声用Ａ／Ｄ変換部１０６でデジタ
ル音声信号に変換される。音声用Ａ／Ｄ変換部１０６か
ら出力されたデジタル音声信号Ｓ１０７は、次に音声フ
レーム分割部１０７に入力される。音声フレーム分割部
１０７は、音声信号Ｓ１０７を例えば８ｍｓｅｃ毎にシ
フトしながら３２ｍｓｅｃ分の比較的短い長さの音声の
データ列（以下、音声フレームと呼ぶ）をまとめて出力
する。

【００２６】つまり、互いに前後の音声フレームの一部
が重複した３２ｍｓｅｃ長の音声フレームが周期８ｍｓ
ｅｃで生成される。音声フレーム分割部１０７より出力
された音声フレームＳ１０８は、有音判定部１０８と音
素特徴抽出部１０９とに入力される。有音判定部１０８
は、入力された音声フレームＳ１０８が有音か無音かを
判定し、その判定結果Ｓ１０９を出力する。この有音判
定部１０８の有音判別方法は、例えば、音声フレーム内
の各サンプル値の絶対値平均Ｑを求め、絶対値平均Ｑが
閾値より大きければ有音であるというようにして行な
う。

【００２７】有音判定部１０８より出力された有音判定
結果Ｓ１０９は、唇特徴抽出部１０３と音節区間抽出部
１０５と音素特徴抽出部１０９とに入力される。この有
音判定部１０８より出力された有音定結果Ｓ１０９が無
音から有音に切り替わる場合と、有音から無音に切り替
わる場合で、唇特徴抽出部１０３と唇特徴記憶部１０４
と音節区間抽出部１０５とは以下の１、２の処理を行な
う。

【００２８】１．『無音から有音』に切り替わると、唇
特徴抽出部１０３と音素特徴抽出部１０９が始動し、以
下無音になるまで唇特徴Ｓ１０４と音素特徴Ｓ１１０を
抽出し出力し続ける。出力された唇特徴Ｓ１０４は、唇
特徴記憶部１０４に時系列順に記憶される。また、同じ
く出力された音素特徴Ｓ１１０は、音素特徴記憶部１１
０に時系列順に記憶される。ここで唇特徴Ｓ１０４と
は、入力された画像内にある唇の縦と横の長さに関する
情報である。また、音素特徴Ｓ１１０は音声フレーム内
のスペクトル情報などである。唇特徴抽出部１０３及び
音声特徴抽出部１０９の詳細な説明は後で述べる。

【００２９】２．有音から無音に切り替わると、唇特徴
抽出部１０３と音声特徴抽出部１０９の動作が停止す
る。そして、音節区間抽出部１０５が始動し、唇特徴記
憶部１０４に記憶されている唇特徴から音節区間の抽出
及び解析が行われる。音節区間抽出部１０５の詳細な説
明は後で述べる。そして、音節区間抽出部１０５で音節
区間情報Ｓ１１１が作成される。

【００３０】次に音節区間抽出部１０５より出力された
音節区間情報Ｓ１１１が整合窓作成部１１３に入力され
ると、整合窓作成部１１３は、ＤＰマッチング部１１４
に知らせる。これを受けてＤＰマッチング部１１４は、
単語辞書１１１に記載されている単語（登録数Ｎ）を順
次呼び出す。

【００３１】尚、単語辞書１１１に記憶されている各単
語を便宜上、“単語（ｎ）”（但しｎ＝０，１，・・
・，Ｎ−１）で表す。以下、整合窓作成部１１３からＤ
Ｐマッチング部１１４に上述の知らせが入力されてか
ら、最終的に認識した単語を出力するまで、以下の
（１）〜（５）のような処理が行われる。

【００３２】（１）ＤＰマッチング部１１４から単語
（ｎ）の呼び出し命令Ｓ１１５が単語辞書１１１に入力
されると、単語辞書１１１から単語（ｎ）のモデル音節
区間情報Ｓ１１２とモデル音素特徴Ｓ１１６が出力され
る。音節区間情報Ｓ１１２は、整合窓作成部１１３に入
力され、モデル音素特徴Ｓ１１６は、音素特徴記憶部１
１２に時系列順に記憶される。

【００３３】（２）整合窓作成部１１３では、音節区間
抽出部１０５から入力された音節区間情報Ｓ１１１と単
語辞書１１１から入力された単語（ｎ）のモデル音節区
間情報Ｓ１１２とで音節区間毎に整合窓を作成する。も
し整合窓が作成できなければ、ＤＰマッチング部１１４
に知らせる。整合窓作成の詳細な説明は後で述べる。

【００３４】（３）整合窓作成部１１３から単語（ｎ）
に対する整合窓Ｓ１１３を出力し、この整合窓Ｓ１１３
がＤＰマッチング部１１４に入力されると、ＤＰマッチ
ング部１１４は、音素特徴記憶部１１０に記憶されてい
る入力音素特徴Ｓ１１４と音素特徴記憶部１１２に記憶
されているモデル音素特徴Ｓ１１７とで、整合窓Ｓ１１
３に基づき、ＤＰマッチングを行なう。

【００３５】そして、ＤＰマッチングの結果（スコア）
であるＳ（ｎ）（Ｓ１１８）がスコアバッファ１１５に
記憶される。ＤＰマッチング部の詳細は後で述べる。
尚、整合窓作成部１１３より整合窓が作成されていない
知らせが入力された場合は、単語（ｎ）に対するＤＰマ
ッチングは行なわない。

【００３６】（４）以上、（１）から（３）までの処理
を単語（０）から単語（Ｎ−１）に対して行なう。

【００３７】（５）上記（４）まで終了すると、スコア
バッファ部１１５に記憶されているＳ（ｎ）（ｎ＝０，
１，・・・，Ｎ−１）の中で最少の値になったｎ_ｍｉｎ
を調べ、単語辞書１１１に単語（ｎ_ｍｉｎ）を参照し、
単語（ｎ_ｍｉｎ）を認識結果として出力する。

【００３８】以上が図１の音声認識装置１００の全体的
な動作の説明である。次に主要部分の詳細な説明をす
る。

【００３９】

【唇特徴抽出部１０３の詳細な説明】唇特徴抽出部１０
３は、入力された１画像フレームから唇の縦と横の長さ
等を自動的に抽出し、その結果を出力する。この処理の
具体例を図４に示す。今、第ｋ番目の画像フレームＳ１
０３が唇特徴抽出部１０３に入力されるとすると、初め
に白黒画像変換部１０３−１に入力される。この白黒画
像変換部１０３−１で入力された画像フレームＳ１０３
は、画像の色成分を除いた白黒画像に変換される。

【００４０】白黒画像変換部１０３−１より出力された
白黒画像Ｓ１０３−１は、次に２値化部１０３−２に入
力される。２値化部１０３−２では、入力された黒画像
変換部Ｓ１０３−１の各画素の値が閾値Ｔｌ以上且つＴ
ｈ以下なら１、それ以外の画素は０というような２値化
が行われる。

【００４１】但し、閾値Ｔｌ、Ｔｈは、予め算出した唇
部分の輝度の範囲の値である。これによって唇部分の画
素が１になり、その他の部分は０の値になる。次に２値
化された画像Ｓ１０３−３は唇特徴作成部１０３−３に
入力される。唇特徴作成部１０３−３では、先ほど２値
化によって唇と音声を行なう前に予め抽出されている唇
を閉じた状態（唇初期特徴）の唇の縦の長さｌｗ
_ｉｎｉｔと、横の長さｌｈ_ｉ _ｎｉｔ（唇初期特徴）と
で、ｗｋ＝ｌｗ_ｋ−ｌｗ_ｉｎｉｔ …（１）ｈｋ＝ｌｈ_ｋ−ｌｈ_ｉｎｉｔ …（２）が求められる。

【００４２】これらから第ｋ番目の画像フレームの唇特
徴Ｓ１０４である

【数１】が作成され、唇特徴作成部１０３−３より出力される。

【００４３】［音素特徴抽出部１０９の詳細な説明］：
音素特徴抽出部１０９は、入力された一つの音声フレー
ムに対してスペクトル分析を行ない、スペクトル特徴パ
ラメータのベクトルであるａｉを出力する。但し、ｉは
有音区間の音声フレーム番号である。スペクトル分析の
手法としては、例えば、周知の「線形予測（ＬＰＣ）分
析法」がある。この場合、ＬＰＣケプストラム係数の集
合をａｉとして出力するのである。

【００４４】［音節区間抽出部１０５の詳細な説明］：
有音判定部１０８からの有音判定結果Ｓ１０９が有音か
ら無音に切り替わったことが音声区間抽出部１０５に伝
わると、音声区間抽出部１０５の処理が開始される。

【００４５】この音節区間抽出部１０５の処理手順を図
５に示す。尚、唇特徴記憶部１０４に記憶されている唇
特徴Ｓ１０５の総数をＫとする。

【００４６】音声区間抽出部１０５の処理は、始めに音
声区間抽出部１０５内部の初期化が行われる（ステップ
Ｐ１０１）。このステップＰ１０１では、変数ｋに１を
代入し、変数ｆｌａｇにＯＦＦを代入し、変数ｐに１を
代入する。尚、この変数ｋは入力された唇特徴Ｓ１０５
の時系列順の番号を表し、変数ｆｌａｇは音節区間か否
かを示し、変数ｐは区切られた音節に付けた番号であ
る。このステップＰ１０１を終えると、次に唇特徴ｌｉ
ｐ（ｋ）の前フレームとの変化ベクトルｄｌｉｐ（ｋ）
を求める（ステップＰ１０２）。このｄｌｉｐ（ｋ）は
以下のようにして求める。

【００４７】

【数２】上述のステップＰ１０２を終えると、次にｆｌａｇの値
がＯＮがＯＦＦかが調べられる（ステップＰ１０３）。
ｆｌａｇ＝ＯＮならステップＰ１０５に進み、ｆｌａｇ
＝ＯＦＦならステップＰ１０４に進む。このステップＰ
１０４では、ｆｌａｇにＯＮを代入し、ｔ０（ｐ）にｋ
を代入する。次にｋに１を加える（ステップＰ１０
９）。次にステップＰ１１０に進む。ここでは、ｋの値
がＫ以下であるか否かが確認される（ステップＰ１１
０）。この確認でｋの値がＫ以下であれば、上述のｆｌ
ａｇがＯＮか否かの確認（ステップＰ１０３）に進み、
以下でなければ、音声区間情報の出力（ステップＰ１１
１）に進む。

【００４８】一方、ｆｌａｇがＯＮであるか否かの確認
（ステップＰ１０３）で、ＯＮであるならばステップＰ
１０５に進み、ここではｄｌｉｐ（ｋ）のベクトル方向
がｄｌｉｐ（ｔ０（ｐ））のベクトル方向と異なってい
るか否かを調べる（ステップＰ１０５）。具体的には、・ｄｗ（ｋ）とｄｗ（ｔ０（ｐ））の正負の符号が異な
る。

【００４９】・ｄｈ（ｋ）とｄｈ（ｔ０（ｐ））の正負
の符号が異なる。

【００５０】のいずれかでも成り立てば、次のステップ
Ｐ１０６に進み、それ以外はステップＰ１０９に進む。
このステップＰ１０６では、ｔ１（ｐ）にｋ−１を代入
する。つまり、ｔ０（ｐ）からｔ１（ｐ）までが先頭か
らｐ番目の音節区間の画像フレームに相当する（ステッ
プＰ１０６）。このステップＰ１０６を終えると次にス
テップＰ１０７に進む。

【００５１】このステップＰ１０７では、ｌｉｐ（ｔ０
（ｐ））からｌｉｐ（ｔ１（ｐ））までの唇特徴から、
この音節は、例えば、以下の４つの項目のいずれに当て
はまるか否かを調べる。

【００５２】（１）／ｂ／、／ｍ／、／ｐ／などの両唇音を含む音節（２）母音／ａ／、／ｅ／、／ｉ／を含む音節（３）／ｕ／、／ｏ／を含む音節（４）その他（判定不可能だったものを含む）上記の（１）に当てはまるケースとしては、ｌｉｐ（ｔ
０（ｐ））からｌｉｐ（ｔ１（ｐ））の中で一瞬唇が閉
じた箇所がある場合である。

【００５３】上記（２）に当てはまるケースとしては、
ｌｉｐ（ｔ０（ｐ））からｌｉｐ（ｔ１（ｐ））の、特
に最後の方の唇の形が縦横ともある閾値以上開いている
場合である。上記（３）に当てはまるケースとしては、
ｌｉｐ（ｔ０（ｐ））からｌｉｐ（ｔ１（ｐ））の、特
に最後の方の唇の横の長さがある閾値以下の場合であ
る。そして、上記（１）〜（３）に当てはまらない場合
は上記（４）である。

【００５４】上述のステップＰ１０７で選択されたｐ番
目の音節区間の内容をｃ（ｐ）とする。このステップＰ
１０７を終えると次にステップＰ１０８に進む。このス
テップＰ１０８では、ｆｌａｇの値をＯＦＦにして、ｐ
に１を加える。このステップＰ１０８を終えると上述の
ｆｌａｇがＯＮか否かの確認（ステップＰ１０３）に戻
る。

【００５５】以上のようにしてステップＰ１０２からス
テップＰ１１０の間の処理を繰り返して最終的に音声区
間情報の出力（ステップＰ１１１）に到達すると、ここ
では、個数ｐの音節区間情報Ｓ１１１であるＴ（ｋ）＝
［ｔ０（ｋ），ｔ１（ｋ），ｃ（ｋ）］、（ｋ＝１，２
…，ｐ）が出力される（ステップＰ１１１）。

【００５６】［整合窓作成部１１３の詳細な説明］：整
合窓作成部１１３の処理手順を図６に示す。以下、単語
（ｎ）に対する整合窓作成の例を示す。尚、単語（ｎ）
のモデル音節区間情報Ｓ１１２をＴＭ（ｐ）（ｐは音節
の番号）とする。このＴＭ（ｐ）にもＴ（ｐ）と同様、
以下の情報が収まっている。

【００５７】ｔｍ０（ｐ）：ｐ番目の音節の先頭画像フレームの番号ｔｍ１（ｐ）：ｐ番目の音節の末尾画像フレームの番号ｃｍ（ｐ）：ｐ番目の音節の内容。

【００５８】先ず、整合窓作成部１１３の初期化（ステ
ップＰ２０１）が行なわれ、変数ｐが０に初期化され
る。このｐは音節の番号を意味する。このステップＰ２
０１を終えると次にステップＰ２０２に進む。このステ
ップＰ２０２では、入力されたそれぞれの音節区間情報
Ｓ１１１とＳ１１２のｐ番目の音節Ｔ（ｐ）とＴＭ
（ｐ）の内容であるｃ（ｐ）とｃｍ（ｐ）が、選択項目
（１）〜（３）で一致しているか、又はｃ（ｐ）が選択
項目（４）の場合はステップＰ２０３に進み、それ以外
はステップＰ２０８に進む。

【００５９】上記ステップＰ２０２からステップＰ２０
３に進むと、ここではｐ番目の音節Ｔ（ｐ）とＴＭ
（ｐ）の区間の整合窓を作成する。具体的な方法を示す
と次の様になる。

【００６０】今、ｐ番目の音節について入力画像から得
られた音節Ｔ（ｐ）と、単語辞書１１１から得られたモ
デル単語（ｎ）のｐ番目の音節ＴＭ（ｐ）の時間的関係
が図７に示すような関係になっているとする。ここで図
７のｓ及びｔは画像フレームの番号を表すものとする。

【００６１】この区間の整合窓は、図７のように、点
（ｔ０（ｐ）、ｔｍ０（ｐ））と点（ｔ１（ｐ）、ｔｍ
１（ｐ））の２点間を結ぶ直線Ｌ

【数３】に対して、ｔ０（ｐ）≦ｓ≦ｔ１（ｐ）とｔｍ０（ｐ）
≦ｔ≦ｔｍ１（ｐ）で囲まれた領域内で、直線Ｌに並行
に距離Ｒだけ上下に離れた以下の直線Ｌｕ（式（６）及
び直線Ｌｄ（式（７））がこの区間の整合窓になる。

【００６２】

【数４】

【数５】上記Ｒは、音節の内容（音節選択項目）に応じて値を変
えても良い。例えば、ｃ（ｐ）及びｃｍ（ｐ）が音節選
択項目（１）であればＲを小さくし、ｃ（ｐ）が音節選
択項目（４）であればＲを大きくする。

【００６３】上記ステップＰ２０３を終えると次にステ
ップＰ２０４に進む。ここでは、次の音節であるＴ（ｐ
＋１）及びモデル音節ＴＭ（ｐ＋１）が存在するかを調
べる。共に存在する場合はステップＰ２０５に進み、そ
うでなければステップＰ２０７に進む。ステップＰ２０
５では、次の音節区間までの整合窓を作成する。これは
図８のようにｐ番目の音節の整合窓の終端と次のｐ＋１
番目の音節の整合窓の始端とを直線で結ぶものである。
このステップＰ２０５を終えると次にステップＰ２０６
に進む。ここではｐに１を加える。このステップＰ２０
６を終えると次にステップＰ２０２に進む。

【００６４】一方、入力音声及びモデルのｐ＋１番目の
音節が存在するか否かの判定（ステップＰ２０４）で、
存在しないと判定した場合に、整合窓を出力する（ステ
ップＰ２０７）に進んだ場合、これまで作成し終えた整
合窓をＤＰマッチング部１１４に送る。また、ｐ番目の
音節についてモデルの音節と一致するか否かの判定（ス
テップＰ２０２）、一致しないと判定されたときに、整
合窓の作成を中止（ステップＰ２０８）することに進ん
だ場合、整合窓が作成できなかったことをＤＰマッチン
グ部１１４に伝えるのである。

【００６５】［ＤＰマッチング部１１４の詳細な説
明］：整合窓作成部１１３で作成された単語（ｎ）に対
する整合窓Ｓ１１３がＤＰマッチング部１１４に入力さ
れると、音素特徴記憶部１１０に記憶されている入力さ
れた音声の音素特徴Ｓ１１４と音素特徴記憶部１１２に
記憶されている単語（ｎ）のモデル音素特徴Ｓ１１７と
で整合窓Ｓ１１３の制約の元でのＤＰマッチングが開始
される。

【００６６】尚、整合窓作成部１１３で生成された整合
窓の縦軸及び横軸の単位は画像フレーム番号であるの
で、ＤＰマッチング部１１４で使用するためにはこれを
音声フレームの周期に合わせて伸縮する必要がある。画
像フレームの周期をＦＴ、音声フレームの周期をＶＴと
すると、整合窓作成部１１３で生成された整合窓の縦軸
及び横軸の値にＦＴ／ＶＴを掛け合わせたものを用い
る。そして、単語（ｎ）に対するＤＰマッチングの結果
をＳ（ｎ）として出力するのである。

【００６７】（本発明の実施の形態の効果）：以上
の本発明の実施の形態によれば、話者の唇の動きから求
めた音節区間毎に範囲を狭めたＤＰマッチングの整合窓
を求めているので、従来のＤＰマッチングに比べ検索範
囲が狭まり、ＤＰマッチングに費やす処理量が軽減され
る。

【００６８】また、従来のＤＰマッチングに比べより精
度の高いマッチングができる。また、ＤＰマッチングを
行なう前に予め参照するモデル単語と音節のタイプが一
致するかを調べ、一致しないモデル単語に対してはＤＰ
マッチングを行なわないので、不要なＤＰマッチングを
行なわずに済むことからも処理量が軽減できる。また、
唇の動き情報を用いているので雑音を含む音声に対し
て、従来に比べより精度の高い音声認識ができるのであ
る。

【００６９】（他の実施の形態）：（１）尚、上述
の実施の形態では、音節の内容まで調べたが、音節の内
容を調べずに全て音節の内容が上述の（４）（その他：
判定不可能だったものを含む。）であるのと同じ処理を
しても良い。

【００７０】（２）また、上述の実施の形態では、音節
区間の整合窓は、図７のように２つの直線に挟まれた形
であったが、例えば、図９のように音節区間の両端を更
にさ狭めた形にしても良い。音節区間の整合窓がこの図
９の場合に、２つの音節区間の間の区間を、実施の形態
と同様に図１０のように終端と始端とを直線で結ぶ。こ
れによって上述の実施の形態よりもＤＰマッチングは精
度が高く、また処理量が軽減される。

【００７１】（３）更に、上述の実施の形態及び上述の
図９の説明では、音節区間の整合窓は直線で構成されて
いたが、これに限定するものではなく、例えば、曲線で
構成されていても良い。２つの音節区間の間も同様に曲
線で構成されていても良い。

【００７２】（４）更にまた、上述の実施の形態では、
唇特徴抽出部１０３における唇特徴抽出の方法として白
黒画像を２値化する方法であったが、これに限定するも
のではない。他にも唇の色成分から唇領域の判別する方
法や、前フレームとの動きベクトルなどから唇特徴を抽
出しても良い。

【００７３】

【発明の効果】上述したように本発明は、音声認識対象
の話者の発話時の唇周辺領域の画像信号を取り込み、画
像フレーム毎に唇の特徴情報を抽出する唇特徴情報抽出
手段と、上記発話時の入力音声信号から所定長音声フレ
ームごとに音素特徴情報を抽出する音素特徴抽出手段
と、予め複数の既知単語に対するモデル音節区間情報と
モデル音素特徴情報とを登録している単語辞書手段と、
上記唇の特徴情報から音節区間情報を求めると共に、上
記単語辞書手段からのモデル音節区間情報と、上記唇の
特徴情報からの音節区間情報とからＤＰマッチングのた
めの整合窓を音節区間ごとに形成する整合窓形成手段
と、上記音素特徴情報と、上記単語辞書手段からの複数
のモデル音素特徴情報との間の類似度を、上記整合窓の
制約の元でＤＰマッチング法によって求める音素特徴類
似度分析手段と、上記複数の類似度から類似度の高い単
語を選別出力する単語選別出力手段とを備えたことで、
音声に雑音が含まれていても、処理負担を軽減し、認識
精度が高い音声認識装置を実現することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の音声認識装置の機能構成
図である。

【図２】従来例のＤＰマッチングの整合窓の説明図であ
る。

【図３】実施の形態の音声・画像入力の説明図である。

【図４】実施の形態の唇特徴抽出部の機能構成図であ
る。

【図５】実施の形態の音節区間抽出部の機能構成図であ
る。

【図６】実施の形態の整合窓作成部の処理フローチャー
トである。

【図７】実施の形態のｐ番目の音節区間の整合窓の説明
図である。

【図８】実施の形態のｐ番目の音節とｐ＋１番目の音節
の間の整合窓の説明図である。

【図９】他の実施の形態のｐ番目の音節区間の整合窓の
説明図である。

【図１０】上述の図９に対するｐ番目の音節とｐ＋１番
目の音節の間の整合窓の説明図である。

【符号の説明】

１００…音声認識装置、１０１…画像用Ａ／Ｄ変換部、
１０２…画像フレームバッファ回路、１０３…唇特徴抽
出部、１０４…唇特徴記憶部、１０５…音節区間抽出
部、１０６…音声用Ａ／Ｄ変換部、１０７…音声フレー
ム分割部、１０８…有音判定部、１０９…音素特徴抽出
部、１１０…音素特徴記憶部、１１１…単語辞書、１１
２…音素特徴記憶部、１１３…整合窓作成、１１４…Ｄ
Ｐマッチング部、１１５…スコアバッファ部、Ｔ０１…
カメラ、Ｔ０２…マイクロフォン。

Claims

【特許請求の範囲】

【請求項１】音声認識対象の話者の発話時の唇周辺領
域の画像信号を取り込み、画像フレーム毎に唇の特徴情
報を抽出する唇特徴情報抽出手段と、上記発話時の入力音声信号から所定長音声フレームごと
に音素特徴情報を抽出する音素特徴抽出手段と、予め複数の既知単語に対するモデル音節区間情報とモデ
ル音素特徴情報とを登録している単語辞書手段と、上記唇の特徴情報から音節区間情報を求めると共に、上
記単語辞書手段からのモデル音節区間情報と、上記唇の
特徴情報からの音節区間情報とからＤＰマッチングのた
めの整合窓を音節区間ごとに形成する整合窓形成手段
と、上記音素特徴情報と、上記単語辞書手段からの複数のモ
デル音素特徴情報との間の類似度を、上記整合窓の制約
の元でＤＰマッチング法によって求める音素特徴類似度
分析手段と、上記複数の類似度から類似度の高い単語を選別して出力
する単語選別出力手段とを備えたことを特徴とする音声
認識装置。
【請求項２】上記整合窓形成手段は、上記唇の特徴情
報から両唇音を含む音節区間情報又は母音を含む音節区
間情報を求めることを特徴とする請求項１記載の音声認
識装置。
【請求項３】上記整合窓形成手段は、音節区間の上記
唇の特徴情報に応じて上記整合窓の形を調節するように
形成することを特徴とする請求項１又は２記載の音声認
識装置。
【請求項４】上記整合窓形成手段は、現音節区間の整
合窓と次の音節区間の整合窓との間の整合窓を曲線で結
ぶように形成することを特徴とする請求項１〜３のいず
れかに記載の音声認識装置。
【請求項５】上記整合窓形成手段において、上記唇の
特徴情報からの音節区間情報と一致するモデル音節区間
情報が上記単語辞書手段に存在しないと判断される場合
は、上記整合窓の形成と上記音素特徴類似度分析とを行わな
いことを特徴とする請求項１記載の音声認識装置。