JPH1097270A

JPH1097270A - 音声認識装置

Info

Publication number: JPH1097270A
Application number: JP8251096A
Authority: JP
Inventors: Mitsuru Endo; 充遠藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-09-24
Filing date: 1996-09-24
Publication date: 1998-04-14
Anticipated expiration: 2016-09-24
Also published as: JP3428309B2

Abstract

(57)【要約】【課題】タイプライタペナルティ値の設定やガーベジ
モデルの作成を必要とせず、未知語に対して頑健な音声
認識方法を実現することを目的とする。【解決手段】予め作成したサブワード音響モデルから
の語頭用サブワード音響モデルと語尾用サブワード音響
モデルとを接続した単音節音響モデルを作成部２、未知
語の音響的特徴を前記単音節音響モデルで表現した未知
語音響モデルを作成部４、サブワード音響モデルと未知
語音響モデルとを併せた音響モデルを、接続規則に従っ
て入力音声１０と照合して得られた単語系列１１を出力
する認識部６とから構成することで、開発が容易で未知
語に対して頑健な音声認識方法が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単語を連続して発
声された音声の認識を行なう音声認識装置に関するもの
である。

【０００２】

【従来の技術】近年、音声認識装置の頑健性を向上をさ
せる試みが行なわれてきている。その一つとして、入力
音声の中に登録語以外の語である未知語が含まれている
場合にも、未知語の区間は未知語として認識し、登録語
の区間は登録語としてその発音内容を正しく認識するこ
とで認識率を向上させることを目指したものがある。

【０００３】このような未知語を扱った音声認識装置の
例としては、音声タイプライタを用いる方式（”音声タ
イプライタを用いた未知語検出方式の改良検討”日本音
響学会平成４年度秋研究発表会講演論文集、２−Ｑ−２
４（１９９２））とガーベジモデル（ｇａｒｂａｇｅ
ｍｏｄｅｌ）を用いる方式（”連続音声認識における未
知語検出の検討”日本音響学会平成７年度秋研究発表会
講演論文集、１−Ｑ−１７（１９９５））の２種類の方
式が知られており、音声タイプライタを用いる方式を従
来例１、ガーベジモデルを用いる方式を従来例２として
説明する。

【０００４】従来例１は、音声タイプライタを用いる方
式である。音声タイプライタは、日本語として考えられ
るすべての発音を認識できるようにサブワードでモデル
化したものである。従来例１において、用いられている
サブワードは音素片である。

【０００５】図１４は、従来例１の音声認識装置の概略
構成を示したブロック図であり、１は予め作成されたサ
ブワード音響モデルを格納するサブワード音響モデル格
納部、７は音声タイプライタの音響的特徴をサブワード
音響モデルの系列で表現したタイプライタ音響モデルを
作成するタイプライタ音響モデル作成部、４は登録語以
外の単語である未知語の音響的特徴をタイプライタ音響
モデルとタイプライタペナルティ値によって表現した未
知語音響モデルを作成する未知語音響モデル作成部、８
は前記タイプライタペナルティ値を格納するタイプライ
タペナルティ値格納部、５は単語に対応する音響モデル
系列を規定し、出力可能な単語系列を規定する接続規則
を保存する接続規則格納部、６はサブワード音響モデル
と未知語音響モデルを併せた音響モデルを、接続規則に
従って接続し、入力された音声と照合して得られる単語
系列を出力する認識部である。

【０００６】以下に、音声認識装置の動作について簡単
に説明する。認識の動作を行なう前に、まず、タイプラ
イタ音響モデル作成部７は、サブワード音響モデル格納
部１に格納してあるサブワード音響モデルからタイプラ
イタ音響モデルを作成する。次に、未知語音響モデル作
成部４は、タイプライタ音響モデル作成部７で作成され
たタイプライタ音響モデルとタイプライタペナルティ値
格納部８に格納してあるタイプライタペナルティ値とか
ら未知語音響モデルを作成する。認識の動作は、認識部
６が、サブワード音響モデル格納部１に格納してあるサ
ブワード音響モデルと未知語音響モデル作成部４で作成
された未知語音響モデルとを併せた音響モデルを、接続
規則格納部５に格納してある接続規則に従って接続し、
入力された音声と照合して得られる単語系列を出力す
る。

【０００７】このタイプライタペナルティ値は、未知語
音響モデルによる照合スコアに求められる条件とタイプ
ライタ音響モデルによる照合スコアとの差を調整するた
めのものであり、種々のタイプライタペナルティの与え
方とその値を設定し、評価実験を繰り返すことで最適値
を求めている。

【０００８】従来例２は、ガーベジモデルを用いる例で
ある。ガーベジモデルは色々な音声の音響的な特徴をミ
ックスして少ないクラスで表現したモデルである。従来
例２において、用いられているサブワードは音素であ
る。

【０００９】図１５は、従来例２の音声認識装置の概略
構成を示したブロック図であり、１は予め作成されたサ
ブワード音響モデルを格納するサブワード音響モデル格
納部、９は色々な音響的特徴を少数のモデルで表現した
ガーベジモデルを格納するガーベジモデル格納部、４は
登録語以外の単語である未知語の音響的特徴をガーベジ
モデルの系列で表現した未知語音響モデルを作成する未
知語音響モデル作成部、５は単語に対応する音響モデル
系列を規定し、出力可能な単語系列を規定する接続規則
を保存する接続規則格納部、６はサブワード音響モデル
と未知語音響モデルを併せた音響モデルを、登録語接続
規則に未知語接続規則を追加した接続規則に従って接続
し、入力された音声と照合して得られる単語系列を出力
する認識部である。

【００１０】以下に、従来例２の音声認識装置の動作に
ついて簡単に説明する。認識の動作を行なう前に、未知
語音響モデル作成部４は、ガーベジモデル格納部９に格
納してあるガーベジモデルから未知語音響モデルを作成
する。認識の動作は、認識部６が、サブワード音響モデ
ル格納部１に格納してあるサブワード音響モデルと未知
語音響モデル作成部４で作成された未知語音響モデルと
を併せた音響モデルを、接続規則格納部５に格納してあ
る接続規則に従って接続し、入力された音声と照合して
得られる単語系列を出力する。

【００１１】この例では、ガーベジモデルを作成する際
にどのような音素クラスタを用いれば良いのかを調べる
ために、色々なクラスタを設定し、評価実験を繰り返す
ことで最適なクラスタを求めている。

【００１２】

【発明が解決しようとする課題】音声認識装置において
は、頑健性が要求されており、その一つとして、入力音
声の中に登録語以外の語である未知語が含まれている場
合にも、未知語の区間は未知語として認識し、登録語の
区間は登録語としてその発音内容を正しく認識すること
が求められている。従来法によっても未知語を扱うこと
はできるが、従来例１においてはタイプライタペナルテ
ィ値を設定することが試行錯誤によるため膨大な作業量
が必要であり、開発コストがかかるという課題を有して
いた。

【００１３】また、従来例２においても、ガーベジモデ
ル作成のためにやはり試行錯誤が必要で膨大な作業量が
必要であり、開発コストがかかるという課題を有してい
た。

【００１４】本発明は、このようなタイプライタペナル
ティ値の設定やガーベジモデルの作成を必要としない開
発が容易な装置で、未知語に対して頑健な音声認識装置
を実現することを目的とする。

【００１５】

【課題を解決するための手段】この課題を解決するため
に本発明は、予め作成されたサブワード音響モデルを保
存するサブワード音響モデル格納部と、孤立発声された
音節を前記サブワード音響モデルからの語頭用サブワー
ド音響モデルと語尾用サブワード音響モデルとを接続す
ることにより表現した単音節音響モデルを作成する単音
節音響モデル作成部と、登録語以外の単語である未知語
の音響的特徴を前記単音節音響モデルの系列で表現した
未知語音響モデルを作成する未知語音響モデル作成部
と、予め単語に対応する音響モデル系列と出力可能な単
語系列とを規定する接続規則を保存する接続規則格納部
と、前記サブワード音響モデルと前記未知語音響モデル
とを併せた音響モデルを、前記接続規則に従って接続
し、入力された音声と照合して得られる単語系列を出力
する認識部とで構成したものである。

【００１６】これにより、音響モデルは、自然にペナル
ティがかかる構造であるためにペナルティ値の設定を必
要とせず、かつ、登録語と共通のサブワード音響モデル
から構成するのでガーベジモデルの作成も必要とせず、
開発が容易でかつ未知語に対して頑健な音声認識装置が
実現できるものである。

【００１７】

【発明の実施の形態】本発明の請求項１に記載の発明
は、予め作成されたサブワード音響モデルを保存するサ
ブワード音響モデル格納部と、孤立発声された音節を前
記サブワード音響モデルからの語頭用サブワード音響モ
デルと語尾用サブワード音響モデルとを接続することに
より表現した単音節音響モデルを作成する単音節音響モ
デル作成部と、登録語以外の単語である未知語の音響的
特徴を前記単音節音響モデルの系列で表現した未知語音
響モデルを作成する未知語音響モデル作成部と、予め単
語に対応する音響モデル系列と出力可能な単語系列とを
規定する接続規則を保存する接続規則格納部と、前記サ
ブワード音響モデルと前記未知語音響モデルとを併せた
音響モデルを、前記接続規則に従って接続し、入力され
た音声と照合して得られる単語系列を出力する認識部と
を有することを特徴とする音声認識装置としたものであ
り、未知語音響モデルを作成する際にサブワード音響モ
デルからの語頭用サブワードモデルと語尾用サブワード
音響モデルを接続して表現した単音節音響モデルの系列
で作成することにより、従来の装置では試行錯誤により
多くの時間と開発コストが必要であったペナルティ値の
設定及びガーベジモデルの作成を必要としないので、開
発コストが削減でき、且つ未知語に対して頑健な音声認
識ができるという作用を有する。

【００１８】請求項２に記載の発明は、予め作成された
サブワード音響モデルを保存するサブワード音響モデル
格納部と、孤立発声された音節を前記サブワード音響モ
デルからの語頭用サブワード音響モデルと語尾用サブワ
ード音響モデルを接続することで表現した単音節音響モ
デルを作成する単音節音響モデル作成部と、前記単音節
音響モデルからＮ個の音響モデルを選択する単音節音響
モデル選択部と、登録語以外の単語である未知語の音響
的特徴を選択された前記単音節音響モデルの系列で表現
した未知語音響モデルを作成する未知語音響モデル作成
部と、予め単語に対応する音響モデル系列と出力可能な
単語系列とを規定する接続規則を保存する接続規則格納
部と、前記サブワード音響モデルと前記未知語音響モデ
ルとを併せた音響モデルを、前記接続規則に従って接続
し、入力された音声と照合して得られる単語系列を出力
する認識部とを有することを特徴とする音声認識装置と
したものであり、未知語音響モデルを作成する際にサブ
ワード音響モデルからの語頭用サブワードモデルと語尾
用サブワード音響モデルを接続して選択したＮ個の単音
節音響モデルの系列で作成することにより、従来の装置
では試行錯誤により多くの時間と開発コストが必要であ
ったペナルティ値の設定及びガーベジモデルの作成を必
要としないので、開発コストが削減でき、且つ未知語に
対して頑健な音声認識ができるという作用を有する。

【００１９】以下、本発明の実施の形態について、図１
から図１３を用いて説明する。（実施の形態１）以下、本発明の実施の形態１につい
て、図１から図８を用いて説明する。

【００２０】図１は、本発明の実施の形態１の音声認識
装置のブロック図を示すものであり、１は予め作成され
たサブワード音響モデルを保存するサブワード音響モデ
ル格納部、２は孤立発声された音節を語頭用サブワード
音響モデルと語尾用サブワード音響モデルを接続するこ
とにより表現した単音節音響モデルを作成する単音節音
響モデル作成部、４は登録語以外の単語である未知語の
音響的特徴を単音節音響モデルの系列で表現した未知語
音響モデルを作成する未知語音響モデル作成部、５は単
語に対応する音響モデル系列を規定し、出力可能な単語
系列を規定する接続規則を保存する接続規則格納部、６
はサブワード音響モデルと未知語音響モデルとを併せた
音響モデルを、接続規則に従って接続し、入力された音
声１０と照合して得られる単語系列１１を出力する認識
部である。

【００２１】本発明の実施の形態１では、サブワードと
してｃｖ／ｖｃ（子音＋母音／母音＋子音）を用いた場
合を例に説明する。説明を簡単にするため単語と単語の
つなぎ目については、音節間の遷移部分を考慮しないも
のとして説明する。

【００２２】以下に、音声認識装置の動作について図２
から図６を用いて詳細に説明する。サブワード音響モデ
ル格納部１には、予め多くの話者が発声した学習用デー
タから作成したサブワード音響モデルを格納している。
サブワード音響モデルは、サブワードを音響的特徴量
（特徴パラメータの統計量（平均値ベクトル、共分散行
列）の時系列、系列間の遷移確率）で表わしたものであ
る。

【００２３】図２に、サブワード音響モデルの作成処理
の概要を示す。ここで、＃は、音声の開始時点および終
了時点を表す仮想的な音素である。図中、音声の音響的
特徴を形で表した多角形は、横方向が時間、縦方向は音
声のパワー情報を参考にして表している。図２の例にお
いて、学習用音声データの発声内容は、「１２、７８」
である。点線で区切られた長方形の区間は音素区間にお
いて前後の音素の影響を受けにくい部分を表し、斜め線
を含む台形の区間は音素間の遷移部分を表している。

【００２４】特徴パラメータの系列である学習用音声デ
ータ（図２（ａ））は、まずサブワードに切り分ける境
界を定義するためのラベリング（図２（ｂ））を行な
う。ここで、図２（ｃ）に示すように連続する音声部分
（「１２」と「７８」の２つの部分）の最初のサブワー
ドが語頭のサブワードであり、最後のサブワードが語尾
のサブワードであり、残りのサブワードが語中のサブワ
ードである。サブワード音響モデルは、サブワードの種
類毎に、切り分けられたサブワード音声データから、音
響的特徴量を求めることで作成する。サブワード音響モ
デルの作成手順は、既に実用化されている孤立発声単語
音声認識装置の場合と同様であり、確立されている。

【００２５】単音節音響モデル作成部２は、サブワード
音響モデル格納部１から読み出したサブワード音響モデ
ルを入力とし、単音節音響モデルを出力する。図３は、
単音節音響モデルを示した図である。単音節音響モデル
は、サブワード音響モデルによって、日本語のすべての
音節を表現したものである。ここで、各音節は、語頭の
サブワード音響モデルと語尾のサブワード音響モデルを
接続したものであり、音節を単独で発音した単音節を表
現している。

【００２６】未知語音響モデル作成部４は、単音節モデ
ル作成部２から出力された単音節音響モデルを入力と
し、未知語音響モデルを出力する。図４に、未知語音響
モデルをネットワークで表した図を示す。未知語音響モ
デルは単音節音響モデルの系列で未知語の音響的な特徴
を表したものである。一般に未知語の発音を予め予測す
ることはできないので、未知語を日本語の全ての音節の
任意の並びとして表現した。図中、φのついた矢印はヌ
ル遷移を表し、時間０で遷移できることを意味してい
る。未知語モデルは、始端（４０１）から各音節に分岐
し、それぞれの単音節音響モデルを経由して、合流し終
端（４０２）にたどり着く。図中最下の遷移（４０３）
は終端から始端へもどるためのヌル遷移であるので、こ
の未知語音響モデルは連続する単音節を表現している。

【００２７】全ての日本語の単語は、音節列として表す
ことができるのでこの未知語音響モデルは任意の単語に
対しても、それなりに大きい照合スコアを与えることが
でき、入力の未知語区間に対しては、登録語に対する照
合スコアよりも大きい値を取ることが期待できる。また
音節間の遷移部分を表現していないことから、入力の登
録語区間に対しては、登録語に対する照合スコアよりも
小さい値を取ることが期待できる。

【００２８】接続規則格納部５には、予め作成した接続
規則が格納してある。図５に、接続規則の例を示す。接
続規則は、単語に対応する音響モデル系列の接続規則
（接続規則１）と、出力可能な単語系列の接続規則（接
続規則２）との２つの接続規則からなる。接続規則１
（図５（ａ））に記述されているように、登録語はサブ
ワード系列として表される。例えば、「観光」という単
語は、｛＃ｋａ、ａＮ、Ｎｋ、ｋｏ、ｏｏ、ｏ＃｝とい
うサブワードの系列で表され、対応するサブワードの音
響モデルを接続することで登録語の音響モデルが表現さ
れる。各サブワード音響モデルは音素および音素間の遷
移部分を表すので、登録語の音響モデルは、単語内のす
べての音素および音素間の遷移部分、換言すればすべて
の音節および音節間の遷移部分が表現されたものとな
る。一方、未知語に対応する音響モデルは未知語音響モ
デルである。

【００２９】また、接続規則２（図５（ｂ））に記述さ
れているように、出力可能な単語系列は、｛「観光」
「です」｝、｛「仕事」「です」｝、｛未知語、「で
す」｝などが認められている。接続規則１と接続規則２
とにより、すべての出力可能な単語系列は、音響モデル
の系列で表すことができ、また、音響モデルの系列は、
それに対応する単語系列に変換できるようになる。

【００３０】認識部６は、音声１０を入力として、単語
系列１１を出力する。出力の単語系列１１は、サブワー
ド音響モデル格納部１から読み出したサブワード音響モ
デルと未知語音響モデル作成部４で作成された未知語音
響モデルを併せた音響モデルを、接続規則格納部５から
読み出した接続規則に従って接続し、入力音声１０と照
合して得られる結果である。

【００３１】音声は、各部分の時間長が変動するので、
入力の各フレームが音響モデルのどのフレームに対応す
るかを求める必要がある。そのためには、入力音声のフ
レームと音響モデルのフレームとの間の類似度を定義
し、その類似度の総和が最大となるような対応を求め
る。この対応づけを照合と呼び、類似度の総和の最大値
を入力音声と音響モデルとの照合スコアと呼ぶ。図６
に、照合のイメージを示す。図において、横軸に入力音
声の特徴パラメータ系列を、縦軸に単語系列｛「仕事」
「です」｝に対応する音響モデルを置き、フレームの対
応づけを折れ線で示した。この対応づけはＤＰ法により
求めることができる。同様に、他の単語系列に対しても
照合を行ない、照合スコアに従って順位づけを行ない、
順位の高い単語系列を出力する。未知語モデルのよう
に、ネットワーク表現された部分との照合は、合流点に
おいては最も照合スコアの高い候補を残して照合を進め
ることで実行でき、ＯｎｅＰａｓｓＤＰ法により計
算できる。

【００３２】未知語を扱う認識装置の動作として、未知
語を含まない入力の場合と未知語を含む入力の場合の二
通りの場合について検証する必要がある。この２つの場
合について、図７、図８を用いて説明する。

【００３３】図７は、未知語を含まない入力とその結果
の例である。入力音声は「仕事です。」であり、「仕
事」と「です」の２単語からなる。図５に示したよう
に、「仕事」、「です」は登録語であり、サブワード系
列で表されている。また、｛「仕事」、「です」｝や
｛未知語、「です」｝という単語系列は許されている。
１位の結果は、単語系列が｛「仕事」、「です」｝であ
り、照合スコアが０．９であった。２位の結果は、単語
系列が｛未知語（シ・ゴ・ト）、「です」｝であり、照
合スコアが０．８であった。どちらの結果も音節列とし
て見れば｛シ、ゴ、ト、デ、ス｝であるが、サブワード
列として見ると｛シ、ゴ、ト｝に対応する部分が異な
り、１位の結果では｛＃ｓｉ、ｉｇ、ｇｏ、ｏｔ、ｔ
ｏ、ｏ＃｝、２位の結果では｛＃ｓｉ、ｉ＃、＃ｇｏ、
ｏ＃、＃ｔｏ、ｏ＃｝となっているためにスコアが異な
る。

【００３４】音響モデル系列の中で、入力との類似度の
低い部分を図中の網掛けで示した。１位の結果では全て
の音節間の遷移部分が表現されているので、特に類似度
の低い部分はないが、２位の結果ではシとゴの間の遷移
部分、ゴとトの間の遷移部分が表現されていないよう
に、周期的に類似度の低い部分が現れている。このこと
が、音声タイプライタにおいて音節間の遷移に応じたペ
ナルティを与えるような働きをする。これによって、登
録語が未知語として認識されることなく正しく認識され
た。

【００３５】図８は、未知語を含む入力とその認識結果
の例である。入力音声は「商用です。」であり、「商
用」と「です」の２単語からなる。図５に示したように
「です」は登録語でありサブワード系列で表されている
が、「商用」は未知語であるものとする。また｛「仕
事」、「です」｝や｛未知語、「です」｝という単語系
列は許されている。１位の結果は、単語系列が｛未知語
（ショ・ヨ）、「です」｝であり、照合スコアが０．８
であった。

【００３６】２位の結果は、単語系列が｛「仕事」、
「です」｝であり、照合スコアが０．６であった。入力
中の未知語「商用」の発音に対して、登録語のなかで最
も発音が近かった「仕事」に対する音響モデルよりも未
知語モデルの表す単音節系列の中で最も発音が近かった
単音節系列｛ショ、ヨ｝に対する音響モデルの方が音響
的特徴量が似ていたので、未知語区間に対して未知語で
あるという正しい出力の認識が行なえた。

【００３７】以上で検証した動作例は、原理的に期待で
きる動作を説明した例であり、実際の動作では、正しく
認識できる場合も正しく認識できない場合もあるので、
その性能は確率的なものである。そこで本発明の実施の
形態１による音声認識装置を用いて認識実験を行なっ
た。

【００３８】実験において、特徴パラメータは、ＬＰＣ
ケプストラム系列と各音素の標準パタンとの類似度を、
共分散行列を全ての音素カテゴリで共通化したマハラノ
ビス距離として与えた音素類似度ベクトルとした。サブ
ワード音響モデルは、音素類似度ベクトルの平均値ベク
トルの系列を用いた。入力音声と音響モデルのフレーム
間の類似度はベクトルの内積として定義した。評価デー
タは男女各１２名の発声した１６６文である。認識対象
は１６６文を含む４００文で、登録語彙は６６５単語で
ある。未知語への対処法の効果を調べるために、この６
６５単語の中から１０％にあたる６７単語をランダムに
選んで接続規則から削除して認識した、未知語への対処
のないの場合と、上記６７単語を接続規則から削除し、
削除した単語の代わりに未知語が挿入される単語系列を
許すように接続規則を登録して認識した、未知語への対
処のある場合について評価した。

【００３９】実施の形態１における評価結果を（表１）
に示す。表中の数字は単語検出率であり、入力中の未知
語以外の単語について、１位の単語系列に含まれたら検
出、含まれなかったら非検出として検出された割合を計
算した。

【００４０】

【表１】

【００４１】（表１）からわかるように、未知語への対
処をすることにより、未知語を含まない入力に対しては
単語検出率が少し低下するものの、未知語を含んだ入力
に対しては単語検出率が大幅に向上した。総合の単語検
出率は７６．６％から８４．４％まで向上し、本発明の
効果が確認された。

【００４２】以上のように本発明の実施の形態１によれ
ば、ペナルティ値の設定を必要とせず、かつ、ガーベジ
モデルの作成も必要としないので、開発コストがかから
なず未知語に対して頑健な音声認識装置が実現できる。

【００４３】（実施の形態２）以下、本発明の実施の形
態２について、図９から図１３を用いて説明する。

【００４４】図９は、本発明の実施の形態２の音声認識
装置のブロック図を示すものであり、１は予め作成され
たサブワード音響モデルを保存するサブワード音響モデ
ル格納部、２は孤立発声された音節を語頭用サブワード
音響モデルと語尾用サブワード音響モデルを接続するこ
とにより表現した単音節音響モデルを作成する単音節音
響モデル作成部、３は単音節音響モデルからＮ個の音響
モデルを選択する単音節音響モデル選択部、登録語以外
の単語である未知語の音響的特徴を選択された単音節音
響モデルの系列で表現した未知語音響モデルを作成する
未知語音響モデル作成部、４は単語に対応する音響モデ
ル系列を規定し、出力可能な単語系列を規定する接続規
則を保存する接続規則格納部、５はサブワード音響モデ
ルと未知語音響モデルとを併せた音響モデルを、接続規
則に従って接続し、入力された音声１０と照合して得ら
れる単語系列１１を出力する認識部である。

【００４５】本発明の実施の形態２においては、サブワ
ードとしてｃｖ／ｖｃ（子音＋母音／母音＋子音）を用
いた場合を例に説明する。説明を簡単にするため単語と
単語のつなぎ目については、音節間の遷移部分を考慮し
ないものとして説明する。

【００４６】以下に、音声認識装置の動作について図１
０から図１１を用いて説明する。サブワード音響モデル
格納部１、単音節音響モデル作成部２、接続規則格納部
５、認識部６の動作は、本発明の実施の形態１と同じで
あるので、説明を省略する。

【００４７】単音節モデル選択部３は、単音節音響モデ
ル作成部２で作成された単音節音響モデルの中からＮ個
の単音節音響モデルを選択して出力する。図１０は、単
音節音響モデル選択部３において選択した単音節音響モ
デルの例である。単音節音響モデルから母音および撥音
である６個の単音節母音（撥音を含む）を選択した。

【００４８】未知語音響モデル作成部４は、単音節モデ
ル選択部３で選択されたＮ個の単音節音響モデルを入力
とし、未知語音響モデルを出力する。図１１に、未知語
音響モデルの例をネットワークで示した図を示す。未知
語音響モデルは選択された単音節音響モデルの系列で未
知語の音響的な特徴を表したものである。一般に未知語
の発音を予め予測することはできないので、未知語を日
本語の全ての単音節母音の任意の並びとして表現した。
図中、φのついた矢印はヌル遷移を表し、時間０で遷移
できることを意味している。未知語モデルは、始端（１
１０）から各単音節母音に分岐し、それぞれの単音節音
響モデルを経由して、合流し終端（１１１）にたどり着
く。図中最下の遷移（１１２）は、終端から始端へもど
るためのヌル遷移であるので、この未知語音響モデルは
連続する単音節母音を表現している。

【００４９】全ての日本語の単語は音節列として表すこ
とができるが、各音節には必ず母音が含まれているの
で、この未知語音響モデルは任意の単語に対しても、そ
れなりに大きい照合スコアを与えることができ、入力の
未知語区間に対しては、登録語に対する照合スコアより
も大きい値を取ることが期待できる。また音節間の遷移
部分を表現していないことと子音部を表現していないこ
とから、入力の登録語区間に対しては、登録語に対する
照合スコアよりも小さい値を取ることが期待できる。

【００５０】未知語を扱う認識装置の動作として、未知
語を含まない入力の場合と未知語を含む入力の場合の二
通りの場合について検証する必要がある。この２つの場
合について、図１２、図１３を用いて説明する。

【００５１】図１２は、未知語を含まない入力音声とそ
の認識結果の例である。入力音声は、「仕事です。」で
あり、「仕事」と「です」の２単語からなる。図５の接
続規則に示したように、「仕事」、「です」は登録語で
ありサブワード系列で表されている。また、｛「仕
事」、「です」｝や｛未知語、「です」｝という単語系
列は許されている。認識結果を図１２に示すが、１位の
結果は単語系列が｛「仕事」、「です」｝であり、照合
スコアが０．９であった。２位の結果は、単語系列が
｛未知語（イ・オ・オ）、「です」｝であり、照合スコ
アが０．７であった。サブワード系列を見るとに入力の
「仕事」対応する部分が異なり、１位の結果では｛＃ｓ
ｉ、ｉｇ、ｇｏ、ｏｔ、ｔｏ、ｏ＃｝、２位の結果では
｛＃ｉ、ｉ＃、＃ｏ、ｏ＃、＃ｏ、ｏ＃｝となっている
ためにスコアが異なる。音響モデルの中で、入力との類
似度の低い部分を図中の網掛けで示した。

【００５２】１位の結果では、全ての子音部分や音節間
の遷移部分が表現されているので、特に類似度の低い部
分はないが、２位の結果では、子音部分と音節間の遷移
部分が表現されていないので、周期的に類似度の低い部
分が現れている。このことが、音声タイプライタにおい
て音節間の遷移に応じたペナルティを与えるような働き
をする。これによって、登録語が未知語として認識され
ることなく正しく認識された。

【００５３】図１３は、未知語を含む入力とその認識結
果の例である。入力音声は、「商用です。」であり、
「商用」と「です」の２単語からなる。図５の接続規則
に示したように「です」は登録語でありサブワード系列
で表されているが、「商用」は未知語であるものとす
る。また｛「仕事」、「です」｝や｛未知語、「で
す」｝という単語系列は許されている。認識結果を図１
３に示すが、１位の結果は単語系列が｛未知語（オ・
オ）、「です」｝であり、照合スコアが０．７であっ
た。２位の結果は、単語系列が｛「仕事」、「です」｝
であり、照合スコアが０．６であった。

【００５４】入力中の未知語「商用」の発音に対して、
登録語のなかで最も発音が近かった「仕事」に対する音
響モデルよりも未知語モデルの表す単音節母音系列の中
で最も発音が近かった単音節母音系列｛オ、オ｝に対す
る音響モデルの方が音響的特徴量が似ていたので、未知
語区間に対して未知語であるという正しい出力の認識が
行なえた。

【００５５】以上で検証した動作例は、原理的に期待で
きる動作を説明した例であり、実際の動作では、正しく
認識できる場合も正しく認識できない場合もあるので、
その性能は確率的なものである。そこで本発明の実施の
形態２による音声認識装置を用いて認識実験を行なっ
た。

【００５６】実験において、特徴パラメータは、ＬＰＣ
ケプストラム系列と各音素の標準パタンとの類似度を、
共分散行列を全ての音素カテゴリで共通化したマハラノ
ビス距離として与えた音素類似度ベクトルとした。サブ
ワード音響モデルは、音素類似度ベクトルの平均値ベク
トルの系列を用いた。入力と音響モデルのフレーム間の
類似度はベクトルの内積として定義した。評価データは
男女各１２名の発声した１６６文である。認識対象は１
６６文を含む４００文で、登録語彙は６６５単語であ
る。未知語への対処法の効果を調べるために、この６６
５単語の中から１０％にあたる６７単語をランダムに選
んで接続規則から削除して認識した、未知語への対処の
ないの場合と、上記６７単語を接続規則から削除し、削
除した単語の代わりに未知語が挿入される単語系列を許
すように接続規則を登録して認識した、未知語への対処
のある場合について評価した。

【００５７】実施の形態２における結果を（表２）に示
す。表中の数字は単語検出率であり、入力中の未知語以
外の単語について、１位の単語系列に含まれたら検出、
含まれなかったら非検出として検出された割合を計算し
た。

【００５８】

【表２】

【００５９】（表２）からわかるように、未知語への対
処をすることにより、未知語を含まない入力に対しての
単語検出率の低下がほとんどなく、未知語を含んだ入力
に対しては単語検出率が大幅に向上した。総合の単語検
出率は７６．６％から９３．８％まで向上し、本発明の
効果が確認された。

【００６０】以上のように本発明の実施の形態２によれ
ば、ペナルティ値の設定を必要とせず、かつ、ガーベジ
モデルの作成も必要としないので、開発コストが削減で
き、且つ未知語に対して頑健な音声認識装置が実現でき
る。

【００６１】

【発明の効果】以上のように本発明によれば、未知語音
響モデルを作成する際にサブワード音響モデルからの語
頭用サブワードモデルと語尾用サブワード音響モデルを
接続して表現した単音節音響モデルの系列で作成するこ
とにより、従来の装置では試行錯誤により多くの時間と
開発コストが必要であったペナルティ値の設定及びガー
ベジモデルの作成を必要としないので、開発コストが削
減でき、且つ未知語に対して頑健な優れた音声認識装置
が実現できるものである。

【図面の簡単な説明】

【図１】本発明の実施の形態１による音声認識装置を示
すブロック図

【図２】（ａ）本発明の実施の形態１による音声認識装
置のサブワード音響モデルの作成処理の学習用音声デー
タを示す図（ｂ）本発明の実施の形態１による音声認識装置のサブ
ワード音響モデルの作成処理のラベリングを示す図（ｃ）本発明の実施の形態１による音声認識装置のサブ
ワード音響モデルの作成処理のサブワード音響モデルを
示す図

【図３】本発明の実施の形態１による音声認識装置の単
音節音響モデルの例を示す図

【図４】本発明の実施の形態１による音声認識装置の未
知語音響モデルの例を示す図

【図５】（ａ）本発明の実施の形態１による音声認識装
置の接続規則１の例を示す図（ｂ）本発明の実施の形態１による音声認識装置の接続
規則２の例を示す図

【図６】本発明の実施の形態１による音声認識装置にお
ける入力と音響モデルとの照合処理の概要を示す図

【図７】本発明の実施の形態１による音声認識装置の未
知語を含まない入力とその認識結果の例を示す図

【図８】本発明の実施の形態１による音声認識装置の未
知語を含む入力とその認識結果の例を示す図

【図９】本発明の実施の形態２による音声認識装置を示
すブロック図

【図１０】本発明の実施の形態２による音声認識装置の
選択された単音節音響モデルの例を示す図

【図１１】本発明の実施の形態２による音声認識装置の
未知語音響モデルの例を示す図

【図１２】本発明の実施の形態２による音声認識装置の
未知語を含まない入力とその認識結果の例を示す図

【図１３】本発明の実施の形態２による音声認識装置の
未知語を含む入力とその認識結果の例を示す図

【図１４】従来例１による音声認識装置を示すブロック
図

【図１５】従来例２による音声認識装置を示すブロック
図

【符号の説明】

１サブワード音響モデル格納部２単音節音響モデル作成部３単音節音響モデル選択部４未知語音響モデル作成部５接続規則格納部６認識部７タイプライタ音響モデル作成部８タイプライタペナルティ値格納部９ガーベジモデル格納部１０音声１１単語系列

Claims

【特許請求の範囲】

【請求項１】予め作成されたサブワード音響モデルを
保存するサブワード音響モデル格納部と、孤立発声され
た音節を前記サブワード音響モデルからの語頭用サブワ
ード音響モデルと語尾用サブワード音響モデルとを接続
することにより表現した単音節音響モデルを作成する単
音節音響モデル作成部と、登録語以外の単語である未知
語の音響的特徴を前記単音節音響モデルの系列で表現し
た未知語音響モデルを作成する未知語音響モデル作成部
と、予め単語に対応する音響モデル系列と出力可能な単
語系列とを規定する接続規則を保存する接続規則格納部
と、前記サブワード音響モデルと前記未知語音響モデル
とを併せた音響モデルを、前記接続規則に従って接続
し、入力された音声と照合して得られる単語系列を出力
する認識部とを有することを特徴とする音声認識装置。
【請求項２】予め作成されたサブワード音響モデルを
保存するサブワード音響モデル格納部と、孤立発声され
た音節を前記サブワード音響モデルからの語頭用サブワ
ード音響モデルと語尾用サブワード音響モデルを接続す
ることで表現した単音節音響モデルを作成する単音節音
響モデル作成部と、前記単音節音響モデルからＮ個の音
響モデルを選択する単音節音響モデル選択部と、登録語
以外の単語である未知語の音響的特徴を選択された前記
単音節音響モデルの系列で表現した未知語音響モデルを
作成する未知語音響モデル作成部と、予め単語に対応す
る音響モデル系列と出力可能な単語系列とを規定する接
続規則を保存する接続規則格納部と、前記サブワード音
響モデルと前記未知語音響モデルとを併せた音響モデル
を、前記接続規則に従って接続し、入力された音声と照
合して得られる単語系列を出力する認識部とを有するこ
とを特徴とする音声認識装置。
【請求項３】サブワード音響モデルを作成する際、音
響的特徴量として特徴パラメータの統計量である平均ベ
クトル、共分散行列の時系列あるいは系列間の遷移率を
用いることを特徴とする請求項１または請求項２記載の
音声認識装置。
【請求項４】認識部の照合において、入力音声のフレ
ームと音響モデルのフレームとの類似度の総和の最大値
を照合スコアとして求め、照合スコアの高い単語系列を
出力することを特徴とする請求項１または請求項２記載
の音声認識装置。
【請求項５】単音節音響モデル選択部において、単音
節音響モデルから母音および撥音である６個の単音節母
音（撥音を含む）を選択することを特徴とする請求項２
記載の音声認識装置。
【請求項６】サブワードとして、ｃｖ／ｖｃ（子音＋
母音／母音＋子音）を用いたことを特徴とする請求項１
乃至５のいずれか記載の音声認識装置。