JPH11184493A - 音声認識装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 同一時間帯に存在する同一音韻のＨＭＭ計算
を一回行うだけで多段階の連続音声認識を行なう。 【解決手段】 フレーム毎に、音響特徴ベクトルが、音
韻照合部３に入力される。音韻照合部３はＨＭＭによる
音韻照合を行い、音韻ラベル、開始フレーム、終了フレ
ーム、音韻スコアなどからなる音韻仮説を探索制御部４
に入力する。探索制御部４は音韻仮説をつないで単語仮
説を生成し、単語仮説をつないで単語列仮説を生成す
る。探索制御部４は単語列仮説を言語認識部５に入力
し、言語認識部５は、入力された単語列仮説の言語的尤
度の関数である言語スコアを、探索制御部４に返す。探
索制御部４は音韻スコアと言語スコアによって、単語列
仮説の枝刈りを行い、最終的に認識候補を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は連続音声認識技術
に関し、特に、連続音声認識において音声処理と言語処
理を統一的に行う音声認識技術に関する。

【０００２】

【従来の技術】音韻認識と言語処理を統一的に行う連続
音声認識装置としてはＨＭＭ−ＬＲ（特開平２−１１３
２９７号公報）や、その改良版として、文法的解釈の違
いによらず音韻系列の違いにのみ基づいて、音韻照合を
行う（特開平８−１２３４７９号公報）装置が考案され
ている。これらは、言語モデルとして文脈自由文法を用
い、文法規則を予めＬＲテーブルに変換しておき、ＬＲ
テーブルから予測された音韻に対してＨＭＭの音韻照合
を駆動することにより、予測された音韻の尤度を計算す
る。これにより音声処理と言語処理を同時進行させる。

【０００３】また音韻認識の重複を除く方法として、音
素等の素片を単位としてマッチングを行い、多段にＤＰ
法を行うことにより単語や文節の認識を行う装置（特開
平昭６１−１４８４９８号公報）が考案されている。

【０００４】

【発明が解決しようとする課題】ＨＭＭ−ＬＲのような
構文駆動型でも、あるいは単語ｎ−ｇｒａｍのような統
計的言語モデルを用いた方式でも、一般に音韻認識は音
韻系列毎にビタビアルゴリズムにより行われる。音韻系
列毎にビタビアルゴリズムを実行すると、音韻系列の違
いにより個別に音韻認識を行うため、同一時間帯に存在
する同一音韻の尤度の計算を重複して行うことがある。

【０００５】これに対し単語グラフなどを中間結果とし
て作成する場合は、重複した部分グラフをまとめること
により、ある程度音韻認識の重複計算を抑えることがで
きる。モーラ単位でグラフを作成する方式であれば音韻
認識の重複計算は最小限に抑えられると考えられる。し
かし、グラフを中間表現として用いる場合には、最尤単
語列以外の最適性は失われることが多い。単語境界の判
定に、先行単語の違いにより境界を一意に決定する単語
対近似などを用いるためである。このためグラフを中間
表現として用いるマルチパス探索の音声認識方式では、
グラフを用いない音声認識方式に比べ、一般的に音韻認
識の精度が落ちるとされる。

【０００６】音素等の素片を単位とした多段構成のＤＰ
法であれば同一時間帯に存在する同一音韻の尤度の計算
を重複して行うことはないが、大語彙連続音声認識で入
力音声長が長くなれば、下位の仮説を接続して上位の仮
説を計算することに処理時間がかかるようになる。ま
た、特開平昭６１−１４８４９８号公報の装置は単語列
の言語的尤度を考慮せず、音響的な最尤単語列のみを出
力することを目的とするものであり、音響的尤度の高い
複数の単語列候補の尤度計算を行うことができない。連
続音声認識においては言語的尤度を用いて認識精度を向
上させることは不可欠であり、そのためには複数の単語
列候補の音響的尤度を正しく計算する必要がある。

【０００７】この発明は同一時間帯に存在する同一音
韻の尤度計算の重複をなくし、最尤音韻列以外の音韻
列の尤度計算の最適性も保証し、音韻仮説の接続に要
するコストを低減して、音韻認識処理の高精度と高効率
を同時に実現することを目的とする。

【０００８】

【課題を解決するための手段】本発明の音声認識装置
は、音声の基本単位の尤度を計算し音声の基本単位の仮
説を生成する音韻認識手段と、下位の音声の単位、例え
ば音素などの仮説を接続して上位の音声単位、例えば単
語などの仮説を生成する仮説伸長手段を備える。仮説伸
長手段は多段に構成され、音素仮説列から単語仮説を生
成する手段、単語仮説列から単語列仮説を生成する手段
などからなる。以下の説明においては入力された音声信
号に対する音響的尤度計算を、音韻仮説の尤度計算、単
語仮説の尤度計算、単語列仮説の尤度計算の３段構成で
行うが、本発明は音響的尤度計算を３段に限定するもの
ではなく、例えば音韻仮説の尤度計算と単語仮説の尤度
計算の間に、形態素仮説の尤度計算を行ったり、単語仮
説の尤度計算と単語列仮説の尤度計算の間に文節仮説の
尤度計算を行うこともできる。

【０００９】本発明の音韻認識手段は音韻認識を効率的
に行うため、音素や音素片などの基本的な単位で音響的
尤度の計算を行い、同一時刻に開始される同一ラベルの
尤度計算を共通化する。以下の説明においては音素を音
韻認識の単位とするが、本発明はこれに限定されるもの
ではなく音素片あるいは音節等を単位とすることもでき
る。また以下の説明では音響的尤度の計算はＨＭＭを用
いて行うが、ニューラルネットワーク等を用いることも
できる。音韻認識手段はＨＭＭにより入力された音声信
号のある区間が一つの音素に相当する尤度を計算し、そ
の尤度がある閾値より高いとき、音素仮説を出力する。
音素仮説が出力されたとき、出力された音素に接続しう
る音素のＨＭＭを起動する。複数の音素仮説が同時に出
力されたときは、出力された複数の音素仮説の夫々に接
続しうる音素の集合の和を求め、同時刻に同音素のＨＭ
Ｍは一つだけ起動されるようにする。これにより同一時
刻に開始される同一ラベルの尤度計算は共通化される。
一つの音素の継続時間は限られているため、ある時刻に
起動されたＨＭＭは、一定時間後に消去される。こうし
て、一時に起動されているＨＭＭの数は常に、高々、音
素カテゴリー数×音素の継続時間長となる。

【００１０】仮説伸長手段は単語仮説伸長手段と単語列
仮説伸長手段からなる。単語仮説伸長手段は、音韻認識
手段から出力された音素仮説を接続して単語仮説をつく
り、同一時間帯に存在する同一音韻列に対応する単語仮
説の尤度計算を一度だけ行う。このことによって、本発
明では音韻仮説の接続に要するコストを低減することが
できる。単語仮説伸長手段は単語仮説の尤度がある閾値
より高いとき、単語仮説を出力する。単語列仮説伸長手
段は単語仮説を接続して単語列仮説の尤度計算を行う。
認識の途中において、単語列仮説伸長手段は同一単語列
に対する単語列仮説で、単語列仮説の終端の時刻が異な
るものを保持しておき、認識の終了時に、入力音声信号
の終了時刻と単語列仮説の終端の時刻が一致するものの
みを残す。認識の途中で単語境界あるいは音素境界を決
定しないため、セグメンテーションの失敗による音響的
尤度計算の精度の劣化を防止し、音響的最尤音韻列以外
の単語列に対しても音響的尤度計算の最適性を保障す
る。

【００１１】以上は下位の音声単位の認識結果を基に上
位の音声単位の認識を行うボトムアップ的構成である
が、これを以下のように修正することにより、上位の音
声単位の認識結果によって下位の音声単位の認識を制御
するようにトップダウン的制御を行うことが可能にな
る。

【００１２】仮説伸長手段において、単語列仮説伸長手
段が文法や統計量を用いて単語列の言語的尤度を求める
場合、音響的尤度の高い単語列仮説であっても言語的尤
度と音響的尤度の積は低くなることがある。そのような
単語列仮説に後続する単語仮説の尤度計算を行わないこ
とで処理効率が上がる。単語列仮説伸長手段から単語仮
説伸長手段に、ある時刻から始まりうる単語の集合、あ
るいはある時刻から始まりうる単語とその単語を含む単
語列の言語的尤度の組の集合を渡すことにより、単語仮
説伸長手段では既存の単語列仮説に接続しない単語仮
説、あるいは単語列仮説と接続したとき言語的に低い尤
度しか持たない単語仮説の計算を省くことができる。

【００１３】また、音韻認識手段に仮説伸長手段から、
ある時刻に始まりうる音素の集合、あるいはある時刻に
始まりうる音素とその音素が後続しうる音韻列の言語的
音響的尤度の組の集合を渡すことにより、無駄な音韻認
識を行わないようにすることができる。

【００１４】

【発明の実施の形態】以下、この発明の実施例について
説明する。この実施例は文節あるいは文単位の音声入力
に対し、複数の認識候補を出力する、連続音声入力装置
に関するものである。

【００１５】図１はこの実施例のブロック図である。マ
イクロホン１に入力された音声は電気信号に変換され、
特徴抽出部２に入力される。特徴抽出部２では電気信号
をＡ／Ｄ変換し、適当な周期（例えば８ミリ秒）で周波
数分析を行いＬＰＣケプストラム係数などを抽出する。
この周期一つ分を１フレームと呼ぶ。１フレーム毎に、
ＬＰＣケプストラム係数などからなる音響特徴ベクトル
が、音韻照合部３に入力される。音韻照合部３はＨＭＭ
による音韻照合を行い、音韻ラベル、開始フレーム、終
了フレーム、音韻スコアなどからなる音韻仮説を探索制
御部４に入力する。探索制御部４は音韻仮説をつないで
単語仮説を生成し、単語仮説をつないで単語列仮説を生
成する。探索制御部４は単語列仮説を言語認識部５に入
力し、言語認識部５は、入力された単語列仮説の言語的
尤度の関数である言語スコアを、探索制御部４に返す。
探索制御部４は音韻スコアと言語スコアによって、単語
列仮説の枝刈りを行い、最終的に認識候補を出力する。

【００１６】図２は音韻照合部３のブロック図である。
ＨＭＭ計算部３１はＨＭＭ音韻モデル３２を参照して、
入力された音響特徴ベクトルから音韻仮説の尤度の関数
である音韻スコアを計算する。ある音韻の最終状態のス
コアが、全音韻の全状態のスコアの内最良のものと比
べ、ある閾値以内であるとき、その音韻を一つの音韻仮
説として出力する。ＨＭＭ設定部３３はＨＭＭ計算部３
１から入力された音韻に接続しうる音韻を音韻接続表３
４を参照して設定し、ＨＭＭ計算部３１に入力する。

【００１７】図３はＨＭＭの計算の途中経過を表す模式
図である。ＨＭＭの初期状態は無音（音声区間の前後を
表す）ＨＭＭのみが設定されている。各ＨＭＭは音韻番
号、音韻ＨＭＭを構成する状態（ここでは各音韻３状
態）に対するその音韻の開始フレーム（最初の無音に関
しては０フレーム）からの最良パスの累積スコア、開始
フレーム、０フレームからその音韻の開始フレームまで
の最良パスの累積スコアである履歴スコアからなる。

【００１８】各フレームにおいて、設定されている全音
韻ＨＭＭの全状態の内で、履歴スコアと状態のスコアの
和の最小値を求め、その値よりある値だけ大きい値を閾
値として設定する。設定されている全音韻ＨＭＭについ
て、各音韻ＨＭＭの全状態のスコアの最小値と履歴スコ
アの和が閾値より大きいものは、消去する。また、音韻
ＨＭＭの開始フレームが現在のフレームよりある一定時
間（例えば３０フレーム）以前のものは、消去する。設
定されている全音韻ＨＭＭの最終状態のスコアと履歴ス
コアの和が閾値より小さいものは、開始フレームからそ
のフレームまでの音韻仮説として出力される。音韻仮説
は図４のように音韻番号、開始フレーム、終了フレー
ム、履歴スコア、音韻スコアからなる。図５は音韻仮説
が生成される様子の模式図である。

【００１９】出力された音韻仮説の音韻に後続しうる音
韻のＨＭＭを、その音韻の終了フレームの次のフレーム
を開始フレームとして設定する。また履歴スコアは出力
された音韻仮説の履歴スコアと音韻スコアの和である。
出力された音韻仮説の内複数のものが同一の後続しうる
音韻を持つ場合、新しく設定されるＨＭＭは同一の音韻
に対し一つである。その場合の、新しく設定されたＨＭ
Ｍの履歴スコアは、出力された音韻仮説の内、その音韻
が新しく設定されたＨＭＭの音韻の先行音韻であるもの
について、履歴スコアと音韻スコアの和の最小の値とす
る。

【００２０】図６は探索制御部４のブロック図である。
単語仮説伸長部４１は木構造辞書４２を参照して、入力
された音韻仮説をつないで単語仮説を生成する。図７は
木構造辞書の一部を表す模式図である。木はノードとア
ークからなり、一つのアークには一つの音韻が対応づけ
られる。木のルートノードからリーフノードあるいは途
中のノードまでの経路のアークに対応した音韻の並びが
単語に対応する。図８は図７の木構造辞書のノードと辞
書項目の対応を表す。図９は単語仮説が伸長される途中
の様子の模式図である。音韻仮説がつながれて、木構造
辞書のルートノードからあるノードに至る音韻仮説の連
鎖がつくられる。単語仮説の伸長は、木構造辞書のある
ノードに至る音韻仮説の連鎖に、そのノードから出てい
るアークに対応する音韻の音韻仮説をつなぐことによっ
て行われる。このとき、音韻仮説の連鎖の終端の音韻仮
説の終了フレームを単語仮説の先端フレームとして記憶
し、単語仮説の先端フレームの次フレームが開始フレー
ムである音韻仮説のみをつなぐ。また、単語仮説の開始
フレームと単語仮説の先端フレームが等しい、同一の音
韻列に対応する複数の音韻仮説の連鎖が生じうるが、単
語スコアの最も低いもののみを残して消去する。

【００２１】同一の先端フレームを持つ音韻仮説の連鎖
について、履歴スコアと単語スコアの和の最小値を求
め、その値よりある値だけ大きい値を閾値として設定す
る。同一の単語仮説の先端フレームを持つ音韻仮説の連
鎖の内、履歴スコアと単語スコアの和が閾値より大きい
ものは消去する。また、同一の単語仮説の先端フレーム
を持つ音韻仮説の連鎖を、履歴スコアと単語スコアの和
のよってソートし、その値が低いものから、ある数の音
韻仮説の連鎖を残して、それ以外のものを消去する。

【００２２】音韻仮説の連鎖が対応する辞書ノードが単
語に対応するとき、単語仮説が出力される。単語仮説は
図１０のように単語番号、開始フレーム、終了フレー
ム、単語スコア、履歴スコアからなる。図１１は単語仮
説が生成される様子の模式図である。

【００２３】図６の単語列仮説伸長部４３は単語仮説伸
長部４１から出力された単語仮説を木状につなげ、単語
列仮説を生成する。同一の単語列に相当する単語仮説の
連鎖は一つにまとめられ単語列仮説となり、一つの単語
列仮説は単語列仮説の後端の単語仮説の最終フレームで
ある単語列仮説の先端フレームと、単語列仮説を構成す
る単語仮説の単語スコアの和である単語列スコアの組を
一つまたは複数保持する。単語列仮説の先端フレームが
等しい同一の単語列仮説を構成する単語仮説の連鎖が複
数存在する場合は、単語列スコアの最も低いもののみを
残して消去する。図１２は単語列仮説が伸長される様子
の模式図である。図１２の木のノードは一つの単語列仮
説を表し、アークは単語列仮説を構成する個々の単語仮
説を表す。

【００２４】単語列仮説伸長部４３は単語列を言語認識
部５に入力し、言語認識部５は単語列の生起確率の関数
である言語スコアを単語Ｎ−ｇｒａｍなどによって求
め、その値を単語列仮説伸長部４３に入力する。単語列
仮説伸長部４３は言語スコアを単語列スコアに加える。

【００２５】同一の先端フレームを持つ単語仮説の連鎖
について、単語列スコアの最小値を求め、その値よりあ
る値だけ大きい値を閾値として設定する。同一の先端フ
レームを持つ単語仮説の連鎖の内、単語列スコアが閾値
より大きいものは消去する。また、同一の先端フレーム
を持つ単語仮説の連鎖を、単語列スコアによってソート
し、その値が低いものから、ある数の単語仮説の連鎖を
残して、それ以外のものを消去する。

【００２６】音声入力が終了したフレームを先端フレー
ムとする単語列仮説について、単語列スコアの低いもの
からある数の単語列を認識候補として出力する。

【００２７】

【発明の効果】同一時間帯に存在する同一音韻のＨＭＭ
計算（他の尤度計算でもよい）を一回だけ行うことによ
り、コストの高い音韻モデルを用いても効率的に連続音
声認識を行える。

【図面の簡単な説明】

【図１】 全体のブロック図である。

【図２】 音韻照合部のブロック図である。

【図３】 ＨＭＭによる音韻照合の経過の様子の模式図
である。

【図４】 音韻仮説の模式図である。

【図５】 音韻仮説が生成される様子の模式図である。

【図６】 探索制御部のブロック図である。

【図７】 木構造辞書の模式図である。

【図８】 図７の木構造辞書のノードと単語の対応を示
す図である。

【図９】 単語仮説が伸長する様子の模式図である。

【図１０】 単語仮説の模式図である。

【図１１】 単語仮説が生成される様子の模式図であ
る。

【図１２】 単語列仮説が伸長される様子の模式図であ
る。

【符号の説明】

１ マイクロホン ２ 特徴抽出部 ３ 音韻照合部 ４ 探索制御部 ５ 言語認識部 ３３ ＨＭＭ設定部 ４１ 単語仮説伸長部 ４２ 単語列仮説伸長部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力音声からラベル列を生成し、このレ
   ベル列に対する音素等の基本的な音声単位の音響的尤度
   を計算し、上記入力音声を連続的に認識する音声認識装
   置において、 上記基本的な音声単位の仮説の系列を接続して単語等の
   より大きな２段階目の音声単位の仮説を生成する手段
   と、 上記基本的な音声単位の仮説の音響的尤度から上記２段
   階目の音声単位の仮説の音響的尤度を計算する手段と、 上記２段階目の音声単位の仮説を接続して単語列等のよ
   り大きな３段階目の音声単位の仮説を生成する手段と、 上記２段階目の音声単位の仮説の音響的尤度から上記３
   段階目の音声単位の仮説の音響的尤度を計算する手段と
   を有することを特徴とする音声認識装置。
2. 【請求項２】 上記２段階目および３段回目の階層にお
   ける音声単位の生成および上記音声単位の音響的尤度の
   計算の他に、他の１または複数の階層で音声単位の生成
   および上記音声単位の音響的尤度の計算を行なう請求項
   １記載の音声認識装置。
3. 【請求項３】 上記基本的な音声単位の音響的尤度を基
   本的な音声単位の隠れマルコフモデルを用いて生成する
   請求項１または２記載の音声認識装置。
4. 【請求項４】 上記３段階目の音声単位の音響的尤度に
   加えて上記３段階目の音声単位の言語的尤度を用いて上
   記３段階目の音声単位を判別する請求項１、２または３
   記載の音声認識装置。
5. 【請求項５】 連続音声認識において、入力音声の音響
   的尤度を計算するのに、音素等の基本的な単位の音響的
   尤度を計算し、音素等の基本的な単位の仮説の系列を生
   成し、音素等の基本的な単位の仮説を接続して単語等の
   より大きい単位の仮説を生成し、音素等の基本的な単位
   の仮説の音響的尤度から単語等のより大きい単位の仮説
   の音響的尤度を計算し、単語等の単位の仮説を接続して
   単語列等のより大きい単位の仮説を生成し、単語等の単
   位の仮説の音響的尤度から単語列等のより大きい単位の
   仮説の音響的尤度を計算するなど、より小さい単位の仮
   説を接続してより大きい単位の仮説を生成することで多
   段に仮説の生成を行い、より大きい単位の仮説の音響的
   尤度はより小さい単位の仮説の音響的尤度から計算し、
   同一時間帯に存在する同一ラベルの仮説の生成を一回だ
   け行うようにし、入力音声全体の処理が終了するまでは
   仮説の境界を決定せず、同一ラベル系列に対する終端時
   刻の違う仮説を複数保持することで最尤音韻列以外の音
   韻列に対する音響的尤度計算の最適性も保障することを
   特徴とする音声認識装置。
6. 【請求項６】 より小さい単位の仮説の系列を接続して
   より大きい単位の仮説を生成する際に、より大きい単位
   の仮説の言語モデルの状態から、より小さい単位の仮説
   の系列の次に来るより小さい単位の仮説を予測し、効率
   的により小さい単位の仮説の探索を行う請求項４に記載
   の音声認識装置。
7. 【請求項７】 入力音声からラベル列を生成し、このレ
   ベル列に対する音素等の基本的な音声単位の音響的尤度
   を計算し、上記入力音声を連続的に認識する音声認識方
   法において、 上記基本的な音声単位の仮説の系列を接続して単語等の
   より大きな２段階目の音声単位の仮説を生成するステッ
   プと、 上記基本的な音声単位の仮説の音響的尤度から上記２段
   階目の音声単位の仮説の音響的尤度を計算するステップ
   と、 上記２段階目の音声単位の仮説を接続して単語列等のよ
   り大きな３段階目の音声単位の仮説を生成するステップ
   と、 上記２段階目の音声単位の仮説の音響的尤度から上記３
   段階目の音声単位の仮説の音響的尤度を計算するステッ
   プとを有することを特徴とする音声認識方法。