WO2006059806A1

WO2006059806A1 - 音声認識装置

Info

Publication number: WO2006059806A1
Application number: PCT/JP2005/022601
Authority: WO
Inventors: Kazuhiro Nakadai; Hiroshi Tsujino; Hiroshi Okuno; Shunichi Yamamoto
Original assignee: Honda Motor Co., Ltd.
Priority date: 2004-12-03
Filing date: 2005-12-02
Publication date: 2006-06-08
Also published as: US8073690B2; EP1818909A1; US20080167869A1; EP1818909B1; JPWO2006059806A1; JP4157581B2; EP1818909A4

Abstract

　本発明は、劣化した特徴量を完全に同定できない音声入力に対して音声認識の頑健性を向上させる音声認識装置（１０）を提案する。この装置は、音響信号を検出する少なくとも２つの音検出手段（１６ａ、１６ｂ）と、音響信号に基づいて音源の方向を求める音源定位部（２１）と、音源の方向に基づいて音響信号から音源による音声を分離する音源分離部（２３）と、分離の結果の信頼性に応じてマスクの値を生成するマスク生成部（２５）と、音響信号の特徴量を抽出する特徴抽出部（２７）と、マスクを特徴量に適用して音響信号から音声を認識する音声認識部（２９）と、を有する。

Description

音声認識装置技術分野

この発明は、音声認識装置に関する。特に、雑音や入力装置の仕様などによつて劣化した音声に対し頑健な音声認識装置に関する。背景技術明

一般に、実環境で利用される音声認識装置には、雑音や残響音の混入、入力装置の仕様などによって劣化した音声が入力される。この問題に対し、スペクトル食曰

サブトラクションゃプラインド信号分離などの手法を用いて、音声認識の頑健さを向上させる取り組みが行われてきた。

これらの取り組みの一環として、 Sheffield大の M. Cookeらは、ミッシングフィーテヤー ¾論を案してレヽる UVEartin Cooke, et al., "Robust automatic speec recognition with missing and unreliable acoustic data", SPEECH COMMUNICATION 34 , p. 267-285, 2001を参照)。この手法は、入力音声の特徴量のうち、ミッシンダフィーチヤ一 (劣化した特徴量)を同定しマスクしてから認識することによって音声認識の頑健性向上を図るものであり、他の手法に比べて必要な雑音に関する知識が少ない、という特性を持つ。

ミツシンダフィーチヤ一理論において、劣化した特徴量の同定は、劣化していない音声の特徴量との差や、スペクトログラムの局所的な SN比、あるいは ASA (Auditory Scene Analysis, 聴覚情景分析)によって行われる。 ASAは、スぺクトルの調波構造やオンセットの同期、音源の位置など、同じ音源から放射された音が共有する手掛かりを利用して、特徴量の要素をグループ化する方法である。音声認識は、マスクされた部分の元の特徴量を推定して認識する方法や、マスクされた特徴量に対応した音響モデルを生成して認識する方法などがある。発明の開示

発明が解決しょうとする課題

ミツシンダフィーチヤ一理論で音声認識の頑健性の向上を試みる場合、劣化した特徴量の同定に困難を伴うことが多い。本発明は、劣化した特徴量を完全に同定できない音声入力に対して音声認識の頑健性を向上させる音声認識装置を提案する。課題を解決するための手段

本発明は、外部から集音された音響信号から音声を認識するための音声認識装置を提供する。この装置は、音響信号を検出する少なくとも 2つの音検出手段と、音響信号に基づいて音源の方向を求める音源定位部と、音源の方向に基づいて音響信号から音源による音声を分離する音源分離部と、分離の結果の信頼性に応じてマスクの値を生成するマスク生成部と、音響信号の特徴量を抽出する特徴抽出部と、マスクを特徴量に適用して音響信号から音声を認識する音声認識部と、を有する。

本発明では、音源による音声を音響信号から分離した結果の信頼性に応じてマスクの値を生成するので、音声認識の頑健性を向上させることができる。

本発明の一実施形態によると、マスク生成部が、音源分離部とは異なる複数の音源分離手法を用いて音響信号を分離した結果と、音源分離部による分離の結果との一致度合いに応じてマスクの値を生成する。

本発明の一実施形態によると、マスク生成部が、音源方向によって定められる同一の音源かを判断するための通過幅に応じてマスクの値を生成する。

本発明の一実施形態によると、複数の音源がある場合には、マスク生成部が該複数の音源のいずれか 1つにだけ近いほど音源分離結果の信頼性を高めてマスクの値を生成する。図面の簡単な説明

図 1は、本発明の一実施形態による音声認識装置を含む音声認識システムを示す概略図である。

図 2は、本実施形態による音声認識装置のプロック図である。

図 3は、マイクおょぴ音源のェピポーラ幾何を示す図である。

図 4は、ェピポーラ幾何から導かれたマイク間位相差 Δ φ、周波数 fおよび音源方向 0 _Sの関係を示す図である。図 5は、伝達関数から導かれたマイク間位相差 Δ φ、周波数 f、および音源方向 0 s の関係を示す図である。

図 6は、伝達関数から導かれたマイク間音圧差 Δ p、周波数 f、および音源方向 Θ _sの関係を示す図である。

図 7は、マイクおよび音源の位置関係を示す図である。

図 8は、音源方向 Θ _sの時間変化を示す図である。

図 9は、通過幅関数 δ ( θ )を示す図である。

図 1 0は、音源方向 S _sと通過帯域を示す図である。

図 1 1は、音源分離部における位相差 Δ φによるサブバンド選択を示す図である。図 1 2は、音源分離部における音圧差 Δ ρによるサブバンド選択を示す図である。図 1 3は、通過幅関数を利用したマスクの関数を示す図である。

符号の説明

1 0 音声認識装置

1 4 音源

1 6 マイク

2 1 音源定位部

2 3 音源分離部

2 5 マスク生成部

2 7 特徴抽出部

2 9 音声認識部発明を実施するための最良の形態

1 . 概略

次に図面を参照して、この発明の実施の形態を説明する。図 1は、本発明の一実施形態による音声認識装置 1 0を含む音声認識システムを示す概略図である。図 1に示すように、このシステムは、音声認識装置 1 0を備えた躯体 1 2が、その周囲にある音源 1 4の発する音声を認識するものである。音源 1 4は、人間やロボットなどコミュ-ケーション手段として音声を発するものである。躯体 1 2は、移動ロボットや電化製品など、インタフェースに音声認識を用いるものである。躯体 1 2の両側には、音源からの音声を集音するための一対のマイク 1 6 a、 1 6 bが設置されている。なお、マイク 1 6 a、 1 6 bの位置は、躯体 1 2の両側に限定されることなく、躯体 1 2の他の位置に設置されても良い。また、マイクは、一対に限定されることなく、一対以上の個数が設置されても良い。

このシステムは、音源 1 4が発した音声を、マイク 1 6を介して躯体 1 2が集音する。集音された音声は躯体 1 2内の音声認識装置 1 0で処理される。音声認識装置 1 0は、音声が発せられた音源 1 4の方向を推定し、音声の内容を認識する。躯体 1 2は例えば音声の内容に応じたタスクを実施したり、自身の発話機構によって回答したりする。

つづいて、音声認識装置 1 0の詳細について説明する。図 2は、本実施形態による音声認識装置 1 0のブロック図である。

複数のマイク 1 6 a、 1 6 bは、単数または複数の音源 1 4が発した音声を集音し、これらの音声を含む音響信号を音声認識装置 1 0に送る。

音源定位部 2 1は、マイク 1 6 a、 1 6 bより入力された音響信号から音源 1 4の方向 θ ₈を定位する。また、音源 1 4や装置 1 0自体が移動している場合は、定位された音源 1 4の位置を時間方向に追跡する。本実施形態では、ェピポーラ幾何、散乱理論、または伝達関数を利用して音源定位を実施する。

音源分離部 2 3は、音?原定位部 2 1で求められた音源 1 4の方向情報 0 sを利用し、入力信号から音源信号を分離する。本実施形態では、前述のェピポーラ幾何、散乱理論、または伝達関数を利用して得られるマイク間位相差 Δ φまたはマイク間音圧差 Δ _Ρと、人間の聴覚特性を模した通過幅関数と、を組み合わせて音源分離を実施する。

マスク生成部 2 5は、音源分離部 2 3の分離結果が信頼できるかどうかに応じて、マスクの値を生成する。信頼できるかどうかを求めるのに、入力信号のスぺタトルや音源分離の結果を利用する。マスクは 0〜1の値をとり、 1に近いほど信頼できる。マスク生成部で生成されたマスクの値はそれぞれ、音声認識に用いられる入力信号の特徴量に適用される。

特徴抽出部 2 7は、入力信号のスぺクトルより特徴量を抽出する。

音声認識部 2 9は、音響モデルより特徴量の出力確率を求め、音声認識を行う。その際、マスク生成部 2 5で生成したマスクを適用して、出力確率を調整する。本実施形態では、隠れマルコフモデル（Hidden Malkov Model： HMM) によつて認識を行う。

以下、音声認識装置 1 0の各構成要素で行われる処理について説明する。 2 . 音源定位部

音源定位部 2 1は、複数のマイク 1 6より入力された音響信号から音源 1 4の方向を定位する。また、音源 1 4や装置 1 0自体が移動している場合は、定位された音源 1 4の位置を時間方向に追跡する。本実施形態では、音源 1 4およぴマイク 1 6のェピポーラ幾何を利用した音源定位 ( 2 . 1節）、散乱理論を利用した音源定位 ( 2 . 2節）、および伝達関数を利用した音源定位 ( 2 . 3節）のうち 1つを適用する。なお、音源定位の処理は、ビームフォーミングなど、その他の公知の方法を用いてもよい。

2 . 1 音源おょぴマイクのェピポーラ幾何を利用した音源定位

この方法は、図 3に示されるような、マイク 1 6と音源 1 4のェピポーラ幾何を利用して音源方向 0 sを算出する。図 3では、マイク 1 6 aおよびマイク 1 6 b 間の距離は 2 bであり、両マイク間の中点を原点とし、原点から垂直方向を正面としている。

なお、ェピポーラ幾何の詳細については、例えば中臺他、 "アクティブオーデイションによる複数音源の定位 ·分離'認識"、 AI Challenge研究会、 pp. 1043-1049、人工知能学会、 2002を参照されたい。

ェピポーラ幾何を利用した音源定位は、以下の手順で実施される。

1 ) マイク 1 6 a、 1 6 bから入力された音響信号を FFTなどで周波数分析し、スぺクトノレ S1 ( 、 S2(f)を求める。

2 ) 得られたスペクトルを複数の周波数領域（サブパンド）に分割し、各サブバンド £の位相差 Δ φ(£)を、式（1 ) より求める。

ここで、 Δ φ(¾) はのマイク間位相差である。 Im[Sl(fi)]は、マイク 1のサブバンド £におけるスぺクトル Sl(fi)の虚部であり、 Re[Sl(fi)]は、マイク 1のサプパンド fiにおけるスペクトル Sl(fi)の実部である。 Im[S2(fi)]は、マイク 2のサブパンドにおけるスぺクトル S2(fi)の虚部であり、 Re[S2(fi)]は、マイク 2のサブバンド £におけるスぺクトル S2(fi)の実部である。

3) ェピポーラ幾何（図 3) を利用して式（2) を導出する。 Αφ(θ, _;) = ¾ X b{9 + sin Θ) (2)

V

ここで、 Vは音速を表し、 bは原点とマイクとの距離を表し、 Θは音源方向の角度を表す。

式（2) の Θに一 9 0度から + 9 0度の範囲で例えば 5度おきに代入して、図 4に示すような周波数もと位相差 Δ φとの関係を求める。図 4に示す関係を用いて、 Δφ(β) にもつとも近い Δφ(θ，の Θを求め、この 0をサブバンドの音源方向 0iとする。

4) 各サブバンドの音源方向 Siと周波数から、音源方向が近くかつ調音関係にあるものを選んでグループ化し、そのグループの音源方向 θ₈とする。なお、複数のグループが選別された場合、複数の音源が存在すると考えられるので、それぞれの音源方向を求めても良い。あらかじめ音源の数が分かっている場合は、音源の数に対応したグループ数を選ぶのが望ましい。

2. 2 散乱理論を利用した音源定位

この方法は、マイク 1 6を設置する躯体 1 2による散乱波を考慮して、音源方向 S_sを算出する。ここではマイク 1 6を設置する躯体 1 2をロポットの頭部とし、半径 bの球と仮定する。また、頭部の中心を極座標 (τ, θ , φ) の原点とする。なお、散乱理論の詳細については、例えば Lax et al" "Scattering Theory", Academic Press, NY., 1989を参照されたい。

散乱理論を利用した音源定位は、以下の手順で実施される。

1 ) マイク 1 6 a、 1 6 bから入力された音響信号を、： FFTなどで周波数分析しスぺクトノレ Sl( >、 S2(f)を求める。

2) 得られたスペクトルを複数の周波数領域（サブパンド）に分割し、各サブパンド fiの位相差 Δφ(£) を、式（1 ) より求める。または、各サブパンド £の音圧差厶を、式（3) より求める。

ここで、 Δ p (fi) は両マイク間音圧差である。 Pl(fi)はマイク 1のサブバンド fiのパワーであり、 P2(fi) はマイク 2のサブバンド £のパワーである。

3 ) 音源 14の位置を = (r₀₎ 0， 0)、観測点 (マイク 16)の位置を 2·= (b, 0, 0)、音源と観測点の距離を R=l ー ι·|とすると、ロポット頭部における直接音によるポテンシャル Viは、式（4) で定義される。

.2 Rf

V ¹ = (4)

InRf

ここで、 f は周波数であり、 Vは音速であり、 Rは音源と観測点の距離である

4) ロボット頭部における音源方向 0からの直接音と散乱音によるポ

ル S(0,f) は、式（5) で定義される。

S(0,f) = V +v^s

/

(1)

, ν 、² \ (5)

(2n + l)P_n(cosの- 、 V

2 bf

h (1). f 2τώ

f ここで、 Vsは散乱音によるポテンシャルを表し、 P_nは第一種ルシャンドル (Legendre) 関数を表し、 h_n(l)は第一種球ハンケル関数を表す。

5) マイク 16 aの極座標を (b, π/2, 0)、マイク 16 bの極座標を (b,— π/2, θ) とすると、各マイクでのポテンシャルは、式（6) 、 (7) で表される。

Sl(6，f) = S(7r/2— 0,f) (6)

S2(0，f) = S(_ 7c/2_ 0,f) (7)

6)音源の方向 Θと、各サブパンド fiにおける位相差 Δφ(θ , fi),音圧差 Δ ρ(θ , fi) は、それぞれ式（8) 、 (9) によって関係付けられる。

>i ,fd = arg(Sl ( arg(S2( )） ( 8 )

A (^/;.) = 201og 帥,/; .)1

10 (9)

， ) I

7) 予め式（8) 、（ 9)の 0に適当な値（例えば 5度毎）を入れ、周波数と位相差 Δ φ( Θ， fi)との関係、または周波数 fiと音圧差 Δ _Ρ ( Θ， £)との関係を求める。 8) 屮，または，の中で、 Δφ(£)または Δ にもつとも近い θ を、各サブバンド £の音源方向 Θ iとする。

9) 各サブパンドの音源方向 6iと周波数から、音源方向が近くかつ調音関係にあるものを選んでグループ化し、そのグループの音源方向とする。なお、複数のグループが選別された場合、複数の音源が存在すると考えられるので、それぞれの音源方向を求めても良い。あらかじめ音源の数が分かっている場合は、音源の数に対応したグループ数を選ぶのが望ましい。また、 Δφ(£)、 Δ ρ (£)の両方を使って音源方向 Θ _sを求めてもよい。

2. 3 伝達関数を利用した音源定位

位相差や音圧差と周波数、音源方向を対応づけるのに一般的な方法は、伝達関数の測定である。伝達関数は、躯体 1 2 (たとえばロボット）に設置したマイク 1 6 a、 l 6 bで、さまざまな方向からのインパルス応答を測定して作成される。これを用いて音源方向を定位する。伝達関数を利用した音源定位は、以下の手順で実施される。

1 ) ,マイク 1 6 a、 1 6 bから入力された音響信号を、 FFTなどで周波数分析しスぺクトノレ Sl(f；)、 S2(f)を求める。

2) 得られたスぺクトルを複数の周波数領域 (サブバンド) に分割し、各サブパンド fiの位相差 Δφ(£) を、式（ 1 ) より求める。または、各サブパンド £の音圧差 Δ ρ(¾) を、式（3) より求める。

3) 適当な間隔（例えば 5度間隔）で ± 9 0度の範囲で、インパルス応答を計測して伝達関数を取得する。方向 Θごとにィンパルス応答をマイク 1 6 a、 1 6 bで測定して FFTなどの手法で周波数分析し、ィンパルス応答に対する各周波数 f のスペクトル（伝達関数） Spl(f；)、 Sp2(f) を求める。伝達関数 Spl(f；)、 Sp2(f)より、位相差 Δφ(θ， f) およぴ音圧差 Δ f) を以下の式（1 0) 、式（1 1 ) を用いて求める。

Αφ(θ,/) = arg(S l( ))-axg(₎¾_?2( )) ( 1 0)

± 9 0度の範囲の任意の間隔の方向 0と任意の周波数 f について上記計算を行い、算出された位相差 Δφ( f) およぴ音圧差 Δ ρ (θ， f) の一例を図 5およぴ図 6に示す。

4) 図 5または図 6に示す関係を用いて、 Δφ(£) または A ptfi) にもつとも近い Θを求め、それを各サブパンドの音源方向 0iとする。

5) 各サブバンドの音源方向 0iと周波数から、音源方向が近くかつ調音関係にあるものを選んでグループ化し、そのグループの音源方向 e_sとする。なお、複数のグループが選別された場合、複数の音源が存在すると考えられるので、それぞれの音源方向を求めても良い。また、 Δφ(£)、 Δ ptfi)の両方を使って音源方向 θ₈を求めてもよい。

2. 4 各マイクの入力信号の相互相関を利用した音源定位

この方法は、マイク 1 6 a、 1 6 bの入力信号の相互相関から、音源 1 4からマイク 1 6 aおよびマイク 1 6 bへの距離の差（図 7の d) を求め、マイク間距離 2 bとの関係から音源方向 θ₃を推定する。この方法は以下の手順で実施される。

1 ) マイク 1 6 aおよびマイク 1 6 bに入力された信号の相互相関 CC(T)を式（1 1) で計算する。

ここで、 Tはフレーム長を表す。はフレーム長 Τで切り出されたマイク 1 6 aからの入力信号を表し、 x₂(t)はフレーム長 Tで切り出されたマイク 1 6 からの入力信号を表す。

2) 得られた相互相関からピークを抽出する。抽出するピーク数は、あらかじめ音源数が分かっている場合は、音減数と同数を抽出するのが望ましい。抽出したピークの時間軸上での位置が、マイク 1 6 aおよびマイク 1 6 bへの信号の到達時間差を示す。

3) 信号の到達時間差と音速より、音源 1 4からマイク 1 6 a、 1 6 までの距離の違い（図 7の d) を算出する。

4) 図 7に示すように、マイク間距離 2 bおよび音源からマイクへの距離の差 dを用いて、式（1 2) から音源 1 4の方向 0_Sを求める。

Θ s = arcsin(d/2b) (1 3)

複数のピークを抽出した場合は、それぞれ音源方向 Θ _sを求める。

2. 5 音源方向追跡音源 14または躯体 12が移動する場合には、音源方向の追跡を行う。図 8は、音源方向 0 sの時間変化を示す。追跡は、それまでの時刻で得られた θ₈の軌跡から予測される音源方向 Θ_ρと、実際に得られた e _sとを比較し、その差が予め定めたしきい値よりも小さい場合には、同一音源からの信号と判断し、しきい値よりも大きい場合は、同一音源からの信号ではないと判断して行う。予測には、カルマンフィ 7レタゃ自己回帰予測、 HMM等、既存の時系列信号予測手法を用いる。

3. 音源分離部

音源分離部 23は、音源定位部 21で求められた音源 14の方向情報 Θ _sを利用し、入力信号から音源信号を分離する。本実施形態では、前述のェピポーラ幾何、散乱理論、または伝達関数を利用して得られるマイク間位相差 Δφまたはマイク間音圧差と、人間の聴覚特性を模した通過幅関数と、を組み合わせた分離方法について述べる。しかし、音源分離部 23で用いる手法は、ビームフォーミングゃ GSS (Geometric Source Separation, 幾何学的信号源分離）など、音源方向を利用し、かつサブバンドごとに音源分離をする公知の手法を用いてもよい。音源分離が時間領域で行われる場合は、分離の後周波数領域に変換する。本実施形態では音源分離は以下の手順で実施される。

1) 音源定位部 21より音源方向 e _sと、入力信号のスぺクトルのサブパンド £ の位相差 Δφ(ίί) または音圧差 Δ を受け取る。音源分離部 23で周波数領域における音源定位の手法を用いない場合には、ここで式（1) または式（3) を用いて Δφ(£) または Δ ρ(β) を求める。

2) 音源方向と通過幅の関係を示す通過幅関数を用いて、音源定位部 21で得られた音源方向に対応する通過幅 δ(θ₈) を求める。

通過幅関数は、音源方向に対する解像度が正面方向では高く周辺では低いという人の聴覚特性に基づき設計された関数であり、例えば図 9に示すように正面方向の通過幅が狭く、周辺の通過幅が広くなつている。横軸は、躯体 12の正面を 0[deg]とした場合の水平角である。

3) 得られた S(0_S)より、通過帯域の下限 61と上限 6 h (図 8に例示）を、式 (1 0) を用いて算出する。 θ, = θ - δ(θ₅) , _λ

s パノヽ（1 4)

0_h = θ + δ(θ_ε)

4) 0ι、 0hに対応する位相差 Δφι、厶を、前述のェピポーラ幾何（式（2) および図 4)、散乱理論 (式（8) )、伝達関数 (図 5)のいずれかを用いて推定する。図 1 1は推定した位相差と周波数 fiとの関係の一例を示すグラフである。または、 θι、 ^！！に対応する音圧差、 p_hを、前述の散乱理論（式（9) ) 、伝達関数（図 6) のいずれかを用いて推定する。図 1 2は推定した音圧差と周波数 £との関係の一例を示すグラフである。

5)各サブパンドの Δφ(£) または A ptfi) 力通過帯域内にあるかどうか調べ、通過帯域内のものを選択する（図 1 1、図 1 2) 。一般に、低周波数の定位は位相差、高周波数の定位は音圧差を利用するほうが、分離精度が増すと言われているので、予め定めたしきい値（例えば 1500[Hz]) より小さいサブパンドは位相差厶 φを、大きいサブパンドは音圧差 Δ ρを使って選択しても良い。

6) 選択されたサブパンドのフラグを 1に設定し、選択されなかったサブパンドのフラグを 0に設定する。 1のフラグがついたサブバンドが、音源信号として分離される。

なお、音源分離を、今まで述べてきた線形周波数領域のスペクトルではなく、メル周波数領域のスペクトルで行ってもよい。メル周波数とは、音の高低に対する人間の間隔尺度であり、その値は実際の周波数の対数にほぼ対応する。この場合は、前述の音源分離部 2 3の処理のステップ 1) の後に、メル周波数に変換するフィルタ処理を加えた以下の手順で、メル周波数領域での音源分離を行う。

1) マイク 1 6 a、 1 6 bに入力された信号を、 FFTなどで周波数分析しスぺクトル Sl(f)、 S2(f)を求める。

2) メル周波数領域で等間隔に配置した三角窓（例えば 24個）によりフィルタバンク分析を行う。

3)得られたメル周波数領域スぺクトルの各サブバンド mj の位相差 Δ_φ(η¾) を式（1) (ただし £→mj) より求める。またはマイク間音圧差 Δ _Ρ(π¾·)を、式（3) (ただし £→π¾) より求める。

4) 音源方向と通過幅の関係を示す通過幅関数（図 9) を用いて、音源定位部 2 1で得られた音源方向 Θ _sに対応する通過幅 δ (0 _s)を求める。 5) 得られた S(0_S)より、通過帯域の下限 θιと上限 6hを、式（10) を用いて算出する。

6) 0i、 0hに対応する位相差 Δφι、 Δφΐ!を、前述のェピポーラ幾何（式（ 2 ) および図 4) 、散乱理論（式（8) ) 、伝達関数（図 5) のいずれかを用いて推定する。または、 θι、 0hに対応する音圧差 Δ _P1、 A _Phを、前述の散乱理論（式 (9) ) 、伝達関数（図 6) のいずれかを用いて推定する。

7)各メル周波数の Δφ(π¾·)または Δ p(mj)が、通過帯域内にあるかどうか調べ、通過帯域内のものを選択する。一般に、低周波数の定位は位相差、高周波数の定位は音圧差を利用するほうが、分離精度が増すと言われているので、予め定めたしきい値（例えば 1500[Hz]) より小さいサブパンドは位相差 Δ φを、大きいサブパンドは音圧差 Δ pを使って選択しても良い。

8) 選択されたメル周波数に 1のフラグを設定し、選択されなかったメル周波数に 0のフラグを設定する。 1のフラグがついたメル周波数を分離された信号とする。

なお、音源分離がメル周波数領域で求められた場合、後述するマスク生成部 2 5で行われるメル周波数への変換は不要となる。

4. マスク生成部

マスク生成部 25は、音源分離部 23の分離結果が信頼できるかどうかに応じて、マスクの値を生成する。本実施形態では、複数の音源分離方法からの情報を利用したマスク生成（4. 1節）、通過幅関数を利用したマスク生成（4. 2節）、複数音源の影響を考慮したマスク生成（4. 3節）のいずれかを適用する。音源分離部 23で設定されたフラグ（0または 1) の信頼度を調べ、フラグの値と信頼度を考慮してマスクの値を設定する。マスクは 0〜1の値をとり、 1に近いほど信頼できるものとする。

4. 1 複数の音源分離方法からの情報を利用したマスク生成

ここでは、複数の音源分離方法による信号分離の結果を用いて、音源分離部 23の分離結果が信頼できるかどうかを確認し、マスクを生成する。この処理は以下の手順で実施される。

1) 音源分離部 23で用いられていない音源分離手法を少なくとも 1つ用いて音源分離を行い、音源分離部 2 3と同様にサブパンドごとにフラグを立てる。本実施形態では、音源分離部 2 3では以下の要素のいずれかを用いて音源分離が実施される。

i) ェピポーラ幾何に基づく位相差

ii) 散乱理論に基づく位相差

iii) 散乱理論に基づく音圧差

iv) 伝達関数に基づく位相差

V) 伝達関数に基づく音圧差

2 ) 音源分離部 2 3で得られたフラグと、 1 ) で得られたフラグのそれぞれが一致しているかどうかを調べ、マスクを生成する。例えば、音源分離部 2 3の手法に i)ェピポーラ幾何に基づく位相差を用い、マスク生成部 2 5の手法に ii)散乱理論に基づく位相差、 iii)散乱理論に基づく音圧差、および V)伝達関数に基づく音圧差を用いる場合を考えると、各状態におけるマスクの値は以下のようになる。

[表 1 ]

3 ) 得られたマスク値を、メルスケールのフィルタバンク分析を行って、メル周波数軸に変換し、マスクを生成する。なお、上述のように、音源分離がメル周波数領域で求められた場合には、このステップは不要である。

また、メル周波数軸に変換したマスクの値に対して適当なしきい値を設けておき、しきい値を超えたものは 1、そうでないものは 0をとる二値マスクに変換してもよい。

4 . 2 通過幅関数を利用したマスク生成この方法では、音源方向 e_sと通過幅関数 s(e_s)を利用し、音源方向との近さによってマスク値を生成する。つまり、音源方向に近いほど、音源分離部 23で付された 1のフラグは信頼でき、音源方向から遠いほど、音源分離部 23で付された 0のフラグは信頼できると考える。この処理は以下の手順で実施される。

1) 音源定位部 21より、音源方向 θ₈と入力信号を受け取る。

!r o

2) 入力信号より、各サブバンドの音源方向 Siを求める（音源定位部 21で音源方向が求められている場合は、それを利用する）。

3 ) 音源分離部 23より、通過幅 δ ( Θ s)と各サブバンドものフラグを受け取る (以下 0_tとする)。

4) 0 _tを用いてマスクの関数を生成し、各サブパンドの 0iと比べて仮マスクを求める。関数は次式のように与えられ、図 13に示すような挙動となる。

1 (-π≤ e_t <θ_ε -2Θ₍)

(0_S -20_t <θ_ί <6_S

θ₍

θ θ.

θ.

仮マスク (15)

(0_S <Q_i <θ +0_t)

{0_S +0_t< 9_i < 6_S +20_t)

1 φ₅ +2θ₍≤θι<π)

5 ) 音源分離部 23で求めたサプバンド £のフラグと、ステップ 4 ) で求めた仮マスクから、以下の通りマスクを生成する。

[表 2] フラグ仮マスクマスク値

0 1 0

0 1 >仮マスク > 0 饭マスクの値

0 0 1

1 1 1

1 1 >仮マスク > 0 仮マスクの値

1 0 0 6) 得られたマスク値を、メルスケールのフィルタパンク分析を行って、メル周波数軸に変換し、マスクを生成する。なお、上述のように、音源分離がメル周波数領域で求められた場合には、このステツプは不要である。

4. 3 複数音源の影響を考慮したマスク生成

ここでは、音源が複数ある場合に、 2つ以上の音源の信号が含まれていると推定されるサブパンドの信頼性を下げるように、マスク値を生成する。

1) 音源定位部 21より、音源方向 s_sl, e_s2, ...と入力信号を受け取る。

2) 入力信号より、各サブパンドの音源方向 Siを求める。音源定位部 21で音源方向が求められている場合は、それを利用する。

3) 音源分離部 23より、各音源方向 Θ₃₁, …の通過帯域^ ^^)、 (Θΐ2, 0h2)、 …とフラグを受け取る。

4 ) 各サブバンドの音源方向 Θ iが、

i) 2つ以上の音源の通過帯域 ( θ 1, Θ _h) に含まれている

ii) その音源の通過帯域にも含まれていない

かどうか調べ、 i)または ii)にあてはまるサブバンドには 0、それ以外には 1の仮マスクを生成する。

5) フラグと仮マスクより、以下の通りマスク.を生成する。

[表 3]

6) 得られたマスク値を、メルスケールのフィルタパンク分析を行って、メル周波数軸に変換し、マスクを生成する。なお、上述のように、音源分離がメル周波数領域で求められた場合には、このステップは不要である。

5. 特徴抽出部

特徴抽出部 27は、一般的に知られる手法を用いて、入力信号のスペクトルより特徴量を求める。この処理は以下の手順で実施される。

1) FFT等でスペクトルを求める。

3) 分析結果の対数をとり、メル周波数対数スペクトルを得る。

4) 対数スペクトルを離散コサイン変換する。

5) ケプストラム係数の 0次と高次（例えば 13次から 23次）の項を 0にする。

6) ケプストラム平均除去を行う。

7) 逆離散コサイン変換を行う。

以下、求められた特徴量を、特徴ベクトル； r=(xi，X2, … ，xj, ,,，xj)として扱う。

6. 音声認識部

本実施形態では、音声認識部 29は、従来技術として知られる HMMによって音声認識を行う。

特徴べクトル χ、状態 Sの時の通常の連続分布型 HMMの出力確率 fOr, S) は、式 (16) で表される。 f{x\S) =∑P(k\S)f(x\k,S) (1 6) ここで、 Nは混合正規分布の混合数を表し、 P(k|S)は混合比を表す。

ミツシンダフィーチヤ一理論に基づく音声認識では、 f(x, S)を Xの確率密度関数 p(x)で平均したものを利用する。 f^ls) =∑P(k\S)f(x_r \k,S) (1 7)

=1

ここで、とし、 Xrは特徴べクトルのうち信頼できる成分で、マスクが 0より大きいもの、は特徴ベクトルのうち信頼できない成分で、マスクが 0 のものを示す。

信頼できない特徴成分が [0, ]の範囲に一様分布すると仮定すると、式（1 7) は、式（1 8) に書き直せる。 I S)f(x_r I k,S)— f(x'r I k,s)i u (1 8)

J j番目の成分の出力確率 o(Xj|S)は、式（1 9) のように表せる。

I M(j)f(xj \S) + (l -MU))f(Xj I S) ifM(j)≠ 0

(1 9)

I I otherwise

.こで、 Μφは特徴べクトルの； j番目の成分のマスクを表す。

全体の出力確率 O(ATIS)は、式（20) のように表せる。

。(ズ| = Π。( S) (2 0)

.こで Jは特徴べクトルの次元を表す。

式（20) は、式（2 1) でも表せる _t

N

(x I S) = Yp(k 1 S)exp Klog/fe I k,S) (2 1)

式（20) または式（2 1) を用いて音声認識を行う。

以上にこの発明を特定の実施例について説明したが、

実施例に限定されるものではなレ、。

Claims

請求の範囲

1 . 外部から集音された音響信号から音声を認識するための音声認識装置であつて、

前記音響信号を検出する少なくとも 2つの音検出手段と、

前記音響信号に基づいて音源の方向を求める音源定位部と、

前記音源の方向に基づいて前記音響信号から前記音源による音声を分離する音源分離部と、

前記分離の結果の信頼性に応じてマスクの値を生成するマスク生成部と、前記音響信号の特徴量を抽出する特徴抽出部と、

前記マスクを前記特徴量に適用して前記音響信号から音声を認識する音声認識部と、

を有する音声認識装置。 .

2 . 前記マスク生成部が、前記音源分離部とは異なる複数の音源分離手法を用いて前記音響信号を分離した結果と、前記音源分離部による前記分離の結果との一致度合いに応じて前記マスクの値を生成する、請求項 1に記載の音声認識装置。

3 . 前記マスク生成部が、音源方向によって定められる同一の音源かを判断するための通過幅に応じて前記マスクの値を生成する、請求項 1に記載の音声認識装置。

4 . 複数の音源がある場合には、前記マスク生成部が該複数の音源のいずれか 1つにだけ近レ、ほど前記分離の結果の信頼性を高めて前記マスクの値を生成する、請求項 1に記載の音声認識装置。