JP4585590B2 - 基本周波数変化量抽出装置、方法及びプログラム - Google Patents

Description

本発明は、入力された音声信号から基本周波数の変化量を抽出する基本周波数変化量抽出装置、方法及びプログラムに関する。

音声の韻律情報の要素の１つに、単位時間あたりの基本周波数の変化量がある。このような基本周波数の変化量（基本周波数変化量）の情報からは、アクセントやイントネーション、有声／無声についての情報が獲得可能である。このため、基本周波数変化量は、音声認識装置や話者認識装置などで使用される。このような基本周波数変化量は、時刻（フレーム）毎に基本周波数の抽出を行い、近接する時刻（フレーム）間の基本周波数の差分値を求めることによって得ることができる。基本周波数を抽出する方法は、例えば、非特許文献１に示されている。

しかし、非特許文献１に示されている方法では、誤った基本周波数を抽出してしまう恐れがあり、この結果得られる基本周波数変化量が誤っている恐れがある。近年では、基本周波数の抽出の誤りによる影響が低減された基本周波数変化量を得る方法が提案されている（例えば、特許文献１参照）。この方法によれば、ある時刻（フレーム）の音声の予測残差の自己相関関数と別の時刻（フレーム）の音声の予測残差の自己相関関数との相互相関関数を計算して相互相関関数のピーク値を抽出することにより、ピッチ抽出誤りの影響を低減し複数の基本周波数の候補を考慮した基本周波数変化量を得る。

特許第２９４０８３５号公報 古井貞煕、「ディジタル音声処理」、東海大学出版会、ｐｐ．５７−５９（１９８５）

しかしながら、特許文献１に記載されている方法によれば、音声の予測残差に基づいているため、背景雑音の影響を受けて、最大の相互相関値を与えるシフト量が基本周波数の変化量と異なり、正確な基本周波数変化量が得られにくくなるという問題がある。また、予測残差の自己相関関数には基本周期の整数倍の位置にピークが現れるが、整数倍の位置のピークのシフト量は、基本周期のシフト量の整数倍になる。このため、正しい基本周波数変化量を求めるためには、相互相関関数を求める予測残差自己相関関数の範囲を正しい基本周期の付近に限定する必要がある。そのためには基本周期を事前に求めたり、話者の声の高さに応じて基本周期の範囲を適切に定めたりする必要がある。しかし、このような基本周期の範囲を適切に定めることは困難である。このため、基本周期の範囲を限定せずとも、背景雑音の影響が低減された基本周波数変化量が得ることが望まれていた。

本発明は、上記に鑑みてなされたものであって、基本周期の範囲を限定せずとも、背景雑音の影響が低減された基本周波数の変化量を得ることが可能な基本周波数変化量抽出装置、方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、基本周波数変化量抽出装置であって、入力された音声信号に基づいて、対数周波数軸上で等間隔に求められた周波数成分からなる対数周波数スペクトルであって時刻毎に当該時刻を含む所定の時間範囲の対数周波数スペクトルを連結した対数周波数スペクトログラムを計算する対数周波数スペクトログラム計算部と、前記対数周波数スペクトログラムの時系列の各時刻において、当該対数周波数スペクトログラムについて周波数成分の強さを用いて投票を行うことにより、直線を検出するためのハフ変換を行うハフ変換部と、前記投票の結果である投票値を用いて、直線の集まりである直線群と、周波数成分の強さが第１閾値より大きい投票値又は周波数成分の強さの大きい順に所定の順位以内の投票値とを抽出する直線群抽出部と、前記直線群に含まれる個々の直線の傾きと抽出された前記投票値とを用いて、基本周波数の時間変化量を計算する基本周波数変化量計算部とを備えることを特徴とする。

また、本発明は、対数周波数スペクトログラム計算部と、ハフ変換部と、直線群抽出部と、基本周波数変化量計算部とを備える基本周波数変化量抽出装置で実行される基本周波数変化量抽出方法であって、前記対数周波数スペクトログラム計算部が、入力された音声信号に基づいて、対数周波数軸上で等間隔に求められた周波数成分からなる対数周波数スペクトルであって時刻毎に当該時刻を含む所定の時間範囲の対数周波数スペクトルを連結した対数周波数スペクトログラムを計算する対数周波数スペクトログラム計算ステップと、前記ハフ変換部が、前記対数周波数スペクトログラムの時系列の各時刻において、当該対数周波数スペクトログラムについて周波数成分の強さを用いて投票を行うことにより、直線を検出するためのハフ変換を行うハフ変換ステップと、前記直線群抽出部が、前記投票の結果である投票値を用いて、直線の集まりである直線群と、周波数成分の強さが第１閾値より大きい投票値又は周波数成分の強さの大きい順に所定の順位以内の投票値とを抽出する直線群抽出ステップと、前記基本周波数変化量計算部が、前記直線群に含まれる個々の直線の傾きと抽出された前記投票値とを用いて、基本周波数の時間変化量を計算する基本周波数変化量計算ステップとを含むことを特徴とする。

また、本発明は、プログラムであって、上記の方法をコンピュータに実行させることを特徴とする。

本発明によれば、基本周期の範囲を限定せずとも、背景雑音の影響が低減された基本周波数の変化量が得ることが可能になる。

以下に添付図面を参照して、この発明にかかる基本周波数変化量抽出装置、方法及びプログラムの最良な実施の形態を詳細に説明する。

まず、本実施の形態で利用する原理について説明する。声帯の振動を伴う有声音は、基本周波数の成分とその整数倍の周波数（倍音周波数）の成分とを強く含む。すなわち、時刻ｊ（０＜ｊ≦J）における基本周波数をｆ_ｊとすると、ｍ・ｆ_ｊ（１≦ｍ≦Ｍ）の周波数成分が強いことになる。有声音が持つこのような周波数成分の関係を調波構造といい、調波構造を構成する各周波数成分を調波成分という。対数周波数軸上では、基本周波数の対数ｌｏｇｆ_ｊに対して、調波構造は以下に示す式１の関係で表される。

すなわち、ｍ番目の倍音周波数の対数ｌｏｇｍ・ｆ_ｊは、基本周波数の対数ｌｏｇｆ_ｊに対して常に一定のオフセットｌｏｇｍを加えた値に相当する。また、時刻ｊにおける、単位時間あたりの基本周波数の対数の変化量ｄ_ｊを以下の式２により定義する。

このとき、時間区間［ｊ−ｎ：ｊ＋ｎ］で基本周波数の対数の変化量が一定ならば、以下の式３が成り立つ。

式３が成り立つとき、当該時間区間における基本周波数の対数の時系列は、以下の式４に示す、基本周波数の対数の変化量ｄ_ｊを傾きとする直線として与えられる。

一方、時間区間［ｊ−ｎ：ｊ＋ｎ］で基本周波数の対数の変化量が一定ならば、倍音周波数を与える式１は、以下に示す式５のように変形できる。

すなわち、ある時間区間で基本周波数の対数の時間変化量が一定であれば、対数周波数軸上において、調波構造の時系列は、基本周波数の対数の変化量ｄ_ｊを傾きとする直線の集まりである直線群として与えられる。このことから、直線群に含まれる個々の直線に共通する傾きの値を推定することで、基本周波数の抽出や、基本周波数の範囲の限定を必要とせずに、基本周波数の対数の変化量を抽出することができる。

また、背景雑音によって調波構造の一部が不明瞭な場合においても、直線群に含まれる個々の直線の傾きが持つ共通性に着目することにより、背景雑音の影響が低減された基本周波数の対数の変化量を抽出することができる。

本実施の形態では、音声認識装置に、以上のような原理を利用して、入力された音声信号から基本周波数変化量を抽出する基本周波数変化量抽出装置を備える。音声認識装置とは、概略的には、人間の音声をコンピュータで自動的に認識する音声認識処理を行なうものである。図１は、音声認識装置２１のハードウェア構成を示す図である。同図に示されるように、音声認識装置２１は、例えばパーソナルコンピュータであり、ＣＰＵ（Central Processing Unit）２２と、ＲＯＭ（Read Only Memory）２３と、ＲＡＭ（Random Access Memory）２４と、ＨＤＤ（Hard Disk Drive）２６と、ＣＤ（Compact Disc）−ＲＯＭドライブ２８と、通信制御装置３０と、入力装置３１と、表示装置３２と、これらを接続するバス２５とを備えている。

ＣＰＵ２２は、コンピュータの主要部であって各部を集中的に制御する。ＲＯＭ２３は、ＢＩＯＳなどの各種プログラムや各種データを記憶した読出し専用メモリである。ＲＡＭ２４は、各種データを書換え可能に記憶するメモリであり、ＣＰＵ２２の作業エリアとして機能してバッファ等の役割を果たす。通信制御装置３０は、音声認識装置２１とネットワーク２９との通信を制御する。入力装置３１は、キーボードやマウスなどから構成され、ユーザからの各種操作指示の入力を受け付ける。表示装置３２は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などから構成され、各種情報を表示する。

ＨＤＤ２６は、各種プログラムや各種データを記憶しており、主記憶装置として機能する。ＣＤ−ＲＯＭドライブ２８は、ＣＤ−ＲＯＭ２７に記憶された各種データや各種プログラムを読み取る。本実施の形態においては、ＣＤ−ＲＯＭ２７は、ＯＳ（Operating System）や各種のプログラムを記憶している。ＣＰＵ２２は、ＣＤ−ＲＯＭ２７に記憶されているプログラムをＣＤ−ＲＯＭドライブ２８で読み取り、ＨＤＤ２６にインストールして、インストールしたプログラムを実行して、各種機能を実現させる。

次に、ＨＤＤ２６にインストールされている各種プログラムをＣＰＵ２２が実行することにより音声認識装置２１において実現される機能のうち、本実施の形態に特有の基本周波数変化量抽出機能について説明する。図２は、基本周波数変化量抽出機能を細分化してブロック化して示した図である。同図に示される基本周波数変化量抽出装置１００が、基本周波数変化量抽出機能に相当する。基本周波数変化量抽出装置１００は、対数周波数スペクトログラム計算部１０１、ハフ変換部１０２、直線群抽出部１０３及び基本周波数変化量計算部１０４を有する。

対数周波数スペクトログラム計算部１０１には、所定の間隔の時刻毎（例えば１０ｍｓ）に、所定の時間範囲（例えば２５ｍｓ）に分解された音声信号が入力される。この分解された音声信号をフレームという。対数周波数スペクトログラム計算部１０１は、フレーム毎に入力された音声信号について、時刻毎に、当該時刻を含む所定の時間範囲に含まれる対数周波数スペクトルを連結した、時間（フレーム）及び対数周波数を軸とする対数周波数スペクトログラムを計算する。

図３は、対数周波数スペクトログラム計算部１０１の構成を例示する図である。対数周波数スペクトログラム計算部１０１は、周波数分析部１１１と、対数周波数スペクトル連結部１１２とを有する。周波数分析部１１１は、フレーム毎に周波数分析を行い、対数周波数軸上で等間隔に求められた周波数成分からなる対数周波数スペクトルを計算する。具体的には、周波数分析部１１１は、対数周波数軸上で等間隔となる周波数点に基づいてフーリエ変換やウェーブレット変換を行うことにより、対数周波数スペクトルを計算する。または、周波数分析部１１１は、線形周波数軸上で等間隔となる周波数点に基づいてフーリエ変換やウェーブレット変換を行うことにより求められた線形周波数スペクトルにおいて周波数軸変換を行うことにより、対数周波数スペクトルを計算する。対数周波数スペクトル連結部１１２は、時刻毎に、当該時刻を含む所定の時間範囲の対数周波数スペクトルを連結する。この結果、対数周波数スペクトログラムが生成される。

図２の説明に戻る。ハフ変換部１０２は、対数周波数スペクトログラム計算部１０１が計算した対数周波数スペクトログラムについて、周波数成分の強さを輝度とした２次元平面画像とみなし、この２次元平面画像において周波数成分の強さを用いて投票を行うことにより、直線を検出するためのハフ変換を行う。この投票の結果の値を投票値という。この投票値が分布する空間をハフ平面と呼ぶ。ハフ変換部１０２は、このようなハフ平面上の投票値を出力する。尚、直線を検出するためのハフ変換は、例えば、中川聖一、「パターン情報処理」、丸善株式会社、ｐｐ．１８１−１８７（１９９９）に示されている方法などを用いて行うことができるが、いずれかの方法に限定されるものではない。

直線群抽出部１０３は、ハフ変換部１０２が出力した投票値を用いて、基本周波数変化量の計算に用いる対象となる直線群とその投票値（対象投票値という）とを抽出する。直線群とは、上述したように、傾きが共通である直線の集まりであって、対数周波数スペクトログラムに含まれる調波構造の時系列を表すものである。

基本周波数変化量計算部１０４は、直線群抽出部１０３が抽出した直線群及び対象投票値を用いて、基本周波数変化量を計算する。図４は、基本周波数変化量計算部１０４の構成を例示する図である。基本周波数変化量計算部１０４は、対象投票値加算部１４１と、直線群共通傾き抽出部１４２と、基本周波数変化量算出部１４３とを有する。対象投票値加算部１４１は、直線群抽出部１０３が抽出した直線群から、傾きが等しい全ての直線に対する対象投票値の総和を計算する。直線群共通傾き抽出部１４２は、対象投票値加算部１４１が計算した、直線の傾き毎の対象投票値の総和の最大値を探索し、最大値を与える傾きの値を抽出する。基本周波数変化量算出部１４３は、直線群共通傾き抽出部１４２が抽出した傾きの値と、線形周波数軸上における周波数の最大値（例えば１６００Ｈｚ）と、線形周波数軸上における周波数の最小値（例えば２００Ｈｚ）とを用いて、基本周波数の対数の変化量を計算する。そして、この計算の結果が基本周波数の時間変化量であり、基本周波数変化量である。そして、基本周波数変化量算出部１４３は計算した基本周波数変化量を出力する。

次に、本実施の形態にかかる基本周波数変化量抽出装置１００の行う基本周波数変化量抽出処理の手順について図５を用いて説明する。基本周波数変化量抽出装置１００の対数周波数スペクトログラム計算部１０１の周波数分析部１１１は、入力された音声信号から１フレーム毎に、周波数分析を行い、対数周波数軸上で等間隔に求められた周波数成分からなる対数周波数スペクトルＳ_ｔ（ｗ）を計算する（ステップＳ１）。ｔ（０＜ｔ≦Ｔ）は、処理対象のフレームに付与された番号（フレーム番号という）であり、ｗ（０≦ｗ＜Ｗ）は、対数周波数軸上の周波数点に付与された番号（周波数点番号という）であり、Ｓ_ｔ（ｗ）は、ｔとｗとにおける周波数成分の強さ（パワー）を表している。尚、対数周波数スペクトルを求める際、周波数成分を求める範囲を、例えば音声のエネルギーが相対的に大きい２００Ｈｚから１６００Ｈｚまでとすることにより、背景雑音の影響を受けにくい対数周波数スペクトルが得られる。

次に、対数周波数スペクトル連結部１１２が、ｔを含む近傍のフレーム区間に含まれる対数周波数スペクトルを連結する。この結果、対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）が生成される（ステップＳ２）。ＳＧ_ｔ（ｎ，ｗ）は、フレームｔの近傍のフレーム区間に含まれるフレームｎ、対数周波数軸上の周波数点番号ｗにおける音声の（対数）パワーを表している。尚、連結対象のフレーム区間として、前後に一定の幅（Ｎ）を取った区間［ｔ−Ｎ：ｔ＋Ｎ］、後方に一定の幅を取った区間［ｔ−Ｎ：ｔ］や前方に一定の幅を取った区間［ｔ：ｔ＋Ｎ］などが挙げられるが、フレーム区間の取り方はこれらの方法に限定されるものではない。

図６は、音声信号に対する対数周波数スペクトログラムを例示する図である。図の横軸がフレーム番号ｔ、縦軸が対数周波数軸上の周波数点番号ｗを表している。また、色の濃淡が周波数成分の強さを示しており、色が薄いほど周波数成分が強い様子を表している。同図においては、周波数成分の強い領域が複数の周波数帯域に並んでおり、時間の変化と共にそれらの領域が連続的に変動している様子が見られる。これらの各領域が、有声音のもつ調波成分に相当する。調波成分が見られない部分は、無声音または無音部分である。ここで、図中の枠線は、フレームｔ_ａにおいて、対数周波数スペクトル連結部１１２が連結する対象のフレーム区間の例を表している。

図７は、あるフレームｔにおいて、生成された対数周波数スペクトログラムを模式的に示す図である。図の横軸が連結対象のフレームｎを表し、縦軸が対数周波数軸上の周波数点番号ｗを表している。ここでは、連結対象のフレーム区間を［ｔ−２：ｔ＋２］とした。図中の点が、各フレームにおける調波成分の位置を表している。同図に示されるように、フレーム区間［ｔ−２：ｔ＋２］の対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）において基本周波数の対数の変化量が一定であるならば、各調波成分の時系列は、傾きが共通である直線として与えられる。このとき、各直線は以下の式６により与えられる。

ここで、ｗ’_ｔ（ｍ）は、フレームｔにおけるｍ番目の調波成分の、対数周波数軸上の周波数点番号を表している。また、ｄ’_ｔは、フレームｔにおける基本周波数の対数の変化量を、対数周波数軸上の周波数点数で表した量であり、これが直線群を成す直線に共通する傾きに相当する。ｄ’_ｔは、基本周波数の対数の変化量ｄ_ｔと、以下の式７に示す関係にある。ここで、Ｆ_ｍａｘは線形周波数軸上における周波数の最大値（例えば１６００Ｈｚ）を表し、Ｆ_ｍｉｎは線形周波数軸上における周波数の最小値（例えば２００Ｈｚ）を表している。

図５の説明に戻る。次に、ハフ変換部１０２が、ステップＳ２で生成された対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）について、周波数成分の強さを輝度とした２次元平面画像とみなし、周波数成分の強さを用いて投票を行うことにより、直線を検出するためのハフ変換を行う（ステップＳ３）。直線を検出するためのハフ変換の例として、直線「ｙ＝ａ_ｐｘ＋ｂ_ｐ」を含む（ｘ，ｙ）平面をハフ平面（ａ，ｂ）に変換することを考える。ここで、ａ_ｐは直線の傾きを表し、ｂ_ｐは直線の切片を表している。このとき、（ｘ，ｙ）平面上の直線「ｙ＝ａ_ｐｘ＋ｂ_ｐ」は、ハフ平面（ａ，ｂ）上の点（ａ_ｐ，ｂ_ｐ）に変換され、点（ａ_ｐ，ｂ_ｐ）には直線「ｙ＝ａ_ｐｘ＋ｂ_ｐ」上の各点の輝度（周波数成分の強さ）に基づく値の累積値が投票される。この投票の結果を投票値とする。ここで、フレームｔにおける点（ａ_ｐ，ｂ_ｐ）の投票値をＨ_ｔ（ａ_ｐ，ｂ_ｐ）とする。

次に、対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）に対して、直線を検出するためのハフ変換を行うことを考える。上述のように、対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）において基本周波数の対数の変化量が一定であるならば、調波構造の時系列は、傾きが共通である直線の集まりである直線群として表される。このような対数周波数スペクトログラムに対してハフ変換を行うことで、直線群に含まれる個々の直線「ｗ＝ｄ’_ｔ・ｎ＋ｗ’_ｔ（ｍ）」は、それぞれハフ平面（ｄ’、ｗ’）上の点（ｄ’_ｔ，ｗ’_ｔ（ｍ））に変換されることになる。すなわち、直線群に含まれる個々の直線は、全てハフ平面上の直線「ｄ’＝ｄ’_ｔ」の点に変換されることになる。また、Ｈ_ｔ（ｄ’_ｔ，ｗ’_ｔ（ｍ））には、直線「ｗ＝ｄ’_ｔ・ｎ＋ｗ’_ｔ（ｍ）」上の各点の輝度（周波数成分の強さ）に基づく値の累積値が投票される。図６に示されるように、音声信号に対する対数周波数スペクトログラムにおいて、色が薄いほど、即ち、輝度が大きいほど周波数成分が強く、基本周波数や倍音周波数の周波数成分は他の周波数帯域に比べて周波数成分が強い。このため、基本周波数や倍音周波数に対する直線上の各点がハフ平面上に変換された（ｄ’_ｔ，ｗ’_ｔ（ｍ））に対して、Ｈ_ｔ（ｄ’_ｔ，ｗ’_ｔ（ｍ））には他の周波数帯域に比べて大きい値が投票されることになる。

尚、ハフ平面（ｄ’，ｗ’）において、ｄ’の値域を、対数周波数スペクトル連結部１１２がステップＳ２で連結した対象のフレーム区間における基本周波数の変化量の範囲（例えば、±１オクターブまで）に応じて限定することが好ましい。これにより、計算にかかる時間及び計算に必要なメモリ量を削減することが可能となる。

また、ハフ平面（ｄ’，ｗ’）において、ｗ’の値域を、基本周波数の範囲（例えば、０Ｈｚから４００Ｈｚまで）に応じて限定することが好ましい。これにより、計算にかかる時間及び計算に必要なメモリ量を削減することが可能となる。

図８は、図７で示した対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）に対してハフ変換を行うことで得られたハフ平面を模式的に示す図である。図中の点が、各調波成分の時系列である直線を変換した点（ｄ’_ｔ，ｗ’_ｔ（ｍ））を表している。図８においては、直線群に含まれる個々の直線の傾きｄ’_ｔが共通であるため、各調波成分の時系列である直線を変換した点は、直線「ｄ＝ｄ’_ｔ」上に変換されることが示されている。このようにしてハフ変換部１０２はハフ変換を行って、ハフ平面上の投票値Ｈ_ｔ（ｄ’，ｗ’）を出力する。

図５の説明に戻る。次に、直線群抽出部１０３が、ステップＳ３で出力されたハフ平面上の投票値Ｈ_ｔ（ｄ’，ｗ’）を用いて、基本周波数変化量の計算に用いる対象として、ステップＳ２で生成された対数周波数スペクトログラムに含まれる直線群とその投票値（対象投票値）とを抽出する（ステップＳ４）。ここで、フレームｔにおける対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）に含まれる直線「ｗ＝ｄ’・ｎ＋ｗ’」に対する対象投票値をＣ_ｔ（ｄ’，ｗ’）とする。

上述のように、調波構造の時系列の直線群「ｗ＝ｄ’_ｔ・ｎ＋ｗ’_ｔ」をハフ平面に変換した各点の投票値Ｈ_ｔ（ｄ’_ｔ，ｗ’_ｔ）は大きい値となる。そのため、投票値Ｈ_ｔ（ｄ’，ｗ’）から成分の大きい点を抽出することにより、調波成分の時系列の直線群を抽出することができると共に、それらの直線群の対象投票値は大きい値となる。

例えば、直線群抽出部１０３は、投票値Ｈ_ｔ（ｄ’，ｗ’）に対して、以下の式８に示すように、閾値θを用いて対象投票値を選択する。即ち、直線群抽出部１０３は、閾値θ以上である投票値を対象投票値として選択することにより、全ての投票値の中から、基本周波数変化量の計算に用いる対象となる対象投票値を抽出する。尚、閾値θは予め定められていても良いし、動的に求めても良い。

あるいは、直線群抽出部１０３は、投票値Ｈ_ｔ（ｄ’_ｔ，ｗ’_ｔ）の大きい順に所定の順位内の投票値を対象投票値として選択することにより、対象投票値を抽出するようにしても良い。

次に、基本周波数変化量計算部１０４の対象投票値加算部１４１が、ステップＳ４で抽出された直線「ｗ＝ｄ’・ｎ＋ｗ’」から、傾きｄ’の値が等しい全ての直線の対象投票値の総和を計算する（ステップＳ５）。

図９は、図８に示したハフ平面に対して、ステップＳ５で計算される、傾きｄ’毎の対象投票値の総和をグラフに表した図である。図の横軸が傾きｄ’を表し、縦軸が対象投票値の総和Ｃ’（ｄ’）を表している。上述のように、調波構造の時系列の直線群は、全て共通の傾きｄ’_ｔを持ち、なおかつ、それらの直線群の対象投票値は大きい値となる。そのため、図９に示されるように、傾きがｄ’_ｔである直線の対象投票値を全て加算することによって得られる総和は非常に大きい値となる。

図５の説明に戻る。次に、直線群共通傾き抽出部１４２が、ステップＳ５で計算された、傾きｄ’毎の信頼度の総和Ｃ’（ｄ’）の最大値を探索し、最大値を与えるｄ’の値ｄ’_ｍａｘを抽出する（ステップＳ６）。

その後、基本周波数変化量算出部１４３が、以下の式９により、ｄ’_ｍａｘからｄ_ｍａｘを計算する（ステップＳ７）。これにより、ｄ’_ｍａｘとして調波構造の時系列の直線群に共通する傾きｄ’_ｔが抽出されていれば、ｄ_ｍａｘは基本周波数の対数の変化量ｄ_ｔに等しくなる。即ち、式９の計算の結果、基本周波数の対数の変化量ｄ_ｔを基本周波数変化量算出部１４３は得ることができる。

そして、基本周波数変化量算出部１４３は、ステップＳ８で得られた基本周波数の対数の変化量ｄ_ｔを出力する（ステップＳ８）。

以上のように、ある時間区間において、基本周波数の対数の変化量が一定であるならば、当該時間区間で計算した対数周波数スペクトログラムにおいて、調波構造は時間方向に連続した直線の集まりである直線群となり、直線群に含まれる個々の直線の傾きは全て基本周波数の対数の変化量に等しくなる。このことから、直線群に含まれる個々の直線に共通する傾きの値を推定することで、基本周波数の抽出や、基本周波数の範囲の限定を必要とせずに、基本周波数変化量を得ることができる。

また、背景雑音によって調波構造の一部が不明瞭な場合においても、直線群に含まれる個々の直線の傾きが持つ共通性に着目することにより、背景雑音の影響が低減された基本周波数変化量を得ることができる。

なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。

上述した実施の形態において、基本周波数変化量抽出装置１００は、ステップＳ３でハフ変換を行う前に、対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）から特徴点を予め抽出するようにしても良い。そして、ステップＳ３でハフ変換を行う際に、抽出した特徴点のみを用いてハフ平面への投票を行うことにより、計算にかかる時間、及び計算に必要なメモリ量を削減することが可能となる。特徴点を抽出する方法としては、例えば以下の方法があるが、これらに限定されるものではない。１つは、対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）の各点の輝度（周波数成分の強さ）と閾値との比較を行い、閾値以上の輝度を持つ点を特徴点として抽出する方法である。この閾値は上述の閾値θと異なるものであるが、同じであっても良いし、また、予め定められていても良いし、動的に求めても良い。また１つは、対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）の輝度の大きい順に所定の順位以内の点を特徴点として抽出する方法である。この所定の順位は、上述の直線群抽出部１０３が投票値を抽出する際に用いる所定の順位と同じであっても良いし、異なっていても良い。

上述した実施の形態において、周波数分析部１１１で計算する対数周波数スペクトルは、スペクトル包絡成分を除いた残差成分の対数周波数スペクトルでも良い。この残差信号の対数周波数スペクトルは、線形予測分析などにより得られる残差信号から求めても良いし、ケプストラムの高次成分のフーリエ変換から求めても良い。

また、周波数分析部１１１で計算する対数周波数スペクトルは、対数化したケプストラムであっても良い。

また、周波数分析部１１１で計算する対数周波数スペクトルは、対数化した自己相関関数であっても良い。

上述した実施の形態において、対数周波数スペクトル連結部１１２で計算される対数周波数スペクトログラムは、振幅の正規化を行った対数周波数スペクトログラムでも良い。振幅を正規化する方法には、具体的には例えば以下のものがある。１つは、対数周波数スペクトログラムの振幅の平均を一定値（例えば０）にする方法である。また１つは、分散を一定値（例えば１）にする方法である。また１つは、最小値と最大値を一定値（例えば０と１）にする方法である。また１つは、対数周波数スペクトログラムを求める音声波形の振幅の分散値を一定値（例えば‘１’）にする方法である。

上述した実施の形態においては、各種プログラムや各種データが記憶される記憶媒体としてＣＤ−ＲＯＭ２７を取り扱ったが、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いても良い。また、通信制御装置３０を介してインターネットなどのネットワーク２９からプログラムをダウンロードし、ＨＤＤ２６にインストールするようにしても良い。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、記憶媒体に相当する。なお、音声認識装置２１で実行されるプログラムは、所定のＯＳ（Operating System）上で動作するものであっても良い。その場合に上述の各種処理の一部の実行をＯＳに肩代わりさせるものであっても良いし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであっても良い。

上述した各実施の形態においては、音声認識装置に備えられる基本周波数変化量抽出装置に適用した例を示したが、これに限らず、基本周波数変化量を必要とする話者認識装置などに、上述の機能を有する基本周波数変化量抽出装置を適用しても良い。

一実施の形態にかかる音声認識装置２１のハードウェア構成を示す図である。 同実施の形態にかかる基本周波数変化量抽出機能を細分化してブロック化して示した図である。 同実施の形態にかかる対数周波数スペクトログラム計算部１０１の構成を例示する図である。 同実施の形態にかかる基本周波数変化量計算部１０４の構成を例示する図である。 同実施の形態にかかる基本周波数変化量抽出装置１００の行う基本周波数変化量抽出処理の手順を示すフローチャートである。 同音声信号に対する対数周波数スペクトログラムを例示する図である。 あるフレームｔにおいて、生成された対数周波数スペクトログラムを模式的に示す図である。 図７で示した対数周波数スペクトログラムＳＧ_ｔ（ｎ，ｗ）に対してハフ変換を行うことで得られたハフ平面を模式的に示す図である。 図８に示したハフ平面に対して、ステップＳ５で計算される、傾きｄ’毎の対象投票値の総和をグラフに表した図である。

符号の説明

１０１ 対数周波数スペクトログラム計算部
１０２ ハフ変換部
１０３ 直線群抽出部

Claims (9)

1. 入力された音声信号に基づいて、対数周波数軸上で等間隔に求められた周波数成分からなる対数周波数スペクトルであって時刻毎に当該時刻を含む所定の時間範囲の対数周波数スペクトルを連結した対数周波数スペクトログラムを計算する対数周波数スペクトログラム計算部と、
   前記対数周波数スペクトログラムの時系列の各時刻において、当該対数周波数スペクトログラムについて周波数成分の強さを用いて投票を行うことにより、直線を検出するためのハフ変換を行うハフ変換部と、
   前記投票の結果である投票値を用いて、直線の集まりである直線群と、周波数成分の強さが第１閾値より大きい投票値又は周波数成分の強さの大きい順に所定の順位以内の投票値とを抽出する直線群抽出部と、
   前記直線群に含まれる個々の直線の傾きと抽出された前記投票値とを用いて、基本周波数の時間変化量を計算する基本周波数変化量計算部と、
   を備えることを特徴とする基本周波数変化量抽出装置。
2. 前記基本周波数変化量計算部は、
   任意の傾き毎に、当該傾きを共通に持つ前記直線について抽出された前記投票値を加算する対象投票値加算部と、
   任意の傾きから、加算された前記投票値の総和の最大値を与える傾きを抽出する傾き抽出部と、
   抽出された傾きを用いて、基本周波数の時間変化量を計算する基本周波数変化量算出部と、
   を有することを特徴とする請求項１に記載の基本周波数変化量抽出装置。
3. 前記基本周波数変化量算出部は、抽出された傾きと、線形周波数軸上における周波数の最大値と、線形周波数軸上における周波数の最小値とを用いて、基本周波数の時間変化量を計算することを特徴とする請求項２に記載の基本周波数変化量抽出装置。
4. 前記対数周波数スペクトログラムから、周波数成分の強さが第２閾値より大きい特徴点又は周波数成分の強さの大きい順に所定の順位以内の特徴点を抽出する特徴点抽出部を更に備え、
   前記ハフ変換部は、抽出された前記特徴点の周波数成分の強さのみを用いて投票を行うことにより、前記ハフ変換を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の基本周波数変化量抽出装置。
5. 前記特徴点抽出部は、前記対数周波数スペクトログラムの各点に対して、周波数成分の強さと前記第２閾値との比較を行い、周波数成分の強さが前記第２閾値より大きい点を前記特徴点として抽出することを特徴とする請求項４に記載の基本周波数変化量抽出装置。
6. 前記特徴点抽出部は、前記対数周波数スペクトログラムの各点に対して、周波数成分の強さの大きい順に所定の順位以内の点を前記特徴点として抽出することを特徴とする請求項４に記載の基本周波数変化量抽出装置。
7. 前記対数周波数スペクトログラム計算部は、
   所定の間隔の時刻毎に所定の時間範囲に分解された前記音声信号であるフレーム毎に周波数分析を行い、前記対数周波数スペクトルを計算する周波数分析部と、
   時刻毎に、当該時刻を含む所定の時間範囲の対数周波数スペクトルを連結する対数周波数スペクトログラム連結部と、
   を有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の基本周波数変化量抽出装置。
8. 対数周波数スペクトログラム計算部と、ハフ変換部と、直線群抽出部と、基本周波数変化量計算部とを備える基本周波数変化量抽出装置で実行される基本周波数変化量抽出方法であって、
   前記対数周波数スペクトログラム計算部が、入力された音声信号に基づいて、対数周波数軸上で等間隔に求められた周波数成分からなる対数周波数スペクトルであって時刻毎に当該時刻を含む所定の時間範囲の対数周波数スペクトルを連結した対数周波数スペクトログラムを計算する対数周波数スペクトログラム計算ステップと、
   前記ハフ変換部が、前記対数周波数スペクトログラムの時系列の各時刻において、当該対数周波数スペクトログラムについて周波数成分の強さを用いて投票を行うことにより、直線を検出するためのハフ変換を行うハフ変換ステップと、
   前記直線群抽出部が、前記投票の結果である投票値を用いて、直線の集まりである直線群と、周波数成分の強さが第１閾値より大きい投票値又は周波数成分の強さの大きい順に所定の順位以内の投票値とを抽出する直線群抽出ステップと、
   前記基本周波数変化量計算部が、前記直線群に含まれる個々の直線の傾きと抽出された前記投票値とを用いて、基本周波数の時間変化量を計算する基本周波数変化量計算ステップと、
   を含むことを特徴とする基本周波数変化量抽出方法。
9. 請求項８に記載の基本周波数変化量抽出方法をコンピュータに実行させることを特徴とするプログラム。