WO2013046629A1

WO2013046629A1 - 基本周波数抽出装置および基本周波数抽出方法

Info

Publication number: WO2013046629A1
Application number: PCT/JP2012/006061
Authority: WO
Inventors: 暁東王; 竜太中川; 誠庄境
Original assignee: Asahi Kasei Corp; Asahi Chemical Industry Co Ltd
Current assignee: Asahi Kasei Corp; Asahi Chemical Industry Co Ltd
Priority date: 2011-09-30
Filing date: 2012-09-24
Publication date: 2013-04-04
Anticipated expiration: 2014-03-30

Abstract

　演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に、入力音声の基本周波数を抽出することが可能な基本周波数抽出装置を提供する。入力音声データについて、フレーム単位でケプストラム値を計算し（Ｓ１）、これらの複数のケプストラム値から候補となるケプストラム値を選択する（Ｓ２）。そして、当該フレームの候補点と、隣接フレームの候補点とによって、縦軸をケプストラム次元数軸とし、横軸をケプストラム値軸とするケプストラム平面を生成する（Ｓ３）。そして、このケプストラム平面上の各候補点のうちの２点を通る直線を複数生成し、生成した複数の直線から基本周波数を決定するための基準となる最適直線を決定する（Ｓ４）。当該フレームと最適直線との交点のケプストラム次元数を取得し、このケプストラム次元数から当該フレームの基本周波数F0を算出する（Ｓ５）。

Description

基本周波数抽出装置および基本周波数抽出方法

　本発明は、基本周波数抽出装置および基本周波数抽出方法に関する。

　マイク等に入力された入力音声の認識を行う音声認識処理において、入力音声から基本周波数をより正確に抽出することは、音声認識の精度の向上につながる。特に、中国語やベトナム語等のような、いわゆる声調言語における音声認識においては、入力音声の声調を識別するために、基本周波数をより正確に抽出することは重要である。
　入力音声から基本周波数を抽出する方法として、例えば、非特許文献１および非特許文献２には、ハフ（Hough）変換を用いた方法が開示されている。このハフ変換を用いた基本周波数抽出方法は、雑音に頑健であり、例えば自動車走行時などにおける雑音環境下での音声認識には有効である。

関高浩、他2名、「ハフ変換による雑音に頑健な基本周波数抽出法」、情報処理学会研修報告、2001年10月19日、Vol.2001、No.100、pp.9-14 安井英巳、他3名、「ハフ変換による基本周波数情報を用いた耐雑音音声認識の高性能化の検討」、日本音響学会講演論文集、2009年3月、pp.35-38

　しかしながら、非特許文献１および非特許文献２のハフ変換を用いた基本周波数抽出方法は、耐雑音性には優れているものの、ケプストラム（Cepstrum）平面からハフ（Hough）平面（Ｍ－Ｃ平面）への線形変換を行うため、演算量およびメモリ量が多く、処理時間がかかるという問題がある。特に、カーナビゲーションや携帯端末などのように、処理プロセッサの性能やメモリ容量に制限がある装置において音声認識を行う場合には、大きな問題となる。
　そこで、本発明は、演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に音声認識を行うことを可能とする基本周波数抽出装置および基本周波数抽出方法を提供することを目的とする。

　上記問題を解決するために、本発明の一態様によれば、基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される前記基本周波数に対応する数値の時系列情報を算出する時系列情報算出部と、前記時系列情報を構成する各プロットの確からしさを示す数値である確度係数を記憶する確度係数記憶部と、前記時系列情報を構成する前記各プロットのうちの任意の２点のプロットを用いて前記２次元平面上における直線を複数作成する直線作成部と、前記直線作成部において作成された前記直線の前記２次元平面内における切片と傾きとを算出する直線情報算出部と、前記直線情報算出部において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する直線情報記憶部と、前記直線情報と、前記各プロットの前記確度係数と、に基づき、前記直線情報記憶部において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する最適直線情報選択部と、前記最適直線上に位置しない前記２次元平面上のプロットを、前記最適直線に基づいて修正するプロット修正部と、を有する基本周波数抽出装置が提供される。
　この構成によれば、演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に、入力音声の基本周波数を抽出することが可能である。特に、声調言語の音声認識の場合に有効である。

　また、本発明の他の態様は、基本周波数抽出装置は、入力音声の所定時間単位ごとに、前記基本周波数に対応する数値の候補を複数算出する候補算出部をさらに有し、前記時系列情報算出部は、前記候補算出部において算出された前記候補のうち、値が大きい順にＮ個（ＮはＮ≧１の整数）の前記候補を前記基本周波数に対応する数値として、前記時系列情報を算出してもよい。

　また、本発明の他の態様は、基本周波数抽出装置は、入力音声の所定時間単位ごとに、前記基本周波数に対応する数値の候補を複数算出する候補算出部をさらに有し、前記時系列情報算出部は、前記候補算出部において算出された前記候補のうち、値が大きい順に４個以下の前記候補を前記基本周波数に対応する数値として、前記時系列情報を算出してもよい。

　また、本発明の他の態様は、前記最適直線情報選択部は、前記直線情報と、前記各プロットの確度係数とから、前記直線情報に含まれる切片と傾きの各組み合わせについての重み付けを算出し、前記重み付けが最大である前記切片と傾きの組み合わせを、最適直線の切片と傾きとして選択してもよい。
　この構成によれば、演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に、入力音声の基本周波数を抽出することが可能である。特に、声調言語の音声認識の場合に有効である。
　また、本発明の他の態様は、前記基本周波数に対応する数値はケプストラム次元数であり、前記確度係数はケプストラム値であってもよい。

　また、本発明の他の態様によれば、時系列情報算出部と、確度係数記憶部と、直線作成部と、直線情報算出部と、直線情報記憶部と、最適直線情報選択部と、プロット修正部とを有する基本周波数抽出装置が実行する基本周波数抽出方法であって、前記時系列情報算出部が、基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される前記基本周波数に対応する数値の時系列情報を算出する第１のステップと、前記確度係数記憶部が、前記時系列情報を構成する各プロットの確からしさを示す数値である確度係数を記憶する第２のステップと、前記直線作成部が、前記時系列情報を構成する前記各プロットのうちの任意の２点のプロットを用いて前記２次元平面上における直線を複数作成する第３のステップと、前記直線情報算出部が、前記直線作成部において作成された前記直線の前記２次元平面内における切片と傾きとを算出する第４のステップと、前記直線情報記憶部が、前記直線情報算出部において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する第５のステップと、前記最適直線情報選択部が、前記直線情報と、前記各プロットの前記確度係数と、に基づき、前記直線情報記憶部において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する第６のステップと、前記プロット修正部が、前記最適直線上に位置しない前記２次元平面上のプロットを、前記最適直線に基づいて修正する第７のステップと、を含むことを特徴とする基本周波数抽出方法が提供される。
　この構成によれば、演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に、入力音声の基本周波数を抽出することが可能である。特に、声調言語の音声認識の場合に有効である。

　また、本発明の他の態様によれば、コンピュータに、基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される前記基本周波数に対応する数値の時系列情報を算出する第１のステップと、前記時系列情報を構成する各プロットの確からしさを示す数値である確度係数を記憶する第２のステップと、前記時系列情報を構成する前記各プロットのうちの任意の２点のプロットを用いて前記２次元平面上における直線を複数作成する第３のステップと、前記直線作成部において作成された前記直線の前記２次元平面内における切片と傾きとを算出する第４のステップと、前記直線情報算出部において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する第５のステップと、前記直線情報と、前記各プロットの前記確度係数と、に基づき、前記直線情報記憶部において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する第６のステップと、前記最適直線上に位置しない前記２次元平面上のプロットを、前記最適直線に基づいて修正する第７のステップと、を実行させるための基本周波数抽出プログラムが提供される。
　この構成によれば、演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に、入力音声の基本周波数を抽出することが可能である。特に、声調言語の音声認識の場合に有効である。

　本発明の一態様によれば、演算量およびメモリ量がより少なく、かつ雑音環境下においても高精度に、入力音声の基本周波数を抽出することが可能である。

本発明の一実施形態に係る基本周波数抽出装置における処理の概要を示すフロー図である。本発明の一実施形態に係るケプストラム平面上の最適直線の取得方法と、非特許文献１および２におけるケプストラム平面上の最適直線の取得方法との相違点を説明する図である。本発明の一実施形態に係るフレーム毎における基本周波数候補の選択方法と、非特許文献１および２におけるフレーム毎における基本周波数候補の選択方法との相違点を説明する図である。本発明の一実施形態に係る基本周波数抽出装置の構成例を示す図である。本発明の一実施形態に係る基本周波数抽出方法の具体例における音響分析条件を示す図である。あるフレームについて算出した各ケプストラム次元のケプストラム値をプロットした図である。ケプストラム平面の具体例を示す図である。ケプストラム平面における各候補点を用いて直線を生成した状態を示す図である。ケプストラム平面において生成した各直線から最適直線を決定する処理の概要を示す図である。当該フレームと最適直線との交点であるケプストラム次元数を取得する場合について示す図である。従来法と本手法の性能評価（抽出精度、演算時間）の結果を示す図である。異なるＳＮＲ（信号対雑音比）状況下における従来法と本手法の性能評価結果について示す図である。従来法と本手法において処理の異なる部分における演算メモリ使用量についての比較結果を示す図である。

　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
（本実施形態の概要）
　最初に、本実施形態に係る基本周波数抽出方法の特徴を説明するとともに、非特許文献１および２における基本周波数抽出方法との相違点について説明する。

　まず、図１を用いて、本実施形態に係る基本周波数抽出装置における処理の概要を説明する。図１は、本実施形態に係る基本周波数抽出装置における処理の概要を示すフロー図である。本実施形態に係る基本周波数抽出装置は、入力される音声データについて、フレーム単位でケプストラム値を計算する（ステップＳ１）。そして、基本周波数抽出装置は、フレーム（Frame）毎に計算したケプストラム値から候補となるケプストラム値を選択する（ステップＳ２）。なお、本実施形態においては、基本周波数抽出装置は、最大値から順に値の大きなＮ個（ＮはＮ≧１の整数）のケプストラム値を選択する。

　そして、ステップＳ２において選択された、処理中のフレーム（以下、「当該フレーム」という）の候補点（ケプストラム値を示すプロット）と、隣接フレームの候補点とによって、ケプストラム平面を生成する（ステップＳ３）。
　ここで、「ケプストラム平面」とは、縦軸および横軸のいずれか一方をケプストラム次元数の軸とし、他方をケプストラム値の軸とする平面である。
　そして、生成されたケプストラム平面上の各候補点のうちの２点を通る直線を複数生成し、生成した複数の直線から基本周波数を決定するための基準となる最適直線を取得する（ステップＳ４）。

　当該フレームと、最適直線との交点のケプストラム次元数を取得し、このケプストラム次元数から当該フレームの基本周波数F0を算出する（ステップＳ５）。また、各フレームのケプストラム次元数（候補点の値）が最適直線上の値となるように修正する。これにより、修正したケプストラム次元数から各フレームの基本周波数が算出できる。なお、基本周波数は、サンプリング周波数とケプストラム次元数で除算することで算出される。
　図１に示される各ステップのうち、ステップＳ１、Ｓ３、Ｓ５における処理は非特許文献１および２と同様であるが、ステップＳ２、Ｓ４における処理は非特許文献１および２と異なり、本実施形態の特徴となる部分である。

（本実施形態と従来技術との相違点）
　図２および図３を用いて、本実施形態に係る基本周波数抽出方法と、非特許文献１および２における基本周波数抽出方法との相違点（図１のステップＳ２、Ｓ４）について説明する。図２は、本実施形態に係るケプストラム平面上の最適直線の取得方法と、非特許文献１および２におけるケプストラム平面上の最適直線の取得方法との相違点を説明する図である。

（ステップＳ４における処理について）
　図２は、図１のステップＳ４における処理の違いを説明する図である。図２（ａ）に示されるように、非特許文献１および２の基本周波数抽出方法は、図１のステップＳ３で生成されたケプストラム平面上の候補点について、ハフ変換により各候補点からハフ平面への線形変換を行う（点から直線への変換）。そして、ハフ平面上において最も多くの直線が交わる点を取得し、この点に対してハフ逆変換を施すことで、ケプストラム平面上の直線に戻し、これを最適直線として決定する。

　しかしながら、このハフ変換を用いた基本周波数抽出方法は、ケプストラム平面からハフ平面（Ｍ－Ｃ平面）への線形変換を行うため、ハフ平面上のデータを基本周波数抽出装置のメモリに記憶し、これを処理する。そのため、ハフ変換を用いた基本周波数抽出方法では、多くのメモリ容量を必要とするとともに、演算量も多く、処理に時間がかかるという問題がある。
　これに対し、本実施形態の基本周波数抽出方法では、図２（ｂ）に示されるように、ケプストラム平面上の候補点に対して何ら変換を行わず、ケプストラム平面上において複数の候補点のうちの２点を通る直線を複数生成する。

　具体的には、複数の候補点から２点を選択する組み合わせは、候補点の個数がｎであれば、ｎ×（ｎ－１）／２組だけ選択可能であるから、それら全ての組み合わせについて直線を生成する。各直線は、傾き（Ｓ）および切片（Ｉ）によって表すことができる。そして、本実施形態の基本周波数抽出方法では、その傾き（Ｓ）および切片（Ｉ）に基づいて、同一の直線同士を判別し、同一の直線について、それらの重みＷを累積して累積値ΣＷを算出する。そして、その算出された累積値ΣＷが最大の直線をケプストラム平面上の最適直線として決定する。
　すなわち、本実施形態の基本周波数抽出方法は、非特許文献１および２のようなハフ変換を行わずにケプストラム平面上の最適直線を決定するため、多くのメモリ容量を必要とせず、演算量も抑えることができる。

（ステップＳ２における処理について）
　次に、図３を用いて、図１のステップＳ２における処理の違いについて説明する。図３は、本実施形態に係るフレーム毎における基本周波数候補の選択方法と、非特許文献１および２におけるフレーム毎における基本周波数候補の選択方法との相違点を説明する図である。非特許文献１および２に記載の基本周波数抽出方法では、図３（ａ）に示されるように、フレームごとに、ケプストラム平面上の点について、ケプストラム値が閾値以上であるすべての点を候補点として選択する。

　一方、本実施形態の基本周波数抽出方法では、図３（ｂ）に示されるように、ケプストラム平面上の点について、ケプストラム値が最大であるものからＮ個（図３（ｂ）ではＮ＝３個）を候補点（TopN）として選択する。
　非特許文献１および２に記載の基本周波数抽出方法では、全てのフレームにおいて候補点が取得できるように閾値を低めに設定すると、選択される候補点が多くなり、抽出精度が劣化し、演算時間が長くなる。逆に、閾値を高めに設定すると、全てのフレームにおいて候補点が取得できない場合が発生する。これに対し、本実施形態の基本周波数抽出方法では、各フレームについてケプストラム値が最大のものからＮ個を候補点として選択するため、従来のような問題は解消される。

（基本周波数抽出装置の構成）
　次に、本実施形態に係る基本周波数抽出装置の構成について、図４を参照して説明する。図４は、本実施形態に係る基本周波数抽出装置の構成例を示す図である。図４に示されるように、基本周波数抽出装置１は、候補算出部１１０と、時系列情報算出部１２０と、確度係数記憶部１３０と、直線作成部１４０と、直線情報算出部１５０と、直線情報記憶部１６０と、最適直線情報選択部１７０と、プロット修正部１８０と、を有する。

　時系列情報算出部１２０は、基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される基本周波数に対応する数値の時系列情報を算出する。具体的には、本実施形態では、「基本周波数に対応する数値」はケプストラム次元数である。
　また、候補算出部１１０は、入力音声の所定時間単位（例えば、所定フレーム）ごとに、基本周波数に対応する数値の候補を複数算出する。この時、時系列情報算出部１２０は、候補算出部１１０において算出された候補のうち、値が大きい順にＮ個（ＮはＮ≧１の整数）の候補を基本周波数に対応する数値として、時系列情報を算出する。

　確度係数記憶部１３０は、時系列情報算出部１２０で算出された時系列情報を構成する各プロット（基本周波数に対応する数値の候補）の確からしさを示す数値である確度係数を記憶する。具体的には、本実施形態では、非限定的一例として、「確度係数」はケプストラム値である場合を説明する。確度係数が大きいほど、当該プロットが示す値と入力音声の当該フレームにおける実際の基本周波数とが等しくなる可能性が高い。

　直線作成部１４０は、時系列情報算出部１２０で算出された時系列情報を構成する各プロットのうちの任意の２点のプロットを用いて２次元平面上における直線を複数作成する。
　直線情報算出部１５０は、直線作成部１４０において作成された直線の２次元平面内における切片と傾きとを算出する。
　直線情報記憶部１６０は、直線情報算出部１５０において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する。具体的には、本実施形態では、非限定的一例として、「プロットに関する情報」は確度係数であり、ケプストラム値である場合を説明する。

　最適直線情報選択部１７０は、直線情報記憶部１６０で記憶された直線情報と、各プロットの確度係数と、に基づき、直線情報記憶部１６０において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する。例えば、最適直線情報選択部１７０は、２つのプロットを通る直線のうち、切片と傾きが同一であるものを同一直線であると判別する。そして、この同一直線上にある各プロットの確度係数を積算し、この積算値をその直線の重み付けとする。この重み付けが最大である直線の切片と傾きを、最適直線の切片と傾きとして選択する。

　尚、本実施形態では、切片と傾きが同一であるものを同一直線であると判別しているが、これに限定されない。例えば、２つ以上の直線であって、切片、傾きの値がそれぞれ所定の範囲内にある直線を同一直線であると判別しても良い。
　プロット修正部１８０は、最適直線情報選択部１７０において選択された最適直線上に位置しない２次元平面上のプロットを、最適直線に基づいて修正する。

（基本周波数抽出方法の具体例）
　以下、本実施形態に係る基本周波数抽出方法の具体例について、図５を参照して説明する。図５は、本実施形態に係る基本周波数抽出方法の具体例における音響分析条件を示す図である。なお、本例においては、以下の音響分析条件の下、入力音声波形をケプストラムに変換するものとする。
［音響分析条件］（図５参照）
サンプリング周波数：１６kHz
分析窓：Hamming 窓（図５の短時間窓）
分析窓長（図５のFrame長）：３２ms
フレーム周期（図５のFrame間隔）：１０ms
FFTのサイズ：５１２サンプル

　まず、フレームごとにケプストラム値を算出する。なお、この技術については公知の技術であるので、詳細は割愛する。また、本例においては、処理中のフレーム（当該フレーム）に加えて、その前後４フレーム（すなわち全９フレーム）についても、同様にケプストラム値を算出する。

　図６は、当該フレームについて、算出した各ケプストラム次元数におけるケプストラム値を大きい順でソートした図である。図６のグラフにおいて、横軸はケプストラム値、縦軸はケプストラム次元数である。なお、図６に示されるケプストラム平面では、ケプストラム次元数は、３０～２５０の範囲に限定している。これは、人間の発音器官から発生される音声については、この範囲の平面から大きく外れるような直線は存在しないと想定されるからである。これにより、不要な計算を省いて計算量を削減することができるとともに、基本周波数抽出の精度の向上にもつながる。

　ここで、非特許文献１および２においては、各フレームについて、所定の閾値以上のケプストラム値を選択しているが、本実施形態においては、最大のＮ個の候補のみ（以下、「TopN」という）を選択する。これにより、演算速度を早めることができる。なお、本例では、説明を簡単なものとするために、一例として、最大の１個の候補（Ｎ＝１）を選択するものとする。

　次に、ケプストラム平面の具体例について、図７を参照して説明する。図７は、ケプストラム平面の具体例を示す図である。図７に示されるように、当該フレームとその前後４フレーム分（FrameIndex０～８）のTopNの候補をフレーム順に並べることで、ケプストラム平面を構築する。本例においてはＮ＝１であり、すなわち、各フレームのTop1の候補を順番に並べる。よって、構築したケプストラム平面には、９個の候補点が存在することになる。なお、TopNの場合は、構築したケプストラム平面には、９×Ｎ個の候補点が存在することになる。また、TopNの場合、各フレームで選択されたＮ個の候補点は、図６では各候補点のケプストラム値（０～０．２）によって、位置がバラバラになっているが、ケプストラム平面を構築する際（図７）には、例えば、各フレーム幅の中央を垂直に通る直線に沿って各候補点が配置される。

　なお、本例において、当該フレームにその前後の４フレームを加えて計９フレーム単位でケプストラム平面を構築するのは、一般的に、フレーム－ケプストラム平面において音声ピッチ（基本周波数F0）の変化は、１００ms程度の間においては直線的であることを利用したものである。よって、これに限定されるものではない。

　次に、ケプストラム平面における各候補点を用いて直線を生成した状態について、図８を参照して説明する。図８は、ケプストラム平面における各候補点を用いて直線を生成した状態を示す図である。図８に示されるように、構築したケプストラム平面に存在する各候補の２点を通る直線を生成する。本例では、９点のうちの各２点を一本の直線で結ぶため、計３６本の直線が生成される。TopNの場合は、直線は３６Ｎ²本である。なお、同一フレーム内の２点を通る直線は生成されない。

　ここで、図８の各候補点はそれぞれケプストラム値を持っている。そこで、図９に示されるように、各直線で結ばれた２点の候補点のケプストラム値の和を、それぞれの直線の重み（Weight）とする。図９は、ケプストラム平面において生成した各直線から最適直線を決定する処理の概要を示す図である。直線は、傾き（Slope）と切片（Intercept）のペア（Slope, Intercept）で一意に決まる。図９においては、各直線の重みを、「w(s,i)」（Weight（Slope, Intercept）の略）で示している。

　ここで、切片は、例えば、当該フレームの中央位置（図６のケプストラム値＝０．１の位置）を縦軸の位置（すなわち、横軸の原点位置）とし、これと直線との交点を切片（ケプストラム次元数）とする。また、本処理では、例えば、傾きと切片を各２点の候補点を結ぶ直線で算出してから、“０．１”刻みで量子化して処理する。なお、図９は、説明を簡単なものとするために簡素化して示しており、図９のケプストラム平面イメージは、実際には図８に示したものと同じものである。

　そして、ケプストラム平面上において各２点を結んだ直線のうち、同じ傾き値、かつ同じ切片値を持つ直線の重みを累積する。累積値は、以下の式（２）で算出される。なお、「同じ傾き値、かつ同じ切片値を持つ直線」とは、すなわち、これらの直線はケプストラム平面上においては、同一直線であるということである。つまり、各２点を通る直線を生成してみた結果、同一直線であった１以上の直線については、重みの累積値を算出するということである。

　上記式（１）の値が最大となる直線を最適直線とする。すなわち、上記式（１）の値が最大となる直線の傾きと切片を、最適直線の傾きと切片として決定する（下記式（２））。

　そして、当該フレームと最適直線との交点であるケプストラム次元数を取得し（図１０）、下記式（３）によって、基本周波数F0を算出する。図１０は、当該フレームと最適直線との交点であるケプストラム次元数を取得する場合について示す図である。なお、最適直線の重みは、当該フレームの有声度とする。ここで、「有声度」とは、有声音と、無声音又は雑音とを区別するための特徴量である。

　なお、上記の処理において、ケプストラム平面上の直線の傾き値および切片値が、ともに特定の範囲外の場合には、その傾きと切片の組み合わせについては、処理の対象外としてもよい。人間の発音器官から発生される音声において想定されない傾き値と切片値について処理を省くことで、計算量削減の効果を奏するとともに、無用な直線が選択されることを防ぐことができるため、基本周波数抽出の精度の向上にもつながるからである。

（性能評価）
［抽出精度および演算時間］
　以下、図１１～図１３を用いて、従来法（非特許文献２の基本周波数抽出方法）と、本手法（本実施形態の基本周波数抽出方法）の性能評価結果について説明する。
　図１１は、従来法と本手法の性能評価（抽出精度、演算時間）の結果を示す図である。まず、従来法を用いて、２３００秒のサンプル入力音声について基本周波数抽出処理を実行した結果、抽出精度は７９．２％、演算時間は８５６秒であった。
　尚、抽出精度は、非特許文献１の「正解率」と同一の計算方法で算出した値であり、具体的には、以下の計算方法で算出される。
　抽出精度＝（正解の基本周波数と±５％以内の誤差となるフレーム数）／（正解の有声部分のフレーム数）

　これに対し、本手法について、TopNのＮの値を１～６まで変動させて、同一のサンプル入力音声について基本周波数抽出処理を実行した結果は、図１１に示される通りとなった。すなわち、Top1では、抽出精度は８０．８％、演算時間は３６秒であり、Top2～Top6においては、抽出精度は約８２％、演算時間は４２～１０９秒となった。従来法の演算時間を１００とした場合、Top1～Top6の相対演算時間はそれぞれ４、５、６、７、９、１３であり、いずれも従来法の性能を大きく上回った。特に、抽出精度と演算時間の観点から、Ｎは４以下とすることが好ましい。

　また、図１２は、異なるＳＮＲ（信号対雑音比）状況下における従来法と本手法の性能評価結果について示す図である。尚、図１２における向上率は、向上率＝（（本手法の抽出精度－従来法の抽出精度）／従来法の抽出精度）×１００％で計算される値である。また、図１２における相対演算時間は、従来法での演算時間を１００として、本手法でのTop1～Top6の演算時間の相対値を示したものである。
　いずれのＳＮＲ状況下においても、本手法のほうが、抽出精度が高く、従来法よりも改善されていることが分かる。特に、ＳＮＲ－５ｄＢやＳＮＲ－１０ｄＢなど、ＳＮＲが低い場合において向上率が高くなっており、雑音の影響が大きくなるほど、本手法の効果が顕著となる。

［演算メモリ使用量］
　図１３は、従来法（非特許文献２）と本手法において処理の異なる部分（図１のステップＳ２およびＳ４）における演算メモリ使用量についての比較結果を示す図である。
　非特許文献２の基本周波数抽出方法において必要な演算メモリ使用量は、以下の通りである。すなわち、ハフ変換に必要なＭ－Ｃ量子化平面（すなわち、ハフ平面）のｍ軸の分割数は８０（ｍの範囲は－２０～＋２０、０．５刻みで量子化）、ｃ軸の分割数は７７２（ｃの範囲は―５０～＋３３６、０．５刻みで量子化）であるので、Ｍ－Ｃ量子化平面のビン（ブロック）数＝８０×７７２＝６１７６０個である。よって、ビンごとに８Byte（倍精度浮動小数点）を割り当てる場合は、演算メモリ使用量＝６１７６０×８≒４９４KByteである。

　一方、本手法において、直線を累積するために必要な演算メモリ使用量は、以下の通りである。すなわち、直線ごとに、「傾き」、「切片」、および「重み」の３つのパラメータを記憶するメモリが必要であり、従来法と同様に、各パラメータに８Byteを割り当てる。
　ここで、Top1（Ｎ＝１）の候補点を採用する場合には３６本の直線が生成されるため、必要な演算メモリ使用量は、３６（本）×３（パラメータ）×８（Byte）＝０．８６４KByte≒１KByteである。また、Top2（Ｎ＝２）の候補点を採用する場合には１４４本の直線が生成されるため、必要な演算メモリ使用量は、１４４（本）×３×８＝３．４５６KByte≒３KByteとなる。また、Top3（Ｎ＝３）の候補点を採用する場合には３２４本の直線が生成されるため、必要な演算メモリ使用量は、３２４（本）×３×８＝７．７７６KByte≒８KByteとなる。Top4（Ｎ＝４）～Top6（Ｎ＝６）についても同様に演算メモリ使用量を算出した。

　これらの本手法において使用する演算メモリ使用量と、従来法において使用する演算メモリ使用量との比率は、Top1においては“０．００２”、Top2においては“０．００６”、Top3においては“０．０１６”となる（図１３）。いずれにおいても、演算メモリ使用量が大幅に削減されていることが分かる。
　なお、上記各実施形態に説明した基本周波数抽出装置における各構成は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭやＲＯＭ等の記憶装置、ネットワークインターフェイス等の一般的なコンピュータの構成と同様の構成により実現される。また、上記に説明した各構成の機能は、例えば、ＣＰＵが記憶装置に記憶されているプログラムを読み出して実行することによって実現される機能である。

　また、このプログラムは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体などであって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体に記憶し配布・販売等することが可能であり、ネットワークなどを通じてダウンロードすることが可能である。

　以上、本発明の実施の形態について説明したが、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

　１　基本周波数抽出装置
　１１０　候補算出部
　１２０　時系列情報算出部
　１３０　確度係数記憶部
　１４０　直線作成部
　１５０　直線情報算出部
　１６０　直線情報記憶部
　１７０　最適直線情報選択部
　１８０　プロット修正部

Claims

　基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される前記基本周波数に対応する数値の時系列情報を算出する時系列情報算出部と、
　前記時系列情報を構成する各プロットの確からしさを示す数値である確度係数を記憶する確度係数記憶部と、
　前記時系列情報を構成する前記各プロットのうちの任意の２点のプロットを用いて前記２次元平面上における直線を複数作成する直線作成部と、
　前記直線作成部において作成された前記直線の前記２次元平面内における切片と傾きとを算出する直線情報算出部と、
　前記直線情報算出部において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する直線情報記憶部と、
　前記直線情報と、前記各プロットの前記確度係数と、に基づき、前記直線情報記憶部において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する最適直線情報選択部と、
　前記最適直線上に位置しない前記２次元平面上のプロットを、前記最適直線に基づいて修正するプロット修正部と、
を有する基本周波数抽出装置。
　入力音声の所定時間単位ごとに、前記基本周波数に対応する数値の候補を複数算出する候補算出部をさらに有し、
　前記時系列情報算出部は、前記候補算出部において算出された前記候補のうち、値が大きい順にＮ個（ＮはＮ≧１の整数）の前記候補を前記基本周波数に対応する数値として、前記時系列情報を算出することを特徴とする請求項１に記載の基本周波数抽出装置。
　前記時系列情報算出部は、前記候補算出部において算出された前記候補のうち、値が大きい順に４個以下の前記候補を前記基本周波数に対応する数値として、前記時系列情報を算出することを特徴とする請求項２に記載の基本周波数抽出装置。
　前記最適直線情報選択部は、前記直線情報と、前記各プロットの確度係数とから、前記直線情報に含まれる切片と傾きの各組み合わせについての重み付けを算出し、前記重み付けが最大である前記切片と傾きの組み合わせを、最適直線の切片と傾きとして選択することを特徴とする請求項１から３のいずれか一項に記載の基本周波数抽出装置。
　前記基本周波数に対応する数値はケプストラム次元数であり、前記確度係数はケプストラム値であることを特徴とする請求項１から４のいずれか一項に記載の基本周波数抽出装置。
　時系列情報算出部と、確度係数記憶部と、直線作成部と、直線情報算出部と、直線情報記憶部と、最適直線情報選択部と、プロット修正部とを有する基本周波数抽出装置が実行する基本周波数抽出方法であって、
　前記時系列情報算出部が、基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される前記基本周波数に対応する数値の時系列情報を算出する第１のステップと、
　前記確度係数記憶部が、前記時系列情報を構成する各プロットの確からしさを示す数値である確度係数を記憶する第２のステップと、
　前記直線作成部が、前記時系列情報を構成する前記各プロットのうちの任意の２点のプロットを用いて前記２次元平面上における直線を複数作成する第３のステップと、
　前記直線情報算出部が、前記直線作成部において作成された前記直線の前記２次元平面内における切片と傾きとを算出する第４のステップと、
　前記直線情報記憶部が、前記直線情報算出部において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する第５のステップと、
　前記最適直線情報選択部が、前記直線情報と、前記各プロットの前記確度係数と、に基づき、前記直線情報記憶部において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する第６のステップと、
　前記プロット修正部が、前記最適直線上に位置しない前記２次元平面上のプロットを、前記最適直線に基づいて修正する第７のステップと、
を含むことを特徴とする基本周波数抽出方法。
　コンピュータに、
　基本周波数に対応する数値を第１の座標軸とし、時間情報を第２の座標軸とする２次元平面上に示される前記基本周波数に対応する数値の時系列情報を算出する第１の処理ステップと、
　前記時系列情報を構成する各プロットの確からしさを示す数値である確度係数を記憶する第２の処理ステップと、
　前記時系列情報を構成する前記各プロットのうちの任意の２点のプロットを用いて前記２次元平面上における直線を複数作成する第３の処理ステップと、
　前記直線作成部において作成された前記直線の前記２次元平面内における切片と傾きとを算出する第４の処理ステップと、
　前記直線情報算出部において算出された切片と傾きとに関する情報と、この切片と傾きの算出に用いたプロットに関する情報と、を含む直線情報を記憶する第５の処理ステップと、
　前記直線情報と、前記各プロットの前記確度係数と、に基づき、前記直線情報記憶部において記憶された切片と傾きの中から、一組の切片と傾きを、最適直線の切片と傾きとして選択する第６の処理ステップと、
　前記最適直線上に位置しない前記２次元平面上のプロットを、前記最適直線に基づいて修正する第７の処理ステップと、
を実行させるための基本周波数抽出プログラム。