JP4277745B2

JP4277745B2 - 信号処理方法及び装置及びプログラム及び信号処理プログラムを格納した記憶媒体

Info

Publication number: JP4277745B2
Application number: JP2004185247A
Authority: JP
Inventors: 尚子小杉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-06-23
Filing date: 2004-06-23
Publication date: 2009-06-10
Anticipated expiration: 2024-06-23
Also published as: JP2006010857A

Description

本発明は、信号処理方法及び装置及びプログラム及び信号処理プログラムを格納した記憶媒体に係り、特に、電話機と電話回線を用いて収音された音声に対して、各発声の基本周波数を推定するための信号処理方法及び装置及びプログラム及び信号処理プログラムを格納した記憶媒体に関する。

人の声の基本周波数情報を必要とするアプリケーションとして、例えば、人の歌唱を入力として、その歌唱と最も似ているメロディを持つ音楽を検索する、ハミング検索アプリケーション等が考えられる。このハミング検索では、入力される音声信号はマイクを用いて収音される（例えば、特許文献１〜４参照）。
特開２００１−１０９４７１号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを格納した記憶媒体」西原、小杉、紺谷、山室特開２００２−１７５０７３号公報「演奏採取装置、演奏採取方法及び演奏採取用プログラム記憶媒体」片岡、小杉、小島特開２０００−３４７６５９号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを記録した記録媒体」西原、小杉、坂田、山室、梅田、紺谷特開２００２−１２３２８７号公報「音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体」小杉

音声を使ったサービスにおいて、最も普及率が高く身近なインタフェースは電話であると考えられるが、電話を通じて収音された音声信号からは３００Ｈｚから３．４ｋＨｚの周波数成分しか得られない。しかし、例えば、一般的な男性の歌声は、９８Ｈｚ（Ｇ２）から２７７Ｈｚ（Ｃ＃４）の間に基本周波数が存在し、一般的な女性の歌声は、１７５Ｈｚ（Ｆ３）から４６６Ｈｚの間に基本周波数が存在していると言われている（文献：UlrichMichels/角倉一朗、図解音楽事典、白水社、1998）。従って、男性の場合は略すべて、女性の場合でも約半分は、電話回線を経由して収音された歌声から基本周波数成分を直接得ることができない。

本発明は、上記の点に鑑みなされたもので、人の声の調和構造を利用して、電話を通して得られた音声信号（３００Ｈｚから３．４ｋＨｚの周波数成分）から、実際の発声の基本周波数を推定する方法を示すものである。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理方法において、
ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換ステップ（ステップ１）と、
周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出ステップ（ステップ２）と、
周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出ステップ（ステップ３）と、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算ステップ（ステップ４）と、
合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定ステップ（ステップ５）と、からなる。

また、本発明（請求項２）は、パワー合算ステップにおいて、
複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である。

また、本発明（請求項３）は、周波数算出ステップにおいて、周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する。

図２は、本発明の原理構成図である。

本発明（請求項４）は、ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理装置であって、
ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換手段１と、
周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出手段２と、
周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出手段３と、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算手段４と、
合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定手段５と、を有する。

また、本発明（請求項５）は、パワー合算手段において、複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である。

また、本発明（請求項６）は、周波数算出手段において、
周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する。

本発明（請求項７）は、請求項４乃至６のいずれか１項に記載の信号処理装置を構成する各手段としてコンピュータを機能させるための信号処理プログラムである。

本発明（請求項８）は、請求項７記載の信号処理プログラムを格納した記憶媒体である。

上記のように、本発明によれば、音声をフーリエ変換して周波数分布を求め、パワーが極大となる周波数（チャネル）を定め、その近傍でパワー極大となる周波数（ｆ_ｐ）を求め、ｊを１〜ｈとし、ｆ_ｐ／ｊの整数倍の周波数を合計し、合計されたＰ（ｐ，ｊ）が最大となるパワーを選択し、実際の発声の基本周波数を決定することにより、電話を通して収音された音声信号のように、基本周波数成分を直接得ることができない音声信号に対して、基本周波数を推定することができるようになる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における信号処理装置の構成を示す。

同図に示す信号処理装置は、フーリエ変換部１、基本周波数算出用周波数チャネル選出部２、周波数算出部３、パワー合算部４、基本周波数決定部５から構成される。なお、これらの各部には、それぞれ計算結果等を格納するメモリやバッファ等の記憶手段を有するものとする。

以下に、上記の構成における動作を説明する。

（１）フーリエ変換部１は、入力された音声信号を一定の長さずらしながら一定の長さ（フレームと呼ぶ）の信号データを順次切り出してフーリエ変換し、周波数チャネルｃ_ｉ毎にそのチャネルのパワーｐ（ｃ_ｉ）を計算する。また、併せて該フレームの平均パワーも算出する。平均パワーは、全チャネルのパワーを全チャネル数で除算したものである。計算された周波数チャネル毎のパワーｐ（ｃ_ｉ）及び平均パワーをメモリ（図示せず）等の記憶手段に格納する。

（２）基本周波数算出用周波数チャネル選出部２は、フーリエ変換部１で算出され、メモリに格納されている周波数チャネルの中から、フレームの平均パワーである一定の割合ｔ_ｆを越え、かつ極大値となるパワーを持つチャネルをｎ_ｐ個選出し、メモリ（図示せず）等の記憶手段に格納する。選出された周波数チャネル（基本周波数算出用周波数チャネル）の中のｐ番目のチャネルをｃ^ｐ _ｋ（１≦ｐ≦ｎ_ｐ）と表す。ｋはチャネル番号とする。

（３）周波数算出部３は、基本周波数算出用周波数チャネル選出部２で選出され、メモリに格納されているチャネルｃ^ｐ _ｋとその周囲の周波数チャネル（ｃ^ｐ _ｋ−２〜ｃ^ｐ _ｋ＋２）のパワー値（ｐ（ｃ^ｐ _ｋ−２）〜ｐ（ｃ^ｐ _ｋ＋２））から、後述する補完式（式（１）〜式（５））を用いてそのチャネルｃ^ｐ _ｋで最も大きいパワーを持つと思われる周波数ｆ_ｐを算出し、メモリ（図示せず）等の記憶手段に格納する。補完式は、ｃ^ｐ _ｋ−２からｃ^ｐ _ｋ＋２のパワー値によって、適切なものを１つ使用する。

（５）パワー合算部４は、周波数算出部３で算出され、メモリに格納されている周波数ｆ_ｐを、基本周波数ｆ_ｐ／ｊのｊ倍音であると仮定して、その基本周波数に対するｊ倍音からｊ＋ｈ倍音までの周波数のパワーＰ（ｐ，ｊ）を合算し、合計パワー値をメモリ（図示せず）等の記憶手段に格納する。

（５）基本周波数決定部５は、パワー合算部４で算出した合計パワー値Ｐ（ｐ，ｊ）を最大にするｐとｊを選出し、それらから後述する式（８）を用いて基本周波数Ｆ_０を算出することで出力結果を得る。

以下に、上記の構成の動作を詳細に説明する。

上記の基本周波数算出用周波数チャネル選出部２におけるフレームの平均パワーのある一定の割合（閾値）ｔ_ｆは、例えば、“０．５”などである。チャネル個数ｎ_ｐは、例えば“５”などである。また、周波数チャネル選出方法としては、例えば、３００Ｈｚ以上の周波数チャネルの中で、「フレームの平均パワーのある一定の割合ｔ_ｆを越え、かつ極大値となるパワーを持つ」という条件を満たす周波数チャネルを、周波数の低いものから順に選出する方法などが考えられる。

上記の周波数算出部３における補完式は、図４に示す各ケース毎に異なる。

１．ケースＡ：ｄ_１≦ｄ_２，ｄ_３≦ｄ_４（図４（ａ））
（ａ）ケースＡ−１（ｄ_２＞｜ｄ_３｜）

（ｂ）ケースＡ−２（ｄ_２≦｜ｄ_３｜）

２．ケースＢ：ｄ_１＞ｄ_２，ｄ_３＞ｄ_４（図４（ｂ））

３．ケースＣ：ｄ_１≦ｄ_２，ｄ_３＞ｄ_４（図４（ｃ））

４．ケースＤ：ｄ_１＞ｄ_２，ｄ_３≦ｄ_４（図４（ｄ））

上記のパワー合算部４におけるｈは、例えば“７”などである。また、周波数のパワーＰ（ｐ，ｊ）の算出アルゴリズムは図５に示すとおりである。図６を用いてパワー合算部４の動作を説明する。

ステップ１０１）初期値ｐ＝１、ｊ＝１を設定する。

ステップ１０２）ｐ≦ｎ_ｐかを判断し、そうである場合には、ステップ１０３に移行し、ｐ＞ｎ_ｐである場合には、処理を終了する。

ステップ１０３）ｊ≦ｈかを判定し、そうである場合には、ステップ１０５に移行し、ｊ＞ｈである場合には、ステップ１０４に移行する。

ステップ１０４）ｐを１インクリメントし、ｊの値を１戻す。

ステップ１０５）周波数のパワーＰ（ｐ，ｊ）を算出する。

ステップ１０６）ｊの値をインクリメントしてステップ１０３に移行する。

基本周波数決定部５における基本周波数Ｆ_０は、以下の式（８）を用いて算出する。

なお、上記の例えば、信号処理装置の（１）〜（５）の動作をプログラムとして構築し、信号処理装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段に実行させる、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムを信号処理装置として利用されるコンピュータに接続されたディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、実行時にインストールするようにしてもよい。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、電話機や電話回線を介して収音された音声の基本周波数を推定する技術に適用可能である。

本発明の原理を説明するための図である。本発明の原理構成図である。本発明の一実施の形態における信号処理装置の構成図である。本発明の一実施の形態における周波数算出のための場合分けを示す図である。本発明の一実施の形態におけるＰ（ｐ，ｊ）算出アルゴリズムである。本発明の一実施の形態におけるパワー合算部の動作のフローチャートである。

符号の説明

１フーリエ変換手段、フーリエ変換部
２基本周波数算出用周波数チャネル送出手段、基本周波数算出用周波数チャネル送出部
３周波数算出手段、周波数算出部
４パワー合算手段、パワー合算部
５基本周波数決定手段、基本周波数決定部

Claims

ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理方法において、
前記ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換ステップと、
前記周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出ステップと、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出ステップと、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算ステップと、
前記合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定ステップと、
からなることを特徴とする信号処理方法。
前記パワー合算ステップにおいて、
前記複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である
請求項１記載の信号処理方法。
前記周波数算出ステップは、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する
請求項１記載の信号処理方法。
ネットワークを介して収音された音声に対して、各発声の基本周波数を求めるための信号処理装置であって、
前記ネットワークを介して取得した入力音声信号に対して、フーリエ変換を行って周波数成分を算出し、該周波数成分を用いて各周波数チャネルのパワーを算出し、パワー値を記憶手段に格納するフーリエ変換手段と、
前記周波数チャネルのパワー値の中から特定の閾値を超えて、かつ極大値を持つ周波数チャネルのいくつかを基本周波数算出用周波数チャネルとして選出し、記憶手段に格納する基本周波数算出用周波数チャネル選出手段と、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを特定し、記憶手段に格納する周波数算出手段と、
特定された周波数ｆｐを基本周波数、あるいは、該基本周波数の倍音の１つであると仮定して、ｊを１から所定数の範囲の変数として、それぞれのｆｐ及び各ｊについて、ｆｐ／ｊと倍音関係にある複数の周波数のパワーを合計し、合計されたパワーを記憶手段に格納するパワー合算手段と、
前記合計されたパワーの中から最大値を選んで、該最大値となったｆｐ、ｊとに基づいて実際の発声の基本周波数を決定する基本周波数決定手段と、
を有することを特徴とする信号処理装置。
前記パワー合算手段の前記複数の周波数のパワーの合算は、
ｈを定数とし、ｆｐ／ｊのｊ倍音からｊ＋ｈ倍音の周波数のパワーの合算である
請求項４記載の信号処理装置。
前記周波数算出手段は、
前記周波数チャネルのパワーを極大にした原因となる周波数ｆｐを、補完式を用いて特定し、記憶手段に格納する
請求項４記載の信号処理装置。
請求項４乃至６のいずれか１項に記載の信号処理装置を構成する各手段としてコンピュータを機能させるための信号処理プログラム。
請求項７記載の信号処理プログラムを格納したことを特徴とする信号処理プログラムを格納した記憶媒体。