JP4581699B2

JP4581699B2 - 音程認識装置およびこれを利用した音声変換装置

Info

Publication number: JP4581699B2
Application number: JP2005014707A
Authority: JP
Inventors: 真儀河野
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-01-21
Filing date: 2005-01-21
Publication date: 2010-11-17
Anticipated expiration: 2025-01-21
Also published as: JP2006201614A

Description

本発明は、音程偏差を算出する音程認識装置およびこれを利用した音声変換装置に関する。

従来テープレコーダで楽曲を録音および再生し私的に楽しむ形態が普及していた。近年はミニディスク（ＭＤ）などの普及によりテープレコーダは使用されなくなってきており、テープレコーダの入手自体が困難になってきている。しかし、過去にテープレコーダで録音したコンテンツの中には家族や友人の演奏した楽曲やラジオ放送を録音したものなど再入手困難なコンテンツがある。これらを今後再生するためにコンパクトディスク（ＣＤ）、ＭＤ、パーソナルコンピュータのハードディスク（ＨＤＤ）などの記録媒体にデータを変換して記録することが行われている。これらの記録媒体に記録することにより、将来にわたっていつでもコンテンツを再生して楽しむことが可能になる。

ところで、従来使用されていたテープレコーダの再生速度は媒体を駆動するモータの回転速度や媒体送りの軸の太さに依存しているため、通常±１．５％程度の再生速度偏差が生じる。これに加え、録音装置と再生装置とが異なり、録音装置が規格より早い速度偏差を持ち、再生装置が規格より遅い速度偏差を持つような場合、さらに速度偏差が大きくなってしまうことがある。その結果、音程がオリジナルの音程とずれてしまい、再生した楽曲に合わせて楽器を演奏する場合などに楽器の音程と再生した楽曲の音程とが微妙にずれ、不快な思いをするという問題があった。

この音程のずれを解消するために、再生装置に再生速度を変えることができる機能を設け音程のずれを修正してＣＤ等に取り込む方法がある。しかし、この方法を用いるには使用者が音程の微細なずれを認識する高度な音程識別能力を有することが必要であり、一般的に使用することは難しかった。音程の微細なずれを認識する装置として、楽器の音階を正しくチューニングするためのチューナーと呼ばれる装置があり、これは予め設定されている基準音に対して楽器などで発せられた音が高いか低いかをランプやメーターで表示するものである。しかし、従来のチューナーは単一音でなければずれを認識することができず、認識しても音程を合わせる操作に手間がかかるという問題があった。

また、カラオケにおいて伴奏音楽の音程とずれた音程の歌声が発せられた場合にその歌声の音程を補正する装置として、特許文献１に記載の装置がある。この装置は、歌声の音程を抽出するとともに伴奏音楽の音階から歌声の音程に至近の音程を検出し、音声の音程を至近の音程に周波数変換する。この変換により、歌声の音程が伴奏音楽の音程に近くなるように自動的に補正されてスピーカから出力されるため、使用者に手間がかからずに音程を変換することができる。
特開２００３−１６７５８７号

しかし、特許文献１のカラオケ装置も歌声の音程のずれを認識して変換する場合、単一音で認識しており、複数の音が重なった楽曲の音程のずれを算出することはできないという問題があった。

本発明は上記事情に鑑みてなされたものであり、入力した楽曲が複数の音が重なった楽曲でも基準となる音程とのずれを算出することができる音程認識装置を提供することを目的とする。

また、上記音程認識装置で算出された音程のずれを基に、入力した楽曲の音程を使用者が調整をすることなく自動的に変換することができる音声変換装置を提供することを目的とする。

上記目的を達成するための請求項１に記載の音程認識装置は、入力された楽曲のデジタル音声データを予め設定された処理区間で区切る処理区間区切り手段と、前記処理区間ごとに区切られ時間領域で表される前記デジタル音声データを周波数データに変換する周波数データ変換手段と、変換された前記周波数データのエネルギー値のピーク値を検出するピーク値検出手段と、検出されたピーク値から、予め設定された数のピーク値を選択するピーク値選択手段と、選択されたピーク値を持つ周波数と、基準とする音の周波数との周波数偏差の値を求め、この周波数偏差の値によって前記ピーク値を、前記基準とする音に対する複数の音程偏差に分類するピーク値分類手段と、分類されたピーク値の数をそれぞれ前記処理区間ごとに加算集計するピーク値区間集計手段と、前記ピーク値の集計値の最頻値が３分類以上ある場合、もしくは２分類ありその２分類が隣り合っていない場合は、当該処理区間における音程偏差は不定とし、前記最頻値が１分類のみである場合は、その分類の音程偏差を当該処理区間の音程偏差として算出する区間音程偏差算出手段と、前記楽曲ごとに前記処理区間ごとの音程偏差を加算集計する区間音程偏差集計手段と、前記音程偏差の集計値を基に、基準となる音階に対する前記楽曲全体の音程偏差を算出する全体音程偏差算出手段とを備えることを特徴とする。
また、請求項２は請求項１に記載の音程認識装置であり、前記区間音程偏差算出手段は、前記最頻値が２分類ありその２分類が隣り合っている場合にはその２分類の音程偏差を当該処理区間の音程の偏差として算出し、前記区間音程偏差集計手段は、前記区間音程偏差算出手段において前記最頻値が２分類ありその２分類が隣り合っている場合に当該処理区間の音程の偏差として算出された２分類の音程偏差はそれぞれ寄与率を１／２として、前記楽曲ごとに前記処理区間ごとの音程偏差を加算集計することを特徴とする。

また、請求項３は請求項１または２に記載の音声認識装置であり、前記ピーク値分類手段で分類されたピーク値を持つ周波数に対応する音名を算出するとともに、前記ピーク値を音名ごとに分類するピーク値音名分類手段と、音名ごとに分類されたピーク値を集計するピーク値音名集計手段と、前記ピーク値音名集計手段で集計された集計値を基に前記楽曲の調性を算出する調性算出手段とを備えることを特徴とする。

また、請求項４に記載の音声変換装置は、請求項１〜３いずれか１項に記載の音程認識装置と、前記音声認識装置に入力された楽曲のデジタル音声データを記憶する中間記憶手段と、前記音声認識装置によって算出された前記楽曲全体の音程偏差を基に、前記中間記憶手段に記憶されている前記デジタル音声データを変換して変換デジタル音声データを生成する音程変換手段とを備えることを特徴とする。

本発明の音程認識装置によれば、入力した楽曲が複数の音が重なった楽曲でも基準となる音程とのずれを算出することができる。

また、本発明の音声変換装置によれば、入力した楽曲の音程と基準となる音程とのずれを算出するとともに、入力した楽曲の音程を自動的に変換して基準となる音程に合わせることが可能であり、使用者は簡単な使用方法で利用することができる。

《第一実施形態》
〈前提とする条件〉
本発明の第一実施形態による音程認識装置を説明するにあたり、前提とする条件について説明する。

まず、本実施形態で対象とする楽曲は、１オクターブを１２音に分けた音で構成される、いわゆる西洋音階から構成される楽曲である。この西洋音階で構成され現在多く使われている鍵盤楽器の中央のＡ（ハ長調の「ラ」）の音の周波数は、４４０Ｈｚである。また、この西洋音階の隣り合う音の周波数の比率は一定であり、いわゆる平均律で楽曲が構成されている。

１オクターブ離れた２音の低音と高音との周波数の比率は、１：２である。１オクターブは１２音から構成されるので、隣り合う２音の低音と高音との周波数比率は、下記式（１）で表される。

この隣り合う２音の周波数比率を１００セントと表現する。本実施形態において、上記の周波数および周波数比率により表される音階を基準音階とする。

また本実施形態において、音程認識装置に入力する楽曲は以下の性質を持つものとする。

（１）基準音階の音程との差（以下、「音程偏差」と呼ぶ）は小さな値であり、一般的に５０セント以下である。

（２）音程偏差は１曲を通じてほとんど変化しない。

（３）オリジナルの楽曲は基準音階の音で演奏されている。

（４）発音される個々の楽器や声楽の音は正確な音程ではない場合がある。

また、入力するのは楽曲であり、楽曲を演奏する際には音程の揺らぎが生ずることがあることを考慮して、音程偏差を算出するための周波数分解能を適切に設定する必要がある。そのため、基準音階において隣り合う音との間隔である半音を１０段階に分割する程度の周波数分解能、すなわち１０セント程度での音程偏差の算出が適当である。この１０セントという値に絶対的な意味はなく、５〜１５セント程度の周波数分解能が実現できればよい。

また、オリジナルの楽曲の音程が基準音階の音を持つということは、換言すれば、楽音として音程を持って発せられる音の周波数をｆ_ｍとすると、ｆ_ｍは下記式（２）で表され基準音階の音名を表すｆ_ｉのいずれかに等しくなるということである。

ここで、音程に一定の偏差がある場合、音程偏差をａとして下記式（３）で表されるｆ’_ｉを式（２）のｆ_ｉの代わりに使うことにより入力するオリジナルの楽曲の音程を表すことができる。

また、楽曲には音程を持つ楽音以外にも打楽器や歌声の子音など明確な音程を持たないものもあるので、発せられる音の周波数全てがｆ_ｉに近いわけではない。

〈第一実施形態による音程認識装置１０ａの構成〉
上記の内容を前提とし、本発明の第一実施形態による音程認識装置１０ａを図１および図２を用いて説明する。

本実施形態における音程認識装置１０ａを示すブロック図を図１に示す。本実施形態における音程認識装置１０ａは、デジタル音声データを入力し、音程偏差を算出して出力するものである。

本実施形態における音程認識装置１０ａは、処理区間区切り手段１０１と、周波数データ変換手段１０２と、ピーク値検出手段１０３と、ピーク値選択手段１０４と、ピーク値分類手段１０５と、ピーク値区間集計手段１０６と、区間音程偏差算出手段１０７と、区間音程偏差集計手段１０８と、全体音程偏差算出手段１０９とを有する。

処理区間区切り手段１０１は、入力されたデジタル音声データを後述するような予め設定された処理区間単位に区切る。以下の周波数データ変換手段１０２から区間音程偏差算出手段１０７までは、区切られた１処理区間ごとに実行される。周波数データ変換手段１０２は、サンプリングされたデジタル音声データを時間領域で表される時間データから周波数データに変換する。ピーク値検出手段１０３は、変換された周波数データからピークを生じているエネルギー値（以下、ピーク値という。）を検出する。ピーク値選択手段１０４は、検出されたピーク値からさらに予め設定された数のピーク値を大きいものから選択する。ピーク値分類手段１０５は、選択されたピーク値を持つそれぞれの周波数の式（２）ｆ_ｉに対する偏差を算出するとともに、この偏差の値によってピーク値を分類する。ピーク値区間集計手段１０６は、区切られた処理区間ごとに分類されたピーク値を加算集計する。区間音程偏差算出手段１０７は、ピーク値区間集計手段１０６での集計結果を基に処理区間ごとの音程偏差を算出する。区間音程偏差集計手段１０８は、算出された処理区間ごとの音程偏差を分類し加算集計する。全体音程偏差算出手段１０９は、処理区間ごとの音程偏差の集計結果を基に楽曲全体の音程偏差を算出する。

〈第一実施形態による音程認識装置１０ａの動作〉
以下、本実施形態における音程認識装置１０ａの動作を図２のフローチャートを用いて説明する。

まず、音程認識の対象となる楽曲のデジタル音声データ列である入力データが音程認識装置１０ａに入力される（Ｓ１）。本実施例において入力されるデジタル音声データ列は、４４１００Ｈｚのサンプリング周波数でサンプリングされ、１サンプルあたり１６ビットの量子化ビット数のデジタル音声データである。

入力されたデジタル音声データは、音程認識装置１０ａの処理区間区切り手段１０１によって後述する処理区間単位に区切られる（Ｓ２）。以下、一区間ごとに処理が行われる。

処理区間ごとに区切られたデシタル音声データの時間データは、周波数データ変換手段１０２によって周波数データに変換される（Ｓ３）。変換方法は、本実施形態ではＦＦＴ（Fast Fourier Transform：高速フーリエ変換）が使用される。ＦＦＴを使用するときはサンプル数は２のべき乗になっている必要があるので、サンプリング周波数の４４１００Ｈｚ（４４１００サンプル／秒）を網羅する最小の２のべき乗である２^１６、つまり６５５３６サンプルを１処理区間の単位とする。

また、音程のずれは２つの周波数の比で表され、周波数の差が同じなら高音よりも低音のほうが音程のずれが大きいため、周波数データに変換される際の周波数分解能は低音の周波数を基に算出される。一般的に楽曲の音声成分のうちベースや通奏低音などの低い周波数の成分は２２０Ｈｚ程度であり、この成分の半音（１００セント）に相当する周波数は式（１）を基に算出すると約１３Ｈｚになる。このとき、５〜１０セントの分解能で音程を識別するためには、周波数分解能は１３Ｈｚの１／１０以下である必要があり、望ましくは０．５から１Ｈｚ程度である。本実施形態における周波数分解能は、４４１００Ｈｚ／６５５３６サンプル、つまり０．６７３Ｈｚであり、上記の望ましい範囲に含まれる。

次に、ピーク値検出手段１０３によって、周波数データからエネルギー値のピーク値が検出される（Ｓ４）。この検出は、単純に前後のデータよりも大きいデータを持つ値を抜き出す方法により行われる。ここでデジタル音声データは０Ｈｚから４４１００Ｈｚまでの周波数データに変換されているが、そのうち音声の基音のみ認識できれば良いので、周波数を１００Ｈｚから１０００Ｈｚの範囲に制限してピーク値が検出される。

次に、ピーク値選択手段１０４によって、検出された処理区間内の複数のピーク値からエネルギー値が上位のピーク値が選択される（Ｓ５）。エネルギー値が上位のピーク値の選択数は１０〜２０が適切であり、単純に上位のピーク値が固定数選択される方法で行われる。

選択された上位のピーク値は、ピーク値分類手段１０５においてｈｉｓｔ（−４）からｈｉｓｔ（５）で表される１０値の分類値に分類される（Ｓ６）。この分類値の分解能は半音のセント値である１００セントを１０分割した１０セントであり、ここでｈｉｓｔ（０）は基準音階の音、ｈｉｓｔ（５）は基準音階の音より５０セント程度高い音と認識される音、ｈｉｓｔ（−４）は基準音階の音より４０セント程度低い音と認識される音である。

選択されたピーク値が、これら１０値のどの分類に属するかを算出する方法について説明する。まず、選択されたピーク値を持つ周波数と式（２）のｆ_ｉとの比率（セント値）が算出される。基準音階の音の周波数はここでは４４０Ｈｚにするが、基準音階の音であればどの音の周波数を使用しても構わない。基準音階の音の周波数４４０Ｈｚとの比率（セント値）をｎとすると、ｎは下記式（４）で表される。

ここで、ｒ＝ｆ／４４０とし、定数を小数にすると、下記式（５）で表される。

前述したように半音は常に１００セントであるので、分割数やサンプリング周波数にかかわらず、４４０Ｈｚを基準にした基準音階を構成する音の周波数のセント値ｎを１００で割った剰余は必ず０になる。言い換えればここで算出したｎを１００で割った剰余が基準音階の音程に対する偏差になる。

このセント値ｎを１００で割った剰余をｍとすると、ｍが９５から９９までと０から４までの時はｈｉｓｔ（０）、つまり基準音階の音程であると判断される。ｍが５から１４はｈｉｓｔ（１）、１５から２４はｈｉｓｔ（２）、２５から３４はｈｉｓｔ（３）、３５から４４はｈｉｓｔ（４）、４５から５４はｈｉｓｔ（５）、５５から６４はｈｉｓｔ（−４）、６５から７４はｈｉｓｔ（−３）、７５から８４はｈｉｓｔ（−２）、８５から９４はｈｉｓｔ（−１）に分類される。

次に、ピーク値区間集計手段１０６によって、分類されたピーク値の数が区間ごとに加算集計される（Ｓ７）。そしてこの集計値を基に、区間音程偏差算出手段１０７により処理区間ごとの音程の偏差が算出される（Ｓ８）。

処理区間ごとの音程の偏差の算出方法について説明する。集計されたピーク値は理想的には特定の分類に集中するが、現実には、（ａ）音程のない打楽器が入っている、（ｂ）基音以外の倍音が多く含まれている、（ｃ）演奏中に音程がずれる、などの理由により、特定の分類に集中しないことがある。基本的には区間ごとの集計値の最頻値を持つ分類がその区間での偏差となるが、最頻値が明確でない場合は以下の方法により偏差が算出される。

最頻値が３分類以上あり同じ値の場合、もしくは２分類あり同じ値の場合、しかもその分類どうしが隣り合っていない場合、その処理区間における音程の偏差は不定とみなされ、算出されない。最頻値が隣り合う２分類の場合は両者をその処理区間における音程の偏差とするが、全体集計する際には寄与率を１／２とする。最頻値が１分類のみの場合は、その分類をその処理区間における音程の偏差とする。

上記の方法により算出された各処理区間の音程偏差は、全体音程偏差算出手段１０９により楽曲ごとに加算集計される（Ｓ９）。集計されることにより、最頻値を持つ分類の音程偏差がこの楽曲全体の音程偏差として算出される（Ｓ１０）。

以上の第一実施形態による音程認識装置１０ａにより、デジタル音声データ列で表された楽曲が入力されると基準音階に対する音程偏差が自動的に算出され、ユーザに楽曲の音程のずれに関する情報を提供することができる。

《第二実施形態》
本発明の第二実施形態による音程認識装置１０ｂを図３および図４を用いて説明する。本実施形態における前提条件は、第一実施形態と同様である。

〈第二実施形態による音程認識装置１０ｂの構成〉
本実施形態における音程認識装置１０ｂを示すブロック図を図３に示す。

本実施形態においては、音程認識装置１０ｂにピーク値音名分類手段１１０、音名集計手段１１１、および調性算出手段１１２を有する他は第一実施形態の音程認識装置１０ａと同じ構成である。音程認識装置１０ａと同じ構成部分については説明を省略する。

本実施形態におけるピーク値音名分類手段１１０はピーク値選択手段１０４で選択されたピーク値を音名別に分類し、音名集計手段１１１は音名別に分類されたピーク値を加算集計し、調性算出手段１１２は音名集計手段１１１での集計結果を基に楽曲の調性を算出する。

〈第二実施形態による音程認識装置１０ｂの動作〉
以下、本実施形態における音程認識装置１０ｂの動作を図４のフローチャートを用いて説明する。

図４において、Ｓ２１〜Ｓ３０は図２のＳ１〜Ｓ１０と同じ処理であるため説明を省略する。

ステップＳ２５において、デジタル音声データから変換された周波数データのピーク値が選択されると、このピーク値が第一実施形態のステップＳ６と同様の処理で分類される（Ｓ２６）とともに、ピーク値音名分類手段１１０において音名が算出され、この音名ごとに分類される（Ｓ３１）。

ピーク値の音名を算出する方法について説明する。まず、選択されたピーク値を持つ周波数と基準音階の音の周波数との比率（セント値）が算出される。基準音階の音の周波数はここでは４４０Hｚにするが、基準音階の音であればどの周波数を使用しても構わない。基準音階の音の周波数４４０Ｈｚとの比率（セント値）をｎとすると、ｎは下記式（６）で表される。

ここで、ｒ＝ｆ／４４０とし、定数を小数にすると、下記式（７）で表される。

前述したように半音は常に１００セントであるので、分割数やサンプリング周波数にかかわらず、セント値ｎの十の位を四捨五入した百の位以上の値により音名が算出される。このとき、１２００セントは１オクターブであり、１２００セント離れた周波数は同じ音名である。セント値をｎとすると音名ｐは、下記式（８）で表される。

ｐは０から１１までの値をとり、基準音階の音の周波数が４４０Ｈｚの場合、ｐが０のときはＡの音、１のときはＡ♯もしくはＢ♭の音、２のときはＢの音・・・１１のときはＧ♯もしくはＡ♭の音になる。

上記の方法で算出された音名別にピーク値が分類されるとき、ピーク値分類手段１０５によって分類されたｈｉｓｔ（−４）からｈｉｓｔ（５）ごとに分類され、音名集計手段１１１において加算集計される（Ｓ３２）。

１曲の全ての区間処理が終了した後、調性算出手段１１２で調性が算出される（Ｓ３３）。ここで、ｈｉｓｔ（−４）からｈｉｓｔ（５）に分類されて集計されているデータのうち、全体偏差算出手段によって算出された偏差量ｍに対するｈｉｓｔ（ｍ）に分類されたデータのみが用いられる。

調性を算出する方法について説明する。音名集計手段１１１では、分類ｈｉｓｔ（ｍ）に該当するデータがＡからＧ♯までの１２音名に分類され、それぞれの頻度値が加算集計されている。この１２個のデータのうち、頻度値の低いものが５個取り除かれる。そして、残った音名で作成可能な音階の調性が選択される。

例えば、音名集計手段１１１でＡ♯、Ｃ、Ｄ、Ｆ、Ｇが取り除かれ、Ａ、Ｂ、Ｃ♯、Ｄ♯、Ｅ、Ｆ♯、Ｇ♯が使用されるとする。この７つの音名により作成される音階の調性はホ長調（ＥＭａｊｏｒ）もしくは嬰ハ短調（Ｃ♯ Ｍｉｎｏｒ）であるので、調性算出手段１１２で算出される調性はこの２調性ということになる。取り除かれた音名が５個以外であったり、矛盾したデータが取り除かれた場合、算出される調性が複数あったり１つもなかったりする場合がある。その場合は、矛盾する音名が少ない調性が選択される。

例えば、Ａ、Ｃ♯、Ｄ♯、Ｆ♯、Ｇ♯が取り除かれ、Ａ♯、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇが残っているとする。この場合、残った７音全ての音名により作成可能な音階はないが、この７音のうち６音により作成可能な音階の調性は、ハ長調（ＣＭａｊｏｒ）、イ短調（ＡＭｉｎｏｒ）、ヘ長調（ＦＭａｊｏｒ）、ニ短調（ＤＭｉｎｏｒ）であるので、この楽曲の調性はこれら６調のいずれかであると判断される。

以上の第二実施形態による音程認識装置１０ｂにより、音程偏差の他に調性も算出され、音程のずれに関する情報のみでなく調性の情報もユーザに提供することができる。

《第三実施形態》
本発明の第三実施形態による音声変換装置１ａを図５および図６を用いて説明する。本実施形態における前提条件は、第一実施形態と同様である。

〈第三実施形態による音声変換装置１ａの構成〉
本実施形態は第一実施形態による音程認識装置１０ａを利用して音声変換装置１ａを構成したものであり、本実施形態中の音程認識装置１０ａは第一実施形態による音程認識装置１０ａと構成および処理内容が同じであるため説明は省略する。

図５は、本発明の第三実施形態における音声変換装置１ａを示す全体図である。本実施形態における音声変換装置１ａは、音声取り込み手段２０と、中間記憶手段３０と、音程認識装置１０ａと、音程変換手段４０とを備える。

音声取り込み手段２０は、テープレコーダ等の入力装置２から入力された音声を予め設定されたサンプリング周波数でサンプリングし、デジタル音声データを得る。中間記憶手段３０は、得られたデジタル音声データを記憶する。音程変換手段４０は、中間記憶手段３０に記憶されたデジタル音声データを、音程認識装置１０ａで算出された音程偏差分変換し、出力装置３に送信する。

〈第三実施形態による音声変換装置１ａの動作〉
以下、本実施形態における音声変換装置１ａの動作を図６のフローチャートを用いて説明する。

まず、テープレコーダなどの入力装置２から音声変換装置１ａに楽曲が入力される（Ｓ４１）。入力された楽曲は、音声取り込み手段２０において所定のサンプリング周波数、例えば４４１００Hｚでサンプリングされ、デジタル音声データに変換される（Ｓ４２）。このデジタル音声データは中間記憶手段３０および音程認識装置１０ａに送信される。

中間記憶手段３０では、受信したデジタル音声データが一旦蓄積される（Ｓ４３）。音程認識装置１０ａでは、受信したデジタル音声データに第一実施形態と同様の処理が行われ、楽曲全体の音程偏差が算出される（Ｓ４４）。

次に、音程変換手段４０において、中間記憶手段３０に蓄積されたデジタル音声データが音程認識装置１０ａで算出された楽曲全体の音程偏差を基に変換される（Ｓ４５）。この音程の変換は、デジタル音声データをリサンプリングすることにより行われる。リサンプリングを行うと音程と同時に音長も変化するため、テープレコーダ等の入力装置２で楽曲が録音または再生される際に生じた速度偏差も減少させることができる。

音程変換手段４０で変換されたデジタル音声データは、出力装置３に送信されることにより、基準音階に準じた楽曲が出力され再生される。

以上の第三実施形態による音声変換装置１ａにより、入力された楽曲が基準音階に準じて変換されたデジタル音声データを得ることができる。

《第四実施形態》
本発明の音声変換装置１ａとしてパーソナルコンピュータ４を用いた第四実施形態について図７を用いて説明する。本実施形態における前提条件は、第一実施形態と同様である。

〈第四実施形態による音声変換装置１ａとしてのパーソナルコンピュータ４の構成〉
図７は音声変換装置１ａとしてパーソナルコンピュータ４を使用した場合の外観図である。本実施形態におけるパーソナルコンピュータ４には、入力装置２としてのテープレコーダ５が接続されている。本実施形態による音声変換装置１ａの動作は、パーソナルコンピュータ４上のソフトウェアで実現される。パーソナルコンピュータ４は、操作ボタンを表示する表示画面４１を有し、操作ボタンには音声取り込みを開始させるためのスタートボタン４２、停止させるためのストップボタン４３、および音程変換を実行させるための実行ボタン４４がある。また、パーソナルコンピュータ４は、変換したデジタル音声データを記憶するハードディスク４５を有する。

〈第四実施形態による音声変換装置１ａとしてのパーソナルコンピュータ４の動作〉
まず、音声変換装置１ａとしてのパーソナルコンピュータ４上でユーザによりソフトウェアが起動された後、パーソナルコンピュータ４に接続されたテープレコーダ５が再生状態にされるとともにソフトウェアにより表示されているスタートボタン４２が操作されることにより、テープレコーダ５から再生された楽曲の音声がパーソナルコンピュータ４に入力される。

テープレコーダ５から楽曲の再生が終了した後、ユーザによりテープレコーダ５は停止状態にされるとともにパーソナルコンピュータ４の表示画面４１上に表示されているストップボタン４３が操作され、パーソナルコンピュータ４への取り込みが停止される。入力された楽曲の音声は、デジタル音声データに変換されて記憶される。

次に、パーソナルコンピュータ４の表示画面４１上に表示されている実行ボタン４４が操作されることにより、入力された楽曲全体の音程偏差が算出される。この音程偏差を基に記憶されているデジタル音声データが変換され、基準音階に準じて音程および速度が変換されたデジタル音声データが得られる。得られたデジタル音声データは、オーディオファイルとしてパーソナルコンピュータ４上のハードディスク４５に記録される。

以上の第四実施形態による音声変換装置１ａとしてのパーソナルコンピュータ４により、ユーザが複雑な操作をすることなしに、基準音階に準じて音程が変換されたデジタル音声データを取得でき、さらに保存することができる。

《第五実施形態》
本発明の第五実施形態による音声変換装置１ｂを図８および図９を用いて説明する。

〈第五実施形態による音声変換装置１ｂの構成〉
図８は、本発明の第五実施形態による音声変換装置１ｂを示す全体図である。本実施形態においては、ユーザにより基準音階の音の周波数を入力することが可能な指示手段５０ａを有する他は第一実施形態と同じ構成である。

〈第五実施形態による音声変換装置１ｂの動作〉
本実施形態における音声変換装置１ｂの主な動作は第三実施形態と同じであるが、図８に示すように、指示手段５０ａが音声変換装置１ｂに設けられ、音程認識装置１０ａまたは音程変換手段４０の中の処理を所望の条件で行うように指示を与えることができる点が異なる。

指示の内容として、例えば基準となる周波数を変更する場合について説明する。第一実施形態〜第四実施形態においては、
（１）Ａの音の周波数は、４４０Ｈｚである。

（２）音程偏差は小さな値である。

という前提条件が含まれていたが、演奏によっては４４２Ｈｚを使用することも多く行われている。この場合、約８セントの差があるので、音程偏差を誤って算出してしまう可能性がある。例えば、オリジナルの楽曲の録音がヘ長調で行われ、再生が７０セント低い音程で行われている場合（半音近く音がずれている場合）は、第一実施形態の音程認識装置１０ａにより音程偏差が算出されるとホ長調のオリジナル楽曲が３０セント高い音程で再生されていると誤認識する。

そこで、ユーザにより本実施形態の指示手段５０ａを用いて基準にするＡの音の周波数をオリジナルの楽曲で使用された周波数の４４２Ｈｚに指定されれば、音程認識装置１０ａのピーク値分類手段１０５では指示手段５０ａで指示された周波数に対する比率を基にピーク値が分類される。

また、ユーザにより本実施形態の指示手段５０ａを用いて音程変換手段４０で常に音程を上げる方向に変換するように指示されれば、例えば音程偏差算出結果が−３０セントのときは、音程変換手段４０には−３０セントではなく＋７０セントの値が送られる。

図９は音声変換装置１ｂとしてパーソナルコンピュータ４を使用した場合の外観図である。パーソナルコンピュータ４の表示画面４１には、ユーザにより変換の条件や基準とする周波数を入力可能な入力画面４６を有する。使用の際は、ユーザにより入力画面４６の内容が選択され、この内容を基に音声変換が行われる。

以上のように、本実施形態によれば、ユーザが指示した内容から算出される音程偏差を用いて音声データが変換され、調性の誤認識が低減し、ユーザの所望の音声データを得ることができる。

《第六実施形態》
本発明の第六実施形態による音声変換装置１を図１０〜図１２を用いて説明する。本実施形態における前提条件は、第一実施形態と同様である。

〈第六実施形態による音声変換装置１ｃの構成〉
図１０は、本発明の第六実施形態による音声変換装置１ｃを示す全体図である。本実施形態においては、指示手段５０ｂがユーザにより調性を指定する機能および調性の選択方法を指示する機能を有する他は第五実施形態と同じ構成である。

〈第六実施形態による音声変換装置１ｃの動作〉
以下、本実施形態における音声変換装置１ｃの動作を図１１のフローチャートを用いて説明する。ステップＳ５１〜ステップＳ５４の処理は、図６のステップＳ４１〜ステップＳ４４の処理と同じであるため、説明を省略する。

本実施形態における音声変換装置１ｃの主な動作は第五実施形態と同じであり、図１０に示すように、指示手段５０ｂにより音程変換装置４０に指示が与えられる。指示手段５０ｂにより与えられる指示内容は、調性の指定または変換のための調性の選択方法の指示などがある。

この指示手段５０ｂの指示内容のうち、調性の指定は変換する楽曲の調性が既知の場合に行うことができる。クラシック音楽の場合は、演奏される楽曲の調性が既知の場合が多く、例えばベートーベンの交響曲第９番はニ短調で演奏される。

そこで、ユーザにより本実施形態の指示手段５０ｂを用いて既知の調性が指示されたときは、音程変換手段４０では、指示手段５０ｂにより指示された調性と音程認識装置１０ｂの調性算出手段１１２で算出された調性とが比較され（Ｓ５５、Ｓ５６）、調性が一致していない場合は、その差から調性の偏差が算出される（Ｓ５６）。さらに音程変換手段４０では、音程認識装置１０ｂで算出された音程偏差にこの調性の偏差が加えられた値を基に、中間記憶手段３０に記憶されているデシタル音声データの変換が行われる（Ｓ５７）。

このとき、調性算出手段１１２で算出される調性が複数になる場合があるが、その場合はユーザが指示した調性と同じかまたは、主音が近い調性が選択され、この調性を基に偏差が算出される。この調性算出手段１１２で算出された複数の調性は主音が離れた調性になるため、主音が近い調性は容易に選択される。

また、指示手段５０ｂの指示内容のうち、変換のための調性の選択方法について説明する。一般にシャープが５つも６つもついた複雑な調性で楽曲が演奏されることは少ない。そのため、音程認識装置１０ｂの調性算出手段１１２で算出された調性がこのような通常使わない調性であり、音程を上げることによりこの調性に変換される場合、音程を下げて簡単な調性に変換するように指示することができる。

図１２は音声変換装置１ｃとしてパーソナルコンピュータ４を使用した場合の外観図である。パーソナルコンピュータ４の表示画面４１には、ユーザにより調性等を入力可能な入力メニュー４７を有する。使用の際は、ユーザにより入力メニュー４７で調性の指定や変換のための調性の選択方法が指定され、この内容を基にデジタル音声データの音程変換が行われる。

以上のように、本実施形態によれば、ユーザが指示した調性または調性の選択方法が指定されることにより、調性の誤認識が低減し、精度の高い変換を行うことが可能になる。

《第七実施形態》
本発明の第七実施形態による音声変換装置としての音程変換専用装置６を図１３を用いて説明する。本実施形態における前提条件は、第一実施形態と同様である。

〈第七実施形態による音声変換装置としての音程変換専用装置６の構成〉
本実施形態においては、入力音声の取り込みおよび変換に専用装置の音程変換専用装置６を用いるが、その構成は音声変換装置１ａ〜１ｃのいずれかと同様である。本実施形態における音程変換専用装置６は、メニュー表示部６１、操作指示部６２、ディスク書き込み部６３を有する。

本実施形態における音程変換装置６が有するメニュー表示部６１は音声データ取り込み、変換、または保存などの操作を選ぶためのメニューを表示する。操作指示部６２は、入力されたデジタル音声データに対する音程偏差算出または音声変換のための条件設定を指示する。ディスク書き込み部６３は、算出された音程偏差で変換されたデジタル音声データを書き込み型ディスクに記憶する。

〈第七実施形態による音声変換装置としての音程変換専用装置６の動作〉
本実施形態における音程変換専用装置６の動作を説明する。まず、ユーザの操作により音声変換専用装置６のメニュー表示部６１が表示される。さらに、ユーザにより操作指示部６２の音声取り込み用のボタンが操作されるとともに接続されているテープレコーダ５が再生状態にされることにより、テープレコーダ５から音声データが取り込まれ、デジタル音声データに変換されて記憶される。

次に、ユーザの所望の音声変換処理の条件があるときには、ユーザにより操作指示部６２の条件指定用のボタンが操作されることによりその条件が指定される。そして、ユーザにより操作指示部６２の音声変換用のボタンが操作されることにより、メニュー表示部６１に表示された指示内容に基づいて記憶されているデジタル音声データの音声変換処理が行われる。指定された条件により変換されたデジタル音声データは、操作指示部６２の保存用のボタンが選択されることによりディスク書き込み部６３で書き込み型ディスクに記憶される。

本実施形態により、変換されたデジタル音声データを書き込み型ディスクに保存することができ、変換されたデータを持ち運ぶことが可能になり、かつ再生したいときに他のディスク再生装置を用いて再生することも可能になる。

《その他の実施形態》
上記の実施形態において、サンプリング周波数を４４１００Ｈｚ、量子化ビット数を１６ビットに設定したが、本発明はこの値には限定されない。

また、周波数データ変換手段１０２で用いられるデジタル音声データの時間データから周波数データへの変換はＦＦＴに限定されず、周波数データに変換できる手段であれば他の方法でもよい。

また、ピーク値選択手段１０４におけるピーク値の選択は、エネルギー値が上位のものから固定数を選択する方法に限定されず、最上位のエネルギーとの比率が一定以上のものを選択する方法や上位からの合計エネルギーの割合が一定値を超えるまで選択する方法などでもよい。

また、音程偏差を算出するための周波数分解能は１０セントに限定されないが、５〜１５セントの間が好ましく、周波数分解能が変更されたときはピーク値分類手段１０５における分類および全体偏差算出手段における集計の間隔も連動して変化する。

また、区間音程偏差算出手段１０７において、最頻値とそれ以外の分類の集計値がある一定値、例えば２以上の差がない場合はこの区間の音程偏差は不定とすることもできる。

また、音名集計手段１１１で取り除かれる音名は５個に限らず、他の頻度値との相対関係より取り除く個数を調整してもよい。

また、第一実施形態〜第六実施形態では音声変換装置１としてパーソナルコンピュータ４を使用し、第七実施形態では音声変換専用装置６を使用しているが、これには限定されない。

以上のように、本発明は多様な実施形態をとることが可能であり、簡単な操作でユーザの目的に合った精度の音声変換を行うことができる。

本発明の第一実施形態による音程認識装置を示すブロック図である。本発明の第一実施形態による音程認識装置の動作を示すフローチャートである。本発明の第二実施形態による音程認識装置を示すブロック図である。本発明の第二実施形態による音程認識装置の動作を示すフローチャートである。本発明の第三実施形態による音声変換装置を示すブロック図である。本発明の第三実施形態による音声変換装置の動作を示すフローチャートである。本発明の第四実施形態による音声変換装置としてパーソナルコンピュータを使用した場合を示す外観図である。本発明の第五実施形態による音声変換装置を示すブロック図である。本発明の第五実施形態による音声変換装置としてパーソナルコンピュータを使用した場合を示す外観図である。本発明の第六実施形態による音声変換装置を示すブロック図である。本発明の第六実施形態による音声変換装置の動作を示すフローチャートである。本発明の第六実施形態による音声変換装置としてパーソナルコンピュータを使用した場合を示す外観図である。本発明の第七実施形態による音声変換装置として音程変換専用装置を使用した場合を示す外観図である。

符号の説明

１ａ、１ｂ、１ｃ音声変換装置
２入力装置
３出力装置
４パーソナルコンピュータ
５テープレコーダ
６音声変換専用装置
１０ａ、１０ｂ、１０ｃ音程認識装置
２０音声取り込み手段
３０中間記憶手段
４０音程変換手段
４１表示画面
４２スタートボタン
４３ストップボタン
４４実行ボタン
４５ハードディスク
４６、４７入力メニュー
５０ａ、５０ｂ指示手段
６１メニュー表示部
６２操作指示部
６３ディスク書き込み部
１０１処理区間区切り手段
１０２周波数データ変換手段
１０３ピーク値検出手段
１０４ピーク値選択手段
１０５ピーク値分類手段
１０６ピーク値区間集計手段
１０７区間音程偏差算出手段
１０８区間音程偏差集計手段
１０９全体音程偏差算出手段
１１０ピーク値音名分類手段
１１１音名集計手段
１１２調性算出手段

Claims

入力された楽曲のデジタル音声データを予め設定された処理区間で区切る処理区間区切り手段と、
前記処理区間ごとに区切られ時間領域で表される前記デジタル音声データを周波数データに変換する周波数データ変換手段と、
変換された前記周波数データのエネルギー値のピーク値を検出するピーク値検出手段と、
検出されたピーク値から、予め設定された数のピーク値を選択するピーク値選択手段と、
選択されたピーク値を持つ周波数と、基準とする音の周波数との周波数偏差の値を求め、この周波数偏差の値によって前記ピーク値を、前記基準とする音に対する複数の音程偏差に分類するピーク値分類手段と、
分類されたピーク値の数をそれぞれ前記処理区間ごとに加算集計するピーク値区間集計手段と、
前記ピーク値の集計値の最頻値が３分類以上ある場合、もしくは２分類ありその２分類が隣り合っていない場合は、当該処理区間における音程偏差は不定とし、前記最頻値が１分類のみである場合は、その分類の音程偏差を当該処理区間の音程偏差として算出する区間音程偏差算出手段と、
前記楽曲ごとに前記処理区間ごとの音程偏差を加算集計する区間音程偏差集計手段と、
前記音程偏差の集計値を基に、基準となる音階に対する前記楽曲全体の音程偏差を算出する全体音程偏差算出手段と、
を備えることを特徴とする音程認識装置。
前記区間音程偏差算出手段は、前記最頻値が２分類ありその２分類が隣り合っている場合にはその２分類の音程偏差を当該処理区間の音程の偏差として算出し、
前記区間音程偏差集計手段は、前記区間音程偏差算出手段において前記最頻値が２分類ありその２分類が隣り合っている場合に当該処理区間の音程の偏差として算出された２分類の音程偏差はそれぞれ寄与率を１／２として、前記楽曲ごとに前記処理区間ごとの音程偏差を加算集計する
ことを特徴とする請求項１に記載の音程認識装置。
前記ピーク値分類手段で分類されたピーク値を持つ周波数に対応する音名を算出するとともに、前記ピーク値を音名ごとに分類するピーク値音名分類手段と、
音名ごとに分類されたピーク値を集計するピーク値音名集計手段と、
前記ピーク値音名集計手段で集計された集計値を基に前記楽曲の調性を算出する調性算出手段と、
を備えることを特徴とする請求項１または２に記載の音程認識装置。
請求項１〜３いずれか１項に記載の音程認識装置と、
前記音声認識装置に入力された楽曲のデジタル音声データを記憶する中間記憶手段と、
前記音声認識装置によって算出された前記楽曲全体の音程偏差を基に、前記中間記憶手段に記憶されている前記デジタル音声データを変換して変換デジタル音声データを生成する音程変換手段と、
を備えることを特徴とする音声変換装置。