JP3931901B2

JP3931901B2 - 音声変換装置

Info

Publication number: JP3931901B2
Application number: JP2004308553A
Authority: JP
Inventors: 秀一松本
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2004-10-22
Filing date: 2004-10-22
Publication date: 2007-06-20
Anticipated expiration: 2016-09-02
Also published as: JP2005025234A

Description

この発明は、例えばカラオケ装置に用いて好適な音声変換装置に関する。

近年、カラオケ等の分野においては、入力音声に周波数変換等の処理を施して様々な効果を得る音声変換の技術が各種開発されている。例えば、入力音声の音程を所定度数シフトさせてこれを元の音声に付加することによって、いわゆるハモリの効果を得たり、あるいは、入力音声を１オクターブ高音側へシフトさせたりそのフォルマント（声道の共振周波数）をシフトさせたりして、男性の声を女性の声に変換する、といった技術が知られている。

ところで、従来の音声変換においては、通常、入力音声にピッチシフトやフォルマントシフトを施してそのフォルマントを単に周波数軸上で上下に移動させるのみであった。このため、入力音声の周波数特性（すなわち、声質）によっては、適当な音声変換がなされる場合もあれば、変換後の音量が極端に小さくなったり、あるいは不自然な音声になるなど適当な音声変換がなされない場合もあり、ムラが多いという問題があった。また、このようなムラが生じるために変換可能な範囲が極めて制限されるという問題もあった。

この発明は、このような背景の下になされたもので、入力音声の特性の相違による音声変換のムラを補償することができる音声変換装置を提供することを目的としている。

上述した課題を解決するために、本発明に係る音声変換装置の第１の特徴は、入力音声から第１のパラメータを抽出する第１の抽出手段と、前記入力音声の周波数特性を変化させて出力する音声変換手段と、前記音声変換手段の出力音声から第２のパラメータを抽出する第２の抽出手段と、前記第１および第２のパラメータを比較する比較手段と、前記比較手段による比較の結果に基づいて前記音声変換手段による変換処理を制御する制御手段と、前記音声変換手段の出力音声からパラメータを抽出し、当該パラメータに基づいて前記出力音声を採点する採点手段とを具備することにある。

本発明に係る音声変換装置の第２の特徴は、入力音声の音量を抽出する第１の抽出手段と、前記入力音声の周波数特性を変化させて出力する音声変換手段と、前記音声変換手段の出力音声の音量を抽出する第２の抽出手段と、前記第１および第２の抽出手段が抽出した音量を比較する比較手段と、前記音声変換手段に供給すべき入力音声の音量を前記比較手段による比較の結果に応じて増幅する音量付加手段と、前記音声変換手段の出力音声の音量を抽出し、当該音量に基づいて前記出力音声を採点する採点手段とを具備することにある。

また、本発明に係る音声変換装置の第３の特徴は、入力音声の音量を抽出する第１の抽出手段と、前記入力音声の周波数特性を変化させて出力する音声変換手段と、前記音声変換手段の出力音声の音量を抽出する第２の抽出手段と、前記第１および第２の抽出手段が抽出した音量を比較する比較手段と、前記音声変換手段に供給すべき入力音声に対して前記比較手段による比較の結果に応じた歪みを与えて当該音声に高調波を付加する高調波付加手段と、前記音声変換手段の出力音声の音量を抽出し、当該音量に基づいて前記出力音声を採点する採点手段とを具備することにある。

以下、図面を参照して、この発明の実施形態について説明する。なお、以下の実施形態は、本発明を通信カラオケ装置に適用したものであるが、本発明はかかるカラオケ装置への適用に限らず、その他のカラオケ装置あるいは音声変換装置にも適用可能である。

Ａ：実施形態の構成
（１）全体構成
図１はこの発明の一実施形態の全体構成を示すブロック図である。同図において、１はセンタ局に設置されたホストコンピュータであり、カラオケの楽曲データを蓄積したデータベースを有している。このホストコンピュータ１には、通信回線（公衆電話回線またはＩＳＤＮ）を介し、各カラオケ店舗に設置された複数のカラオケ端末２が接続されており、定期的に楽曲データを各カラオケ端末２に配信するようになっている。以下、このカラオケ端末２を構成する各部を説明する。

２１はＣＰＵ（中央処理装置）であり、バスＢＵＳを介し接続される端末各部を制御する。また、２２はＲＯＭ(Read Only Memory)であり、ＣＰＵ２１が実行する制御プログラムおよび楽曲データに含まれる歌詞コードに対応したフォントデータを記憶する。さらに、２３はＲＡＭ(Random Access Memory)であり、ＣＰＵ２１のワークエリアとして用いられる。

また、２４はハードディスクであり、ホストコンピュータ１から配信される楽曲データを記憶する。すなわち、カラオケ端末２においては、ホストコンピュータ１から供給される楽曲データを一旦ハードディスク２４に蓄積し、これを読み出して用いるようになっている。２５は通信コントローラであり、ホストコンピュータ１から送信される楽曲データを受信しこれをハードディスク２４へ転送する。

また、２６はパネルスイッチであり、カラオケ装置本体の操作パネル（図示略）に設けられ、例えば演奏の開始または中止を指示する操作の他、ボリューム、テンポ、キーコントロールあるいは後述する音声変換のためのピッチシフトおよび声質等の設定操作がなされる。パネルスイッチ２６は、こうした指示操作や設定状態に対応した入力値あるいは設定値をＣＰＵ２１へ出力する。また、２７はリモコン受信部であり、リモコン端末ＲＭＣから入力される曲番号や演奏の開始または中止などの指示操作に対応した信号を受信し、これを入力値としてＣＰＵ２１へ出力する。さらに、２８はＬＣＤ(Liquid Crystal Display)等で構成された表示パネルであり、リクエスト中の曲番号や各種設定状態等のメッセージを表示する。

次に、２９は音源であり、ＣＰＵ２１により供給される楽音制御データ（楽曲データに含まれる。）に対応した楽音信号を合成しこれを効果用ＤＳＰ(Digital Signal Processor)３０へ出力する。３１は音声デコーダであり、ＣＰＵ２１により供給されるＡＤＰＣＭデータ（楽曲データに含まれるバックコーラス等の音声データ）に対応した音声信号を生成しこれを効果用ＤＳＰ３０へ出力する。

また、３２は音声変換部であり、マイクアンプ３３によって増幅されＡ／Ｄ変換器３４によってディジタル信号に変換されたマイクＭからの入力音声に対し所定の音声変換処理を施す。この変換後の音声信号は、効果用ＤＳＰ３０および採点機３５へ各々供給される。なお、音声変換部３２の詳細については後述する。

効果用ＤＳＰ３０は、ＣＰＵ２１から供給される効果付与制御データ（楽曲データに含まれる。）に基づき、音源２９から供給される楽音信号、音声デコーダ３１から供給されるバックコーラス等の音声信号、および音声変換部３２によって変換処理を施されたマイク入力に対し、エコー、リバーブ、ディレイ等の各種効果を付与する。こうして効果付与された楽音は、Ｄ／Ａ変換器３７によってアナログ信号に変換された後、サウンドシステム３６に送られ、スピーカより放音される。

また、採点機３５は、音声変換部３２におけるマイク入力の分析結果に基づき歌唱者の歌唱力を評価し、その採点結果を数値データとして出力する。

次に、３８は表示制御部であり、モニタ３９の表示制御を行う。この表示制御部３８は、カラオケの演奏中、動画ＣＤ等の映像記憶装置４０から供給されるカラオケの背景映像を表示するための映像データに、ＲＯＭ２２から読み出される歌詞のフォントデータをスーパーインポーズし、その合成画像をモニタ３９に表示させる。また、表示制御部３８は、カラオケの演奏終了後、採点機３５の採点結果をモニタ３９に表示させる。

（２）音声変換部３２の詳細
次に、音声変換部３２の詳細について説明する。図２は、音声変換部３２の構成を示すブロック図である。同図において、３２１は、マイクＭからの入力音声に歪みを与えるディストーション回路である。このディストーション回路３２１は、差分判定回路３２２から与えられる音量ゲインＧに応じて入力音声信号を増幅し、また、該回路３２２から与えられる加歪率Ｄに応じて増幅後の入力音声信号に歪みを与える。これにより、入力音声信号に加歪率Ｄに応じた量の高調波（すなわち、高音域の成分）が付加される。

３２３はピッチシフト回路であり、パネルスイッチ２６において設定されたシフト量に応じて入力音声信号のピッチ（すなわち、周波数）をシフトさせる。このピッチシフト回路３２３によって、例えば入力音声が男性の声の場合にこれを１オクターブだけ高音側へシフトするなどして女性の声に変換することが可能になる。

また、３２４はフォルマントシフト回路であり、パネルスイッチ２６において設定された声質（例えば、声の太さの度合い）に応じて入力音声のフォルマントをシフトする。このフォルマントシフト回路３２４によって、入力音声の声道特性を変えることにより、例えば同じ男性の声であってもあたかも別人の声のように変換することが可能になる。

次に、３２５，３２６は可聴フィルタである。可聴フィルタ３２５は、入力音声信号の音量レベルを抽出し、これを音量データＶ１として出力する。一方、可聴フィルタ３２６は、出力音声信号の音量レベルを抽出し、これを音量データＶ２として出力する。

次に、差分判定回路３２２は、可聴フィルタ３２５，３２６から各々出力される音量データＶ１，Ｖ２を比較し、入力音声と出力音声の音量差に応じてディストーション回路３２１へ供給すべき音量ゲインＧと加歪率Ｄを決定する。例えば、入力音声の音量に対して変換後の出力音声の音量が小さい場合には音量ゲインＧを大きくする。また、入力音声を高音側へシフトする場合に、入力音声の音量に対して変換後の出力音声の音量が小さい場合には高音域の音量が不足しているとみなし、入力音声に付加すべき高調波の量を増すべく加歪率Ｄを大きくする。

さらに、３２７はハウリング検出回路であり、出力音声信号のハウリングを検出する。このハウリング検出回路３２７の検出結果に基づき、出力音声信号のハウリングを抑制すべくディストーション回路３２１に与えられる音量ゲインＧが調整される。

Ｂ：実施形態の動作
次に、上記構成からなる実施形態の動作を説明する。
（１）カラオケ装置の全体動作
はじめに、本実施形態にかかるカラオケ装置の全体動作を説明する。ただし、楽曲データは、既にホストコンピュータ１からカラオケ端末２へ配信されており、ハードディスク２４に格納されているものとする。

まずカラオケ端末２に電源が投入され、リモコン端末ＲＭＣより曲番号が指定されると、この曲番号はリモコン受信部２７によって受信される。これによりＣＰＵ２１が指定された曲番号を識別すると、この曲番号に対応する楽曲データをハードディスク２４から読み出し、該データの再生を開始する。これにより、楽曲データに含まれるノートデータ、デュレーションデータ等の楽音制御データが音源２９に供給され、カラオケの演奏が行われる。一方、楽曲データのヘッダ部に含まれるジャンル情報（その曲の音楽ジャンルや季節等を示す情報）が読み取られ、これに対応する背景映像が映像記憶装置４０より再生され、モニタ３９に表示される。また、モニタ３９に映し出される背景映像には、楽曲データに含まれる歌詞コードに対応したフォント画像がスーパーインポーズされる。

一方、利用者の歌唱音声は、マイクＭより入力され、効果用ＤＳＰ３０にて、音源２９から出力されるカラオケの楽音および音声デコーダ３１から出力されるバックコーラス音とともにエコー、リバーブ等の各種効果が付与された後、サウンドシステム３６へ送られ、スピーカより放音される。

（２）音声変換の動作
次に、上述したカラオケ演奏において、利用者がパネルスイッチ２６より音声変換の動作モードを指示した場合の動作を説明する。利用者がパネルスイッチ２６より音声変換モードを指示し、所望のピッチシフト量と声質とを設定すると、ピッチシフト量の設定値がピッチシフト回路３２３へ供給されるとともに、声質に対応したフォルマントシフト量の設定値がフォルマントシフト回路３２４へ供給される。これにより、変換後の目標となる出力音声の周波数特性が決定され、以後、これと周波数特性が一致するよう入力音声の音声変換が行われる。

例えば図３に示すように、入力音声が男性の声で、高音域の成分が元々少ないにもかかわらず、女性の声の周波数特性（変換目標）になるよう変換する場合（同図（ａ）参照）、入力音声の大部分を占める低音域がカットされてしまうために出力音声全体としての音量が入力音声のそれと比較して小さくなる。

この場合、差分判定回路３２２においては、音量データＶ１，Ｖ２の差が大きくなることから音量ゲインＧを大きくするよう制御がなされる。これによって、入力音声信号が全体的に増幅され高音側成分の不足が補われた上で（同図（ｂ）参照）、目標の周波数特性に一致するようピッチシフトおよびフォルマントシフトが施される（同図（ｃ）参照）。

また、音量ゲインＧによる増幅のみでは高音域の成分を十分に補えない場合をも考慮して、例えば図４に示すように、ディストーション回路３２１にて入力音声信号に歪みを加えることにより高調波（高音域の成分）を付加する（同図（ａ）参照）。このとき付加される高調波の量は、加歪率Ｄの大きさによって制御される。すなわち、音量データＶ１，Ｖ２の差が大きい場合、加歪率Ｄを大きくすることにより高調波の量が増加され、音量データＶ１，Ｖ２の差が小さい場合、加歪率Ｄを小さくすることにより高調波の量が減少される。そして、上記のように高調波が付加され高音側成分の不足が補われた上、目標の周波数特性に一致するようピッチシフトおよびフォルマントシフトが施され、音声変換が行われる（同図（ｂ）参照）。

このように、本実施形態による音声変換においては、出力音声を入力側にフィードバックし、入力音声と出力音声の音量差が大きい場合には、この差を補正すべく入力音声を増幅して音声変換を行う。特に、高音域の音量が小さい場合には、ディストーションの加歪率Ｄを大きくすることにより入力音声に高調波を付加し、高音域の音量を補って音声変換を行う。また、ハウリング検出回路３２７の検出結果に基づき音量ゲインＧが調整され、出力音声信号のハウリングが抑制される。これによって、音声変換に伴う音量の低下や不自然さ等のムラを補償することができる。

Ｃ：変形例
なお、本発明は、上記実施形態に限らず、例えば以下のような種々の変形が可能である。
（１）実施形態では、ディストーション回路３２１によって入力音声の増幅後、高調波を補うべく歪みを加えるようにしたが、これに限らず、単に増幅器によって音量のみを付加するようにしても、出力音声の音量低減を補償する効果を得ることは可能である。すなわち、高調波の付加は、男性の声から女性の声への変換の場合ように高音域の成分が足りなくなるような音声変換の場合に有効となる。

（２）また、実施形態では、音量の補正を例としたが、これに限らず、例えば音程の補正などその他のパラメータを補正の対象としてもよい。
（３）また、実施形態では、音声変換手段としてピッチシフトとフォルマントシフトを併用する構成を採用したが、これに限らず、いずれか一方のみの構成としてもよく、あるいはこれらをイコライザに置き換えてもよい。

（４）さらに、採点機３５では、入力音声から抽出される音量のみならず、音程をも抽出して、歌唱力の採点に利用するようにしてもよい。また、入力音声に限らず、音声変換後の出力音声について音量、音程等のパラメータを抽出して採点を行うようにしてもよい。

本実施形態の全体構成を示すブロック図である。同実施形態における音声変換部の構成を示すブロック図である。同実施形態における音量付加を説明するための図である。同実施形態における高調波付加を説明するための図である。

符号の説明

１…ホストコンピュータ、２…カラオケ端末、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク、２５…通信コントローラ、２６…パネルスイッチ、２７…リモコン受信部、２８…表示パネル、２９…音源、３０…効果用ＤＳＰ、３１…音声デコーダ、３２…音声変換部、３３…マイクアンプ、３４…Ａ／Ｄ変換器、３５…採点機、３６…サウンドシステム、３７…Ｄ／Ａ変換器、３８…表示制御部、３９…モニタ、４０…映像記憶装置、３２１…ディストーション回路（音量付加手段、高調波付加手段）、３２２…差分判定回路（比較手段、制御手段）、３２３…ピッチシフト回路（音声変換手段）、３２４…フォルマントシフト回路（音声変換手段）、３２５，３２６…可聴フィルタ（第１および第２の抽出手段）、３２７…ハウリング検出回路。

Claims

入力音声から第１のパラメータを抽出する第１の抽出手段と、
前記入力音声の周波数特性を変化させて出力する音声変換手段と、
前記音声変換手段の出力音声から第２のパラメータを抽出する第２の抽出手段と、
前記第１および第２のパラメータを比較する比較手段と、
前記比較手段による比較の結果に基づいて前記音声変換手段による変換処理を制御する制御手段と、
前記音声変換手段の出力音声からパラメータを抽出し、当該パラメータに基づいて前記出力音声を採点する採点手段と
を具備することを特徴とする音声変換装置。
入力音声の音量を抽出する第１の抽出手段と、
前記入力音声の周波数特性を変化させて出力する音声変換手段と、
前記音声変換手段の出力音声の音量を抽出する第２の抽出手段と、
前記第１および第２の抽出手段が抽出した音量を比較する比較手段と、
前記音声変換手段に供給すべき入力音声の音量を前記比較手段による比較の結果に応じて増幅する音量付加手段と、
前記音声変換手段の出力音声の音量を抽出し、当該音量に基づいて前記出力音声を採点する採点手段と
を具備することを特徴とする音声変換装置。
入力音声の音量を抽出する第１の抽出手段と、
前記入力音声の周波数特性を変化させて出力する音声変換手段と、
前記音声変換手段の出力音声の音量を抽出する第２の抽出手段と、
前記第１および第２の抽出手段が抽出した音量を比較する比較手段と、
前記音声変換手段に供給すべき入力音声に対して前記比較手段による比較の結果に応じた歪みを与えて当該音声に高調波を付加する高調波付加手段と、
前記音声変換手段の出力音声の音量を抽出し、当該音量に基づいて前記出力音声を採点する採点手段と
を具備することを特徴とする音声変換装置。