JP4092782B2 - エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置 - Google Patents
エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置 Download PDFInfo
- Publication number
- JP4092782B2 JP4092782B2 JP19596998A JP19596998A JP4092782B2 JP 4092782 B2 JP4092782 B2 JP 4092782B2 JP 19596998 A JP19596998 A JP 19596998A JP 19596998 A JP19596998 A JP 19596998A JP 4092782 B2 JP4092782 B2 JP 4092782B2
- Authority
- JP
- Japan
- Prior art keywords
- effect
- parameter
- input
- imparting
- applying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置に係り、特にカラオケにおいて入力音声信号に効果を付与するエフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置に関する。
【０００２】
【従来の技術】
従来よりカラオケ装置においては、歌唱を盛り上げるため、あるいは、歌唱をうまく聴かせるために歌唱者の音声を異なる音声に変更したり（ボイスチェンジ機能）、あるいは、歌唱音声に対しハーモニーの音声を付加したりする（ハーモニー付加機能）が知られている。
これらの機能は、入力音声信号に対し、各種のフィルタリング処理、ピッチシフト処理などを施すことにより実現されていた。
【０００３】
【発明が解決しようとする課題】
上述したように上記従来のエフェクト処理は、ある特性を有する音声信号が入力されるということを想定してエフェクト処理パラメータを決定し、入力音声に対し、常に固定されたエフェクト処理パラメータに基づいてエフェクト処理を行っていたため、想定した特性と異なる特性を有する音声信号が入力された場合に、所望のエフェクト効果を得ることをできないという問題点があった。
【０００４】
例えば、ある入力音声に対して最適な効果を付与するように予め所定のフィルタリング処理及びピッチシフト処理を設定したとしても、他の入力音声に対しては、必ずしも最適な効果を付与することができるとは限らないという問題点があった。
そこで、本発明の目的は、不特定の歌唱者に対応する入力音声に基づいて所望の効果を付与した出力音声信号を容易に得ることが可能なエフェクト装置及びエフェクト処理方法並びにこれらに用いられる効果付与のためのパラメータを含むパラメータテーブル容易に得ることが可能なパラメータテーブル生成装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の構成は、入力音声信号に効果を付与して出力音声信号として出力するエフェクト装置であって、前記入力音声信号を分析し、前記入力音声信号の特徴を表す特徴パラメータを抽出する分析手段と、ユーザが所望する複数の相異なる効果に対応する効果付与パラメータがそれぞれ記述された複数の効果付与パラメータテーブルを記憶し、当該複数の効果付与パラメータテーブルのうち、前記分析手段によって抽出された特徴パラメータに対応する効果付与パラメータテーブルに記述された効果付与パラメータを選択して出力する効果付与パラメータ記憶手段と、前記効果付与パラメータテーブル記憶手段によって出力された前記効果付与パラメータに対応する効果を前記入力音声信号に付与し、前記出力音声信号として出力する効果付与手段と、を備えたことを特徴としている。
【０００８】
請求項２記載の構成は、入力音声信号に効果を付与して出力音声として出力するエフェクト処理方法であって、前記入力音声を分析し、前記入力音声の特徴を表す特徴パラメータを抽出する分析工程と、ユーザが所望する複数の相異なる効果に対応する効果付与パラメータがそれぞれ記述された複数の効果付与パラメータテーブルのうち、前記分析工程によって抽出された特徴パラメータに対応する効果付与パラメータテーブルに記述された効果付与パラメータを選択し、選択した前記効果付与パラメータに対応する効果を前記入力音声に付与し、前記出力音声として出力する効果付与工程と、を備えたことを特徴としている。
【０００９】
請求項３記載の構成は、請求項１記載のエフェクト装置において用いられる前記効果付与パラメータテーブルを生成するパラメータテーブル生成装置であって、基準入力音声信号を分析し、前記基準入力音声信号の特徴を表す基準特徴パラメータを抽出するパラメータ抽出分析手段と、前記基準特徴パラメータに対応する原効果付与パラメータを生成する原効果付与パラメータ生成手段と、前記基準入力音声信号に対し、前記原効果付与パラメータに対応する効果を付与し、効果付与基準音声信号として出力する効果処理実行手段と、予め理想的な効果を付与した理想効果付与音声信号と前記効果付与基準音声信号とを比較し、それらの差異が所定の基準差異未満となった場合に、当該効果付与基準音声信号に対応する前記原効果付与パラメータを前記効果付与パラメータテーブルを構成する効果付与パラメータとするパラメータ判別手段と、を備え、前記原効果付与パラメータ生成手段は、前記基準特徴パラメータを入力データとし、前記原効果付与パラメータを出力データとするｍ階層の階層型ニューラルネットワークモデルに基づいて前記原効果付与パラメータを生成する、ことを特徴としている。
【００１０】
【発明の実施の形態】
次に図面を参照して本発明の好適な実施形態について説明する。
［１］ カラオケ装置の要部概要構成
図１にカラオケ装置の要部概要構成ブロック図を示す。
カラオケ装置１０は、歌唱者用マイク１１を介して入力される入力音声信号ＳINを分析し、入力音声信号ＳINに対応する入力音声の特徴を表す特徴パラメータデータＤCP（ピッチ成分、ピッチ揺らぎ成分、正弦波成分の振幅等に相当）を抽出し、出力する分析ユニット１２と、特徴パラメータＤCPに対応する効果付与パラメータＤEPを記憶し、実際に入力された一つまたは複数の特徴パラメータＤCPに対応する効果付与パラメータＤEPを出力する効果付与パラメータテーブル１３と、効果付与パラメータテーブル１３から出力された効果付与パラメータＤEPに基づいて入力音声信号ＳINに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング入力音声信号ＳFINを出力する前処理フィルタ１４と、フィルタリング入力音声信号ＳFINに対し、効果付与パラメータＤEPに対応する効果を付与し効果付与音声信号ＳFFINとして出力するエフェクタ１５と、カラオケ演奏に用いられる楽曲データに基づいて楽曲信号ＳKを生成し、出力する音源装置１６と、効果付与音声信号ＳFFIN及び楽曲信号ＳKを混合して混合信号ＳMとして出力するミキサ１７と、混合信号ＳMを増幅して増幅混合信号ＳAMとして出力するアンプ１８と、増幅混合信号ＳAMを音響信号に変換して出力するスピーカ１９と、を備えて構成されている。
【００１１】
［２］ パラメータテーブル生成装置
ここで、カラオケ装置の動作説明に先立ち、効果付与パラメータを生成し、生成した効果付与パラメータに基づいて異なる効果毎のパラメータテーブルを生成するパラメータテーブル生成装置について説明する。以下の説明においては、パラメータテーブル生成装置は、カラオケ装置１０において、歌唱者の入力音声（入力音声信号ＳINに相当）として想定される様々な入力音声に対応する複数の入力音声を入力基準音声信号ＳINREFとして用いるものとする。
【００１２】
［２．１］ パラメータテーブル生成装置の構成
図２にパラメータテーブル生成装置の概要構成ブロック図を示す。
パラメータテーブル生成装置３０は、歌唱者用マイク３１を介して入力される特定の歌手の入力音声信号である入力基準音声信号ＳINREFを分析し、入力基準音声信号ＳINREFに対応する入力音声の特徴を表す特徴パラメータデータＤCPを抽出し、出力する分析ユニット３２と、特徴パラメータＤCPに対応する原効果付与パラメータＤEP0をｍ階層のニューラルネットワークモデルに基づいて生成する原パラメータ生成ユニット３３と、前処理フィルタ１４と同一の機能を有し、原パラメータ生成ユニット３３から出力された原効果付与パラメータＤEP0に基づいて入力基準音声信号ＳINREFに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング基準入力音声信号ＳFIRを出力する前処理フィルタ３４と、フィルタリング基準入力音声信号ＳFIRに対し、原効果付与パラメータＤEP0に対応する効果（フィルタリング、ディレイ、ピッチシフト、ディストーション、リバーブ、エコーなど）を付与し効果付与基準音声信号ＳFFRとして出力するエフェクタ３５と、効果付与基準音声信号ＳFFRと後述する理想効果付与出力信号ＳEIRを比較し、効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとの近似の度合いを比較結果信号ＳREとして原パラメータ生成ユニット３３にフィードバックするとともに、比較結果信号ＳREを後述のメモリコントローラ３７に出力する比較ユニット３６と、比較結果信号ＳREに基づいて効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとの近似の度合いが所定の近似の度合いを超えた場合、すなわち、許容できるほどに近似している場合に、対応する原効果付与パラメータＤEP0を効果付与パラメータＤEPとしてパラメータテーブル３８に記憶させるメモリコントローラ３７と、各種フィルタあるいはエフェクタを内蔵し、ユーザが望む理想的な効果を入力基準音声信号ＳINREFに対して付与し、理想効果付与出力信号ＳEIRとして比較ユニット３６に出力する理想効果付与ユニット３９と、を備えて構成されている。
【００１３】
この場合において、理想効果付与ユニット３９は、実際のパラメータ生成に先立って、予めユーザにより所望の効果を付与するように調整が行われているものとする。この観点からは、入力基準音声信号ＳINREFの入力は、歌唱者用マイク３１からリアルタイムで入力したものに限らず、録音したものを用いるように構成するのがより好ましい。
【００１４】
［２．２］ パラメータテーブル生成装置の動作
次にパラメータテーブル生成装置の動作について説明する。
パラメータテーブル生成装置３０び分析ユニット３２は、歌唱者用マイク３１を介して入力される特定の歌手の入力音声信号である入力基準音声信号ＳINREFを分析し、入力基準音声信号ＳINREFに対応する入力音声の特徴を表す特徴パラメータデータＤCPを抽出し、原パラメータ生成ユニット３３に出力する。この場合において、抽出される特徴パラメータデータＤCPは、分析ユニット１２で抽出される特徴パラメータデータＤCPと全く同一のものである。
これにより原パラメータ生成ユニット３３は、特徴パラメータＤCP及び比較結果信号ＳREに基づいて特徴パラメータＤCPに対応する原効果付与パラメータＤEP0を順次生成し、前処理フィルタ３４，エフェクタ３５及びメモリコントローラ３７に出力する。
【００１５】
また、前処理フィルタ３４は、原パラメータ生成ユニット３３から出力された原効果付与パラメータＤEP0に基づいて入力基準音声信号ＳINREFに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング基準入力音声信号ＳFIRをエフェクタ３５に出力する。
エフェクタ３５は、フィルタリング基準入力音声信号ＳFIRに対し、原効果付与パラメータＤEP0に対応する効果を付与し効果付与基準音声信号ＳFFRとして比較ユニット３６に出力する。
一方、理想効果付与ユニット３９は、ユーザが望む理想的な効果を入力基準音声信号ＳINREFに対して付与し、理想効果付与出力信号ＳEIRとして比較ユニット３６に出力する。
【００１６】
これらにより、比較ユニット３６は、効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRを比較し、効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとの近似の度合いを比較結果信号ＳREとして原パラメータ生成ユニット３３にフィードバックするとともに、比較結果信号ＳREを後述のメモリコントローラ３７に出力する。
この結果、原パラメータ生成ユニット３３は、特徴パラメータＤCPに対応する原効果付与パラメータＤEP0を順次生成し、徐々にパラメータテーブル３８に記憶させるべき効果付与パラメータＤEPに近い原効果付与パラメータＤEP0を生成することとなる。
【００１７】
そして、メモリコントローラ３７は、比較結果信号ＳREに基づいて効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとが許容できるほどに近似している場合に、対応する原効果付与パラメータＤEP0を効果付与パラメータＤEPとしてパラメータテーブル３８に記憶させることとなる。
すなわち、パラメータテーブル３８に記憶される効果付与パラメータＤEPは、カラオケ装置１０において、抽出した一つまたは複数の特徴パラメータデータＤCPに対応する効果付与パラメータＤEPに基づいて入力音声信号ＳINに対し、前処理フィルタ１４により効果付与の前処理であるフィルタリング処理を行い、エフェクタ１５により効果を付与することによって、理想効果付与出力信号ＳEIRに対応する出力音声信号であるユーザの所望の効果が付与された出力音声を得ることが可能となるのである。
【００１８】
このようにして、最終的には、パラメータテーブル３８には複数の効果に対応する複数のパラメータテーブルに対応する複数組の効果付与パラメータＤEPが記憶され、このパラメータテーブル３８に記憶された効果付与パラメータＤEPは、各組単位でカラオケ装置１０の効果付与パラメータテーブル１３にコピーされて用いられることとなる。
【００１９】
［３］ カラオケ装置の動作
カラオケ装置１０の分析ユニット１２は、歌唱者用マイク１１を介して入力される入力音声信号ＳINを分析し、入力音声信号ＳINに対応する入力音声の特徴を表す特徴パラメータデータＤCPを抽出し、効果付与パラメータテーブル１３に出力する。
これにより効果付与パラメータテーブル１３は、実際に入力された一つまたは複数の特徴パラメータＤCPに対応する１組あるいは複数組の効果付与パラメータＤEPを前処理フィルタ１４及びエフェクタ１５に出力する。
前処理フィルタ１４は、効果付与パラメータテーブル１３から出力された効果付与パラメータＤEPに基づいて入力音声信号ＳINに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング入力音声信号ＳFINをエフェクタ１５に出力する。
【００２０】
これらによりエフェクタ１５は、効果付与パラメータＤEPに基づいてフィルタリング入力音声信号ＳFINに対し効果を付与し、効果付与音声信号ＳFFINとしてミキサ１７に出力する。この場合において、効果付与音声信号ＳFFINは、近似させようとする特定の歌手の声質に近い音声信号になっている。
一方、音源装置１６は、カラオケ演奏に用いられる楽曲データに基づいて楽曲信号ＳKを生成し、ミキサ１７に出力する。
ミキサ１７は、効果付与音声信号ＳFFIN及び楽曲信号ＳKを混合して混合信号ＳMとしてアンプ１８に出力し、アンプ１８は、混合信号ＳMを増幅して増幅混合信号ＳAMとしてスピーカ１９に出力する。
これらの結果、スピーカ１９は、増幅混合信号ＳAMを音響信号に変換して出力することとなり、スピーカ１９からは、予め設定した所望の効果が付与された音声と、カラオケ伴奏と、が出力されることとなる。
【００２１】
［４］ 実施形態の効果
このように、本実施形態によれば、予め理想的な効果を入力音声に対して付与するための効果付与パラメータをテーブルとして記憶させておくだけで、リアルタイムに処理を行って入力音声に最適な効果を付与することが可能となり、カラオケ装置などにおける応用範囲を広げることができる。
また、予め理想的な効果付与のための特徴パラメータさえ抽出できれば、常に同様の効果を付与することができる。
従って、手軽に所望の効果を付与することができ、歌唱者が望む心地よい効果を確実に付与することができ、歌唱者に喜びを与えることができる。
【００２２】
［５］ 実施形態の変形例
以上の説明においては、歌唱者が付与しようとする特定の効果に対応する効果付与パラメータが１種類の場合について説明しているが、図３に示すように、効果付与パラメータテーブル１３に代えて、複数のターゲット歌唱者に対応する複数の効果付与パラメータテーブル１３-1〜１３-nと、セレクタ４１を設けておき、同様の効果付与（例えば、エコー付加等）に対し、入力された特徴パラメータデータＤCPに基づいて出力される複数の効果付与パラメータＤEP1〜ＤEPnのうちから、セレクト信号ＳSEL（ユーザが入力）に基づいていずれか一の効果付与パラメータＤEPx（ｘ：１〜ｎ）をセレクタ４１から選択的に前処理フィルタ１４及びエフェクタ１５に出力させるように構成することも可能である。
【００２３】
【発明の効果】
本発明によれば、入力音声信号を分析することにより抽出した特徴パラメータに基づいて、予め記憶した効果付与パラメータにより入力音声信号に対し効果を付与することにより、歌唱者の望む所望の効果が付与された出力音声信号として出力することができるので、異なる入力音声に対し、所望の効果を確実に付与することができる。
【図面の簡単な説明】
【図１】 カラオケ装置の概要構成ブロック図である。
【図２】 パラメータテーブル生成装置の概要構成ブロック図である。
【図３】 実施形態の変形例の説明図である。
【符号の説明】
１０…カラオケ装置、１１…歌唱者用マイク、１２…分析ユニット、１３、１３-1〜１３-n…効果付与パラメータテーブル、１４…前処理フィルタ、１５…エフェクタ、１６…音源装置、１７…ミキサ、１８…アンプ、１９…スピーカ、３０…パラメータテーブル生成装置、３１…歌唱者用マイク、３２…分析ユニット、３３…原パラメータ生成ユニット、３４…前処理フィルタ、３５…エフェクタ、３６…比較ユニット、３７…メモリコントローラ、３８…パラメータテーブル、３９…理想効果付与ユニット、ＤCP…特徴パラメータデータ、ＤEP0…原効果付与パラメータ、ＳAM…増幅混合信号、ＳFFIN…効果付与音声信号、ＳFFR…効果付与基準音声信号、ＳFIN…フィルタリング入力音声信号、ＳFIR…フィルタリング基準入力音声信号、ＳIN…入力音声信号、ＳINREF…入力基準音声信号、ＳK…楽曲信号、ＳM…混合信号、ＳRE…比較結果信号
【発明の属する技術分野】
本発明は、エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置に係り、特にカラオケにおいて入力音声信号に効果を付与するエフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置に関する。
【０００２】
【従来の技術】
従来よりカラオケ装置においては、歌唱を盛り上げるため、あるいは、歌唱をうまく聴かせるために歌唱者の音声を異なる音声に変更したり（ボイスチェンジ機能）、あるいは、歌唱音声に対しハーモニーの音声を付加したりする（ハーモニー付加機能）が知られている。
これらの機能は、入力音声信号に対し、各種のフィルタリング処理、ピッチシフト処理などを施すことにより実現されていた。
【０００３】
【発明が解決しようとする課題】
上述したように上記従来のエフェクト処理は、ある特性を有する音声信号が入力されるということを想定してエフェクト処理パラメータを決定し、入力音声に対し、常に固定されたエフェクト処理パラメータに基づいてエフェクト処理を行っていたため、想定した特性と異なる特性を有する音声信号が入力された場合に、所望のエフェクト効果を得ることをできないという問題点があった。
【０００４】
例えば、ある入力音声に対して最適な効果を付与するように予め所定のフィルタリング処理及びピッチシフト処理を設定したとしても、他の入力音声に対しては、必ずしも最適な効果を付与することができるとは限らないという問題点があった。
そこで、本発明の目的は、不特定の歌唱者に対応する入力音声に基づいて所望の効果を付与した出力音声信号を容易に得ることが可能なエフェクト装置及びエフェクト処理方法並びにこれらに用いられる効果付与のためのパラメータを含むパラメータテーブル容易に得ることが可能なパラメータテーブル生成装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の構成は、入力音声信号に効果を付与して出力音声信号として出力するエフェクト装置であって、前記入力音声信号を分析し、前記入力音声信号の特徴を表す特徴パラメータを抽出する分析手段と、ユーザが所望する複数の相異なる効果に対応する効果付与パラメータがそれぞれ記述された複数の効果付与パラメータテーブルを記憶し、当該複数の効果付与パラメータテーブルのうち、前記分析手段によって抽出された特徴パラメータに対応する効果付与パラメータテーブルに記述された効果付与パラメータを選択して出力する効果付与パラメータ記憶手段と、前記効果付与パラメータテーブル記憶手段によって出力された前記効果付与パラメータに対応する効果を前記入力音声信号に付与し、前記出力音声信号として出力する効果付与手段と、を備えたことを特徴としている。
【０００８】
請求項２記載の構成は、入力音声信号に効果を付与して出力音声として出力するエフェクト処理方法であって、前記入力音声を分析し、前記入力音声の特徴を表す特徴パラメータを抽出する分析工程と、ユーザが所望する複数の相異なる効果に対応する効果付与パラメータがそれぞれ記述された複数の効果付与パラメータテーブルのうち、前記分析工程によって抽出された特徴パラメータに対応する効果付与パラメータテーブルに記述された効果付与パラメータを選択し、選択した前記効果付与パラメータに対応する効果を前記入力音声に付与し、前記出力音声として出力する効果付与工程と、を備えたことを特徴としている。
【０００９】
請求項３記載の構成は、請求項１記載のエフェクト装置において用いられる前記効果付与パラメータテーブルを生成するパラメータテーブル生成装置であって、基準入力音声信号を分析し、前記基準入力音声信号の特徴を表す基準特徴パラメータを抽出するパラメータ抽出分析手段と、前記基準特徴パラメータに対応する原効果付与パラメータを生成する原効果付与パラメータ生成手段と、前記基準入力音声信号に対し、前記原効果付与パラメータに対応する効果を付与し、効果付与基準音声信号として出力する効果処理実行手段と、予め理想的な効果を付与した理想効果付与音声信号と前記効果付与基準音声信号とを比較し、それらの差異が所定の基準差異未満となった場合に、当該効果付与基準音声信号に対応する前記原効果付与パラメータを前記効果付与パラメータテーブルを構成する効果付与パラメータとするパラメータ判別手段と、を備え、前記原効果付与パラメータ生成手段は、前記基準特徴パラメータを入力データとし、前記原効果付与パラメータを出力データとするｍ階層の階層型ニューラルネットワークモデルに基づいて前記原効果付与パラメータを生成する、ことを特徴としている。
【００１０】
【発明の実施の形態】
次に図面を参照して本発明の好適な実施形態について説明する。
［１］ カラオケ装置の要部概要構成
図１にカラオケ装置の要部概要構成ブロック図を示す。
カラオケ装置１０は、歌唱者用マイク１１を介して入力される入力音声信号ＳINを分析し、入力音声信号ＳINに対応する入力音声の特徴を表す特徴パラメータデータＤCP（ピッチ成分、ピッチ揺らぎ成分、正弦波成分の振幅等に相当）を抽出し、出力する分析ユニット１２と、特徴パラメータＤCPに対応する効果付与パラメータＤEPを記憶し、実際に入力された一つまたは複数の特徴パラメータＤCPに対応する効果付与パラメータＤEPを出力する効果付与パラメータテーブル１３と、効果付与パラメータテーブル１３から出力された効果付与パラメータＤEPに基づいて入力音声信号ＳINに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング入力音声信号ＳFINを出力する前処理フィルタ１４と、フィルタリング入力音声信号ＳFINに対し、効果付与パラメータＤEPに対応する効果を付与し効果付与音声信号ＳFFINとして出力するエフェクタ１５と、カラオケ演奏に用いられる楽曲データに基づいて楽曲信号ＳKを生成し、出力する音源装置１６と、効果付与音声信号ＳFFIN及び楽曲信号ＳKを混合して混合信号ＳMとして出力するミキサ１７と、混合信号ＳMを増幅して増幅混合信号ＳAMとして出力するアンプ１８と、増幅混合信号ＳAMを音響信号に変換して出力するスピーカ１９と、を備えて構成されている。
【００１１】
［２］ パラメータテーブル生成装置
ここで、カラオケ装置の動作説明に先立ち、効果付与パラメータを生成し、生成した効果付与パラメータに基づいて異なる効果毎のパラメータテーブルを生成するパラメータテーブル生成装置について説明する。以下の説明においては、パラメータテーブル生成装置は、カラオケ装置１０において、歌唱者の入力音声（入力音声信号ＳINに相当）として想定される様々な入力音声に対応する複数の入力音声を入力基準音声信号ＳINREFとして用いるものとする。
【００１２】
［２．１］ パラメータテーブル生成装置の構成
図２にパラメータテーブル生成装置の概要構成ブロック図を示す。
パラメータテーブル生成装置３０は、歌唱者用マイク３１を介して入力される特定の歌手の入力音声信号である入力基準音声信号ＳINREFを分析し、入力基準音声信号ＳINREFに対応する入力音声の特徴を表す特徴パラメータデータＤCPを抽出し、出力する分析ユニット３２と、特徴パラメータＤCPに対応する原効果付与パラメータＤEP0をｍ階層のニューラルネットワークモデルに基づいて生成する原パラメータ生成ユニット３３と、前処理フィルタ１４と同一の機能を有し、原パラメータ生成ユニット３３から出力された原効果付与パラメータＤEP0に基づいて入力基準音声信号ＳINREFに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング基準入力音声信号ＳFIRを出力する前処理フィルタ３４と、フィルタリング基準入力音声信号ＳFIRに対し、原効果付与パラメータＤEP0に対応する効果（フィルタリング、ディレイ、ピッチシフト、ディストーション、リバーブ、エコーなど）を付与し効果付与基準音声信号ＳFFRとして出力するエフェクタ３５と、効果付与基準音声信号ＳFFRと後述する理想効果付与出力信号ＳEIRを比較し、効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとの近似の度合いを比較結果信号ＳREとして原パラメータ生成ユニット３３にフィードバックするとともに、比較結果信号ＳREを後述のメモリコントローラ３７に出力する比較ユニット３６と、比較結果信号ＳREに基づいて効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとの近似の度合いが所定の近似の度合いを超えた場合、すなわち、許容できるほどに近似している場合に、対応する原効果付与パラメータＤEP0を効果付与パラメータＤEPとしてパラメータテーブル３８に記憶させるメモリコントローラ３７と、各種フィルタあるいはエフェクタを内蔵し、ユーザが望む理想的な効果を入力基準音声信号ＳINREFに対して付与し、理想効果付与出力信号ＳEIRとして比較ユニット３６に出力する理想効果付与ユニット３９と、を備えて構成されている。
【００１３】
この場合において、理想効果付与ユニット３９は、実際のパラメータ生成に先立って、予めユーザにより所望の効果を付与するように調整が行われているものとする。この観点からは、入力基準音声信号ＳINREFの入力は、歌唱者用マイク３１からリアルタイムで入力したものに限らず、録音したものを用いるように構成するのがより好ましい。
【００１４】
［２．２］ パラメータテーブル生成装置の動作
次にパラメータテーブル生成装置の動作について説明する。
パラメータテーブル生成装置３０び分析ユニット３２は、歌唱者用マイク３１を介して入力される特定の歌手の入力音声信号である入力基準音声信号ＳINREFを分析し、入力基準音声信号ＳINREFに対応する入力音声の特徴を表す特徴パラメータデータＤCPを抽出し、原パラメータ生成ユニット３３に出力する。この場合において、抽出される特徴パラメータデータＤCPは、分析ユニット１２で抽出される特徴パラメータデータＤCPと全く同一のものである。
これにより原パラメータ生成ユニット３３は、特徴パラメータＤCP及び比較結果信号ＳREに基づいて特徴パラメータＤCPに対応する原効果付与パラメータＤEP0を順次生成し、前処理フィルタ３４，エフェクタ３５及びメモリコントローラ３７に出力する。
【００１５】
また、前処理フィルタ３４は、原パラメータ生成ユニット３３から出力された原効果付与パラメータＤEP0に基づいて入力基準音声信号ＳINREFに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング基準入力音声信号ＳFIRをエフェクタ３５に出力する。
エフェクタ３５は、フィルタリング基準入力音声信号ＳFIRに対し、原効果付与パラメータＤEP0に対応する効果を付与し効果付与基準音声信号ＳFFRとして比較ユニット３６に出力する。
一方、理想効果付与ユニット３９は、ユーザが望む理想的な効果を入力基準音声信号ＳINREFに対して付与し、理想効果付与出力信号ＳEIRとして比較ユニット３６に出力する。
【００１６】
これらにより、比較ユニット３６は、効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRを比較し、効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとの近似の度合いを比較結果信号ＳREとして原パラメータ生成ユニット３３にフィードバックするとともに、比較結果信号ＳREを後述のメモリコントローラ３７に出力する。
この結果、原パラメータ生成ユニット３３は、特徴パラメータＤCPに対応する原効果付与パラメータＤEP0を順次生成し、徐々にパラメータテーブル３８に記憶させるべき効果付与パラメータＤEPに近い原効果付与パラメータＤEP0を生成することとなる。
【００１７】
そして、メモリコントローラ３７は、比較結果信号ＳREに基づいて効果付与基準音声信号ＳFFRと理想効果付与出力信号ＳEIRとが許容できるほどに近似している場合に、対応する原効果付与パラメータＤEP0を効果付与パラメータＤEPとしてパラメータテーブル３８に記憶させることとなる。
すなわち、パラメータテーブル３８に記憶される効果付与パラメータＤEPは、カラオケ装置１０において、抽出した一つまたは複数の特徴パラメータデータＤCPに対応する効果付与パラメータＤEPに基づいて入力音声信号ＳINに対し、前処理フィルタ１４により効果付与の前処理であるフィルタリング処理を行い、エフェクタ１５により効果を付与することによって、理想効果付与出力信号ＳEIRに対応する出力音声信号であるユーザの所望の効果が付与された出力音声を得ることが可能となるのである。
【００１８】
このようにして、最終的には、パラメータテーブル３８には複数の効果に対応する複数のパラメータテーブルに対応する複数組の効果付与パラメータＤEPが記憶され、このパラメータテーブル３８に記憶された効果付与パラメータＤEPは、各組単位でカラオケ装置１０の効果付与パラメータテーブル１３にコピーされて用いられることとなる。
【００１９】
［３］ カラオケ装置の動作
カラオケ装置１０の分析ユニット１２は、歌唱者用マイク１１を介して入力される入力音声信号ＳINを分析し、入力音声信号ＳINに対応する入力音声の特徴を表す特徴パラメータデータＤCPを抽出し、効果付与パラメータテーブル１３に出力する。
これにより効果付与パラメータテーブル１３は、実際に入力された一つまたは複数の特徴パラメータＤCPに対応する１組あるいは複数組の効果付与パラメータＤEPを前処理フィルタ１４及びエフェクタ１５に出力する。
前処理フィルタ１４は、効果付与パラメータテーブル１３から出力された効果付与パラメータＤEPに基づいて入力音声信号ＳINに対し、効果付与の前処理であるフィルタリング処理を行い、フィルタリング入力音声信号ＳFINをエフェクタ１５に出力する。
【００２０】
これらによりエフェクタ１５は、効果付与パラメータＤEPに基づいてフィルタリング入力音声信号ＳFINに対し効果を付与し、効果付与音声信号ＳFFINとしてミキサ１７に出力する。この場合において、効果付与音声信号ＳFFINは、近似させようとする特定の歌手の声質に近い音声信号になっている。
一方、音源装置１６は、カラオケ演奏に用いられる楽曲データに基づいて楽曲信号ＳKを生成し、ミキサ１７に出力する。
ミキサ１７は、効果付与音声信号ＳFFIN及び楽曲信号ＳKを混合して混合信号ＳMとしてアンプ１８に出力し、アンプ１８は、混合信号ＳMを増幅して増幅混合信号ＳAMとしてスピーカ１９に出力する。
これらの結果、スピーカ１９は、増幅混合信号ＳAMを音響信号に変換して出力することとなり、スピーカ１９からは、予め設定した所望の効果が付与された音声と、カラオケ伴奏と、が出力されることとなる。
【００２１】
［４］ 実施形態の効果
このように、本実施形態によれば、予め理想的な効果を入力音声に対して付与するための効果付与パラメータをテーブルとして記憶させておくだけで、リアルタイムに処理を行って入力音声に最適な効果を付与することが可能となり、カラオケ装置などにおける応用範囲を広げることができる。
また、予め理想的な効果付与のための特徴パラメータさえ抽出できれば、常に同様の効果を付与することができる。
従って、手軽に所望の効果を付与することができ、歌唱者が望む心地よい効果を確実に付与することができ、歌唱者に喜びを与えることができる。
【００２２】
［５］ 実施形態の変形例
以上の説明においては、歌唱者が付与しようとする特定の効果に対応する効果付与パラメータが１種類の場合について説明しているが、図３に示すように、効果付与パラメータテーブル１３に代えて、複数のターゲット歌唱者に対応する複数の効果付与パラメータテーブル１３-1〜１３-nと、セレクタ４１を設けておき、同様の効果付与（例えば、エコー付加等）に対し、入力された特徴パラメータデータＤCPに基づいて出力される複数の効果付与パラメータＤEP1〜ＤEPnのうちから、セレクト信号ＳSEL（ユーザが入力）に基づいていずれか一の効果付与パラメータＤEPx（ｘ：１〜ｎ）をセレクタ４１から選択的に前処理フィルタ１４及びエフェクタ１５に出力させるように構成することも可能である。
【００２３】
【発明の効果】
本発明によれば、入力音声信号を分析することにより抽出した特徴パラメータに基づいて、予め記憶した効果付与パラメータにより入力音声信号に対し効果を付与することにより、歌唱者の望む所望の効果が付与された出力音声信号として出力することができるので、異なる入力音声に対し、所望の効果を確実に付与することができる。
【図面の簡単な説明】
【図１】 カラオケ装置の概要構成ブロック図である。
【図２】 パラメータテーブル生成装置の概要構成ブロック図である。
【図３】 実施形態の変形例の説明図である。
【符号の説明】
１０…カラオケ装置、１１…歌唱者用マイク、１２…分析ユニット、１３、１３-1〜１３-n…効果付与パラメータテーブル、１４…前処理フィルタ、１５…エフェクタ、１６…音源装置、１７…ミキサ、１８…アンプ、１９…スピーカ、３０…パラメータテーブル生成装置、３１…歌唱者用マイク、３２…分析ユニット、３３…原パラメータ生成ユニット、３４…前処理フィルタ、３５…エフェクタ、３６…比較ユニット、３７…メモリコントローラ、３８…パラメータテーブル、３９…理想効果付与ユニット、ＤCP…特徴パラメータデータ、ＤEP0…原効果付与パラメータ、ＳAM…増幅混合信号、ＳFFIN…効果付与音声信号、ＳFFR…効果付与基準音声信号、ＳFIN…フィルタリング入力音声信号、ＳFIR…フィルタリング基準入力音声信号、ＳIN…入力音声信号、ＳINREF…入力基準音声信号、ＳK…楽曲信号、ＳM…混合信号、ＳRE…比較結果信号
Claims (3)
- 入力音声信号に効果を付与して出力音声信号として出力するエフェクト装置であって、
前記入力音声信号を分析し、前記入力音声信号の特徴を表す特徴パラメータを抽出する分析手段と、
ユーザが所望する複数の相異なる効果に対応する効果付与パラメータがそれぞれ記述された複数の効果付与パラメータテーブルを記憶し、当該複数の効果付与パラメータテーブルのうち、前記分析手段によって抽出された特徴パラメータに対応する効果付与パラメータテーブルに記述された効果付与パラメータを選択して出力する効果付与パラメータ記憶手段と、
前記効果付与パラメータテーブル記憶手段によって出力された前記効果付与パラメータに対応する効果を前記入力音声信号に付与し、前記出力音声信号として出力する効果付与手段と、
を備えたことを特徴とするエフェクト装置。 - 入力音声信号に効果を付与して出力音声として出力するエフェクト処理方法であって、
前記入力音声を分析し、前記入力音声の特徴を表す特徴パラメータを抽出する分析工程と、
ユーザが所望する複数の相異なる効果に対応する効果付与パラメータがそれぞれ記述された複数の効果付与パラメータテーブルのうち、前記分析工程によって抽出された特徴パラメータに対応する効果付与パラメータテーブルに記述された効果付与パラメータを選択し、選択した前記効果付与パラメータに対応する効果を前記入力音声に付与し、前記出力音声として出力する効果付与工程と、
を備えたことを特徴とするエフェクト処理方法。 - 請求項１記載のエフェクト装置において用いられる前記効果付与パラメータテーブルを生成するパラメータテーブル生成装置であって、
基準入力音声信号を分析し、前記基準入力音声信号の特徴を表す基準特徴パラメータを抽出するパラメータ抽出分析手段と、
前記基準特徴パラメータに対応する原効果付与パラメータを生成する原効果付与パラメータ生成手段と、
前記基準入力音声信号に対し、前記原効果付与パラメータに対応する効果を付与し、効果付与基準音声信号として出力する効果処理実行手段と、
予め理想的な効果を付与した理想効果付与音声信号と前記効果付与基準音声信号とを比較し、それらの差異が所定の基準差異未満となった場合に、当該効果付与基準音声信号に対応する前記原効果付与パラメータを前記効果付与パラメータテーブルを構成する効果付与パラメータとするパラメータ判別手段と、を備え、
前記原効果付与パラメータ生成手段は、前記基準特徴パラメータを入力データとし、前記原効果付与パラメータを出力データとするｍ階層の階層型ニューラルネットワークモデルに基づいて前記原効果付与パラメータを生成する、
ことを特徴とするパラメータテーブル生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19596998A JP4092782B2 (ja) | 1998-07-10 | 1998-07-10 | エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19596998A JP4092782B2 (ja) | 1998-07-10 | 1998-07-10 | エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000029476A JP2000029476A (ja) | 2000-01-28 |
| JP4092782B2 true JP4092782B2 (ja) | 2008-05-28 |
Family
ID=16350015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19596998A Expired - Fee Related JP4092782B2 (ja) | 1998-07-10 | 1998-07-10 | エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4092782B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6804502B2 (en) | 2001-10-10 | 2004-10-12 | Peregrine Semiconductor Corporation | Switch circuit and method of switching radio frequency signals |
| JP5292702B2 (ja) * | 2007-02-13 | 2013-09-18 | ヤマハ株式会社 | 楽音信号生成装置及びカラオケ装置 |
| CN114556465A (zh) * | 2019-10-17 | 2022-05-27 | 雅马哈株式会社 | 演奏解析方法、演奏解析装置以及程序 |
| EP4123637A1 (en) | 2020-03-17 | 2023-01-25 | Yamaha Corporation | Parameter inferring method, parameter inferring system, and parameter inferring program |
-
1998
- 1998-07-10 JP JP19596998A patent/JP4092782B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000029476A (ja) | 2000-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11094307B2 (en) | Electronic musical instrument and method of causing electronic musical instrument to perform processing | |
| KR20120126446A (ko) | 입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치 | |
| US20070137466A1 (en) | Sound synthesis by combining a slowly varying underlying spectrum, pitch and loudness with quicker varying spectral, pitch and loudness fluctuations | |
| US5686683A (en) | Inverse transform narrow band/broad band sound synthesis | |
| JP4702392B2 (ja) | 共鳴音発生装置および電子楽器 | |
| JP4092782B2 (ja) | エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置 | |
| Gentilucci et al. | Composing vocal distortion: A tool for real-time generation of roughness | |
| JPH04174696A (ja) | 演奏環境に対応する電子楽器 | |
| JP4455701B2 (ja) | 音声信号処理装置および音声信号処理方法 | |
| JP4757971B2 (ja) | ハーモニー音付加装置 | |
| Settel et al. | Realtime musical applications using FFT based resynthesis | |
| Caetano et al. | Independent manipulation of high-level spectral envelope shape features for sound morphing by means of evolutionary computation | |
| JP4218624B2 (ja) | 楽音データ生成方法及び装置 | |
| Gentilucci et al. | Vocal distortion and real-time processing of roughness | |
| US6127617A (en) | Effector differently controlling harmonics and noises to improve sound field effect | |
| Reuter | Pop Materialising: Layers and topological space in digital pop music | |
| JPH08234759A (ja) | 楽音信号発生装置 | |
| JP3414150B2 (ja) | コーラス効果付与装置 | |
| JPH0527771A (ja) | 電子楽器 | |
| KR20030090526A (ko) | 악음 신호 생성 장치 | |
| JPH052390A (ja) | 楽音変調装置および楽音変調装置を用いた電子楽器 | |
| US20230215407A1 (en) | Electronic musical instrument, method of generating musical sound, and computer-readable storage medium | |
| Musick | Examining the analysis of dynamical sonic ecosystems: in light of a criterion for evaluating theories | |
| JP3538908B2 (ja) | 電子楽器 | |
| JP3130305B2 (ja) | 音声合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070717 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |