JP6798392B2 - 効果付与装置及び効果付与プログラム - Google Patents

Description

本発明は、音声情報に対してボイスチェンジ、コーラス、ディレイ、リバーブ等、各種効果を付与することを可能とする効果付与装置、並びに、効果付与プログラムに関する。

カラオケ装置等では、マイクロホンから入力された音声情報に対して、コーラス、ディレイ、リバーブといった効果を付与することで拡声される音声を聴覚上、より良好なものとすることが行われている。通常、このような処理は、電子楽器のエフェクト処理と同様、デジタル化された音声情報に対し、周波数変換を行う、あるいは、遅延素子で遅延させる等して行われている。

近年、音響の分野では、高いサンプリングレートによる音の高解像度化（ハイレゾ化）が求められている。カラオケ装置においても、ハイレゾ化を行うことで拡声する音声の品質向上を図り、ユーザーが気持ちよく歌えることが期待できる。しかしながら、サンプリングレートを高くすることは、効果付与処理を実行するＤＳＰに対しても高い負荷がかかることが予想される。ハイレゾ化を図るとともに、映像出力など、カラオケ装置における従来の機能を維持する場合、処理落ち、音欠け等が発生することが考えられる。

特許文献１には、音像制御を行う音響再生システムにおいて、帯域分割を行い、それぞれの帯域毎に音像制御のための信号処理を行い、信号処理を行った音声信号を合成することが開示されている。このような音響再生システムによれば、音像制御のための処理量を軽減し、しかも十分に効果的な音像制御を行うことが可能となる。

特開平１０−４２４００号公報

特許文献１には、高いサンプリングレートを使用した高解像度化について、何ら記載は無く、それに伴う負荷の増大についても記載されていない。本発明の目的は、上述するような高いサンプリングレートを使用する効果付与装置において、高解像度の音による高音質化と、高音質化に伴う負荷を抑制の両立を図ることを１つの目的とする。

そのため、本発明に係る効果付与装置は以下の構成を採用するものである。
音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換するＡＤ変換部と、入力されるデジタル音声情報のサンプリングレートを変更するサンプリングレートコンバータと、サンプリングレートの変更されたデジタル音声情報に対し、効果生成指示で指定された効果を付与して出力する効果付与部と、指定された効果生成指示を前記効果付与部に送信する際、前記効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、前記サンプリングレートコンバータのサンプリングレートを変更する制御部と、を備え、前記効果付与部は、周波数帯域毎に設けられ、前記制御部は、対応する周波数帯域に応じて、前記効果付与部に入力されるデジタル音声情報のサンプリングレートを変更することを特徴とする。
また本発明に係る効果付装置は、音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換するＡＤ変換部と、入力されるデジタル音声情報のサンプリングレートを変更するサンプリングレートコンバータと、サンプリングレートの変更されたデジタル音声情報に対し、効果生成指示で指定された効果を付与して出力する効果付与部と、指定された効果生成指示を前記効果付与部に送信する際、前記効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、前記サンプリングレートコンバータのサンプリングレートを変更する制御部と、デジタル音声情報のハウリングを抑制するハウリング抑制部を備え、前記制御部は、前記ハウリング抑制部を使用する場合のサンプリングレートに比べて、前記ハウリング抑制部を使用しない場合のサンプリングレートを高く設定することを特徴とする。
また本発明に係る効果付装置は、音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換するＡＤ変換部と、入力されるデジタル音声情報のサンプリングレートを変更するサンプリングレートコンバータと、サンプリングレートの変更されたデジタル音声情報に対し、効果生成指示で指定された効果を付与して出力する効果付与部と、指定された効果生成指示を前記効果付与部に送信する際、前記効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、前記サンプリングレートコンバータのサンプリングレートを変更する制御部と、を備え、前記効果付与部は、入力されたデジタル音声情報の音程を変更するボイスチェンジ機能を備え、前記制御部は、ボイスチェンジ機能を使用する際、音程を低く設定する場合のサンプリングレートに比べて、音程を高く設定する場合のサンプリングレートを高く設定することを特徴とする。

さらに本発明に係る効果付与装置において、前記制御部は、複数の効果を同時に作用させる場合、１の効果を作用させる場合と比較してサンプリングレートを低く設定することを特徴とする。

さらに本発明に係る効果付与装置は、効果が付与されないデジタル音声情報を出力するデジタルドライ音経路を選択的に使用可能とし、前記制御部は、前記デジタルドライ音経路を使用する場合のサンプリングレートに比べて、前記デジタルドライ音経路を使用しない場合のサンプリングレートを低く設定することを特徴とする。

また本発明に係る効果付与プログラムは、音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換し、デジタル音声情報に効果を付与する効果付与装置の制御部で実行される効果付与プログラムにおいて、指定された効果生成指示に基づいて効果を付与する際、付与される効果の種類、強度、又は、数の少なくとも１つに応じて、デジタル音声情報のサンプリングレートを変更する処理を実行させ、デジタル音声情報への効果付与は、周波数帯域毎に行われ、サンプリングレートを変更する前記処理は、対応する周波数帯域に応じて、前記効果付与部に入力されるデジタル音声情報のサンプリングレートを変更することを特徴とする。
また本発明に係る効果付与プログラムは、音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換し、デジタル音声情報に効果を付与する効果付与装置の制御部で実行される効果付与プログラムにおいて、指定された効果生成指示に基づいて効果を付与する際、付与される効果の種類、強度、又は、数の少なくとも１つに応じて、デジタル音声情報のサンプリングレートを変更する処理を実行させ、デジタル音声情報への効果付与は、入力されたデジタル音声情報の音程を変更するボイスチェンジ機能を含み、サンプリングレートを変更する前記処理は、ボイスチェンジ機能を使用する際、音程を低く設定する場合のサンプリングレートに比べて、音程を高く設定する場合のサンプリングレートを高く設定することを特徴とする。

本発明に係る効果付与装置、もしくは、効果付与プログラムによれば、効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、サンプリングレートコンバータのサンプリングレートを変更することとしている。このような構成により、高解像度の音による高音質化と、高音質化に伴う負荷を抑制の両立を図ることが可能となる。

さらに本発明に係る効果付与装置、もしくは、効果付与プログラムでは、対応する周波数帯域に応じて、効果付与部に入力されるデジタル音声情報のサンプリングレートを変更することとしている。このような構成により、人の聴覚上を考慮した解像度で効果を処理することが可能となり、高解像度化による高音質化と、高音質化に伴う負荷を抑制の両立を更に図ることが可能となる。

さらに本発明に係る効果付与装置、もしくは、効果付与プログラムでは、複数の効果を同時に作用させる場合、１の効果を作用させる場合と比較してサンプリングレートを低く設定することとしている。このような構成により、高解像度化による高音質化と、高音質化に伴う負荷を抑制の両立を更に図ることが可能となる。

さらに本発明に係る効果付与装置、もしくは、効果付与プログラムでは、ハウリング抑制部を使用する場合のサンプリングレートに比べて、ハウリング抑制部を使用しない場合のサンプリングレートを高く設定することとしている。ハウリング制御部を使用する場合、音の劣化が伴うことになるが、それに必要な処理量は増加することが考えられる。上記構成を採用することで高解像度化による高音質化と、高音質化に伴う負荷を抑制の両立を更に図ることが可能となる。

さらに本発明に係る効果付与装置、もしくは、効果付与プログラムでは、ボイスチェンジ機能を使用する際、音程を低く設定する場合のサンプリングレートに比べて、音程を高く設定する場合のサンプリングレートを高く設定することとしている。このような構成により、高解像度化による高音質化と、高音質化に伴う負荷を抑制の両立を更に図ることが可能となる。

さらに本発明に係る効果付与装置、もしくは、効果付与プログラムによれば、ドライ音経路を使用する場合のサンプリングレートに比べて、ドライ音経路を使用しない場合のサンプリングレートを低く設定することとしている。ドライ音による実際の歌唱音をそのまま使用する場合には、効果付与部でのサンプリングレートを高くすることで、より再現性を高い高音質化を図ることが可能となる。

カラオケシステムの構成を示すブロック図 音響制御部の構成を示すブロック図 効果付与部の構成を示すブロック図 各種設定におけるサンプリングレートの比較を説明するための表 他の実施形態における音響制御部の構成を示すブロック図 他の実施形態における効果付与部の構成を示すブロック図

図１は、本実施形態のカラオケシステムの構成を示すブロック図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１３０を利用してネットワークを形成するように接続されている。

カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部を含んだ音響制御部２５を備えている。また、カラオケ装置２は、ユーザーからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニター４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果の付与等を行う映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されるモニター４１以外に、カラオケ装置２の筐体前面に設けられたタッチパネルモニター３３に対して各種情報を表示することを可能としている。タッチパネルモニター３３は映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。このタッチパネルモニター３３は、カラオケ装置２の操作部２１、あるいは、リモコン装置１のタッチパネルモニター１１などと同様、入力部として機能する。ユーザーは、タッチパネルモニター３３にて楽曲を選択することで、直接カラオケ装置２に予約させる等、カラオケ装置２に対する各種操作を行うことが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を含んだ制御部を備えて構成されている。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。リモコン装置１の選曲処理で形成された予約情報は、カラオケ装置２に送信される。カラオケ装置２は、受信した予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞表示処理とが同期して実行される処理である。

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、マイクロホン４３ａ、４３ｂから入力される歌唱音声と一緒にスピーカー４２から放音される。歌詞表示処理は、楽曲情報に含まれる歌詞情報をモニター４１に表示させることで歌唱補助を行う処理である。

一方、リモコン装置１は、ユーザーからの指示に基づいて楽曲を検索し、再生指示のあった楽曲について予約情報をカラオケ装置２に送信する選曲処理を実行可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信し、各種処理を実行することが可能である。本実施形態では、ユーザーから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニター１１を備えている。タッチパネルモニター１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。

さらにリモコン装置１は、選曲処理に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニター１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニター１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１３０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。

このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニター１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニター１１の表示により各種情報を提供することで、カラオケ装置２に対して出力する予約情報を送信する選曲処理など、各種処理を行うことが可能となっている。

図２は、カラオケ装置２が有する音響制御部２５の構成を示すブロック図である。ここでは、マイクロホン４３ａから入力される音声を表す音声信号の一系統について説明を行うが、他方のマイクロホン４３ｂから入力される音声を表すアナログ音声信号についてもマイクロホン４３ａから入力される音声を表す音声信号と同様に処理される。本実施形態の音響制御部２５は、アナログ処理部２５ａ、デジタル処理部２５ｂを有して構成される。アナログ処理部２５ａは、マイクロホン４３ａから入力されるアナログ音声信号に対し、音量の変更、並びに、アナログ楽音信号とのミキシング等を行い、スピーカー４２に対して信号の出力を行う。アナログ処理部で扱う信号は、その名が示すようにアナログ信号であるため、エコーや残響等の効果を付与することはできない仕様となっている。

本実施形態のアナログ処理部２５ａは、マイクロホン４３ａから入力されたアナログ音声信号についての音量を調整する音量調整部２５１、ＤＡ変換部２６２から出力されるアナログ音声信号とのミキシングを行うミキシング部２５２、ミキシング部２５２でミキシングされたアナログ音声信号の音量を調整する音量調整部２５３、ＤＡ変換部２６４から出力されるアナログ楽音信号の音量を調整する音量調整部２６５、音量調整部２５３と音量調整部２６５の出力信号をミキシングして、スピーカー４２に出力するミキシング部２５４を備えている。なお、ミキシング部２５４とスピーカー４２の間には、スピーカーアンプを設けてもよく、あるいは、音量調整部２５３、音量調整部２６５がスピーカーアンプを兼ねてもよい。

一方、デジタル処理部２５ｂにおいて、マイクロホン４３ａから入力されたアナログ音声信号は、ＡＤ変換部２５５でデジタル信号に変換される。ＡＤ変換部２５５は、アナログ音声信号を、１９２ｋＨｚのサンプリングレートでサンプリングしてデジタル音声信号に変換する。ＡＤ変換部２５５でデジタル化されたデジタル音声信号は、サンプリングレートコンバータ２５６に入力される。本実施形態のサンプリングレートコンバータ２５６は、１９２ｋＨｚでサンプリングされたデジタル音声信号をそのままのサンプリングレート（１９２ｋＨｚ）でスルー出力する、あるいは、異なるサンプリングレート（４８ｋＨｚ、あるいは、１２ｋＨｚ）で変換出力することが可能である。サンプリングレートコンバータ２５６におけるサンプリングレートの制御は、ＣＰＵ３０などを含んで構成されたカラオケ装置２の制御部において実行される。

また、演奏部２６３で演奏された演奏音としてのデジタル楽音信号は、ＤＡ変換部２６４でアナログ楽音信号に変換して出力される。デジタル処理部２５ｂにおいてデジタル音声信号に対して実行される処理としては、ハウリング抑制フィルタ２５８によるハウリング抑制処理、並びに、効果付与部２５９における効果付与処理等がある。

カラオケシステムでは、マイクロホン４３ａ、４３ｂで収音し、スピーカー４２で拡声する。そのため、カラオケ装置２が設置されるカラオケボックス等では、壁面間等の事情によって特定の周波数が高くなる共振現象であるハウリングが発生する場合がある。ハウリングの発生は、カラオケシステムの利用環境下において、聴取並びに歌唱の支障となるため、解消あるいは抑制することが好ましい。

本実施形態では、デジタル処理部２５ｂとして、ハウリング検知部２５７、ハウリング抑制フィルタ２５８を使用し、発生したハウリングの解消、抑制を行うこととしている。ハウリング検知部２５７では、ハウリングの発生有無、並びに、発生したハウリングの周波数を検出する。そして、ハウリングの発生を検出した場合、ハウリング検知部２５７は、ハウリング抑制フィルタ２５８に対して、検知したハウリングを解消、抑制するためのフィルタ係数を出力する。本実施形態では、ハウリング抑制フィルタ２５８として、狭帯域のバンドパスフィルタであるノッチフィルタを使用している。ハウリングは、狭帯域にピークを持つ音声であるため、同狭帯域の音声を抑制するノッチフィルタを通過させることで、解消あるいは抑制することが可能である。なお、ハウリングは、１つの周波数で発生するのみならず、複数の周波数で発生する場合もあるため、本実施形態のハウリング抑制フィルタ２５８は、複数の周波数について、狭帯域減衰可能なノッチフィルタを使用している。

また、デジタル処理部２５ｂには、デジタル音声信号に対して効果を付与する効果付与部２５９が設けられている。デジタル音声信号に対して付与する効果としては、ボイスチェンジ、コンプレッサ、エコー、リバーブ（残響）等、各種効果がある。このような効果は遅延を伴うことが一般的であるため、遅延を形成することが容易なデジタル処理部２５ｂで行われる。

また、本実施形態では、この効果付与部２５９を経由しない（バイパスする）経路を有している。この経路には、音量調整部２６０が設けられている。本実施形態の音響制御部２５は、ハウリング抑制機能をオフ状態、すなわち、ハウリング抑制フィルタ２５８をスルー状態、そして、音量調整部２６０の音量を０（オフ状態）とすることで、デジタル音声信号を何ら加工しないデジタルドライ音信号として出力するデジタルドライ音経路を形成することが可能となっている。

効果付与部２５９から出力されたデジタル音声信号と、音量調整部２６０から出力されたデジタル音声信号は、ミキシング部２６１でミキシングされて、ＤＡ変換部２６２に出力される。なお、本実施形態では、ミキシング部２６１でミキシングした上でＤＡ変換しているが、効果付与部２５９の出力信号、音量調整部２６０の出力信号を、それぞれＤＡ変換した上でミキシングしてもよい。

演奏部２６３は、楽曲情報に含まれる演奏情報に基づき演奏を行い、演奏音をＤＡ変換部２６４に出力する。演奏部２６３に対する演奏指示は、リモコン装置１、あるいは、カラオケ装置２のタッチパネルモニター３３等を使用して、ユーザーによって行われる。ＤＡ変換部２６４でアナログ楽音信号に変換された演奏音は、音量調整部２６５で音量調整された上、ミキシング部２５４でマイクロホン４３ａの入力に基づくアナログ音声信号とミキシングされ、スピーカー４２に出力される。なお、演奏部２６３から出力されるデジタル楽音信号は、ミキシング部２６１等を使用して、デジタル信号としてデジタル音声信号とミキシングしてもよい。

図３は、本実施形態の効果付与部２５９の構成を示すブロック図である。本実施形態では、効果付与部２５９において、ユーザー設定などに基づく各種効果をデジタル音声信号に対して付与することが可能となっている。本実施形態の効果付与部２５９は、各種効果を付与する手段として、ボイスチェンジ２７１、コンプレッサ２７２、遅延系効果付与部２７３、トーンコントローラ２７６、イコライザ２７７を含んで構成されている。また、遅延系効果付与部２７３をバイパスするための手段として、音量調整部２７４、ミキシング部２７５が設けられている。

ボイスチェンジ２７１は、入力されるデジタル音声信号が表す周波数を変換する、あるいは、周波数特性を変更するという手法を使用して、男声あるいは女声のようなデジタル音声信号に加工するボイスチェンジ処理を実行する効果付与手段である。声の性別を変更する以外に、デジタル音声信号が表す周波数を歪ませることで、ＡＭラジオの音声のようなラジオボイスにデジタル音声信号が表す周波数を加工するボイスチェンジ処理も、このボイスチェンジ２７１で実行することが可能である。

コンプレッサ２７２は、音量の大きい部分を圧縮することで音量のバラツキを抑える等、デジタル音声信号が表す周波数の部分的な音量を調整することができる効果付与手段である。遅延系効果付与部２７３は、エコー、リバーブ（残響）、ディレイ等、といったデジタル音声信号が表す周波数を積極的に遅延させることで、壁面で反射した間接音などを模擬する効果付与手段である。なお、本実施形態では、この遅延系効果付与部２７３をバイパスするための音量調整部２７４が設けられている。音量調整部２７４を通過するデジタル音声信号が表す周波数は、遅延していない直接音として出力され、ミキシング部２７５で遅延系効果付与部２７３から出力されたデジタル音声信号とミキシングされる。

トーンコントローラ２７６、イコライザ２７７は、どちらもデジタル音声信号が表す周波数の周波数特性を調整するための効果付与手段である。本実施形態では、イコライザ２７７の周波数分割数が、トーンコントローラ２７６の帯域分割数よりも多い点において異なっている。したがって、イコライザ２７７では、トーンコントローラ２７６よりも細かい周波数特性の調整を行うことが可能となっている。

効果付与部２５９では、このような構成を使用して入力されるデジタル音声信号に各種効果を付与することが可能である。ＣＰＵ３０は、設定に従って、ボイスチェンジ２７１等、各種効果付与手段に対してパラメータを設定することで、デジタル音声信号に付与する効果の特性を変更することが可能である。

図２で説明したように、本実施形態のＡＤ変換部２５５は、比較的高い周波数（１９２ｋＨｚ）でアナログ音声信号のサンプリングを行うことで、高音質化を図ることを可能としている。しかしながら、サンプリングレートの高い状態で効果付与部２５９等において処理を実行した場合、効果付与部２５９を構成するＤＳＰ、あるいは、ＣＰＵ３０等での各種処理量は増加し、カラオケ装置２の負荷が増加することになる。特に、カラオケ装置２では、効果付与のみならず、モニター４１に対する映像生成処理等、効果付与以外の他の処理も実行する必要があるため、高音質化と負荷の抑制の両立を図ることが必要である。

本実施形態では、サンプリングレートの上昇に伴う負荷量増加に対し、サンプリングレートコンバータ２５６のサンプリングレートを調整することで、音質の向上と負荷量の抑制の両立を図っている。特に、効果付与部で付与する効果について、聴感上の特性を考慮してサンプリングレートを調整することとしている。具体的には、効果付与部で付与する効果の種類、強度、又は、数の少なくとも１つに応じて、サンプリングレートコンバータのサンプリングレートが変更される。

制御部３０を構成するＣＰＵ３０は、操作部２１、あるいは、各種プログラムの実行に伴って生成された効果生成指示の入力を判定すると、効果生成指示に対応するパラメータを効果付与部２５９等、音響制御部２５内の各種構成に対して設定する。その際、効果生成指示に対応するパラメータに基づいて、サンプリングレートコンバータ２５６で使用するサンプリングレートを決定し、サンプリングレートコンバータ２５６に設定する。

図４は、各種設定におけるサンプリングレートの比較を説明するための表である。表中に記載する項目「ハウリング」は、ハウリング検知部２５７、および、ハウリング抑制フィルタ２５８で実行されるハウリング抑制処理に関する設定である。項目「ボイスチェンジ」は、ボイスチェンジ２７１で実行される効果付与に関する設定である。項目「遅延系」は、遅延系効果付与部２７３で実行される効果付与に関する設定である。項目「その他」は、トーンコントローラ２７６及びイコライザ２７７で実行される効果付与をまとめて記載した設定である。項目「ドライ音」は、音量調整部２６０を使用して、効果付与部２５９を迂回してデジタル音声信号（効果の付与されないドライ音）を出力する場合の設定である。なお、項目「ドライ音」では、ハウリング検知部２５７、および、ハウリング抑制フィルタ２５８で実行されるハウリング抑制処理は停止される。

図４（Ａ）〜図４（Ｆ）では、２つの設定（設定１、設定２）についてサンプリングレートを比較している。なお、表中、本実施形態では、理解を容易にするため注目する項目以外の設定をハイフン「−」で示している。ハイフン「−」で示される箇所は、当該項目において効果を付与しないスルーとする、あるいは、設定１と設定２で同じ設定となっていることを示している。

図４（Ａ）は、効果付与種別によるサンプリングレートの比較を示す表である。設定１は、項目「ボイスチェンジ」をＯＮにした場合であって、設定２は、同項目「ボイスチェンジ」をＯＦＦにした場合を示している。この例では、サンプリングレートコンバータ２５６に対して、設定１のサンプリングレートをＬｏｗ、設定２のサンプリングレートをＨｉｇｈとする。すなわち、項目「ボイスチェンジ」を使用する場合（設定１）のサンプリングレートを、同項目「ボイスチェンジ」を使用しない場合（設定２）のサンプリングレートよりも低く設定している。なお、サンプリングレートのＬｏｗ、Ｈｉｇｈは、両設定間における相対的な比較であって、実際のサンプリングレートの絶対的な値は、項目種別、あるいは、項目の強度等に基づいて決定される。つまり、図４（Ａ）〜図４（Ｆ）にそれぞれ示すサンプリングレートのＬｏｗ、Ｈｉｇｈは、それぞれの比較においての両設定間の相対的な関係を示すものであって、それぞれの絶対的な値が等しいことを示すものではない。一例として、図４（Ａ）に示すＬｏｗと、図４（Ｂ）に示すＬｏｗとでは、サンプリングレートの値が異なっていてもよい。

項目「ボイスチェンジ」を使用する場合（設定１）には、効果付与部２５９を構成するＤＳＰ、あるいは、ＣＰＵ３０等での各種処理量は増加することになるが、項目「ボイスチェンジ」を使用しない場合（設定２）よりもサンプリングレートを低くすることで、処理量を抑制することが可能となる。項目「ボイスチェンジ」を使用する場合、波形の加工処理を伴うため、サンプリングレートを低くしても聴感上の影響は少ないことが予想できる。また、項目「ボイスチェンジ」を使用しない場合（設定２）には、サンプリングレートを高く維持することで、高い音質を確保することが可能となる。

図４（Ｂ）は、別の効果付与種別によるサンプリングレートの比較を示す表である。設定１は、項目「遅延系」をＯＮにした場合であって、設定２は、同項目「遅延系」をＯＦＦにした場合を示している。この例では、サンプリングレートコンバータ２５６に対して、設定１のサンプリングレートをＬｏｗ、設定２のサンプリングレートをＨｉｇｈ、すなわち、項目「遅延系」を使用する場合（設定１）のサンプリングレートを、同項目「遅延系」を使用しない場合（設定２）のサンプリングレートよりも低く設定している。

項目「遅延系」を使用する場合（設定１）には、効果付与部２５９を構成するＤＳＰ、あるいは、ＣＰＵ３０等での各種処理量は増加することになるが、項目「遅延系」を使用しない場合（設定２）よりもサンプリングレートを低くすることで、処理量を抑制することが可能となる。項目「遅延系」を使用する場合、デジタル音声信号が表す周波数を遅延させる処理を伴うため、サンプリングレートを低くしても聴感上の影響は少ないことが予想できる。また、項目「遅延系」を使用しない場合（設定２）には、サンプリングレートを高く維持することで、高い音質を確保することが可能となる。

図４（Ｃ）は、効果付与数別によるサンプリングレートの比較を示す表である。設定１は、項目「ボイスチェンジ」と「遅延系」の両方をＯＮにした場合であって、設定２は、項目「ボイスチェンジ」をＯＮ、「遅延系」の両方をＯＦＦにした場合である。項目「ボイスチェンジ」、「遅延系」だけに着目すると、設定１は効果付与数が「２」であるのに対し、設定２は効果付与数が「１」となっている。この場合、設定１ではサンプリングレートをＬｏｗ、設定２ではサンプリングレートをＨｉｇｈに設定している。効果付与を重ねることで、波形の加工処理、遅延処理等が重なり、元のデジタル音声信号からの乖離が大きくなる。したがって、効果付与数が大きい程、サンプリングレートを低くしても聴感上の影響は少ないことが予想される。このように効果付与数に基づいて、サンプリングレートを変更することで、音質と処理量の両立を図ることが可能となる。

図４（Ｄ）は、効果付与強度別によるサンプリングレートの比較を示す表である。設定１、設定２共に、項目「ボイスチェンジ」をＯＮとしている。また、設定１と設定２間では、効果の強度において異なっている。設定１は、設定２よりも強い効果であって、項目「ボイスチェンジ」の場合には、音高の変更具合を項目２の場合よりも大きくする、あるいは、波形をより項目２の場合よりも歪ませるパラメータを使用している。この場合、設定１ではサンプリングレートをＬｏｗ、設定２ではサンプリングレートをＨｉｇｈに設定している。効果を強くかけた場合、加工に伴う波形の歪み等が大きくなり、元のデジタル音声信号からの乖離が大きくなる。したがって、効果を強くかけた場合程、効果が弱い場合よりサンプリングレートを低くしても聴感上の影響は少ないことが予想される。また、効果を強く付与するほど、効果付与に必要な処理量は多くなることが予想される。このように効果付与強度に基づいて、サンプリングレートを変更することで、音質と処理量の両立を図ることが可能となる。

図４（Ｅ）は、ハウリング抑制処理の有無によるサンプリングレートの比較を示す表である。設定１は、ハウリング検知部２５７、ハウリング抑制フィルタ２５８を含むハウリング抑制部を使用して、ハウリング抑制処理を動作させた場合である。一方、設定２は、ハウリング抑制処理を実行させない場合である。この場合、設定１ではサンプリングレートをＬｏｗ、設定２ではサンプリングレートをＨｉｇｈに設定している。ハウリング抑制処理を実行した場合、ハウリング抑制フィルタ２５８におけるフィルタリング等によって、ハウリング抑制処理が実行されたデジタル音声信号は、元のデジタル音声信号よりも劣化することが予想できる。また、ハウリング抑制処理を実行した場合、デジタル処理部２５ｂでの負荷は増えることになる。この例では、ハウリング検知部２５７、ハウリング抑制フィルタ２５８を含むハウリング抑制部を使用した場合、使用しない場合よりもサンプリングレートを低くすることで、音質と処理量の両立を図ることが可能となっている。

図４（Ｆ）は、デジタルドライ音の有無によるサンプリングレートの比較を示す表である。設定１は、デジタルドライ音をＯＮに設定した場合である。デジタルドライ音の設定は、効果付与部２５９を迂回する音量調整部２６０の音量を０よりも大きくすることで設定される。設定２は、デジタルドライ音をＯＦＦに設定した場合、すなわち、音量調整部２６０の音量を０に設定した場合である。なお、この例では、デジタル音声信号が表す周波数に対するハウリング抑制処理の影響も排除するため、ハウリング抑制処理もＯＦＦに設定して比較している。この場合、設定１ではサンプリングレートをＨｉｇｈ、設定２ではサンプリングレートをＬｏｗに設定している。効果付与を受けないデジタルドライ音を使用する場合、サンプリングレートが高くなるほど、音質の良さを感じやすくなることが予想される。この場合、デジタルドライ音の有無により処理量に大きな違いはないが、デジタルドライ音を使用した場合には、効果が付与されない音を含むことになるため、高いサンプリングレートを使用することで、聴覚上、良好な音質を提供することが可能となる。

なお、本実施形態では、デジタルドライ音の有無に応じてサンプリングレートを決定することとしているが、デジタルドライ音、すなわち、音量調整部２６０を通過する音と、デジタルウェット音、すなわち、効果付与部２５９を通過する音の比（ミキシング比）に応じて、サンプリングレートを決定することとしてもよい。デジタルウェット音に対するデジタルドライ音の比が高くなる程、サンプリングレートを高くすることで、聴覚に適合した、良好な音質を提供することが可能となる。

以上、図４（Ａ）〜図４（Ｆ）について各種、サンプリングレートの比較例を説明したが、本発明は、これらの例で説明したように、ある項目に限った例に限られるものではなく、複数の項目の組み合わせに基づき、サンプリングレートを決定することとしてもよい。例えば、図４（Ａ）で説明したような効果付与種別と、図４（Ｃ）で説明したような効果付与数の両方に基づいて、サンプリングレートを決定してもよい。その場合、例えば、各項目についてのポイントを積算することで、サンプリングレートを決定することが可能である。項目「ボイスチェンジ」をＯＮした場合のポイント、項目「ボイスチェンジ」をＯＦＦした場合のポイント、項目「遅延系」をＯＮした場合のポイント、項目「遅延系」をＯＦＦした場合のポイントを予め決めておく。設定に基づいてポイントを積算し、ポイントに該当するサンプリングレートとすることで、複数の項目の組み合わせに適したサンプリングレートを決定することが可能である。上述する項目に限らず、効果付与種別の項目、ハウリング抑制処理の有無、デジタルドライ音の有無（あるいは、ミキシング比）についても同様な手法でサンプリングレートを決めることが可能である。

図２、図３は、デジタル音声信号が表す周波数の全帯域について、まとめてサンプリングレートの変換を行うこととしているが、サンプリングレートは周波数分割された各帯域毎に決めることとしてもよい。図５は、他の実施形態に係る音響制御部の構成を示すブロック図である。この実施形態では、ＡＤ変換部２５５から入力されたデジタル音声信号が表す周波数を、高域成分、中域成分、低域成分の３つの帯域に分割し、各帯域毎にサンプリングレートを設定している。

ＡＤ変換部２５５は、アナログの音声信号を、１９２ｋＨｚのサンプリングレートでサンプリングしてデジタル音声信号に変換する。ＡＤ変換部２５５でデジタル化されたデジタル音声信号は、ＨＰＦ２８１（ハイパスフィルタ）でフィルタリングされ、高域成分が抽出される。デジタル音声信号の高域成分は、第１効果付与部２８２に入力される。図６（Ａ）は、第１効果付与部２８２の内部構成を示したブロック図である。本実施形態では、音量調整部３０１、コンプレッサ３０２、トーンコントローラ３０３、イコライザ３０４が直列接続された形態となっている。各構成の詳細は、図３で説明したものと同じであるため、ここでの説明は割愛する。第１効果付与部２８２から出力されたデジタル音声信号は、ミキシング部２９３に出力される。

また、ＡＤ変換部２５５でデジタル化されたデジタル音声信号は、ＬＰＦ２８３（ローパスフィルタ）でフィルタリングされ、中域成分及び、低域成分が抽出される。そして、サンプリングレートコンバータ２８４で、４８ｋＨｚのサンプリングレートにダウンサンプリングされる。４８ｋＨｚにダウンサンプリングされたデジタル信号の中域成分、低域成分は、ハウリング検知部２８５に入力され、ハウリングの発生検知に使用される。ハウリング検知部２８５は、ハウリングの発生有無、並びに、発生したハウリングの周波数を検出する。そして、ハウリングの発生を検出した場合、ハウリング検知部２８５は、中域成分に設けられたハウリング抑制フィルタ２８７、低域成分に設けられたハウリング抑制フィルタ２９１のそれぞれに対して、検知したハウリングを解消、抑制するためのフィルタ係数を出力する。ハウリング抑制フィルタ２８７、２９１は、設定されたフィルタ係数によって狭帯域の音声を抑制するノッチフィルタを形成し、発生したハウリングを抑制する。

サンプリングレートコンバータ２８４から出力された中域成分、低域成分を含んだデジタル音声信号は、ＨＰＦ２８６（ハイパスフィルタ）でフィルタリングされ、中域成分が抽出される。デジタル音声信号の中域成分は、ハウリング抑制フィルタ２８７を通過し、第２効果付与部２８２に入力される。図６（Ｂ）は、第２効果付与部２８８の内部構成を示したブロック図である。本実施形態の第２効果付与部２８８は、ボイスチェンジ３１１、コンプレッサ３１２、遅延系効果付与部３１３、トーンコントローラ３１４、サンプリングレートコンバータ３１５、イコライザ３１６が直列接続された形態となっている。

図５のデジタル処理部２５ｂで実行されるボイスチェンジ処理は、図３のボイスチェンジ２７１と同様、入力されるデジタル音声信号を、男声、女声、あるいはラジオボイスに変換する効果付与手段である。本実施形態のボイスチェンジ３１１では、各ボイスチェンジ処理の音響特性を考慮し、デジタル音声信号の中域成分に対しては、女声のみ使用することとしている。なお、中域成分を担当するボイスチェンジ３１１では、ラジオボイスを取り扱うこととしてもよい。ボイスチェンジ処理が男声の場合には、このボイスチェンジ３１１は機能させずに、スルー状態となる。コンプレッサ３１２、遅延系効果付与部３１３、トーンコントローラ３１４、イコライザ３１６の各構成詳細は、図３で説明したものと同じであるため、ここでの説明は割愛する。サンプリングレートコンバータ３１５は、デジタル処理部２５ｂで使用する最も高いサンプリングレート（この場合、１９２ｋＨｚ）のデジタル音声信号とミキシングするために設けられている。第２効果付与部２８８から出力されたデジタル音声信号は、ミキシング部２９３に出力される。

また、サンプリングレートコンバータ２８４から出力された中域成分、低域成分を含んだデジタル音声信号は、ＬＰＦ２８９（ローパスフィルタ）でフィルタリングされ、低域成分が抽出される。デジタル音声信号の低域成分は、サンプリングレートコンバータ２９０で、１２ｋＨｚのサンプリングレートにダウンサンプリングされる。１２ｋＨｚにダウンサンプリングされたデジタル音声信号の低域成分は、ハウリング抑制フィルタ２９１を通過し、第３効果付与部２９２に入力される。図６（Ｃ）は、第３効果付与部２９２の内部構成を示したブロック図である。本実施形態の第３効果付与部２９２は、ボイスチェンジ３２１、コンプレッサ３２２、遅延系効果付与部３２３、トーンコントローラ３２４、サンプリングレートコンバータ３２５、イコライザ３２６が直列接続された形態となっている。

全て（男声、女声、ラジオボイス）のボイスチェンジ処理では音響特性上低域成分を取り扱うため、低域成分を取り扱うボイスチェンジ３２１は、全て（男声、女声、ラジオボイス）のボイスチェンジ処理において機能する。コンプレッサ３２２、遅延系効果付与部３２３、トーンコントローラ３２４、イコライザ３２６の各構成詳細は、図３で説明したものと同じであるため、ここでの説明は割愛する。サンプリングレートコンバータ３２５は、図６（Ｂ）のサンプリングレートコンバータ３１５と同様、ミキシング部２９３でのミキシングを目的として、デジタル処理部２５ｂで使用する最も高いサンプリングレート（この場合、１９２ｋＨｚ）に変換する。第３効果付与部２９２から出力されたデジタル音声信号は、ミキシング部２９３に出力される。

ミキシング部２９３では、第１効果付与部２８２から出力される高域成分、第２効果付与部２８８から出力される中域成分、第３効果付与部２９２から出力される低域成分をミキシングしてＤＡ変換部２９４に出力する。ＤＡ変換部２９４は、入力されたデジタル音声信号をアナログ音声信号に変換した上で、ミキシング部２５２に出力する。

以上が、帯域分割を実施するとともに、各帯域についてサンプリングレートを異ならせる形態の構成である。なお、各帯域では、図２〜図４の実施形態と同様、使用する効果付与種別、効果付与数、効果付与強度、ハウリング抑制処理の有無、デジタルドライ音の有無等に応じて、サンプリングレートコンバータ２８４、２９０におけるサンプリングレートの変更が行われる。なお、図５の構成において、ＡＤ変換部２５５においてサンプリングレートを変更可能とし、高域成分に対するサンプリングレートを変更可能としてもよい。また、図５の構成では、高域になるほど、高いサンプリングレートを設定可能としているが、このような形態のみならず、各帯域毎に自由にサンプリングレートを設定可能としてもよい。

以上、図１〜図６を用いて、２つの実施形態のデジタル処理部２５ｂの詳細について説明したが、本実施形態のデジタル処理部２５ｂを含んで構成された効果付与装置では、効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、サンプリングレートを変更することにより、高いサンプリングレートを使用した高解像度の音による高音質化と、高音質化に伴う負荷を抑制の両立を図ることが可能となる。

なお、本実施形態においてＤＳＰを使用してデジタル処理部２５ｂの構成を実現する場合、デジタル処理部２５ｂは、図２、図３、図５、図６のブロック構成を物理的に形成するものではなく、ＤＳＰで使用するプログラムを変更することで、ブロック構成を実現する演算を行うものである。したがって、図２、図３、図５、図６に構成のブロック構成は、自由に構成を変更することが可能である。なお、本発明の範疇は、効果付与装置のみならず、ＤＳＰ等、各種情報処理装置において、効果付与装置を実現するための効果付与プログラムも含まれる。

１：リモコン装置 ３２：ハードディスク
２：カラオケ装置 ３３：タッチパネルモニター
５：サーバー装置 ３４：タッチパネル
１１：タッチパネルモニター ３５：表示部
１１ａ：表示部 ４１：モニター
１１ｂ：タッチパネル ４２：スピーカー
１２：ビデオＲＡＭ ４３ａ、４３ｂ：マイクロホン
１３：映像制御部 １２０：アクセスポイント
１４：メモリ １３０：ルータ
１５：ＣＰＵ ２５１、２６０、２６５：音量調整部
１６：無線ＬＡＮ通信部 ２５２、２５４、２６１：ミキシング部
１７：操作部 ２５５：ＡＤ変換部
１８：操作処理部 ２５６：サンプリングレートコンバータ
１９：赤外線通信部 ２５７：ハウリング検知部
２１：操作部 ２５８：ハウリング抑制フィルタ
２２：操作処理部 ２５９：効果付与部
２３：赤外線通信部 ２６２、２６４：ＤＡ変換部
２４：ＬＡＮ通信部 ２６３：演奏部
２５：音響制御部 ２７１：ボイスチェンジ
２５ａ：アナログ処理部 ２７２：コンプレッサ
２５ｂ：デジタル処理部 ２７３：遅延蛍光か付与部
２７：メモリ ２７４：音量調整部
２８：ビデオＲＡＭ ２７５：ミキシング部
２９：映像再生部 ２７６：トーンコントローラ
３０：ＣＰＵ ２７７：イコライザ
３１：映像制御部

Claims (7)

1. 音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換するＡＤ変換部と、
   入力されるデジタル音声情報のサンプリングレートを変更するサンプリングレートコンバータと、
   サンプリングレートの変更されたデジタル音声情報に対し、効果生成指示で指定された効果を付与して出力する効果付与部と、
   指定された効果生成指示を前記効果付与部に送信する際、前記効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、前記サンプリングレートコンバータのサンプリングレートを変更する制御部と、を備え、
   前記効果付与部は、周波数帯域毎に設けられ、
   前記制御部は、対応する周波数帯域に応じて、前記効果付与部に入力されるデジタル音声情報のサンプリングレートを変更することを特徴とする
   効果付与装置。
2. 音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換するＡＤ変換部と、
   入力されるデジタル音声情報のサンプリングレートを変更するサンプリングレートコンバータと、
   サンプリングレートの変更されたデジタル音声情報に対し、効果生成指示で指定された効果を付与して出力する効果付与部と、
   指定された効果生成指示を前記効果付与部に送信する際、前記効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、前記サンプリングレートコンバータのサンプリングレートを変更する制御部と、
   デジタル音声情報のハウリングを抑制するハウリング抑制部を備え、
   前記制御部は、前記ハウリング抑制部を使用する場合のサンプリングレートに比べて、前記ハウリング抑制部を使用しない場合のサンプリングレートを高く設定することを特徴とする
   効果付与装置。
3. 音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換するＡＤ変換部と、
   入力されるデジタル音声情報のサンプリングレートを変更するサンプリングレートコンバータと、
   サンプリングレートの変更されたデジタル音声情報に対し、効果生成指示で指定された効果を付与して出力する効果付与部と、
   指定された効果生成指示を前記効果付与部に送信する際、前記効果付与部で付与される効果の種類、強度、又は、数の少なくとも１つに応じて、前記サンプリングレートコンバータのサンプリングレートを変更する制御部と、を備え、
   前記効果付与部は、入力されたデジタル音声情報の音程を変更するボイスチェンジ機能を備え、
   前記制御部は、ボイスチェンジ機能を使用する際、音程を低く設定する場合のサンプリングレートに比べて、音程を高く設定する場合のサンプリングレートを高く設定することを特徴とする
   効果付与装置。
4. 前記制御部は、複数の効果を同時に作用させる場合、１の効果を作用させる場合と比較してサンプリングレートを低く設定することを特徴とする
   請求項１から請求項３の何れか１項に記載の効果付与装置。
5. 効果が付与されないデジタル音声情報を出力するデジタルドライ音経路を選択的に使用可能とし、
   前記制御部は、前記デジタルドライ音経路を使用する場合のサンプリングレートに比べて、前記デジタルドライ音経路を使用しない場合のサンプリングレートを低く設定することを特徴とする
   請求項１から請求項４の何れか１項に記載の効果付与装置。
6. 音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換し、デジタル音声情報に効果を付与する効果付与装置の制御部で実行される効果付与プログラムにおいて、
   指定された効果生成指示に基づいて効果を付与する際、付与される効果の種類、強度、又は、数の少なくとも１つに応じて、デジタル音声情報のサンプリングレートを変更する処理を実行させ、
   デジタル音声情報への効果付与は、周波数帯域毎に行われ、
   サンプリングレートを変更する前記処理は、対応する周波数帯域に応じて、前記効果付与部に入力されるデジタル音声情報のサンプリングレートを変更することを特徴とする
   効果付与プログラム。
7. 音声入力部から入力されたアナログ音声情報をデジタル音声情報に変換し、デジタル音声情報に効果を付与する効果付与装置の制御部で実行される効果付与プログラムにおいて、
   指定された効果生成指示に基づいて効果を付与する際、付与される効果の種類、強度、又は、数の少なくとも１つに応じて、デジタル音声情報のサンプリングレートを変更する処理を実行させ、
   デジタル音声情報への効果付与は、入力されたデジタル音声情報の音程を変更するボイスチェンジ機能を含み、
   サンプリングレートを変更する前記処理は、ボイスチェンジ機能を使用する際、音程を低く設定する場合のサンプリングレートに比べて、音程を高く設定する場合のサンプリングレートを高く設定することを特徴とする
   効果付与プログラム。