JP4168391B2

JP4168391B2 - カラオケ装置、音声処理方法及びプログラム

Info

Publication number: JP4168391B2
Application number: JP2003283863A
Authority: JP
Inventors: 豊末次
Original assignee: Sega Corp; Sega Games Co Ltd
Current assignee: Sega Corp
Priority date: 2003-07-31
Filing date: 2003-07-31
Publication date: 2008-10-22
Anticipated expiration: 2023-07-31
Also published as: JP2005049758A

Description

本発明は、カラオケ装置及びこれに用いて好適な音声処理技術に関し、特に歌唱者の歌声に対して好適な音響効果を与える技術に関する。

利用者が好みの楽曲の選択し、当該楽曲の伴奏音に合わせて歌唱して楽しむカラオケ装置が広く知られている。多くのカラオケ装置では、利用者の歌声に対していわゆるエコーと呼ばれる音響効果を与えることができるようになっている。このエコーとは、元の音声に対してこれを所定時間だけ遅延させて合成することにより音声に厚みを持たせる音響効果（いわゆるディレイ）と、元の音声に対して反射音（残響音）を擬似的に生成してこれを合成することにより空間的な広がりを持たせる音響効果（いわゆるリバーブ）とを含む。カラオケ装置においては、上述したディレイとリバーブのいずれか一方あるいは双方を用いて所望の音響効果を得ている。このようなカラオケ装置の音響効果に関する技術は、例えば、特開平９−６２２８４号公報（特許文献１）などの文献に記載されている。

特開平９−６２２８４号公報

ところで、上述したような音響効果を用いる場合に、各楽曲の雰囲気（テンポ等）に応じて適切な遅延時間（ディレイタイム）を設定するにはそれ相応の音楽的知識が必要となる。しかし、カラオケ装置を利用する一般の利用者は、そのような専門的知識を持たない場合がほとんどである。このため、従来は、カラオケ装置において予めセットされた固定値の遅延時間を用いるか、或いは利用者がその都度適当に設定した遅延時間が用いられており、必ずしも適切な音響効果が得られていなかった。また、仮に利用者が音響効果についての知識を有していたとしても、カラオケを楽しんでいる際に各楽曲ごとに手動でディレイタイムを設定し直していたのでは面倒である。

そこで、本発明は、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることを可能とする技術を提供することを目的とする。

上記目的を達成するために、本発明の第１の態様のカラオケ装置は、楽曲の演奏に用いられる楽曲データを格納する楽曲データ格納手段と、演奏対象となる楽曲に対応する楽曲データを楽曲データ格納手段から取得し、当該楽曲データに基づいて楽曲音声信号を生成する楽曲音声生成手段と、演奏対象となる楽曲の演奏時のテンポを取得するテンポ取得手段と、当該テンポ取得手段により取得される楽曲のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）の遅延時間を設定する遅延時間設定手段と、歌唱者の音声を入力する音声入力手段と、この音声入力手段から入力される音声信号（入力音声信号）を遅延時間設定手段によって設定された遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段と、楽曲音声信号、入力音声信号及び遅延音声信号に基づいて音響出力を行う音響出力手段と、を備える。

かかる構成によれば、演奏対象とされた楽曲の演奏時（再生時）のテンポに対応して好適な遅延時間が自動的に設定され、当該遅延時間を用いて入力音声にディレイ効果が付与されるので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる。

ここで、「一拍の時間」とは四分音符１つ分に対応する時間である。当該一拍の時間をＴとすると、遅延時間としてはＴ／２^１、Ｔ／２^２、Ｔ／２^３…というように複数求め得るが、これらのいずれか一を選択しても二つ以上を選択してもよい。いずれの場合であっても、一拍の時間の１／２^ｎ倍の遅延時間を設定することにより、楽曲との馴染みのよい好適なディレイ効果を得ることができる。また「演奏」とは、カラオケ装置やその他装置（いわゆる電子楽器）において、楽曲データをもとに、楽曲演奏プログラムを実行することによって楽曲の再生音を得ることをいう。

また、上述した楽曲データは、楽曲の演奏時のテンポを示すテンポ情報を含み、テンポ取得手段は当該テンポ情報に基づいて楽曲の演奏時のテンポを取得することが好ましい。これにより、演奏対象とされた楽曲のそれぞれに対応したテンポを容易に取得して一拍の時間を算出し、好適なディレイ効果を得ることができる。

また、テンポ取得手段は、利用者による操作指示に応じて楽曲の演奏時のテンポを取得することも好ましい。例えば、カラオケ装置に備わった操作ボタン、或いはリモコン装置等を用いて、利用者により楽曲の演奏時のテンポが任意に変更された場合であっても、当該変更後のテンポに対応して一拍の時間を算出し、好適なディレイ効果を得ることができる。

また、遅延時間設定手段は、上述したｎの値を複数用いて得た遅延時間の候補の中から、所定の基準時間との差が最も小さい一を遅延時間として設定することが好ましい。ここで、「基準時間」は適宜設定し得る値であるが、経験的に１００ミリ秒以上３００ミリ秒以下の範囲内で設定すると好適な結果が得られることが分かっている。かかる基準時間を用いることにより、多くの利用者の感覚に適合した好適なディレイ効果を得ることが可能となる。

また、上述した楽曲データは、楽曲のジャンルを示すジャンル情報を更に含んでおり、遅延時間設定手段は、このジャンル情報に基づいて、上述した自然数ｎの値を複数用いて得た遅延時間の候補の中から楽曲のジャンルに応じた時間長を有する一の候補を遅延時間として設定することが好ましい。ここで「楽曲のジャンル」とは、例えば、ロック、ポップス、演歌など、楽曲の雰囲気を端的に分類するものをいう。一般に、それぞれの楽曲のジャンルによってその楽曲に好適なディレイ効果を得られる遅延時間の長さ（時間長）は増減する。したがって、各楽曲のジャンルに応じて、例えばロック等では比較的に短めの時間長の遅延時間を選択して歯切れよいディレイ効果が得られるようにし、演歌等では比較的に長めの時間長の遅延時間を選択して重厚な（ねばりのある）ディレイ効果が得られるようにすることにより、各楽曲の雰囲気に合わせた好適なディレイ効果を付与することが可能となる。

また、遅延音声生成手段は、楽曲データに含まれるジャンル情報に基づいて、遅延時間設定手段によって設定された遅延時間を楽曲のジャンルに応じた所定範囲内で整数倍し、当該整数倍された遅延時間のそれぞれに対応する複数の遅延音声信号を生成することが好ましい。

各楽曲のジャンルに応じて、例えば、ロック等では遅延時間を整数倍する際の所定範囲を「１〜２」程度とすることにより、元の音声に対する繰り返し回数（ディレイ回数）を少なめにした歯切れよいディレイ効果が得られる。同様に、演歌等では遅延時間を整数倍する際の所定範囲を「１〜５」程度とすることにより、ディレイ回数が多めの重厚なディレイ効果が得られる。これにより、各楽曲の雰囲気により適応した好適なディレイ効果を付与することが可能となる。

また、遅延音声生成手段は、遅延音声信号の信号レベルが入力音声信号よりも小さくなるようにレベル調整をして遅延音声信号を生成することが好ましい。また、音響出力手段は、遅延音声信号の信号レベルが入力音声信号よりも小さくなるように信号レベルを調整して音響出力を行うことも好ましい。例えば、入力音声信号の信号レベルに対して遅延音声信号の信号レベルを５０％以下くらいにして両者をミックスすることにより、効果が過剰とならず好適なディレイ効果を得ることができる。

本発明の第２の態様のカラオケ装置は、楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを格納する楽曲データ格納手段と、演奏対象となる楽曲に対応する楽曲データを楽曲データ格納手段から取得し、当該楽曲データに基づいて楽曲音声信号を生成する楽曲音声生成手段と、歌唱者の音声を入力する音声入力手段と、楽曲データに含まれる遅延時間情報に基づいて遅延時間を設定する遅延時間設定手段と、音声入力手段から入力された入力音声信号を遅延時間設定手段によって設定された遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段と、楽曲音声信号、入力音声信号及び遅延音声信号に基づいて音響出力を行う音響出力手段と、を備える。

かかる構成によっても、楽曲データに予め含まれている遅延時間情報に基づいて、演奏対象とされた楽曲の演奏時（再生時）のテンポに対応した好適な遅延時間が自動的に設定され、当該遅延時間を用いて入力音声にディレイ効果が付与されるので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる。

なお、第２の態様のカラオケ装置における更に好適な条件については、上述した第１の態様のカラオケ装置の場合と同様であり、ここでは詳細な説明を省略する。

また、本発明は、プログラムされたコンピュータによって、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理方法であって、テンポ取得手段が、演奏対象となる楽曲の演奏時のテンポを取得する第１ステップと、遅延時間設定手段が、第１ステップにて取得される楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは１以上の整数）の遅延時間を設定する第２ステップと、遅延音声生成手段が、入力音声信号を第２ステップにおいて設定された遅延時間だけ遅延させた遅延音声信号を生成する第３ステップと、を含む。

これにより、演奏対象とされた楽曲のテンポに対応して好適な遅延時間が自動的に設定され、当該遅延時間を用いて入力音声にディレイ効果が付与されるので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる。特に、本発明の音声処理方法は、カラオケ装置（その機能がパーソナルコンピュータ上で実現される場合等を含む。）における音響効果の付与に適用して好適である。

なお、入力される音声信号としては、利用者による歌声に対応する場合の他にも種々の音声（例えば、サキソフォン等の演奏音など）を適用し得る。また、楽曲のテンポは、楽曲の演奏に用いられる楽曲データに含まれるテンポ情報に基づいて取得してもよく、利用者によって任意に設定されたテンポを用いてもよい。

また、上述した第１ステップにおいて、楽曲の演奏時のテンポは、当該楽曲の演奏に用いられる楽曲データに含まれるテンポ情報に基づいて取得されることが好ましい。これにより、演奏対象とされた楽曲のそれぞれに対応したテンポを容易に取得して一拍の時間を算出し、好適なディレイ効果を得ることができる。

また、上述した第１ステップにおいて、楽曲の演奏時のテンポは、利用者による操作指示に応じて取得されることも好ましい。例えば、コンピュータに備わった入力装置（キーボード、マウス等）を用いて、利用者により楽曲の演奏時のテンポが任意に変更された場合であっても、当該変更後のテンポに対応して一拍の時間を算出し、好適なディレイ効果を得ることができる。

また、本発明は、プログラムされたコンピュータによって、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理方法であって、遅延時間設定手段が、楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを取得し、当該楽曲データに含まれる遅延時間情報に基づいて遅延時間を設定する第１ステップと、遅延音声生成手段が、入力音声信号を遅延時間設定手段によって設定された遅延時間だけ遅延させた遅延音声信号を生成する第２ステップと、を含む。

かかる方法によっても、演奏対象とされた楽曲のテンポに対応した好適な遅延時間が自動的に設定され、当該遅延時間を用いて入力音声にディレイ効果が付与されるので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる。本発明の音声処理方法についても、特に、カラオケ装置（その機能がパーソナルコンピュータ上で実現される場合等を含む。）における音響効果の付与に適用して好適である。

また、本発明は、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、上記コンピュータを、演奏対象となる楽曲の演奏時のテンポを取得するテンポ取得手段と、このテンポ取得手段によって取得される楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）の遅延時間を設定する遅延時間設定手段と、入力音声信号を遅延時間設定手段によって設定された遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段として機能させるためのプログラムでもある。

また、上述したテンポ取得手段は、楽曲の演奏に用いられる楽曲データに含まれるテンポ情報に基づいて楽曲の演奏時のテンポを取得することが好ましい。これにより、演奏対象とされた楽曲のそれぞれに対応したテンポを容易に取得して一拍の時間を算出し、好適なディレイ効果を得ることができる。

また、上述したテンポ取得手段は、利用者による操作指示に応じて楽曲の演奏時のテンポを取得することも好ましい。例えば、コンピュータに備わった入力装置（キーボード、マウス等）を用いて、利用者により楽曲の演奏時のテンポが任意に変更された場合であっても、当該変更後のテンポに対応して一拍の時間を算出し、好適なディレイ効果を得ることができる。

また、本発明は、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、上記コンピュータを、楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを取得し、当該楽曲データに含まれる遅延時間情報に基づいて遅延時間を設定する遅延時間設定手段と、入力音声信号を遅延時間設定手段によって設定された遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段として機能させるためのプログラムでもある。

また、本発明は、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、演奏対象となる楽曲の演奏時のテンポを取得する第１ステップと、第１ステップにて取得される楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）の遅延時間を設定する第２ステップと、入力音声信号を第２ステップにおいて設定された遅延時間だけ遅延させた遅延音声信号を生成する第３ステップと、を実行させるプログラムでもある。

また、本発明は、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、楽曲の演奏時のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを取得し、当該楽曲データに含まれる遅延時間情報に基づいて遅延時間を設定する第１ステップと、入力音声信号を上記遅延時間だけ遅延させた遅延音声信号を生成する第２ステップと、を実行させるプログラムでもある。

上述したいずれかのプログラムをコンピュータに実行させることにより、演奏対象とされた楽曲のテンポに対応した好適な遅延時間が自動的に設定され、当該遅延時間を用いて入力音声にディレイ効果が付与されるので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる

上述した本発明にかかるプログラムは、電気通信回線を通じ、或いは各種の情報記憶媒体（例えば、ＣＤ−ＲＯＭ等）を介して授受され得るものである。例えば、カラオケ装置としての機能がパーソナルコンピュータ上で実現されている場合に、本発明にかかる音声処理用のプログラムを当該パーソナルコンピュータにインストールすることにより、好適なディレイ効果が得られるように機能を向上させる（バージョンアップする）ことが可能となる。

本発明によれば、楽曲の演奏時のテンポに対応して好適な遅延時間が自動的に設定され、入力音声にディレイ効果が付与されるので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本発明の基本的な概念について説明するブロック図である。同図に示す本発明のカラオケ装置は、楽曲データ格納手段１、楽曲音声生成手段２、テンポ取得手段３、遅延時間設定手段４、遅延音声生成手段５、音響出力手段６、音声入力手段７を含んで構成される。

楽曲データ格納手段１は、楽曲の演奏（再生）に用いられる楽曲データを格納する。当該楽曲データは、楽曲の演奏時のテンポを示すテンポ情報を含むことが好ましい。

楽曲音声生成手段２は、演奏対象となる楽曲データを楽曲データ格納手段から取得し、当該楽曲データに基づいて、楽曲の音響出力を行うために用いる音声信号（以下、この音声信号を「楽曲音声信号」と称する。）を生成する。ここで、楽曲音声生成手段２によって生成される楽曲音声信号、すなわち楽曲の音響出力に用いられる音声信号はディジタル信号とアナログ信号のいずれでもよい。

テンポ取得手段３は、演奏対象となる楽曲の演奏時のテンポを取得する。より具体的には、テンポ取得手段３は、楽曲データに含まれるテンポ情報を抽出し、当該テンポ情報に基づいて楽曲の演奏時のテンポを取得する。また、テンポ取得手段３は、図示しない操作部等を用いて利用者により楽曲の演奏時のテンポが変更された場合には、当該利用者による操作指示に応じて楽曲の演奏時のテンポを取得する。

遅延時間設定手段４は、テンポ取得手段３によって取得される楽曲のテンポに対応する一拍の時間の１／２^ｎ倍（ｎは自然数）の遅延時間を設定する。ここで、「一拍の時間」とは、四分音符１つ分に対応する時間である。この遅延時間設定手段４は、上記した自然数ｎの値を複数用いて得た遅延時間の候補の中から、所定の基準時間との差が最も小さい一を遅延時間として設定する。

遅延音声生成手段５は、マイクロフォン等の音声入力手段７を介してカラオケ装置に入力される音声信号（以下、この音声信号を「入力音声信号」と称する。）を遅延時間設定手段４によって設定された遅延時間だけ遅延させた音声信号（以下、この音声信号を「遅延音声信号」と称する。）を生成する。ここで、入力音声信号及び遅延音声信号は、ディジタル信号とアナログ信号のいずれであってもよい。

音響出力手段６は、上述した楽曲音声信号、入力音声信号及び遅延音声信号に基づいて音響出力を行う。ここで、音響出力とは、楽曲音声信号、入力音声信号及び遅延音声信号を混合し、必要に応じて信号増幅を行うことによって得られるスピーカ駆動用のディジタル信号又はアナログ信号の出力を行うこと、又は当該ディジタル信号又はアナログ信号を用いてスピーカを駆動して音声出力を行うことのいずれをもその概念として含む。

本発明の基本的な概念は上述した通りであり、次に、本発明を適用した一実施形態のカラオケ装置について更に具体的に説明する。

図２は、一実施形態のカラオケ装置の構成について説明する図である。同図に示すカラオケ装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータを含み、当該コンピュータに所定のプログラムを実行させることにより全体動作が制御されるものである。このカラオケ装置は、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、ハードディスク装置（ＨＤＤ）１３、通信モデム１４、キースイッチコントローラ１５、楽曲再生エンジン１６、ボーカルエフェクトエンジン１７、マイクロフォン１８、ディジタルミキサ１９、音声信号用のディジタル／アナログ（Ｄ／Ａ）変換器２０、アンプスピーカシステム２１、映像テロップエンジン２２、映像信号用のディジタル／アナログ変換器２３、モニタ（表示装置）２４を含んで構成されている。

ＣＰＵ１０は、所定のプログラムを実行し、システムコントローラバスを介して相互に接続された各部とデータを授受し、カラオケ装置の全体動作を制御する。ＲＯＭ１１は、ＣＰＵ１０において実行されるべきプログラムや、その他各種データなどを格納する。ＲＡＭ１２は、ＣＰＵ１０の動作時にワークメモリとして用いられ、各種データを一時的に記憶する。本実施形態では、上述したテンポ取得手段及び遅延時間設定手段は、これらＣＰＵ１０、ＲＯＭ１１及びＲＡＭ１２からなるコンピュータと所定のプログラムとが協働することによって実現される。

ハードディスク装置１３は、楽曲の演奏に用いられる楽曲データや、歌詞などのテロップや背景映像などの表示に用いられる映像データなどを格納する。これらの楽曲データや映像データは、例えば、図示しないホスト装置から通信回線を通じて配信され、通信モデム１４を介して取得され、ハードディスク装置１３に記憶される。本実施形態では、楽曲データとして、電子楽譜形式のデータの１つであるＭＩＤＩデータを用いる。ＭＩＤＩデータには、楽曲の演奏に必要な楽譜情報、音色情報、テンポ情報など各種の演奏情報が含まれている。このＭＩＤＩデータとＭＩＤＩ音源とを用いて、楽曲演奏のための音声信号（楽曲信号）が生成される。

キースイッチコントローラ１５は、図示しないリモコンや操作パネル等を用いて利用者により行われる入力操作に関する制御を行う。例えば、利用者によって希望の楽曲の番号等が指定されると、当該操作指示の内容がキースイッチコントローラ１５からＣＰＵ１０に送られる。この場合に、ＣＰＵ１０は、必要な楽曲データ及び映像データをハードディスク装置１３から読み出し、楽曲データを楽曲再生エンジン１６に、映像データを映像テロップエンジン２２にそれぞれ送る。また、利用者による楽曲の演奏時のテンポの変更操作についてもこのキースイッチコントローラ１５を用いて行われる。

楽曲再生エンジン１６は、ハードディスク装置１３から取得される楽曲データに基づいて楽曲音声信号を生成する。本実施形態の楽曲再生エンジン１６はＭＩＤＩ音源を備えており、ＭＩＤＩデータに基づいて当該ＭＩＤＩ音源を駆動して楽曲を再生し、ディジタル楽曲信号を生成する。

ボーカルエフェクトエンジン１７は、マイクロフォン１８を介して入力される音声信号、すなわち歌唱者の歌声に対応する音声信号（入力音声信号）に対してディジタル処理を施し、ディレイやリバーブ等の音響効果の付与やその他の音質調整（例えばノイズ除去等）を行い、ディジタル音声信号を生成する。

ここで、ディレイとは、元の音声に対してこれを所定時間だけ遅延させて合成することにより音声に厚みを持たせる音響効果である。また、リバーブとは、元の音声に対して反射音（残響音）を擬似的に生成してこれを合成することにより空間的な広がりを持たせる音響効果である。一般には、これらの音響効果を総称して「エコー効果」と称されている。本実施形態のカラオケ装置では、ボーカルエフェクトエンジン１７がディレイ効果を付与する際の遅延時間は、楽曲の演奏時のテンポに応じてＣＰＵ１０により自動的に設定される。この遅延時間を自動設定する処理の詳細については後述する。

ディジタルミキサ１９は、楽曲再生エンジン１６から出力されるディジタル楽曲信号と、ボーカルエフェクトエンジン１７から出力されるディジタル音声信号とを混合する。ディジタルミキサ１９によって生成されるディジタル信号がディジタル／アナログ変換器２０によってアナログ信号に変換され、アンプスピーカシステム２１に出力されることによって楽曲の演奏音とディレイ効果等の音響処理がなされた歌唱者の歌声の音響出力がなされる。

映像テロップエンジン２２は、ハードディスク装置１３から取得される映像データに基づいて、歌詞などのテロップや背景映像などの表示を行うためのディジタル映像信号を生成する。例えば、ハードディスク装置１３に格納される映像データとしてＭＰＥＧ形式のデータが用いられている場合であれば、映像テロップエンジン２２は、当該ＭＰＥＧデータをデコードする処理を行う。映像テロップエンジン２２によって生成されるディジタル映像信号がディジタル／アナログ変換器２３によってアナログ信号に変換され、モニタ２４に出力されることによって背景映像やテロップの表示がなされる。

なお、上述したハードディスク装置１３が楽曲データ格納手段に、楽曲再生エンジン１６が楽曲音声生成手段に、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２がテンポ取得手段及び遅延時間設定手段に、マイクロフォン１８が音声入力手段に、ボーカルエフェクトエンジン１７が遅延音声生成手段に、ディジタルミキサ１９、Ｄ／Ａ変換器２０及びアンプスピーカシステム２１が音響出力手段にそれぞれ対応する。

本実施形態のカラオケ装置はこのような構成を備えており、次に、利用者によって選択される楽曲に応じた好適なディレイ効果を付与するための遅延時間を設定する際の処理手順について詳細に説明する。

図３は、ディレイ効果を付与するための遅延時間を設定する処理手順について説明するフローチャートである。

ＣＰＵ１０は、利用者によってキースイッチコントローラ１５を介して楽曲が選曲されたか否かを判定する（ステップ１００）。利用者によって選曲が行われた場合には、ステップ１００で肯定判断（ＹＥＳ）がなされ、ＣＰＵ１０は、選曲された楽曲に対応する楽曲データをハードディスク装置１３から読み出して楽曲再生エンジン１６に送ると共に、当該楽曲データに含まれるテンポ情報に基づいて楽曲の演奏時のテンポを取得する（ステップ１０１）。

なお、カラオケ装置に備わった操作ボタン或いはリモコン装置等を用いて、利用者により楽曲の演奏時のテンポが任意に変更された場合には、ＣＰＵ１０は、当該操作指示に対応して楽曲の演奏時のテンポを取得する。楽曲の演奏中に当該操作指示がなされた場合については、ＣＰＵ１０はその都度変更後のテンポを取得する。

次にＣＰＵ１０は、楽曲のテンポに基づいて当該楽曲の一拍あたりの時間を算出する（ステップ１０２）。例えば、テンポが１２０で４／４拍子の楽曲の場合には、一拍あたりの時間Ｔが５００ｍｓ（ミリ秒）と算出される。なお、楽曲が４／４拍子以外の場合（例えば３／４拍子等）については、かかる事情を考慮して一拍の時間Ｔが算出される。

次にＣＰＵ１０は、ステップ１０２において算出した一拍あたりの時間Ｔを１／２^ｎ倍（ｎは自然数）することによって、複数の遅延時間の候補を算出する（ステップ１０３）。具体的には、ＣＰＵ１０は、上述したｎの値を１，２，３、…と複数用いてＴ／２^１、Ｔ／２^２、Ｔ／２^３…の値をそれぞれ計算することにより、複数の遅延時間の候補を得る。例えば、Ｔ＝５００ｍｓの場合であれば、遅延時間の候補は、２５０ｍｓ、１２５ｍｓ、６２．５ｍｓ…というように求められる。なお、実用的な観点からは、上記ｎの値は適宜設定した最大値までの範囲内（例えば１〜５の範囲内）として演算量を低減させることが好適である。

次にＣＰＵ１０は、ステップ１０３において算出した遅延時間の候補の中から、所定の基準時間との差が最も小さい一を遅延時間として選択し、当該遅延時間の値をボーカルエフェクトエンジン１７に設定する（ステップ１０４）。ここで、上述した基準時間は、１００ｍｓ〜３００ｍｓ程度の時間に設定すると、多くの利用者の感覚に適合した好適な結果が得られることが経験的に分かっている。本実施形態では、この基準時間を２１０ｍｓとする。

図４は、遅延時間の候補中から一を選択する処理の具体例を説明する図である。例えば、テンポが１２０で４／４拍子の楽曲の場合には、遅延時間の候補は２５０ｍｓ、１２５ｍｓ、６２ｍｓ…と求められる。これらの候補において、基準時間の２１０ｍｓとの差が最も小さいのは２５０ｍｓである。したがって、当該楽曲に対応する遅延時間は２５０ｍｓと設定される。同様に、テンポが９０で４／４拍子の楽曲では、遅延時間の候補は３３３ｍｓ、１６７ｍｓ、８３ｍｓ、…と求められる。これらの候補において、基準時間の２１０ｍｓとの差が最も小さいのは１６６ｍｓである。したがって、当該楽曲に対応する遅延時間は１６６ｍｓと設定される。

ＣＰＵ１０によって遅延時間が設定されると、ボーカルエフェクトエンジン１７は、当該遅延時間に対応して、マイクロフォン１８を介して入力される音声信号（入力音声信号）を遅延させて遅延音声信号を生成する（ステップ１０５）。当該遅延音声信号が入力音声信号と合成されることによりディレイ効果が得られる。このボーカルエフェクトエンジン１７によるディレイ効果の付与処理は、楽曲の演奏が終了するまで継続して行われる（ステップ１０６）。

なお、遅延音声信号の信号レベルは、入力音声信号よりも小さくすることが好ましい。例えば、入力音声信号の信号レベルに対して遅延音声信号の信号レベルを５０％以下くらいにして両者をミックスすることにより、効果が過剰とならず好適なディレイ効果を得ることができる。このような遅延音声信号のレベル調整は、例えばボーカルエフェクトエンジン１７において行うとよいが、ディジタルミキサ１９において行うことも可能である。その場合には、ボーカルエフェクトエンジン１７から元の音声信号に対応するディジタル信号と遅延音声信号に対応するディジタル信号を別々に出力するようにしておけばよい。

このように、本実施形態のカラオケ装置は、演奏対象とされた楽曲のテンポに対応して好適な遅延時間を自動的に設定し、当該遅延時間を用いて入力音声にディレイ効果を付与しているので、専門的知識や煩雑な操作を必要とせずに楽曲に応じた適切な音響効果を得ることが可能となる。

なお、本発明は上述した実施形態の内容に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態に示したカラオケ装置１では、楽曲の再生については楽曲再生エンジン１６、ディレイ効果の付与（遅延音声信号の生成）などの音声処理についてはボーカルエフェクトエンジン１７、各音声信号の混合や増幅等の処理についてはディジタルミキサ１９がそれぞれ担っていたが、これらの機能のいずれか又は全てはＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２を含むハードウェア資源（コンピュータ）と当該コンピュータ上で上記機能を実現するためのプログラムとが協働することによって具現化することも可能である。

また、上述した実施形態では、複数の遅延時間の候補中からいずれか一を選択していたが、２以上の遅延時間を選択し、これら複数の遅延時間のそれぞれに対応して得られる遅延音声信号を元の音声信号に重畳させるようにしてもよい。例えば、上述したテンポが１２０で４／４拍子の楽曲の場合には、遅延時間の候補として得られた２５０ｍｓと１２５ｍｓの２つを選択し、それぞれの遅延時間に対応した遅延音声信号を生成して元の音声信号と混合するとよい。かかる場合にも、各音声信号の相互間で信号レベルを調整すると更に好ましい。

また、楽曲のジャンルに応じて、遅延時間を長短を選択するようにすることも好適である。ここで「楽曲のジャンル」とは、例えば、ロック、ポップス、演歌など、楽曲の雰囲気を端的に分類するものをいう。このような楽曲のジャンルは、例えば、楽曲データに楽曲のジャンルを示すジャンル情報を含ませておき、当該ジャンル情報に基づいて識別することが可能である。この場合には、遅延時間設定手段により、上述した自然数ｎの値を複数用いて得た遅延時間の候補の中から楽曲のジャンルに応じた時間長を有する一の候補を遅延時間として設定する。

具体的には、各楽曲のジャンルに応じて、例えばロック等では上述した基準時間を比較的に短め（例えば１５０ｍｓ）に設定しておくことにより、当該基準時間に最も近い遅延時間、すなわち比較的に短めの時間長の遅延時間が選択されるようになり、歯切れよいディレイ効果が得られるようになる。また、演歌等では上述した基準時間を比較的に長め（例えば２５０ｍｓ）に設定しておくことにより、当該基準時間に最も近い遅延時間、すなわち比較的に長めの時間長の遅延時間が選択されるようになり、重厚な（ねばりのある）ディレイ効果が得られるようになる。このように、それぞれの楽曲のジャンルによって遅延時間の長さ（時間長）を増減することにより、各楽曲の雰囲気に合わせた好適なディレイ効果を付与することが可能となる。

また、遅延時間設定手段によって設定された遅延時間を楽曲のジャンルに応じた所定範囲内で整数倍し、当該整数倍された遅延時間のそれぞれに対応する複数の遅延音声信号を生成することも好ましい。より具体的には、各楽曲のジャンルに応じて、例えば、ロック等では遅延時間を整数倍する際の所定範囲を「１〜２」程度とすることにより、元の音声に対する繰り返し回数（ディレイ回数）を少なめにした歯切れよいディレイ効果が得られる。同様に、演歌等では遅延時間を整数倍する際の所定範囲を「１〜５」程度とすることにより、ディレイ回数が多めの重厚なディレイ効果が得られる。これにより、各楽曲の雰囲気により適応した好適なディレイ効果を付与することが可能となる。

また、上述した実施形態では、楽曲データに含まれるテンポ情報に基づいて、或いは利用者（歌唱者）によって設定される楽曲の演奏時のテンポに基づいて遅延時間が設定されていたが、当該遅延時間を示す情報（遅延時間情報）を楽曲データに含ませておき、当該遅延時間情報に基づいて遅延時間が設定されてもよい。この場合には、上述した実施形態の場合と同様な方法によって予め各楽曲ごとに好適な遅延時間を算出しておき、この遅延時間を示す遅延時間情報を楽曲データ（例えば、背景映像指定などに使われるヘッダデータ等）に含めておけばよい。

また、楽曲の演奏に用いられる楽曲データは、上述したＭＩＤＩデータ以外にも、例えばＭＰ３（ＭＰＥＧ１オーディオレイヤ３）形式のデータなど種々のものを適用し得る。

上述したカラオケ装置に適用されていた音声処理方法（楽曲に応じた好適な遅延時間を設定する音声処理方法）をコンピュータに実行させるためのプログラムは、電気通信回線を通じ、或いは各種の情報記憶媒体（例えば、ＣＤ−ＲＯＭ等）を介して授受され得る。例えば、カラオケ装置としての機能がパーソナルコンピュータ上で実現されている場合に、本発明にかかる音声処理用のプログラムを入手して当該パーソナルコンピュータにインストールすることにより、好適なディレイ効果が得られるように機能を向上させる（バージョンアップする）ことが可能である。

本発明の基本的な概念について説明するブロック図である。一実施形態のカラオケ装置の構成について説明する図である。ディレイ効果を付与するための遅延時間を設定する処理手順について説明するフローチャートである。遅延時間の候補中から一を選択する処理の具体例を説明する図である。

符号の説明

１楽曲データ格納手段
２楽曲音声生成手段
３テンポ取得手段
４遅延時間設定手段
５遅延音声生成手段
６音響出力手段
７音声入力手段
１０ＣＰＵ
１１ＲＯＭ
１２ＲＡＭ
１３ハードディスク装置（ＨＤＤ）
１４通信モデム
１５キースイッチコントローラ
１６楽曲再生エンジン
１７ボーカルエフェクトエンジン
１８マイクロフォン
１９ディジタルミキサ
２０音声信号用のディジタル／アナログ（Ｄ／Ａ）変換器
２１アンプスピーカシステム
２２映像テロップエンジン
２３映像信号用のディジタル／アナログ変換器
２４モニタ（表示装置）

Claims

楽曲の演奏に用いられる楽曲データを格納する楽曲データ格納手段と、
演奏対象となる楽曲に対応する前記楽曲データを前記楽曲データ格納手段から取得し、当該楽曲データに基づいて楽曲音声信号を生成する楽曲音声生成手段と、
前記演奏対象となる楽曲の演奏時のテンポを取得するテンポ取得手段と、
前記テンポ取得手段により取得される前記テンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）の遅延時間を設定する遅延時間設定手段と、
歌唱者の音声を入力する音声入力手段と、
前記音声入力手段から入力された入力音声信号を前記遅延時間設定手段によって設定された前記遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段と、
前記楽曲音声信号、前記入力音声信号及び前記遅延音声信号に基づいて音響出力を行う音響出力手段と、
を備え、
前記遅延時間設定手段は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一を前記遅延時間として設定する、
カラオケ装置。
前記基準時間は１００ミリ秒以上３００ミリ秒以下の範囲内で設定される、請求項１に記載のカラオケ装置。
前記楽曲データは前記楽曲のジャンルを示すジャンル情報を更に含み、
前記遅延時間設定手段は、前記ジャンル情報に基づいて特定される前記楽曲のジャンルに応じて前記基準時間を可変に設定する、請求項１又は２に記載のカラオケ装置。
前記楽曲データは、前記楽曲の演奏時のテンポを示すテンポ情報を含み、
前記テンポ取得手段は、当該テンポ情報に基づいて前記テンポを取得する、請求項１乃至３の何れか１項に記載のカラオケ装置。
前記テンポ取得手段は、利用者による操作指示に応じて前記テンポを取得する、請求項１乃至３の何れか１項に記載のカラオケ装置。
前記遅延音声生成手段は、前記ジャンル情報に基づいて、前記遅延時間設定手段によって設定された前記遅延時間を前記楽曲のジャンルに応じた所定範囲内で整数倍し、当該整数倍された遅延時間のそれぞれに対応する複数の遅延音声信号を生成する、請求項１乃至５のいずれかに記載のカラオケ装置。
前記遅延音声生成手段は、前記遅延音声信号の信号レベルが前記入力音声信号よりも小さくなるようにレベル調整をして前記遅延音声信号を生成する、請求項１乃至６のいずれかに記載のカラオケ装置。
前記音響出力手段は、前記遅延音声信号の信号レベルが前記入力音声信号よりも小さくなるように信号レベルを調整して音響出力を行う、請求項１乃至７のいずれかに記載のカラオケ装置。
楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを格納する楽曲データ格納手段と、
演奏対象となる楽曲に対応する前記楽曲データを前記楽曲データ格納手段から取得し、当該楽曲データに基づいて楽曲音声信号を生成する楽曲音声生成手段と、
歌唱者の音声を入力する音声入力手段と、
前記楽曲データに含まれる前記遅延時間情報に基づいて前記遅延時間を設定する遅延時間設定手段と、
前記音声入力手段から入力された入力音声信号を前記遅延時間設定手段によって設定された前記遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段と、
前記楽曲音声信号、前記入力音声信号及び前記遅延音声信号に基づいて音響出力を行う音響出力手段と、
を備え、
前記遅延時間情報によって示される前記遅延時間は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一の遅延時間である、
カラオケ装置。
プログラムされたコンピュータによって、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理方法であって、
テンポ取得手段が、演奏対象となる楽曲の演奏時のテンポを取得する第１ステップと、
遅延時間設定手段が、前記第１ステップにて取得される前記楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）の遅延時間を設定する第２ステップと、
遅延音声生成手段が、前記入力音声信号を前記第２ステップにおいて設定された前記遅延時間だけ遅延させた遅延音声信号を生成する第３ステップと、
を含み、
前記第２ステップにおいて、前記遅延時間設定手段は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一を前記遅延時間として設定する、
音声処理方法。
プログラムされたコンピュータによって、入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理方法であって、
遅延時間設定手段が、楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを取得し、当該楽曲データに含まれる前記遅延時間情報に基づいて前記遅延時間を設定する第１ステップと、
遅延音声生成手段が、前記入力音声信号を前記遅延時間設定手段によって設定された前記遅延時間だけ遅延させた遅延音声信号を生成する第２ステップと、
を含み、
前記第１ステップにおいて、前記遅延時間情報によって示される前記遅延時間は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一の遅延時間である、
音声処理方法。
入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、
前記コンピュータを、
演奏対象となる楽曲の演奏時のテンポを取得するテンポ取得手段、
前記テンポ取得手段によって取得される前記楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）の遅延時間を設定する遅延時間設定手段、
入力音声信号を前記遅延時間設定手段によって設定された前記遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段、
として機能させるためのプログラムであり、かつ、
前記遅延時間設定手段は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一を前記遅延時間として設定する、
プログラム。
入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、
前記コンピュータを、
楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを取得し、当該楽曲データに含まれる前記遅延時間情報に基づいて前記遅延時間を設定する遅延時間設定手段、
前記入力音声信号を前記遅延時間設定手段によって設定された前記遅延時間だけ遅延させた遅延音声信号を生成する遅延音声生成手段、
として機能させるためのプログラムであり、かつ、
前記遅延時間情報によって示される前記遅延時間は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一の遅延時間である、
プログラム。
入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、
演奏対象となる楽曲の演奏時のテンポを取得する第１ステップと、
前記第１ステップにて取得される前記楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）の遅延時間を設定する第２ステップと、
前記入力音声信号を前記第２ステップにおいて設定された前記遅延時間だけ遅延させた遅延音声信号を生成する第３ステップと、
を実行させるプログラムであり、かつ、
前記第２ステップにおいては、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一を前記遅延時間として設定する、
プログラム。
入力音声信号を所定時間だけ遅延させた遅延音声信号を生成する音声処理をコンピュータに実行させるプログラムであって、
楽曲の演奏時のテンポに対応する一拍の時間の１／２ⁿ倍（ｎは自然数）に設定された遅延時間を示す遅延時間情報を含み、当該楽曲の演奏に用いられる楽曲データを取得し、当該楽曲データに含まれる前記遅延時間情報に基づいて前記遅延時間を設定する第１ステップと、
前記入力音声信号を前記第１ステップにて設定された前記遅延時間だけ遅延させた遅延音声信号を生成する第２ステップと、
を実行させるプログラムであり、かつ、
前記第１ステップにおいて、前記遅延時間情報によって示される前記遅延時間は、前記ｎの値を複数用いて得られる前記遅延時間の候補の中から所定の基準時間との差が最も小さい一の遅延時間である、
プログラム。