JP5292702B2 - 楽音信号生成装置及びカラオケ装置 - Google Patents

楽音信号生成装置及びカラオケ装置 Download PDF

Info

Publication number
JP5292702B2
JP5292702B2 JP2007032100A JP2007032100A JP5292702B2 JP 5292702 B2 JP5292702 B2 JP 5292702B2 JP 2007032100 A JP2007032100 A JP 2007032100A JP 2007032100 A JP2007032100 A JP 2007032100A JP 5292702 B2 JP5292702 B2 JP 5292702B2
Authority
JP
Japan
Prior art keywords
sound
musical
pitch
control information
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007032100A
Other languages
English (en)
Other versions
JP2008197350A (ja
Inventor
亮 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2007032100A priority Critical patent/JP5292702B2/ja
Publication of JP2008197350A publication Critical patent/JP2008197350A/ja
Application granted granted Critical
Publication of JP5292702B2 publication Critical patent/JP5292702B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、楽音信号を生成する技術に関する。
従来、マイクから入力された音声のピッチやレベルを用いて楽音を奏でる電子楽器が開発されている。それらの電子楽器においては、入力される音声のレベルを用いて楽音のノートオン・音量・ノートオフを制御したり、入力音声のピッチを検出して楽音のピッチを決定したりするものがある(例えば、特許文献1参照)。
特許第3705175公報
ところで、上述したような電子楽器において、ノートオン、ノートオフ、音量、ピッチ以外にも、例えば音色の変更や各種エフェクトの付与といった、様々な演奏表現を楽音に付与することができれば好適である。しかしながら、従来の装置では、他の様々な演奏表現(音色の変更やエフェクト等)を付与するためには、装置の利用者がそのための操作(例えばペダルの押下やボタンの押下、等)を別途行う必要があり、その操作が煩雑となる場合が多かった。
本発明は上述した背景の下になされたものであり、音声に対して様々な演奏表現を付与することのできる技術を提供することを目的とする。
本発明の好適な態様である楽音信号生成装置は、音声の特徴を表す特徴情報と波形の属性の態様を表す楽音制御情報との対応関係を記憶する対応関係記憶手段と、収音手段によって収音された音声の特徴を検出する特徴検出手段と、前記特徴検出手段が検出した特徴に対応する楽音制御情報を、前記対応関係記憶手段に記憶された対応関係を参照して特定する楽音制御情報特定手段と、前記収音手段によって収音された音声に基づいて楽音信号を生成するとともに、生成する楽音信号が持つ波形の属性が前記楽音制御情報特定手段によって特定された楽音制御情報に対応するように前記楽音信号を生成する楽音信号生成手段とを具備することを特徴としている。
上述の態様において、前記特徴検出手段は、前記収音手段によって収音された音声の母音及び子音の少なくともいずれか一方を当該音声の特徴として検出してもよい。
また、上述の態様において、前記特徴検出手段は、前記収音手段によって収音された音声の第1フォルマント周波数及び第2フォルマント周波数を当該音声の特徴として検出し、前記楽音制御情報特定手段は、前記特徴検出手段が検出した第1フォルマント周波数及び第2フォルマント周波数の少なくともいずれか一方に対応する楽音制御情報を、前記対応関係記憶手段を参照して特定してもよい。
また、上述の態様において、前記対応関係記憶手段は、前記波形の属性の態様を表す楽音制御情報として音色を示す音色情報を記憶し、前記楽音信号生成手段は、前記収音手段によって収音された音声の音色を前記楽音制御情報特定手段が特定した楽音制御情報の示す音色に変換した音色を表す楽音信号を生成してもよい。
また、上述の態様において、前記対応関係記憶手段は、前記波形の属性の態様を表す楽音制御情報として音響効果を示すエフェクト情報を記憶し、前記楽音信号生成手段は、前記収音手段によって収音された音声に対して前記楽音制御情報特定手段が特定した楽音制御信号の示す音響効果を付与した音声を表す楽音信号を生成してもよい。
また、上述の態様において、所定範囲毎に量子化された周波数について、各所定範囲と音高との対応関係を記憶するクォンタイズ記憶手段と、1又は複数の音高を指示する音高許可手段と、音声の周波数を検出し、検出した周波数に対応する音高を前記クォンタイズ記憶手段に記憶された対応関係に基づいて特定し、特定した音高が前記音高許可手段によって指示されているものである場合には、当該音高の楽音信号を生成する一方、それ以外の場合には、楽音信号を生成しないクォンタイズ手段とを備え、前記対応関係記憶手段は、前記波形の属性の態様を示す楽音制御情報としてクォンタイズを行うか否かを示すクォンタイズ情報を記憶し、前記楽音信号生成手段は、前記楽音制御情報特定手段が特定した楽音制御情報がクォンタイズを行う旨を示す情報である場合には、前記収音手段によって収音された音声を前記クォンタイズ手段に供給してクォンタイズ処理を施した楽音信号を生成させる一方、それ以外の場合には、前記収音手段によって収音された音声の音高の楽音信号を生成してもよい。
また、上述の態様において、所定範囲毎に量子化された周波数について各所定範囲と音高との対応関係を記憶する第2の対応関係記憶手段であって、前記所定範囲がそれぞれで異なる複数の対応関係を記憶するクォンタイズ記憶手段と、前記楽音制御情報特定手段が特定した楽音制御情報に対応する対応関係を前記クォンタイズ記憶手段から特定するクォンタイズ態様特定手段と、音声の周波数を検出し、検出した周波数に対応する音高を、前記クォンタイズ態様特定手段が特定した対応関係に基づいて特定し、特定した音高の楽音信号を生成するクォンタイズ手段とを備え、前記楽音信号生成手段は、収音手段によって収音された音声を前記クォンタイズ手段に供給してもよい。
上述の態様において、前記クォンタイズ手段は、特定した音高が前記音高許可手段によって指示されているものである場合には、当該音高の楽音信号を発生させる一方、それ以外の場合には、直前に発生させた音高の楽音を継続して発生させてもよい。
上述の態様において、所定範囲毎に量子化された周波数について、各所定範囲と前記音高許可手段が許可した音高との対応関係を記憶する第2のクォンタイズ記憶手段を備え、前記クォンタイズ手段は、音声の周波数の検出を開始したときには、前記周波数検出手段が検出した周波数に対応する音高を、前記第2のクォンタイズ記憶手段に記憶された対応関係に基づいて特定する一方、前記音声の周波数の検出を連続して行っている最中においては、検出した周波数に対応する音高を、前記クォンタイズ記憶手段に記憶された対応関係に基づいて特定してもよい。
また、本発明の好適な態様であるカラオケ装置は、上述の楽音信号生成装置と、楽曲の伴奏音を表す伴奏データを記憶する伴奏データ記憶手段と、前記伴奏データ記憶手段に記憶された伴奏データを読み出して、読み出した伴奏データを放音手段に出力する伴奏データ出力手段とを備えることを特徴としている。
本発明によれば、音声に対して様々な演奏表現を付与することができる。
以下、図面を参照して、本発明の実施形態について説明する。
<A:第1実施形態>
<A−1:構成>
図1は、この発明の一実施形態であるカラオケ装置1のハードウェア構成を示すブロック図である。図において、制御部11は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)を備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、バスBUSを介してカラオケ装置1の各部を制御する。記憶部12は、制御部11によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶パネルなどを備え、制御部11による制御の下に各種の画像を表示する。操作部14は、カラオケ装置1の利用者による操作に応じた信号を制御部11に出力する。マイクロフォン15は、利用者が発音した音声を収音し、収音した音声を表す音声信号(アナログ信号)を出力する。音声処理部16は、マイクロフォン15が出力する音声信号(アナログ信号)をデジタルデータに変換する。また、音声処理部16は、デジタルデータをアナログ信号に変換してスピーカ17に出力する。スピーカ17は、音声処理部16でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する。
なお、この実施形態では、マイクロフォン15とスピーカ17とがカラオケ装置1に含まれている場合について説明するが、音声処理部16に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロフォンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロフォン15から音声処理部16へ入力される音声信号及び音声処理部16からスピーカ17へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部16にてA/D変換やD/A変換を行う必要はない。
記憶部12は、図示のように、伴奏データ記憶領域121と、対応関係記憶領域122と楽音波形記憶領域123と、スペクトルパターン記憶領域124と、レベル変化パターン記憶領域125とを有している。伴奏データ記憶領域121には、MIDI形式などのデータ形式であって、各楽曲の伴奏楽音を構成する伴奏データが楽曲毎に記憶されている。
対応関係記憶領域122には、音声の特徴を表す特徴情報と波形の属性の態様を表す楽音制御情報との対応関係を示すテーブルが記憶されている。この実施形態では、音声の特徴を表す特徴情報として、音声の子音の種類を示す情報を用いる。図2は、対応関係記憶領域122に記憶されているテーブルの内容の一例を示す図である。図示のように、この記憶領域には、「子音情報」と「楽音制御情報」との各項目が互いに関連付けられて記憶されている。これらの項目のうち、「子音情報」の項目には、音声の子音の種類を示す子音情報が記憶される。「楽音制御情報」の項目には、例えばピアノやトランペットなどの楽器の種類を示す情報、すなわち音色の種別を示す音色情報が記憶されている。図2に示す例においては、子音「t」に対して楽器「トランペット」が対応付けられており、また、子音「s」に対して楽器「フルート」が対応付けられている。なお、子音としては、スペクトルパターンに判別しやすい特徴を有する子音(例えば、「t」や「s」など)を用いることが好ましい。
カラオケ装置1の利用者は、操作部14を操作して、この対応関係記憶領域122に記憶されたテーブルの内容を変更することができる。利用者が操作部14を操作すると、操作部14は、操作内容に応じた信号を制御部11に出力する。制御部11は、操作部14から出力される信号に応じて、対応関係記憶領域122に記憶されたテーブルの内容を変更する。
楽音波形記憶領域123には、例えばギター、ピアノ等の楽器の演奏音に対応する波形のサンプル値からなる波形情報(ウェーブテーブル)が記憶されている。なお、この波形情報は、ギターやピアノの演奏音に対応する波形に限らず、例えばドラムなど、他のどのような楽器の演奏音に対応する波形のサンプル値からなる波形情報であってもよい。また、楽器の演奏音に限らず、単なる電子音に対応する波形のサンプル値からなる波形情報であってもよい。
スペクトルパターン記憶領域124には、複数の子音について、それぞれの子音に特徴的に現れるスペクトルパターンを表す情報が記憶されている。また、レベル変化パターン記憶領域125には、複数の子音について、それぞれの子音に特徴的に現れるレベルの変化パターンを表す情報が記憶されている。制御部11は、音声データのスペクトルパターンを、このスペクトルパターン記憶領域124に記憶されたスペクトルパターンとマッチングし、さらに、音声データのレベル変化パターンを、レベル変化パターン記憶領域125に記憶されたレベル変化パターンとマッチングして、音声データの子音を判別する。
次に、カラオケ装置1の機能的構成について、図3を参照しつつ説明する。図3は、カラオケ装置1の機能的構成の一例を示す図である。図において、周期性判別部111,スペクトルパターン・レベル変化パターン検出部112,レベル検出部114,ピッチ検出部115,フォルマント検出部116及びMIDI音源部117は、カラオケ装置1の制御部11がROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより実現される。
図3において、周期性判別部111は、音声処理部16から供給されるデジタルデータ(以下、単に「音声データ」という)に周期性があるか否かを判定する機能を備える。この実施形態では、周期性判別部111は、周期性の有無によって音声の子音区間と母音区間とを分ける。マイクロフォン15で収音された音声は、音声処理部16でデジタルデータに変換される。周期性判別部111は、音声処理部16から出力される音声データに周期性があるか否かを判定し、周期性のない区間、すなわち子音区間の音声データをスペクトルパターン・レベル変化パターン検出部112に出力する。一方、周期性判別部111は、周期性のある区間、すなわち母音区間の音声データを、レベル検出部114,ピッチ検出部115及びフォルマント検出部116に出力する。
スペクトルパターン・レベル変化パターン検出部112は、周期性判別部111から供給される音声データから所定時間長(例えば、フレーム長が30msec、フレームシフト幅が3msec)のフレーム単位で、スペクトルパターンを検出する機能を備えるとともに、レベル変化パターンを検出する機能を備える。スペクトルパターンの検出にはFFT(Fast Fourier Transform)が用いられる。スペクトルパターン・レベル変化パターン検出部112は、検出したスペクトルパターンとレベル変化パターンとに基づいて子音の種別を判定し、判別した子音に対応する楽音制御情報を、対応関係記憶領域122から読み出し、読み出した楽音制御情報の表す楽器を示すデータを、MIDI音源部117に供給する。
ここで、スペクトルパターン・レベル変化パターン検出部112が行う子音の判別処理の内容について、図4を参照しつつ以下に説明する。図4は、音声データの表す音声波形の一例を示す図である。図4に示す例は、「と(to)」という発音がなされたときの音声波形を示したものである。図において、区間Δt1は子音「t」の区間を示し、区間Δt2は母音「o」の区間を示す。図示のように、無声破裂音は、声道の閉鎖による数十ミリ秒の無音区間の後、開口のタイミングにパルス的な波形があり、その直後に周期性のある区間(母音)に移るという特徴がある。この実施形態では、このような無声破裂音の特徴を利用して子音の判別を行う。
周期性判別部111は、図4に示す音声波形のうち、区間Δt1の部分の音声データをスペクトルパターン・レベル変化パターン検出部112に供給する。一方、周期性判別部111は、図4に示す音声波形のうち、区間Δt2の部分の音声データを、レベル検出部114、ピッチ検出部115及びフォルマント検出部116に供給する。スペクトルパターン・レベル変化パターン検出部112は、周期性判別部111から供給される区間Δt1の部分の音声データのスペクトルパターンを、スペクトルパターン記憶領域124に記憶された複数のスペクトルパターンと照合し、さらに、この区間の音声データのレベル変化パターンを、レベル変化パターン記憶領域125に記憶されたレベル変化パターンと照合する。スペクトルパターン・レベル変化パターン検出部112は、スペクトルパターンとレベル変化パターンとの組み合わせパターンの一致度が最も高いスペクトルパターンとレベル変化パターンに対応する子音を、その音声データの子音として判別する。
スペクトルパターン・レベル変化パターン検出部112は、子音を判別すると、判別した子音に対応する楽音制御情報を、対応関係記憶領域122から読み出し、読み出した楽音制御情報の表す楽器を示すデータを、MIDI音源部117に供給する。具体的には、例えば、図4に示す例においては、スペクトルパターン・レベル変化パターン検出部112は、音声データをスペクトルパターン記憶領域124に記憶された複数のスペクトルパターンと照合して、その音声データが子音「t」を表すものであると判別する。そして、スペクトルパターン・レベル変化パターン検出部112は、子音「t」に対応する楽音制御情報を対応関係記憶領域122から読み出し、読み出した楽音制御情報に応じたデータをMIDI音源部117に供給する。
レベル検出部114は、音声データから、所定時間長(例えば、フレーム長が30msec、フレームシフト幅が3msec)のフレーム単位で、音声のレベル(パワー)を検出する機能を備える。レベル検出部114は音声データのレベルを検出し、検出したレベルに応じて、MIDI形式のノートオン・ノートオフ・ボリューム・ベロシティ・エクスプレッションを示すデータをMIDI音源部117に供給する。
ピッチ検出部115は、音声データから、所定時間長のフレーム単位で、音声のピッチを検出する機能を備える。ピッチ検出部115は、音声のピッチを検出し、検出したピッチに応じて、MIDI形式のノートナンバーやピッチベンドを示すデータをMIDI音源部117に供給する。
MIDI音源部117は、スペクトルパターン・レベル変化パターン検出部112、レベル検出部114及びピッチ検出部115から出力される各種のデータに応じたMIDI形式のデータ(以下、「MIDIデータ」という)を生成し、音声処理部16に供給する。音声処理部16は、供給されるMIDIデータを、楽音波形記憶領域123に記憶された楽音波形を用いてアナログ信号に変換し、変換したアナログ信号をスピーカ17に供給する。これにより、スピーカ17からは、MIDI音源部117が生成したMIDIデータの表す楽音が放音される。
<A−2:実施形態の動作>
次に、この実施形態の動作について、図5に示すフローチャートを参照しつつ説明する。まず、利用者は、カラオケ装置1の操作部14を操作して、歌唱したい楽曲を選択する操作を行う。操作部14は、操作された内容に応じた操作信号を制御部11へ出力する。制御部11は、操作部14から出力される操作信号に応じて楽曲を選択する(ステップS1)。制御部11は、選択した楽曲のカラオケ伴奏を開始する。すなわち、音声処理部16は、制御部11の制御の下、伴奏データ記憶領域121から伴奏データを読み出して音声処理部162でアナログ信号に変換し、スピーカ17に供給する。スピーカ17は、供給されるアナログ信号に応じて、伴奏音を放音する。利用者は、スピーカ17から放音される伴奏音にあわせて歌唱を行う。このとき、利用者の音声はマイクロフォン15によって収音されて音声信号に変換され、音声処理部16へと出力される(ステップS2)。音声処理部16は、マイクロフォン15から出力される音声信号をデジタルデータに変換する。
制御部11は、音声処理部16から供給される音声データに対して、上述した周期性判別部111の処理を行う。すなわち、制御部11は、音声データに周期性があるか否かを判定する(ステップS3)。周期性がない区間においては、制御部11は、音声データに対して、上述したスペクトルパターン・レベル変化パターン検出部112の処理を行う(ステップS4)。すなわち、制御部11は、所定時間長のフレーム単位で音声データのスペクトルパターンを検出する。また、制御部11は、音声データのレベル変化パターンを検出する。次いで、制御部11は、検出したスペクトルパターンをスペクトルパターン記憶領域124に記憶されたスペクトルパターンとマッチングして、さらに、レベル変化パターンをレベル変化パターン記憶領域125に記憶されたレベル変化パターンとマッチングして、一致度の最も高いスペクトルパターンとレベル変化パターンとの組み合わせに対応する子音の種類を判別する(ステップS5)。次いで、制御部11は、判別した子音に対応する楽器を、対応関係記憶領域122を参照して特定する(ステップS6)。
一方、周期性のある区間においては、制御部11は、上述したレベル検出部114,ピッチ検出部115の処理を行う(ステップS7)。すなわち、制御部11は、音声データを、所定時間長のフレーム単位で、レベル及びピッチを検出する。
制御部11は、ステップS6で特定された楽器や、ステップS7で検出された音声のレベル及びピッチに応じて、特定された楽器の音色を表すMIDIデータを生成する(ステップS8)。すなわち、制御部11は、ステップS7で検出されたレベルとピッチの音を表すMIDIデータであって、ステップS6で特定された楽器の音色の音を表すMIDIデータを生成する。次いで、制御部11は、生成したMIDIデータを音声処理部16に供給する。音声処理部16は、供給されるMIDIデータをアナログ信号に変換してスピーカ17に供給する。これにより、スピーカ17からは、制御部11が生成したMIDIデータの表す楽音が放音される。
カラオケ装置1は、収音される音声に対してリアルタイムでステップS2〜S8の処理を行い、収音される音声に応じた楽音を放音する。これにより、スピーカ17からは、利用者があたかも楽器を演奏しているかのような演奏音が放音されるのである。
このようにこの実施形態では、カラオケ装置1は、マイクロフォン15で収音される音声の子音の種類を判別し、判別した子音に対応する楽器の音色の楽音信号を発生させる。これにより、利用者が異なる子音で発音することによって、様々な楽器の音色の楽音が放音される。具体的には、例えば、この実施形態においては、歌唱者が「タ・タ・タ…」と歌唱しているときには、トランペットの音色の楽音が放音される。一方、利用者が「サ・サ・サ…」と歌唱した場合には、フルートの音色の楽音が放音される。
このようにこの実施形態によれば、利用者は、所望する演奏表現に対応する発音(例えば、子音がSの音、等)を行うだけで、所望する楽器の演奏音を奏でることができる。この場合、様々な演奏表現を付与するために特定の発音を行うだけでよく、ボタンの押下やペダルの押下といった操作を行う必要がない。
また、この実施形態では、利用者の音声の子音に応じて楽器が選択されるから、利用者が歌唱している音声の子音を変更するだけで、発生される楽音の楽器を変更することができる。具体的には、例えば、歌唱者が「タ・タ・タ…」と歌唱しているときには、トランペットの音色の楽音が奏でられ、ここで、歌唱者が、発音を変更して「サ・サ・サ…」と発音を変更すると、楽器がトランペットからフルートに変更される。このように、この実施形態では、楽器を変更するのに、利用者は、発音する音声の子音を変更するだけでよく、特別な操作を行う必要がない。
また、この実施形態では、利用者の音声に応じてMIDIデータを生成するから、既存のMIDI音源を用いることができ、装置の構成が複雑になることがない。
<B:第2実施形態>
次に、この発明の第2の実施形態を説明する。
この実施形態が上述した第1の実施形態と異なる点は、記憶部12の対応関係記憶領域122に記憶されたテーブルの内容が異なる点と、記憶部12に写像関数記憶領域126(図1に鎖線で図示)を備えている点と、制御部11の動作が異なる点であり、他の構成は上述した第1の実施形態のそれと同様である。そのため、以下の説明においては、上述した第1の実施形態と同様の構成や処理については、同じ符号を付与して適宜その説明を省略する。
この実施形態では、制御部11は、子音を判別することによって付与するエフェクトを選択(変更)し、また、音声から第1フォルマント周波数及び第2フォルマント周波数を検出して、検出した第1フォルマント周波数及び第2フォルマント周波数をエフェクトのパラメータに対応させて、音声にエフェクトを付与する。
図6は、対応関係記憶領域122に記憶されたテーブルの内容を示す図である。このテーブルの「楽音制御情報」の項目には、例えばギターのエフェクトである「ワウ」や、「ステレオディレイ」、「リバーブ」など、楽音に付与する音響効果(エフェクト)の種類を示すエフェクト情報が記憶されている。
写像関数記憶領域126には、エフェクトを音声に付与する際に用いられる関数が、エフェクトの種別毎に記憶されている。この関数は、第1フォルマント周波数及び第2フォルマント周波数と、エフェクトの付与の態様を示すパラメータ(楽音制御情報)との対応関係を示す関数である。具体的には、「ステレオディレイ」のエフェクトに対応する関数は、フォルマント周波数の値をディレイタイムの値(パラメータ)に変換する関数である。制御部11は、音声にステレオディレイのエフェクトを付与する際に、この関数を参照して、フォルマント周波数の値をディレイタイムに変換し、変換したディレイタイムで音声にステレオディレイエフェクトを付与する。なお、他のエフェクトについても、同様に、第1フォルマント周波数及び第2フォルマント周波数と、エフェクトの付与の態様を示すパラメータとの対応関係を示す関数(又はテーブル)が、この写像関数記憶領域126に記憶されている。制御部11は、この記憶領域に記憶された対応関係に基づいて、エフェクトの付与の態様を示すパラメータを決定(更新)する。
なお、この実施形態では、第1フォルマント周波数及び第2フォルマント周波数を用いるが、これに限らず、第1フォルマント周波数及び第2フォルマント周波数の少なくともいずれか一方を用いてエフェクトの付与の態様を特定してもよい。
図3において、フォルマント検出部116(図3に鎖線で図示)は、制御部11がROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより実現される。フォルマント検出部116は、周期性判別部111から供給される周期性のある区間(母音区間)の音声データから、音声の第1フォルマント周波数及び第2フォルマント周波数を検出する。また、フォルマント検出部116は、検出した第1フォルマント周波数及び第2フォルマント周波数に基づいて、エフェクトのパラメータを決定する。フォルマント検出部116は、決定したエフェクトのパラメータを示すデータを、MIDI音源部117に供給する。MIDI音源部117は、フォルマント検出部116から供給されるデータの示すエフェクトが付与されたMIDIデータを生成し、音声処理部16へ供給する。
次に、この実施形態の動作について、図7に示すフローチャートを参照しつつ説明する。なお、図7において、上述した第1実施形態において示した図5のフローチャートと同様の処理については、同じ符号を付与し、適宜その説明を省略する。
制御部11は、音声の周期性の有無を判定し(ステップS3)、周期性のない区間において、所定時間長のフレーム単位で音声データのスペクトルパターンとレベル変化パターンとを検出する(ステップS4)。次いで、制御部11は、検出したスペクトルパターンとレベル変化パターンとに基づいて子音の種類を判別する(ステップS5)。次いで、制御部11は、判別した子音に対応するエフェクトを、対応関係記憶領域122を参照して特定する(ステップS6´)。
一方、制御部11は、周期性のある区間について、レベル及びピッチを検出する(ステップS7)とともに、上述したフォルマント検出部116の処理を行う(ステップS11,S12)。すなわち、制御部11は、音声の第1フォルマント周波数及び第2フォルマント周波数を検出し(ステップS11)、検出したフォルマント周波数に応じてエフェクトのパラメータを決定する(ステップS12)。具体的には、例えば、ステップS6´で特定されたエフェクトが「ステレオディレイ」である場合には、制御部11は、検出した第1フォルマント周波数を、写像関数記憶領域126に記憶された写像関数を用いてディレイタイムに変換し、変換したディレイタイムを左チャンネルのディレイタイムを示すパラメータとして決定する。また、制御部11は、検出した第2フォルマント周波数を写像関数を用いてディレイタイムに変換し、変換したディレイタイムを右チャンネルのディレイタイムを示すパラメータとして決定する。また、他の例としては、例えば、「ワウ」のエフェクトを音声に付与する場合には、制御部11は、検出した第1フォルマント周波数と第2フォルマント周波数との組み合わせにより母音を判別し、母音の変化に連動させて音色を変化させるようなパラメータを決定する。
制御部11は、ステップS7で検出された音声のレベル及びピッチ、ステップS6´で特定されたエフェクト、及びステップS12で更新されたエフェクトのパラメータに応じて、特定されたエフェクトを付与した楽音を表すMIDIデータを生成する(ステップS8)。すなわち、この実施形態では、制御部11は、ステップS6´で特定されたエフェクト(ワウ、ディレイ、リバーブ等)が、ステップS12で特定されたパラメータの示す態様で付与されたMIDIデータを生成する。なお、このエフェクトの付与処理については、従来の装置で行われている処理と同様であり、ここではその説明を省略する。次いで、制御部11は、生成したMIDIデータを音声処理部16に供給する(ステップS8)。音声処理部16は、供給されるMIDIデータをアナログ信号に変換してスピーカ17に供給し、スピーカ17からは、MIDI音源部117が生成したMIDIデータの表す楽音が放音される。
このようにこの実施形態では、カラオケ装置1は、マイクロフォン15で収音される音声のフォルマント周波数を判別し、判別したフォルマント周波数からエフェクトを付与する態様を特定し、特定した態様のエフェクトを付与した楽音信号を発生させる。利用者は、このカラオケ装置を用いて、例えば、母音を連続的に変化させて歌唱することで、演奏表現に連続的な変化を付与することができる。具体的には、例えば、この実施形態では、利用者が「アウアウ・・・」と発音した場合には、ギターのエフェクトである「ワウ」の効果が付与された楽音を放音させる。このようにこの実施形態では、利用者は、発音を変更するだけで、付与するエフェクトやエフェクトを付与する態様をリアルタイムで変更させることができる。
<C:第3実施形態>
次に、この発明の第3の実施形態について説明する。
この実施形態が、上述した第1の実施形態と異なる点は、記憶部12がメロディデータ記憶領域127,音階データ記憶領域128及びクォンタイズ関数記憶領域129(図1に鎖線で図示)を有している点と、制御部11が行う処理が異なる点である。以下の説明においては、上述した第1の実施形態と同様の構成や処理については、同じ符号を付与して適宜その説明を省略する。
メロディデータ記憶領域127には、MIDI形式などのデータ形式であって、楽曲のガイドメロディを表すメロディデータが楽曲毎に記憶されている。音階データ記憶領域128には、複数の楽曲について、各楽曲で用いられる音高を表す音階データが記憶される。図8は、音階データの内容の一例を示す図である。図示のように、この記憶領域には、「楽曲ID」と「音階データ」とが互いに関連付けて記憶される。これらの項目のうち、「楽曲ID」の項目には、楽曲を識別する識別情報(楽曲ID)が記憶される。「音階データ」の項目には、各楽曲で用いられる音階を表す音階データが記憶される。図に示す例においては、楽曲IDが「001」で示される楽曲は、「ド,レ,ミ,ソ,ラ,シ,シ♭」の7つの音高の音が用いられていることが示されている。制御部11は、メロディデータ記憶領域127に記憶されたメロディデータに基づいて、その楽曲で用いられている音高を特定し、特定した音高を表す音階データをこの音階データ記憶領域128に記憶する。
クォンタイズ関数記憶領域129には、所定範囲毎に量子化された周波数について、各所定範囲と音高との対応関係が記憶されている。この実施形態では、図9(a)に示すような、周波数と音高との対応関係を示す関数が記憶されている。図9(a)において、横軸は周波数を示し、縦軸は音高を示している。この実施形態では、図示のように、周波数は半音単位で量子化される。例えば、図9(a)において、a31で示される範囲の周波数は「ソ」の音高に対応付けられており、a32で示される範囲の周波数は「ソ♯」の音高に対応付けられている。
次に、カラオケ装置1の機能的構成について、図3を参照しつつ説明する。図3において、クォンタイズ部118(図3に鎖線で図示)は、制御部11がROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより実現される。クォンタイズ部118は、音声の周波数を検出する機能を備える。マイクロフォン15で収音された音声は、音声処理部16でデジタルデータに変換される。クォンタイズ部118は、音声処理部16から出力される音声データから音声の周波数を検出する。
また、クォンタイズ部118は、選択された楽曲に対応するメロディデータをメロディデータ記憶領域127から読み出し、読み出したメロディデータを参照してその楽曲で用いられている音高を特定し、特定した音高群を表す音階データを生成する。具体的には、クォンタイズ部118は、メロディデータの表すメロディを構成するノートデータを先頭から順番に参照していき、それぞれのノートデータの音高を順番に抽出していき、抽出した音高群を表す音階データを生成する。クォンタイズ部118は、生成した音階データを音階データ記憶領域128に記憶する。この音階データによって、1又は複数の音高が指示される。また、クォンタイズ部118は、クォンタイズ関数記憶領域129に記憶された関数と音階データ記憶領域128に記憶された音階データとに基づいて、出力する楽音信号の音高を特定するための関数を生成する。また、クォンタイズ部118は、生成した関数と検出した周波数とに基づいて、出力する楽音信号の音高を決定し、決定した音高を表すデータをMIDI音源部117に供給する。
ここで、クォンタイズ部118が行う音高の特定処理について、図10を参照しつつ以下に説明する。図10(a),(b)は、制御部11が出力する楽音信号の音高を特定するために用いる関数の一例を示した図である。図10(a),(b)において、横軸は周波数を示し、縦軸は音高を示す。クォンタイズ部118は、クォンタイズ関数記憶領域129に記憶された関数と音階データ記憶領域128に記憶された音階データとに基づいて、図10(a),(b)に示す関数を生成する。また、クォンタイズ部118は、入力される音声の周波数に対して、図10(a)又は(b)に示す変換処理を施して出力する楽音信号の周波数を決定する。
クォンタイズ部118は、発音が開始されたときとそれ以外のとき(継続して発音されているとき)とで、異なる処理を行う。図10(a)は、発音が開始されたときに用いる関数の内容を示す図であり、一方、図10(b)は、継続して発音されているときに用いる関数の内容を示す図である。図10(a)に示す関数では、所定範囲毎に周波数が量子化され、各所定範囲のそれぞれに対して、音階データ記憶領域128に記憶された音階データの表す音高のいずれかが割り当てられている。この関数によって、周波数と音高との対応関係が決定される。図10(a)に示す関数は、図示のように、すべての周波数について、音階データの表す音高のいずれかが対応付けられている。
一方、図10(b)に示す関数では、周波数が半音単位で量子化され、更に、音階データ記憶領域128に記憶された音階データの表す音高である場合には、その音高が周波数に対応付けられている一方、それ以外の場合には、その音高が周波数に対応付けられていない。クォンタイズ部118は、図10(b)に示す関数を参照して、検出した周波数に対応する音高がある場合にはその音高の音を発音すると決定する一方、対応する音高がない場合には、直前に発生させた音高の楽音を継続して発音すると決定する。
クォンタイズ部118は、周波数の検出を開始したとき、すなわち利用者が発音を開始したときには、発音する楽音の音高を、図10(a)に示す関数に基づいて決定する。一方、クォンタイズ部118は、周波数の検出を連続して行っている最中、すなわち利用者が連続して発音している最中においては、発音する楽音の音高を、図10(b)に示す関数を用いて決定する。
具体的には、例えば、図10(c)に示す周波数の音声が入力された場合には、クォンタイズ部118は、発音開始時には図10(a)に示す変換関数を用いて変換を行い、それ以降は図10(b)に示す変換関数を用いて変換を行う。これより、図10(c)に示す音声周波数に対して、図10(d)に示す音高が決定される。
次に、この実施形態の動作について、図11に示すフローチャートを参照しつつ説明する。なお、図11において、上述した第1実施形態で示した図5のフローチャートと同様の処理については、同じ符号を付与し、適宜その説明を省略する。
利用者は、カラオケ装置1の操作部14を操作して、歌唱したい楽曲を選択する操作を行う。操作部14は、操作された内容に応じた操作信号を制御部11へ出力する。制御部11は、操作部14から出力される操作信号に応じて楽曲を選択する(ステップS1)。制御部11は、選択した楽曲に対応するメロディデータをメロディデータ記憶領域127から読み出し、読み出したメロディデータに基づいてその楽曲で用いられる音高を抽出し、抽出した音高群を表す音階データを生成する(ステップS21)。制御部11は生成した音階データを楽曲を識別する楽曲IDに対応付けて音階データ記憶領域128に記憶する。
次に、制御部11は、選択した楽曲のカラオケ伴奏を開始する。利用者は、スピーカ17から放音される伴奏音にあわせて歌唱を行う。このとき、利用者の音声はマイクロフォン15によって収音されて音声信号に変換され、音声処理部16へと出力される(ステップS2)。音声処理部16は、マイクロフォン15から出力される音声信号をデジタルデータに変換する。
制御部11は、音声の周期性の有無を判定し(ステップS3)、周期性のない区間につおいてスペクトルパターンとレベル変化パターンとを検出し(ステップS4)、検出したスペクトルパターンとレベル変化パターンとに応じて子音の種類を判別する(ステップS5)。次いで、制御部11は、判別した子音の種類に応じて、クォンタイズ処理を行うか否かを判定する(ステップS22)。クォンタイズを行うと判定した場合には(ステップS22;YES)、制御部11は、上述したクォンタイズ部118の処理を行う(ステップS23)。すなわち、制御部11は、周波数が検出され始めたときには、図10(a)に示す関数を用いて、出力する楽音の音高を決定する一方、周波数が検出されている最中においては、図10(b)に示す関数を用いて、出力する楽音の音高を決定する。次いで、制御部11は、ステップS23で特定された音高のMIDIデータを生成し(ステップS8)、音声処理部16に供給する。
一方、ステップS22において、クォンタイズ処理を行わないと判定した場合には(ステップS22;NO)、制御部11は、クォンタイズ処理を行わず、ステップS8の処理に進み、ステップS7で検出したレベル及びピッチのMIDIデータを生成し(ステップS8)、音声処理部16に供給する。
音声処理部16は、供給されるMIDIデータをアナログ信号に変換してスピーカ17に供給し、スピーカ17からは、MIDI音源部117が生成したMIDIデータの表す楽音が放音される。
この実施形態によれば、制御部11は、音声の子音の種類を判別し、判別結果に応じてクォンタイズを行うか否かを判定する。これにより、利用者は、所望するクォンタイズに対応する子音で発音するだけで、所望するクォンタイズ処理をカラオケ装置1に行わせることができる。より具体的には、利用者は、自身の自信の程度等に応じて、発音する音声の子音を選択すればよい。
<D:変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
(1)上述した第3の実施形態では、子音の種類に応じてクォンタイズ処理を行うか否かを判定した。これに代えて、例えば、発音された音声の子音が「t」の場合にはスケールクォンタイズ(上述した第3実施形態で示したクォンタイズ処理)を行い、「s」の場合には半音クォンタイズ(図9に示した関数を用いたクォンタイズ処理)を行い、「n」の場合にはクォンタイズを行わない、といったように、クォンタイズのパターンを複数種類設定しておき、発音された音声の子音の種類に応じてクォンタイズのパターンを変更してもよい。この場合は、利用者が演奏中に子音を変更することで、演奏中にクォンタイズのパターンを変更することができる。
また、上述した第1の実施形態では、子音の種類に応じて生成する楽音信号の音色を変更した。これに代えて、例えば、図12に示すような、子音を表す子音情報とオクターブ変更の態様を示すオクターブ情報とを対応付けて記憶させておき、制御部11が、発音された音声の子音に応じて、音声のピッチをオクターブ変更してもよい。このようにすれば、利用者は、発音する音声の子音を変更するだけで、発生される楽音のオクターブを様々に変更することができる。具体的には、例えば、特定の子音のときにピッチをオクターブシフトしてもよい。このようにすれば、男女の声の高さの違いがあっても、同じピッチで演奏することができる。
このように、楽音制御情報は、第1の実施形態で示したような音色の種類を特定するものであってもよく、また、オクターブ変更の態様を示すものであってもよく、また、第3の実施形態で示したようなクォンタイズの態様を示すものであってもよく、また、第2の実施形態で示したような、楽音の連続的な変化の態様(エフェクトの種類やその態様)を示すものであってもよい。これ以外にも、例えば、ビブラートやクレッシェンド等の歌唱技法(演奏技法)を示すものであってもよい。この場合は、具体的には、例えば、歌唱者が発音した音声の子音がビブラートに対応付けられている場合には、音声のピッチをわずかに変動させるように音声を加工し、加工した音声信号を出力すればよい。
このように、楽音制御情報は、上述した実施形態で示したものに限らず、波形の属性の態様を表す情報であればどのようなものであってもよい。このように、この発明によれば、音素情報と任意の演奏表現とを対応付ければ、任意の演奏表現を制御することができる。
なお、カラオケ装置1の利用者が楽音制御情報の内容を設定できるようにしてもよい。
(2)上述した第1の実施形態では、子音の種類を表す子音情報と楽音の音色を表す楽音制御情報とを対応付けて対応関係記憶領域122に記憶させておき、制御部11が、音声の子音の種類を判別して判別した子音の種類に対応する音色の楽音信号を発生させた。これに代えて、母音の種類を表す母音情報と楽音制御情報と応付けて記憶させておき、制御部11が、発音された音声の母音の種類を判別し、判別した母音に対応する音色の楽音信号を発生させてもよい。この場合は、制御部11は、音声のフォルマントを検出し、検出したフォルマントのパターンを予め定められたフォルマントパターンと照合することによって、母音の種類を判別してもよい。
また、子音と母音とを組み合わせて用いてもよい。例えば、図13に示すような、母音と子音との組み合わせと、楽音制御情報とを対応付けたテーブルを記憶させておき、制御部11が、発音された音声の子音の種類及び母音の種類を判別し、判別した子音及び母音に対応する楽音制御情報に基づいて楽音信号を発生させてもよい。このように、発生させる楽音の波形の属性の態様は、発生された音声の子音の種類によって特定してもよく、また、音声の母音の種別によって特定してもよく、また、音声の母音と子音の組み合わせによって特定してもよく、音声の母音及び子音の少なくともいずれか一方を音声の特徴として検出してもよい。
また、上述した第1及び第3の実施形態では、音声の子音を音声の特徴として用い、また、第2の実施形態では、フォルマントの変化パターンを音声の特徴として用いた。音声の特徴は、子音の種類、母音の種類、子音と母音の組み合わせの種類、フォルマントの変化パターンに限らず、音声の特徴を表すものであればどのようなものであってもよい。例えば、音声のピッチやパワーを特徴として用いてもよい。具体的には、例えば、周波数帯域を複数の帯域に分割してそれぞれの帯域に楽器を割り当てておき(例えば、低域はドラム、高域はギター、等)、制御部11が、入力される音声の周波数を含む帯域に割り当てられた楽器の音色を表す楽音信号を生成してもよい。この場合には、音声の音高(ピッチ)に応じて様々な音色の楽音を奏でることができる。
(3)上述した実施形態では、制御部11は、音声の特徴を判別し、その判別結果に応じたMIDIデータを生成した。生成するデータはMIDIデータに限らず、楽音を表す楽音信号であればどのようなものであってもよい。
(4)上述した実施形態においては、マイクロフォン15が利用者の歌唱音声を収音する構成としたが、収音させる音声は、利用者の歌唱音声に限らず、例えば、楽器の演奏音であってもよい。要するに、音や声を表すものであればどのようなものであってもよい。
また、上述した実施形態では、マイクロフォン15で収音した音声の特徴を判別したが、音声を表す音声データを予め記憶手段に記憶しておき、記憶された音声データから特徴を検出し、検出した特徴を判別してもよい。
(5)上述した実施形態では、カラオケ装置1を本発明に係る楽音信号生成装置として適用したが、本発明に係る楽音信号生成装置として適用される装置はカラオケ装置に限らず、例えばパーソナルコンピュータや移動体通信端末など、様々な装置が本発明に係る楽音信号生成装置として適用可能である。
(6)上述した実施形態では、制御部11は、周期性の有無によって子音区間と母音区間とを分別した。子音区間と母音区間との分別方法はこれに限らず、例えば、音声波形の振幅を測定し、振幅の大小に応じて母音区間と子音区間とを分別してもよい。一般的に、母音区間は振幅が大きいため、振幅が所定値以上の区間を母音区間と分別し、それ以外の区間を子音区間と分別してもよい。この場合には、例えば「m」や「n」といった周期性のある子音についても判別することができる。
(7)上述した実施形態では、周期性判別部111,スペクトルパターン・レベル変化パターン検出部112,レベル検出部114,ピッチ検出部115,フォルマント検出部116,MIDI音源部117及びクォンタイズ部118は、カラオケ装置1の制御部11がコンピュータプログラムを実行することによって実現された。これに代えて、上述した各部を専用のハードウェア回路で構成してもよい。
(8)上述した実施形態では、カラオケ装置1が、同実施形態に係る機能の全てを実現するようになっていた。これに対し、通信ネットワークで接続された2以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置1を実現してもよい。例えば、マイクロフォンやスピーカを備える携帯電話端末と、楽音生成機能を備える専用のサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。
(9)上述した実施形態におけるカラオケ装置1の制御部11によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ROM、RAMなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置1にダウンロードさせることも可能である。
カラオケ装置のハードウェア構成の一例を示すブロック図である。 対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。 カラオケ装置のソフトウェア構成の一例を示すブロック図である。 音声波形の一例を示す図である。 カラオケ装置が行う処理の流れを示すフローチャートである。 対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。 カラオケ装置が行う処理の流れを示すフローチャートである。 音階データの内容の一例を示す図である。 クォンタイズ関数の一例を示す図である。 クォンタイズ処理を説明するための図である。 カラオケ装置が行う処理の流れを示すフローチャートである。 対応関係を表すテーブルの一例を示す図である。 対応関係を表すテーブルの一例を示す図である。
符号の説明
1…カラオケ装置、11…制御部、12…記憶部、13…表示部、14…操作部、15…マイクロフォン、16…音声処理部、17…スピーカ、111…周期性判別部、112…スペクトルパターン・レベル変化パターン検出部、114…レベル検出部、115…ピッチ検出部、116…フォルマント検出部、117…MIDI音源部、118…クォンタイズ部、121…伴奏データ記憶領域、122…対応関係記憶領域、123…楽音波形記憶領域、124…スペクトルパターン記憶領域、125…レベル変化パターン記憶領域、126…写像関数記憶領域、127…メロディデータ記憶領域、128…音階データ記憶領域、129…クォンタイズ関数記憶領域。

Claims (10)

  1. 音声の特徴を表す特徴情報と波形の属性の態様を表す楽音制御情報との対応関係を記憶する対応関係記憶手段と、
    収音手段によって収音された音声の特徴を検出する特徴検出手段と、
    前記特徴検出手段が検出した特徴に対応する楽音制御情報を、前記対応関係記憶手段に記憶された対応関係を参照して特定する楽音制御情報特定手段と、
    前記収音手段によって収音された音声に基づいて楽音信号を生成するとともに、生成する楽音信号が持つ波形の属性が前記楽音制御情報特定手段によって特定された楽音制御情報に対応するように前記楽音信号を生成する楽音信号生成手段と
    前記対応関係記憶手段に記憶された対応関係を、利用者によって操作される操作手段から出力される信号に従って変更する対応関係変更手段と
    を具備することを特徴とする楽音信号生成装置。
  2. 前記特徴検出手段は、前記収音手段によって収音された音声の母音及び子音の少なくともいずれか一方を当該音声の特徴として検出する
    ことを特徴とする請求項1に記載の楽音信号生成装置。
  3. 前記特徴検出手段は、前記収音手段によって収音された音声の第1フォルマント周波数及び第2フォルマント周波数を当該音声の特徴として検出し、
    前記楽音制御情報特定手段は、前記特徴検出手段が検出した第1フォルマント周波数及び第2フォルマント周波数の少なくともいずれか一方に対応する楽音制御情報を、前記対応関係記憶手段を参照して特定する
    ことを特徴とする請求項1に記載の楽音信号生成装置。
  4. 前記対応関係記憶手段は、前記波形の属性の態様を表す楽音制御情報として音色を示す音色情報を記憶し、
    前記楽音信号生成手段は、前記収音手段によって収音された音声の音色を前記楽音制御情報特定手段が特定した楽音制御情報の示す音色に変換した音色を表す楽音信号を生成する
    ことを特徴とする請求項1乃至3のいずれかに記載の楽音信号生成装置。
  5. 前記対応関係記憶手段は、前記波形の属性の態様を表す楽音制御情報として音響効果を示すエフェクト情報を記憶し、
    前記楽音信号生成手段は、前記収音手段によって収音された音声に対して前記楽音制御情報特定手段が特定した楽音制御信号の示す音響効果を付与した音声を表す楽音信号を生成する
    ことを特徴とする請求項1乃至3のいずれかに記載の楽音信号生成装置。
  6. 所定範囲毎に量子化された周波数について、各所定範囲と音高との対応関係を記憶するクォンタイズ記憶手段と、
    1又は複数の音高を指示する音高許可手段と、
    音声の周波数を検出し、検出した周波数に対応する音高を前記クォンタイズ記憶手段に記憶された対応関係に基づいて特定し、特定した音高が前記音高許可手段によって指示されているものである場合には、当該音高の楽音信号を生成する一方、それ以外の場合には、楽音信号を生成しないクォンタイズ手段と
    を備え、
    前記対応関係記憶手段は、前記波形の属性の態様を示す楽音制御情報としてクォンタイズを行うか否かを示すクォンタイズ情報を記憶し、
    前記楽音信号生成手段は、前記楽音制御情報特定手段が特定した楽音制御情報がクォンタイズを行う旨を示す情報である場合には、前記収音手段によって収音された音声を前記クォンタイズ手段に供給してクォンタイズ処理を施した楽音信号を生成させる一方、それ以外の場合には、前記収音手段によって収音された音声の音高の楽音信号を生成する
    ことを特徴とする請求項1乃至3のいずれかに記載の楽音信号生成装置。
  7. 所定範囲毎に量子化された周波数について各所定範囲と音高との対応関係を記憶する第2の対応関係記憶手段であって、前記所定範囲がそれぞれで異なる複数の対応関係を記憶するクォンタイズ記憶手段と、
    前記楽音制御情報特定手段が特定した楽音制御情報に対応する対応関係を前記クォンタイズ記憶手段から特定するクォンタイズ態様特定手段と、
    音声の周波数を検出し、検出した周波数に対応する音高を、前記クォンタイズ態様特定手段が特定した対応関係に基づいて特定し、特定した音高の楽音信号を生成するクォンタイズ手段と
    を備え、
    前記楽音信号生成手段は、収音手段によって収音された音声を前記クォンタイズ手段に供給する
    ことを特徴とする請求項1乃至3のいずれかに記載の楽音信号生成装置。
  8. 前記クォンタイズ手段は、特定した音高が前記音高許可手段によって指示されているものである場合には、当該音高の楽音信号を発生させる一方、それ以外の場合には、直前に発生させた音高の楽音を継続して発生させる
    ことを特徴とする請求項6に記載の楽音信号生成装置。
  9. 所定範囲毎に量子化された周波数について、各所定範囲と前記音高許可手段が許可した音高との対応関係を記憶する第2のクォンタイズ記憶手段を備え、
    前記クォンタイズ手段は、音声の周波数の検出を開始したときには、前記周波数検出手段が検出した周波数に対応する音高を、前記第2のクォンタイズ記憶手段に記憶された対応関係に基づいて特定する一方、前記音声の周波数の検出を連続して行っている最中においては、検出した周波数に対応する音高を、前記クォンタイズ記憶手段に記憶された対応関係に基づいて特定する
    ことを特徴とする請求項6又は8に記載の楽音信号生成装置。
  10. 請求項1乃至9のいずれかに記載の楽音信号生成装置と、
    楽曲の伴奏音を表す伴奏データを記憶する伴奏データ記憶手段と、
    前記伴奏データ記憶手段に記憶された伴奏データを読み出して、読み出した伴奏データを放音手段に出力する伴奏データ出力手段と
    を備えることを特徴とするカラオケ装置。
JP2007032100A 2007-02-13 2007-02-13 楽音信号生成装置及びカラオケ装置 Expired - Fee Related JP5292702B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007032100A JP5292702B2 (ja) 2007-02-13 2007-02-13 楽音信号生成装置及びカラオケ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007032100A JP5292702B2 (ja) 2007-02-13 2007-02-13 楽音信号生成装置及びカラオケ装置

Publications (2)

Publication Number Publication Date
JP2008197350A JP2008197350A (ja) 2008-08-28
JP5292702B2 true JP5292702B2 (ja) 2013-09-18

Family

ID=39756359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007032100A Expired - Fee Related JP5292702B2 (ja) 2007-02-13 2007-02-13 楽音信号生成装置及びカラオケ装置

Country Status (1)

Country Link
JP (1) JP5292702B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011003976B3 (de) 2011-02-11 2012-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eingabeschnittstelle zur Erzeugung von Steuersignalen durch akustische Gesten
CN102169684B (zh) * 2011-04-13 2013-01-02 杭州师范大学 一种面向工尺谱乐谱的midi文件产生装置
JP6177027B2 (ja) * 2013-06-29 2017-08-09 株式会社第一興商 歌唱採点システム
CN104978973B (zh) * 2014-10-22 2019-08-13 广州酷狗计算机科技有限公司 一种音频处理方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04114198A (ja) * 1990-09-04 1992-04-15 Yamaha Corp 電子楽器
JPH11305794A (ja) * 1998-04-24 1999-11-05 Victor Co Of Japan Ltd ピッチ検出装置及び情報媒体
JP4092782B2 (ja) * 1998-07-10 2008-05-28 ヤマハ株式会社 エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置
JP4287512B2 (ja) * 1998-07-29 2009-07-01 ヤマハ株式会社 カラオケ装置
JP2001324987A (ja) * 2000-05-15 2001-11-22 Victor Co Of Japan Ltd カラオケ装置
JP3931982B2 (ja) * 2003-05-12 2007-06-20 ヤマハ株式会社 電子楽器
JP2006259401A (ja) * 2005-03-17 2006-09-28 Yamaha Corp カラオケ装置

Also Published As

Publication number Publication date
JP2008197350A (ja) 2008-08-28

Similar Documents

Publication Publication Date Title
JP6610714B1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6610715B1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP3907587B2 (ja) 演奏楽器の音情報を用いた音響分析方法
US11996082B2 (en) Electronic musical instruments, method and storage media
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
JP7484952B2 (ja) 電子機器、電子楽器、方法及びプログラム
JP2010518428A (ja) 音楽転写
JP7180587B2 (ja) 電子楽器、方法及びプログラム
Schneider Perception of timbre and sound color
JP6657713B2 (ja) 音響処理装置および音響処理方法
JP2020024456A (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP5292702B2 (ja) 楽音信号生成装置及びカラオケ装置
JP2017181793A (ja) 音響処理装置、及びプログラム
JP2013210501A (ja) 素片登録装置,音声合成装置,及びプログラム
JP5810947B2 (ja) 発声区間特定装置、音声パラメータ生成装置、及びプログラム
JPH08227296A (ja) 音声信号処理装置
JP7528488B2 (ja) 電子楽器、方法及びプログラム
JP5034471B2 (ja) 楽音信号発生装置及びカラオケ装置
JP5953743B2 (ja) 音声合成装置及びプログラム
JP6260499B2 (ja) 音声合成システム、及び音声合成装置
Nunn Analysis and resynthesis of polyphonic music

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees