JP3279299B2 - 楽音要素抽出装置及び方法並びに記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マイクなどから
の入力音声に基づいてＭＩＤＩファイルなどを作成する
際に使用可能な楽音要素抽出装置及び方法並びに記憶媒
体に係り、特に楽音要素の抽出形態を制御したり、抽出
処理の際の確認等のための発音処理に改良を加えること
のできる楽音要素抽出装置及び方法並びに記憶媒体に関
し、例えば入力音信号に基づく楽音発生や楽音制御ある
いは採譜処理などに応用可能な技術に関する。

【０００２】

【従来の技術】入力音信号から音高や音の長さなどの楽
音要素を抽出する楽音要素抽出技術は従来から知られて
おり、例えばマイクからの入力音声に基づき採譜を行う
採譜再生装置においてその種の楽音要素抽出技術が利用
されている。従来の採譜再生装置はマイクから入力した
入力波形信号（音声等）を解析及び処理して、その入力
波形信号の音高を忠実に採譜するものである。ユーザは
採譜結果を音源（楽音発生装置）を介して再生すること
で試聴し、その採譜結果の評価を行う。評価の結果、再
度、同様の採譜処理を繰り返したり、採譜結果をエディ
ットしたりして、所望の採譜結果が得られるようにして
いた。

【０００３】

【発明が解決しようとする課題】マイク入力した音信号
から楽音要素を抽出して採譜を行うような場合、採譜し
た曲のフレーズは再生音源側に設定されている適宜の音
色で発音されることが多い。そのような場合、一旦採譜
処理を行ってからその採譜結果に基づいて再生音源側に
おける任意の音色で発音処理を行ってみないと、採譜結
果たる曲フレーズがその再生音色に応じてどのような印
象で聴きとれるかが分かり難く、音色に応じた所望のフ
レーズの音声入力が行われるまで、一連の音声入力と採
譜処理を納得がいくまで繰り返さなければならず、面倒
であるという問題があった。また、発音される音色が聞
き取りにくい音色の場合や、入力波形信号（音声自体）
が高すぎたり、低すぎたりすると、これによっては試聴
しにくくなり、採譜結果の評価を行うことが困難であっ
た。さらに、入力波形信号である音声で表現不可能な音
高（例えばベースパート用のフレーズを音声入力する場
合、ベースパートの音域で音声入力することは困難であ
る）に対して採譜処理を行おうとする場合、採譜結果で
あるＭＩＤＩファイルを後からエディットして音高を全
体的に変更しなければ、所望の音高の採譜結果を得るこ
とができないという問題があった。

【０００４】この発明は上述の点に鑑みてなされたもの
で、例えば音声で表現不可能若しくは困難な音高（音
域）に対して採譜する場合でも後からエディットしなく
ても所望の音色に対応した音高のＭＩＤＩファイルを採
譜することのできるように、楽音要素の抽出に際して適
切な音高変換を行うことができるようにした楽音要素抽
出装置及び方法並びに記憶媒体を提供しようとするもの
である。

【０００５】また、この発明は、マイク入力音に基づい
て抽出した楽音要素に基づく楽音信号をリアルタイムに
発音させることで、楽音演奏機能を豊富にし、また抽出
した楽音要素に基づく楽音の確認が速やかに行えるよう
にした楽音要素抽出装置及び方法並びに記憶媒体を提供
しようとするものである。更に、この発明は、マイク入
力音に基づいて抽出した楽音要素に基づく楽音信号を指
定された音色でリアルタイムに発音したり、あるいは指
定された音色に従うデモ演奏発音を行うことができるよ
うにすることにより、指定した音色の確認や抽出した楽
音要素に基づく楽音の確認が速やかに行えるようにする
ことで採譜処理等の楽音要素抽出作業に便ならしめた楽
音要素抽出装置及び方法並びに記憶媒体を提供しようと
するものである。

【０００６】

【課題を解決するための手段】本発明に係る楽音要素抽
出装置は、音信号を入力するマイク入力手段と、前記マ
イク入力手段から入力する音信号の音高を検出する音高
検出手段と、前記音高検出手段によって検出された音高
に基づいて決定されるデータを楽音要素として抽出する
抽出処理と、前記音高検出手段によって検出された音高
を全体的にシフトして得られた音高に基づいて決定され
るデータを楽音要素として抽出する抽出処理のいずれか
一方の処理を行う抽出手段とを具備するものである。音
高検出手段は入力音信号の音高を忠実に検出するものな
ので、例えばベース音などのように音域が低すぎてユー
ザが発声することができないパートについてのフレーズ
が音声入力された場合、ユーザの発声した音信号のその
ままの音高を検出した楽音データを作成する。このよう
な場合、抽出手段では、入力音に基づき検出した音高を
全体的にシフトして得られる音高に基づいて決定される
データを楽音要素として抽出する抽出処理を行うこと
で、ユーザの発声することができないような音高（音
域）に変換した楽音要素抽出データを容易に作成するこ
とができる。従って、これを採譜処理に適用した場合、
所望の音色や演奏パートなどに適した音域での採譜を楽
に行うことができる。

【０００７】本発明の別の観点に従う楽音要素抽出装置
は、音信号を入力するマイク入力手段と、前記マイク入
力手段から入力する音信号から楽音要素を抽出する抽出
手段と、前記抽出手段によって抽出された前記楽音要素
に基づく楽音信号の形成をリアルタイムに行うことを楽
音信号形成手段に対して指示するリアルタイム演奏指示
手段とを具備する。これにより、ユーザーがマイクで任
意のフレーズの音信号を入力したとき、このマイク入力
音に基づいて抽出した楽音要素に基づく楽音信号をリア
ルタイムで即座に発音させることができ、楽音演奏機能
が豊富になる。例えば、発生音の音色を任意に指定した
り、音域を任意をシフトしたりする制御と組み合わせて
実施することにより、音声でマイク入力した任意のフレ
ーズを任意の音色と音域で発音することができるという
音楽的効果が得られ、楽音演奏機能を豊富にすることが
できる。また、自動演奏再生処理を経ることなく、抽出
した楽音要素に基づく楽音信号の確認が速やかに行える
ので、マイク入力音を採譜する際に、採譜状態が適切で
あるか等の確認を即座にかつ簡便に行うことができ、非
常に使い勝手がよいものとなる。例えば、採譜処理にお
けるピッチ検出処理においては、入力音声から検出した
ピッチを最近傍のノートピッチに丸める処理を行うこと
で、最もふさわしいノートピッチを抽出するようにして
いるが、このピッチ丸め処理がうまくいかない場合は、
ユーザーが１音（１ノートピッチ）で音声入力したつも
りのものが２音（２ノートピッチ）として抽出されてし
まったり、逆に２音（２ノートピッチ）で音声入力した
つもりのものが１音（１ノートピッチ）として抽出され
てしまったりする、といったことが起こりうる。そのよ
うな場合に、ユーザーの音声入力の仕方を変えたり、分
析用パラメータを変更したりして適切な調整を可能にす
るために、本発明のように入力音の楽音要素抽出結果に
基づく演奏フレーズを即座に発音して聴いて確認できる
ようにすることは極めて有利である。

【０００８】本発明の更に別の観点に従う楽音要素抽出
装置は、音信号を入力するマイク入力手段と、所望の音
色を指定する手段と、前記マイク入力手段から入力する
音信号から楽音要素を抽出する抽出手段と、前記抽出手
段によって抽出された前記楽音要素に基づく楽音信号の
形成を前記指定された音色でリアルタイムに行うか、又
は予め記憶されている演奏データに基づく楽音信号の形
成を前記指定された音色で行うかを選択し、該選択に従
う楽音信号の形成を行うことを楽音信号形成手段に対し
て指示する演奏指示手段とを具備する。これにより、リ
アルタイム演奏を選択した場合は、上述と同様のメリッ
トが得られる。また、指定した音色との関係で、マイク
入力音信号から抽出した楽音要素に基づくフレーズの楽
音演奏がどのように聞き取れるかの確認を行うことがで
きる。また、あるいは予め記憶されている演奏データに
基づく楽音を指定した音色で発音させる場合は、指定音
色の確認を簡便に行うことができる。このように指定音
色の確認を行うことができるようにすることは、この種
の楽音要素抽出装置やそれを利用した採譜装置において
意味がある。すなわち、本発明に係る楽音要素抽出装置
若しくはプログラムで抽出した楽音要素に基づく楽音信
号、若しくはかかる楽音要素抽出装置若しくはプログラ
ムを含む採譜装置若しくはプログラムで採譜したデータ
に基づく楽音信号は、どのようなタイプの音源を使用し
ても形成可能であることから、実施時において使用され
るかもしれない音源のタイプが千差万別であり、同じ名
称の音色（例えば、ピアノ、ベース、フルート等の楽器
名称の音色）であっても、音源の相違によっては音質が
異なるものがあるので、そのような音質の確認（音色毎
の音質の確認）をユーザーサイドで簡便に行うことがで
きるようになる、という利点をもたらす。

【０００９】なお、本発明に係る楽音要素抽出装置と
は、楽音要素抽出装置若しくは類似の名称で名付けられ
た単体の装置若しくは製品に限られないことは勿論であ
り、要するに、楽音要素抽出機能を具備しているもので
あれば、全体としてどのような製品形態をとっていても
よいことは言うまでもない。例えば、採譜再生装置ある
いは電子楽器等任意の製品形態をとっていても、本発明
に係る楽音要素抽出装置と同様の装置を製品部分に含む
場合は、その部分が楽音要素抽出装置に該当する。ま
た、本出願に係る明細書及び図面で開示されているすべ
ての発明は、装置発明として構成し実施することができ
るのみならず、方法発明として構成し実施することがで
きるし、また、コンピュータまたはＤＳＰ等のプロセッ
サのプログラムの形態で実施することもでき、そのよう
なプログラムを記憶した記録媒体の形態で実施すること
もできる。

【００１０】

【発明の実施の形態】以下、添付図面を参照して、この
発明を採譜再生装置に適用した場合の実施の形態につ
き、詳細に説明する。図２はこの発明に係る採譜再生装
置として動作するパーソナルコンピュータのハード構成
ブロック図である。パーソナルコンピュータは、ＣＰＵ
２１によって制御される。ＣＰＵ２１にはデータ及びア
ドレスバス２Ｐを介してプログラムメモリ（ＲＯＭ）２
２、ワーキングメモリ（ＲＡＭ）２３、外部記憶装置２
４、マウス検出回路２５、通信インターフェイス２７、
外部インターフェイス２Ａ、マイクインターフェイス２
Ｄ、キーボード（Ｋ／Ｂ）検出回路２Ｆ、表示回路２
Ｈ、音源回路２Ｊ及び効果回路２Ｋが接続されている。
パーソナルコンピュータはこれ以外のハードウェアを有
する場合もあるが、ここでは、必要最小限の資源を用い
た場合について説明する。

【００１１】ＣＰＵ２１はプログラムメモリ２２及びワ
ーキングメモリ２３内の各種プログラムや各種データ、
及び外部記憶装置２４から取り込んだ楽曲情報に基づい
た処理を行う。この実施の形態では、外部記憶装置２４
としては、フロッピーディスクドライブ、ハードディス
クドライブ、ＣＤ−ＲＯＭドライブ、光磁気ディスク
（ＭＯ）ドライブ、ＺＩＰドライブ、ＰＤドライブ、Ｄ
ＶＤなどが用いられる。また、外部インターフェイス２
Ａ及び音源回路２Ｊを介して他の外部機器（例えばＭＩ
ＤＩ機器）２Ｂなどから楽曲情報などを取り込んでもよ
い。ＣＰＵ２１は、このような外部記憶装置２４から取
り込まれた楽曲情報を音源回路２Ｊに供給し、外部のサ
ウンドシステム２Ｌを用いて発音する。

【００１２】プログラムメモリ２２はＣＰＵ２１のシス
テム関連のプログラム、各種のパラメータやデータなど
を記憶しているものであり、リードオンリメモリ（ＲＯ
Ｍ）で構成されている。ワーキングメモリ２３はＣＰＵ
２１がプログラムを実行する際に発生する各種のデータ
を一時的に記憶するものであり、ランダムアクセスメモ
リ（ＲＡＭ）の所定のアドレス領域がそれぞれ割り当て
られ、レジスタやフラグ等として利用される。また、前
記ＲＯＭ２２に動作プログラム、各種データなどを記憶
させる代わりに、ＣＤ−ＲＯＭドライブ等の外部記憶装
置２４に各種データ及び任意の動作プログラムを記憶し
ていてもよい。外部記憶装置２４に記憶されている動作
プログラムや各種データは、ＲＡＭ２３等に転送記憶さ
せることができる。これにより、動作プログラムの新規
のインストールやバージョンアップを容易に行うことが
できる。

【００１３】なお、通信インターフェイス２７を介して
ＬＡＮ（ローカルエリアネットワーク）やインターネッ
ト、電話回線などの種々の通信ネットワーク２８上に接
続可能とし、他のサーバコンピュータ（図示せず）との
間でデータ（データ付き楽曲情報等）のやりとりを行う
ようにしてもよい。これにより、サーバコンピュータか
ら動作プログラムや各種データをダウンロードすること
もできる。この場合、クライアントとなるパーソナルコ
ンピュータから、通信インターフェイス２７及び通信ネ
ットワーク２８を介してサーバコンピュータ２９に動作
プログラムや各種データのダウンロードを要求するコマ
ンドを送信する。サーバコンピュータ２９は、このコマ
ンドに応じて、所定の動作プログラムやデータなどを、
通信ネットワーク２８を介して他のパーソナルコンピュ
ータに送信したりする。パーソナルコンピュータでは、
通信インターフェイス２７を介してこれらの動作プログ
ラムやデータなどを受信して、ＲＡＭ２３等に格納す
る。これによって、動作プログラム及び各種データなど
のダウンロードが完了する。

【００１４】なお、本発明は、本発明に対応する動作プ
ログラムや各種データをインストールした市販の電子楽
器等によって、実施させるようにしてもよい。その場合
には、本発明に対応する動作プログラムや各種データな
どを、ＣＤ−ＲＯＭやフロッピーディスク等の、電子楽
器が読み込むことができる記憶媒体に記憶させた状態
で、ユーザーに提供すればよい。

【００１５】マウス２６からの入力信号はマウス検出回
路２５によって位置情報に変換され、データ及びアドレ
スバス２Ｐに供給される。マイク２Ｃは、音声信号や楽
器音を電圧信号に変換して、マイクインターフェイス２
Ｄに出力する。マイクインターフェイス２Ｄは、マイク
２Ｃからのアナログの電圧信号をディジタル信号に変換
してデータ及びアドレスバス２Ｐを介してＣＰＵ２１に
出力する。キーボード（Ｋ／Ｂ）２Ｅは文字情報などを
入力するための複数の鍵やファンクションキーなどの鍵
を備えており、各鍵に対応したキースイッチを有してい
る。キーボード検出回路２Ｆはキーボード２Ｃのそれぞ
れの鍵に対応して設けられたキースイッチ回路を含むも
のであり、押鍵された鍵に対応したキーイベントを出力
する。なお、これらのハード的なスイッチの他には、デ
ィスプレ２Ｇに各種のスイッチをボタン形式で表示し、
それをマウス２６でソフト的に選択できるようにしたも
のでもよい。表示回路２Ｈはディスプレイ２Ｇの表示内
容を制御するものである。ディスプレイ２Ｇは液晶表示
パネル（ＬＣＤ）等から構成され、表示回路２Ｈによっ
てその表示動作を制御される。

【００１６】音源回路２Ｊは、複数チャンネルで楽音信
号の同時発生が可能であり、データ及びアドレスバス２
Ｐ、外部インターフェイス２Ａを経由して与えられた楽
曲情報（ＭＩＤＩファイル）を入力し、この情報に基づ
き楽音信号を発生する。音源回路２Ｊにおいて複数チャ
ンネルで楽音信号を同時に発音させる構成としては、１
つの回路を時分割で使用することによって複数の発音チ
ャンネルを形成するようなものや、１つの発音チャンネ
ルが１つの回路で構成されるような形式のものであって
もよい。また、音源回路２Ｊにおける楽音信号発生方式
はいかなるものを用いてもよい。音源回路２Ｊから出力
される楽音信号はアンプ及びスピーカからなるサウンド
システム２Ｌによって発音される。なお、音源回路２Ｊ
とサウンドシステム２Ｌとの間に楽音信号に種々の効果
を付与する効果回路２Ｋが設けられている。なお、音源
回路２Ｊ自体が効果回路を含んでいてもよい。タイマ２
Ｎは時間間隔を計数したり、楽曲情報の再生時のテンポ
を設定したりするためのテンポクロックパルスを発生す
るものである。このテンポクロックパルスの周波数はテ
ンポスイッチ（図示していない）によって調整される。
タイマ２ＮからのテンポクロックパルスはＣＰＵ２１に
対してインタラプト命令として与えられ、ＣＰＵ２１は
インタラプト処理により自動演奏時における各種の処理
を実行する。

【００１７】図２のパーソナルコンピュータが採譜再生
装置として動作する場合の一実施の形態について図１、
図３〜図１０を用いて説明する。図３はパーソナルコン
ピュータが採譜再生装置として動作する際のメインフロ
ーを示す図である。ＣＰＵ２１はこのメインフローに従
って動作する。以下、順番にこのメインフローの動作に
ついて説明する。

【００１８】まず、最初のステップで初期設定処理を行
う。初期設定処理では、図２のワーキングメモリ２３内
の各レジスタ及びフラグなどに対して所定の初期値を設
定する。初期設定処理終了後は、パネル設定処理、演奏
入力処理及び演奏処理が順番に実行される。パネル設定
処理では、ディスプレイ２Ｇ上に表示された各種操作子
の操作状態に対応した処理を行う。演奏入力処理では、
ユーザがマイク２Ｃを使って音声の入力を行う処理であ
る。演奏処理では、演奏モードが採譜モードなのか再生
モードなのかに応じた処理を行う。

【００１９】パネル設定処理は、図４に示すように試験
モードの選択処理、採譜モードの選択処理、演奏モード
の選択処理、機器駆動の選択処理、並びにその他の選択
処理から構成される。図１は、試験モードの選択処理の
詳細の前半部を示す図である。試験モードの選択処理で
は、まず、ディスプレイ２Ｇ上で試験モードボタンが操
作されたかどうか、すなわち試験モードが選択されたか
どうかの判定を行う。試験モードが選択された場合は、
各試験モードの各種設定に関する処理を行う。選択され
なかった場合は直ちにリターンして、採譜モードの選択
処理を実行する。

【００２０】試験モードの各種設定に関する処理として
は、レベル調整の選択処理、音色試し指定処理、リアル
タイムデモ演奏を選択若しくは指示する処理、オクター
ブシフトの変更処理、その他の指定処理があり、それぞ
れの処理の段階でその設定が選択されたか否かの判定が
行われる。これらの設定若しくは選択若しくは指示はデ
ィスプレイ２Ｇ上で表示された操作パネルのボタン若し
くは操作子をユーザーが操作することによって行われ
る。あるいは自動的に設定若しくは選択若しくは指示が
なされるようになっていてもよい。

【００２１】レベル調整の選択処理であると判定された
場合には、それが自動設定モードなのか否かの判定を行
う。ここで自動設定モードとは、マイクで周辺雑音及び
／又は演奏支援音をピックアップしてこれをノイズとし
て検出し、検出したマイクからの入力雑音又は演奏支援
音に応じたノイズ量にもとづき、採譜モードの各処理に
おけるしきい値を自動的に設定するモードである。自動
設定モードの場合はさらに補助モードなのか否かの判定
を行う。自動設定モードでない場合には、しきい値設定
スイッチがハイポジションなのか否かの判定を行い、ハ
イポジションの場合にはしきい値としてハイポジション
用しきい値ａＨを、ローポジションの場合にはローポジ
ション用しきい値ａＬをそれぞれピッチ検出用のレベル
しきい値として設定する。（なお、ピッチ検出用のレベ
ルしきい値とは、例えば入力音信号のうち有効な音が存
在する区間を検出するためのレベルしきい値のことであ
り、こうして検出された有効な音が存在する区間を対象
にしてピッチ検出処理を行う。）自動設定モードであり
かつ補助モードの場合は、任意の若しくはユーザによっ
て選択された適宜の支援音（メトロノーム音又はバック
演奏音）を発生してこれをサウンドシステム２Ｌのスピ
ーカから出力しながら、マイク２Ｃからの入力音信号の
録音を約５秒間行う。補助モードが選択されていない場
合は、上記支援音を発生することなく、マイク２Ｃから
の入力音信号の録音を約５秒間行うだけである。ここで
補助モードとは、後述する演奏入力時にユーザがマイク
２Ｃで音声入力する（採譜したい所望のメロディを口づ
さむ）際に、その演奏支援音（補助音）としてメトロノ
ーム音やバック演奏などを発音させながら、演奏入力を
行うモードである。従って、補助モードが選択されてい
ない場合には演奏支援音の発生は行わずにマイク２Ｃか
らの入力音信号の録音を行う。なお、原則的には、自動
設定モードにおいては、補助モード又は非補助モードを
問わず、ユーザーによるマイク２Ｃに向かっての積極的
な音声発生は行わず、補助モードにあっては演奏支援音
（補助音）のみの発生を行いつつマイク２Ｃからの入力
信号の録音を行い、非補助モードにあってはそのような
演奏支援音（補助音）の発生を行わずにマイク２Ｃから
の入力信号の録音を行うものとする。従って、補助モー
ドに従う自動設定モードにおいては、主に演奏支援音が
（周辺環境ノイズも含むことになるが）マイク２Ｃでピ
ックアップされて録音される。また、非補助モードに従
う自動設定モードにおいては、主に周辺環境ノイズのみ
がマイク２Ｃでピックアップされて録音されることにな
る。なお、演奏支援音（補助音）は、図２に示す採譜再
生装置で発生する態様に限らず、その他適宜の態様（例
えば他の装置又は楽器あるいはメトロノーム等で発生す
る、あるいはユーザのマニュアル操作又は足踏み動作で
発生するなど）で発生するようにしてもよいのは勿論で
ある。

【００２２】補助モード又は非補助モードに従う自動設
定モードにおけるマイク２Ｃからの入力信号の録音が終
了したら、その録音された音信号の絶対値の最大値をノ
イズ量として検出する。すなわち、この実施の形態で
は、通常のノイズ（周辺環境から発される不所望のノイ
ズ）のみならず演奏支援音もノイズ信号とみなして、ノ
イズ量の検出を予め行う。この場合、ノイズ量の検出の
仕方は任意の手法を用いてよい。例えば、このノイズ量
を次のようにして検出してもよい。まず、０から３２７
６７までの音声信号のレベル範囲を０〜９９、１００〜
１９９、２００〜２９９、・・・のように１００毎に分
割する。さらに、録音されたオーディオデータを例えば
１秒毎の単位時間区間に分割する。このオーディオデー
タは約５秒間に渡って録音されているので、各単位時間
区間における最大値を検出し、それが前述の０〜９９、
１００〜１９９、２００〜２９９、・・・のどのレベル
範囲に属するかを検出し、それを全単位時間区間に渡っ
て統計をとる（例えば該当するレベル範囲毎にカウント
する）。その統計の中で一番カウント値の大きい（頻度
の高い）レベル範囲を抽出し、そのレベル範囲内におけ
る音声信号の絶対値の最大値、中心値、最低値、又は平
均値のいずれかをノイズ量として検出するようにしても
よい。

【００２３】例えば、録音した５秒間のオーディオデー
タ中の各単位時間区間における最大レベル値が１８０，
２０５，２１０，２４５，３１５であった場合、１００
〜１９９が１ポイント、２００〜２９９が３ポイント、
３００〜３９９が１ポイントとなる。カウント数が多い
のは３ポイントの２００〜２９９の範囲である。従っ
て、この中の最大値２４５、中心値２１０、最低値２０
５、又は３つの値の平均値２２０のいずれか一つをノイ
ズ量として検出するようにしてよい。あるいは、２００
〜２９９の最大値２９９、最低値２００、中心値２５０
のいずれか一つをノイズ量として検出するようにしても
よい。このように、最大レベルの集中した一定幅のレベ
ル範囲を基準にして、ノイズ量を決定することによっ
て、適切なノイズ量を検出することができる。すなわ
ち、例えば録音した５秒間のオーディオデータ中のただ
１つの最大レベルをノイズ量として検出したとすると、
ノイズによっては突発的なノイズが存在するので、その
ような突発的なノイズによる比較的高いレベルをノイズ
量として検出してしまい、不適切な誤差をもたらすこと
になる。しかし、上記実施例のように複数の時間区間に
おけるノイズレベルを統計的に処理する手法によってノ
イズ量の検出を行うようにすれば、そのような突発的な
ノイズによる不適切なノイズ量の検出を回避することが
できる。

【００２４】次に、このようにして検出されたノイズ量
の値が採譜環境における適正範囲内のものであるかどう
かの判定を行う。すなわち、ノイズ量があまりにも大き
すぎて、実際の音声信号の検出に困難を及ぼすような場
合には、そのノイズ量は適正範囲内のものでないと判断
される。従って、ノイズ量が適正範囲ないのものでない
（ＮＯ）場合には、例えば『ノイズ量が大きいので検出
感度が落ちる』又は／及び『ノイズ量が大きいので部屋
を静かにするように』などの警告文をディスプレイ２Ｇ
上に表示する。ノイズ量が適正範囲内である（ＹＥＳ）
場合は、その値に応じて採譜モード時の各処理における
しきい値ａを決定する。しきい値ａは音声解析時のピッ
チ検出処理に用いられる入力音声レベルに関するしきい
値である。ここで、しきい値ａは、検出されたノイズ量
に所定の一定値を加算した値を用いてもよいし、ノイズ
量に所定比率を乗じた値を用いてもよい。

【００２５】以上から明らかなように、上述した自動設
定モードにおける５秒間のマイク録音中においては、ユ
ーザがマイク２Ｃに向かって不要な音声を発しないよう
にすることが、正確なノイズ量検出のために望ましい。
しかし、勿論、この場合のマイク２Ｃ入力の最中に、絶
対にユーザが音声を発してはいけないというわけではな
く、ユーザが音声を発しない方がノイズ量（演奏支援音
と周辺環境ノイズの大きさ）の検出が楽に行えるので利
点が大である、という趣旨である。例えば、多少のユー
ザ音声がマイク２Ｃからの入力信号中に含まれた場合に
これを除去するために、必要とあらば、簡易な人声フォ
ルマント分析若しくは人声帯域判定等を行い、明らかに
ユーザ音声と推量される部分はカットする若しくはノイ
ズ量の検出対象外とする等の措置をとることで、この自
動設定モードにおけるマイク録音中にユーザ音声が混入
したとしてもそれを無視できるように対処することも可
能である。

【００２６】図１において自動設定モードに入る前の
「レベル調整選択あり？」の判定ステップの説明に戻る
と、ここでレベル調整の選択処理ではないと判断された
場合には、図５に行き、音色試し指定ありか否かの判定
を行う。音色試し指定ありの場合はリアルタイムデモ演
奏の指定ありか否かの判定を行う。リアルタイムデモ演
奏指定ありの場合は、マイク２Ｃを介してリアルタイム
で任意の旋律の音声入力を行い、例えばその５秒間分の
入力音声信号についての採譜処理を行い、この入力音声
を指定された音色に対応した楽音に変換してデモ演奏を
行う。この場合のデモ演奏処理においては、約５秒間の
採譜結果に応じた各楽音生成とそのデモ演奏発音処理を
行う。この場合のデモ演奏発音処理は、ユーザの音声入
力に合わせて後述のような図９の音声解析処理を行い
（採譜を行い）、リアルタイムの解析結果（採譜結果）
に応じて図１０の楽音出力処理をリアルタイムで実行す
ることからなる。すなわち入力された音声からピッチや
発音区間など解析され、その解析結果に応じた楽音（例
えば解析に応じて所要の音階ノートピッチに丸められか
つ発音オン・オフ時間が整備された楽音）がリアルタイ
ムで発音される。なお、ここでは、単にマイク入力音声
を音声解析して採譜し、採譜したフレーズを指定の音色
で即座に発音処理するだけであって、自動演奏進行処理
は行わない。すなわち、自動演奏における発音タイミン
グ制御は行われず、発音タイミングは入力音声から抽出
された発音オン・オフ区間に対応してリアルタイムで制
御される。また、採譜したデータの記録保存やその修正
（編集）などといった二次的処理も行わなくてよい。た
だし、上記のように発生楽音の音色は任意に指定可能で
あり、また、後述するようにオクターブシフト（あるい
はピッチシフト）制御によって音域を任意に変更して楽
音発生させることも可能である。本明細書中ではこのよ
うに入力音の楽音要素抽出結果（採譜結果）に基づく楽
音をリアルタイムに即座に発生する演奏のことをリアル
タイムデモ演奏ということにする。

【００２７】リアルタイムデモ演奏の指定がなされてい
ない場合は、楽器種類別（ピアノ系、ギター系など）毎
に異なる若しくは適切なフレーズ（デモ演奏用の演奏デ
ータ）で用意されたデモ演奏用のフレーズデータ（自動
演奏データ）を使用して、指定されている音色に対応し
たデモ演奏用のフレーズを選択して再生し、これを発音
することでデモ演奏処理を行う。なお、この場合の既存
データに基づく演奏処理（通常デモ演奏処理）も上述と
同様に約５秒間である。なお、この通常デモ演奏処理に
あっては、自動演奏進行処理を行い、自動演奏フレーズ
データに従って発音タイミング制御しながらデモ演奏を
行う。なお、デモ演奏用の既存の演奏データは、デモ演
奏専用の見本のデータであってもよいが、ユーザが以前
に音声入力した採譜済みのフレーズデータ（記憶手段に
記憶されたもの）を用いたり、あるいはユーザーが随時
利用可能なプリセットされている自動演奏フレーズデー
タがあればそれを用いてもよい。

【００２８】上記指定された音色は、ユーザーによって
任意に設定変更可能（つまり指定可能）である。このよ
うに指定された音色に対応した楽音でリアルタイムデモ
演奏又は通常デモ演奏処理を行うことによって、本格的
な採譜処理を開始する前に該採譜処理のためにユーザが
指定した音色が希望通りの音色であるのかの確認や、採
譜処理が的確に行われるかどうかの試聴確認などを容易
に行うことができるようになる。

【００２９】このような指定音色試聴機能の一つの利点
は、採譜済みの楽譜化された（例えばＭＩＤＩ化され
た）フレーズデータに対応する楽音信号を形成する音源
のタイプには色々なものがあり、本発明に係る楽音要素
抽出装置若しくはプログラムで抽出した楽音要素に基づ
く楽音信号、若しくはかかる楽音要素抽出装置若しくは
プログラムを含む採譜装置若しくはプログラムで採譜し
たデータに基づく楽音信号は、どのようなタイプの音源
を使用しても形成可能であることから、実施時において
使用されるかもしれない音源のタイプが千差万別であ
り、同じ名称の音色（例えば、ピアノ、ベース、フルー
ト等の楽器名称の音色）であっても、音源の相違によっ
ては音質が異なるものがあるので、そのような音質の確
認（音色毎の音質の確認）に役立つ、ということであ
る。

【００３０】指定音色試聴機能の別の利点は、これによ
って、ユーザーが指定した音色が実際の演奏メロディと
の関係でどのような印象となるのかの確認を容易に行う
ことができることである。例えば、リアルタイムデモ演
奏の場合は、ユーザーにより音声入力して採譜しようと
する所望の曲フレーズとの関係でその指定音色がマッチ
しているかが即座に確認できる。また、通常のデモ演奏
の場合は、好適な既存フレーズとの関係で指定音色の確
認を行うことができるので、その音色の特徴を即座に理
解し易い。また、指定音色確認の目的以外にもこの機能
は有用である。例えば、この指定音色を固定（半固定）
しておいて、リアルタイムデモ演奏のモードで、種々の
態様のメロディーフレーズをユーザー音声で入力し、こ
れらのメロディーフレーズ同士を聴き比べる、といった
使い方ができる。その場合は、音色が一定しているた
め、ユーザー音声入力した各メロディーフレーズ同士の
比較がし易い、という利点をもたらす。また、共通の指
定音色でリアルタイムデモ演奏と通常のデモ演奏とを順
に行うことで、同一音色であることにより既存フレーズ
とユーザー入力フレーズとの比較がし易くなり、ユーザ
ー入力フレーズの評価がし易くなる。

【００３１】なお、上記リアルタイムデモ演奏は、指定
音色確認の目的のみならず、ユーザーの音声入力に応じ
た楽音要素抽出結果あるいは採譜結果に基づく楽音フレ
ーズを即座に聴いて確認する目的でも有利に使用するこ
とができる。例えば、採譜処理におけるピッチ検出処理
においては、入力音声から検出したピッチを最近傍のノ
ートピッチに丸める処理を行うことで、最もふさわしい
ノートピッチを抽出するようにしているが、このピッチ
丸め処理がうまくいかない場合は、ユーザーが１音（１
ノートピッチ）で音声入力したつもりのものが２音（２
ノートピッチ）として抽出されてしまったり、逆に２音
（２ノートピッチ）で音声入力したつもりのものが１音
（１ノートピッチ）として抽出されてしまったりする、
といったことが起こりうる。そのような場合に、ユーザ
ーの音声入力の仕方を変えたり、分析用パラメータを変
更したりして適切な調整を可能にするために、上記リア
ルタイムデモ演奏で即座に楽音要素抽出結果あるいは採
譜結果に基づく楽音フレーズを発音して聴いて確認でき
るようにすることは極めて有利である。なお、その場
合、任意の音色指定を行わずに、所定の音色でリアルタ
イムデモ演奏を行うように実施例を変形してもよく、ま
た、リアルタイムデモ演奏と通常デモ演奏のどちらかを
選択する構成とせずにリアルタイムデモ演奏のみの選択
を行う構成（つまり通常デモ演奏は行わない）とするよ
うに実施例を変形してもよい。そのような変形を実施す
る場合は、図５の「音色試し指定あり」の判定ステップ
を「リアルタイムデモ演奏」の判定ステップに変更し、
また、「リアルタイムデモ演奏」がＮＯのときに通常の
デモ演奏を行うステップを削除すればよい。

【００３２】なお、上記リアルタイムデモ演奏の変形と
して、リアルタイムでマイク入力された音信号をバッフ
ァ記憶し、バッファ記憶された音信号を読み出して採譜
処理を行い、こうして採譜された楽音を指定音色で発音
するようにしてもよい。その場合、音信号のマイク入力
時点と採譜された楽音を発音する時点で多少のずれが出
てもよい。また、リアルタイムデモ演奏のために採譜し
たデータを記憶しておき、これを再生演奏するように実
施形態を変形することも可能である。

【００３３】図５の「音色試し指定」の判定ステップの
説明に戻ると、音色試し指定なしと判定された場合に
は、オクターブシフトの変更ありか否かの判定を行う。
採譜処理に際して所望の音色の指定を行ったとき、又は
スイッチ操作によるオクターブシフト量設定が行われた
ときに、ここでオクターブシフト変更あり（ＹＥＳ）と
判定される。オクターブシフト変更ありの場合は音色対
応指定ありか否かの判定を行う。音色対応指定とは、指
定された音色に対応して予め定められたオクターブシフ
ト量に設定することである。よって、「音色対応指定あ
り」の判定がＹＥＳの場合はその指定された音色に対応
して予め定められているシフト量を選択設定する。その
場合、採譜処理におけるピッチ検出の対象とする音声信
号を特定する（ノイズと区別する）ために、音声入力す
るユーザの声質を客観的に推測するための設定項目が設
けられており（この設定はマニュアル設定でもよいし、
自動的に判別して設定してもよい）、その設定項目で設
定されたユーザ性別（男又は女）や声質（高い、普通、
低い）等の情報をも用いて、ユーザが指定した音色（つ
まり入力音声を基に生成する楽音出力の音色）に対応す
るオクターブシフト量を、所定のテーブル等を参照して
若しくは所定の演算アルゴリズム等を用いて、決定若し
くは算出若しくは設定する。例えば、性別：女性／声
質：高いという人がベースの音色で採譜する場合、実際
に検出された音域よりも所定音程だけ低い音域に変換し
て（例えば２オクターブ低くする）採譜処理がなされる
ようにオクターブシフト制御を行い、あるいは、性別：
男性／声質：普通という人がベースの音色で採譜する場
合も、実際に検出された音域よりも上記とは異なる所定
音程だけ低い音域に変換して（例えば１オクターブ低く
する）採譜処理がなされるようにオクターブシフト制御
を行う。

【００３４】なお、採譜のピッチ検出のための音声信号
を特定（ノイズとの区別）するために、実際（本番）の
採譜処理の前に試験的に入力するユーザが実際に音声
（歌う音程に合わせた音声）を入力し、入力された音声
の周波数帯域を検出し、その検出した結果を基にしてユ
ーザが発声（歌う）と考えられる音域を定め、ピッチ検
出を行う処理の幅を限定して（すなわち、入力音フィル
タ値ｂの検出を行い、このフィルタ値ｂに基づいて帯域
限定する）、信号処理の負荷軽減させる処理をも行う
が、そこで検出した結果をまた別の音色との対応性を考
慮したユーザ発声音域と音色毎に考慮した適正音域とを
比較して、所定のシフト量設定テーブルを参照してシフ
ト量を決定するとよい。例えば、低い声しかでない（検
出された結果がそうである）ユーザがピアノの音色で楽
音化したいと考えたときは、実際に検出された音程より
も高い音階に決定（１オクターブ高くする等）する。な
お、予めユーザの音域を検出し、ユーザの音域と、指定
された音色の音域とか一致するかどうかに基づいてオク
ターブシフト量を設定してもよいし、両者の音域が一致
している場合でも、それを任意にシフトしてもよいこと
はいうまでもない。

【００３５】図５で、「音色対応指定あり」の判定がＮ
Ｏの場合は、指定音色に依存しないオクターブシフト値
の設定処理を行う。例えばユーザが設定した任意のシフ
ト量（１オクターブ又は２オクターブなどの具体的な
値）に応じてオクターブシフト値を決定する。あるい
は、ユーザーの入力音声を解析し、そのユーザー音域に
応じてオクターブシフト値を決定するようにしてもよ
い。あるいは、ユーザーの入力音声を解析してそのユー
ザー音域に応じた第１のオクターブシフト値を定め、か
つ、ユーザーによって設定入力された所望の第２のオク
ターブシフト値を考慮し、両者の組み合わせで最終的な
オクターブシフト量を決定するようにしてもよい。な
お、以上のようにして決定若しくは設定されたオクター
ブシフト量をｃで示す。このように決定若しくは設定さ
れたオクターブシフト量に応じて入力音声信号から検出
したピッチの音域を変更し、こうして音域変更されたピ
ッチを対象にして最終的なピッチ決定処理若しくは音階
決定処理が行われる。なお、このオクターブシフト処理
においては、ピッチシフト量はオクターブ単位に限ら
ず、オクターブよりも細かい範囲でシフトを設定若しく
は決定してもよい。

【００３６】一方、図５で、「オクターブシフトの変更
あり」の判定がＮＯの場合は、「その他の指定あり」か
どうかの判定を行う。「その他の指定あり」の場合はそ
の指定に従い所要の処理を実行する。

【００３７】勿論、上記のオクターブシフト機能と上記
の「音色試聴機能」あるいは「リアルタイムデモ演奏」
機能を組み合わせて実施することができる。例えば、音
声入力に先立って、まず所望の音色（例えば「ベース」
音色）を指定し、これに応じて図５の「オクターブシフ
トの変更あり」の判定でＹＥＳと判定されたとする。こ
れによって、この指定された音色が（例えば「ベース」
音色）に応じたオクターブシフト量が決定される。次
に、「音色試聴」機能を選択すると、図５の「音色試し
指定あり」の判定でＹＥＳと判定され、かつ、「リアル
タイムデモ演奏」機能を選択する、図５の「リアルタイ
ムデモ演奏」の判定でＹＥＳと判定され、「リアルタイ
ムデモ演奏」が実行される。すなわち、入力音声の音域
を決定されたシフト量だけシフトして採譜処理が行わ
れ、採譜したフレーズの楽音が指定されたベース音色で
リアルタイムに発音される。

【００３８】図６は、図４の採譜モードの選択処理の詳
細を示す図である。採譜モードの選択処理では、まず、
ディスプレイ２Ｇ上の採譜モードボタンが操作されたか
どうか、すなわち採譜モードが選択されたかどうかの判
定を行う。採譜モードが選択された場合は各採譜モード
の設定に関する処理を行い、選択なしの場合は直ちにリ
ターンして、次の演奏モードの選択処理を実行する。

【００３９】採譜モードの選択設定に関する処理として
は、補助モード使用有無の変更、音色変更、波形記録に
関する変更、その他の変更に関するスイッチ操作があっ
たか否かに応じて処理が行われる。まず、補助モード使
用有無の変更ありと判定された場合には、その補助モー
ドによって設定されるのがメトロノーム音の設定に関す
るものなのかどうかの判定を行う。すなわち、補助モー
ドにおいて音声入力と同時に発音されるものがメトロノ
ーム音なのかバック演奏なのかの判定を行う。メトロノ
ーム音の設定に関するものであると判断された場合はそ
のメトロノーム音の発音テンポ、音量等の各種設定を行
う。なお、メトロノーム音の音量が変更された場合、採
譜入力音声のレベルしきい値が変更することもある。メ
トロノーム音の設定に関するものではないと判断された
場合には、演奏支援音としてバック演奏を行うことを意
味するので、ここでは、バック演奏を自動演奏するため
にコードパターンに関する各種の設定を行う。なお、コ
ードパターンの設定処理でも同様にコードパターン演奏
時の音量を設定することができるので、この場合にもそ
の変更されたコードパターンの音量に応じて採譜入力音
声のしきい値が変更することもある。補助モード使用の
有無変更なしの場合は、音色変更ありかどうかの判定を
行う。変更ありの場合は指定のあった音色に変更する。
すなわち、ユーザは採譜された結果の音色として所望の
音色をスイッチ入力又はデータ入力等で任意に設定す
る。また、その他の変更ありの場合は指定の有ったもの
の変更処理を行う。

【００４０】波形記録に関する変更ありの場合は、それ
が採譜記録時間の変更かどうかの判定を行う。記録時間
の変更の場合は指定された時間分だけＲＡＭ２３内のメ
モリ領域を確保する。この採譜記録時間に応じてメモリ
領域を確保することによって、ユーザに予めどのくらい
の時間（何秒くらい）演奏を行うのかを設定させること
ができる。また、これによってメモリ領域の確保を行う
必要がないので、プログラムの負荷を軽減できる。これ
はメモリ領域を可変可能とすることによって、メモリ確
保に時間を取られ、リアルタイム処理に向かなくなると
いう欠点があるからである。従って、このように予めメ
モリ領域を確保しておくことによって負担を減らすこと
ができる。なお、演奏入力の際に確保されたメモリ領域
の残量をメータ表示することによってあとどのくらいの
録音ができるのかが一目瞭然で分かるというメリットも
ある。採譜記録時間の変更でない場合は、波形記録有無
の変更かどうかの判定を行う。波形記録有りの場合は、
波形記録モードの変更を行う。波形記録モードには、採
譜しながら波形を記録するモードと、採譜しながら波形
を記録しておかないモードの２種類があるので、それら
を交互に変更設定することができるようになっている。

【００４１】図７は、演奏モードの選択処理の詳細を示
す図である。演奏モードの選択処理では、まず、ディス
プレイ２Ｇ上の演奏モードの選択ボタンが操作されたか
どうか、すなわち再生状態の変更指示ありかどうかの判
定を行い、指示ありの場合は各演奏モードの変更に関す
る処理を行い、指示なしの場合はリターンして、次の機
器駆動の選択処理を実行する。演奏モードの変更に関す
る処理としては、再生音量の変更、音色の変更、速度
（テンポ）の変更、その他の変更に関するスイッチ操作
があったか否かに応じて処理が行われる。まず、再生音
量の変更ありと判定された場合には音量の変更処理を行
う。音色の変更ありと判定された場合は音色の変更処理
を行う。速度（テンポ）の変更ありと判定された場合は
テンポの変更処理を行う。その他の変更ありと判定され
た場合は、その指示内容に応じた変更処理を行う。

【００４２】図８は、機器駆動の選択処理の詳細を示す
図である。機器駆動の選択処理では、ディスプレイ２Ｇ
上の採譜開始指示ボタン、再生開始指示ボタン、停止指
示ボタン、その他の指示ボタンが操作されたかどうかの
判定を行い、その判定結果に応じた処理を行う。まず採
譜開始指示ボタンの操作があった場合は、採譜開始の準
備として、音声入力があった時点から採譜開始が行われ
るように準備する。また、設定された補助モードが存在
する場合には、その設定された補助モードに応じた支援
音（メトロノーム音又はバック演奏音）の発生を開始す
る。再生開始指示ボタンの操作があった場合は、それに
対応する演奏処理フラグを立てたり、指定されているデ
ータまたは採譜完了後のデータの再生を行う。停止指示
ボタンの操作があった場合は、現在実行中の処理（採譜
処理又は再生処理）を停止する。その他の指示ボタンの
操作があった場合は、その操作されたボタンの内容に応
じた処理を行う。例えば、一時停止指示、データの送り
処理、戻し処理などを実行する。機器駆動の選択処理が
終了したら今度はその他の選択スイッチに対応した選択
処理を行い、パネル設定処理を終了する。

【００４３】このように図４のパネル設定に関する一連
の処理が終了すると、今度は図３に戻って演奏入力処理
を行う。この演奏入力処理はユーザによるマイク２Ｃを
用いた音声入力作業のことである。この音声入力作業に
よってマイク２Ｃから入力されるユーザの音声信号を取
り込む。次に、採譜関連又は演奏関連のボタン（図示し
ていない）の操作に合わせて、その指示に応じた演奏処
理を行う。例えば、演奏開始スタートボタンが操作され
た場合には、それに対応する演奏処理フラグを立てた
り、採譜処理スタートボタンが操作された場合には、そ
れに対応する採譜処理フラグを立てたりする。また、演
奏処理についても従来から公知の自動演奏技術に基づい
て行われるので、ここでは説明を省略する。なお、上述
のようにユーザによって選択された音階丸め条件に応じ
て採譜処理が行われることはいうまでもない。

【００４４】なお、この採譜再生装置の基本的な動作に
ついては、本願の発明者が先に出願した特願平９−３３
６３２８号に記載されているので、ここでは音声解析処
理及び楽音出力処理の概略のみを説明する。まず、図３
における演奏処理には、採譜モードと再生モードの２種
類のモードが存在する。採譜モードは、入力音声を楽音
化し、五線譜に音符して表示するとともにその楽音を音
源で発音する。再生モードは、選択されている楽曲デー
タ又は採譜されて記憶されているデータを読み出して音
源で発音する。これ以外のモードも存在するがここでは
この２種類について説明する。採譜モードにおける入力
音声の楽音化は、図９の音声解析処理によって行われ
る。この音声解析処理の詳細は上述の先願に記載されて
いるので、ここでは簡単に説明する。音声解析処理では
図９に示すようにピッチ検出処理を行う。このピッチ検
出処理は、図１の試験モードの選択処理において決定さ
れたレベルしきい値ａ、ハイポジション用のレベルしき
い値ａＨ、ローポジション用のレベルしきい値ａＬ及び
入力音フィルタ値ｂに基づいて行われる。ここで入力音
フィルタ値ｂは、入力された音声の周波数帯域を検出
し、その検出した結果に対応したフィルタ特性である。
音階丸め処理では、指定された音階丸め条件に応じた音
階丸め処理を行う。従来はピッチ検出と音階丸め処理を
行うことによって音声解析処理は終了していたが、この
実施の形態では、音階丸め処理の結果をさらにオクター
ブシフト値ｃに基づいてオクターブシフトして最終的な
音階を決定するようにしている。すなわち、採譜用音色
として設定した音色に対応する音域となるように採譜し
て音高データをシフトする。

【００４５】図１０の楽音出力処理によって音源から楽
音信号が出力され、サウンドシステムを介して発音が行
われる。楽音出力処理は従来の自動演奏処理と同じであ
り、演奏データの取込を行い、音源にて楽音信号を生成
し、サウンドシステムにて発音処理するという一連の処
理を行うものである。なお、発音処理においては、その
ボリューム値として図１の試験モードの選択処理におい
て決定されたしきい値ａ、ａＨ又はａＬに基づいて決定
された値が使用される。すなわち、しきい値ａが自動設
定モードによって決定されている場合には、そのしきい
値ａに基づいたボリューム値ｄが用いられ、しきい値設
定スイッチがハイポジションの場合にはハイポジション
用のボリューム値ｄＨが、ローポジションの場合にはロ
ーポジション用のポリューム値ｄＬに基づいて、それぞ
れの発音処理が行われるようになる。なお、図７の演奏
モードの選択処理にて、再生音量の変更処理が行われた
場合には、そちらの方の音量が優先される。なお、上述
の実施の形態ではしきい値ａ，ａＨ，ａＬに基づいてボ
リューム値が決定される場合について説明したが、ボリ
ューム値以外にもボリュームの変化の割合が決定され、
その変化の割合に応じて音量が変化するようにしてもよ
い。

【００４６】なお、上記のようにオクターブシフトを行
うのは、声の音高が低すぎるユーザ、又は高すぎるユー
ザの場合、音声解析処理の結果（採譜されたデータ）に
基づいて試聴した際に、分かりづらいことがあったため
である。そこで、オクターブ単位で音高を上下にシフト
してやることによって、聴きやすい音高での発音が確保
できるので、音声解析処理の結果に基づく試聴をスムー
ズなものとすることができる。この場合、設定した音色
に応じて自動的にオクターブシフトを行うことが可能で
あり、従って、ベースのフレーズを作成する場合など
に、ベースの高さで発声できないユーザのために、この
オクターブシフトを用いて、簡単にベースの音域の音高
の音を作成することができるとともに、その試聴も容易
に行うことができるようになる。逆に高い音のアレンジ
を行う場合でも同じである。このようにオクターブシフ
トすることによって、人間の音声では出せない音を作成
することが可能となる。

【００４７】なお、上述の実施の形態では、採譜の場合
についてのみ説明したが、例えば、ユーザの歌ったとき
のレベル値を利用して、各音符にベロシティ情報を自動
的に割り付けることによって、ユーザの歌った又は演奏
したときのニュアンスをそのまま採譜結果に反映しても
よい。例えば、音符区間の中で妥当な位置を見つけ出
し、その部分のピークの最大を検出する。全音符の入力
が終了後、ピークの最大値の中の最大値を探す。全区間
の最大値を１２７とし、それを基準にしてベロシティを
決定する。なお、全区間の中で最も大きい値を基準にし
てもよい。

【００４８】また、上記実施例において、リアルタイム
デモ演奏では、マイク入力した音信号に基づき採譜した
楽音を指定された音色で発音するようにしていること
で、指定音色の確認が行えるようにしているが、指定音
色確認以外の目的で、マイク入力信号のリアルタイム演
奏を行うようにしてもよい。例えば、マイク入力した音
信号をリアルタイムで採譜し、採譜した楽音をリアルタ
イムでピッチ変更して楽音発音するようにしたり、採譜
した楽音をリアルタイムでピッチ変更したものとピッチ
変更してないものとを同時発音するようにしてもよい。

【００４９】また、上述の実施の形態では本発明を採譜
再生装置に適用した場合について説明したが、本発明は
これに限定されるものではない。採譜処理を行わずに、
入力音信号を単に指定された音色や音高の信号に変換し
て出力するボイスチェンジャーやハーモニー付加装置の
ような音信号変換装置あるいは音信号変換方法に適用し
てもよい。あるいは、入力音信号の楽音要素を抽出し、
抽出した楽音要素に応じて、別の何らかの楽音を制御し
たり、ディスプレイ表示している画像を制御したりする
装置あるいは方法において本発明を適用することもでき
る。上述のいずれの実施の形態においても、マイク入力
する音信号は、人声音信号に限らず、他の音信号（例え
ば既存の演奏音信号）であってもよい。

【００５０】なお、上記実施例に示されたオクターブシ
フト制御において、前述の通り、シフト量は、オクター
ブ単位の幅で設定することに限らず、オクターブ未満の
任意のピッチシフト幅で設定してもよい。また、このシ
フト量は、設定された音色の種類によって決定したり、
音色の種類とユーザの個人的音質設定（性別、声の高さ
など）との関係によって決定したり、音色の種類と入力
音声の周波数帯域の検出結果との関係に基づいて決定し
たり、ユーザが任意に適宜決定したりできるようにして
もよい。

【００５１】なお、上記実施例ではコンピュータ構成の
装置により本発明を実施しているが、これに限らず、同
等の機能を専用ＬＳＩで構成してもよいし、同等の機能
をロジック、ゲートアレイ、ストレージ、メモリ等のデ
ィスクリート回路を接続して構成してもよい。また、ソ
フトウェア構成を用いる場合も、パーソナルコンピュー
タのような汎用コンピュータに限らず、楽器や音楽機器
等の所要の装置内に配備されたマイクロコンピュータを
使用するものであってもよく、また、ＤＳＰ（ディジタ
ル・シグナル・プロセッサ）を使用するものであっても
よい。

【００５２】

【発明の効果】この発明によれば、音声で表現不可能な
音高に対して採譜する場合でも後からエディットしなく
ても所望の音色に対応した音高のＭＩＤＩファイルを採
譜できるという効果がある。また、実際の採譜処理の前
に採譜結果の音色によるデモ演奏を行うことができると
いう効果がある。その他、既に述べた通りの種々の効果
を奏する。

【図面の簡単な説明】

【図１】 図４のパネル設定処理内の試験モードの選択
処理の詳細の前半部を示す図である。

【図２】 本発明に係る楽音要素抽出機能を含む採譜再
生装置として動作するパーソナルコンピュータのハード
構成ブロック図である

【図３】 本発明に係る楽音要素抽出機能を含む採譜再
生装置のメインフローを示す図である。

【図４】 図３のパネル設定処理の詳細を示す図であ
る。

【図５】 図４のパネル設定処理内の試験モードの設定
処理の詳細の後半部を示す図である。

【図６】 図４のパネル設定処理内の採譜モードの選択
処理の詳細を示す図である。

【図７】 図４のパネル設定処理内の演奏モードの選択
処理の詳細を示す図である。

【図８】 図４のパネル設定処理内の機器駆動の選択処
理の詳細を示す図である。

【図９】 図３の演奏処内の音声解析処理の詳細を示す
図である。

【図１０】 図３の演奏処理内の楽音出力処理の詳細を
示す図である。

【符号の説明】

２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…外
部記憶装置、２５…マウス検出回路、２６…マウス、２
７…通信インターフェイス、２８…通信ネットワーク、
２９…サーバコンピュータ、２Ａ…外部インターフェイ
ス、２Ｂ…他の外部機器、２Ｃ…マイク、２Ｄ…マイク
インターフェイス、２Ｅ…キーボード、２…キーボード
検出回路、２Ｇ…ディスプレイ、２Ｈ…表示回路、２Ｊ
…音源回路、２Ｋ…効果回路、２Ｌ…サウンドシステ
ム、２Ｎ…タイマ、２Ｐ…データ及びアドレスバス

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10H 1/00 - 1/00 102 G10H 1/20 G10G 3/04

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 音信号を入力するマイク入力手段と、 前記マイク入力手段から入力する音信号の音高を検出す
   る音高検出手段と、所望の音色を指定する手段と、 前記音高検出手段によって検出された音高を前記音色毎
   に対応して予め定められたシフト量に応じてシフトした
   音高を、楽音要素として抽出する抽出手段とを具備する
   楽音要素抽出装置。
2. 【請求項２】 音信号を入力するマイク入力手段と、 前記マイク入力手段から入力する音信号の音高を検出す
   る音高検出手段と、 前記マイク入力手段から入力される音信号を基にして前
   記入力音信号の音域を決定する音域決定手段と、 前記決定した入力音信号の音域とユーザーが所望する適
   正音域とを比較し、該比較した結果に応じて前記音高検
   出手段によって検出された音高を全体的にオクターブシ
   フトし、該オクターブシフトして得られた音高に基づい
   て決定されるデータを楽音要素として抽出する抽出手段
   とを具備する楽音要素抽出装置。
3. 【請求項３】 前記抽出手段によって抽出された前記楽
   音要素に基づく楽音信号の形成をリアルタイムに行うこ
   とを楽音信号形成手段に対して指示するリアルタイム演
   奏指示手段、を更に具備する請求項１又は２に記載の楽
   音要素抽出装置。
4. 【請求項４】 マイク入力手段から音信号を入力するス
   テップと、 前記マイク入力手段から入力する音信号の音高を検出す
   るステップと、所望の音色を指定するステップと、 前記 検出された音高を前記音色毎に対応して予め定めら
   れたシフト量に応じてシフトした音高を、楽音要素とし
   て抽出するステップとを具備する楽音要素抽出方法。
5. 【請求項５】 マイク入力手段から音信号を入力するス
   テップと、 前記マイク入力手段から入力する音信号の音高を検出す
   るステップと、前記マイク入力手段から入力される音信号を基にして前
   記入力音信号の音域を 決定するステップと、 前記決定した入力音信号の音域とユーザーが所望する適
   正音域とを比較し、該比較した結果に応じて前記検出さ
   れた音高を全体的にオクターブシフトし、該オクターブ
   シフトして得られた音高に基づいて決定されるデータを
   楽音要素として抽出するステップと を具備する楽音要素
   抽出方法。
6. 【請求項６】 前記抽出するステップによって抽出され
   た前記楽音要素に基づく楽音信号の形成をリアルタイム
   に行うことを指示するステップ、を更に具備する請求項
   ４又は５に記載の楽音要素抽出方法。
7. 【請求項７】 機械によって読取り可能な記憶媒体であ
   って、マイク入力手段を介して入力する音信号の楽音要
   素を抽出する方法をコンピュータによって実行するため
   のプログラムについての命令群をその記憶内容として有
   しており、前記プログラムは、 前記マイク入力手段から入力する音信号の音高を検出す
   るステップと、所望の音色を指定するステップと、 前記 検出された音高を前記音色毎に対応して予め定めら
   れたシフト量に応じてシフトした音高を、楽音要素とし
   て抽出するステップとを含んでいることを特徴とする記
   憶媒体。
8. 【請求項８】 機械によって読取り可能な記憶媒体であ
   って、マイク入力手段を介して入力する音信号の楽音要
   素を抽出する方法をコンピュータによって実行するため
   のプログラムについての命令群をその記憶内容として有
   しており、 前記マイク入力手段から入力する音信号の
   音高を検出するステップと、 前記マイク入力手段から入力される音信号を基にして前
   記入力音信号の音域を決定するステップと、 前記決定した入力音信号の音域とユーザーが所望する適
   正音域とを比較し、該比較した結果に応じて前記検出さ
   れた音高を全体的にオクターブシフトし、該オクターブ
   シフトして得られた音高に基づいて決定されるデータを
   楽音要素として抽出するステップと を含んでいることを
   特徴とする記憶媒体。
9. 【請求項９】 前記プログラムが、前記抽出するステッ
   プによって抽出された前記楽音要素に基づく楽音信号の
   形成をリアルタイムに行うことを指示するステップ、を
   更に含んでいることを特徴とする請求項７又は８に記載
   の記憶媒体。