JP5843074B2 - 弦楽器演奏評価装置及び弦楽器演奏評価プログラム - Google Patents

Description

本発明は、ギターなど複数の音階で構成された和音を演奏可能な弦楽器について、演奏を行う際、基準となる情報と比較することで評価を行う弦楽器演奏採点装置、及び、弦楽器演奏採点プログラムに関する。

従来、自動演奏に合わせて歌唱を行うカラオケ装置では、自分の歌唱の巧拙を判定するため、自動演奏する楽曲の主旋律と自分の歌唱音声とを対比することで評価（採点）を行う評価機能を備えたものが知られている。特許文献１には、聴覚上の心地よさ（倍音の含有率）に応じて加点を行う歌唱音声評価装置が開示されている。

ところで、現在、カラオケ装置には、ギターやベースなどの弦楽器を接続し、楽曲の自動演奏と一緒に弦楽器の演奏を楽しむことのできる機能を備えたものが知られている。このような機能によれば、ユーザ一人による弦楽器演奏であっても、自動演奏に合わせた弦楽器演奏を楽しむことが可能である。

このような弦楽器演奏を可能とするカラオケ装置では、従来の歌唱に対する評価機能と同様、弦楽器演奏の巧拙評価を行うことが望まれている。特許文献２には、エレキギターの採点を可能とする楽音演奏装置が開示されている。

特開２００５−１０７０８８号公報 特開２０１３−４４７７７号公報

しかしながら、ギターなどの弦楽器の楽器音は、単音程の歌唱と異なり、複数の音程が同時に鳴動する和音で構成されることが普通であるため、従来の歌唱評価機能による音程をそのまま弦楽器の評価機能として使用することはできない。

さらに、弦楽器の演奏を評価するにあたって、弦楽器の演奏音に含まれる倍音の問題がある。１つの入力音は複数の倍音を含むことが普通で有り、入力音が１つだけであればスペクトル中の最低音高ピーク値を基音とみなせばよい。しかしながら、和音となると和音を構成する各基音の倍音が同一スペクトル中に現れてしまうため、基音と倍音の区別が付かず、演奏音を単純に周波数解析しただけでは、弦楽器でどの音を演奏しているのか区別することが困難な状況にある。

特許文献２には、弦楽器としてのエレキギターの採点を行う旨、開示されているものの上述した和音、倍音の問題については何ら検討されていない。

本発明に係る弦楽器演奏評価装置、弦楽器演奏評価プログラムは、上述した弦楽器による演奏評価において、弦楽器による演奏音を的確に抽出することで評価精度の向上を図ることを目的とするものである。

そのため、本発明に係る弦楽器演奏評価装置は、
基準演奏情報を含む楽曲情報に基づいて演奏を行う演奏手段と、
弦楽器から出力された演奏音を入力する演奏音入力手段と、
演奏音入力手段で入力された演奏音を周波数変換して周波数変換情報を抽出する周波数変換処理と、
周波数変換情報を音名毎の音名レベルに変換する音名レベル変換処理と、
オクターブ区間分けされた音名レベルに、１オクターブ区間毎に設定された、オクターブ毎の係数を乗算する重み付け処理と、
重み付けされた音名レベルを、音名毎に統合して、音名毎の統合レベルを算出する音名レベル統合処理と、
所定の統合レベルを有する音名を演奏音名として決定する演奏音名決定処理と、
演奏音名決定処理で決定した演奏音名と、楽曲の演奏に応じて出力される基準演奏情報とを比較して評価を行う評価処理と、を実行する制御手段を備え、
重み付け処理で使用される１オクターブ区間の初期値となる音名は、楽曲情報毎、もしくは、楽曲情報内で使用される弦楽器毎に設定されていることを特徴とする。

さらに本発明に係る弦楽器演奏評価装置において、
演奏音名決定処理は、各音名毎の統合レベルを、最大の統合レベルで正規化し、予め定めた閾値以上を有する音名を演奏音名として決定することを特徴とする。

さらに本発明に係る弦楽器演奏評価装置において、
重み付け処理にて使用されるオクターブ毎に設定された係数は、楽曲情報毎、もしくは、楽曲情報内で使用される弦楽器毎に設定されていることを特徴とする。

また、本発明に係る弦楽器演奏評価プログラムは、
弦楽器から出力される演奏音を周波数変換して周波数変換情報を抽出する周波数変換処理と、
周波数変換情報を音名毎の音名レベルに変換する音名レベル変換処理と、
オクターブ区間分けされた音名レベルに、１オクターブ区間毎に設定された、オクターブ毎の係数を乗算する重み付け処理と、
重み付けされた音名レベルを、音名毎に統合して、音名毎の統合レベルを算出する音名レベル統合処理と、
所定の統合レベルを有する音名を演奏音名として決定する演奏音名決定処理と、
演奏音名決定処理で決定した演奏音名と、楽曲の演奏に応じて演奏手段から出力される基準演奏情報とを比較して評価を行う評価処理と、をコンピュータに実行させ、
重み付け処理で使用される１オクターブ区間の初期値となる音名は、楽曲情報毎、もしくは、楽曲情報内で使用される弦楽器毎に設定されていることを特徴とする。

本発明に係る弦楽器演奏評価装置、弦楽器演奏評価プログラムによれば、弦楽器による演奏音を的確に抽出することで評価精度の向上を図ることが可能である。特に複数の音程が同時に鳴動する和音を演奏するギターなどにおいて、演奏音を的確に抽出することを可能とするものである。

本発明の実施形態に係るカラオケシステムの構成を示す図 本発明の実施形態に係る楽曲演奏処理を示すフロー図 本発明の実施形態に係る演奏音取得処理を示すフロー図 本発明の実施形態に係る演奏評価処理を示すフロー図 本発明の実施形態に係る重み付けテーブルを示す図 周波数変換情報（実施例１：Ｅｍ７、重み無し）の一例を示す図 周波数変換情報（実施例１：Ｅｍ７、重み有り）の一例を示す図 周波数変換情報（実施例２：Ｅｍ７、重み無し）の一例を示す図 周波数変換情報（実施例２：Ｅｍ７、重み有り）の一例を示す図

では、本発明の実施形態に係る弦楽器演奏採点装置について、カラオケシステムに適用した場合を例にとって説明を行う。図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２と、リモコン装置１ａ、１ｂにて構成されおり、これらは、ＬＡＮ１００にて、無線、有線で通信可能なように互いに接続されている。

店舗に設置されるカラオケ装置２は、リモコン装置１（例えば、１ａ、１ｂ）によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示部１１と操作部１７が共有されたタッチパネル表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０を介してカラオケ装置２と無線接続される。図中に示されるように、例えばカラオケ装置２にはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００を介して情報を送受信することが可能となっている。また、リモコン装置１とカラオケ装置２とは赤外線などを利用した近距離通信を行うことも可能である。

さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバ装置）が設けられ、その記憶部５１には、楽曲情報やユーザー情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０を通じて、カラオケ装置２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。

本発明の実施形態に係る弦楽器採点装置を採用するカラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏を実行する楽曲演奏処理を行う。記憶手段としてのハードディスク（ＨＤＤ）３２には、楽曲演奏処理で使用する楽曲情報が記憶されている。

本実施形態では、カラオケ装置２に対して外部楽器４４ｃを接続可能としている。外部楽器４４ｃとしては、電気的な音響信号（演奏音）を出力する各種弦楽器（ギター、ベース、バイオリンなど）を使用することが可能である。本実施形態に係る弦楽器演奏採点装置は、複数の音名で構成された和音を演奏する弦楽器に対して特に有効である。外部楽器４４ｃから入力された演奏音は、音響制御部７０にて演奏される演奏情報とミキシングされてスピーカ４２から放音される。この他、外部楽器４４ｃには、電気的な音響出力を有さないアコースティックな楽器を採用してもよい。その場合には、マイクロホンで拾った演奏音を音響制御部７０に入力して、演奏の評価対象とすることが考えられる。

楽曲情報は、外部楽器の演奏を練習するための楽曲（楽器練習楽曲）として用意されたものであり、ＭＩＤＩ情報などで構成された演奏情報、背景映像を指定するための背景映像指定情報、演奏に同期して歌詞を表示するための歌詞情報、そして、外部楽器４４ｃにて演奏すべき音名（演奏音名）を、演奏に同期して規定した基準演奏情報を含んで構成されている。楽曲が指定されると、楽曲情報に含まれる演奏情報を音響制御部７０にて演奏させるとともに、演奏に同期して基準演奏情報が読み出され、当該基準演奏情報に基づいて外部楽器４４ｃで演奏すべき音名（演奏音名）が判定される。

基準演奏情報は、楽曲演奏時、ユーザによって演奏される外部楽器４４ｃ（弦楽器）の模範となる情報であり、演奏すべき音名を規定した情報である。本実施形態の外部楽器４４ｃは、ギターなど和音での演奏を可能な弦楽器を想定している。そのため、基準演奏情報は、和音を構成する複数の音名で構成する、あるいは、Ｃ、Ｇ、Ｆといったコード名で構成することが可能である。コード名で構成された場合には、演奏評価処理において、基準演奏情報としてのコード情報は、音名に変換されて使用される。

では、本実施形態のカラオケ装置２にて実行される楽曲演奏処理について説明する。図２は、本発明の実施形態に係る楽曲演奏処理を示すフロー図である。カラオケ装置２の電源投入後、演奏処理が開始されると、カラオケ装置２は、予約テーブルをチェック（Ｓ１０１）し、次に演奏する楽曲の有無を判定する（Ｓ１０２）。予約テーブル中、次に演奏する楽曲が有りと判定された場合（１２０２：Ｙｅｓ）には、音響制御部７０は、外部楽器４４ｃから演奏音（ＰＣＭデータ）を取り込むため、ＤＭＡ転送設定等の初期設定を実行し（Ｓ１０３）、外部楽器４４ｃから出力される演奏音（ＰＣＭデータ）の取得開始する（Ｓ１０４）。

外部楽器４４ｃから演奏音の取得が可能となった段階で、予約テーブル上に規定された楽曲の演奏情報を、演奏手段としての音響制御部７０に演奏開始させる（Ｓ１０５）。弦楽器の演奏評価のための演奏音取得処理（Ｓ２００）は、この演奏情報の演奏中繰り返し、演奏が終了する（Ｓ１０６：Ｙｅｓ）まで継続して実行される。

図３には、本発明の実施形態に係る演奏音取得処理を示すフロー図が示されている。外部楽器４４ｃからの演奏音はＰＣＭデータに変換された後、音響制御部７０は、ＤＭＡ設定サイズ毎に一定量ずつＰＣＭデータを取得する（Ｓ２０１）。取得されたＰＣＭデータは、メモリ２７等の記憶手段に形成されたＦＦＴ処理用受け渡しバッファに蓄積される（Ｓ２０２）。このＦＦＴ処理用受け渡しバッファに、周波数変換処理としてのＦＦＴ処理１回のサイズ分のデータ量が蓄積されたことを条件（Ｓ２０３：Ｙｅｓ）として、演奏評価処理（Ｓ３００）が実行される。

図４には、本発明の実施形態に係る演奏評価処理を示すフロー図が示されている。この処理が開始されると、ＦＦＴ処理用受け渡しバッファに蓄積されたＰＣＭデータ（蓄積データ）に対して、周波数変換処理が実施される（Ｓ３０１）。本実施形態では、周波数変換処理としてＦＦＴ処理を採用しているが、各音名毎のレベルを解析できる処理であれば、このＦＦＴ処理に限らず、各種周波数変換処理を採用することが可能である。Ｓ３０２では、周波数変換処理結果（周波数変換情報）に基づいて、各音名毎のレベルを検出する。図６には、演奏音に対して周波数変換処理を行った結果（周波数変換情報）の一例が示されている。

図６は、予め設定されているオクターブ毎（縦軸）に、周波数毎の変換情報のレベルが棒グラフ状に示されている。この周波数変換情報は、外部楽器４４ｃにてコードＥｍ７を演奏したときに得られた演奏音を周波数変換処理した結果である。コードＥｍ７は、図中丸で囲まれた音名（Ｅ、Ｇ、Ｂ、Ｄ）で構成された和音である。周波数を示す横軸は、Ｅ〜Ｄ♯の音名毎に区切られている。このような周波数変換情報の音名に基づいて、各音、各オクターブ毎のレベルが検出される。本実施形態では、各音名内に属するレベル中、ピーク値を当該音名のレベルとして検出している。レベルの検出の仕方としては、このような形態以外に、各音名内に属するレベルの合計、平均とするなど各種形態を採用することが可能である。

このように検出された音名毎のレベルに対し、Ｓ３０３では、メモリ２７等の記憶手段に記憶している重み付けテーブルを参照し、オクターブ毎に係数を乗算する重み付け処理
を実行する。図５には、本発明の実施形態に係る重み付けテーブルが示されている。図６は、前述したように外部楽器４４ｃにてコードＥｍ７を演奏した演奏音に対応した周波数変換情報（実施例１）である。この縦軸に示されるＯＣＴ１〜ＯＣＴ８は、音名Ｅ〜Ｄ＃で示されるオクターブ区間を示したものである。重み付けテーブルは、このオクターブ区間毎に係数が設定されている。

図７には、この重み付けテーブルによって重み付け処理、すなわち、オクターブ区間毎に対応する係数を乗算した周波数変換情報が示されている。このように本実施形態では、外部楽器４４ｃの演奏音から得られた周波数変換情報の各音名毎のレベルに対して、重み付け処理を実行することで、弦楽器の演奏音に特有の倍音などによる誤判定の抑制を図ることが可能となっている。また、弦楽器の演奏音の周波数範囲を考慮することで、雑音などによる誤判定の抑制を図ることも可能となっている。この形態では、外部楽器４４ｃとしてギターを使用しているが、一般的なギターではＯＣＴ２とＯＣＴ３の境界が使用する外部楽器４４ｃの下限周波数である。そのため、この実施形態では、ＯＣＴ１の係数を０に設定し、ＯＣＴ２の係数を０．２５に設定することで、ギターの下限周波数より低い雑音成分を抑えている。ここで、下限周波数より低いＯＣＴ２を０としない理由は、この重み付けテーブルが、外部楽器４４ｃにてダウンチューニングを行う楽曲にも対応可能とし、複数の楽曲に対して汎用性を持たせたためである。楽曲毎に重み付けテーブルを用意した場合には、ダウンチューニングを行う、あるいは、使用する外部楽器４４ｃの下限周波数に対応させるなど、楽曲に応じて変更することも可能である。このような重み付けテーブルを適用することで、図６の実施例１にてＯＣＴ２に含まれる雑音成分は、図７に示されるように抑制されていることが分かる。。

この重み付けテーブルは、楽曲毎に対応したものを用意することとしてもよい。あるいは、同一楽曲にて複数種類の外部楽器４４ｃを選択して演奏、評価可能な場合には、選択した外部楽器４４ｃの種別（例えば、リードギター、リズムギター、ベースなど）に応じて使用する重み付けテーブルを変更することとしてもよい。重み付けテーブルは、重み付けの係数を異ならせる他、オクターブ区間を異ならせることが考えられる。図６の場合、オクターブ区間は、音名Ｅを初期値とするＥ〜Ｄ＃の区間に設定されているが、初期値をＡとしてＡ〜Ｇ＃の区間に変更することなどが考えられる。このように重み付けテーブルを変更することで、演奏する楽曲、もしくは、使用する外部楽器４４ｃの種別に応じた精度の高い音名判定を行うことが可能となる。

各音名毎のレベルに対し、重み付けテーブルを使用して、オクターブ毎に係数を乗算（Ｓ３０３）後、複数のオクターブ間で音名毎にレベルを加算し、各音名毎の加算レベルが算出される（Ｓ３０４）。さらに、本実施形態では、各音名毎の加算レベル中、最大値を１とする正規化（Ｓ３０５）を実行し、正規化された各音名毎の加算レベルを算出している。このように、本実施形態では、複数のオクターブ間で音名毎の加算レベル（統合レベル）を算出する統合処理を実行することで、外部楽器４４ｃで演奏した演奏音の音名判定の基準として使用している。

Ｓ３０５で算出された各音名毎の加算レベルは、閾値との比較され、閾値に満たない加算レベルは０に変換、すなわち、演奏音中では演奏されていない音名として判定される（Ｓ３０６）。一方、閾値との比較において残った音名毎の加算レベルは、外部楽器４４ｃで演奏した音名として判定され、基準演奏情報との比較において演奏の評価が行われる。そのため、比較の対象となる基準演奏情報が取得され（Ｓ３０７）、閾値との比較において残った音名毎の加算レベルと比較して一致度が数値化され、演奏音に対する評価が行われる（Ｓ３０８）。なお、前述したように基準演奏情報は、音名で構成する、あるいは、コード名で構成することが可能であって、コード名で構成されている場合には、コード名に含まれる音名に変換した後、比較が行われる。このような一連の演奏評価処理を、演奏
情報の演奏中、繰り返し実行することで、演奏している楽曲について、外部楽器４４ｃの演奏評価を行うことが可能となる。

特に、本実施形態では、演奏評価処理（Ｓ３００）中、周波数変換情報をオクターブ区間に分割するとともに、オクターブ毎に係数を乗算する重み付け処理（Ｓ３０３）を実行することで、弦楽器に特有の倍音、あるいは、その他の雑音を抑え、外部楽器４４ｃにて演奏している音名を精度良く特定することが可能となっている。

図６、図７は、コード名Ｅｍ７を演奏したときの実施例（実施例１）について示したものであるが、図８、図９には、実施例１よりも構成音が１オクターブ高いコード名Ｅｍ７を演奏したときの周波数変換情報の例（実施例２）が示されている。図８は重み付け前の周波数変換情報であり、図９は重み付けを行った周波数変換情報である。実施例２では、実施例１よりもオクターブの高い位置でレベルが大きくなっていることが分かる。図８に示されるように、この実施例２において、重み付け前の周波数変換情報中、音名Ｆ＃は、Ｅｍ７（構成音Ｅ、Ｇ、Ｂ、Ｄ）に含まれない倍音成分であって、特に、ＯＣＴ６、ＯＣＴ７において顕著に現れている。この周波数変換情報に対して重み付けを行うことで、図９に示されるように、倍音成分のレベルが抑制され、音名判定における誤検出抑制が図られたものとなる。

以上説明した演奏音取得処理（Ｓ２００）、演奏評価処理（Ｓ３００）を楽曲演奏期間中、繰り返し実行することでＳ３０８の値を算出し、当該値を集計することで、楽曲全体について外部楽器４４ｃ（弦楽器）の演奏評価が行われる。集計された値は、得点や演奏レベル等の評価に換算され、楽曲演奏の終了後、モニタ装置４１などに表示出力される。

以上、カラオケシステムに採用した弦楽器演奏評価装置について説明したが、本実施形態の弦楽器演奏評価装置によれば、弦楽器による演奏音を的確に抽出することで評価精度の向上を図ることが可能である。特に複数の音程が同時に鳴動する和音を演奏するギターなどにおいて、演奏音を的確に抽出することが可能となる。

本実施形態では、カラオケシステムに採用した弦楽器演奏評価装置について説明したが、パーソナルコンピュータ、あるいは、携帯情報端末等のコンピュータにインストールすることで、コンピュータを弦楽器演奏評価装置として使用可能とする弦楽器演奏採点プログラムも、本発明の客体たるものである。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１ａ、１ｂ…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…カラオケ装置、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ装置、４２…スピーカ、４４ａ、４４ｂ…歌唱用マイク、４４ｃ…外部楽器、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ、５…カラオケ用ホスト、５１…記憶部

Claims (4)

1. 基準演奏情報を含む楽曲情報に基づいて演奏を行う演奏手段と、
   弦楽器から出力された演奏音を入力する演奏音入力手段と、
   演奏音入力手段で入力された演奏音を周波数変換して周波数変換情報を抽出する周波数変換処理と、
   周波数変換情報を音名毎の音名レベルに変換する音名レベル変換処理と、
   オクターブ区間分けされた音名レベルに、１オクターブ区間毎に設定された、オクターブ毎の係数を乗算する重み付け処理と、
   重み付けされた音名レベルを、音名毎に統合して、音名毎の統合レベルを算出する音名レベル統合処理と、
   所定の統合レベルを有する音名を演奏音名として決定する演奏音名決定処理と、
   演奏音名決定処理で決定した演奏音名と、楽曲の演奏に応じて出力される基準演奏情報とを比較して評価を行う評価処理と、を実行する制御手段を備え、
   重み付け処理で使用される１オクターブ区間の初期値となる音名は、楽曲情報毎、もしくは、楽曲情報内で使用される弦楽器毎に設定されていることを特徴とする
   弦楽器演奏評価装置。
2. 演奏音名決定処理は、各音名毎の統合レベルを、最大の統合レベルで正規化し、予め定めた閾値以上を有する音名を演奏音名として決定することを特徴とする
   請求項１に記載の弦楽器演奏評価装置。
3. 重み付け処理にて使用されるオクターブ区間毎に設定された係数は、楽曲情報毎、もしくは、楽曲情報内で使用される弦楽器毎に設定されていることを特徴とする
   請求項１または請求項２に記載の弦楽器演奏評価装置。
4. 弦楽器から出力される演奏音を周波数変換して周波数変換情報を抽出する周波数変換処理と、
   周波数変換情報を音名毎の音名レベルに変換する音名レベル変換処理と、
   オクターブ区間分けされた音名レベルに、１オクターブ区間毎に設定された、オクターブ毎の係数を乗算する重み付け処理と、
   重み付けされた音名レベルを、音名毎に統合して、音名毎の統合レベルを算出する音名レベル統合処理と、
   所定の統合レベルを有する音名を演奏音名として決定する演奏音名決定処理と、
   演奏音名決定処理で決定した演奏音名と、楽曲の演奏に応じて演奏手段から出力される基準演奏情報とを比較して評価を行う評価処理と、をコンピュータに実行させ、
   重み付け処理で使用される１オクターブ区間の初期値となる音名は、楽曲情報毎、もしくは、楽曲情報内で使用される弦楽器毎に設定されていることを特徴とする
   弦楽器演奏評価プログラム。
   

Images