JP6728572B2 - 撥弦楽器演奏評価装置、楽曲演奏装置及び撥弦楽器演奏評価プログラム - Google Patents

Description

本発明は、ギター、ベース等の撥弦楽器について、その演奏評価を行う撥弦楽器演奏評価装置、並びに、撥弦楽器の演奏評価を実行可能な楽曲演奏装置に関する。特に、撥弦楽器についてハーモニクス奏法の判定を可能とする撥弦楽器演奏評価装置、楽曲演奏装置に関する。

従来、カラオケボックスやスナックなどのナイト店に設置されているカラオケ装置では、楽曲の演奏に合わせて歌唱を楽しむことが行われている。特許文献１には、歌唱のみならず楽器演奏を楽しむことのできるカラオケ装置が提案されている。この特許文献１に開示されるカラオケ装置は、カラオケ演奏されるパートの内、ミュート（消音）できるパートを表示し、利用者から指示されたパートをミュートし、当該パートのマイナスワン演奏を楽しむことができる。さらに、特許文献１に開示されるカラオケ装置では、画面にコード名を表示させて、演奏者に対してどのコードを演奏するべきかを指示し、紙の楽譜を用いずとも演奏を楽しむことが可能となっている。

また、特許文献２には、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏について、撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、複数本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、その離散評価手段による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段とを、備えた撥弦楽器演奏評価装置が開示されている。特許文献２に開示される撥弦楽器演奏評価装置は、このような構成により、楽器の演奏音を集音するといった簡単な構成により、１ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その１ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することが可能である。

特開２００１−１００７７１号公報 特許第４９３４１８０号公報

特許文献２に開示される撥弦楽器演奏評価装置は、複数本の弦を１ストロークで掻き鳴らすコード奏法を評価の対象としたものであるが、ギター、ベース等の各種撥弦楽器では、このようなコード奏法以外の奏法が使用されることがある。ハーモニクス奏法は、その１つであり、撥弦楽器において弦に軽く触れることで、現に触れた位置を振動の節とする倍音成分を形成する奏法である。このようなハーモニクス奏法により、普通の音よりも柔らかく澄んだ演奏音を形成することが可能となる。

ハーモニクス奏法は、各種楽曲において使用され、楽曲を特徴付ける役割を有している。楽曲をコピーして演奏する際には、ハーモニクス奏法についても忠実に再現することが好ましい。装置を使用して、撥弦楽器の演奏評価を行う場合、特許文献２に開示されるようなコード奏法の評価、あるいは、単音による奏法の評価は、従来から行われていたが、撥弦楽器におけるハーモニクス奏法については、評価の対象とはなっていなかった。

本発明は、撥弦楽器における演奏評価において、ハーモニクス奏法の判定を行うことを１つの目的としている。

そのため、本発明に係る撥弦楽器演奏評価装置は、以下の構成を採用する。
撥弦楽器の演奏の様子を撮像する撮像手段で撮像された撮像情報から運指状態を判定する運指判定処理と、
前記撥弦楽器の演奏音を取得する演奏音取得処理と、
前記運指判定処理で判定された運指状態と、前記演奏音取得処理で取得した演奏音に基づき、ハーモニクス奏法が行われているか否かを判定する判定処理と、を実行し、
前記判定処理は、運指状態に基づき、弦と指の接触位置を推定し、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する。

さらに本発明に係る撥弦楽器演奏評価装置において、
前記判定処理は、推定した接触位置が、ハーモニクス奏法の範囲に含まれる場合、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する。

また本発明に係る楽曲演奏装置は、
再生処理と、前記再生処理に同期して実行される演奏評価処理と、を実行する楽曲演奏装置であって、
前記再生処理は、指定された楽曲情報を再生し、
前記演奏評価処理は、運指判定処理と、演奏音取得処理と、判定処理を含んで実行し、
前記運指判定処理は、撥弦楽器の演奏の様子を撮像する撮像手段で撮像された撮像情報から運指状態を判定し、
前記演奏音取得処理は、前記撥弦楽器の演奏音を取得し、
前記判定処理は、前記運指判定処理で判定された運指状態と、前記演奏音取得処理で取得した演奏音に基づき、ハーモニクス奏法が行われているか否かを判定し、評価値を算出し、
前記判定処理は、運指状態に基づき、弦と指の接触位置を推定し、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する。

さらに本発明に係る楽曲演奏装置において、
前記楽曲情報には、楽曲の再生進行に対応したハーモニクス奏法による加点区間が設定され、
前記演奏評価処理は、加点区間でハーモニクス奏法を判定した場合、評価値に加点する。

また本発明に係る撥弦楽器演奏評価プログラムは、
撥弦楽器の演奏の様子を撮像する撮像手段で撮像された撮像情報から運指状態を判定する運指判定処理と、
前記撥弦楽器の演奏音を取得する演奏音取得処理と、
前記運指判定処理で判定された運指状態と、前記演奏音取得処理で取得した演奏音に基づき、ハーモニクス奏法が行われているか否かを判定する判定処理と、をコンピュータに実行させ、
前記判定処理は、運指状態に基づき、弦と指の接触位置を推定し、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する。

本発明に係る撥弦楽器演奏評価装置、撥弦楽器演奏評価プログラムによれば、演奏の様子を撮像した撮像情報から運指状態を判定し、判定した運指状態と撥弦楽器の演奏音に基づいて、ハーモニクス奏法が行われているか否かを判定することが可能となり、ハーモニクス奏法を演奏評価の対象とすることが可能となる。撥弦楽器の演奏音のみで判定した場合、ハーモニクス奏法であるのか、倍音成分について演奏しているのか判定することが困難であるが、本発明のように、運指状態を参照することで、ハーモニクス奏法を正しく判定することが可能である。

また、撮像情報では、２次元的に情報を捕らえるため、弦と指の接触位置を正確に特定することが困難である。本発明に係る撥弦楽器演奏評価装置、撥弦楽器演奏評価プログラムでは、運指状態に基づき指と弦の接触位置を推定するとともに、推定した接触位置に対応する倍音成分に基づいてハーモニクス奏法を判定することで、指と弦の位置を正確に特定することなく、ハーモニクス奏法の判定を可能としている。また、指が接触していても弾かない弦が存在する。このような場合であっても、弾弦状態を特定することなく、ハーモニクスの判定を可能としている。

また本発明に係る楽曲演奏装置は、上述する撥弦楽器演奏評価装置を採用することで、楽曲情報の再生に同期して演奏される撥弦楽器の演奏評価を行うことが可能である。さらに、楽曲再生の進行上、適切な位置でハーモニクス奏法が判定された場合、評価値に加点することで、楽曲進行上のハーモニクス奏法に対する評価を可能としている。

本発明の実施形態に係るカラオケシステムの構成を示す図 本発明の実施形態に係る楽曲情報のデータ構成を示す図 本発明の実施形態に係るメイン処理を示すフロー図 本発明の実施形態に係る楽器用演奏準備処理を示すフロー図 本発明の実施形態に係る位置決め画像表示の様子を示す図 本発明の実施形態に係る楽器演奏処理を示すフロー図 演奏時の撮像状態、及び、フレット上の接触位置候補を説明するための模式図 本発明の実施形態に係るハーモニクス奏法に関する周波数成分テーブル

では、本発明の実施形態に係る楽曲演奏装置について、カラオケシステムに適用した場合を例にとって説明を行う。図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２と、リモコン装置１ａ、１ｂにて構成されおり、これらは、ＬＡＮ１００にて、無線、有線で通信可能なように互いに接続されている。

店舗に設置されるカラオケ装置２は、リモコン装置１（例えば、１ａ、１ｂ）によりユーザからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示部１１と操作部１７が共有されたタッチパネル表示画面を備え、ユーザに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０を介してカラオケ装置２と無線接続される。図中に示されるように、例えばカラオケ装置２にはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００を介して情報を送受信することが可能となっている。また、リモコン装置１とカラオケ装置２とは赤外線などを利用した近距離通信を行うことも可能である。

さらに、本実施形態のカラオケシステムでは、ユーザに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバ装置）が設けられ、その記憶部５１には、楽曲情報やユーザ情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０を通じて、カラオケ装置２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。

本発明の実施形態に係る楽曲演奏装置としてのカラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏を実行する楽曲演奏処理を行う。記憶手段としてのハードディスク（ＨＤＤ）３２には、楽曲演奏処理で使用する楽曲情報が記憶されている。

本実施形態では、カラオケ装置２に対して外部楽器４４ｃを接続可能としている。外部楽器４４ｃとしては、ギター、ベース、バイオリン等、弦を弾くことで演奏音を奏でる各種撥弦楽器を使用することが可能である。外部楽器４４ｃはケーブルを介してカラオケ装置２に接続され、演奏に基づく演奏音情報をカラオケ装置２に送信する。外部楽器４４ｃから入力された演奏音情報は、音響制御部７０にて演奏される演奏情報とミキシングされてスピーカ４２から放音される。なお、外部楽器４４ｃには、電気的な音響出力を有さないアコースティックな楽器を採用してもよい。その場合には、マイクロホンで拾った楽器音を音響制御部７０に入力する、あるいは、スピーカ４２を介すことなく楽器自身から放音される音を利用することが考えられる。

さらに、カラオケ装置２は、カメラ４３が接続されており、カメラ４３が撮像した撮像情報を取り込み可能としている。本実施形態では、このカメラ４３にて撮像された撮像情報に基づいて、外部楽器４４ｃによるハーモニクス奏法の判定が行われる。

図２には、カラオケ装置２において再生される楽曲情報のデータ構成を示した図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏等、各種処理を実行する実情報を含んで構成される。メタ情報には、楽曲情報を識別するための楽曲識別情報、楽曲名、歌手名等が含まれている。

楽曲情報の実情報には、演奏情報、歌詞情報、演奏評価情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成され、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成することも可能である。演奏評価情報は、外部楽器４４ｃの演奏を評価するための情報であり、楽曲の進行に対応して旋律情報、コード情報等が含まれている。演奏評価情報は、楽曲の演奏開始（ｔ＝０）から演奏終了（ｔ＝Ｔ３）の間で、所定の区間毎に旋律情報、コード情報と、外部楽器４４ｃから入力された演奏音情報とを比較して、各情報の一致度合いから区間毎の演奏評価値を算出するために用いられる。この他、演奏評価情報には、外部楽器４４ｃによるハーモニクス奏法を行う期間を規定したハーモニクス設定区間情報が含まれている。図２の例では、楽曲の演奏開始時（ｔ＝０）から演奏終了時（ｔ＝ｔ３）の期間中に、ハーモニクス設定区間（ｔ＝Ｔ１〜Ｔ２）が設けられている。このハーモニクス設定区間中に、外部楽器４４ｃによるハーモニクス奏法が検出された場合、演奏評価値に加点される。

では、本実施形態のカラオケ装置２にて実行されるメイン処理について説明する。図３は、カラオケ装置２で実行されるメイン処理を示すフロー図である。カラオケ装置２の電源投入後、メイン処理が開始されると、カラオケ装置２は、予約テーブルをチェック（Ｓ１０１）し、次に演奏する楽曲の有無を判定する（Ｓ１０２）。予約テーブル中、次に演奏する楽曲が有りと判定された場合（Ｓ１０２：Ｙｅｓ）には、当該予約楽曲について、外部楽器４４ｃの演奏が設定されているか否かを判定する（Ｓ１０３）。外部楽器４４ｃの演奏が設定されていない場合（Ｓ１０３：Ｎｏ）は、当該楽曲に応じた通常演奏処理（Ｓ１０４）を実行する。

一方、予約楽曲に外部楽器４４ｃの演奏が設定されている場合（Ｓ１０３：Ｙｅｓ）には、楽器用演奏準備処理（Ｓ２００）に引き続いて、楽器演奏処理（Ｓ３００）が実行される。この楽器用演奏準備処理（Ｓ２００）は、カメラ４３の撮像位置に対して演奏者が保持する弦楽器の位置決めを行うための処理である。また、楽器演奏処理（Ｓ３００）は、指定された楽曲情報中の演奏情報を演奏手段としての音響制御部７０に演奏させるとともに、外部楽器４４ｃの演奏評価を行う処理である。特に、本実施形態の外部楽器４４ｃの演奏評価では、外部楽器４４ｃ（撥弦楽器）によるハーモニクス奏法の判定を行うことを特徴としている。

まず、楽器用演奏準備処理（位置合わせ処理）について説明する。図４には楽器用演奏準備処理を示すフロー図が示されている。この処理が開始されると、モニタ４１には、カメラ４３の撮像範囲と楽器の位置合わせを行うための位置決め画像が表示される（Ｓ２０１）。図５には、モニタ４１における位置決め画像表示の様子が示されている。図５は、外部楽器４４ｃとしてギターを使用した場合の位置決め画像の例であり、ギターのネック部分の位置決め画像がカメラ４３による撮像情報に重畳して表示されている。この位置決め画像には、ネック部分についてフレット位置（１〜４フレット）、弦の位置、指板の位置が示されている。本実施形態では、位置決め画像としてフレット、弦、指板を使用しているが、位置合わせにおいてはフレットの位置のみで行うことも可能である。楽曲で演奏対象となる楽器が決まっている場合、形状は略同じことが予想されるため、フレットの位置合わせを行う程度で、撮像位置と楽器の位置合わせを行うことが可能である。

カラオケ装置２は、カメラ４３による撮像を開始し（Ｓ２０２）、撮像によって得られた撮像情報を左右反転してモニタ４１に表示させる（Ｓ２０３）。したがって、モニタ４１には、左右反転した撮像情報上に、図５に示す位置決め画像が重畳された状態で表示される。楽器を所持する演奏者は、このモニタ４１を見ながら外部楽器４４ｃの位置を、位置決め画像に合わせる。本実施形態では、モニタ４１にて撮像情報を左右反転させているため、演奏者はいわば鏡を見ている状態で位置合わせを行うことが可能となっている。

カラオケ装置２では、撮像情報中、フレット、弦、指板を画像認識することで取得する（Ｓ２０４）。フレット、弦、指板の画像認識は、例えば、認識対象となる楽器の構成をパターンマッチングすることでその位置を認識することが可能である。演奏者による位置合わせに基づき、フレット、弦、指板が所定位置となったこと（Ｓ２０５：Ｙｅｓ）を条件として、楽器とカメラ４３の撮像位置の位置調整は完了する。なお、本実施形態では、ギターの１〜４フレット位置の位置合わせを行うこととしているが、カメラ４３はより広角でギターを撮像しており、他のフレット位置における運指状態についても取得可能となっている。また、楽器演奏処理中にはギターの位置が移動することが考えられるが、カラオケ装置２は、楽器演奏処理中、ギターの移動に追従してフレット位置を認識することが可能である。

この楽器用演奏準備処理（Ｓ２００）による撮像位置と楽器の位置合わせ完了後、楽器演奏処理（Ｓ３００）が開始する。図６には、この楽器用演奏処理を示すフロー図が示されている。楽器演奏処理（Ｓ３００）が開始すると、予約情報中に指定された楽曲情報の再生を開始する。楽曲情報の再生では、演奏手段としての音響制御部７０に指定された予約情報中について、その演奏情報を演奏開始させる（Ｓ３０１）。演奏情報の演奏では、マイナスワン演奏の形態、すなわち、外部楽器４４ｃのパートを抜いて（演奏しない、もしくは音量を下げて演奏する）演奏する形態としてもよい。

楽曲情報の再生中には、以下に説明するＳ３０２〜Ｓ３１１を繰り返し実行することで、外部楽器４４ｃの演奏評価処理を実行する。演奏評価処理は、楽曲情報中の演奏評価情報を使用して、外部楽器４４ｃによる適切な演奏が行われているか否かを判定し、演奏評価値を算出する処理である。演奏評価処理は、例えば、特許文献２等に記載された演奏評価手法を使用して行うことが可能である。本実施形態では、外部楽器４４ｃ（撥弦楽器）によるハーモニクス奏法を検出し、評価可能としたことを特徴としている。図６に示すフロー図は、ハーモニクス奏法に関する評価部分を記載したものである。

本実施形態では、カメラ４３で外部楽器４４ｃの演奏の様子を撮像した撮像情報と、外部楽器４４ｃの演奏音に基づきハーモニクス奏法の判定が行われる。ハーモニクス奏法は、撥弦楽器の弦に軽く触れた状態で、弦を弾くことで、触れた位置を節とする倍音成分を含んだ演奏音を奏でる奏法である。演奏音だけを使用した判定では、ハーモニクス奏法か否かを判定することは困難である。すなわち、同じ周波数の演奏音について、ハーモニクス奏法なのか、押弦した状態の奏法であるかを特定することはできない。本実施形態では、演奏音に加えて運指状態を使用することにより、ハーモニクス奏法を的確に判定することを可能としている。

演奏評価処理では、カメラ４３で撮像した撮像情報を取得（Ｓ３０２）、撮像情報からユーザの運指状態を検出する（Ｓ３０３）。図７（Ａ）には、撮像状態を示す模式図が示されている。本実施形態では、ギターのフレット上に位置する手の範囲を手検出範囲Ｈとして切り出し、フレット上における指の接触位置候補を判定する（Ｓ３０４）。カメラ４３で撮像された撮像情報は、２次元的に演奏の様子を捕らえた情報であるため、どの指が、ギターの弦を押さえている、あるいは、ハーモニクス奏法のために接触させているかを特定することができない。本実施形態では、フレット上、手検出範囲Ｈが被る範囲に位置するフレット位置を、接触位置候補として判定し、演奏音から当該接触位置候補に対応する倍音成分の有無を判定することで、ハーモニクス奏法の有無を判定している。

図７（Ｂ）は、図７（Ａ）の手検出範囲Ｈから接触位置候補を抽出した一例である。図中、各弦上、丸印で示す箇所が接触位置候補に相当している。図７（Ｂ）の例では、手検出範囲Ｈが被る範囲のフレット位置全て（図の例では３〜６フレット）を、接触位置候補としている。このような形態では、手検出範囲Ｈから指の位置を特定する必要が無いため、撮像画像に対する認識処理を簡略化することが可能である。接触位置候補の判定は、手検出範囲Ｈを使用して厳密に行うこととしてもよい。図７（Ｃ）は、他の実施形態について接触位置候補の抽出例を示したものであり、使用する撮像情報は図７（Ａ）の場合と同じである。この場合、手検出範囲Ｈが被る部分からフレット、及び、弦単位で接触位置候補を抽出している。このような形態では、接触位置候補の数を少なくすることで、後の倍音成分の探索範囲縮小を図ることが可能である。

撮像情報から接触位置候補の判定完了後、判定した接触位置候補は、ハーモニクス奏法の範囲であるか否かが判定される（Ｓ３０５）。ハーモニクス奏法が可能なフレット位置は、ある程度限られている。例えば、ギターにおいては、２〜５、７、９、１２、１６フレットがハーモニクス奏法を行い易い位置である。Ｓ３０５では、接触位置候補がこのようなフレット範囲に属するか否かを判定することで、ハーモニクス奏法の有無を判定する。図８には、弦番号とフレット番号に対応したハーモニクス奏法に関する周波数成分テーブルが示されている。この周波数成分テーブルは、演奏評価処理を実行するプログラムにおいて記憶管理される。周波数成分テーブル中「−」で示されている部分は、ハーモニクス奏法が行われない箇所である。カラオケ装置２は、この周波数成分テーブルを参照し、接触候補位置が全て「−」部分である場合（Ｓ３０５：Ｎｏ）、現在の奏法は、通常の奏法と判定し、この区間のギター演奏を評価する演奏評価値を算出し、メモリ２７へ一時記憶する（Ｓ３０６）。

一方、周波数成分テーブル中、接触位置候補がハーモニクス奏法の範囲を含む場合（Ｓ３０５：Ｙｅｓ）、カラオケ装置２は、外部楽器４４ｃから入力された演奏音中、周波数成分テーブル中に規定された倍音成分の大きさを判定し、条件を満たす大きさの倍音成分が含まれか否かを判定する（Ｓ３０７）。図７（Ｂ）の接触位置候補の場合、図８に示す周波数成分テーブル中の破線で示す範囲（３〜６フレット）が、探索対象となる倍音成分の周波数値である。なお、図７（Ｃ）の接触位置候補の場合、図８に示す周波数成分テーブル中の一点鎖線で示す範囲が、探索対象となる倍音成分の周波数値となる。演奏音中、この探索対象となる倍音成分が含まれている場合（Ｓ３０７：Ｙｅｓ）には、現在の奏法はハーモニクス奏法であると判定される（Ｓ３０８）。一方、演奏音中、探索対象となる倍音成分が含まれていない場合（Ｓ３０７：Ｎｏ）、現在の奏法は、通常の奏法と判定する（Ｓ３０６）。

さらに本実施形態の演奏評価処理では、ハーモニクス奏法が行われた場合、その演奏タイミングが適切であることを条件として高評価を行うこととしている。この演奏タイミングの評価は、図２で説明したハーモニクス設定区間情報で規定されるハーモニクス設定区間を使用して行われる。ハーモニクス奏法が行われたタイミングが、楽曲の再生進行上、ハーモニクス設定区間内である場合（Ｓ３０９：Ｙｅｓ）、演奏評価値に加点を行う（Ｓ３１０）。一方、ハーモニクス設定区間外である場合（Ｓ３０９：Ｎｏ）には加点を行わない。ハーモニクス設定区間の演奏評価値もメモリ２７へ一時記憶する。このように本実施形態の演奏評価処理では、ハーモニクス奏法の評価について、ハーモニクス奏法設定区間に行われたことを条件として加点する評価形態を採用することで、ハーモニクス奏法の音高を問わない自由度を持たせている。ハーモニクス奏法の評価としては、他の形態を採用することが可能である。例えば、楽曲の再生期間中、ハーモニクス奏法が行われたことだけを条件として加点することとしてもよい。あるいは、適切なタイミングで、適切な音高のハーモニクス奏法が行われたこと、例えば、原曲の演奏に忠実に演奏されたことを条件として加点する形態としてもよい。

楽曲の再生が終了する（Ｓ３１１：Ｙｅｓ）と、通常の奏法区間、ハーモニクス奏法設定区間の各区間毎に算出した演奏評価値をメモリ２７から読み出し、平均値や最大値など目的に応じた演奏評価結果を算出する。そしてこの楽曲に対する楽器演奏（外部楽器４４ｃに入力された演奏音情報）の演奏評価値に基づく演奏評価結果をモニタ４１に表示して（Ｓ３１２）、一連の楽器演奏処理を終了する。演奏評価結果は、演奏時の旋律、コード演奏に対する評価に、ハーモニクス奏法の評価を加えた総合評価を通知する形態としてもよいし、ハーモニクス奏法の評価を別途通知する個別評価としてもよい。

以上、本実施形態の楽曲演奏装置について、カラオケ装置２を例にとって説明したが、楽曲演奏装置としては、カラオケ装置２に限られるものではなく、電子楽器、ゲーム機などを使用した形態であってもよい。あるいは、楽曲を演奏する機能を有さない装置（撥弦楽器演奏評価装置）として実現することも可能である。あるいは、パーソナルコンピュータやゲーム機などの各種コンピュータにインストールすることで、撥弦楽器演奏評価装置と同じ機能を有する撥弦楽器演奏評価プログラムについても、本発明の範疇に属する。

１（１ａ、１ｂ）：リモコン装置
２：カラオケ装置
５：カラオケ用ホスト
１１：表示部
１７：操作部
３０：制御部
４１：モニタ
４２：スピーカ
４３：カメラ
４４ｃ：外部楽器
５１：記憶部
７０：音響制御部
１１０：アクセスポイント
１２０：ルータ
Ｈ：手検出範囲

Claims (5)

1. 撥弦楽器の演奏の様子を撮像する撮像手段で撮像された撮像情報から運指状態を判定する運指判定処理と、
   前記撥弦楽器の演奏音を取得する演奏音取得処理と、
   前記運指判定処理で判定された運指状態と、前記演奏音取得処理で取得した演奏音に基づき、ハーモニクス奏法が行われているか否かを判定する判定処理と、を実行し、
   前記判定処理は、運指状態に基づき、弦と指の接触位置を推定し、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する
   撥弦楽器演奏評価装置。
2. 前記判定処理は、推定した接触位置が、ハーモニクス奏法の範囲に含まれる場合、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する
   請求項１に記載の撥弦楽器演奏評価装置。
3. 再生処理と、前記再生処理に同期して実行される演奏評価処理と、を実行する楽曲演奏装置であって、
   前記再生処理は、指定された楽曲情報を再生し、
   前記演奏評価処理は、運指判定処理と、演奏音取得処理と、判定処理を含んで実行し、
   前記運指判定処理は、撥弦楽器の演奏の様子を撮像する撮像手段で撮像された撮像情報から運指状態を判定し、
   前記演奏音取得処理は、前記撥弦楽器の演奏音を取得し、
   前記判定処理は、前記運指判定処理で判定された運指状態と、前記演奏音取得処理で取得した演奏音に基づき、ハーモニクス奏法が行われているか否かを判定し、評価値を算出し、
   前記判定処理は、運指状態に基づき、弦と指の接触位置を推定し、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する
   楽曲演奏装置。
4. 前記楽曲情報には、楽曲の再生進行に対応したハーモニクス奏法による加点区間が設定され、
   前記演奏評価処理は、加点区間でハーモニクス奏法を判定した場合、評価値に加点する
   請求項３に記載の楽曲演奏装置。
5. 撥弦楽器の演奏の様子を撮像する撮像手段で撮像された撮像情報から運指状態を判定する運指判定処理と、
   前記撥弦楽器の演奏音を取得する演奏音取得処理と、
   前記運指判定処理で判定された運指状態と、前記演奏音取得処理で取得した演奏音に基づき、ハーモニクス奏法が行われているか否かを判定する判定処理と、をコンピュータに実行させ、
   前記判定処理は、運指状態に基づき、弦と指の接触位置を推定し、演奏音中、推定した接触位置に対応する倍音成分の大きさに基づいて、ハーモニクス奏法が行われているか否かを判定する
   撥弦楽器演奏評価プログラム。