JP5947438B1 - 演奏技術描画評価システム - Google Patents

Abstract

【課題】従来のような楽器演奏の練習方法を用いることなく、練習者が自分の演奏ミスを視覚的に確認し自然に練習意欲を高めるシステムならびに、練習意欲を高めるとともに練習者の技術力向上に役立つ演奏技術描画評価システムを提供する。【解決手段】汎用コンピュータ装置１で実行される音声解析専用プログラムと、演奏評価を出力する画像出力装置２と、音声入力装置３である指向性マイクと、音声を出力する音声出力装置４とを備えたシステムであって、音声解析専用プログラムが、指向性マイクからの入力信号を周波数解析し、基本周波数を算出することにより、音階の高さを算出する手段と、同時に、入力信号の電圧レベルも取得し、音の強弱を算出する手段と、基本周波数が一定のまま保持された時間を取得し、音の時的要素を算出する手段とを備える。【選択図】図１

Description

本発明は、ユーザーの演奏とともにユーザーが選択した任意のオブジェクトの描画を行い、そのオブジェクトの完成度で演奏技術を表現することで、ユーザーが継続的に楽しく練習を行える演奏技術描画評価システムに関する。

近年、自分の子どもに習い事をさせる親が増加している。その中でも、子どもを音楽教室へ行かせる親も少なくない。音楽教室で楽器を習う子どもたちの練習方法としては、録音したものを何度も聞いたり、他の人に演奏を聞いたりしてもらう等の反復練習が広く用いられている。また、演奏技術の向上を図るための方法として、チューナーやトレーナーを用いて、自分の間違いを見つける方法などが取られてきた。

特開 ２０００−２７６１３７号公報 特開 ２００４−２８７４５７号公報 特開 ２００２−２５１１９４号公報

従来の方法では子どもの楽器の練習があまり長続きしないケースが多い。退屈であると感じる子どもが多く、子どもたちの集中力の低下が懸念される。他にも、子どものやる気の低下の原因の一つに楽譜が読めないことによる楽譜への苦手意識が挙げられる。また、一人で反復練習を繰り返しても自分の演奏の何が問題なのかが理解できず、なかなか演奏技術の向上には繋がらない。さらに、以前の演奏と比較して、自身の成長を確認することが容易ではない。これらの課題は、子ども以外のユーザーにも多かれ少なかれ存在する。
そこで、本発明は、ユーザーが継続的に楽しく練習を行うことができる演奏技術描画評価システムを提供することを目的とする。

発明者は、演奏の評価を描画されたオブジェクトの完成度で表現することで、ユーザーが継続的に楽しく練習が行えると考えた。具体的には、楽器の演奏と並行して、設定されている曲目に対応したオブジェクトまたは選択した任意のオブジェクトが描画される。また、演奏と同時に選択した譜面または楽器の弾き方や吹き方を説明した手本が出力される。演奏の評価は、描画されるオブジェクトに線の歪みや太さといった形で反映される。また、自分の演奏を録音し、オブジェクトの描画の様子とともにもう一度再生することもでき、間違えた部分を視覚的に確認できる。過去に描画したオブジェクトを見比べるモードも備わっているため、自身の成長を確認でき、自分の演奏技術の傾向を容易に知ることができる。また、本発明は、幅広い年齢層の方でも気軽に楽しく使用することができると考えられる。

本発明は、以下の技術手段から構成される。
第１の発明は、ＣＰＵ、クロック、並びに、演奏評価プログラム、模範データ及びオブジェクトデータを記憶する記憶装置を備えたコンピュータ装置と、コンピュータ装置と接続された画像出力装置と、コンピュータ装置と接続された画面操作手段と、コンピュータ装置と接続された音声入力装置と、コンピュータ装置と接続された音声出力装置とを備えたシステムであって、前記模範データが、複数の曲につき音階情報、音の強弱情報、及び、音階が所定の範囲内で一定に保持された時間情報を含み、前記オブジェクトデータが、模範データ中の曲の演奏時間に対応して描画されるオブジェクトの輪郭線情報を含み、前記演奏評価プログラムは、前記コンピュータ装置を、画面操作手段により選択可能な複数の曲を画像出力装置に表示させる手段と、前記コンピュータ装置が音声入力装置から受信した音声信号を周波数解析して音階を算出し、算出した音階データを記憶装置に記憶する音階算出手段と、前記音声信号の電圧レベルを取得し、音の強弱を算出し、算出した音強弱データを記憶装置に記憶する音強弱算出手段と、前記音階が所定の範囲内で一定に保持された時間を算出し、算出した音時的要素データを記憶装置に記憶する音時的要素算出手段と、前記記憶装置に記憶されている模範データ及びオブジェクトデータを経時的に読み出し、音階データ、音強弱データ及び音時的要素データを採点し、採点結果がオブジェクトの美観に反映された描画データを生成し、記憶装置に記憶する描画データ生成手段と、選択された曲の進行に応じて描画データを送信して画像出力装置にオブジェクトを表示させる描画手段として機能させること、前記描画データ生成手段が、採点結果に応じて線で描画されるオブジェクトの線の歪み、線の太さ、線の途切れ、及び、線の色を変化させることを特徴とする演奏技術描画評価システムである。
第２の発明は、第１の発明において、前記演奏評価プログラムは、前記コンピュータ装置を、音階データ、音強弱データ及び音時的要素データのそれぞれについて演奏開始から演奏終了まで採点し、音階データ、音強弱データ及び音時的要素データの採点値の平均値を１００点満点換算で算出し、算出した採点データを送信して画像出力装置に採点結果を表示させる採点手段として機能させることを特徴とする。
第３の発明は、第１または２の発明において、オブジェクトの動作パターンを規定するオブジェクト動作パターンデータが前記記憶装置に記憶されており、前記描画データ生成手段が、前記記憶装置に記憶されているオブジェクト動作パターンデータを経時的に読み出し、採点結果に応じてオブジェクトの動きの力強さを変化させ、前記描画手段が、演奏終了後、画像出力装置にオブジェクトの動画を表示させる手段を備えることを特徴とする。
第４の発明は、第１ないし３のいずれかの発明において、さらに、前記模範データに対応する楽器の操作手本の手本データが前記記憶装置に記憶されており、前記演奏評価プログラムは、前記コンピュータ装置を、前記模範データの進行に応じて手本データを送信して画像出力装置に楽器の操作手本を表示させる手本表示手段として機能させることを特徴とする。

本発明によれば、ユーザーは綺麗なオブジェクトを描こうとゲームのような感覚で繰り返し練習しようとするため、練習意欲の持続が期待でき、演奏技術を遊びのような感覚で身に付けることができる。加えて本発明では、個人練習だけではなく多人数で使用することも可能であり、多人数で一つの画面に各々の絵を描画することで、個々の向上心を育てるとともに協調性を養うことも可能である。

本発明の演奏技術描画評価システムの実施形態の構成図である。 本発明の演奏技術描画評価システムの実施形態の構成を示すブロック図である。 コンピュータ装置１上での演奏評価プログラム処理の流れを示す図である。 各音階の模範データによる基準周波数での許容される周波数帯域の表を示す図である。 ユーザーの演奏により描かれたオブジェクトの一例である。 （ａ）は図５のＡに対応したグラフである。（ｂ）は図５のＡに対応した拡大図である。 （ａ）は図５のＢに対応したグラフである。（ｂ）は図５のＢに対応した拡大図である。 （ａ）は図５のＣに対応したグラフである。（ｂ）は図５のＣに対応した拡大図である。 （ａ）は図５のＤに対応したグラフである。（ｂ）は図５のＤに対応した拡大図である。 （ａ）は図５のＥに対応したグラフである。（ｂ）は図５のＥに対応した拡大図である。 （ａ）は（Ａ）〜（Ｄ）の音階保持時間である。（ｂ）はそれに対応した描画の様子である。 演奏失敗箇所を赤色（二重線）で表示した図である。 初期画面 曲目とオブジェクトの一覧画面 楽器、楽譜、その他選択画面 演奏開始画面（楽譜を選択した場合） 演奏開始画面（その他を選択した場合） 演奏終了画面 ３ＤＣＧで動作画面 モード選択画面 アニメーションモード画面 再生モード画面（再生中） 再生モード画面（評価点１００点の場合） 再生モード画面（評価点６６点の場合） 再生モード画面（評価点３８点の場合） 曲目と人数選択画面 オブジェクト選択画面 演奏開始画面 演奏終了後の３ＤＣＧで動作画面 再生選択画面 過去の演奏一覧画面 過去の演奏選択画面 過去の演奏比較画面

＜ハードウェア構成＞
図１は、本発明の演奏技術描画評価システムの実施形態の構成図である。コンピュータ装置１と、画像出力装置２と、音声入力装置３と、音声出力装置４と、楽器５とを備え、演奏の評価を描画されたオブジェクトの完成度で表現する演奏技術描画評価システムである。画像出力装置２、音声入力装置３及び音声出力装置４はコンピュータ装置１に接続されている。
画像出力装置２は、８００×６００ピクセル以上の解像度を有するディスプレイ１０である。
音声入力装置３は、３６０度全ての向きから音を拾える無指向性マイクでもよいが、特定方向の音のみを拾うことが可能である指向性マイク１１を使用することが好ましい。特に、多人数で演奏する場合は、それぞれのユーザーが指向性マイクを一つずつ使用するものとする。
音声出力装置４は、汎用的なスピーカー１２である。
楽器５は、任意の楽器を使用することが可能である。音階は周波数によって決まっているため、周波数の判定は楽器によって左右されないからである。任意の楽器を用いることができるが、以下でリコーダーを使用した一例を説明する。

図２は、本発明の演奏技術描画評価システムの実施形態の構成を示すブロック図である。
コンピュータ装置１は、ＣＰＵ６と記憶装置（データ記憶部７、プログラム記憶部８）と、外部記憶装置９と、クロック（図示せず）とを備え、汎用的なプログラム言語を動作することができるＷｉｎｄｏｗｓ（登録商標）またはＭａｃ（登録商標）などのＯＳが搭載されたパーソナルコンピュータ（ＰＣ）である。
ＣＰＵ６は、本発明のシステム全体の動作を制御する中央処理装置である。記憶装置は、メモリなどの一次記憶装置とハードディスクなどの二次記憶装置から構成され、データ記憶部７とプログラム記憶部８を構成する。

データ記憶部７には、予めインストールされている曲またはインターネットなどからダウンロードした曲のＭＩＤＩデータ、模範データ、オブジェクトデータ、オブジェクト動作パターンデータ、手本データ、周波数解析データ、演奏練習記録データが記憶される。
ここで、「ＭＩＤＩ」とは、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅの略であり、音楽の演奏情報である音階、音の強弱、音の時的要素などをデータ化し保存したもので、電子楽器やパソコン上で再生することができる。

模範データは、曲のＭＩＤＩデータをベースに作成したデータであり、音階、音の強弱及び音の時的要素の情報を含んでいる。
オブジェクトデータは、オブジェクトの輪郭線にかかるデータであり、模範データと紐付けられた輪郭線の座標情報及び太さ情報を含んでいる。
オブジェクト動作パターンデータは、各オブジェクトの３ＤＣＧでの動作パターンであり、模範データと紐付けられている。
手本データは、楽器の弾き方や吹き方をグラフィカルに指導するためのデータである（図１７参照）。
周波数解析データは、ユーザーの演奏を周波数解析専用プログラムによって解析して得られたデータであり、基本周波数、電圧レベル及び時的要素の情報を含んでいる。
演奏練習記録データは、ユーザー名、演奏日時、ユーザーが作成したオブジェクト及びユーザーの演奏録音データ、全体評価点などのユーザーの演奏に関する情報をデータ化したものである。また、再生モードで使用するために演奏中のオブジェクト描画画面も記録されている。

プログラム記憶部８には、Ｃ言語で記述された演奏評価プログラムが記憶されている。本実施形態の演奏評価プログラムは、音声取得確認プログラム、周波数解析専用プログラム、第一比較プログラム、第二比較プログラム、第三比較プログラム、第一採点プログラム、第二採点プログラム、第三採点プログラム、描画プログラム、演奏終了プログラム、及び、全体評価値算出プログラムにより構成されている。各プログラムの構成については後述する。
外部記憶装置９はハードディスク、ＣＤ、ＤＶＤ等の外部記憶装置である。
画面操作手段としてマウス１３を使用するが、タッチディスプレイ等の他の手段を使用することも可能である。

音声の取得は、楽器５の発音部分に音声入力装置３を向け、音声入力装置３に入力された音声データを電気信号に変換し、コンピュータ装置１に送信することで行う。ここで言う音声とは、音声入力装置３から取得した楽器５の音であり、人の声は含まれない。音声入力装置３に指向性マイクを用いる際には、指向性マイクの最も音を拾う方向にユーザーが立ち、演奏を行ってもらう。子どもが一人で練習する場合も想定し、できる限り事故を減らせるよう、マイクスタンドにより音声入力装置３を固定することが好ましい。

＜ソフトウェア構成＞
周波数解析専用プログラムは、Ｃ言語で作成された周波数解析で用いられるプログラムであり、基本周波数、電圧レベル、時的要素等の周波数解析データを抽出する。具体的な周波数解析専用プログラムの動作としてまず、入力信号を周波数解析し、基本周波数を算出することで、音階を算出する。この際に、入力信号の電圧レベルも取得することができるため、音の強弱も確認できる。音の時的要素に関しては、基本周波数が一定のまま保持された時間を測定する。基本周波数は１音ごとのもっともスペクトル強度の高い音で判断される第一成分である。これらの周波数解析データは、データ記憶部７に記憶されている模範データと第一比較プログラム、第二比較プログラム、第三比較プログラムによって比較処理が行われる。

第一比較プログラムは、抽出された周波数解析データと模範データとを比較した後、輪郭線の歪み具合を決定し第一描画データを生成する。第二比較プログラムは、抽出された周波数解析データと模範データとを比較した後、輪郭線の太さ具合を決定し第二描画データを生成する。第三比較プログラムは、抽出された周波数解析データと模範データとを比較した後、輪郭線の途切れ具合を決定し第三描画データを生成する。

第一比較プログラムから生成される第一描画データ、第二比較プログラムから生成される第二描画データ、及び、第三比較プログラムから生成される第三描画データは、音を評価要素とする一つの統合描画データにまとめられる。本実施形態における楽器演奏の評価要素は、音階、音の強弱、音の時的要素の３つである。ここで言う音の時的要素とは、タイミングやリズム、テンポなどである。

第一採点プログラムは、第一比較プログラムより得られたデータをもとに採点を行う。第二採点プログラムは、第二比較プログラムより得られたデータをもとに採点を行う。第三採点プログラムは、第三比較プログラムより得られたデータをもとに採点を行う。第一採点プログラム、第二採点プログラム、第三採点プログラムは演奏開始から演奏終了までを１音１点として採点する。各プログラムにおいて演奏を１００点満点に換算（例えば、１５０音中１２５音正しく演奏できたのであれば１００点満点中８３点。少数点第一位は四捨五入）する。

［演奏評価プログラム処理］
コンピュータ装置１上での演奏評価プログラム処理の流れを図３に示す。図４〜図１１にそれぞれに対応する評価基準のグラフと評価結果の拡大図を示す。

ＳＴＥＰ１：ユーザーが演奏開始操作を行うと、初期値が設定される。例えば、秒数をカウントするためのプログラム上の変数であるｉに、ｉ＝１を設定する。
ＳＴＥＰ２：初期値の設定（ＳＴＥＰ１）が終わると、音声の取得を開始する。
ＳＴＥＰ３：マイク１１から音声が取得できているかの確認を音単位で音声取得確認プログラムが行う。音声データ入力が無い場合ＳＴＥＰ４へ、音声データ入力がある場合ＳＴＥＰ６へ移行する。
ＳＴＥＰ４：音声データ入力が無い場合（ＳＴＥＰ３）、ｉが４５秒以上でないことの確認を、秒数をカウントするためのプログラムが行う。ｉが４５秒以上でなければＳＴＥＰ５へ移行する。ｉが４５秒以上であれば演奏評価プログラムは終了する。すなわち、ｉ＝１秒〜ｉ＝４５秒の間音声データ入力が無く（ＳＴＥＰ３）、４５秒以上経過した場合（ＳＴＥＰ４）、または、演奏開始画面の右上に配置されている演奏中止ボタンをユーザーがマウスで選択した場合、演奏の評価処理が終了し初期画面へ戻る。
ＳＴＥＰ５：音声データ入力が無い場合（ＳＴＥＰ３）かつｉ＜＝４５秒（ＳＴＥＰ４）、1秒ずつカウントアップする。演奏中止処理が行われた場合は例外とする。

ＳＴＥＰ６：音声データ入力がある場合（ＳＴＥＰ３）、音単位で取得した音声を周波数解析専用プログラムによって解析し、周波数解析データを作成し、データ記憶部７に記憶する。周波数解析データには、評価観点である音階（基本周波数）、音の強弱（電圧レベル）及び音の時的要素が含まれている。

ＳＴＥＰ７：第一ないし第三比較プログラムによって比較処理が行われる。
第一比較プログラムによって、データ記憶部７に記憶された周波数解析データと模範データの周波数とを、音単位で比較処理し、第一描画データを生成する。比較処理の詳細については、後述する。
第二比較プログラムによって、データ記憶部７に保存された周波数解析データと模範データの電圧レベルとを、音単位で比較処理し、第二描画データを生成する。
第三比較プログラムによって、データ記憶部７に保存された周波数解析データと模範データの時的要素を、音単位で比較処理し、第三描画データを生成する。

ＳＴＥＰ８：第一ないし第三採点プログラムによって採点処理が行われる。
第一採点プログラムは、第一比較プログラムの比較処理結果より、音声データの基本周波数が許容される周波数帯域を満たしていれば、ｎ１＝０に１点加点する。ｎ１＝０は、数をカウントするための変数であり、ＳＴＥＰ１で初期値として予め宣言してある。
第二採点プログラムは、第二比較プログラムの比較処理結果が基準電圧値またはそれをもとに導きだした部分基準電圧値の許容帯域を満たしていれば、ｎ２＝０に１点加点する。ｎ２＝０は、数をカウントするための変数であり、ＳＴＥＰ１で初期値として予め宣言してある。
第三採点プログラムは、第三比較プログラムの比較処理結果が基準時間の許容時間を満たしていれば、ｎ３＝０に１点加点する。ｎ３＝０は、数をカウントするための変数であり、ＳＴＥＰ１で初期値として予め宣言してある。

ＳＴＥＰ９：音単位で第一比較プログラム、第二比較プログラム、第三比較プログラムから生成された第一描画データ、第二描画データ、及び第三描画データは結合され、一つの統合描画データを構成する。

ＳＴＥＰ１０：音単位で生成された統合描画データは、描画処理プログラムに呼び出され、曲の進行と共に随時オブジェクトが描画される様子がディスプレイ１０に表示される。

ＳＴＥＰ１１：演奏全体の時間が決まっているので、演奏が終了したかどうかの判断は演奏終了プログラムによって行う。演奏が終了していない場合は、再度音単位で音声取得（ＳＴＥＰ１）を行う。演奏時間が終了した場合は、ＳＴＥＰ１２へ移行する。

ＳＴＥＰ１２：演奏全体評価は第一採点プログラム実行後のｎ１値、第二採点プログラム実行後のｎ２値、第三採点プログラム実行後のｎ３値をもとに演奏全体評価値算出プログラムが行う。すなわち、全体評価値は、ｎ１値、ｎ２値、ｎ３値を足し合わせた評価平均をもとに算出され、この結果は、データ記憶部７に記憶される。この全体評価点は、ユーザーが演奏終了後、再生モードを選択した際に使用される。

［比較・採点処理］
以下では、ＳＴＥＰ７、８における比較・採点処理について詳細に説明する。
＜ＳＴＥＰ７：音階＞
第一比較プログラムは、音階についての比較処理を行い、音階の外れ具合に応じて歪み（凹凸）のある輪郭線を描かせる第一描画データを生成する。詳細には、周波数解析専用プログラム（ＳＴＥＰ６）によって抽出された周波数解析データと模範データによる基準周波数とを音単位で第―比較プログラムによって比較処理した後、輪郭線の凹凸具合を決定し、第一描画データを生成する。輪郭線の凹凸具合は、模範データによる基準周波数ごとに±２０［Ｈｚ］の許容される周波数帯域を持たせ、この許容範囲を超えた程度により決定される。すなわち、第一比較プログラム、音階が許容される周波数帯域の範囲内であれば正規の座標を指定した（すなわち、凹凸の無い輪郭線を描く）第一描画データを生成し、範囲外であれば基準周波数とのズレの大きさに基づき正規の座標より内側（音階が低い場合）または外側（音階が高い場合）を指定した（すなわち、凹凸のある輪郭線を描く）第一描画データを生成する。図４に模範データ基準周波数評価表を示す。

以下、具体例を挙げて説明する。以下では説明を簡潔にするために、電圧レベルと時間に関しては適切に演奏できているものとする。

第１の例として、演奏しなければならない音階が「Ｇ４」で、演奏ミスにより「Ａ４」を演奏した場合を説明する。
第一比較プログラムは、演奏開始時からの経過時間の音階（この場合は「Ｇ４」）に対応する模範データの基準周波数と、周波数解析データの基本周波数とを比較し、第一描画データを生成する。演奏の基本周波数が模範データの基準周波数の許容範囲に属する場合は、正規の座標が指定された（すなわち、凹凸の無い輪郭線を描く）描画指令が第一描画データに反映され、模範データの基準周波数の許容範囲外に属する場合は、模範データの基準周波数からの距離に応じて不適切な座標が指定された（すなわち、凹凸のある輪郭線を描く）描画指令が第一描画データに反映される。
図６（ａ）の縦軸は電圧による音の強弱、横軸は周波数による音階を表しており、点線Ａは模範データの基準周波数、実線Ｂは周波数解析データの基本周波数である。上述したように、基本周波数は１音ごとのもっともスペクトル強度の高い音で判断される第一成分である。第一成分ではない他の音はノイズである可能性があるため処理対象外とする。

第１の例では、実線Ｂで示される演奏の音階が許容される周波数帯域の範囲を超える（音階が高い）ため、正規の座標よりも外側に指定された第一描画データが生成されている。
すなわち、音階の「Ｇ４」の模範データによる基準周波数が３９２．０［Ｈｚ］、「Ａ４」の周波数解析データの周波数が４３６．０［Ｈｚ］であり、「Ｇ４」より音階が高いため、オブジェクトの輪郭線は、正規の座標より外側の座標を指定した第一描画データが第一比較プログラムによって生成される。図５の点線で囲んだＡは正規の輪郭線より外側に歪んだ描画例であり、図６（ｂ）は、その拡大図である。

第２の例として、演奏しなければならない音階が「Ｇ４」で、演奏ミスにより「Ｅ４」を演奏した場合を説明する。
図７（ａ）の縦軸では電圧による音の強弱、横軸では周波数による音階を表している。

第２の例では、実線Ｂで示される演奏の音階が許容される周波数帯域の範囲を下回る（音階が低い）ため、正規の座標より内側に指定された第一描画データが生成されている。
すなわち、周波数解析データが３３３．２［Ｈｚ］で「Ｇ４」より音階が低いため、オブジェクトの輪郭線は、正規の座標より内側の座標を指定した第一描画データが第一比較プログラムによって生成される。図５の点線で囲んだＢは正規の輪郭線より外側に歪んだ描画例であり、図７（ｂ）は、その拡大図である。
以上のように、音階においては、周波数解析データの周波数が基準周波数よりも高い音の場合は正の誤差として正規の座標よりも外側を指定し、基準周波数よりも低い場合は負の誤差として正規の座標よりも内側を指定するような第一描画データを第一比較プログラムによって生成する。

＜ＳＴＥＰ７：音の強弱＞
第二比較プログラムは、音の強弱についての比較処理を行い、音の強弱の外れ具合に応じて太さが変化する輪郭線を描かせる第一描画データを生成する。より詳細には、音の強さが一定に保たれていることと、強弱記号に従って演奏できていることを評価する。
音の強弱の判定は、個々人で異なる基準電圧値からの外れ具合により判定する。基準電圧値は、曲中の強弱記号がついていない最初の部分の演奏から算出する。
曲中、音の強さを一定に所定時間保つべきところでは、所定時間において基準電圧値から外れた場合に、輪郭線の太さを変化させる描画指令が第一描画データに反映される。曲中、強弱記号のついたところでは、強弱記号のついた音ごとに、基準電圧値に基づき自動設定された強弱記号部分基準電圧値から外れた場合に、輪郭線の太さを変化させる描画指令が第一描画データに反映される。

以下、具体例を挙げて説明する。以下では説明を簡潔にするために、周波数と時間に関しては適切に演奏できているものとする。

第１の例として、音階「Ｃ４」に強弱記号「ピアノ」がついている（本来弱い音で演奏すべきである）が、強弱記号のついていない部分と変わらない強さで演奏してしまった場合を説明する。
まず、第二比較プログラムは、曲中の強弱記号がついていない最初の部分の演奏に基づき基準電圧値を設定する（ここでは基準電圧値を１．０［ｄＢ］とする。）。続いて、第二比較プログラムは、演奏開始時からの経過時間の音階（この場合は「Ｃ４」）に対応する模範データの強弱電圧を基準電圧に基づき設定する。図８（ａ）中、点線Ａは第二比較プログラムが設定した基準電圧値であり、点線Ｂは「ピアノ」部分基準電圧値である（ここでは０．４［ｄＢ］とする。）。第１の例では、±０．３［ｄＢ］の許容帯域を持たせている。実線Ｃは周波数解析データの基本周波数であり、高さは電圧を意味している。図８（ａ）から、「Ｃ４」の部分における演奏の周波数解析データは、周波数が２６０．４［Ｈｚ］、電圧値が１．０［ｄＢ］であり、「ピアノ」部分基準電圧値の許容帯域よりも大きいことが分かる。この場合、正規の輪郭線より太い輪郭線を描かせる第二描画データが第二比較プログラムによって生成される。図５の点線で囲んだＣは正規の輪郭線より太い輪郭線による描画例であり、図８（ｂ）はその拡大図である。

第２の例として、音階「Ｃ４」に強弱記号「フォルテ」がついている（本来強い音で演奏すべきである）が、強弱記号のついていない部分と変わらない強さで演奏してしまった場合を説明する。
第２の例でも、最初に基準電圧値の設定が第二比較プログラムによって行われる。基準電圧値の設定は最初に一度だけ行われ、演奏中の再設定は行わない仕様としている。図９（ａ）中、点線Ａは強弱記号のついていない部分から自動設定した基準電圧値である（ここでは基準電圧値を１．０［ｄＢ］とする。）。点線Ｂは「フォルテ」部分基準電圧値である（ここでは１．６［ｄＢ］とする。）。第２の例でも、±０．３［ｄＢ］の許容帯域を持たせている。実線Ｃは周波数解析データの基本周波数であり、高さは電圧を意味している。図９（ａ）から、「Ｃ４」の周波数解析データの周波数が２６０．４［Ｈｚ］、電圧値が１．０［ｄＢ］であり、「フォルテ」部分基準電圧値よりも小さいことが分かる。この場合、正規の輪郭線より細い輪郭線を描かせる第二描画データが第二比較プログラムによって生成される。図５の点線で囲んだＤは正規の輪郭線より太い輪郭線による描画例であり、図９（ｂ）はその拡大図である。
以上のように、音の強弱においては、周波数解析データの電圧値が基準電圧値よりも大きい場合は正の誤差として正規の輪郭線の太さよりも太い描画線を、電圧値が小さい場合は負の誤差として正規の輪郭線の太さよりも細い描画線を描画させるような第二描画データを第二比較プログラムによって生成する。

＜ＳＴＥＰ７：音の時的要素＞
第三比較プログラムは、音の時的要素についての比較処理を行い、音の時的要素の外れ具合に応じて途切れのある輪郭線を描かせる第三描画データを生成する。本発明にいう音の時的要素とは、開始タイミング、終了タイミング及び音階保持時間長のことを指す。音階や音の強弱が適切であったとしても、曲の進行とずれたタイミングでの発音がなされた場合や、また発音の時間長が短すぎたり長すぎたりした場合には、演奏の評価は下がるからである。第三比較プログラムは、開始タイミング、終了タイミング及び音階保持時間長に関し、演奏開始時からの経過時間に対応する模範データと周波数解析データとを比較し、第三描画データを生成する。開始タイミング及び終了タイミングのずれについては、一定の許容範囲（例えば、数ミリ秒〜２００ミリ秒）持たせることが好ましい。
図１０（ａ）の縦軸は周波数による音階、横軸は音階保持時間を表しており、点線Ａは模範データの音階保持時間、実線Ｂは周波数解データの音階保持時間である。実線Ｂで示される演奏の音階保持時間が許容範囲（０．１秒）より短いため、短い分だけ描画線が途切れた第三描画データが生成される。図１０（ｂ）は、図１０（ａ）に対応する部分の描画線であり、図５の点線で囲んだＥの箇所の拡大図である。

以下、具体例を挙げて説明する。分かりやすく説明するために、周波数と電圧レベルに関しては適切に演奏できていた場合とする。

図１１（ａ）中、（Ａ）は模範データの音階保持時間、（Ｂ）は音の始まるタイミングは正しかったが保持時間が短かった例、（Ｃ）は音の入りは遅れたが終わるタイミングが正しい例、（Ｄ）は始まりと終わりは正しかったが途中で途切れた例を示している。このとき、発音されるべき時間帯に発音が無かった場合は、同時間帯に対応する輪郭線を描画しないようにする第三描画データが第三比較プログラムによって生成される。図１１（ｂ）に、図１１（ａ）の（Ａ）〜（Ｄ）に対応する第三描画データにより描かれた輪郭線を示す。
以上のように、音の時的要素においては、本来の保持時間と取得した保持時間を比較して、第三描画データを第三比較プログラムによって生成する。

＜変形例＞
上記とは異なり、演奏ミスなどにより輪郭線に変化が有る場合、色を変えるなどして演奏の良し悪しをより直感的に確認することを可能としてもよい。図１２は演奏ミスにより輪郭線に変化がある箇所を赤色で表示したものである。図面上では色の変化が分かりにくいため、赤色の部分を二重線で表示している。

［操作の流れ］
本発明は楽器で演奏練習をしながらオブジェクトの描画が行われる練習モードと、過去の練習を振り返ることができる復習モードを備える。ユーザーは目的に応じてこれらのモードを選択することができる。以下、本発明の画面の遷移とともに操作の流れを図１３〜図３３を参照しながら説明する。

ユーザーは、初期画面で練習モードと復習モードを選択できる（図１３）。最初に練習モードを選択した場合の操作の流れを説明し、続いて復習モードを選択した場合の操作の流れを説明する。

１．練習モード
図１３に示すように、練習モードは、［ひとりで」を選択すると一人で練習することができ、［みんなで」を選択すると複数人で練習することができる。

１−１．練習モード［ひとりで］
練習モード［ひとりで］を選択すると、設定されている曲目とその曲目に対応しているオブジェクトの一覧がディスプレイ１０に表示される。図１４では曲目（ちょうちょ）とオブジェクト（蝶のグラフィック）が一対一で結び付けられているが、任意のオブジェクト（例えば、他の昆虫類、魚類、爬虫類などの動物）を選択する仕様とすることも可能である。

曲目とオブジェクトを選択すると続いて、使用する楽器５と楽譜または楽器の弾き方や吹き方の手本を選択する（図１５）。楽器の手本を表示させたい場合は、「そのた」で選択できる。演奏が始まると同時にオブジェクトの描画と選択した楽譜（図１６）または楽器の手本（図１７）も演奏に合わせて画面遷移する。鉛筆のグラフィックが演奏とともにオブジェクトの輪郭線を描画する様子がディスプレイ１０に表示される。

１−１−１．演奏終了後の画面での動作
図１８は、演奏終了画面である。演奏終了後一定時間が経過すると、オブジェクトが着色され、３ＤＣＧの動画で表現される（図１９）。オブジェクトの動作パターンは、データ記憶部７に記憶されるオブジェクト動作パターンデータ内で定められており、全体評価点に応じて異なる動作をする。全体評価点が１００点に近い値であれば、オブジェクトは活発に動き回り、反対に全体評価点から離れた値であれば、動きが鈍くなる（生命力の無い弱った感じの動作となる）。ユーザーは、オブジェクトの動作を見ることで、直感的に演奏の良し悪しを知ることが可能である。

１−１−２．演奏終了後のモード選択
上記オブジェクトの動作終了後、モード選択画面がディスプレイ１０に表示される。ユーザーは、アニメーションモードと再生モードを選択できる（図２０）。

１−１−２−１．アニメーションモード
アニメーションモードでは、ユーザーの演奏によって描画されたオブジェクトが画面上を動き回る様子がディスプレイ１０に表示される。オブジェクトが画面上を動き回っている間、データ記憶部７に記憶されているユーザーの演奏の録音が再生される。データ記憶部７に記憶されているオブジェクトデータの統合描画データの情報をもとにオブジェクトの動きは変化する。
例として、図１９で作成した蝶々をアニメーションモードで動作させた様子を図２１に示す。演奏の再生中、演奏評価が高い部分では蝶々は「よくできました！」の位置に移動し、演奏評価が低い部分では「がんばろう！」の位置に移動する。上手に演奏できた部分では、蝶々は高いところを飛び、演奏ミスをした部分では、低いところを飛ぶ。このような動作によりユーザーは、演奏のどの部分でユーザー自身が正確に演奏できているのかを容易に確認することができる。

１−１−２−２．再生モード
再生モードでは、データ記憶部７に記憶されているユーザーの演奏録音データが再生され、曲の進行と共にオブジェクトが描画される様子が画面に表示される（図２２）。また、再生終了後には、全体評価点を表示する。図２３のようなオブジェクトの場合、全体評価点が１００点、図２４のようなオブジェクトの場合、全体評価点が６６点、図２５のようなオブジェクトの場合、全体評価点が３８点である。

１−２．練習モード［みんなで］
練習モードでは、複数のユーザーとともに曲目、人数に合ったステージの絵（オブジェクト）を完成させる。他のユーザーと演奏することによって、協調性を養うことを目的としたモードであるため、全体評価値算出は行われない。演奏の評価に基づくオブジェクトの描画は行われるが、［ひとりで］を選択した場合と異なり、各ユーザーが自身の演奏により描画されるオブジェクトを選択することが可能である。尚、それ以外の処理は、「ひとりで」と同じである。

練習モード［みんなで］を選択すると、まず始めに曲目と演奏人数の設定画面が表示される（図２６）。上記の選択後、画面遷移し、曲目、人数に合ったステージの絵が表示される（図２７）。それぞれのユーザーが、演奏によって描画したいオブジェクトをマウスによって選択する。
例としては、一人目（マイク１）が蝶々を、二人目（マイク２）が、お花を選択したとする。選択後、画面遷移する（図２８）。それぞれのオブジェクトは図２８のように一つの画面に配置される。オブジェクトの配置は、予めプログラムによって設定されている。

１−２−１．演奏開始時の画面
図２８の状態から、演奏スタートと同時に描画が開始される。練習モード［みんなで］では、手本は表示されない。

１−２−２．演奏終了後の画面での動作
演奏終了後、［ひとりで］を選択した場合と同様に、ユーザーそれぞれの描画したオブジェクトと選択しなかった残りのオブジェクトに色が塗られ３ＤＣＧの動画で表現される（図２９）。［ひとりで］では、全体評価点によって動作パターンをいくつか設けていたが、このモードでは、全体評価値算出を行わないため、曲の進行に沿って一定の動作パターンを行う。

１−２−３．演奏終了後の再生
上記の動作終了後、再生モード選択画面を表示する（図３０）。
再生［する］を選択した場合は、［ひとりで］を選択した場合と同様に、データ記憶部７に保存された、ユーザー全員の演奏録音データが再生され、曲の進行と共にオブジェクトが描画される様子が画面に表示される。
再生［しない］を選択した場合は、初期画面に戻る（図１３）。

２．復習モード
図１３の画面で、復習モードを選択すると、ユーザーの過去練習記録が一覧で表示される（図３１）。
練習記録一覧から復習したい記録を選択すると、画面の上部に過去のユーザーの演奏結果に基づくオブジェクトが、下部に楽譜が出力される（図示せず）。画面の上部に出力されているオブジェクトは、演奏ミスに対応する箇所（凹凸、太さ変化、途切れがある箇所）の輪郭線を選択することが可能である。画面の上部に出力されているオブジェクトの輪郭線の演奏ミスに対応する箇所を指定すると、画面の下部に対応する小節が出力される。

復習モードには、練習記録一覧から複数の練習記録を選択し、過去に作成したオブジェクトを同時に表示させる機能（図３２）、複数のオブジェクトを重ねて表示させる機能がある（図３３）。ただし、オブジェクトを重ねて表示させる機能は、曲が同じであり、かつ、オブジェクトの種類が同じである場合に限られる。

演奏を途中で中断した場合、演奏を中断したところまでは演奏を再生しながら描画を再表示することができる。ただし、演奏を途中で中断した場合は、描画されたオブジェクトに動作は起こらない。演奏評価プログラムは、一定時間以上演奏が行われなかった場合や、画面上で中断操作が行われた場合に中断があったと判定する。

［本発明の応用用途］
本発明の応用用途として以下の三点が挙げられる。
（１）耳の不自由な方が楽器を楽しめるツール
耳の不自由な方（耳が聞こえにくい方を含む）の中にも、音楽が好きで楽器の演奏を楽しみたい人がいる。そのような方々が楽器の演奏をする場合、本発明を活用することができる。耳の不自由な方では気付きにくい、音階の間違いや音の大きさの度合いなどが視覚的に理解できるため、より効果的に練習ができる。また、人前で演奏するとき、自分では正しく演奏できているかが分からず不安になる方もいるが、本発明を使用することで、オブジェクトの描画をリアルタイムに確認しながら演奏することが可能となり、自信をもって演奏することができる。
また、耳の不自由な方が演奏を聴く場合、振動などを利用して楽しむことが一般的であるが、ある程度の慣れが必要であり、容易ではない。より振動を感じ取るために、何かに体の一部を当てるなどして演奏を楽しむことを、人目を気にして人前でできない人もいる。本発明では、演奏をオブジェクトの描画で表現することで、耳の不自由な方も、他の人たちと一緒に演奏を楽しむことができる。

（２）リハビリの手助けをするツール
手術後のリハビリとして、楽器の練習が一つの方法として知られている。怪我等が原因でリハビリを受ける人の中には、怪我をする前に出来ていたことが出来なくなっていることに焦りや苛立ちなどのストレスを感じる方が存在する。リハビリ訓練は単調なものが多く、ゴールもなかなか自分では見つけられず、リハビリへのモチベーションの持続が難しい。本発明を使用することで、自分でも日々の成長が目で見てわかるため、精神的な苦痛を緩和することができると考える。本発明によれば、従来のリハビリではあまり実感することができなかった楽しみを実感しやすくなったり、少しずつ回復傾向にあることが見て取れたりすることで、リハビリのモチベーションの持続が期待できる。
この場合、リハビリをする人の使用に適するように、システムに改良を施すことが好ましい。例えば、リハビリの初期段階などでは本来の曲の速度通りの演奏が難しいことも考えられるため、スローモード機能を設け、ゆっくりとした演奏でも評価がされるようにすることが開示される。

（３）高齢者の認知症予防や進行抑制に役立つツール
認知症の予防や進行の抑制に、音楽療法が効果的だと言われている。集中して音楽を聴くと聴覚が刺激され、脳の血流も活性化されるため、他人の演奏を聴くだけでも効果があるとされている。本発明を使用することで、音楽を集中して聴くことに加えて、同時に視覚も使うことにより、さらなる脳の活性化が期待できる。さらに、高齢者自身が楽器に触れることにより、普段の生活とは違った刺激を与えることができる。また、反復練習は認知症の進行を緩やかにできるといわれており、介護の現場では体操や発声練習などの反復練習をすることがしばしばある。このシステムは比較的安全かつ効率よく反復練習の手助けができるため、介護者・要介護者ともに負担の軽減が見込める。反復練習の軌跡を残していくことが可能なため、これからさらに進歩が期待される音楽療法の分野の研究にも役立つことができると考える。
さらに、過去に聴いた音楽を思い出すことで、記憶をつかさどる脳の海馬やその周辺が刺激されるといわれており、ユーザーの過去に聴いたことのある音楽を取り入れることも効果的だと思われる。本用途においても、上述のスローモード機能を設けることが有効であると考えられる。

Claims (4)

1. ＣＰＵ、クロック、並びに、演奏評価プログラム、模範データ及びオブジェクトデータを記憶する記憶装置を備えたコンピュータ装置と、
   コンピュータ装置と接続された画像出力装置と、
   コンピュータ装置と接続された画面操作手段と、
   コンピュータ装置と接続された音声入力装置と、
   コンピュータ装置と接続された音声出力装置とを備えたシステムであって、
   前記模範データが、複数の曲につき音階情報、音の強弱情報、及び、音階が所定の範囲内で一定に保持された時間情報を含み、
   前記オブジェクトデータが、模範データ中の曲の演奏時間に対応して描画されるオブジェクトの輪郭線情報を含み、
   前記演奏評価プログラムは、前記コンピュータ装置を、画面操作手段により選択可能な複数の曲を画像出力装置に表示させる手段と、
   前記コンピュータ装置が音声入力装置から受信した音声信号を周波数解析して音階を算出し、算出した音階データを記憶装置に記憶する音階算出手段と、
   前記音声信号の電圧レベルを取得し、音の強弱を算出し、算出した音強弱データを記憶装置に記憶する音強弱算出手段と、
   前記音階が所定の範囲内で一定に保持された時間を算出し、算出した音時的要素データを記憶装置に記憶する音時的要素算出手段と、
   前記記憶装置に記憶されている模範データ及びオブジェクトデータを経時的に読み出し、音階データ、音強弱データ及び音時的要素データを採点し、採点結果がオブジェクトの美観に反映された描画データを生成し、記憶装置に記憶する描画データ生成手段と、
   選択された曲の進行に応じて描画データを送信して画像出力装置にオブジェクトを表示させる描画手段として機能させること、
   前記描画データ生成手段が、採点結果に応じて線で描画されるオブジェクトの線の歪み、線の太さ、線の途切れ、及び、線の色を変化させることを特徴とする演奏技術描画評価システム。
2. 前記演奏評価プログラムは、前記コンピュータ装置を、音階データ、音強弱データ及び音時的要素データのそれぞれについて演奏開始から演奏終了まで採点し、音階データ、音強弱データ及び音時的要素データの採点値の平均値を１００点満点換算で算出し、算出した採点データを送信して画像出力装置に採点結果を表示させる採点手段として機能させることを特徴とする請求項１の演奏技術描画評価システム。
3. オブジェクトの動作パターンを規定するオブジェクト動作パターンデータが前記記憶装置に記憶されており、
   前記描画データ生成手段が、前記記憶装置に記憶されているオブジェクト動作パターンデータを経時的に読み出し、採点結果に応じてオブジェクトの動きの力強さを変化させ、
   前記描画手段が、演奏終了後、画像出力装置にオブジェクトの動画を表示させる手本表示手段を備えることを特徴とする請求項１または２の演奏技術描画評価システム。
4. さらに、前記模範データに対応する楽器の操作手本の手本データが前記記憶装置に記憶されており、
   前記演奏評価プログラムは、前記コンピュータ装置を、前記模範データの進行に応じて手本データを送信して画像出力装置に楽器の操作手本を表示させる手本表示手段として機能させることを特徴とする請求項１ないし３のいずれかの演奏技術描画評価システム。