JP6835247B2 - データ生成装置およびプログラム - Google Patents

Description

本発明は、ピアノの演奏に応じたデータを生成する技術に関する。

鍵の動きを測定するセンサを用いて、ピアノの演奏を記録する技術がある。このように記録した演奏を、操作された鍵を表示することで表現する方法が知られている。例えば、縦方向に鍵の音高を定義し、横方向に時間軸を定義した領域において、鍵が操作された期間（押鍵から離鍵までの期間）を時間軸方向に延びた帯状の画像を配置することによって、演奏内容を表す方法がある。この方法は、一般的には「ピアノロール」といわれる。例えば特許文献１に開示されているように、ピアノロールを用いた様々な表示方法が検討されている。

特開２０１４−１８６１５４号公報

ピアノの演奏が記録されるときの情報は、例えば、操作された鍵、押鍵タイミングおよび離鍵タイミングである。一般的なピアノロール表示では、これらの情報が用いられている。しかしながら、これらの情報は、実際の演奏に比べると情報量としては非常に少ない。このようなピアノロール表示によれば、大まかな演奏内容を視覚的に認識することができる一方、細かい演奏内容についてはわからない。そのため、演奏者が自分の演奏を分析することによって演奏技術を向上させようとしても、一般的なピアノロール表示を用いたものでは情報量が不十分であった。

本発明の目的の一つは、ピアノロール表示のように鍵の音高と時間軸とにより定義された領域を用いつつも、情報量をより多く表現できるようにすることにある。

本発明の一実施形態によれば、複数の鍵の各々に対応して、鍵または当該鍵に連動する部材の挙動を示す測定値を時系列に示す測定データを取得する取得部と、前記測定データに基づいて、複数の鍵に対応して前記測定値を同一の時間軸に沿って表示する画面を示す表示データであって、各鍵に対応する前記測定値のうち当該測定値に応じた時間軸上の一部の範囲を抽出して表示するための表示データを生成するデータ生成部と、を備えるデータ生成装置が提供される。

前記画面において、前記測定値が表示される範囲が前記複数の鍵の各々に対応して時間軸に沿って帯状に区画され、前記測定値の変化は、前記帯状に区画された領域において、当該領域における幅方向の位置の変化により表現されてもよい。

前記画面において、前記測定値が表示される範囲が前記複数の鍵の各々に対応して時間軸に沿って帯状に区画され、前記測定値の変化は、前記帯状に区画された領域において、当該領域における色調変化により表現されてもよい。

前記画面において、前記測定値が表示される範囲が前記複数の鍵の各々に対応して時間軸に沿って帯状に区画され、前記測定値の変化は、前記帯状に区画された領域において、当該領域の幅方向の占有率の変化により表現されてもよい。

前記測定値に基づいて、押鍵から離鍵までの期間を特定する特定部をさらに備え、前記表示データは、前記画面において複数の鍵に対応して、さらに前記期間を表示するためのデータであってもよい。

前記画面には、前記鍵および当該鍵に連動する部材の双方の挙動に関する測定値が表示されてもよい。

前記表示データは、さらに楽譜を表示し、前記画面における時間軸上の位置を指定するための第１指示画像を表示し、当該位置に対応する前記楽譜における位置を指定するための第２指示画像を表示するためのデータを含んでもよい。

前記取得部は、操作子の挙動を示す第２測定値を時系列に示す第２測定データをさらに取得し、前記画面には、複数の鍵に対応する領域に拡がって前記第２測定値が前記時間軸に沿って表示され、前記第２測定値の変化は、色調変化により表現されてもよい。

前記操作子の挙動は、ペダルまたは当該ペダルに連動する部材の挙動を含んでもよい。

発音の内容を時系列に規定する発音データに基づいて、前記画面において指定された範囲に対応する期間の発音を行う再生部をさらに備えてもよい。

また、本発明の実施形態によれば、複数の鍵の各々に対応して、鍵または当該鍵に連動する部材の挙動を示す測定値を時系列に示す測定データを取得し、前記測定データに基づいて、複数の鍵に対応して前記測定値を同一の時間軸に沿って表示する画面を示す表示データであって、各鍵に対応する前記測定値のうち当該測定値に応じた時間軸上の一部の範囲を抽出して表示するための表示データを生成すること、
をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、ピアノロール表示のように鍵の音高と時間軸とにより定義された領域を用いつつも、情報量をより多く表現できるようにすることができる。

本発明の一実施形態におけるシステムの構成を示す図である。 本発明の一実施形態におけるピアノの構造を示す図である。 本発明の一実施形態における測定装置の構成を示すブロック図である。 本発明の一実施形態における分析支援装置のハードウェア構成を示すブロック図である。 本発明の一実施形態における分析支援機能の構成を示すブロック図である。 本発明の一実施形態における分析支援画面の一例を示す図である。 本発明の一実施形態における鍵挙動画像の一例を示す図である。 本発明の一実施形態におけるペダル挙動画像の一例を示す図である。 本発明の一実施形態における分析支援処理を説明するフローチャートである。 本発明の一実施形態における描画処理を説明するフローチャートである。

以下、本発明の一実施形態におけるシステムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。

＜実施形態＞
［１．システムの概要］
図１は、本発明の一実施形態におけるシステムの構成を示す図である。このシステムは、分析支援装置１、測定装置３０、録音装置４０およびピアノ５０を含む。ユーザがピアノ５０を演奏すると、演奏による鍵およびペダルの挙動が測定装置３０によって測定される。測定結果は分析支援装置１に提供される。録音装置４０は、例えば、マイクロフォンであり、入力された音を電気信号（音信号）に変換する。録音装置４０は、音信号を記録するメモリを備えていてもよい。録音装置４０に入力された演奏音は、分析支援装置１に提供される。分析支援装置１は、入力された情報をディスプレイ、スピーカ等の情報出力手段を介してユーザに提示する。以下、システムの各構成について、詳述する。

［２．ピアノ］
ピアノ５０は、この例では、一般的なグランドピアノである。なお、ピアノ５０は、グランドピアノ以外のアコースティックピアノであってもよい。また、ピアノ５０は、アコースティックピアノに限らず、電子ピアノ等の電子楽器であってもよい。この例では、ピアノ５０には、測定装置３０の一部が組み込まれている。

図２は、本発明の一実施形態におけるピアノの構造を示す図である。ピアノ５０は、その前面に演奏者によって演奏操作がなされる鍵５２が複数配列された鍵盤、およびペダル５３を有する鍵盤楽器の一例である。ペダル５３はこの例では複数であるが、少なくともダンパペダルを含む。ハンマ５４は、各鍵５２に対応して設けられている。ハンマ５４は、鍵５２に連動する部材であって、鍵５２が押下されるとアクション機構を介して力が伝達されて移動し、各鍵５２に対応して設けられた弦５５を打撃する。弦５５は、ハンマ５４からの打撃により、発音する。

ダンパ５８は、ダンパ動作機構によって移動される。ダンパ動作機構は、鍵５２の押下量、およびペダル５３の踏込量に応じて、ダンパ５８と弦５５との接触状態を制御するようにダンパ５８を移動する。

［３．測定装置］
図３は、本発明の一実施形態における測定装置の構成を示すブロック図である。上述したようにピアノ５０には、測定装置３０の一部が組み込まれている。以下、図２および図３を用いて測定装置３０について説明をする。測定装置３０は、鍵位置測定部３２、ペダル位置測定部３３、ハンマ位置測定部３４およびデータ出力装置３５を含む。

鍵位置測定部３２は、各鍵５２に対応して設けられた鍵センサを含む。鍵位置測定部３２は、鍵センサによって各鍵５２の位置（押下量に対応）を連続量（微細な分解能）で測定し、測定結果を示す測定値（以下、「鍵位置測定値」という場合がある）を出力する。この測定値は、各鍵５２に対応して出力される。なお、鍵センサは、鍵５２の位置に応じた測定値を出力する代わりに、鍵５２が特定の押下位置を通過したことを示す測定値を出力するようにしてもよい。特定の押下位置とは、鍵５２のレスト位置からエンド位置に至る範囲の複数の位置である。複数の位置は、例えば、発音開始、ダンピング開始等の発音状態に変化を与える位置であってもよい。このように、鍵位置測定部３２が出力する測定値は、鍵５２の挙動を示す情報であればよい。

ペダル位置測定部３３は、各ペダル５３に対応して設けられたペダルセンサを含む。ペダル位置測定部３３は、ペダルセンサによって各ペダル５３の位置（踏込量に対応）を連続量（微細な分解能）で測定し、測定結果を示す測定値（以下、「ペダル位置測定値」という場合がある）を出力する。この測定値は、各ペダル５３に対応して出力される。なお、ペダルセンサは、ペダル５３の位置に応じた測定値を出力する代わりに、ペダル５３が特定の位置を通過したことを示す測定値を出力するようにしてもよい。特定の位置とは、ペダルの可動範囲に含まれる複数の位置である。このように、ペダル位置測定部３３が出力する測定値は、ペダル５３の挙動を示す情報であればよい。以下の説明では、ペダル５３という場合には、ダンパペダルを示すものとして説明する。したがって、ペダル位置測定値は、ダンパペダルの位置（踏込量）に対応する。

ハンマ位置測定部３４は、各ハンマ５４に対応して設けられたハンマセンサを含む。ハンマ位置測定部３４は、ハンマセンサによって各ハンマ５４の位置（移動量に対応）を連続量（微細な分解能）で測定し、測定結果を示す測定値（以下、「ハンマ位置測定値」という場合がある）を出力する。この測定値は、各ハンマ５４に対応して出力される。なお、ハンマセンサは、ハンマ５４の位置に応じた測定値を出力する代わりに、ハンマ５４が特定の位置を通過したことを示す測定値を出力するようにしてもよい。特定の位置とは、ハンマの可動範囲に含まれる複数の位置である。このように、ハンマ位置測定部３４が出力する測定値は、ハンマ５４の挙動を示す情報であればよい。

データ出力装置３５は、例えば、ピアノ５０の棚板下方に設けられている。データ出力装置３５は、データ生成部３５１およびインターフェイス３５３を含み、鍵位置測定部３２、ペダル位置測定部３３およびハンマ位置測定部３４から出力される情報に基づいて、測定データおよび制御データを生成して出力する。

データ生成部３５１は、鍵位置測定部３２、ペダル位置測定部３３およびハンマ位置測定部３４から出力される情報に基づいて、測定データおよび制御データを生成する。測定データは、各鍵５２に対応する鍵位置測定値、各ハンマ５４に対応するハンマ位置測定値、およびペダル５３（ダンパペダル）に対応するペダル位置測定値を含む。制御データは、発音内容を時系列に規定する所定のデータ形式（例えばＭＩＤＩ形式）に、上記の各測定値から変換したデータである。制御データは、例えば、ノートナンバ、ノートオン、ノートオフ、ベロシティ（オンベロシティ（ノートオン時の鍵速度）、オフベロシティ（ノートオフ時の鍵速度））およびコントロールチェンジ（ペダルの踏込量等）などのデータを含む。

インターフェイス３５３は、有線または無線により外部装置と接続してデータの送受信をするための構成を有する。インターフェイス３５３に接続された外部装置には、データ生成部３５１によって生成された測定データおよび制御データが出力される。外部装置は、演算処理が可能な装置であってもよいし、半導体メモリ等の記録媒体であってもよい。この例では、外部装置は分析支援装置１を含む。なお、測定データおよび制御データは、リアルタイムに外部装置出力されてもよいし、時刻情報とともに時系列な情報としてメモリ等に記憶されてから外部装置に出力されてもよい。いずれにしても、測定データおよび制御データは、時系列に並ぶ情報を含む。例えば、測定データは、各測定値を時系列に示すデータである。以上が、測定装置３０についての説明である。

［４．分析支援装置］
分析支援装置１は、測定装置３０から出力される情報に基づいて、ユーザの演奏内容の分析を支援するための情報を生成する。分析支援装置１において実現される機能には、ユーザの演奏内容の詳細（以下、「分析支援画面」という場合がある）をディスプレイ（後述する表示部１７）に表示させるための表示データを生成する機能（分析支援機能）が含まれる。分析支援装置１は、このように分析支援画面を表示するためのデータを生成するデータ生成装置であるともいえる。

［４−１．分析支援装置のハードウェア構成］
図４は、本発明の一実施形態における分析支援装置のハードウェア構成を示すブロック図である。分析支援装置１は、例えば、パーソナルコンピュータにおいてプログラムを実行することによって、所定の機能を実現することができる装置である。分析支援装置１は、制御部１１、記憶部１３、操作部１５、表示部１７、およびインターフェイス１９を含む。これらの各構成は、バスを介して接続されている。

制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を分析支援装置１において実現させる。実現される機能には、上述した分析支援機能が含まれる。

記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、分析支援機能を実現するための制御プログラムを記憶する。制御プログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、分析支援装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワーク経由でダウンロードされてもよい。

記憶部１３は、測定装置３０から取得した測定データおよび制御データを記憶してもよい。また、記憶部１３は、様々な楽曲の楽譜データを記憶している。楽譜データは、例えば、楽曲の発音内容を示し、楽譜としても表示可能なデータである。なお、各データは、記憶部１３に記憶される代わりに、有線または無線によって接続可能な外部記憶装置（サーバ、記録媒体等）に記憶されていてもよい。

操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの入力装置であり、入力された操作に応じた信号を制御部１１に出力する。この操作部１５によって、ユーザの指示を分析支援装置１に入力することが可能となる。

表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。分析支援機能によって生成された表示データは、この画面に表示される。なお、操作部１５と表示部１７とは一体としてタッチパネルを構成してもよい。

インターフェイス１９は、有線または無線により外部装置と接続してデータの送受信をするための構成を有する。測定装置３０において生成された測定データおよび制御データは、インターフェイス１９を介して分析支援装置１に取得される。また、録音装置４０において生成された音信号などについても、インターフェイス１９を介して分析支援装置１に取得される。また、スピーカなどの音出力装置がインターフェイス１９に接続されてもよい。この場合には、分析支援装置１からスピーカに音信号を供給することによって、スピーカに音を再生させてもよい。

［４−２．分析支援装置のソフトウェア構成］
分析支援装置１の制御部１１が制御プログラムを実行することによって実現される分析支援機能について説明する。なお、以下に説明する分析支援機能を実現する構成の一部または全部は、ハードウェアによって実現されてもよい。

図５は、本発明の一実施形態における分析支援機能の構成を示すブロック図である。分析支援機能１０は、データ取得部１０１、特定部１０３、表示データ生成部１０５、再生位置指定部１１１、再生部１１３、および楽譜取得部１２１を含む。

データ取得部１０１は、測定装置３０から測定データおよび制御データを取得する。また、この例ではデータ取得部１０１は、録音装置４０から音信号を取得する。

特定部１０３は、データ取得部１０１が取得した制御データに基づいて、ノートオンおよびノートオフまでの期間、すなわち押鍵から離鍵までの期間（以下、「押鍵期間」という場合がある）を各鍵に対して特定する。上述したように、制御データは、測定値に基づいて測定装置３０によって生成されたデータである。したがって、特定部１０３は、測定値に基づいて押鍵期間を特定しているともいえる。

楽譜取得部１２１は、ユーザによって指定された楽曲の楽譜データを記憶部１３から取得する。楽譜取得部１２１は、測定装置３０から取得した制御データまたは録音装置４０から取得した音信号を解析し、記憶部１３に記憶されている複数の楽譜データと比較することによって、最も類似する楽曲に対応する楽譜データを取得してもよい。

表示データ生成部１０５は、測定データ、制御データおよび楽譜データなどの各種情報に基づいて、分析支援画面を表示部１７に表示するための表示データを生成する。この表示データは、記憶部１３に記憶される。制御部１１は、この表示データに基づいて表示部１７に分析支援画面を表示させる。

図６は、本発明の一実施形態における分析支援画面の一例を示す図である。分析支援画面は、この例では、演奏結果領域７００、楽譜領域８００および制御アイコン領域９００を含む。

演奏結果領域７００は、いわゆるピアノロール表示と同様に、縦方向に鍵の音高（ノートナンバに対応）ＫＮを定義し、横方向に時刻ｔを定義した領域において、演奏内容に応じた画像を表示する領域である。縦方向には音高に対応した鍵の配列を示す鍵盤画像７１０が表示される。なお、演奏結果領域７００においては、演奏をした全体の期間のうち一部の期間が表示され、時間軸に沿った方向にスクロール表示をすることによって、表示される期間の範囲を変更することができる。

ここで、一般的なピアノロール表示では、押鍵期間を帯状の画像で表す場合が多い。一方、この例では、単純に帯状の画像で演奏結果を表示するのではなく、鍵挙動画像７７０によって、より詳細の演奏内容が把握できるようになっている。また、この例では、ペダルの挙動についても鍵挙動画像７７０が表示される領域と同じ領域にペダル挙動画像７３０として表示される。鍵挙動画像７７０およびペダル挙動画像７３０については、測定データおよび制御データに基づいて変化する画像である。これらの画像の詳細については、後述する。

演奏結果領域７００においては、特定の範囲を指定することにより拡大表示することもできる。例えば、図６に示す領域ＳＡを指定することによって、領域ＳＡを拡大して表示部１７の一部の領域に重畳するようにして表示することができる（例えば、図７に示す表示）。

演奏結果領域７００においては、再生位置を示す指示画像７５０（第１指示画像）が表示される。指示画像７５０は、演奏結果領域７００における時間軸上の位置を指定するための画像である。

楽譜領域８００は、楽譜取得部１２１が取得した楽譜データに基づく楽譜を表示する領域である。楽譜領域８００においては、再生位置を示す指示画像８５０（第２指示画像）が表示される。指示画像８５０は、楽譜上の位置を指定するための画像である。楽譜上の位置は、上記の指示画像７５０が指定する時間軸上の位置に対応する。したがって、指示画像７５０が指定する位置が変化すると、指示画像８５０が指定する楽譜上の位置も変化する。なお、楽譜領域８００は存在しなくてもよい。

演奏結果領域７００における時間軸上の位置と、楽譜領域８００における楽譜上の位置とは、いわゆるスコアアライメント技術を用いて対応付けられる。スコアアライメント技術は、演奏内容（測定データ、制御データまたは音信号）を解析し、演奏内容の時間軸と、予め決められている楽曲の発音内容の時間軸とを対応付ける技術である。例えば、演奏内容における各音と、楽曲の発音内容における各音とを対応付けることによって、演奏速度に揺らぎがあったとしても、楽曲のどの部分を演奏しているのかを特定することができる。このとき、楽譜データを用いることで、演奏と楽曲との対応関係を介して、演奏内容の時間軸上の位置と、楽譜の画像上の位置とを対応付けることもできる。このような技術は、公知の様々な技術を適用することができるが、例えば、特開２０１７−１８１７２４号公報、特許６１８７１３２号公報等に開示されている技術を用いることができる。

制御アイコン領域９００は、ユーザの操作を受け付ける複数のアイコンが表示されている領域である。これらのアイコンによって、ユーザは、指示画像７５０によって指定される位置（演奏結果領域７００における時間軸上の位置）の変化させることができる。この例では、４つのアイコンが表示されている。これらのアイコンは、左側から順に、早戻し、一時停止、再生開始、早送りの操作を受け付ける。

図５に戻って説明を続ける。再生位置指定部１１１は、制御アイコン領域９００におけるアイコン等への操作に応じて、演奏結果領域７００における時間軸上の位置を指定する。例えば、アイコンによって再生開始が指示されると、その時点において指定されていた位置から、時間の経過とともに指定する位置を進めていく。再生位置指定部１１１は、指定した位置を再生位置として再生部１１３に出力する。このとき、指示画像７５０および指示画像８５０は、再生位置に応じて指定する位置を変化させる。

再生部１１３は、制御アイコン領域９００におけるアイコン等への操作によって再生開始の指示を受け付けた場合に、録音装置４０から取得した音信号を再生する。再生する時間軸上の位置は、再生位置指定部１１１によって指定された再生位置である。このとき、音信号の再生に代えて、音源等を用いて制御データに基づく音を再生してもよい。このように、音信号および制御データは、いずれも、再生される音（発音）の内容を時系列に規定する発音データであるといえる。以上が、分析支援機能の構成についての説明である。

［４−３．鍵挙動画像］
続いて、演奏結果領域７００における鍵挙動画像７７０の詳細について説明する。ここでは、上述した領域ＳＡを拡大して表示したときの例である図７を用いて説明する。

図７は、本発明の一実施形態における鍵挙動画像の一例を示す図である。図７に示すように、各鍵の音高ＫＮに対応して、帯状に区画された領域ＢＮ（ＢＮ−１、ＢＮ−２，ＢＮ−３）が配置されている。各音高の鍵に対応する鍵挙動画像７７０は、その鍵に対応して区画された領域ＢＮ（この例では、領域ＢＮ−２）に表示される。鍵挙動画像７７０は、この例では、帯状画像ＣＤ、鍵位置画像ＫＰおよびハンマ位置画像ＨＰを含む。帯状画像ＣＤは、領域ＢＮの区画に沿って、所定の幅を有して表示される画像である。鍵位置画像ＫＰおよびハンマ位置画像ＨＰは、いずれも線状に表示される画像であって、互いに区別可能な異なる形態であることが望ましい。この例では、破線（鍵位置画像ＫＰ）と、実線（ハンマ位置画像ＨＰ）とによって、異なる形態を示している。異なる形態としては、線の太さの違い、線の色による違い等が例示される。

帯状画像ＣＤは、制御データに基づいて表示される。帯状画像ＣＤの横方向（時刻ｔ方向：時間軸方向）の範囲は、ノートオンＮｏｎの時刻からノートオフＮｏｆｆの時刻までの範囲、すなわち押鍵期間で規定される。帯状画像ＣＤの縦方向（音高ＫＮ方向）は、ノートオンＮｏｎの位置においてオンベロシティＶｏｎの大きさに応じた長さを有し、ノートオフＮｏｆｆの位置においてオフベロシティＶｏｆｆの大きさに応じた長さを有する。この長さは、領域ＢＮの幅方向の占有率として表現されてもよい。帯状画像ＣＤは、オンベロシティＶｏｎとオフベロシティＶｏｆｆとが異なる場合には、台形状になる。図７に示す例のように、オンベロシティＶｏｎの値がノートオンＮｏｎの位置の近傍に表示されてもよい。また、オフベロシティＶｏｆｆの値がノートオフＮｏｆｆの位置の近傍に表示されてもよい。この例では、オンベロシティＶｏｎの値「４３」およびオフベロシティＶｏｆｆの値「２Ｃ」は、１６進数で表示されている。

鍵位置画像ＫＰ（破線）は、測定データが示す各鍵に対応する測定値に基づいて表示される。鍵位置画像ＫＰは、領域ＢＮに対応する鍵の位置（押下量）を示す画像である。各時刻ｔにおける鍵の位置が領域ＢＮにおける縦方向（音高ＫＮ方向）に対応している。この例では、領域ＢＮのうち、音高が高い側（領域ＢＮ−２における領域ＢＮ−１側）において、鍵がレスト位置（押下されていない位置）であることを示している。一方、音高が低い側において、鍵がエンド位置（完全に押下された位置）であることを示している。鍵位置画像ＫＰの始点ＤＳは、鍵が押下され始めた時刻に対応する。鍵位置画像ＫＰの終点ＤＥは、鍵がレスト位置において停止してから一定時間ＨＴが経過した時刻に対応する。これによって、押鍵から離鍵（離鍵後のさらに少し後の時刻）までの鍵の動きをユーザが確認することができる。

ハンマ位置画像ＨＰ（実線）は、測定データが示す各ハンマに対応する測定値に基づいて表示される。ハンマ位置画像ＨＰは、領域ＢＮに対応する鍵に連動するハンマの位置（移動量）を示す画像である。各時刻ｔにおけるハンマの位置が領域ＢＮの縦方向に対応している。この例では、領域ＢＮのうち、音高が低い側においてハンマが基準位置（押鍵されていないときのハンマの位置）であることを示している。一方、音高が高い側において、ハンマが弦を打撃する位置であることを示している。ハンマ位置画像ＨＰは、上述した始点ＤＳから終点ＤＥに対応した範囲で表示される。これによって、鍵から離鍵（離鍵後のさらに少し後の時刻）までのハンマの動きをユーザが確認することができる。なお、始点ＤＳおよび終点ＤＥのいずれか一方または双方は、ハンマの動きに基づいて決定されてもよい。

上述したように、鍵位置画像ＫＰおよびハンマ位置画像ＨＰは、全期間に対応する測定値を示すのではなく、時間軸上の一部の範囲を抽出して得られた測定値を示す。このようにデータの一部が抽出されて表示されることによって、演奏結果領域７００の視認性が向上する。このようにしてデータを抽出して表示する方法については、後述する分析支援処理の説明において行う。

［４−４．ペダル挙動画像］
続いて、ペダル挙動画像７３０について説明する。ペダル挙動画像７３０は、測定データが示すペダルに対応する測定値に基づいて表示される。ペダル挙動画像７３０は、ペダルの位置（踏込量）に対応した画像であり、各時刻における測定値が複数の領域ＢＮに拡がって表示される。この例では、各時刻における測定値が、演奏結果領域７００に表示される領域ＢＮの全てにおいて表示される。このとき、ペダル挙動画像７３０は、色調変化によって測定値を表す。図７に示す例では、領域Ｌ０、Ｌ１、Ｌ２がそれぞれ異なる色調で表示されている。領域Ｌ０は、ペダルがレスト位置（ペダルが踏み込まれていない状態）である期間を示している。一方、領域Ｌ２は、ペダルがエンド位置（ペダルが完全に踏み込まれている状態）である期間を示している。領域Ｌ１は、ペダルがレスト位置とエンド位置との間の位置にある期間を示している。

ペダル挙動画像７３０における色調変化は、色相、彩度および明度の少なくとも一つまたは複数の組み合わせの変化が例示される。なお、ペダルがレスト位置にある状態では、演奏結果領域７００の背景と同等になるようにしてもよい。この場合には、ペダル挙動画像７３０が実質的に透過率の変化をしているように色調変化をさせてもよい。

図８は、本発明の一実施形態におけるペダル挙動画像の一例を示す図である。図８では、ペダル挙動画像７３０の色調変化をよりわかりやすく説明するためのものである。図７においては、ペダルがレスト位置とエンド位置との間にある場合には、領域Ｌ１として明度が１つの段階で表していたが、図８では３つの段階で表す例を示している。これによって、ペダルの位置がより詳細に示される。横方向に時間軸を示し、縦方向に明度を示すグラフにおいて、ペダル挙動画像７３０の色調（明度）の時間変化を示している。この例では、ペダルがレスト位置に近いほど明度が低く、エンド位置に近いほど明度が高くなるように示されている。図８の例では、ペダルを踏み込んだ状態において、一旦戻した後、さらに踏み込んだ状態を示している。この例によれば、ペダルを戻すときも再び踏み込むときの方が速い（色調変化が急激）こともわかる。

なお、明度がさらに多くの段階に区別されて表されてもよい。このとき、測定データに含まれるペダル位置測定値の分解能と明度の分解能（段階数に対応）とが等しくてもよいが、異なっていてもよい。この場合には、ペダル位置測定値が、所定の演算方法によって、明度の各段階に変換されればよい。

［４−５．分析支援処理］
上述した分析支援機能１０によって実行される分析支援処理について、図９を用いて説明する。分析支援処理は、ユーザの指示等によって開始される。

図９は、本発明の一実施形態における分析支援処理を説明するフローチャートである。制御部１１は、測定装置３０によって得られた測定データを取得する（ステップＳ１００）。ここで取得する測定データは、鍵位置測定値およびハンマ位置測定値を時系列に示す第１測定データと、ペダル位置測定値を時系列に示す第２測定データとを含む。なお、この例では、制御データについても取得される。また、録音装置４０から音信号も取得される。

続いて、制御部１１は、取得した各情報に基づいて、分析支援画面を表示するための表示データを生成する（ステップＳ２００）。上述したように分析支援画面は、少なくとも演奏結果領域７００を含む。演奏結果領域７００は、各鍵に対応した測定値を鍵挙動画像７７０として時間軸に沿って表示した領域である。また、複数の鍵に対応する鍵挙動画像７７０は、同一時間軸に沿って表示される。このとき、全期間のうち時間軸上の一部の範囲の測定値が、鍵挙動画像７７０として表示される。続いて、表示データを生成する処理のうち、鍵位置画像ＫＰおよびハンマ位置画像ＨＰを表示するための描画処理について説明する。

［４−６．鍵位置画像ＫＰおよびハンマ位置画像ＨＰの描画処理］
図１０は、本発明の一実施形態における描画処理を説明するフローチャートである。この描画処理は、各鍵に対応して実行される。まず、制御部１１は、時刻ｔ＝０に初期化し（ステップＳ２０１）、ｔを進めてｔ＝ｔ＋１とする（ステップＳ２０３）。制御部１１は、測定データから時刻ｔにおける鍵位置測定値ＫＰｍ（ｔ）および時刻ｔにおけるハンマ位置測定値ＨＰｍ（ｔ）を読み出す（ステップＳ２０５）。このとき、ＫＰｍ（ｔ）が最後のデータを越えて測定データが終了している場合（ステップＳ２０７；Ｙｅｓ）には、制御部１１は描画処理を終了する。一方、測定データが終了いていない場合（ステップＳ２０７；Ｎｏ）には、制御部１１は、ＫＰｍ（ｔ）＝０（鍵がレスト位置）であるか判定する（ステップＳ２１１）。ＫＰｍ（ｔ）＝０である場合（ステップＳ２１１；Ｙｅｓ）には、制御部１１は、ステップＳ２０３に戻って処理を進める。

ＫＰｍ（ｔ）＝０でない場合（ステップＳ２１１；Ｎｏ）には、制御部１１は、対象の鍵に対応する領域ＢＮのうち時刻ｔに対応した位置に、ＫＰｍ（ｔ）およびＨＰｍ（ｔ）を描画する（ステップＳ２１３）する。制御部１１は、時刻ｔを進めてｔ＝ｔ＋１とする（ステップＳ２１５）。制御部１１は、測定データから鍵位置測定値ＫＰｍ（ｔ）およびハンマ位置測定値ＨＰｍ（ｔ）を読み出す（ステップＳ２１７）。このとき、ＫＰｍ（ｔ）が最後のデータを越えて測定データが終了している場合（ステップＳ２１９；Ｙｅｓ）には、制御部１１は描画処理を終了する。一方、測定データが終了していない場合（ステップＳ２１９；Ｎｏ）には、制御部１１は、ＫＰｍ（ｔ）＝０であるか判定する（ステップＳ２２１）。ＫＰｍ（ｔ）＝０でない場合（ステップＳ２２１；Ｎｏ）には、制御部１１は、保持時間ｔｃ＝０として（ステップＳ２２３）、ステップＳ２１３に戻って処理を進める。この処理の繰り返しにより鍵位置画像ＫＰおよびハンマ位置画像ＨＰが描画されていく。

ＫＰｍ（ｔ）＝０である場合（ステップＳ２２１；Ｙｅｓ）には、制御部１１は、ｔｃを進めてｔｃ＝ｔｃ＋１とし（ステップＳ２２５）、ｔｃ＝ＨＴであるか判定する（ステップＳ２２７）。このＨＴは、図７において説明した一定時間ＨＴに対応する。ｔｃ＝ＨＴでない場合（ステップＳ２２７；Ｎｏ）には、制御部１１は、ステップＳ２１３に戻って処理を進める。ｔｃ＝ＨＴである場合（ステップＳ２２７；Ｙｅｓ）には、制御部１１は、ｔｃ＝０に初期化して（ステップＳ２２９）、ステップＳ２０３に戻って処理を進める。このようにすることで、ｔｃ＝ＨＴに達するまで、ＫＰｍ（ｔ）＝０が続いた場合には、次にＫＰｍ（ｔ）＝０ではない状態になるまで、すなわち次に押鍵されるまで、鍵位置画像ＫＰおよびハンマ位置画像ＨＰの描画が停止されることになる。すなわち、鍵位置測定値およびハンマ位置測定値は、時間軸上の一部が抽出され、鍵位置画像ＫＰおよびハンマ位置画像ＨＰとして演奏結果領域７００に表示されることになる。以上が、描画処理の説明である。

なお、このような描画処理をしているため、ユーザが１度目の押鍵をし、その後に離鍵してからすぐに２度目の押鍵した場合、１度目の押鍵と２度目の押鍵とが、１つの鍵挙動画像７７０（鍵位置画像ＫＰおよびハンマ位置画像ＨＰ）としてまとめられる場合がある。この場合、押鍵期間は２つの期間として存在するため、１つの鍵挙動画像７７０において、鍵位置画像ＫＰおよびハンマ位置画像ＨＰはそれぞれ１つであるが、帯状画像ＣＤは２つ存在することになる。例えば、鍵を連打する奏法の場合、１つの鍵挙動画像７７０に多くの帯状画像ＣＤが存在することになる。

［５．分析支援の内容］
上述した分析支援装置１によれば、分析支援画面（特に、演奏結果領域７００）において、ユーザに対して、以下のような分析支援を提供することができる。
（１）鍵位置画像ＫＰおよびハンマ位置画像ＨＰによれば、音高が離れた鍵を用いた演奏（押鍵操作）があったときに、同一時間軸上に表示されているため、互いの鍵に対する押鍵操作の詳細を比較しやすい。例えば、メロディと伴奏とにおいて、どのようなタイミングで押鍵しているか、比較がしやすい。
（２）鍵位置画像ＫＰおよびハンマ位置画像ＨＰによれば、鍵の動きと鍵に連動するハンマの動きとの関連を確認しやすい。これによって、押鍵の方法（押下量の大小、強弱、連打など）に対するハンマの挙動の相関を容易に確認することができる。
（３）ペダル挙動画像７３０によれば、複数の鍵に対応する領域ＢＮに拡がって表示されているため、いずれの音高の鍵であっても鍵位置画像ＫＰとの関係によって、押鍵タイミングとペダルを踏み込んだときのタイミングの時間軸上の位置関係を確認しやすい。このとき、音信号を再生することで、さらに音の濁り具合も併せて確認することができる。
（４）同じようなフレーズにおいて押鍵の方法に同じような傾向があるか、同じ指で押鍵するときに特定の癖があるか等を確認しやすい。このとき、楽譜領域８００における表示を確認することで、同じようなフレーズがある部分を容易に確認することもできる。

＜変形例＞
以上、本発明の一実施形態について説明したが、本発明の一実施形態は、以下のように様々な形態に変形することもできる。また、以下に説明する変形例は互いに組み合わせて適用することもできる。

（１）上述した実施形態における演奏結果領域７００において、録音装置４０から取得した音信号の波形を示す画像（または波形を加工した画像）を、同一時間軸上に表示してもよい。

（２）上述した実施形態における演奏結果領域７００において、ペダル挙動画像７３０は表示されなくてもよい。

（３）上述した実施形態における演奏結果領域７００において、鍵挙動画像７７０は表示されなくてもよい。この場合には、ペダル挙動画像７３０が表示される領域には、従来技術のようなピアノロール表示、すなわち、各鍵に対して押鍵期間を示す画像が表示されていてもよい。

（４）上述した実施形態において、帯状画像ＣＤには、オンベロシティＶｏｎの値およびオフベロシティＶｏｆｆの値が数値で表示されていたが、同様にして、鍵位置画像ＫＰの値、ハンマ位置画像ＨＰの値またはペダル挙動画像７３０の値が表示されてもよい。このとき、測定値が所定の変化をした点を抽出して、その点の測定値が表示されるようにしてもよい。

（５）上述した実施形態において、鍵位置画像ＫＰおよびハンマ位置画像ＨＰは、測定値を領域ＢＮにおける縦方向の位置で示す線状の画像であったが、測定値を色調変化で表した画像（線状または帯状）等、視覚的に測定値の変化を認識できる方法で表された画像であれば、どのような画像であってもよい。

（６）上述した実施形態において、複数の鍵に対応した領域ＢＮに拡がって表示されるペダル挙動画像７３０のような色調変化による画像は、ペダルの挙動に代えて、ホイールコントローラ等の操作子の挙動であってもよい。すなわち、複数の鍵に対応した領域ＢＮに拡がって表示される画像は、音高とは関係のない指示を入力するための操作子の挙動を表すものであれば、ペダルの挙動を表すものに限られない。

（７）上述した実施形態において、ペダル挙動画像７３０は、ペダルの挙動に応じて表示されていたが、ペダルに連動する部材、例えばダンパの挙動を表すものであってもよい。

（８）上述した実施形態では、鍵挙動画像７７０は、鍵位置画像ＫＰ、ハンマ位置画像ＨＰおよび帯状画像ＣＤを含んでいたが、少なくともいずれかを含んでいれば、一部の画像を含んでいなくてもよい。

（９）上述した実施形態において、鍵位置画像ＫＰは鍵の位置に基づいて表示されていたが、速度、加速度などの挙動を示す物理量に基づいて表示されてもよい。ハンマ位置画像ＨＰおよびペダル挙動画像７３０についても同様である。

（１０）上述した実施形態における演奏結果領域７００において、鍵位置画像ＫＰ、ハンマ位置画像ＨＰ、帯状画像ＣＤ、およびペダル挙動画像７３０のうち少なくとも２つの関係が所定の条件を満たしている場合に、条件を満たした関係に対応する位置に所定の画像を表示するようにしてもよい。

（１１）上述した実施形態における分析支援機能１０は、少なくともデータ取得部１０１および表示データ生成部１０５を有していれば、他の構成を有していなくてもよい。

１…分析支援装置、１０…分析支援機能、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…インターフェイス、３０…測定装置、３２…鍵位置測定部、３３…ペダル位置測定部、３４…ハンマ位置測定部、３５…データ出力装置、４０…録音装置、５０…ピアノ、５２…鍵、５３…ペダル、５４…ハンマ、５５…弦、５８…ダンパ、１０１…データ取得部、１０３…特定部、１０５…表示データ生成部、１１１…再生位置指定部、１１３…再生部、１２１…楽譜取得部、３５１…データ生成部、３５３…インターフェイス、７００…演奏結果領域、７１０…鍵盤画像、７３０…ペダル挙動画像、７５０…指示画像、７７０…鍵挙動画像、８００…楽譜領域、８５０…指示画像、９００…制御アイコン領域

Claims (15)

1. 複数の鍵の各々に対応して、鍵または当該鍵に連動する部材の挙動を示す測定値を時系列に示す測定データを取得する取得部と、
   前記測定データに基づいて、複数の鍵に対応して前記測定値を同一の時間軸に沿って表示する画面を示す表示データであって、前記画面において複数の鍵に対応して押鍵から離鍵までの期間を表示するとともに、各鍵に対応する前記測定値のうち当該測定値に応じた時間軸上の一部の範囲を抽出して表示するための表示データを生成するデータ生成部と、
   を備えるデータ生成装置。
2. 複数の鍵の各々に対応して、鍵および当該鍵に連動する部材の挙動を示す測定値を時系列に示す測定データを取得する取得部と、
   前記測定データに基づいて、複数の鍵に対応して前記測定値を同一の時間軸に沿って表示する画面を示す表示データであって、前記画面において前記鍵および当該鍵に連動する部材の双方の挙動に関する測定値を表示するとともに、各鍵に対応する前記測定値のうち当該測定値に応じた時間軸上の一部の範囲を抽出して表示するための表示データを生成するデータ生成部と、
   を備えるデータ生成装置。
3. 前記画面において、前記測定値が表示される範囲が前記複数の鍵の各々に対応して時間軸に沿って帯状に区画され、
   前記測定値の変化は、前記帯状に区画された領域において、当該領域における幅方向の位置の変化により表現される、請求項１または請求項２に記載のデータ生成装置。
4. 前記画面において、前記測定値が表示される範囲が前記複数の鍵の各々に対応して時間軸に沿って帯状に区画され、
   前記測定値の変化は、前記帯状に区画された領域において、当該領域における色調変化により表現される、請求項１または請求項２に記載のデータ生成装置。
5. 前記画面において、前記測定値が表示される範囲が前記複数の鍵の各々に対応して時間軸に沿って帯状に区画され、
   前記測定値を変換して得られる制御データのうちオンベロシティおよびオフベロシティが、前記帯状に区画された領域において、当該領域の幅方向の占有率の変化により表現される、請求項１または請求項２に記載のデータ生成装置。
6. 前記画面には、前記鍵および当該鍵に連動する部材の双方の挙動に関する測定値が表示される、請求項１に記載のデータ生成装置。
7. 前記表示データは、さらに楽譜を表示し、前記画面における時間軸上の位置を指定するための第１指示画像を表示し、当該位置に対応する前記楽譜における位置を指定するための第２指示画像を表示するためのデータを含む、請求項１から請求項６のいずれかに記載のデータ生成装置。
8. 前記取得部は、操作子の挙動を示す第２測定値を時系列に示す第２測定データをさらに取得し、
   前記画面には、複数の鍵に対応する領域に拡がって前記第２測定値が前記時間軸に沿って表示され、
   前記第２測定値の変化は、色調変化により表現される、請求項１から請求項７のいずれかに記載のデータ生成装置。
9. 前記操作子の挙動は、ペダルまたは当該ペダルに連動する部材の挙動を含む、請求項８に記載のデータ生成装置。
10. 発音の内容を時系列に規定する発音データに基づいて、前記画面において指定された範囲に対応する期間の発音を行う再生部をさらに備える、請求項１から請求項９のいずれかに記載のデータ生成装置。
11. 複数の鍵の各々に対応して、鍵または当該鍵に連動する部材の挙動を示す測定値を時系列に示す測定データを取得し、
    前記測定データに基づいて、複数の鍵に対応して前記測定値を同一の時間軸に沿って表示する画面を示す表示データであって、前記画面において複数の鍵に対応して押鍵から離鍵までの期間を表示するとともに、各鍵に対応する前記測定値のうち当該測定値に応じた時間軸上の一部の範囲を抽出して表示するための表示データを生成すること、
    をコンピュータに実行させるためのプログラム。
12. 複数の鍵の各々に対応して、鍵および当該鍵に連動する部材の挙動を示す測定値を時系列に示す測定データを取得し、
    前記測定データに基づいて、複数の鍵に対応して前記測定値を同一の時間軸に沿って表示する画面を示す表示データであって、前記画面において前記鍵および当該鍵に連動する部材の双方の挙動に関する測定値を表示するとともに、各鍵に対応する前記測定値のうち当該測定値に応じた時間軸上の一部の範囲を抽出して表示するための表示データを生成すること、
    をコンピュータに実行させるためのプログラム。
13. 操作子の挙動を示す測定値を時系列に示す測定データを取得する取得部と、
    前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成するデータ生成部と、
    を備えるデータ生成装置。
14. 前記操作子の挙動は、ペダルまたは当該ペダルに連動する部材の挙動を含む、請求項１３に記載のデータ生成装置。
15. 操作子の挙動を示す測定値を時系列に示す測定データを取得し、
    前記測定データに基づいて、複数の鍵の動きに関連する情報を同一の時間軸に沿って表示する画面を示す表示データであって、前記時間軸に沿って複数の鍵に対応した領域の色調変化により前記測定値を表示するための表示データを生成すること、
    をコンピュータに実行させるためのプログラム。

Images